KR20160016245A - 영상 표시 장치 및 그의 동작 방법 - Google Patents

영상 표시 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20160016245A
KR20160016245A KR1020140099955A KR20140099955A KR20160016245A KR 20160016245 A KR20160016245 A KR 20160016245A KR 1020140099955 A KR1020140099955 A KR 1020140099955A KR 20140099955 A KR20140099955 A KR 20140099955A KR 20160016245 A KR20160016245 A KR 20160016245A
Authority
KR
South Korea
Prior art keywords
layer
content
information
display device
video display
Prior art date
Application number
KR1020140099955A
Other languages
English (en)
Other versions
KR102254838B1 (ko
Inventor
염혜경
스티브윈스톤
박정욱
이진원
유휘상
문경수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140099955A priority Critical patent/KR102254838B1/ko
Priority to EP20157970.3A priority patent/EP3681168B1/en
Priority to PCT/KR2014/008625 priority patent/WO2016021762A1/en
Priority to EP14899087.2A priority patent/EP3178235B1/en
Priority to US14/532,668 priority patent/US9712583B2/en
Publication of KR20160016245A publication Critical patent/KR20160016245A/ko
Application granted granted Critical
Publication of KR102254838B1 publication Critical patent/KR102254838B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 실시 예에 따른 디스플레이부를 포함하는 영상 표시 장치의 동작 방법은 상기 디스플레이부의 제1 레이어를 통해 비압축 시청각 컨텐트를 재생하는 단계와 상기 비압축 시청각 컨텐트의 일부에 기초하여 상기 비압축 시청각 컨텐트의 컨텐츠 정보를 획득하는 단계와 상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 단계 및 획득된 부가 서비스를 상기 디스플레이부의 제2 레이어를 통해 재생하는 단계를 포함하고, 상기 제1 레이어 및 상기 제2 레이어는 서로 중첩된다.

Description

영상 표시 장치 및 그의 동작 방법{VIDEO DISPLAY DEVICE AND OPERATING METHOD THEREOF}
본 발명은 영상 표시 장치 및 그의 동작 방법에 관한 것이다.
디지털 방송이 활성화됨에 따라, 방송국은 메인 시청각 컨텐츠를 송출하면서, 이 메인 시청각 컨텐츠와 연계하여 이용할 수 있거나 이 메인 시청각 컨텐츠와는 독립적인 부가 서비스 데이터(enhanced service data)를 함께 송출한다.
그러나 현재의 방송 환경에서는 각 가정의 영상 표시 장치가 방송 신호를 공중파를 통해 직접 수신하는 경우가 적다. 오히려, 각 가정의 영상 표시 장치는 셋톱박스와 같은 방송 수신 장치에 연결되어 있어서, 이 방송 수신 장치가 제공하는 비압축 시청각 컨텐츠를 재생하는 경우가 많다.
한편, 방송 수신 장치는 멀티채널 비디오 분배자(multichannel video programming distributor, MVPD)라고 불리는 서버로부터 컨텐츠를 제공받는다. 이 멀티채널 비디오 분배자는 방송국으로부터 방송 신호를 수신하고 수신한 방송 신호로부터 컨텐츠를 추출한 후, 자신이 송출하기에 적합한 형태의 신호로 변환하여 변환된 신호를 방송 수신 장치에 제공한다. 이 과정에서, 멀티채널 비디오 분배자는 추출한 부가 서비스 데이터를 제외할 수도 있고, 또 다른 부가 서비스 데이터를 추가할 수도 있기 때문에, 방송 수신 장치는 MVPD에 종속된 부가 서비스를 제공받을 수 밖에 없다.
멀티채널 비디오 분배자는 컨텐츠 제공자들에 의해 제공되는 복수의 채널을 패키지로서 방송 수신 장치에 제공한다.
방송 수신 장치 또한 멀티채널 비디오 분배자로부터 수신한 신호로부터 메인 시청각 데이터를 추출하여 비압축 시청각 데이터만을 영상 표시 장치에게 제공하므로, 방송 수신 장치 통제하의 부가 서비스만이 이용 가능할 뿐, 영상 표시 장치 통제하의 부가 서비스는 이루어 질 수 없다.
본 발명은 비압축 시청각 컨텐트의 재생을 위한 레이어와 부가 서비스의 재생을 위한 레이어를 구분하여 다양한 사용자 경험을 제공할 수 있는 영상 표시 장치 및 그의 동작 방법의 제공을 목적으로 한다.
본 발명의 실시 예에 따른 디스플레이부를 포함하는 영상 표시 장치의 동작 방법은 상기 디스플레이부의 제1 레이어를 통해 비압축 시청각 컨텐트를 재생하는 단계와 상기 비압축 시청각 컨텐트의 일부에 기초하여 상기 비압축 시청각 컨텐트의 컨텐츠 정보를 획득하는 단계와 상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 단계 및 획득된 부가 서비스를 상기 디스플레이부의 제2 레이어를 통해 재생하는 단계를 포함하고, 상기 제1 레이어 및 상기 제2 레이어는 서로 중첩된다.
본 발명의 실시 예에 따른 영상 표시 장치는 제1 레이어와 제2 레이어를 포함하는 디스플레이부와 비압축 시청각 컨텐트를 획득하는 수신부와 상기 비압축 시청각 컨텐트의 일부에 기초하여 상기 비압축 시청각 컨텐트의 컨텐츠 정보를 획득하고, 상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 부가 서비스 관리부 및 상기 비압축 시청각 컨텐트와 상기 부가 서비스를 상기 디스플레이부에 재생하는 재생 제어부를 포함하고, 상기 부가 서비스 관리부는 상기 제1 레이어를 통해 상기 비압축 시청각 컨텐트를 재생하고, 상기 제2 레이어를 통해 상기 부가 서비스를 재생하도록 상기 재생 제어부를 제어하고, 상기 제1 레이어 및 상기 제2 레이어는 서로 중첩된다.
본 발명의 다양한 실시 예에 따르면, 비압축 시청각 컨텐트의 재생을 위한 레이어와 부가 서비스의 재생을 위한 레이어를 구분하여 다양한 사용자 경험을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 12는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 13 내지 도 14는 본 발명의 다양한 실시 예에 따른 애플리케이션의 제어 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 또 다른 실시 예에 따른 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 16 내지 도 18은 본 발명의 일 실시 예에 따라 멀티 레이어를 이용하여 메인 시청각 컨텐트 및 부가 서비스를 재생하는 실시 예를 설명하기 위한 도면이다.
도 19 내지 도 20은 본 발명의 실시 예에 따라 메인 시청각 컨텐츠와 관련된 부가 서비스를 제공하는 화면을 설명하기 위한 도면이다.
도 21은 본 발명의 일 실시 예에 따라 메인 시청각 컨텐트의 재생 화면의 특성에 기초하여 입력 영역의 위치를 변경하는 실시 예를 설명하기 위한 도면이다.
도 22는 본 발명의 실시 예에 따른 영상 표시 장치의 추가 구성 요소를 설명하기 위한 블록도이다.
이하, 본 발명과 관련된 영상 표시 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "엔진", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
다음은 도 1 내지 도 6을 참고하여 본 발명의 일 실시예에 따른 네트워크 토폴로지를 설명한다.
다음은 도 1 내지 도 6을 참고하여 본 발명의 일 실시예에 따른 네트워크 토폴로지를 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50), 방송 수신 장치(60), 네트워크(70), 영상 표시 장치(100)를 포함한다.
컨텐츠 제공 서버(10)는 방송국 등에 해당할 수 있으며, 메인 시청각 컨텐트(main audio-visual content)를 포함하는 방송 신호를 방송한다. 방송 신호는 부가 서비스를 더 포함할 수 있다. 부가 서비스는 메인 시청각 컨텐트와 관련이 있을 수도 있고, 관련이 없을 수도 있다. 부가 서비스는 서비스 정보(service information), 메타데이터(metadata), 부가 데이터, 컴파일된 실행 파일, 웹 애플리케이션, HTML(Hypertext Markup Language) 문서, XML 문서, CSS(cascading style sheet) 문서, 오디오 파일, 비디오 파일, ATSC 2.0 컨텐트, URL(Uniform Resource Locator)과 같은 주소 등의 형태를 가질 수 있다. 하나 이상의 컨텐츠 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 영상 표시 장치(100)가 메인 시청각 컨텐트에 기초하여 컨텐트를 인식할 수 있게 하는 컨텐트 인식 서비스를 제공한다. 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 수정을 가할 수도 있고 수정을 가하지 않을 수도 있다. 하나 이상의 컨텐츠 인식 서비스 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하는 워터마크 서버일 수 있다. 이 워터마크 서버는 메인 시청각 컨텐트의 각 프레임의 왼쪽 상단 또는 오른쪽 상단에 컨텐츠 제공자의 로고를 워터마크할 수 있다.
또, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하는 워터마크 서버일 수 있다.
또한, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐트의 일부의 프레임 또는 일부의 오디오 샘플로부터 특징 정보를 추출하여 저장하는 핑거프린트 서버일 수 있다. 이 특징 정보는 시그너처라고도 불린다.
멀티채널 비디오 분배 서버(30)는 복수의 방송국으로부터 방송 신호를 수신하고 다중화하여 다중화된 신호를 방송 수신 장치(60)에 제공한다. 특히, 멀티채널 비디오 분배 서버(30)는 수신한 방송 신호에 대해 복조와 채널 복호화를 수행하여 메인 시청각 컨텐트와 부가 서비스를 추출한 후, 추출된 메인 시청각 컨텐트와 추출한 부가 서비스에 대해 채널 부호화를 수행하여 분배를 위한 다중화 신호를 생성할 수 있다. 이때, 멀티채널 비디오 분배 서버(30)는 추출한 부가 서비스를 제외할 수도 있고, 또 다른 부가 서비스를 추가할 수도 있기 때문에, 방송국은 방송국 주도의 서비스를 제공할 수 없다. 하나 이상의 멀티채널 비디오 분배 서버가 존재할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고, 튜팅한 채널의 신호를 수신하고, 수신한 신호에 대해 복조와 채널 복호를 수행하여 메인 시청각 컨텐트를 추출한다. 그리고 방송 수신 장치(60)는 추출한 메인 시청각 컨텐트를 H.264/MPEG-4 AVC(Moving Picture Experts Group-4 advanced video coding), Dolby AC-3, MPEG-2 AAC (Moving Picture Experts Group-2 Advanced Audio Coding) 알고리즘 등을 이용하여 복호하여 비압축 메인 시청각 컨텐트(uncompressed main AV content)를 생성한다. 방송 수신 장치(60)는 생성한 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)의 외부 입력 포트 등을 통해 영상 표시 장치(100)에 제공한다.
부가 서비스 정보 제공 서버(40)는 영상 표시 장치(100)의 요청에 응답하여 메인 시청각 컨텐트와 관련된 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 제공한다. 하나 이상의 부가 서비스 주소 제공 서버가 존재할 수 있다. 부가 서비스 정보 제공 서버(40)는 복수의 이용가능한 부가 서비스 중에서 가장 우선순위가 높은 부가 서비스를 위한 부가 서비스 정보를 제공할 수도 있다.
부가 서비스 제공 서버(50)는 영상 표시 장치(100)의 요청에 응답하여 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공한다. 하나 이상의 부가 서비스 제공 서버가 존재할 수 있다.
영상 표시 장치(100)는 텔레비전, 노트북, 핸드폰, 스마트폰 등과 같이 디스플레이부를 포함하는 장치일 수 있다. 영상 표시 장치(100)는 방송 수신 장치(60)로부터 비압축 메인 시청각 컨텐트를 수신할 수도 있고, 컨텐츠 제공 서버(10) 또는 멀티채널 비디오 분배 서버(30)로부터 부호화된 메인 시청각 컨텐트를 포함하는 방송 신호를 수신할 수 도 있다. 영상 표시 장치(100)는 네트워크(70)를 통해 컨텐츠 인식 서비스 제공 서버(20)로부터 컨텐츠 인식 서비스를 제공받을 수 있고, 네트워크(70)를 통해 부가 서비스 정보 제공 서버(40)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스의 주소를 받을 수 있으며, 부가 서비스 제공 서버(50)로부터 메인 시청각 컨텐트와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공받을 수 있다.
컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50) 중 2 이상은 하나의 서버의 형태로 결합될 수도 있고, 한 사업자에 의해 운영될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)를 더 포함한다.
도 2에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 컨텐츠 정보를 삽입한다. 멀티채널 비디오 분배 서버(30)는 변형된 메인 시청각 컨텐트를 포함하는 방송 신호를 수신하여 분배한다. 특히, 워터마크 서버는 이하에서 설명하는 바와 같은 디지털 워터마킹 기술을 이용할 수 있다.
디지털 워터마크는 삭제하기 어려운 방법으로 디지털 신호에 정보를 삽입하는 프로세스이다. 예를 들면, 디지털 신호는 오디오, 사진, 또는 비디오일 수 있다. 이 디지털 신호가 복사되면, 삽입된 정보 또한 복사본에 담아진다. 한 디지털 신호가 동시에 다른 여러 개의 워터마크를 운반할 수 있다.
보이는 워터마킹(visible watermarking)에서, 삽입되는 정보는 사진 또는 비디오에서 눈으로 식별가능하다. 전형적으로, 삽입된 정보는 미디어의 소유자를 식별하는 텍스트 또는 로고이다. 텔레비전 방송국이 자신의 로고를 전송되는 비디오의 코너에 추가하면, 이것이 눈으로 식별가능한 워터마크이다.
눈으로 식별 불가능한 워터마킹(invisible watermarking)에서, 정보는 디지털 데이터로서 오디오, 사진, 또는 비디오에 추가되지만, 일정 량의 정보가 숨겨져 있다는 사실은 감지할 수 있다하더라도 그러한 정보는 인지할 수는 없다. 이러한 눈으로 식별불가능한 워터마킹을 통해 비밀 메시지가 전달될 수도 있다.
워터마킹의 한 응용은 디지털 미디어의 불법 복제를 막기 위한 저작권 보호 시스템에 있다. 예컨데, 복제 장치는 디지털 미디어의 복제 전에 디지털 미디어로부터 워터마크를 얻고, 워터마크의 내용에 기초하여 복제를 할지 말지를 결정할 수 있다.
워터마킹의 또 다른 응용은 디지털 미디어의 출처 추적에 있다. 배포 경로 상의 각 지점에서 워터마크가 디지털 미디어에 임베딩된다. 나중에 이와 같은 디지털 미디어가 발견된다면, 이 디지털 미디어로부터 워터마크가 추출될 수 있고, 워터마크의 내용으로부터 배포의 출처를 파악할 수 있다.
디지털 미디어에 대한 설명이 눈으로 식별불가능한 워터마킹의 또 다른 응용이다.
디지털 미디어를 위한 파일 포멧이 메타데이터라고 불리는 추가적인 정보를 포함할 수 있는데, 디지털 워터마크는 디지털 미디어의 시청각 신호 자체로 전달된다는 점에서 메타데이터와는 구별된다.
워터마킹 방법으로 스프레드 스펙트럼, 양자화, 앰플리튜드 변조가 있다.
마킹되는 신호가 추가적인 수정에 의해 얻어진다면, 워터마킹 방법은 스프레드 스펙트럼에 해당한다. 스프레드 스펙트럼 워터마크는 꽤 강인하다고 알려져 있지만, 워터마크가 임베딩되는 호스트 신호에 간섭을 주기 때문에 많은 정보가 실리지는 않는다.
마킹되는 신호가 양자화에 의해 얻어진다면, 워터마킹 방법은 양자화 타입에 해당한다. 양자화 워터마크는 강인성은 낮지만, 꽤 많은 정보를 실을 수 있다.
마킹되는 신호가 공간 도메인에서 스프레드 스펙트럼과 유사한 추가 수정 방법으로 얻어진다면, 워터마킹 방법은 앰플리튜드 변조에 해당한다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S101).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S103).
보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 워터마크 용도는 무단 복제 방지, 시청률 조사, 부가 서비스 획득 중 하나를 나타낼 수 있다.
컨텐츠 정보는 메인 시청각 컨텐트를 제공하는 컨텐츠 제공자의 식별 정보, 메인 시청각 컨텐트 식별 정보, 메인 시청각 컨텐트 등급 정보, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보, 메인 시청각 컨텐트가 방송되는 채널의 이름, 메인 시청각 컨텐트가 방송되는 채널의 로고, 메인 시청각 컨텐트가 방송되는 채널의 설명, 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간, 메인 시청각 컨텐트와 관련하여 이용가능한 부가 서비스 정보 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 워터마크를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 이용된 워터마크가 내삽(embedding)된 컨텐트 구간의 시간 정보일 수 있다. 영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 핑거프린트를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 특징 정보가 추출된 컨텐트 구간의 시간 정보일 수 있다. 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시간 정보는 컨텐츠 정보 획득에 사용된 컨텐트 구간의 시작 시간, 컨텐츠 정보 획득에 사용된 컨텐트 구간의 지속 시간(duration), 컨텐츠 정보 획득에 사용된 컨텐트 구간의 종료 시간 중 하나 이상을 포함할 수 있다.
이용 정보 보고 주소는 메인 시청각 컨텐트 시청 정보 보고 주소, 부가 서비스 이용 정보 보고 주소 중 하나 이상을 포함할 수 있다. 이용 정보 보고 주기는 메인 시청각 컨텐트 시청 정보 보고 주기, 부가 서비스 이용 정보 보고 주기 중 하나 이상을 포함할 수 있다. 이용 정보 획득을 위한 최소 이용 시간은 메인 시청각 컨텐트 시청 정보 획득을 위한 최소 시청 시간, 부가 서비스 이용 정보 추출을 위한 최소 사용 시간 중 하나 이상을 포함할 수 있다.
메인 시청각 컨텐트가 최소 시청 시간 이상 시청된 경우에 기초하여 영상 표시 장치(100)는 메인 시청각 컨텐트의 시청 정보를 획득하고, 메인 시청각 컨텐트 시청 정보 보고 주기에서 메인 시청각 컨텐트 시청 정보 보고 주소로 추출한 시청 정보를 보고할 수 있다.
부가 서비스가 최소 사용 시간 이상 사용된 경우에 기초하여 영상 표시 장치(100)는 부가 서비스 이용 정보를 획득하고, 부가 서비스 이용 정보 보고 주기에서 부가 서비스 이용 정보 보고 주소로 추출한 이용 정보를 보고할 수 있다.
부가 서비스 정보는 부가 서비스가 존재하는지에 대한 정보, 부가 서비스 주소 제공 서버 주소, 각각의 이용가능한 부가 서비스의 획득 경로, 각각의 이용가능한 부가 서비스를 위한 주소, 각각의 이용가능한 부가 서비스의 시작 시간, 각각의 이용가능한 부가 서비스의 종료 시간, 각각의 이용가능한 부가 서비스의 수명 주기(lifetime), 각각의 이용가능한 부가 서비스의 획득 모드, 각각의 이용가능한 부가 서비스 위한 요청 주기, 각각의 이용가능한 부가 서비스의 우선 순위 정보, 각각의 이용가능한 부가 서비스의 설명, 각각의 이용가능한 부가 서비스의 항목(category), 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간 중 하나 이상을 포함할 수 있다.
이용가능한 부가 서비스의 획득 경로는 IP 또는 ATSC M/H(Advanced Television Systems Committee - Mobile/Handheld)를 나타낼 수 있다. 이용가능한 부가 서비스의 획득 경로가 ATSC M/H인 경우에, 부가 서비스 정보는 주파수 정보, 채널 정보를 더 포함할 수 있다. 각각의 이용가능한 부가 서비스의 획득 모드는 Push 또는 Pull을 나타낼 수 있다.
한편, 워터마크 서버(21)는 메인 시청각 컨텐트의 로고에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입할 수 있다.
예컨데, 워터마크 서버(21)는 로고의 일정 위치에 바코드를 삽입할 수 있다. 이때 로고의 일정 위치는 로고가 디스플레이되는 구역의 하단 1 라인에 해당할 수 있다. 영상 표시 장치(100)는 이와 같이 바코드가 삽입된 로고를 포함하는 메인 시청각 컨텐트를 수신하는 경우에, 바코드를 디스플레이하지 않을 수 있다.
또한, 워터마크 서버(21)는 로고의 메타데이터 형태로 워터마크 정보를 삽입할 수 있다. 이때 로고의 형상은 유지될 수 있다.
또한, 워터마크 서버(21)는 M개의 프레임의 로고의 각각에 N 비트의 워터마크 정보를 삽입할 수 있다. 즉, 워터마크 서버(21)는 M개의 프레임을 통해 M*N개의 워터마크 정보를 삽입할 수 있다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S105). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S106).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S107).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 방송 신호를 전송할 수도 있다(S108).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S109).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S111). 이 제1 응답은 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
워터마크 정보와 제1 응답이 부가 서비스 주소를 포함하고 있지 않다면, 영상 표시 장치(100)는 부가 서비스를 획득할 수 없다. 그러나 워터마크 정보와 제1 응답이 부가 서비스 주소 제공 서버 주소를 포함할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보와 제1 응답을 통해 부가 서비스 주소나 부가 서비스를 획득하지 못하였고 부가 서비스 주소 제공 서버 주소를 획득하였다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S119).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S121).
영상 표시 장치(100)는 워터마크 정보, 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S123), 부가 서비스를 획득한다(S125).
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 4에 도시된 바와 같이, 방송 수신 장치(60)가 턴온되고 채널을 튜닝하고, 영상 표시 장치(100)가 외부 입력 포트(111)를 통해 방송 수신 장치(60)로부터 튜팅된 채널의 메인 시청각 컨텐트를 수신하면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 제공자 식별자(또는 방송국 식별자)를 감지할 수 있다. 이후, 영상 표시 장치(100)는 감지한 컨텐츠 제공자 식별자에 기초하여 메인 시청각 컨텐트의 워터마크로부터 컨텐츠 정보를 감지할 수 있다.
이때, 도 4에 도시된 바와 같이, 컨텐츠 제공자 식별자의 감지가능 주기와 컨텐츠 정보의 감지가능 주기는 다를 수 있다. 특히, 컨텐츠 제공자 식별자의 감지가능 주기는 컨텐츠 정보의 감지가능 주기보다 짧을 수 있다. 이를 통해, 영상 표시 장치(100)는 필요한 정보만을 감지하기 위한 효율적인 구성을 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 핑거프린트 서버(22)를 더 포함한다.
도 5에 도시된 바와 같은 핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S201).
핑거프린트 서버(22)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트의 복수의 프레임 구간 또는 복수의 오디오 구간으로부터 복수의 특징 정보를 추출하며, 복수의 특징 정보에 각각 대응하는 복수의 질의 결과를 위한 데이터베이스를 구축한다(S203). 질의 결과는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
MVPD(30)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S205). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S206).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S207).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S208).
영상 표시 장치(100)는 방송 수신 장치(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S213).
영상 표시 장치(100)는 미리 설정된 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송한다(S215).
핑거프린트 서버(22)는 제1 질의에 대한 제1 응답으로서 질의 결과를 제공한다(S217). 만약 제1 응답이 실패에 해당한다면, 영상 표시 장치(100)는 또 다른 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송할 수 있다.
핑거프린트 서버(22)는 질의 결과로서 XML (Extensible Markup Language) 문서를 제공할 수 있다. 질의 결과를 담는 XML 문서의 예를 도 7과 표 1을 참고하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 7에 도시된 바와 같이, 질의 결과를 담는 ACR-Resulttype은 ResultCode 속성과 ContentID, NTPTimestamp, SignalingChannelInformation, ServiceInformation 엘리먼트를 갖는다.
예컨데, ResultCode 속성이 200의 값을 가지면, 이는 질의 결과가 성공임을 의미할 수 있다. ResultCode 속성이 404의 값을 가지면, 이는 질의 결과가 실패임을 의미할 수 있다.
SignalingChannelInformation 엘리먼트는 SignalingChannelURL 엘리먼트를 갖고, SignalingChannelURL 엘리먼트는 UpdateMode, PollingCycle 속성을 갖는다. UpdateMode 속성은 Pull 값 또는 Push 값을 가질 수 있다.
ServiceInformation 엘리먼트는 ServiceName, ServiceLogo, ServiceDescription 엘리먼트를 갖는다.
표 1은 이와 같은 질의 결과를 담는 ACR-ResultType의 XML Schema를 보여준다.
<xs:complexType name="ACR-ResultType">
<xs:sequence>
<xs:element name="ContentID" type="xs:anyURI"/>
<xs:element name="NTPTimestamp" type="xs:unsignedLong"/>
<xs:element name="SignalingChannelInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="SignalingChannelURL" maxOccurs="unbounded">
<xs:complexType>
<xs:simpleContent>
<xs:extension base="xs:anyURI">
<xs:attribute name="UpdateMode">
<xs:simpleType>
<xs:restriction base="xs:string">
<xs:enumeration value="Pull"/>
<xs:enumeration value="Push"/>
</xs:restriction>
</xs:simpleType>
</xs:attribute>
<xs:attribute name="PollingCycle" type="xs:unsignedInt"/>
</xs:extension>
</xs:simpleContent>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name="ServiceInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="ServiceName" type="xs:string"/>
<xs:element name="ServiceLogo" type="xs:anyURI" minOccurs="0"/>
<xs:element name="ServiceDescription" type="xs:string" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:any namespace="##other" processContents="skip" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="ResultCode" type="xs:string" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
ContentID 엘리먼트로서, 아래의 표 2에서 보여주는 바와 같은 ATSC 컨텐트 식별자(ATSC content identifier)가 이용될 수 있다.
Syntax The Number of bits format
ATSC_content_identifier() {
TSID
reserved
end_of_day
unique_for
content_id
}
16
2
5
9
var
uimsbf
bslbf
uimsbf
uimsbf
표 2에서 보여지는 바와 같이, ATSC content identifier는 TSID와 하우스 번호로 구성된 구조를 가진다.
표 2에서 보여지는 바와 같이, ATSC content identifier는 TSID와 하우스 번호로 구성된 구조를 가진다.
16 비트 부호없는 정수 TSID는 트랜스포트 스트림 식별자(transport stream identifier)를 담는다(carry).
5 비트 부호 없는 정수 end_of_day는 방송이 끝나서 content_id 값이 재사용될 수 있는 날의 시(hour)로 셋팅된다.
9 비트 부호 없는 정수 unique_for는 content_id 값이 재사용될 수 없는 날의 수(the number of day)로 설정된다.
content_id는 컨텐트 식별자를 나타낸다. 영상 표시 장치(100)는 매일 end_of_day에 해당하는 시간에서 unique_for를 1씩 감소시키고, unique_for가 0이 되지 않았다면 content_id가 유일한 것이라고 간주할 수 있다.
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC-M/H service를 위한 글로벌 서비스 식별자(Global Service Identifier)가 이용될 수 있다.
글로벌 서비스 식별자는 다음과 같은 폼을 갖는다.
- urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 "0"이다. <serviceid> 는 <major>나 <minor>로 정의된다. <major> 는 메이저 채널 번호(Major Channel number)를 나타내고, <minor> 마이너 채널 번호(Minor Channel Number)를 나타낸다.
글로벌 서비스 식별자의 예는 아래와 같다.
- urn:oma:bcast:iauth:atsc:service:us:1234:5.1
- urn:oma:bcast:iauth:atsc:service:us:0:100.200
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC 컨텐트 식별자가 이용될 수 있다.
ATSC 컨텐트 식별자는 다음과 같은 폼을 갖는다.
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, "."<serviceid>가 뒤따를 수 있다. 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 <serviceid>이다. <content_id> 는 표 2에 정의되어 있는 content_id field의 base64 부호이고, <unique_for> 는 표 2에 정의되어 있는 unique_for field의 십진수 부호이며, <end_of_day> 는 표 2에 정의되어 있는 end_of_day field의 십진수 부호이다.
이하에서는 다시 도 6을 설명한다.
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S219).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S221).
영상 표시 장치(100)는 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S223), 부가 서비스를 획득한다(S225).
UpdateMode 속성이 Pull 값을 가지는 경우, 영상 표시 장치(100)는 SignalingChannelURL을 통해 HTTP request를 부가서비스 제공 서버(50)에 전송하여 이에 대한 응답으로 PSIP 바이너리 스트림을 포함하는 HTTP response를 부가서비스 제공 서버(50)로부터 수신한다. 이 경우 영상 표시 장치(100)는 PollingCycle 속성으로 지정되는 Polling 주기에 따라 HTTP request를 전송할 수 있다. 또한, SignalingChannelURL 엘리먼트는 업데이트 시간 속성을 가질 수도 있다. 이 경우, 영상 표시 장치(100)는 업데이트 시간 속성으로 지정되는 업데이트 시간에서 HTTP request를 전송할 수 있다.
UpdateMode 속성이 Push 값을 가지는 경우, 영상 표시 장치(100)는 XMLHTTPRequest API 를 활용하여 비동기적으로 서버로부터 업데이트를 수신할 수 있다. 영상 표시 장치(100)가 서버로 XMLHTTPRequest object를 통해 비동기적인 request를 한 후에 서버가 시그널링 정보에 변경이 있을 경우에 이 채널을 통해 response로 시그널링 정보를 제공하는 방안이다. 세션의 대기 시간에 제한이 있을 경우에는 session timeout respond를 발생시키고, 바로 수신기는 이를 인지하여 재요청하여서 수신기와 서버간의 시그널링 채널을 항시 유지할 수 있다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)와 핑거프린트 서버(22)를 더 포함한다.
도 8에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐트에 컨텐츠 제공자 식별 정보를 삽입한다. 워터마크 서버(21)는 로고와 같이 보이는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있고, 보이지 않는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐트에 삽입할 수도 있다.
핑거프린트 서버(22)는 메인 시청각 컨텐트에 변형을 가하지는 않으며 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐트의 식별자와 시간 정보를 제공한다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 전송한다(S301).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐트에 변형을 가하여 메인 시청각 컨텐트에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐트에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 MVPD(30)에 제공한다(S303). 보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐트와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S305). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐트를 생성한 후, 생성된 비압축 메인 시청각 컨텐트를 영상 표시 장치(100)에 제공한다(S306).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐트를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S307).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐트를 포함하는 신호를 전송할 수도 있다(S308).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐트를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐트를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐트 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐트를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S309).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S311). 이 제1 응답은 핑거프린트 서버 주소, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
워터마크 정보와 제1 응답이 핑거프린트 서버 주소를 포함하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S313).
영상 표시 장치(100)는 제1 응답 내의 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제2 질의를 전송한다(S315).
핑거프린트 서버(22)는 제2 질의에 대한 제2 응답으로서 질의 결과를 제공한다(S317).
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제3 질의를 전송한다(S319).
부가 서비스 정보 제공 서버(40)는 제3 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제3 질의에 대한 제3 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S321).
영상 표시 장치(100)는 제1 응답, 제2 응답, 또는 제3 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S323), 부가 서비스를 획득한다(S325).
다음은 도 10을 참고하여, 본 발명의 실시 예에 따른 영상 표시 장치(100)를 설명한다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 10에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 표시 장치(100)는 방송 신호 수신부(101), 복조부(103), 채널 복호부(105), 역다중화부(107), 시청각 복호부(109), 외부 입력 포트(111), 재생 제어부(113), 재생 장치(120), 부가 서비스 관리부(130), 데이터 송수신부(141), 메모리(150)를 포함한다.
방송 신호 수신부(101)는 컨텐츠 제공 서버(10) 또는 MVPD(30)로부터 방송 신호를 수신한다.
복조부(103)는 수신한 방송 신호를 복조하여 복조된 신호를 생성한다.
채널 복호부(105)는 복조된 신호를 채널 복호하여 채널 복호된 데이터를 생성한다.
역다중화부(107)는 채널 복호된 데이터로부터 메인 시청각 컨텐트와 부가 서비스를 분리한다. 분리된 부가 서비스는 부가 서비스 저장부(152)에 저장된다.
시청각 복호부(109)는 분리된 메인 시청각 컨텐트를 시청각 복호(AV decoding)하여 비압축 메인 시청각 컨텐트를 생성한다.
한편, 외부 입력 포트(111)는 방송 수신 장치(60), 디브이디(digital versatile disk, DVD) 플레이어, 블루레이 디스크 (Blu-ray disc) 플레이어 등으로부터 비압축 메인 시청각 컨텐트를 수신한다. 외부 입력 포트(111)는 DSUB 포트, HDMI (High Definition Multimedia Interface) 포트, DVI (Digital Visual Interface) 포트, 컴포지트(composite) 포트, 컴포넌트(component) 포트, S-Video 포트 중 하나 이상을 포함할 수 있다.
재생 제어부(113)는 시청각 복호부(109)가 생성하는 비압축 메인 시청각 컨텐트 또는 외부 입력 포트(111)로부터 수신한 비압축 메인 시청각 컨텐트 중 적어도 하나를 사용자 선택에 의해 재생 장치(120)에 재생한다.
재생 장치(120)는 디스플레이부(121)와 스피커(123)를 포함한다. 디스플레이부(121)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트의 컨텐츠 정보를 획득하고, 획득된 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득한다. 특히, 앞서 설명한 바와 같이 부가 서비스 관리부(130)는 비압축 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플에 기초하여 메인 시청각 컨텐트의 식별 정보를 획득할 수 있는데, 본 명세서에서는 이를 자동 컨텐츠 인식(automatic contents recognition, ACR)이라 칭하기도 한다.
데이터 송수신부(141)는 ATSC-M/H (Advanced Television Systems Committee - Mobile/Handheld) 채널 송수신부(141a)와 IP 송수신부(141b)를 포함할 수 있다.
메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상 표시 장치(100)는 인터넷(internet)상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리(150)는 컨텐츠 정보 저장부(151), 부가 서비스 저장부(152), 로고 저장부(153), 설정 정보 저장부(154), 북마크 저장부(155), 사용자 정보 저장부(156), 이용 정보 저장부(157)를 포함할 수 있다.
컨텐츠 정보 저장부(151)는 복수의 특징 정보에 대응하는 복수의 컨텐츠 정보를 저장한다.
부가 서비스 저장부(152)는 복수의 특징 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있고, 복수의 컨텐츠 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있다.
로고 저장부(153)는 복수의 로고를 저장한다. 또, 로고 저장부는 이 복수의 로고에 대응하는 컨텐츠 제공자 식별자 또는 복수의 로고에 대응하는 워터마크 서버 주소를 더 저장할 수도 있다.
설정 정보 저장부(154)는 ACR을 위한 설정 정보를 저장한다.
북마크 저장부(155)는 북마크를 저장한다.
사용자 정보 저장부(156)는 사용자 정보를 저장한다. 사용자 정보는 하나 이상의 서비스를 위한 하나 이상의 계정 정보, 지역 정보, 가족 구성원 정보, 선호 장르 정보, 영상 표시 장치 정보, 이용 정보 제공 범위 중 하나 이상을 포함할 수 있다. 하나 이상의 계정 정보는 이용 정보 측정 서버를 위한 계정 정보, 트위터(twitter), 페이스북(facebook)과 같은 소셜 네트워크 서비스(social network service)의 계정 정보를 포함할 수 있다. 지역 정보는 주소 정보, 우편 번호를 포함할 수 있다. 가족 구성원 정보는 가족 구성원의 수, 각 구성원의 나이, 각 구성원의 성별, 각 구성원의 종교, 각 구성원의 직업 등을 포함할 수 있다. 선호 장르 정보는 스포츠, 영화, 드라마, 교육, 뉴스, 오락, 기타 장르 중에서 하나 이상으로 설정될 수 있다. 영상 표시 장치 정보는 영상 표시 장치의 종류, 제조사, 펌웨어 버전, 해상도, 모델명, OS, 브라우저, 저장 장치 유무, 저장 장치의 용량, 네트워크 속도에 대한 정보를 포함할 수 있다. 이용 정보 제공 범위가 설정되면, 영상 표시 장치(100)는 설정된 범위 내에서 메인 시청각 컨텐트 시청 정보와 부가 서비스 이용 정보를 수집하고 보고할 수 있다. 이용 정보 제공 범위는 가상 채널 각각에 대해 설정될 수 있다. 또한, 이용 정보 측정 허용 범위는 물리 채널 전체에 대해 설정될 수도 있다.
이용 정보 저장부(157)는 영상 표시 장치(100)에 의해 수집되는 메인 시청각 컨텐트 시청 정보와 부가 서비스 사용 정보를 저장한다. 또한, 영상 표시 장치(100)는 수집한 메인 시청각 컨텐트 시청 정보와 수집한 부가 서비스 사용 정보에 기초하여 서비스 이용 패턴을 분석하고, 분석된 서비스 이용 패턴을 이용 정보 저장부(157)에 저장할 수 있다.
부가 서비스 관리부(130)는 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐트의 컨텐츠 정보를 획득할 수 있다. 컨텐츠 정보 저장부(151)에 추출한 특징 정보에 해당하는 컨텐츠 정보가 없거나 충분한 컨텐츠 정보가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 컨텐츠 정보를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 컨텐츠 정보를 업데이트할 수 있다.
부가 서비스 관리부(130)는 부가 서비스 제공 서버(50) 또는 부가 서비스 저장부(153)로부터 이용가능한 부가 서비스를 획득할 수 있다. 부가 서비스 저장부(153)에 부가 서비스가 없거나 충분한 부가 서비스가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 부가 서비스를 업데이트할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 부가 서비스를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 로고를 추출하고, 로고 저장부(155)에 질의하여 추출한 로고에 대응하는 컨텐츠 제공자 식별자 또는 워터마크 서버 주소를 획득할 수 있다. 로고 저장부(155)에 추출한 로고와 일치하는 로고가 없거나 충분한 로고가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 로고를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 로고를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐트로부터 추출한 로고와 로고 저장부(155) 내의 복수의 로고와의 비교를 수행하는데 연산의 부담을 줄이기 위한 다양한 방법을 수행할 수 있다.
예컨데, 부가 서비스 관리부(130)는 색깔 특성에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 색깔 특성과 로고 저장부(155) 내의 로고의 색깔 특성을 비교하여 일치 여부를 판단할 수 있다.
또, 부가 서비스 관리부(130)는 문자 인식에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고로부터 인식되는 문자와 로고 저장부(155) 내의 로고로부터 인식되는 문자를 비교하여 일치 여부를 판단할 수 있다.
뿐만 아니라, 부가 서비스 관리부(130)는 로고의 윤곽에 대한 형상에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 윤곽 형상과 로고 저장부(155) 내의 로고의 윤곽 형상을 비교하여 일치 여부를 판단할 수 있다.
이하에서는 도 11을 참고하여 본 발명의 일 실시 예에 따른 부가 서비스 관리부(130)를 설명한다.
도 11은 본 발명의 한 실시예에 따른 부가 서비스 관리부의 계층도이다.
도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 부가 서비스 관리부(130)는 운영 시스템(operating system)(131a), 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a), ACR 플랫폼 API(ACR platform application program interface)(135a), 하나 이상의 ACR 엔진(136a), ACR 데몬(ACR daemon)(137a), ACR 미들웨어(138a), 하나 이상의 ACR 애플리케이션(139a)를 포함한다.
도 11에 도시된 바와 같은 부가 서비스 관리부(130)가 이용되면, 사용자는 채널이나 컨텐츠를 전혀 인식할 필요가 없으며, ACR 동작은 항상 수행될 수 있다.
부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 애플리케이션 스토어에 접속하여 애플리케이션을 다운로드할 수 있다.
오디오 드라이버(132a)는 오디오 핑거프린트 또는 오디오 워터마크를 위하여 사용되는 오디오 버퍼에 접근할 수 있다.
비디오 드라이버(133a)는 비디오 핑거프린트 또는 비디오 워터마크를 위하여 사용되는 비디오 버퍼에 접근할 수 있다.
네트워크 드라이버(134a)는 ACR 엔진(136a)이 데이터 송수신부(141)에 접근할 수 있도록 한다.
ACR 플랫폼 API(135a)는 ACR 엔진(136a)이 오디오 드라이버(132a), 비디오 드라이버(133a), 네트워크 드라이버(134a)에 접근할 수 있는 API를 제공한다.
복수의 방송국 또는 컨텐츠 제공자는 서로 다른 컨텐츠 인식 서비스를 이용할 수 있으므로, 영상 표시 장치(100)는 복수의 ACR 엔진(136a)을 탑재할 수 있다. 즉, 영상 표시 장치(100)는 복수의 비디오 워터마크 추출 알고리즘, 복수의 오디오 워트마크 추출 알고리즘, 복수의 비디오 시그너처 추출 알고리즘, 복수의 오디오 시그너처 추출 알고리즘 중 하나 이상을 위한 ACR 엔진을 포함할 수 있다. 워터마크 기반의 ACR 엔진(136a)은 워터마크 정보를 추출하여, 추출한 워터마크 정보로부터 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다. 핑거프린트 기반의 ACR 엔진(136a)은 메인 시청각 컨텐트의 일부 구간의 특징 정보를 추출하여, 추출한 특징 정보에 기초하여 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 획득할 수 있다.
ACR 데몬(ACR daemon)(137a)은 하나 이상의 ACR 엔진(136a)를 관리한다. 데몬(daemon)은 주기적인 서비스 요청을 처리하기 위해 계속 실행될 수 있다. 데몬은 수집된 요구들을 또 다른 프로그램이나 들이 처리할 수 있도록 적절히 전달한다. ACR 데몬(137a)은 ACR 엔진(136a)의 실행 및 종료를 관리할 수 있다. ACR 데몬(137a)은 복수의 ACR 엔진(136a) 중에서 현재의 메인 시청각 컨텐트에 매칭되는 ACR 엔진을 탐색한다. 특히, 여러 개의 ACR 엔진이 실행되어 시스템 자원이 많이 소모되는 경우에, ACR 데몬(137a)은 특정 규칙 또는 우선순위에 따라 복수의 ACR 엔진(136a)을 하나씩 순차적으로 실행시켜서 컨텐츠 인식 성공 여부를 확인할 수 있다. 또한, 복수의 ACR 엔진(136a) 중 하나가 컨텐츠 인식에 성공한 경우에, ACR 데몬(137a)은 인식된 컨텐츠를 위한 부가 서비스에 해당하는 ACR 애플리케이션(139a)을 획득하고 실행시킬 수 있다. ACR 엔진(136a)이 컨텐츠 인식을 성공적으로 수행중에, 채널 변경 등으로 더 이상 컨텐츠를 인식할 수 없다면, ACR 데몬(137a)은 ACR 애플리케이션(139a)을 종료시킬 수 있다.
ACR 미들웨어(138a)는 하나 이상의 ACR 애플리케이션(139a)을 위한 브라우저 역할을 수행한다.
ACR 애플리케이션(139a)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있다. ACR 애플리케이션(139a)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139a)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다. ACR 애플리케이션(139a)은 ACR 미들웨어(138a)의 ACR 애플리케이션 인터페이스를 통해 ACR 엔진(136a)과 상호 작용하면서 ACR 엔진(136a)으로부터 컨텐츠 정보 또는 시그너처를 제공받아 컨텐츠 정보 또는 시그너처에 해당하는 부가 서비스를 추가로 획득하여 재생 장치(120)에 재생할 수 있다.
다음으로 도 12를 설명한다.
도 12는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
원격 제어 장치(200)는 RF 통신규격에 따라 영상 표시 장치(100)와 신호를 송수신할 수 있는 RF 모듈을 구비하며, IR 통신규격에 따라 영상 표시 장치(100)와 신호를 송수신할 수 있는 IR 모듈을 구비할 수 있다.
또한, 원격제어장치(200)는 영상 표시 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈을 통하여 전송한다.
한편, 원격제어장치(200)는 영상 표시 장치(100)가 전송한 신호를 RF 모듈을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈을 통하여 영상 표시 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
도 12의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(121)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(121)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 12의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(121)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 12의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(121)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(121) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(121)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(121) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(121)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(121)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(121)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(121)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(121) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
도 13 내지 도 14는 본 발명의 다양한 실시 예에 따른 애플리케이션의 제어 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 영상 표시 장치(100)가 제공하는 화면(410)은 ACR 애플리케이션이 실행된 화면을 나타낼 수 있고, Live TV 애플리케이션 처리 영역(411) 및 ACR 애플리케이션 처리 영역(413)을 포함할 수 있다.
도 13의 실시 예에서 화면(410)은 하나의 레이어로 구성될 수 있고, 하나의 레이어가 Live TV 애플리케이션 처리 영역(411) 및 ACR 애플리케이션 처리 영역(413)을 포함할 수 있다.
Live TV 애플리케이션 처리 영역(411) 내에 커서 이벤트가 수신된 경우, Live TV 애플리케이션은 커서 이벤트에 대응하는 영상 표시 장치(100)의 기능을 수행할 수 있다. 커서는 공간 리모콘과 같이 원격제어장치의 움직임에 따라 이동되는 포인터일 수 있고, 커서 이벤트는 포인터에 의해 선택됨을 나타내는 입력일 수 있다. Live TV 애플리케이션은 메인 시청각 컨텐트의 재생과 관련된 기능을 제어하는 애플리케이션일 수 있다. Live TV 애플리케이션은 재생 제어부(113)에 포함될 수 있다.
ACR 애플리케이션 처리 영역(413) 내에 커서 이벤트가 수신된 경우, ACR 애플리케이션은 커서 이벤트에 응답하여 ACR 애플리케이션을 제어할 수 있다.
다음으로 도 14를 설명한다.
도 14를 참조하면, 영상 표시 장치(100)가 제공하는 화면(430)은 ACR 애플리케이션이 실행된 화면을 나타낼 수 있고, 메인 시청각 컨텐트 재생 영역(431) 및 부가 서비스 재생 영역(433)을 포함할 수 있다.
도 14의 실시 예에서 화면(430)은 하나의 레이어로 구성될 수 있고, 하나의 레이어가 메인 시청각 컨텐트 재생 영역(431) 및 부가 서비스 재생 영역(433)을 포함할 수 있다.
메인 시청각 컨텐트 재생 영역(431) 내에 커서 이벤트가 수신된 경우, Live TV 애플리케이션은 커서 이벤트에 대응하는 영상 표시 장치(100)의 기능을 수행할 수 있다. 커서는 공간 리모콘과 같이 원격제어장치의 움직임에 따라 이동되는 포인터일 수 있고, 커서 이벤트는 포인터에 의해 선택됨을 나타내는 입력일 수 있다. Live TV 애플리케이션은 메인 시청각 컨텐트의 재생과 관련된 기능을 제어하는 애플리케이션일 수 있다. Live TV 애플리케이션은 재생 제어부(113)에 포함될 수 있다.
부가 서비스 재생 영역(433) 내에 커서 이벤트가 수신된 경우, ACR 애플리케이션은 커서 이벤트에 응답하여 ACR 애플리케이션을 제어할 수 있다.
도 13 내지 도 14의 실시 예에 따르면, 하나의 레이어 상에 Live TV 애플리케이션이 처리할 수 있는 영역과 ACR 애플리케이션 처리할 수 있는 영역이 구분되어 있어 ACR 애플리케이션이 실행되면, 부가 서비스를 재생하는 영역의 사이즈를 크게 변경할 수 없는 등, 다양한 사용자 경험 시나리오에 대응하지 못한다.
또 다른 실시 예에서 모든 커서 이벤트와 키 이벤트는 Live TV 애플리케이션이 처리할 수 있다. Live TV 애플리케이션은 ACR 애플리케이션의 제어에 필요한 키 이벤트에 대응하는 코드를 생성하여 ACR 애플리케이션에 전달(propagation)할 수 있다. 생성된 제어 명령에 따라 ACR 애플리케이션이 제어될 수 있다.
그러나, 이 경우, Live TV 애플리케이션과 ACR 애플리케이션 간의 코드 연관성이 커지며, 향후, 유지 보수가 어렵다.
도 15는 본 발명의 또 다른 실시 예에 따른 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
영상 표시 장치(100)의 재생 제어부(113)는 제1 레이어 상에 메인 시청각 컨텐트를 재생한다(S1001).
일 실시 예에서 영상 표시 장치(100)는 복수의 레이어들을 통해 메인 시청각 컨텐트 및 부가 서비스를 재생할 수 있다. 복수의 레이어들은 제1 레이어 및 제2 레이어를 포함할 수 있다. 제1 레이어는 메인 시청각 컨텐트를 재생하기 위한 레이어 일 수 있고, 제2 레이어는 부가 서비스를 재생하기 위한 레이어일 수 있다. 제1 레이어 및 제2 레이어는 overlay 될 수 있다.
일 실시 예에서 제1 레이어는 Live TV 애플리케이션이 실행되는 레이어 일 수 있고, 제2 레이어는 도 11에서 설명된 ACR 애플리케이션(139a)이 실행되는 레이어 일 수 있다.
Live TV 애플리케이션은 메인 시청각 컨텐트의 재생과 관련된 기능을 제어하는 애플리케이션일 수 있다. Live TV 애플리케이션은 재생 제어부(113)에 포함될 수 있다.
ACR 애플리케이션(139a)은 ACR의 도움으로 강화된 사용자 경험을 사용자에게 제공할 수 있는 애플리케이션일 수 있다. ACR 애플리케이션(139a)은 애플리케이션 스토어나 인터넷으로부터 다운로드될 수 있는 애플리케이션일 수도 있고, 단순히 URL(Uniform Resource Locator)일 수도 있다. ACR 애플리케이션(139a)은 컨텐트 타겟 광고, 컨텐츠 제공자 포탈 서비스, 전자 프로그램 안내 (electronic program guide, EPG) 서비스 등과 같은 프로그램 특정 서비스나 컨텐츠 제공자 특정 서비스를 제공할 수 있다.
영상 표시 장치(100)의 부가 서비스 관리부(130)는 컨텐츠 인식 서비스 제공 서버(20)에 제1 질의를 전송한다(S1003).
일 실시 예에서 컨텐츠 인식 서비스 제공 서버(20)가 워터마크 서버(21)인 경우, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출할 수 있고, 추출된 워터마크 정보를 통해 워터마크 서버(21)의 주소를 획득할 수 있다. 부가 서비스 관리부(130)는 획득한 워터마크 서버(21)의 주소에 해당하는 워터마크 서버(21)에 접속하여 메인 시청각 컨텐트를 식별하기 위한 제1 질의를 전송할 수 있다.
또 다른 실시 예에서 컨텐츠 인식 서비스 제공 서버(20)가 핑거 프린트 서버(22)인 경우, 부가 서비스 관리부(130)는 메인 시청각 컨텐트의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출할 수 있고, 미리 설정된 핑거프린트 서버(22)의 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송할 수 있다.
영상 표시 장치(100)의 부가 서비스 관리부(130)는 컨텐츠 인식 서비스 제공서버(20)로부터 제1 질의에 대응하는 제1 응답을 수신한다(S1005).
일 실시 예에서 제1 응답은 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
제1 응답을 통해 부가 서비스 정보 제공 서버의 주소를 획득하였다면, 영상 표시 장치(100)의 부가 서비스 관리부(130)는 획득한 부가 서비스 정보 제공 서버의 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의(S1007)를 전송한다(S1007).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용 가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S1009).
영상 표시 장치(100)의 부가 서비스 관리부(130)는 제1 응답 또는 제2 응답을 통해 하나 이상의 이용 가능한 부가 서비스 주소를 획득하였다면, 하나 이상의 이용 가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S1011), 부가 서비스 제공 서버(50)로부터 부가 서비스를 획득한다(S1013).
영상 표시 장치(100)의 부가 서비스 관리부(130)는 획득한 부가 서비스를 제2 레이어 상에 재생한다(S1015).
즉, 부가 서비스 관리부(130)는 재생 제어부(113)가 제1 레이어 상에 메인 시청각 컨텐트를 재생하는 중 부가 서비스를 제2 레이어 상에서 재생할 수 있다. 이에 대해서는 도 16 내지 도 18을 참조하여 설명한다.
도 16 내지 도 18은 본 발명의 일 실시 예에 따라 멀티 레이어를 이용하여 메인 시청각 컨텐트 및 부가 서비스를 재생하는 실시 예를 설명하기 위한 도면이다.
도 16을 참조하면, 영상 표시 장치(100)의 재생 화면은 제1 레이어(300) 및 제2 레이어(500)를 포함하는 멀티레이어로 구성될 수 있다. 제1 레이어(300) 및 제2 레이어(500)는 중첩되어 하나의 그룹처럼 제어될 수 있다. 제1 레이어(300)는 Live TV 애플리케이션에 의해 제어될 수 있고, 제2 레이어(500)는 ACR 애플리케이션에 의해 제어될 수 있다. 제2 레이어(500)는 입력 영역을 포함할 수 있다. 후술할 커서 이벤트가 입력 영역 내에서 수신된 경우, ACR 애플리케이션은 커서 이벤트를 처리할 수 있고, 커서 이벤트가 입력 영역 이외의 영역에서 수신된 경우, Live TV 애플리케이션은 입력 영역 이외의 영역에서 수신된 커서 이벤트를 처리할 수 있다. 즉, 제2 레이어(500) 상에 커서 이벤트가 입력 영역 내에서 수신되는 경우, 입력 영역 이외의 영역에서 수신된 경우, 수신된 커서 이벤트 각각은 서로 다른 애플리케이션에 의해 처리될 수 있다.
제1 레이어(300)는 Live TV 애플리케이션 레이어, 제2 레이어(500)는 ACR 애플리케이션 레이어로 명명될 수 있으나, 이는 예시적인 명칭이다.
제1 레이어(300)는 Live TV 애플리케이션의 실행 화면에 대응될 수 있고, 제2 레이어(500)는 ACR 애플리케이션의 실행 화면에 대응될 수 있다. 영상 표시 장치(100)의 재생 제어부(113)는 제1 레이어(300)를 통해 메인 시청각 컨텐트를 재생할 수 있고, 부가 서비스 관리부(130)는 제2 레이어(500)를 통해 부가 서비스를 재생할 수 있다.
ACR 애플리케이션은 부가 서비스를 재생하기 전 제2 레이어(500)를 투명하게 표시할 수 있고, 부가 서비스를 재생한 후에는 제2 레이어(500)를 부분적으로 투명하게 표시할 수 있다.
다음으로, 도 17 내지 도 18을 참조하여, ACR 애플리케이션이 실행된 경우, 레이어의 구조를 설명한다.
도 17을 참조하면, ACR 애플리케이션은 부가 서비스 제공 서버(50)로부터 획득한 부가 서비스를 제2 레이어(500) 상에 재생할 수 있다. ACR 애플리케이션은 사용자가 아무런 액션을 취하지 않더라도 부가 서비스를 자동적으로 재생할 수 있다. ACR 애플리케이션은 메인 시청각 컨텐트의 재생 중에 컨텐츠 제공자 또는 방송사가 제공하는 장면 연관 정보와 같은 부가 서비스를 메인 시청각 컨텐트의 재생 시간에 따라 사용자의 입력 없이 자동으로 재생한다. 즉, 컨텐츠 제공자 또는 방송사가 전적으로 ACR 애플리케이션을 통제할 수 있다.
부가 서비스가 제2 레이어(500) 상에 재생되는 경우, 사용자가 실제로 시청하는 화면(600)은 도 18과 같을 수 있다. 즉, 메인 시청각 컨텐트가 재생되는 제1 레이어(300) 및 부가 서비스가 재생되는 제2 레이어(500)가 겹쳐진 경우, 사용자가 실제로 시청하는 화면(600)은 도 18과 같을 수 있다.
제2 레이어(500)는 부가 서비스가 재생되는 영역인 입력 영역(510)을 포함할 수 있다. 입력 영역(510)은 ACR 애플리케이션에 의해 관리를 받는 영역일 수 있다. 구체적으로, 입력 영역(510)은 ACR 애플리케이션이 이벤트의 수신을 처리하기 위한 영역일 수 있다. 제2 레이어(500)상에서 입력 영역(510)이외의 영역은 Live TV 애플리케이션이 이벤트의 수신을 처리할 수 있다.
입력 영역(510)은 ACR 애플리케이션의 실행에 따라 부가 서비스를 제공하기 위해 커서 이벤트를 입력 받을 수 있는 영역일 수 있다. 커서는 공간 리모콘과 같이 원격제어장치의 움직임에 따라 이동되는 포인터일 수 있고, 커서 이벤트는 포인터에 의해 입력 영역(510)이 선택됨을 나타내는 입력일 수 있다.
구체적으로, 입력 영역(510) 내에서 커서 이벤트가 수신된 경우, ACR 애플리케이션은 수신된 커서 이벤트를 관리할 수 있다. 입력 영역(510) 내에서 커서 이벤트가 수신된 경우, ACR 애플리케이션은 수신된 커서 이벤트에 따라 부가 서비스를 제공하는 영역 사이즈를 변경할 수 있다.
한편, 입력 영역(510) 이외의 영역 내에서 커서 이벤트가 수신된 경우, Live TV 애플리케이션은 수신된 커서 이벤트를 관리할 수 있다. 즉, 입력 영역(510)이외의 영역에서 커서 이벤트가 수신된 경우, Live TV 애플리케이션은 수신된 커서 이벤트에 대응하는 영상 표시 장치(100)의 기능을 수행할 수 있다. 이에 대해서는 자세히 후술한다.
일 실시 예에서 입력 영역(510)은 복수의 영역들로 구성될 수 있다. 즉, 제2 레이어(500)는 복수의 입력 영역들을 포함할 수 있다.
일 실시 예에서 입력 영역(510)는 제2 레이어(500) 상에 고정된 위치에 배치될 수 있다.
또 다른 실시 예에서 입력 영역(510)의 위치는 메인 시청각 컨텐트의 재생 화면의 특성에 따라 변경될 수 있다. 이에 대해서는 후술한다.
도 18을 참조하면, ACR 애플리케이션이 실행된 화면(600)은 입력 영역(510) 및 메인 시청각 컨텐트가 디스플레이되는 메인 시청각 컨텐트 영역(310)을 포함할 수 있다. 부가 서비스가 재생된 입력 영역(510)은 ACR 애플리케이션의 종료 버튼(511), ACR 애플리케이션의 숨김 버튼(513)을 포함한다. 입력 영역(510) 내에서 CR 애플리케이션의 종료 버튼(511) 및 ACR 애플리케이션의 숨김 버튼(513) 각각이 차지하는 영역을 제외한 영역에 커서 이벤트가 수신되면, 입력 영역(510)의 사이즈가 변경될 수 있다.
도 17에 도시된 바와 같이, 메인 시청각 컨텐트 영역(310)은 제1 레이어(300) 상에 배치되고, 입력 영역(510)은 제2 레이어(500) 상에 배치될 수 있다. 제1 레이어(300) 및 제2 레이어(500)가 overlay되면, 사용자는 도 18과 같은 화면을 시청할 수 있다.
다시 도 15를 설명한다.
영상 표시 장치(100)의 부가 서비스 관리부(130)는 부가 서비스의 재생 중 사용자 입력을 통해 이벤트를 수신한다(S1017).
일 실시 예에서 사용자 입력을 통해 수신되는 이벤트는 커서 이벤트일 수 있다. 커서는 공간 리모콘과 같은 원격제어장치의 움직임에 따라 이동되는 포인터일 수 있고, 커서 이벤트는 포인터에 의해 선택됨을 나타내는 입력일 수 있다.
또 다른 실시 예에서 사용자 입력을 통해 수신되는 이벤트는 키 이벤트일 수 있다. 키 이벤트는 원격제어장치의 키 버튼의 입력에 의해 생성되는 이벤트일 수 있다.
영상 표시 장치(100)의 부가 서비스 관리부(130)는 수신된 이벤트가 커서 이벤트인지 확인하고(S1019), 수신된 이벤트가 커서 이벤트인 경우, 커서 이벤트의 수신 위치가 제2 레이어 상의 입력 영역 내에 있는지를 확인한다(S1021).
만약, 커서 이벤트의 수신 위치가 제2 레이어 상의 입력 영역 내에 있는 경우, 부가 서비스 관리부(130)는 재생 제어부(113)를 통해 부가 서비스 재생하는 입력 영역의 사이즈를 변경한다(S1023).
단계 S1017 내지 S1023에 대해서는 도 19 내지 도 20을 참조하여 설명한다.
도 19 내지 도 20은 본 발명의 실시 예에 따라 메인 시청각 컨텐츠와 관련된 부가 서비스를 제공하는 화면을 설명하기 위한 도면이다.
도 18에서 입력 영역(510) 내에서 커서 이벤트가 수신된 경우, 영상 표시 장치(100)는 부가 서비스를 재생하는 입력 영역(510)의 사이즈를 변경시킬 수 있다. 구체적으로, 도 19에 도시된 바와 같이, 영상 표시 장치(100)는 제1 레이어(300)에 포함된 메인 시청각 컨텐트 영역(310)의 사이즈를 축소시키고, 제2 레이어(500)에 포함된 입력 영역(510)의 사이즈를 확대시킬 수 있다. 특히, 영상 표시 장치(100)는 입력 영역(510)의 사이즈를 증가시키면서 입력 영역(510)에서 제공되는 부가 서비스의 내용을 상세하게 변경할 수 있다. 예를 들어, 도 18의 입력 영역(510)에는 메인 시청각 컨텐트와 관련된 상품 정보가 있음을 나타내는 부가 서비스 정보만이 포함될 수 있고, 입력 영역(510) 내의 커서 이벤트 수신에 따라 사이즈가 변경된 입력 영역(510)에는 해당 상품에 대한 가격, 종류, 명칭 등을 포함하는 상품 상세 정보가 포함될 수 있다.
도 20을 참조하면, 영상 표시 장치(100)는 메인 시청각 컨텐트 영역(310)을 포함하는 제1 레이어(300)와 사이즈가 확대된 입력 영역(510)을 포함하는 제2 레이어(500)가 중첩되어 표시된 화면(700)을 표시하고 있다.
다시 도 15를 설명한다.
한편, 수신된 이벤트가 커서 이벤트가 아닌 경우(S1019), 영상 표시 장치(100)의 부가 서비스 관리부(130)는 수신된 이벤트를 키 이벤트로 확인하고(S1025), 수신된 키 이벤트가 등록된 키 이벤트인지를 확인한다(S1027).
수신된 키 이벤트가 등록된 키 이벤트로 확인된 경우, 부가 서비스 관리부(130)는 재생 제어부(113)를 통해 부가 서비스를 재생하는 입력 영역의 사이즈를 변경하고, 수신된 키 이벤트가 등록된 키 이벤트가 아닌 것으로 확인된 경우, 키 이벤트에 대응하는 영상 표시 장치(100)의 기능을 수행한다(S1029).
일 실시 예에서 등록된 키 이벤트는 ACR 애플리케이션의 제어를 위해 사용되는 등록된 키 명령들 중 하나일 수 있다. ACR 애플리케이션의 제어를 위해 사용되는 등록된 키 명령들 각각은 원격제어장치의 키 버튼들 각각에 대응될 수 있고, 미리 설정될 수 있다. 예를 들어, 등록된 키 명령들은 뒤로 돌아가기를 나타내는 백 버튼, ACR 애플리케이션을 종료하는 종료 버튼, 선택을 나타내는 ok 버튼, 방향을 지시하는 지시 버튼, 숫자 입력을 위한 숫자 버튼에 대응될 수 있다. 원격제어장치의 키 버튼과 ACR 애플리케이션의 제어를 위한 키 이벤트 간의 대응관계를 의미하는 마스킹(masking)은 설정에 따라 달라질 수 있다.
부가 서비스 관리부(130)는 수신된 키 이벤트가 등록된 키 이벤트인 경우, ACR 애플리케이션의 제어를 위한 입력으로 판단할 수 있고, 수신된 키 이벤트에 따라 ACR 애플리케이션을 제어할 수 있다. 예를 들어, 수신된 키 이벤트가 등록된 키 이벤트이고, 도 18에 도시된 입력 영역(510)의 사이즈를 변경하는 이벤트에 대응하는 경우, 영상 표시 장치(100)는 수신된 키 이벤트에 응답하여 입력 영역(510)의 사이즈를 도 20에 도시된 바와 같이, 확대시킴과 동시에 메인 시청각 컨텐트와 관련된 상품의 상세 정보를 제공할 수 있다.
메모리(150)는 원격제어장치의 키 버튼 입력에 대응하는 키 이벤트와 ACR 애플리케이션의 제어를 위한 기능 간의 대응관계를 저장하고 있을 수 있다.
한편, 수신된 키 이벤트가 ACR 애플리케이션의 제어를 위한 등록된 키 이벤트가 아닌 경우, 영상 표시 장치(100)는 해당 키 이벤트에 대응하는 채널 조절, 볼륨 조절 등과 같은 기능을 수행할 수 있다.
다음으로 도 21을 설명한다.
도 21은 본 발명의 일 실시 예에 따라 메인 시청각 컨텐트의 재생 화면의 특성에 기초하여 입력 영역의 위치를 변경하는 실시 예를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따르면, 제2 레이어 상에 배치된 입력 영역(510)의 위치는 변경될 수 있다. 구체적으로, 영상 표시 장치(100)는 제1 레이어 상의 메인 시청각 컨텐트의 재생 화면 내에서 사용자가 메인 시청각 컨텐트의 시청에 방해되지 않도록 입력 영역(510)을 배치할 수 있다. 예를 들어, 영상 표시 장치(100)는 메인 시청각 컨텐트에서 등장하는 주요 인물이나 주요 사물이 위치하지 않은 배경 화면에 부가 서비스를 재생하는 입력 영역(510)을 배치시킬 수 있다. 예를 들어, 영상 표시 장치(100)는 메인 시청각 컨텐트의 재생 화면 내의 풀 블랙(full black) 또는 풀 화이트(full white) 영역에 입력 영역(510)을 배치시킬 수 있다.
즉, 도 21에 도시된 바와 같이, ACR 애플리케이션이 실행되어 부가 서비스를재생하는 경우, 제2 레이어의 입력 영역(510)은 제1 레이어의 메인 시청각 컨텐트 재생 영역(310) 내에서 사용자의 시청을 방해하지 않는 영역에 배치될 수 있다.
사용자는 메인 시청각 컨텐트의 시청에 방해받지 않으면서 부가 서비스를 제공받을 수 있어 편의성이 증대될 수 있다.
다음으로 도 1 내지 도 21의 내용을 참조하여 이벤트의 수신에 따라 ACR 애플리케이션 또는 Live TV 애플리케이션의 동작을 제어하는 과정을 도 22를 참조하여 설명한다.
도 22는 본 발명의 실시 예에 따른 영상 표시 장치의 추가 구성 요소를 설명하기 위한 블록도이다.
즉, 도 22는 도 10의 영상 표시 장치(100)에 대한 블록도에서 추가되는 구성을 설명하기 위한 도면이다. 물론, 도 22의 블록도에는 도 10의 블록도에서 중복되는 구성 요소도 존재한다.
도 22를 참조하면, 영상 표시 장치(100)는 키 이벤트 등록부(161), 키 이벤트 수신부(163), 키 이벤트 관리부(165), 입력 영역 등록부(171), 커서 이벤트 수신부(173), 입력 영역 관리부(175), ACR 애플리케이션(139a) 및 Live TV 애플리케이션(181)을 더 포함할 수 있다.
키 이벤트 등록부(161)는 ACR 애플리케이션(139a)이 사용할 키 이벤트를 등록하여 저장할 수 있다. 키 이벤트 등록부(161)는 복수의 키 이벤트들과 ACR 애플리케이션(139a)이 수행하는 기능들 간의 대응관계를 저장할 수 있다. 예를 들어, 원격 제어 장치의 <1> 버튼 입력이 등록된 키 이벤트인 경우, <1> 버튼 입력은 ACR 애플리케이션(139a)의 실행을 종료하는 기능에 대응될 수 있으나, 이에 한정될 필요는 없다. 즉, <1> 버튼이 입력된 경우, 제2 레이어(500) 상의 입력 영역의 텍스트 입력 창에 <1>이라는 숫자가 입력될 수도 있는 등 설정에 따라 달라질 수 있다.
키 이벤트 수신부(163)는 원격 제어 장치(200)로부터 키 이벤트를 수신하고, 수신된 키 이벤트를 키 이벤트 등록부(161)로 전달할 수 있다.
키 이벤트 관리부(165)는 키 이벤트 수신부(163)가 수신한 키 이벤트가 키 이벤트 등록부(161)에 등록되어 있는 이벤트인지 확인할 수 있다. 키 이벤트 관리부(165)는 수신된 키 이벤트가 등록된 이벤트인 경우, 수신된 키 이벤트를 ACR 애플리케이션(139a)에 전달할 수 있고, 수신된 키 이벤트가 등록된 키 이벤트가 아닌 경우, 수신된 키 이벤트를 Live TV 애플리케이션(181)에 전달할 수 있다.
입력 영역 등록부(171)는 커서 이벤트의 입력이 필요한 경우, ACR 애플리케이션(139a)의 제어에 의해 제2 레이어(500) 상에 입력 영역을 등록할 수 있다. 입력 영역은 제2 레이어(500) 상에 위치하며, ACR 애플리케이션(139a)의 실행에 따라 부가 서비스를 제공하기 위해 커서 이벤트를 입력 받을 수 있는 영역일 수 있다. 입력 영역은 부가 서비스를 재생하는 영역으로, ACR 애플리케이션(139a)에 의해 관리 받을 수 있다. 입력 영역은 도 16 내지 도 18에서 설명한 제2 레이어(500)의 일정 영역에 위치할 수 있다.
커서 이벤트 수신부(173)는 원격 제어 장치(200) 또는 마우스로부터 커서 이벤트를 수신할 수 있다.
입력 영역 관리부(175)는 입력 영역 등록부(171)를 통해 수신된 커서 이벤트의 위치가 입력 영역 내에 있는지를 판단할 수 있다. 입력 영역 관리부(175)는 수신된 커서 이벤트의 위치가 입력 영역 내에 있는 것으로 판단한 경우, 커서 이벤트를 ACR 애플리케이션(139a)에 전달할 수 있고, 커서 이벤트의 위치가 입력 영역 내이 있지 않는 것으로 판단한 경우, 커서 이벤트를 Live TV 애플리케이션(181)에 전달할 수 있다. 즉, 제2 레이어 상(500)에 커서 이벤트가 수신되더라도, 수신된 커서 이벤트가 입력 영역 내에 있지 않는 경우, 커서 이벤트는 ACR 애플리케이션(139a)이 아닌 Live TV 애플리케이션(181)에 의해 처리될 수 있다.
ACR 애플리케이션(139a)은 키 이벤트 관리부(165)로부터 등록된 키 이벤트를 수신하고, 수신된 키 이벤트에 대응하는 ACR 애플리케이션(139a)의 기능을 수행할 수 있다. ACR 애플리케이션(139a)의 기능은 부가 서비스의 재생과 관련된 기능을 포함할 수 있다. ACR 애플리케이션(139a)의 기능은 부가 서비스의 재생, 종료, 선택 등과 같은 기능을 포함할 수 있으나, 이에 한정될 필요는 없다.
ACR 애플리케이션(139a)은 입력 영역 관리부(175)로부터 입력 영역 내에 위치한 커서 이벤트를 수신하고, 수신된 커서 이벤트에 대응하는 ACR 애플리케이션(139a)의 기능을 수행할 수 있다.
ACR 애플리케이션(139a)은 도 10에서 설명된 부가 서비스 관리부(130)에 포함될 수 있다.
Live TV 애플리케이션(181)은 키 이벤트 관리부(165)로부터 등록되지 않은 키 이벤트를 수신하고, 수신된 키 이벤트에 대응하는 Live TV 애플리케이션(181)의 기능을 수행할 수 있다. Live TV 애플리케이션(181)의 기능은 채널 변경, 볼륨 조절 등과 같은 기능을 포함하나, 이에 한정될 필요는 없다.
Live TV 애플리케이션(181)은 입력 영역 관리부(175)로부터 입력 영역 내에 위치하지 않은 커서 이벤트를 수신하고, 수신된 커서 이벤트에 대응하는 Live TV 애플리케이션(181)의 기능을 수행할 수 있다.
Live TV 애플리케이션(181)은 도 10에서 설명된 재생 제어부(113)에 포함될 수 있으나, 이에 한정될 필요는 없고, 별도의 구성 요소로 존재할 수 있다.
본 발명의 다양한 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 영상 표시 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 디스플레이부를 포함하는 영상 표시 장치의 동작 방법에 있어서,
    상기 디스플레이부의 제1 레이어를 통해 비압축 시청각 컨텐트를 재생하는 단계;
    상기 비압축 시청각 컨텐트의 일부에 기초하여 상기 비압축 시청각 컨텐트의 컨텐츠 정보를 획득하는 단계;
    상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 단계; 및
    획득된 부가 서비스를 상기 디스플레이부의 제2 레이어를 통해 재생하는 단계를 포함하고,
    상기 제1 레이어 및 상기 제2 레이어는 서로 중첩되는
    영상 표시 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 획득된 부가 서비스를 상기 디스플레이부의 제2 레이어를 통해 재생하는 단계는
    상기 획득된 부가 서비스를 상기 제2 레이어의 일정 영역인 입력 영역에서 재생하는 단계를 포함하는
    영상 표시 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 제2 레이어에 포함된 입력 영역은 상기 부가 서비스의 재생을 제어하기 위한 이벤트를 수신할 수 있는 영역인
    영상 표시 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 이벤트는 원격 제어 장치의 움직임에 대응하여 이동하는 커서 입력을 나타내는 커서 이벤트 또는 상기 원격 제어 장치의 키 입력을 나타내는 기 등록된 키 이벤트 중 어느 하나인
    영상 표시 장치의 동작 방법.
  5. 제3항에 있어서,
    상기 이벤트가 수신된 경우, 상기 입력 영역의 사이즈를 확대하는 단계를 포함하고,
    확대된 입력 영역은 상기 비압축 시청각 컨텐트와 관련된 상기 부가 서비스의 상세 정보를 포함하는
    영상 표시 장치의 동작 방법.
  6. 제5항에 있어서,
    상기 입력 영역의 사이즈를 확대하는 단계는
    상기 이벤트가 상기 키 이벤트이고, 상기 키 이벤트의 수신 위치가 상기 입력 영역 내인 경우, 상기 입력 영역의 사이즈를 확대하는 단계를 포함하는
    영상 표시 장치의 동작 방법.
  7. 제4항에 있어서,
    상기 제1 레이어 및 상기 제2 레이어 각각은 서로 다른 애플리케이션을 통해 제어되는
    영상 표시 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 제1 레이어는 상기 비압축 시청각 컨텐트의 재생을 제어하는 제1 애플리케이션을 통해 제어되고,
    상기 제2 레이어는 상기 부가 서비스의 재생을 제어하는 제2 애플리케이션을 통해 제어되는
    영상 표시 장치의 동작 방법.
  9. 제8항에 있어서,
    상기 제2 레이어의 입력 영역 내에서 상기 커서 이벤트가 수신된 경우, 상기 제2 애플리케이션이 상기 부가 서비스의 재생을 제어하고,
    상기 입력 영역 이외의 영역에서 상기 커서 이벤트가 수신된 경우, 상기 제1 애플리케이션이 상기 비압축 시청각 컨텐트의 재생을 제어하는
    영상 표시 장치의 동작 방법.
  10. 제1항에 있어서,
    상기 컨텐츠 정보를 획득하는 단계는
    상기 일부의 특징 정보를 추출하는 단계와,
    상기 특징 정보를 포함하는 질의에 대한 응답을 통해 상기 컨텐츠 정보를 획득하는 단계를 포함하는
    영상 표시 장치의 동작 방법.
  11. 영상 표시 장치에 있어서,
    제1 레이어와 제2 레이어를 포함하는 디스플레이부;
    비압축 시청각 컨텐트를 획득하는 수신부;
    상기 비압축 시청각 컨텐트의 일부에 기초하여 상기 비압축 시청각 컨텐트의 컨텐츠 정보를 획득하고, 상기 컨텐츠 정보에 기초하여 부가 서비스를 획득하는 부가 서비스 관리부; 및
    상기 비압축 시청각 컨텐트와 상기 부가 서비스를 상기 디스플레이부에 재생하는 재생 제어부를 포함하고,
    상기 부가 서비스 관리부는
    상기 제1 레이어를 통해 상기 비압축 시청각 컨텐트를 재생하고, 상기 제2 레이어를 통해 상기 부가 서비스를 재생하도록 상기 재생 제어부를 제어하고,
    상기 제1 레이어 및 상기 제2 레이어는 서로 중첩되는
    영상 표시 장치.
  12. 제11항에 있어서,
    상기 부가 서비스 관리부는
    상기 부가 서비스를 상기 제2 레이어의 일정 영역인 입력 영역에서 재생하도록 상기 재생 제어부를 제어하는
    영상 표시 장치.
  13. 제12항에 있어서,
    상기 제2 레이어에 포함된 입력 영역은 상기 부가 서비스의 재생을 제어하기 위한 이벤트를 수신할 수 있는 영역인
    영상 표시 장치.
  14. 제13항에 있어서,
    상기 이벤트는 원격 제어 장치의 움직임에 대응하여 이동하는 커서 입력을 나타내는 커서 이벤트 또는 상기 원격 제어 장치의 키 입력을 나타내는 기 등록된 키 이벤트 중 어느 하나인
    영상 표시 장치.
  15. 제13항에 있어서,
    상기 부가 서비스 관리부는
    상기 이벤트가 수신된 경우, 상기 입력 영역의 사이즈를 확대하고,
    확대된 입력 영역은 상기 비압축 시청각 컨텐트와 관련된 상기 부가 서비스의 상세 정보를 포함하는
    영상 표시 장치.
  16. 제15항에 있어서,
    상기 부가 서비스 관리부는
    상기 이벤트가 상기 키 이벤트이고, 상기 키 이벤트의 수신 위치가 상기 입력 영역 내인 경우, 상기 입력 영역의 사이즈를 확대하는
    영상 표시 장치.
  17. 제14항에 있어서,
    상기 제1 레이어 및 상기 제2 레이어 각각은 서로 다른 애플리케이션을 통해 제어되는
    영상 표시 장치.
  18. 제17항에 있어서,
    상기 제1 레이어는 상기 비압축 시청각 컨텐트의 재생을 제어하는 제1 애플리케이션을 통해 제어되고,
    상기 제2 레이어는 상기 부가 서비스의 재생을 제어하는 제2 애플리케이션을 통해 제어되는
    영상 표시 장치.
  19. 제18항에 있어서,
    상기 제2 레이어의 입력 영역 내에서 상기 커서 이벤트가 수신된 경우, 상기 제2 애플리케이션이 상기 부가 서비스의 재생을 제어하고,
    상기 입력 영역 이외의 영역에서 상기 커서 이벤트가 수신된 경우, 상기 제1 애플리케이션이 상기 비압축 시청각 컨텐트의 재생을 제어하는
    영상 표시 장치.
  20. 제11항에 있어서,
    상기 부가 서비스 관리부는
    상기 일부의 특징 정보를 추출하고, 상기 특징 정보를 포함하는 질의에 대한 응답을 통해 상기 컨텐츠 정보를 획득하는
    영상 표시 장치.
KR1020140099955A 2014-08-04 2014-08-04 영상 표시 장치 및 그의 동작 방법 KR102254838B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140099955A KR102254838B1 (ko) 2014-08-04 2014-08-04 영상 표시 장치 및 그의 동작 방법
EP20157970.3A EP3681168B1 (en) 2014-08-04 2014-09-16 Video display device and method of controlling the device
PCT/KR2014/008625 WO2016021762A1 (en) 2014-08-04 2014-09-16 Video display device and method of controlling the device
EP14899087.2A EP3178235B1 (en) 2014-08-04 2014-09-16 Video display device and method of controlling the device
US14/532,668 US9712583B2 (en) 2014-08-04 2014-11-04 Video display device and method of controlling the device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140099955A KR102254838B1 (ko) 2014-08-04 2014-08-04 영상 표시 장치 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20160016245A true KR20160016245A (ko) 2016-02-15
KR102254838B1 KR102254838B1 (ko) 2021-05-24

Family

ID=55181298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140099955A KR102254838B1 (ko) 2014-08-04 2014-08-04 영상 표시 장치 및 그의 동작 방법

Country Status (4)

Country Link
US (1) US9712583B2 (ko)
EP (2) EP3178235B1 (ko)
KR (1) KR102254838B1 (ko)
WO (1) WO2016021762A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190517A1 (en) * 2017-04-13 2018-10-18 Samsung Electronics Co., Ltd. Electronic apparatus and method for displaying contents thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254838B1 (ko) * 2014-08-04 2021-05-24 엘지전자 주식회사 영상 표시 장치 및 그의 동작 방법
US9992487B1 (en) * 2016-08-10 2018-06-05 Integrity Applications Incorporated Stereoscopic viewer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140028915A1 (en) * 2010-11-24 2014-01-30 Lg Electronics Inc. Video display device and control method thereof
US20140035942A1 (en) * 2012-08-01 2014-02-06 Samsung Electronics Co. Ltd. Transparent display apparatus and display method thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1865723A1 (en) * 2006-06-07 2007-12-12 Sony NetServices GmbH Video-on-demand system
US8886112B2 (en) * 2008-09-24 2014-11-11 Apple Inc. Media device with enhanced data retrieval feature
US8918806B2 (en) * 2009-04-01 2014-12-23 Disney Enterprises, Inc. Packaged media playback with remotely obtained supplemental content
JP5153840B2 (ja) * 2010-08-31 2013-02-27 三洋電機株式会社 マルチレイヤディスプレイ装置
US20110157051A1 (en) * 2009-12-25 2011-06-30 Sanyo Electric Co., Ltd. Multilayer display device
EP2645731B8 (en) * 2010-11-24 2019-04-17 LG Electronics Inc. Video display device and method of controlling the same
US20130271661A1 (en) * 2010-12-28 2013-10-17 Sharp Kabushiki Kaisha Display device, television receiver, control method for display device
KR20150108216A (ko) * 2014-03-17 2015-09-25 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
KR102254838B1 (ko) * 2014-08-04 2021-05-24 엘지전자 주식회사 영상 표시 장치 및 그의 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140028915A1 (en) * 2010-11-24 2014-01-30 Lg Electronics Inc. Video display device and control method thereof
US20140035942A1 (en) * 2012-08-01 2014-02-06 Samsung Electronics Co. Ltd. Transparent display apparatus and display method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190517A1 (en) * 2017-04-13 2018-10-18 Samsung Electronics Co., Ltd. Electronic apparatus and method for displaying contents thereof
US10950206B2 (en) 2017-04-13 2021-03-16 Samsung Electronics Co., Ltd. Electronic apparatus and method for displaying contents thereof

Also Published As

Publication number Publication date
EP3178235B1 (en) 2020-04-01
EP3178235A4 (en) 2018-04-04
EP3681168A1 (en) 2020-07-15
EP3178235A1 (en) 2017-06-14
US20160036877A1 (en) 2016-02-04
US9712583B2 (en) 2017-07-18
EP3681168B1 (en) 2023-11-01
KR102254838B1 (ko) 2021-05-24
WO2016021762A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
US20190082212A1 (en) Method for receiving enhanced service and display apparatus thereof
JP6294238B2 (ja) 映像表示装置及びその動作方法
US10080046B2 (en) Video display device and control method thereof
JP6290935B2 (ja) 映像表示装置及びその動作方法
US9967626B2 (en) Video display apparatus and operating method thereof
KR101960314B1 (ko) 영상 표시 장치 및 그 제어 방법
KR102254838B1 (ko) 영상 표시 장치 및 그의 동작 방법
EP3220652B1 (en) Electronic device and operation method thereof
US20170347154A1 (en) Video display apparatus and operating method thereof
KR102263146B1 (ko) 영상 표시 장치 및 그 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant