KR102199568B1 - 전자 장치 및 그 동작 방법 - Google Patents
전자 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR102199568B1 KR102199568B1 KR1020140155419A KR20140155419A KR102199568B1 KR 102199568 B1 KR102199568 B1 KR 102199568B1 KR 1020140155419 A KR1020140155419 A KR 1020140155419A KR 20140155419 A KR20140155419 A KR 20140155419A KR 102199568 B1 KR102199568 B1 KR 102199568B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- information
- input
- application
- electronic device
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 11
- 238000009434 installation Methods 0.000 claims 2
- 238000007726 management method Methods 0.000 description 72
- 238000010586 diagram Methods 0.000 description 54
- 230000000875 corresponding effect Effects 0.000 description 44
- 239000000872 buffer Substances 0.000 description 22
- 230000006870 function Effects 0.000 description 22
- 230000001276 controlling effect Effects 0.000 description 21
- 239000000284 extract Substances 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 9
- 230000011664 signaling Effects 0.000 description 8
- 235000013305 food Nutrition 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/47815—Electronic shopping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명의 일 실시 예에 따른 전자 디바이스 동작 방법은 제1 디바이스가 ACR(Automatic contents recognition) 기능을 통해 획득한 비압축 시청각 컨텐트 정보 및 부가 서비스를 획득하는 단계; 상기 비압축 시청각 컨텐트 정보 및 부가 서비스를 상호 메시지 교환기능을 포함하는 제1 어플리케이션을 통해 출력하는 단계; 상기 제1 어플리케이션을 통해 출력된 부가 서비스를 실행하는 실행 입력을 수신하는 단계; 및 상기 수신된 실행 입력에 따라 부가 서비스를 실행하는 단계를 포함한다.
Description
본 발명은 전자 장치 및 그 동작 방법에 관한 것이다. 특히, 영상표시장치와 연동하여 다양한 서비스를 제어하는 전자 장치 및 그 동작 방법에 관한 것이다.
디지털 방송이 활성화됨에 따라, 방송국은 메인 시청각 컨텐츠를 송출하면서, 이 메인 시청각 컨텐츠와 연계하여 이용할 수 있거나 이 메인 시청각 컨텐츠와는 독립적인 부가 서비스 데이터(enhanced service data)를 함께 송출한다.
그러나 현재의 방송 환경에서는 각 가정의 영상 표시 장치가 방송 신호를 공중파를 통해 직접 수신하는 경우가 적다. 오히려, 각 가정의 영상 표시 장치는 셋톱박스와 같은 방송 수신 장치에 연결되어 있어서, 이 방송 수신 장치가 제공하는 비압축 시청각 컨텐츠를 재생하는 경우가 많다.
한편, 가정의 영상표시장치가 부가 서비스를 제어하기 위해서는 특정 입력이 필요한데, 통상적으로 영상표시장치를 조작하는 원격조정장치로는 그 한계가 있다. 또한, 부가 서비스를 제어하기 위한 사용자 인터페이스를 영상표시장치에 표시하는 과정에서 시청자의 메인 컨텐츠 시청을 방해하는 경우도 발생할 수 있다.
본 발명은 비압축 시청각 컨텐츠 형태를 인식하고, 인식된 컨텐츠와 관련된 부가 서비스를 사용자에게 제공하는 영상 표시 장치와 그 동작 방법을 제공하기 위한 것이다.
또한, 본 발명은 인식된 컨텐츠와 관련된 부가 서비스를 모바일 메신저를 통해 사용자에게 알리고, 모바일 메신저에 입력하는 제어 명령을 통해 비압축 시청각 컨텐츠와 연관된 부가 서비스를 제어하는 영상 표시 장치와 그 동작 방법을 제공하기 위한 것이다.
본 발명의 일 실시 예에 따른 전자 디바이스의 동작 방법은, 제1 디바이스가 ACR(Automatic contents recognition) 기능을 통해 획득한 비압축 시청각 컨텐트 정보 및 부가 서비스를 획득하는 단계; 상기 비압축 시청각 컨텐트 정보 및 부가 서비스를 상호 메시지 교환기능을 포함하는 제1 어플리케이션을 통해 출력하는 단계; 상기 제1 어플리케이션을 통해 출력된 부가 서비스를 실행하는 실행 입력을 수신하는 단계; 및 상기 수신된 실행 입력에 따라 부가 서비스를 실행하는 단계를 포함한다.
본 발명의 실시예는 MVPD에 종속하지 않는 부가 서비스를 가능하게 한다. 특히, 본 발명의 실시예는 방송국이나 컨텐츠 제공자가 부가 서비스를 제공하지 않더라도 방송국이나 컨텐츠 제공자에 종속하지 않는 제3자 서버에 의해 부가 서비스를 가능하게 한다.
또한, 본 발명의 다양한 실시예는 리모콘을 통한 불편한 텍스트 입력 없이도 모바일 메신저를 통해 메인 시청각 컨텐츠와 관련된 정보 검색, 채팅, 뉴스 검색, 디지털 미디어 다운로드, 제품 카탈로그 다운로드 및 제품 구입을 가능하게 한다.
뿐만 아니라, 본 발명의 실시예는 무선 채널의 대역폭의 한계를 넘는 부가 서비스를 가능하게 한다.
본 발명의 실시예에 따른 영상 표시 장치는 외부 입력을 통해 입력되는 비압축 시청각 데이터에 기초하여 채널맵을 획득할 수 있다.
본 발명의 실시예에 따른 제3자 서버는 린백 애플리케이션의 허용 여부에 대한 정보를 영상 표시 장치에 제공하여 린백 애플리케이션이 영상 표시 장치의 안정성에 심각한 영향을 주는 것을 방지할 수 있다.
본 발명의 실시예에 따른 영상 표시 장치와 지역적으로 가까운 ACR 서버의 URL 주소를 알려주어, 영상 표시 장치가 빠르게 컨텐츠 인식을 수행할 수 있고, 네트워크 레이턴시(network latency)를 줄일 수 있도록 한다.
본 발명의 실시예에 따른 제3자 서버는 ACR 온 타임 구간에 대한 정보를 영상 재생 장치에 제공하여 불필요한 리소스 소모를 방지할 수 있다.
본 발명의 다양한 실시 예에 따르면, 디스플레이 장치가 컨텐트를 인식하고, 인식한 컨텐트와 관련된 서비스를 메신저 어플리케이션을 통해 효과적으로 제어할 수 있다
또한, 본 발명의 실시 예에 따르면, 컨텐트와 관련된 서비스를 제공하는 메뉴를 디스플레이 장치의 화면이 아닌 2nd 스크린을 통해 제공하여 사용자가 느끼는 시청간의 불편함을 최소화 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 12는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 13은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 14은 종래에 ACR 기능을 활용하여 사용자에게 제공된 서비스를 제어하는 방법(a)과 본 발명의 일 실시 예에 따른 전자 디바이스의 어플리케이션을 통해 제공된 부가 서비스를 제어하는 방법(b)을 개략적으로 나타낸 도면이다.
도 15은 상술한 전자 디바이스를 통해 부가 서비스를 제어하는 전체 구성을 나타내는 블록도이다.
도 16는 메신저를 통한 가전 제품 제어 서비스의 기본 화면을 나타낸 도면이다.
도 17은 메신저를 통해 가전 제품을 등록하는 메뉴를 나타내는 도면이다.
도 18 내지 도 19는 상기 등록 메뉴를 통해 등록된 가전 제품들의 현재 상태를 알려주는 메뉴를 나타내는 도면이다.
도 20은 현재 등록 가능한 제품을 알려주는 메뉴를 나타내는 도면이다.
도 21 내지 도 23은 외출모드를 실행한 상태를 나타내는 도면이다.
도 24 내지 도 25은 휴가 모드를 실행한 경우를 나타내는 도면이다.
도 26 내지 도 28는 귀가 모드를 실행한 경우를 나타내는 도면이다.
도 29 내지 도 32은 일 실시 예로 메신저를 통해 에어컨을 제어하는 모습을 나타내는 도면이다.
도 33는 본 발명의 일 실시 예에 따른 전자 디바이스의 어플리케이션을 통한 영상표시장치 및 기타 가전 제품의 제어 방법을 나타내는 흐름도이다.
도 34은 사용자가 영상표시장치의 ACR 기능을 통해 인식된 컨텐트와 관련된 다른 컨텐트의 다시보기를 전자 디바이스의 메신저를 통해 제어하는 것을 나타내는 도면이다.
도 35은 현재 재생중인 시청각 컨텐트와 연동되는 앱을 전자 디바이스에서 제어하는 것을 나타내는 도면이다.
도 36는 부가 서비스의 일 예로 쿠폰 서비스를 제공하는 것을 나타내는 도면이다.
도 37은 부가 서비스의 일 예로 영상표시장치에서 시청각 컨텐트에 삽입된 간접광고를 인식하여 구매 서비스를 제공하는 것을 나타내는 도면이다.
도 38는 부가 서비스의 일 실시 예로 채팅 서비스를 제공하는 도면이다.
도 39는 부가 서비스의 일 실시 예로 레시피 정보를 제공하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 12는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 13은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 14은 종래에 ACR 기능을 활용하여 사용자에게 제공된 서비스를 제어하는 방법(a)과 본 발명의 일 실시 예에 따른 전자 디바이스의 어플리케이션을 통해 제공된 부가 서비스를 제어하는 방법(b)을 개략적으로 나타낸 도면이다.
도 15은 상술한 전자 디바이스를 통해 부가 서비스를 제어하는 전체 구성을 나타내는 블록도이다.
도 16는 메신저를 통한 가전 제품 제어 서비스의 기본 화면을 나타낸 도면이다.
도 17은 메신저를 통해 가전 제품을 등록하는 메뉴를 나타내는 도면이다.
도 18 내지 도 19는 상기 등록 메뉴를 통해 등록된 가전 제품들의 현재 상태를 알려주는 메뉴를 나타내는 도면이다.
도 20은 현재 등록 가능한 제품을 알려주는 메뉴를 나타내는 도면이다.
도 21 내지 도 23은 외출모드를 실행한 상태를 나타내는 도면이다.
도 24 내지 도 25은 휴가 모드를 실행한 경우를 나타내는 도면이다.
도 26 내지 도 28는 귀가 모드를 실행한 경우를 나타내는 도면이다.
도 29 내지 도 32은 일 실시 예로 메신저를 통해 에어컨을 제어하는 모습을 나타내는 도면이다.
도 33는 본 발명의 일 실시 예에 따른 전자 디바이스의 어플리케이션을 통한 영상표시장치 및 기타 가전 제품의 제어 방법을 나타내는 흐름도이다.
도 34은 사용자가 영상표시장치의 ACR 기능을 통해 인식된 컨텐트와 관련된 다른 컨텐트의 다시보기를 전자 디바이스의 메신저를 통해 제어하는 것을 나타내는 도면이다.
도 35은 현재 재생중인 시청각 컨텐트와 연동되는 앱을 전자 디바이스에서 제어하는 것을 나타내는 도면이다.
도 36는 부가 서비스의 일 예로 쿠폰 서비스를 제공하는 것을 나타내는 도면이다.
도 37은 부가 서비스의 일 예로 영상표시장치에서 시청각 컨텐트에 삽입된 간접광고를 인식하여 구매 서비스를 제공하는 것을 나타내는 도면이다.
도 38는 부가 서비스의 일 실시 예로 채팅 서비스를 제공하는 도면이다.
도 39는 부가 서비스의 일 실시 예로 레시피 정보를 제공하는 도면이다.
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "엔진", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
다음은 도 1 내지 도 9를 참고하여 본 발명의 일 실시예에 따른 네트워크 토폴로지를 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 토폴로지를 보여주는 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50), 방송 수신 장치(60), 네트워크(70), 영상 표시 장치(100)를 포함한다.
컨텐츠 제공 서버(10)는 방송국 등에 해당할 수 있으며, 메인 시청각 컨텐츠(main audio-visual content)를 포함하는 방송 신호를 방송한다. 방송 신호는 부가 서비스를 더 포함할 수 있다. 부가 서비스는 메인 시청각 컨텐츠와 관련이 있을 수도 있고, 관련이 없을 수도 있다. 부가 서비스는 서비스 정보(service information), 메타데이터(metadata), 부가 데이터, 컴파일된 실행 파일, 웹 애플리케이션, HTML(Hypertext Markup Language) 문서, XML 문서, CSS(cascading style sheet) 문서, 오디오 파일, 비디오 파일, ATSC 2.0 컨텐츠, URL(Uniform Resource Locator)과 같은 주소 등의 형태를 가질 수 있다. 하나 이상의 컨텐츠 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 영상 표시 장치(100)가 메인 시청각 컨텐츠에 기초하여 컨텐츠를 인식할 수 있게 하는 컨텐츠 인식 서비스를 제공한다. 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐츠에 수정을 가할 수도 있고 수정을 가하지 않을 수도 있다. 하나 이상의 컨텐츠 인식 서비스 제공 서버가 존재할 수 있다.
컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하는 워터마크 서버일 수 있다. 이 워터마크 서버는 메인 시청각 컨텐츠의 각 프레임의 왼쪽 상단 또는 오른쪽 상단에 컨텐츠 제공자의 로고를 워터마크할 수 있다.
또, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 컨텐츠 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하는 워터마크 서버일 수 있다.
또한, 컨텐츠 인식 서비스 제공 서버(20)는 메인 시청각 컨텐츠의 일부의 프레임 또는 일부의 오디오 샘플로부터 특징 정보를 추출하여 저장하는 핑거프린트 서버일 수 있다. 이 특징 정보는 시그너처라고도 불린다.
멀티채널 비디오 분배 서버(30)는 복수의 방송국으로부터 방송 신호를 수신하고 다중화하여 다중화된 신호를 방송 수신 장치(60)에 제공한다. 특히, 멀티채널 비디오 분배 서버(30)는 수신한 방송 신호에 대해 복조와 채널 복호화를 수행하여 메인 시청각 컨텐츠와 부가 서비스를 추출한 후, 추출된 메인 시청각 컨텐츠와 추출한 부가 서비스에 대해 채널 부호화를 수행하여 분배를 위한 다중화 신호를 생성할 수 있다. 이때, 멀티채널 비디오 분배 서버(30)는 추출한 부가 서비스를 제외할 수도 있고, 또 다른 부가 서비스를 추가할 수도 있기 때문에, 방송국은 방송국 주도의 서비스를 제공할 수 없다. 하나 이상의 멀티채널 비디오 분배 서버가 존재할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고, 튜팅한 채널의 신호를 수신하고, 수신한 신호에 대해 복조와 채널 복호를 수행하여 메인 시청각 컨텐츠를 추출한다. 그리고 방송 수신 장치(60)는 추출한 메인 시청각 컨텐츠를 H.264/MPEG-4 AVC(Moving Picture Experts Group-4 advanced video coding), Dolby AC-3, MPEG-2 AAC (Moving Picture Experts Group-2 Advanced Audio Coding) 알고리즘 등을 이용하여 복호하여 비압축 메인 시청각 컨텐츠(uncompressed main AV content)를 생성한다. 방송 수신 장치(60)는 생성한 비압축 메인 시청각 컨텐츠를 영상 표시 장치(100)의 외부 입력 포트 등을 통해 영상 표시 장치(100)에 제공한다.
부가 서비스 정보 제공 서버(40)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐츠와 관련된 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 제공한다. 하나 이상의 부가 서비스 주소 제공 서버가 존재할 수 있다. 부가 서비스 정보 제공 서버(40)는 복수의 이용가능한 부가 서비스 중에서 가장 우선순위가 높은 부가 서비스를 위한 부가 서비스 정보를 제공할 수도 있다.
부가 서비스 제공 서버(50)는 영상 표시 장치의 요청에 응답하여 메인 시청각 컨텐츠와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공한다. 하나 이상의 부가 서비스 제공 서버가 존재할 수 있다.
영상 표시 장치(100)는 텔레비전, 노트북, 핸드폰, 스마트폰 등과 같이 디스플레이부를 포함하는 장치일 수 있다. 영상 표시 장치(100)는 방송 수신 장치(60)로부터 비압축 메인 시청각 컨텐츠를 수신할 수도 있고, 컨텐츠 제공 서버(10) 또는 멀티채널 비디오 분배 서버(30)로부터 부호화된 메인 시청각 컨텐츠를 포함하는 방송 신호를 수신할 수 도 있다. 영상 표시 장치(100)는 네트워크(70)를 통해 컨텐츠 인식 서비스 제공 서버(20)로부터 컨텐츠 인식 서비스를 제공받을 수 있고, 네트워크(70)를 통해 부가 서비스 정보 제공 서버(40)로부터 메인 시청각 컨텐츠와 관련하여 이용할 수 있는 하나 이상의 부가 서비스의 주소를 받을 수 있으며, 부가 서비스 제공 서버(50)로부터 메인 시청각 컨텐츠와 관련하여 이용할 수 있는 하나 이상의 부가 서비스를 제공받을 수 있다.
컨텐츠 제공 서버(10), 컨텐츠 인식 서비스 제공 서버(20), 멀티채널 비디오 분배 서버(30), 부가 서비스 정보 제공 서버(40), 복수의 부가 서비스 제공 서버(50) 중 2 이상은 하나의 서버의 형태로 결합될 수도 있고, 한 사업자에 의해 운영될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)를 더 포함한다.
도 2에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 컨텐츠 정보를 삽입한다. 멀티채널 비디오 분배 서버(30)는 변형된 메인 시청각 컨텐츠를 포함하는 방송 신호를 수신하여 분배한다. 특히, 워터마크 서버는 이하에서 설명하는 바와 같은 디지털 워터마킹 기술을 이용할 수 있다.
디지털 워터마크는 삭제하기 어려운 방법으로 디지털 신호에 정보를 삽입하는 프로세스이다. 예를 들면, 디지털 신호는 오디오, 사진, 또는 비디오일 수 있다. 이 디지털 신호가 복사되면, 삽입된 정보 또한 복사본에 담아진다. 한 디지털 신호가 동시에 다른 여러 개의 워터마크를 운반할 수 있다.
보이는 워터마킹(visible watermarking)에서, 삽입되는 정보는 사진 또는 비디오에서 눈으로 식별가능하다. 전형적으로, 삽입된 정보는 미디어의 소유자를 식별하는 텍스트 또는 로고이다. 텔레비전 방송국이 자신의 로고를 전송되는 비디오의 코너에 추가하면, 이것이 눈으로 식별가능한 워터마크이다.
눈으로 식별 불가능한 워터마킹(invisible watermarking)에서, 정보는 디지털 데이터로서 오디오, 사진, 또는 비디오에 추가되지만, 일정 량의 정보가 숨겨져 있다는 사실은 감지할 수 있다하더라도 그러한 정보는 인지할 수는 없다. 이러한 눈으로 식별불가능한 워터마킹을 통해 비밀 메시지가 전달될 수도 있다.
워터마킹의 한 응용은 디지털 미디어의 불법 복제를 막기 위한 저작권 보호 시스템에 있다. 예컨데, 복제 장치는 디지털 미디어의 복제 전에 디지털 미디어로부터 워터마크를 얻고, 워터마크의 내용에 기초하여 복제를 할지 말지를 결정할 수 있다.
워터마킹의 또 다른 응용은 디지털 미디어의 출처 추적에 있다. 배포 경로 상의 각 지점에서 워터마크가 디지털 미디어에 임베딩된다. 나중에 이와 같은 디지털 미디어가 발견된다면, 이 디지털 미디어로부터 워터마크가 추출될 수 있고, 워터마크의 내용으로부터 배포의 출처를 파악할 수 있다.
디지털 미디어에 대한 설명이 눈으로 식별불가능한 워터마킹의 또 다른 응용이다.
디지털 미디어를 위한 파일 포멧이 메타데이터라고 불리는 추가적인 정보를 포함할 수 있는데, 디지털 워터마크는 디지털 미디어의 시청각 신호 자체로 전달된다는 점에서 메타데이터와는 구별된다.
워터마킹 방법으로 스프레드 스펙트럼, 양자화, 앰플리튜드 변조가 있다.
마킹되는 신호가 추가적인 수정에 의해 얻어진다면, 워터마킹 방법은 스프레드 스펙트럼에 해당한다. 스프레드 스펙트럼 워터마크는 꽤 강인하다고 알려져 있지만, 워터마크가 임베딩되는 호스트 신호에 간섭을 주기 때문에 많은 정보가 실리지는 않는다.
마킹되는 신호가 양자화에 의해 얻어진다면, 워터마킹 방법은 양자화 타입에 해당한다. 양자화 워터마크는 강인성은 낮지만, 꽤 많은 정보를 실을 수 있다.
마킹되는 신호가 공간 도메인에서 스프레드 스펙트럼과 유사한 추가 수정 방법으로 얻어진다면, 워터마킹 방법은 앰플리튜드 변조에 해당한다.
도 3은 본 발명의 일 실시예에 따른 워터마크 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 전송한다(S101).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐츠에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐츠와 부가 서비스를 MVPD(30)에 제공한다(S103).
보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 워터마크 용도, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 워터마크 용도는 무단 복제 방지, 시청률 조사, 부가 서비스 획득 중 하나를 나타낼 수 있다.
컨텐츠 정보는 메인 시청각 컨텐츠를 제공하는 컨텐츠 제공자의 식별 정보, 메인 시청각 컨텐츠 식별 정보, 메인 시청각 컨텐츠 등급 정보, 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시간 정보, 메인 시청각 컨텐츠가 방송되는 채널의 이름, 메인 시청각 컨텐츠가 방송되는 채널의 로고, 메인 시청각 컨텐츠가 방송되는 채널의 설명, 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간, 메인 시청각 컨텐츠와 관련하여 이용가능한 부가 서비스 정보 중 하나 이상을 포함할 수 있다.
영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 워터마크를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시간 정보는 이용된 워터마크가 내삽(embedding)된 컨텐츠 구간의 시간 정보일 수 있다. 영상 표시 장치(100)가 컨텐츠 정보의 획득을 위하여 핑거프린트를 이용하였다면, 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시간 정보는 특징 정보가 추출된 컨텐츠 구간의 시간 정보일 수 있다. 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시간 정보는 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 시작 시간, 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 지속 시간(duration), 컨텐츠 정보 획득에 사용된 컨텐츠 구간의 종료 시간 중 하나 이상을 포함할 수 있다.
이용 정보 보고 주소는 메인 시청각 컨텐츠 시청 정보 보고 주소, 부가 서비스 이용 정보 보고 주소 중 하나 이상을 포함할 수 있다. 이용 정보 보고 주기는 메인 시청각 컨텐츠 시청 정보 보고 주기, 부가 서비스 이용 정보 보고 주기 중 하나 이상을 포함할 수 있다. 이용 정보 획득을 위한 최소 이용 시간은 메인 시청각 컨텐츠 시청 정보 획득을 위한 최소 시청 시간, 부가 서비스 이용 정보 추출을 위한 최소 사용 시간 중 하나 이상을 포함할 수 있다.
메인 시청각 컨텐츠가 최소 시청 시간 이상 시청된 경우에 기초하여 영상 표시 장치(100)는 메인 시청각 컨텐츠의 시청 정보를 획득하고, 메인 시청각 컨텐츠 시청 정보 보고 주기에서 메인 시청각 컨텐츠 시청 정보 보고 주소로 추출한 시청 정보를 보고할 수 있다.
부가 서비스가 최소 사용 시간 이상 사용된 경우에 기초하여 영상 표시 장치(100)는 부가 서비스 이용 정보를 획득하고, 부가 서비스 이용 정보 보고 주기에서 부가 서비스 이용 정보 보고 주소로 추출한 이용 정보를 보고할 수 있다.
부가 서비스 정보는 부가 서비스가 존재하는지에 대한 정보, 부가 서비스 주소 제공 서버 주소, 각각의 이용가능한 부가 서비스의 획득 경로, 각각의 이용가능한 부가 서비스를 위한 주소, 각각의 이용가능한 부가 서비스의 시작 시간, 각각의 이용가능한 부가 서비스의 종료 시간, 각각의 이용가능한 부가 서비스의 수명 주기(lifetime), 각각의 이용가능한 부가 서비스의 획득 모드, 각각의 이용가능한 부가 서비스 위한 요청 주기, 각각의 이용가능한 부가 서비스의 우선 순위 정보, 각각의 이용가능한 부가 서비스의 설명, 각각의 이용가능한 부가 서비스의 항목(category), 이용 정보 보고 주소, 이용 정보 보고 주기, 이용 정보 획득을 위한 최소 이용 시간 중 하나 이상을 포함할 수 있다.
이용가능한 부가 서비스의 획득 경로는 IP 또는 ATSC M/H(Advanced Television Systems Committee - Mobile/Handheld)를 나타낼 수 있다. 이용가능한 부가 서비스의 획득 경로가 ATSC M/H인 경우에, 부가 서비스 정보는 주파수 정보, 채널 정보를 더 포함할 수 있다. 각각의 이용가능한 부가 서비스의 획득 모드는 Push 또는 Pull을 나타낼 수 있다.
한편, 워터마크 서버(21)는 메인 시청각 컨텐츠의 로고에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입할 수 있다.
예컨데, 워터마크 서버(21)는 로고의 일정 위치에 바코드를 삽입할 수 있다. 이때 로고의 일정 위치는 로고가 디스플레이되는 구역의 하단 1 라인에 해당할 수 있다. 영상 표시 장치(100)는 이와 같이 바코드가 삽입된 로고를 포함하는 메인 시청각 컨텐츠를 수신하는 경우에, 바코드를 디스플레이하지 않을 수 있다.
또한, 워터마크 서버(21)는 로고의 메타데이터 형태로 워터마크 정보를 삽입할 수 있다. 이때 로고의 형상은 유지될 수 있다.
또한, 워터마크 서버(21)는 M개의 프레임의 로고의 각각에 N 비트의 워터마크 정보를 삽입할 수 있다. 즉, 워터마크 서버(21)는 M개의 프레임을 통해 M*N개의 워터마크 정보를 삽입할 수 있다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S105). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐츠를 생성한 후, 생성된 비압축 메인 시청각 컨텐츠를 영상 표시 장치(100)에 제공한다(S106).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐츠를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S107).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐츠를 포함하는 방송 신호를 전송할 수도 있다(S108).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐츠를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐츠 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐츠를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S109).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S111). 이 제1 응답은 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
워터마크 정보와 제1 응답이 부가 서비스 주소를 포함하고 있지 않다면, 영상 표시 장치(100)는 부가 서비스을 획득할 수 없다. 그러나 워터마크 정보와 제1 응답이 부가 서비스 주소 제공 서버 주소를 포함할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보와 제1 응답을 통해 부가 서비스 주소나 부가 서비스를 획득하지 못하였고 부가 서비스 주소 제공 서버 주소를 획득하였다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S119).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S121).
영상 표시 장치(100)는 워터마크 정보, 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S123), 부가 서비스를 획득한다(S125).
도 4는 본 발명의 일 실시예에 따른 워터마크 기반의 컨텐츠 인식 타이밍을 보여준다.
도 4에 도시된 바와 같이, 방송 수신 장치(60)가 턴온되고 채널을 튜닝하고, 영상 표시 장치(100)가 외부 입력 포트(111)를 통해 방송 수신 장치(60)로부터 튜팅된 채널의 메인 시청각 컨텐츠를 수신하면, 영상 표시 장치(100)는 메인 시청각 컨텐츠의 워터마크로부터 컨텐츠 제공자 식별자(또는 방송국 식별자)를 감지할 수 있다. 이후, 영상 표시 장치(100)는 감지한 컨텐츠 제공자 식별자에 기초하여 메인 시청각 컨텐츠의 워터마크로부터 컨텐츠 정보를 감지할 수 있다.
이때, 도 4에 도시된 바와 같이, 컨텐츠 제공자 식별자의 감지가능 주기와 컨텐츠 정보의 감지가능 주기는 다를 수 있다. 특히, 컨텐츠 제공자 식별자의 감지가능 주기는 컨텐츠 정보의 감지가능 주기보다 짧을 수 있다. 이를 통해, 영상 표시 장치(100)는 필요한 정보만을 감지하기 위한 효율적인 구성을 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 핑거프린트 서버(22)를 더 포함한다.
도 5에 도시된 바와 같은 핑거프린트 서버(22)는 메인 시청각 컨텐츠에 변형을 가하지는 않으며 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐츠의 식별자와 시간 정보를 제공한다.
도 6은 본 발명의 일 실시예에 따른 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 전송한다(S201).
핑거프린트 서버(22)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐츠의 복수의 프레임 구간 또는 복수의 오디오 구간으로부터 복수의 특징 정보를 추출하며, 복수의 특징 정보에 각각 대응하는 복수의 질의 결과를 위한 데이터베이스를 구축한다(S203). 질의 결과는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다.
MVPD(30)는 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S205). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐츠를 생성한 후, 생성된 비압축 메인 시청각 컨텐츠를 영상 표시 장치(100)에 제공한다(S206).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐츠를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S207).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐츠를 포함하는 신호를 전송할 수도 있다(S208).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐츠를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S213).
영상 표시 장치(100)는 미리 설정된 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송한다(S215).
핑거프린트 서버(22)는 제1 질의에 대한 제1 응답으로서 질의 결과를 제공한다(S217). 만약 제1 응답이 실패에 해당한다면, 영상 표시 장치(100)는 또 다른 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제1 질의를 전송할 수 있다.
핑거프린트 서버(22)는 질의 결과로서 XML (Extensible Markup Language) 문서를 제공할 수 있다. 질의 결과를 담는 XML 문서의 예를 도 7과 표 1을 참고하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 질의 결과를 담는 ACR-Resulttype의 XML 스키마 다이어그램(schema diagram)을 보여준다.
도 7에 도시된 바와 같이, 질의 결과를 담는 ACR-Resulttype은 ResultCode 속성과 ContentID, NTPTimestamp, SignalingChannelInformation, ServiceInformation 엘리먼트를 갖는다.
예컨데, ResultCode 속성이 200의 값을 가지면, 이는 질의 결과가 성공임을 의미할 수 있다. ResultCode 속성이 404의 값을 가지면, 이는 질의 결과가 실패임을 의미할 수 있다.
SignalingChannelInformation 엘리먼트는 SignalingChannelURL 엘리먼트를 갖고, SignalingChannelURL 엘리먼트는 UpdateMode, PollingCycle 속성을 갖는다. UpdateMode 속성은 Pull 값 또는 Push 값을 가질 수 있다.
ServiceInformation 엘리먼트는 ServiceName, ServiceLogo, ServiceDescription 엘리먼트를 갖는다.
표 1은 이와 같은 질의 결과를 담는 ACR-ResultType의 XML Schema를 보여준다.
ContentID 엘리먼트로서, 아래의 표 2에서 보여주는 바와 같은 ATSC 컨텐츠 식별자(ATSC content identifier)가 이용될 수 있다.
표 2에서 보여지는 바와 같이, ATSC content identifier는 TSID와 하우스 번호로 구성된 구조를 가진다.
16 비트 부호없는 정수 TSID는 트랜스포트 스트림 식별자(transport stream identifier)를 담는다(carry).
5 비트 부호 없는 정수 end_of_day는 방송이 끝나서 content_id 값이 재사용될 수 있는 날의 시(hour)로 셋팅된다.
9 비트 부호 없는 정수 unique_for는 content_id 값이 재사용될 수 없는 날의 수(the number of day)로 설정된다.
content_id는 컨텐츠 식별자를 나타낸다. 영상 표시 장치(100)는 매일 end_of_day에 해당하는 시간에서 unique_for를 1씩 감소시키고, unique_for가 0이 되지 않았다면 content_id가 유일한 것이라고 간주할 수 있다.
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC-M/H service를 위한 글로벌 서비스 식별자(Global Service Identifier)가 이용될 수 있다.
글로벌 서비스 식별자는 다음과 같은 폼을 갖는다.
- urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 "0"이다. <serviceid> 는 <major>나 <minor>로 정의된다. <major> 는 메이저 채널 번호(Major Channel number)를 나타내고, <minor> 마이너 채널 번호(Minor Channel Number)를 나타낸다.
글로벌 서비스 식별자의 예는 아래와 같다.
- urn:oma:bcast:iauth:atsc:service:us:1234:5.1
- urn:oma:bcast:iauth:atsc:service:us:0:100.200
한편, ContentID 엘리먼트로서, 아래에서 설명하는 바와 같은 ATSC 컨텐츠 식별자가 이용될 수 있다.
ATSC 컨텐츠 식별자는 다음과 같은 폼을 갖는다.
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
여기에서 <region>는 ISO 639-2에 의해 규정되는 바와 같은 2개의 문자로 된 국제 국가 코드이다. 로컬 서비스(local service)를 위한 <xsid> 는 <region>에서 정의하는 바와 같은 TSID의 십진수이고, "."<serviceid>가 뒤따를 수 있다. 지역 서비스(regional service) (major > 69)를 위한 <xsid> 는 <serviceid>이다. <content_id> 는 표 2에 정의되어 있는 content_id field의 base64 부호이고, <unique_for> 는 표 2에 정의되어 있는 unique_for field의 십진수 부호이며, <end_of_day> 는 표 2에 정의되어 있는 end_of_day field의 십진수 부호이다.
이하에서는 다시 도 6을 설명한다.
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제2 질의를 전송한다(S219).
부가 서비스 정보 제공 서버(40)는 제2 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제2 질의에 대한 제2 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S221).
영상 표시 장치(100)는 제1 응답 또는 제2 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S223), 부가 서비스를 획득한다(S225).
UpdateMode 속성이 Pull 값을 가지는 경우, 영상 표시 장치(100)는 SignalingChannelURL을 통해 HTTP request를 부가서비스 제공 서버(50)에 전송하여 이에 대한 응답으로 PSIP 바이너리 스트림을 포함하는 HTTP response를 부가서비스 제공 서버(50)로부터 수신한다. 이 경우 영상 표시 장치(100)는 PollingCycle 속성으로 지정되는 Polling 주기에 따라 HTTP request를 전송할 수 있다. 또한, SignalingChannelURL 엘리먼트는 업데이트 시간 속성을 가질 수도 있다. 이 경우, 영상 표시 장치(100)는 업데이트 시간 속성으로 지정되는 업데이트 시간에서 HTTP request를 전송할 수 있다.
UpdateMode 속성이 Push 값을 가지는 경우, 영상 표시 장치(100)는 XMLHTTPRequest API 를 활용하여 비동기적으로 서버로부터 업데이트를 수신할 수 있다. 영상 표시 장치(100)가 서버로 XMLHTTPRequest object를 통해 비동기적인 request를 한 후에 서버가 시그널링 정보에 변경이 있을 경우에 이 채널을 통해 response로 시그널링 정보를 제공하는 방안이다. 세션의 대기 시간에 제한이 있을 경우에는 session timeout respond를 발생시키고, 바로 수신기는 이를 인지하여 재요청하여서 수신기와 서버간의 시그널링 채널을 항시 유지할 수 있다.
도 8은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지를 보여주는 블록도이다.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 토폴로지는 워터마크 서버(21)와 핑거프린트 서버(22)를 더 포함한다.
도 8에 도시된 바와 같은 워터마크 서버(21)는 메인 시청각 컨텐츠에 컨텐츠 제공자 식별 정보를 삽입한다. 워터마크 서버(21)는 로고와 같이 보이는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐츠에 삽입할 수도 있고, 보이지 않는 워터마크로서 컨텐츠 제공자 식별 정보를 메인 시청각 컨텐츠에 삽입할 수도 있다.
핑거프린트 서버(22)는 메인 시청각 컨텐츠에 변형을 가하지는 않으며 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출하여 저장한다. 이후에 핑거프린트 서버(22)는 영상 표시 장치(100)로부터의 특징 정보를 수신하면, 수신한 특징 정보에 해당하는 시청각 컨텐츠의 식별자와 시간 정보를 제공한다.
도 9은 본 발명의 일 실시예에 따른 워터마크와 핑거프린트 기반의 네트워크 토폴로지 내의 데이터 흐름을 보여주는 래더 다이어그램이다.
먼저, 컨텐츠 제공 서버(10)는 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 전송한다(S301).
워터마크 서버(21)는 컨텐츠 제공 서버(10)가 제공하는 방송 신호를 수신하고, 메인 시청각 컨텐츠에 변형을 가하여 메인 시청각 컨텐츠에 로고와 같은 보이는 워터마크(visible watermark)를 삽입하거나, 메인 시청각 컨텐츠에 워터마크 정보를 보이지 않는 워터마크(invisible watermark)로서 삽입하고, 워터마킹된 메인 시청각 컨텐츠와 부가 서비스를 MVPD(30)에 제공한다(S303). 보이지 않는 워터마크를 통해 삽입되는 워터마크 정보는 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
MVPD(30)는 워터마킹된 메인 시청각 컨텐츠와 부가 서비스를 포함하는 방송 신호를 수신하고, 다중화 신호를 생성하여 방송 수신 장치(60)에 제공한다(S305). 이때 다중화 신호는 수신한 부가 서비스를 배제하거나 새로운 부가 서비스를 포함할 수 있다.
방송 수신 장치(60)는 사용자가 선택한 채널을 튜닝하고 튜닝한 채널의 신호를 수신하고, 수신된 방송 신호를 복조하고 채널 복호화(channel decoding)하고 시청각 복호(AV decoding)를 수행하여 비압축 메인 시청각 컨텐츠를 생성한 후, 생성된 비압축 메인 시청각 컨텐츠를 영상 표시 장치(100)에 제공한다(S306).
한편, 컨텐츠 제공 서버(10) 또한 메인 시청각 컨텐츠를 포함하는 방송 신호를 무선 채널 등을 통해 방송한다(S307).
또한, MVPD(30)는 방송 수신 장치(60)를 통하지 않고 직접 영상 표시 장치(100)에 메인 시청각 컨텐츠를 포함하는 신호를 전송할 수도 있다(S308).
영상 표시 장치(100)는 셋톱 박스(60)를 통해 비압축 메인 시청각 컨텐츠를 수신할 수 있다. 또는, 영상 표시 장치(100)는 무선 채널을 통해 방송 신호를 수신하고 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 얻을 수 있다. 또는, 영상 표시 장치(100)는 MVPD(30)로부터 방송 신호를 수신하고, 수신한 방송 신호를 복조하고 복호하여 메인 시청각 컨텐츠를 수신할 수도 있다. 영상 표시 장치(100)는 획득한 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 워터마크 정보를 추출한다. 워터마크 정보가 로고에 해당하면, 영상 표시 장치(100)는 복수의 로고와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 로고에 해당하는 워터마크 서버 주소를 확인한다. 워터마크 정보가 로고에 해당하는 경우에, 영상 표시 장치(100)는 로고만을 가지고서는 메인 시청각 컨텐츠를 식별할 수 없다. 또한, 워터마크 정보가 컨텐츠 정보를 포함하고 있지 않은 경우에도 영상 표시 장치(100)는 메인 시청각 컨텐츠를 식별할 수 없으나, 워터마크 정보가 컨텐츠 제공자 식별 정보나 워터마크 서버 주소를 포함할 수 있다. 워터마크 정보가 컨텐츠 제공자 식별 정보를 포함하는 경우에, 영상 표시 장치(100)는 복수의 컨텐츠 제공자 식별 정보와 복수의 워터마크 서버 주소의 대응관계로부터 추출한 컨텐츠 제공자 식별 정보에 해당하는 워터마크 서버 주소를 확인할 수 있다. 이와 같이, 영상 표시 장치(100)는 워터마크 정보만으로 메인 시청각 컨텐츠를 식별할 수 없는 경우에, 획득한 워터마크 서버 주소에 해당하는 워터마크 서버(21)에 접속하여 제1 질의를 전송한다(S309).
워터마크 서버(21)는 제1 질의에 대한 제1 응답을 제공한다(S311). 이 제1 응답은 핑거프린트 서버 주소, 컨텐츠 정보, 부가 서비스 정보, 이용가능한 부가 서비스 중 하나 이상을 포함할 수 있다. 컨텐츠 정보와 부가 서비스 정보는 앞서 설명한 바와 같다.
워터마크 정보와 제1 응답이 핑거프린트 서버 주소를 포함하고 있다면, 영상 표시 장치(100)는 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플로부터 특징 정보를 추출한다(S313).
영상 표시 장치(100)는 제1 응답 내의 핑거프린트 서버 주소에 해당하는 핑거프린트 서버(22)에 접속하여 추출한 특징 정보를 포함하는 제2 질의를 전송한다(S315).
핑거프린트 서버(22)는 제2 질의에 대한 제2 응답으로서 질의 결과를 제공한다(S317).
질의 결과가 부가 서비스 주소나 부가 서비스를 포함하고 있지 않고 부가 서비스 주소 제공 서버 주소를 포함한다면, 영상 표시 장치(100)는 획득한 부가 서비스 주소 제공 서버 주소에 해당하는 부가 서비스 정보 제공 서버(40)에 접속하여 컨텐츠 정보를 포함하는 제3 질의를 전송한다(S319).
부가 서비스 정보 제공 서버(40)는 제3 질의의 컨텐츠 정보와 관련된 하나 이상의 이용가능한 부가 서비스를 검색한다. 이후, 부가 서비스 정보 제공 서버(40)는 제3 질의에 대한 제3 응답으로 하나 이상의 이용가능한 부가 서비스를 위한 부가 서비스 정보를 영상 표시 장치(100)에 제공한다(S321).
영상 표시 장치(100)는 제1 응답, 제2 응답, 또는 제3 응답을 통해 하나 이상의 이용가능한 부가 서비스 주소를 획득하였다면, 이 하나 이상의 이용가능한 부가 서비스 주소에 접속하여 부가 서비스를 요청하고(S323), 부가 서비스를 획득한다(S325).
다음은 도 10을 참고하여, 본 발명의 실시예에 따른 영상 표시 장치(100)를 설명한다.
도 10은 본 발명의 실시예에 따른 영상 표시 장치의 블록도이다.
도 10에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 표시 장치(100)는 방송 신호 수신부(101), 복조부(103), 채널 복호부(105), 역다중화부(107), 시청각 복호부(109), 외부 입력 포트(111), 재생 제어부(113), 재생 장치(120), 부가 서비스 관리부(130), 데이터 송수신부(141), 메모리(150)를 포함한다.
방송 신호 수신부(101)는 컨텐츠 제공 서버(10) 또는 MVPD(30)로부터 방송 신호를 수신한다.
복조부(103)는 수신한 방송 신호를 복조하여 복조된 신호를 생성한다.
채널 복호부(105)는 복조된 신호를 채널 복호하여 채널 복호된 데이터를 생성한다.
역다중화부(107)는 채널 복호된 데이터로부터 메인 시청각 컨텐츠와 부가 서비스를 분리한다. 분리된 부가 서비스는 부가 서비스 저장부(152)에 저장된다.
시청각 복호부(109)는 분리된 메인 시청각 컨텐츠를 시청각 복호(AV decoding)하여 비압축 메인 시청각 컨텐츠를 생성한다.
한편, 외부 입력 포트(111)는 방송 수신 장치(60), 디브이디(digital versatile disk, DVD) 플레이어, 블루레이 디스크 (Blu-ray disc) 플레이어 등으로부터 비압축 메인 시청각 컨텐츠를 수신한다. 외부 입력 포트(111)는 DSUB 포트, HDMI (High Definition Multimedia Interface) 포트, DVI (Digital Visual Interface) 포트, 컴포지트(composite) 포트, 컴포넌트(component) 포트, S-Video 포트 중 하나 이상을 포함할 수 있다.
재생 제어부(113)는 시청각 복호부(109)가 생성하는 비압축 메인 시청각 컨텐츠 또는 외부 입력 포트(111)로부터 수신한 비압축 메인 시청각 컨텐츠 중 적어도 하나를 사용자 선택에 의해 재생 장치(120)에 재생한다.
재생 장치(120)는 디스플레이부(121)와 스피커(123)를 포함한다. 디스플레이부(121)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐츠의 컨텐츠 정보를 획득하고, 획득된 컨텐츠 정보에 기초하여 이용가능한 부가 서비스를 획득한다. 특히, 앞서 설명한 바와 같이 부가 서비스 관리부(130)는 비압축 메인 시청각 컨텐츠의 일부 프레임 또는 일부 구간의 오디오 샘플에 기초하여 메인 시청각 컨텐츠의 식별 정보를 획득할 수 있는데, 본 명세서에서는 이를 자동 컨텐츠 인식(automatic contents recognition, ACR)이라 칭하기도 한다.
데이터 송수신부(141)는 ATSC-M/H (Advanced Television Systems Committee - Mobile/Handheld) 채널 송수신부(141a)와 IP 송수신부(141b)를 포함할 수 있다.
메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상 표시 장치(100)는 인터넷(internet)상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리(150)는 컨텐츠 정보 저장부(151), 부가 서비스 저장부(152), 로고 저장부(153), 설정 정보 저장부(154), 북마크 저장부(155), 사용자 정보 저장부(156), 이용 정보 저장부(157)를 포함할 수 있다.
컨텐츠 정보 저장부(151)는 복수의 특징 정보에 대응하는 복수의 컨텐츠 정보를 저장한다.
부가 서비스 저장부(152)는 복수의 특징 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있고, 복수의 컨텐츠 정보에 대응하는 복수의 부가 서비스를 저장할 수도 있다.
로고 저장부(153)는 복수의 로고를 저장한다. 또, 로고 저장부는 이 복수의 로고에 대응하는 컨텐츠 제공자 식별자 또는 복수의 로고에 대응하는 워터마크 서버 주소를 더 저장할 수도 있다.
설정 정보 저장부(154)는 ACR을 위한 설정 정보를 저장한다.
북마크 저장부(155)는 북마크를 저장한다.
사용자 정보 저장부(156)는 사용자 정보를 저장한다. 사용자 정보는 하나 이상의 서비스를 위한 하나 이상의 계정 정보, 지역 정보, 가족 구성원 정보, 선호 장르 정보, 영상 표시 장치 정보, 이용 정보 제공 범위 중 하나 이상을 포함할 수 있다. 하나 이상의 계정 정보는 이용 정보 측정 서버를 위한 계정 정보, 트위터(twitter), 페이스북(facebook)과 같은 소셜 네트워크 서비스(social network service)의 계정 정보를 포함할 수 있다. 지역 정보는 주소 정보, 우편 번호를 포함할 수 있다. 가족 구성원 정보는 가족 구성원의 수, 각 구성원의 나이, 각 구성원의 성별, 각 구성원의 종교, 각 구성원의 직업 등을 포함할 수 있다. 선호 장르 정보는 스포츠, 영화, 드라마, 교육, 뉴스, 오락, 기타 장르 중에서 하나 이상으로 설정될 수 있다. 영상 표시 장치 정보는 영상 표시 장치의 종류, 제조사, 펌웨어 버전, 해상도, 모델명, OS, 브라우저, 저장 장치 유무, 저장 장치의 용량, 네트워크 속도에 대한 정보를 포함할 수 있다. 이용 정보 제공 범위가 설정되면, 영상 표시 장치(100)는 설정된 범위 내에서 메인 시청각 컨텐츠 시청 정보와 부가 서비스 이용 정보를 수집하고 보고할 수 있다. 이용 정보 제공 범위는 가상 채널 각각에 대해 설정될 수 있다. 또한, 이용 정보 측정 허용 범위는 물리 채널 전체에 대해 설정될 수도 있다.
이용 정보 저장부(157)는 영상 표시 장치(100)에 의해 수집되는 메인 시청각 컨텐츠 시청 정보와 부가 서비스 사용 정보를 저장한다. 또한, 영상 표시 장치(100)는 수집한 메인 시청각 컨텐츠 시청 정보와 수집한 부가 서비스 사용 정보에 기초하여 서비스 이용 패턴을 분석하고, 분석된 서비스 이용 패턴을 이용 정보 저장부(157)에 저장할 수 있다.
부가 서비스 관리부(130)는 핑거프린트 서버(22) 또는 컨텐츠 정보 저장부(151)로부터 메인 시청각 컨텐츠의 컨텐츠 정보를 획득할 수 있다. 컨텐츠 정보 저장부(151)에 추출한 특징 정보에 해당하는 컨텐츠 정보가 없거나 충분한 컨텐츠 정보가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 컨텐츠 정보를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 컨텐츠 정보를 업데이트할 수 있다.
부가 서비스 관리부(130)는 부가 서비스 제공 서버(50) 또는 부가 서비스 저장부(153)로부터 이용가능한 부가 서비스를 획득할 수 있다. 부가 서비스 저장부(153)에 부가 서비스가 없거나 충분한 부가 서비스가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 부가 서비스를 업데이트할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 부가 서비스를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐츠로부터 로고를 추출하고, 로고 저장부(155)에 질의하여 추출한 로고에 대응하는 컨텐츠 제공자 식별자 또는 워터마크 서버 주소를 획득할 수 있다. 로고 저장부(155)에 추출한 로고와 일치하는 로고가 없거나 충분한 로고가 없는 경우, 부가 서비스 관리부(130)는 데이터 송수신부(141)를 통해 추가 로고를 수신할 수 있다. 또한, 부가 서비스 관리부(130)는 지속적으로 로고를 업데이트할 수 있다.
부가 서비스 관리부(130)는 메인 시청각 컨텐츠로부터 추출한 로고와 로고 저장부(155) 내의 복수의 로고와의 비교를 수행하는데 연산의 부담을 줄이기 위한 다양한 방법을 수행할 수 있다.
예컨데, 부가 서비스 관리부(130)는 색깔 특성에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 색깔 특성과 로고 저장부(155) 내의 로고의 색깔 특성을 비교하여 일치 여부를 판단할 수 있다.
또, 부가 서비스 관리부(130)는 문자 인식에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고로부터 인식되는 문자와 로고 저장부(155) 내의 로고로부터 인식되는 문자를 비교하여 일치 여부를 판단할 수 있다.
뿐만 아니라, 부가 서비스 관리부(130)는 로고의 윤곽에 대한 형상에 기초하여 비교를 수행할 수 있다. 즉, 부가 서비스 관리부(130)는 추출한 로고의 윤곽 형상과 로고 저장부(155) 내의 로고의 윤곽 형상을 비교하여 일치 여부를 판단할 수 있다.
도 11은 본 발명의 또 다른 실시예에 따른 핑거프린트 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 11에서, Tuner(501)는 air 채널을 통해 전송되는 8-VSB RF 신호로부터 Symbol을 추출한다.
8-VSB Demodulator(503)는 Tuner(501)가 추출한 8-VSB Symbol을 복조하여 의미 있는 디지털 데이터를 복원한다.
VSB Decoder(505)는 8-VSB Demodulator(503)가 복원한 디지털 데이터를 복호하여 ATSC 메인 서비스와 ATSC M/H 서비스를 복원한다.
MPEG-2 TP Demux(507)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet 또는 PVR Storage에 저장된 MPEG-2 Transport Packet 중에서 영상 표시 장치(100)가 처리하고자 하는 Transport Packet을 필터링하여 적절한 처리 모듈로 중계한다.
PES 디코더(539)는 MPEG-2 Transport Stream을 통하여 전송된 Packetized Elementary Stream을 Buffering하고 복원한다.
PSI/PSIP 디코더(541)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Section Data를 Buffering하고 분석한다. 분석된 PSI/PSIP 데이터는 Service Manager(미도시)에 의하여 수집되어, Service Map 및 Guide data 형태로 DB에 저장된다.
DSMCC Section Buffer/Handler (511)은 MPEG-2 TP를 통하여 전송되는 파일 전송 및 IP Datagram encapsulation 등을 위한 DSMCC Section Data를 버퍼링(Buffering)하고 처리한다.
IP/UDP Datagram Buffer/Header Parser(513)는 DSMCC Addressable section을 통해 encapsulate되어 MPEG-2 TP를 통하여 전송되는 IP Datagram을 버퍼링하고 복원하여 각 Datagram의 Header를 분석한다. 또한, IP/UDP Datagram Buffer/Header Parser(513)는 IP Datagram을 통하여 전송되는 UDP Datagram을 Buffering 및 복원하고, 복원된 UDP Header를 분석 및 처리한다.
Stream component handler(557)는 ES Buffer/Handler, PCR Handler, STC 모듈, Descrambler, CA Stream Buffer/Handler, Service Signaling Section Buffer/Handler를 포함할 수 있다.
ES Buffer/Handler는 PES 형태로 전송된 Video, Audio 데이터 등의 Elementary Stream을 Buffering 및 복원하여 적절한 A/V Decoder로 전달한다.
PCR Handler는 Audio 및 Video Stream의 Time synchronization 등을 위하여 사용되는 PCR (Program Clock Reference) Data를 처리한다.
STC 모듈은 PCR Handler를 통하여 전달받은 Reference Clock 값을 이용하여, A/V Decoder 들의 Clock 값을 보정하여 Time Synchronization를 수행한다.
수신된 IP Datagram의 Payload에 Scrambling이 적용된 경우, Descrambler는 CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
CA Stream Buffer/Handler는 MPEG-2 TS또는 IP Stream을 통하여 전송되는 Conditional Access 기능을 위하여 전송되는 EMM, ECM 등의 Descrambling을 위한 Key 값 등의 Data를 Buffering 및 처리한다. CA Stream Buffer/Handler의 Output은 Descrambler로 전달되어, descrambler는 A/V Data 및 File Data등을 전송하는 MPEG-2 TP 또는 IP Datagram의 암호화 해제작업을 수행한다.
Service Signaling Section Buffer/Handler는 IP Datagram의 형태로 전송되는 NRT Service Signaling Channel Section Data를 Buffering 하고 복원하며 분석한다. Service Manager(미도시)는 분석된 NRT Service Signaling Channel Section 데이터를 수집하여, Service Map 및 Guide data 형태로 DB에 저장한다.
A/V Decoder(561)는 ES Handler를 통하여 전달받은 Audio/Video 데이터의 압축을 복호화하여, 사용자에게 Presentation한다.
MPEG-2 Service Demux(미도시)는 MPEG-2 TP Buffer/Parser, Descrambler, PVR Storage 모듈을 포함할 수 있다.
MPEG-2 TP Buffer/Parser (미도시)는 8-VSB 신호를 통하여 전송되는 MPEG-2 Transport Packet을 Buffering 및 복원하고, Transport Packet Header를 검출 및 처리한다.
Descrambler는 MPEG-2 TP 중, Scramble이 적용된 Packet payload에 대하여, CA Stream Handler로부터 전달 받은 Encryption key 등을 이용, Payload의 데이터를 복원한다.
PVR Storage 모듈은 사용자의 요구 등에 따라 8-VSB 신호를 이용하여 수신된 MPEG-2 TP를 저장하고, 또한 사용자의 요구에 의해 MPEG-2 TP를 출력한다. PVR Storage 모듈은 PVR Manager(미도시)에 의해 제어될 수 있다.
File Handler(551)는 ALC/LCT Buffer/Parser, FDT Handler, XML Parser, File Reconstruction Buffer, Decompressor, File Decoder, File Storage를 포함할 수 있다.
ALC/LCT Buffer/Parser는 UDP/IP Stream으로 전송되는 ALC/LCT 데이터를 Buffering 및 복원하고, ALC/LCT의 Header 및 Header extension을 분석한다. ALC/LCT Buffer/Parser는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
FDT Handler는 ALC/LCT session을 통하여 전송되는 FLUTE protocol의 File Description Table을 분석 및 처리한다. FDT Handler는 NRT Service Manager(미도시)에 의해 제어될 수 있다.
XML Parser는 ALC/LCT session을 통하여 전송되는 XML Document를 분석하여, FDT Handler, SG Handler 등 적절한 모듈로 분석된 데이터를 전달한다.
File Reconstruction Buffer는 ALC/LCT, FLUTE session으로 전송되는 파일을 복원한다.
Decompressor는 ALC/LCT, FLUTE session으로 전송되는 파일이 압축되어 있는 경우, 그 압축을 해제하는 프로세스를 수행한다.
File Decoder는 File Reconstruction Buffer에서 복원된 File 또는 Decompressor에서 압축해제된 파일, 또는 File Storage에서 추출된 File을 Decoding한다.
File Storage는 복원된 파일을 필요에 의하여 저장하거나 추출한다.
M/W Engine(미도시)은 DSMCC Section, IP Datagram 등을 통하여 전송되는 A/V Stream이 아닌 파일 등의 Data를 처리한다. , M/W Engine은 처리된 데이터를 Presentation Manager 모듈로 전달한다.
SG Handler(미도시)는 XML Document 형태로 전송되는 Service Guide 데이터를 수집하고 분석하여 EPG Manager에게 전달하는 프로세스를 수행한다.
Service Manager(미도시)는 MPEG-2 Transport Stream을 통하여 전송되는 PSI/PSIP Data, IP Stream으로 전송되는 Service Signaling Section Data를 수집하고 분석하여 Service Map을 제작한다. Service Manager(미도시)는 제작한 service map을 Service Map & Guide Database에 저장하며, 사용자가 원하는 Service에 대한 access를 제어한다. Operation Controller(미도시)에 의하여 제어되며, Tuner(501), MPEG-2 TP Demux(507), IP Datagram Buffer/Handler (513) 등에 대한 제어를 수행한다.
NRT Service Manager(미도시)는 IP layer 상에서 FLUTE session을 통하여 object/file 형태로 전송되는 NRT 서비스에 대한 전반적인 관리를 수행한다. NRT Service Manager(미도시)는 FDT Handler, File Storage등을 제어할 수 있다.
Application Manager(미도시)는 Object, file 등의 형태로 전송되는 Application 데이터의 처리에 관한 전반적인 관리를 수행한다.
UI Manager(미도시)는 User Interface를 통하여 사용자의 Input을 Operation Controller에 전달하고, 사용자가 요구하는 서비스를 위한 Process의 동작을 시작한다.
Operation Controller(미도시)는 UI Manager를 통하여 전달받은 사용자의 Command를 처리하고, 필요한 모듈의 Manager가 해당 Action을 수행하게 한다.
Fingerprint Extractor(565)는 Audio/Video 스트림으로 부터 fingerprint 특징 정보를 추출한다.
Fingerprint Comparator(567)는 Fingerprint Extractor가 추출한 특징 정보와 Reference fingerprint를 비교하여 일치하는 컨텐츠를 찾는다. Fingerprint Comparator(567)는 Local에 저장된 Reference fingerprint DB를 이용할 수도 있고, 인터넷 상의 Fingerprint 질의 서버에 질의하여 결과를 수신할 수도 있다. 비교 결과로 매칭된 결과 데이터는 Application에 전달되어 이용될 수 있다.
Application(569)은 ACR 기능을 관장하는 모듈 혹은 ACR에 기반하여 Enhanced 서비스를 제공하는 애플리케이션 모듈로서, 시청중인 방송 컨텐츠를 식별하여 이와 연계된 확장된 서비스를 제공한다.
도 12는 본 발명의 또 다른 실시예에 따른 워트마크 기반의 영상 표시 장치의 구조를 보여주는 블록도이다.
도 12에 도시된 워트마크 기반의 영상 표시 장치는 도 11에 도시된 핑거프린트 기반의 영상 표시 장치와 유사하나, 핑거프린트 기반의 영상 표시 장치의 Fingerprint Extractor(565)와 Fingerprint Comparator(567)를 포함하지 않으며, 대신 Watermark Extractor(566)를 더 포함한다.
Watermark Extractor(566)는 Audio/Video 스트림으로부터 watermark형태로 삽입된 데이터를 추출한다. 이렇게 추출된 데이터는 Application에 전달되어 이용될 수 있다.
도 13은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
상기 이동 단말기(600)는 무선 통신부(610), 입력부(620), 센싱부(640), 출력부(650), 인터페이스부(660), 메모리(670), 제어부(680) 및 전원 공급부(690) 등을 포함할 수 있다. 도 13에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(610)는, 이동 단말기(600)와 무선 통신 시스템 사이, 이동 단말기(600)와 다른 이동 단말기(600) 사이, 또는 이동 단말기(600)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(610)는, 이동 단말기(600)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(610)는, 방송 수신 모듈(611), 이동통신 모듈(612), 무선 인터넷 모듈(613), 근거리 통신 모듈(614), 위치정보 모듈(615) 중 적어도 하나를 포함할 수 있다.
입력부(620)는, 영상 신호 입력을 위한 카메라(621) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 622), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(623, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(620)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(640)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(640)는 근접센서(641, proximity sensor), 조도 센서(642, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(621 참조)), 마이크로폰(microphone, 622 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(650)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(651), 음향 출력부(652), 햅틱 모듈(653), 광 출력부(654) 중 적어도 하나를 포함할 수 있다. 디스플레이부(651)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(600)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(623)로써 기능함과 동시에, 이동 단말기(600)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(660)는 이동 단말기(600)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(660)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(600)에서는, 상기 인터페이스부(660)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(670)는 이동 단말기(600)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(670)는 이동 단말기(600)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(600)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(600)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(600)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(670)에 저장되고, 이동 단말기(600) 상에 설치되어, 제어부(680)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(680)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(600)의 전반적인 동작을 제어한다. 제어부(680)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(670)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(680)는 메모리(670)에 저장된 응용 프로그램을 구동하기 위하여, 도 13와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(680)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(600)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(690)는 제어부(680)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(600)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(690)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(670)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.
이하에서는 상술한 ACR 기능을 활용하여 획득한 부가 서비스를 전자 디바이스를 통해 제어하는 방법에 대하여 설명한다.
도 14은 종래에 ACR 기능을 활용하여 사용자에게 제공된 서비스를 제어하는 방법(a)과 본 발명의 일 실시 예에 따른 전자 디바이스(302)의 어플리케이션(303)을 통해 제공된 부가 서비스를 제어하는 방법(b)을 개략적으로 나타낸 도면이다.
도 14(a)에 도시된 바와 같이, 종래에는 영상표시장치(100)가 현재 방송 중인 컨텐트를 인식하고, 인식된 컨텐트에 연관된 부가 서비스를 화면에 같이 표시하였다. 그리고 사용자는 원격제어장치(301)를 통해 영상표시장치에 표시된 부가 서비스를 제어하였다.
그러나, 종래의 방법은 사용자가 친숙하지 않은 원격제어장치(301)를 통해 부가 서비스를 제어하여 사용자가 제어하는데 어려움이 있었다. 통상적으로, 원격제어장치(301)를 통한 영상표시장치(100)의 제어는 단순히 버튼을 누르는 정도에 그치나 부가 서비스를 제어하기 위해서는 원격제어장치(301)을 통해 영상표시장치에 표시되는 포인터를 제어해야 하는 어려움이 있었다.
또한, 종래의 방법은 획득한 부가 서비스를 본 컨텐트와 함께 표시하여 사용자가 본 컨텐트를 시청하는데 어려움이 있었다. 경우에 따라, 사용자가 부가 서비스의 표시를 원하지 않음에도 불구하고, 광고 계약 등의 이유로 반드시 표시되어야 하는 때가 있어, 시청자가 표시된 부가 서비스로 인하여 컨텐트 시청에 불편함을 느낄 수 있었다.
따라서 본 발명의 부가 서비스 제어 방법은(도 14(b)) 영상표시장치(100)가 ACR 기능을 통해 부가 서비스를 획득한 경우, 해당 부가 서비스를 영상표시장치(100)가 아닌 전자 디바이스(302)에 표시한다. 전자 디바이스(302)에 표시된 부가 서비스는 전자 디바이스(302)에 기 설치된 어플리케이션(303) 등을 통해 제어될 수 있다. 전자 디바이스(302)는 예를 들면, 스마트 폰, 태블릿 PC, 웨어러블 디바이스 등을 포함할 수 있다. 또한, 기 설치된 어플리케이션(303)의 예를 들면, 메신저 어플리케이션, 메일 어플리케이션, 소셜 네트워크 서비스 어플리케이션이 있을 수 있다.
본 발명의 부가 서비스 제어 방법에 따르면, 사용자에게 원격제어장치(301)에 비해 상대적으로 친숙한 전자 디바이스(302)를 통해 획득한 부가 서비스를 제어하여 이용 편의성을 향상시킬 수 있다.
또한, 획득한 부가 서비스가 본 컨텐트와 함께 영상표시장치(100)에 표시되는 것이 아닌 전자 디바이스(302)에 표시되어 본 컨텐트의 시청을 방해하지 않을 수 있다.
도 15은 상술한 전자 디바이스를 통해 부가 서비스를 제어하는 전체 구성을 나타내는 블록도이다.
본 발명의 일 실시 예에 따른 부가 서비스 제어 시스템은 컨텐트 제공 서버(10), 컨텐트 인식 서비스 제공 서버(20), 부가서비스 제공 서버(50), 영상표시장치(100), 관리 서버(300) 및 전자 디바이스(302)를 포함한다. 이 중 컨텐트 제공 서버(10), 컨텐트 인식 서비스 제공 서버(20), 부가 서비스 제공 서버(50)는 상술한바 여기에서 자세한 설명은 생략한다.
전자 디바이스(302)는 기 설치된 어플리케이션(303)을 통해 부가 서비스를 제어한다. 도 15에는 어플리케이션의 일 예로 메신저 어플리케이션이 표시되어 있으나 상술한 바와 같이 부가 서비스를 제어할 수 있는 다른 어플리케이션도 가능하다. 전자 디바이스(302)는 어플리케이션(303)을 통해 획득한 부가 서비스를 표시하고, 부가 서비스를 제어하는 입력을 수신한다. 예를 들면, 사용자로부터 문자 입력을 수신할 수 있으며, 다른 예를 들면 사용자로부터 음성 입력을 수신할 수 있다.
관리 서버(300)는 일 실시 예에서 전자 디바이스(302)의 어플리케이션(303)과 영상표시장치(100)를 연결한다. 또 다른 실시 예에서 전자 디바이스(302)의 어플리케이션(303)과 영상표시장치(100)외 다른 가전 제품을 연결한다.
구체적으로 관리 서버(300)는 영상표시장치(100)로부터 인식된 컨텐트 정보를 통해 부가 서비스를 획득하고, 이를 전자 디바이스(302)에 전달한다. 그리고, 전자 디바이스(302)로부터 부가 서비스에 대한 제어 명령을 수신하여 이를 영상표시장치(100) 및 그 외 가전 제품의 제어 신호로 변환한다.
도 15에는 관리서버(300)가 제어하는 장치의 일 예로 영상표시장치(100)가 도시되어 있으나, 영상표시장치(100)외 다른 가전 제품도 제어가 가능하다. 다른 가전은 냉장고, 세탁기, 에어컨, 오븐, 로봇청소기 등을 포함할 수 있다.
상술한 가전 제품들은 가정에 있는 중계기 등을 통해 관리 서버(300)에 연결될 수 있으며, 연결된 가전 제품은 모두 전자 디바이스(302)의 메신저 어플리케이션(303)등을 통해 제어 가능하다. 또한, 동시에 다수의 가전 제품이 연결 가능하며 사용자는 어플리케이션(303)을 통해 다수의 가전 제품을 한번에 제어할 수도 있다.
이하 도 16 내지 도 32을 참조하여 상술한 어플리케이션(303)을 통한 일반적인 가전 제품의 제어를 설명한다. 이하에서는 전자 디바이스(302)에 설치된 어플리케이션 중 메신저를 대표 예로 설명한다.
도 16는 메신저를 통한 가전 제품 제어 서비스의 기본 화면을 나타낸 도면이다. 도 16에 도시된 바와 같이, 전자 디바이스(302)는 메신저(303)의 채팅창을 통해 가전 제품을 제어하기 위한 복수의 명령어를 표시하고 있으며, 각 설명에 대한 예를 같이 표시하고 있다. 사용자는 '[]'안의 명령어를 채팅창에 입력하여 가전 제품을 제어할 수 있다.
도 17은 메신저(303)를 통해 가전 제품을 등록하는 메뉴를 나타내는 도면이다. 도 17에 도시된 바와 같이, 사용자가 도 16의 기본 화면 상태에서 채팅창에 '등록'을 입력하면 메신저(303)는 제품 등록을 위한 인터넷 주소를 채팅창에 표시한다. 사용자는 표시된 인터넷 주소를 터치하여 사이트에 접속할 수 있으며, 접속한 사이트에서 전자 디바이스(302)를 통해 제어할 가전 제품을 등록할 수 있다. 등록된 가전 제품은 메신저(303)를 통해 연결할 수 있으며, 사용자는 채팅창에 명령어를 입력하여 연결된 가전 제품의 동작을 제어할 수 있다.
도 18 내지 도 19는 상기 등록 메뉴를 통해 등록된 가전 제품들의 현재 상태를 알려주는 메뉴를 나타내는 도면이다. 도 18에 도시된 바와 같이, 사용자가 도 16의 기본 화면 상태에서 채팅창에 '전체상태'를 입력하면 메신저(303)는 등록된 가전 제품들의 현재 상태를 표시한다. 일 실시 예에서 도 18에 도시된 바와 같이 에어컨이 등록되어 있는 경우, 전자 디바이스(302)는 에어컨의 현재 운전 상태 및 예약 내역을 메신저(303)의 채팅창을 통해 표시할 수 있다.
또 다른 일 실시 예에서 도 19에 도시된 바와 같이, 전자 디바이스(302)는 로봇 청소기가 등록 되어 있으나 어떤 이유로 응답하지 않는다는 내용을 메신저(303)의 채팅창을 통해 표시할 수 있다. 이 경우, 로봇 청소기는 전자 디바이스(302)와, 더 정확히는 관리 서버(300)와 연결이 끊어진 상태로 메신저를 통해 제어할 수 없는 상태일 수 있다. 따라서, 사용자는 로봇 청소기의 상태를 확인하여 전원을 키거나, 와이파이 기능을 활성화하는 등의 방법으로 로봇 청소기를 관리 서버(300)와 연결시킨 후에 해당 로봇 청소기를 메신저(303)를 통해 제어할 수 있다.
도 20은 현재 등록 가능한 제품을 알려주는 메뉴를 나타내는 도면이다. 도 20에 도시된 바와 같이 사용자가 도 16의 기본 화면 상태에서 채팅창에 '등록가능제품'을 입력하면 메신저(303)는 현재 등록 가능한 제품 목록을 확인할 수 있는 인터넷 주소를 채팅창에 표시한다. 사용자는 해당 인터넷 주소를 터치하여 접속하고, 접속한 사이트로부터 연결 가능한 제품 목록을 확인할 수 있다.
가정에서 보유하고 있는 가전 제품들은 구입 년도가 다른 경우가 대부분이며, 행여 구입년도가 같더라도 모델 별로 모바일 디바이스 등을 통한 원격제어를 지원하지 않는 모델이 존재할 수 있다. 따라서, 사용자는 해당 사이트에 접속하여 현재 가정에서 보유하고 있는 가전 제품이 모바일 디바이스를 통한 원격제어를 지원하는 모델인지를 확인할 수 있다.
도 21 내지 도 23은 외출모드를 실행한 상태를 나타내는 도면이다. 도 21에 도시된 바와 같이 사용자가 도 16의 기본 화면 상태에서 채팅창에 '외출'을 입력하면 메신저는 외출 모드를 실행할지 여부를 사용자에게 물어본다. 외출 모드는 가전 제품들 중에서 사용자가 외출시에 운전을 정지해도 좋은 제품들의 운전을 자동으로 정지시킬 수 있다. 또한, 방범기능을 가진 가전 제품의 운전을 시작하게 할 수 있다. 또한, 사용자가 외출 시 마트 등에서 구입할 물건을 정할 수 있도록 냉장고 내부의 사진을 제공할 수 있다.
도 22는 사용자가 제어 명령을 채팅창에 입력하였으나, 일정 시간내에 관리 서버(300)로부터 입력에 대응하는 응답을 받지 못한 경우 메신저가 출력하는 내용을 나타낸다. 전자 디바이스(302)는 통신 간에 트래픽이 몰리는 경우 정해진 시간 내에 관리 서버(300)로부터 응답을 받지 못할 경우가 발생할 수 있는바, 이 경우 메신저(303)는 사용자에게 해당 내용을 알리는 메시지를 채팅창에 표시할 수 있다.
도 23는 사용자가 외출모드를 실행한 경우, 냉장고의 내부 사진을 표시하는 것을 나타낸 도면이다. 구체적으로 메신저는 외출모드 실행의 입력을 수신하여 이를 관리 서버(300)로 송신한다. 관리 서버(300)는 수신된 입력에 기초하여 냉장고의 내부를 촬영하는 제어 신호를 생성해 냉장고에게 전달한다.
구체적인 사용 예로, 사용자는 외출 시에 마트 등에 필요한 물건을 사러 외출할 수 있다. 이 때 전자 디바이스(302)가 냉장고 내부를 촬영한 사진을 메신저를 통해 표시하면 사용자는 현재 냉장고에 보유하고 있는 식품을 파악할 수 있어 효율적인 구매를 할 수 있다.
도 24 내지 도 25은 휴가 모드를 실행한 경우를 나타내는 도면이다. 도 24에 도시된 바와 같이 사용자가 도 16에 도시된 기본 상태에서 채팅창에 '휴가'를 입력하면, 메신저(303)는 휴가 모드를 실행할 지 여부를 묻는 메시지를 채팅창에 표시한다. 휴가 모드에서는 외출 모드와 비슷한 동작을 수행하나, 외출모드와 달리 장기간 집을 비우므로 냉장고를 절전모드로 운전하는 제어를 추가적으로 수행한다.
도 25에 도시된 바와 같이 사용자가 외출모드 실행을 승인하면 메신저(303)는 에어컨 운행을 정지한다는 내용을 채팅창을 통해 표시한다. 구체적으로 전자 디바이스(302)는 메신저(303)를 통해 휴가 모드의 입력을 수신하면 이를 관리 서버(300)로 전송한다. 관리 서버(300)는 해당 입력을 기초로 에어컨 운전을 중지하는 제어 신호를 생성하여 에어컨에 전송한다.
도 26 내지 도 28는 귀가 모드를 실행한 경우를 나타내는 도면이다. 도 26에 도시된 바와 같이 사용자가 도 16에 도시된 기본 상태에서 채팅창에 '귀가'를 입력하면 메신저(303)는 귀가 모드를 실행할지 여부를 묻는 메시지를 채팅창에 표시한다. 귀가 모드에서는 에어컨 또는 제습기를 미리 운전한다거나, 오븐의 레시피를 검색할 수 있다.
도 27에 도시된 바와 같이, 사용자가 귀가 모드 실행을 승인하면 메신저(303)는 사용자의 귀가 전 에어컨을 미리 운전하는 내용을 채팅창에 표시한다. 구체적으로, 전자 디바이스(302)는 메신저(303)를 통해 귀가 모드 입력을 수신하면 이를 관리 서버(300)로 전송한다. 관리 서버(300)는 해당 입력을 기초로 에어컨 운전을 시작하는 제어 신호를 생성하여 에어컨에 전송한다.
또한 도 28에 도시된 바와 같이 사용자가 귀가 모드 실행을 승인하면 메신저(303)는 오븐을 통해 요리할 레시피를 검색할 수 있는 앱을 실하는 주소를 채팅창에 표시할 수 있다. 사용자는 채팅창에 표시된 주소를 터치하여 앱에 접속하고, 귀가 전 미리 요리할 레시피를 검색할 수 있다.
또한, 사용자는 레시피를 검색하면서 현재 냉장고가 보유하고 있는 식품을 파악할 수도 있다. 구체적으로 전자 디바이스(302)가 메신저를 통해 귀가 모드 실행에 대응하여 냉장고 내부를 촬영한 사진을 채팅창에 표시할 수 있다. 사용자는 검색된 레시피와 현재 보유하고 있는 식품을 파악하여 집에 귀가하여 요리할 음식을 미리 결정할 수 있다.
도 29 내지 도 32은 일 실시 예로 메신저를 통해 에어컨을 제어하는 모습을 나타내는 도면이다.
도 29에 도시된 바와 같이, 사용자는 채팅창에 제어를 원하는 가전 제품인 에어컨을 입력할 수 있다. 사용자가 채팅창에 에어컨을 입력하면 전자 디바이스(302)는 메신저를 통해 관리 서버와 연결되어 에어컨에 대한 제어권을 획득한다. 또한 전자 디바이스(302)는 메신저를 통해 사용자가 에어컨을 제어하기 위해 필요한 명령어를 안내하는 에어컨도움말을 소개할 수도 있다.
사용자가 에어컨도움말을 채팅창에 입력하면, 도 30에 도시된 바와 같이 메신저(303)는 에어컨을 제어하기 위한 명령어 목록을 채팅창에 표시한다. 도움말은 각 가전별로 다를 수 있으며, 도 30에 도시된 명령어 외 다른 명령어가 업데이트를 통해 추가될 수 있다.
도 31은 도 30에 표시된 명령어 중, 사용자가 채팅창에 상태확인의 명령어를 입력한 모습을 나타낸다. 사용자가 상태확인의 명령어를 입력하면 전자 디바이스(302)는 관리 서버(300)를 통해 에어컨의 현재 상태를 수신한다. 그리고 전자 디바이스(302)는 메신저(303)를 통해 수신된 에어컨의 현재 상태를 채팅창에 표시한다. 도 31에 도시된 바와 같이 표시되는 현재 상태의 정보는 현재 운전 정보 또는 예약 내역 등을 포함할 수 있다.
도 32은 도 30에 표시된 명령어 중, 사용자가 운전시작의 명령어를 채팅창에 입력한 모습을 나태낸다. 사용자가 운전시작의 명령어를 입력하면 메신저(302)는 에어컨의 운전을 실행할 것인지 여부를 묻는 내용을 채팅창에 표시한다. 사용자가 에어컨 운전 시작을 승인하면 전자 디바이스(303)는 운전명령을 관리서버(300)를 통해 에어컨에 전달한다.
도 33는 본 발명의 일 실시 예에 따른 전자 디바이스의 어플리케이션을 통한 영상표시장치 및 기타 가전 제품의 제어 방법을 나타내는 흐름도이다. 이하에서 전자 디바이스는 스마트폰을 대표 예로, 어플리케이션은 메신저를 대표 예로 정하여 설명한다.
영상표시장치(100)는 인식된 컨텐트 정보를 수신한다(S401). 상술한 바와 같이 영상 표시장치(100)는 비압축 시청각 컨텐트를 수신하고, 수신한 비압축 시청각 컨텐트로부터 특징 정보를 추출한다. 영상표시장치(100)는 추출한 컨텐트 정보를 컨텐트 인식 서비스 제공 서버(20)로 전송하여 컨텐트 정보를 획득한다. 특징 정보는 워터마크와 핑거프린트를 모두 포함할 수 있다.
영상표시장치(100)는 획득한 컨텐트 정보를 관리서버(300)로 전송한다(S403). 구체적으로 영상표시장치(100)는 현재 재생중인 비압축 시청각 컨텐트의 정보를 ACR 기능을 통해 획득하고, 획득한 정보를 관리서버(300)에 전달한다.
관리서버(300)는 수신한 컨텐트 정보에 기초하여 부가 서비스를 획득한다(S405). 일 실시 예에서, 영상표시장치(100)는 컨텐트 정보와 함께 부가 서비스 정보를 전송할 수 있다. 이 경우 영상표시장치(100)는 획득한 컨텐트 정보를 부가 서비스 제공 서버(50)로 전송하여 그 응답으로 부가 서비스 정보를 획득할 수 있다. 부가 서비스 정보는 부가 서비스 및 부가 서비스를 획득할 수 있는 주소를 포함할 수 있다.
또 다른 실시 예에서 관리서버(300)가 수신한 컨텐트 정보를 부가 서비스 제공 서버(50)에 전송하여 그 응답으로 부가 서비스 정보를 획득할 수 있다. 이 경우 관리서버(300)는 부가 서비스 제공 서버(50)로부터 획득한 부가 서비스 정보를 다시 영상표시장치(100)로 전송할 수도 있다. 영상표시장치(100)는 부가 서비스 획득을 알리는 표시를 디스플레이부를 통해 출력할 수도 있다.
관리서버(300)는 획득한 부가 서비스 정보 및 컨텐트 정보를 전자 디바이스(302)에 전송한다(S407). 구체적으로 영상표시장치(100)로부터 전송 받거나 관리서버(300)가 직접 수신한 부가 서비스 정보 및 컨텐트 정보를 전자 디바이스(302)에 전송한다.
전자 디바이스(302)는 관리서버(300)로부터 수신한 부가 서비스 정보 및 컨텐트 정보를 출력한다(S409). 일 실시 예에서 전자 디바이스(302)는 메신저(303)을 통해 수신한 부가 서비스 정보 또는 부가 서비스를 채팅창에 표시한다. 또 다른 실시 예에서 전자 디바이스(302)는 메신저(303) 채팅창에 현재 영상표시장치(100)에 재생중인 비압축 시청각 컨텐트 정보를 표시한다. 사용자는 메신저(303)의 채팅창에 표시된 정보를 통해 현재 시청중인 시청각 컨텐트 정보를 파악할 수 있다. 또한 사용자는 채팅창에 표시된 부가 서비스 정보를 통해 현재 시청중인 시청각 컨텐트에 연관된 부가 서비스의 존재을 알 수 있으며, 부가 서비스에 접근할 수 있다.
전자 디바이스(302)는 메신저(303)의 채팅창에 표시된 내용에 대한 사용자의 제어 명령을 수신한다(S411). 일 실시 예에서 전자 디바이스(302)는 메신저(303)의 채팅창에 입력된 사용자의 채팅 내용을 통해 제어 명령을 수신할 수 있다. 또 다른 실시 예에서 전자 디바이스(302)는 사용자의 음성을 통해 제어 명령을 수신할 수 있다. 또한 전자 디바이스(302)는 사용자의 음성을 텍스트로 변환할 수도 있다.
이하 도 34 내지 도 39에서 단계 S409 및 단계 S411의 구체적인 실시 예에 대하여 설명한다.
도 34은 사용자가 영상표시장치(100)의 ACR 기능을 통해 인식된 컨텐트와 관련된 다른 컨텐트의 다시보기를 전자 디바이스(302)의 메신저(303)를 통해 제어하는 것을 나타내는 도면이다. 상술하였듯이, 전자 디바이스(302)는 관리서버(300)로부터 현재 시청중인 시청각 컨텐트 정보 및 부가 서비스 정보를 수신한다.
따라서, 도 34에 도시된 바와 같이, 전자 디바이스(302)는 메신저(303)의 채팅창을 통해 현재 시청중인 시청각 컨텐트의 정보를 출력하면서 관련 부가 서비스를 수신할 것인지 여부를 사용자에게 질의할 수 있다. 사용자가 관련 부가 서비스를 수신할 것을 승인한 경우, 전자 디바이스(302)는 메신저(303)의 채팅창에 영상표시장치(100)에서 출력할 다시 보기를 질의하는 내용을 표시할 수 있다. 그리고 전자 디바이스(302)는 채팅창을 통해 해당 질의의 응답을 수신할 수 있다. 도 34을 예로 들면 사용자가 '다시보기정도전'을 입력하면 현재 재생중인 정도전의 다른 회차 컨텐트를 영상표시장치(100)에서 재생할 수 있다. 또 다른 예를 들면, 전자 디바이스(302)는 메신저(303)의 채팅창에 다시 보기 서비스를 포함하는 현재 이용가능한 부가 서비스 목록을 표시하고, 해당 서비스 목록에 대한 사용자의 선택 입력을 수신할 수도 있다. 또 다른 예를 들면 사용자가 '스마트티비도움말'을 채팅창에 입력하도록 유도하고, 해당 입력을 수신하면 현재 재생 가능한 부가 서비스 목록을 표시할 수도 있다.
사용자가 다시 보기 서비스 실행을 승인한 경우, 전자 디바이스(302)는 메신저(303)의 채팅창을 통해 시청하고자 하는 회차를 질의할 수 있다. 또한 전자 디바이스(302)는 복수의 회차를 입력 받을 수 있다. 또한 전자 디바이스(302)는 선택된 다시 보기를 재생할 시간에 대한 예약을 채팅창을 통해 입력 받을 수도 있다.
또 다른 실시 예에서 영상표시장치(100)는 특정 컨텐트의 예고편이 방송되는 경우 ACR 기능을 통해 예고편의 방송을 인식할 수 있다. 영상표시장치(100)는 예고편에 관한 정보를 관리서버(300)를 통해 전자 디바이스(302)에 전달할 수 있다. 전자 디바이스(302)는 예고편에 관한 정보를 메신저(303)을 통해 표시한다. 사용자는 메신저(303)의 채팅창을 통해 표시된 예고편에 기초하여 예약 설정을 할 수 있다. 예를 들면, 특정 컨텐트가 오후 6시에 방송될 것이라는 예고 정보를 전자 디바이스(302)가 채팅창에 표시하고, 예약 여부를 질의하는 내용을 채팅창에 표시할 수 있다. 사용자는 예약 승인의 메시지를 채팅창에 입력하고, 전자 디바이스(302)는 예약 내용을 저장한다. 또 다른 예를 들면 예약 정보를 관리서버(300)가 저장할 수도 있다.
추가적으로, 전자 디바이스(302)는 상술한 예약 정보에 기초하여 예약한 컨텐트의 방송 시간이 다가오면 사용자에게 리마인더를 메신저(303)을 통해 표시할 수 있다. 구체적으로, 전자 디바이스(302)는 저장된 예약 정보에 따른 시간이 도래하는 경우 해당 컨텐트의 재생 시간이 임박했다는 내용을 메신저(303)를 통해 표시할 수 있다. 또한, 전자 디바이스(302)는 해당 컨텐트를 재생하기 위해 영상표시장치(100)를 동작할지 여부를 질의하는 내용을 채팅창을 통해 표시할 수도 있다. 전자 디바이스(302)는 질의 내용에 대한 사용자 제어 명령을 수신하여 이를 중간 서버(300)를 통해 영상표시장치(100)에 전달한다.
도 35은 현재 재생중인 시청각 컨텐트와 연동되는 앱을 전자 디바이스(302)에서 제어하는 것을 나타내는 도면이다. 전자 디바이스(302)는 관리서버(300)로부터 현재 재생중인 시청각 컨텐트의 정보를 수신한다. 전자 디바이스(302)는 수신한 컨텐트 정보에 기초하여 해당 컨텐트와 연동되는 앱을 설치하고 실행할 수 있다.
구체적으로 전자 디바이스(302)는 메신저(303) 채팅창을 통해 현재 재생중인 시청각 컨텐트에 연동되는 앱의 존재 정보 및 실행 여부를 표시할 수 있다. 컨텐트 연동 앱은 컨텐트의 방송 시간 정보, 컨텐트 출연진 정보, 컨텐트의 자유 게시판, 컨텐트와 관련된 행사 정보 등을 제공할 수 있다. 사용자는 자신이 선호하는 컨텐트의 앱을 모바일 디바이스 등에 설치하고, 해당 앱을 통해 선호하는 컨텐트와 관련된 각종 정보를 수집할 수 있다. 또한 선호하는 컨텐트와 관련된 행사에 참여할 수 있다. 또한 실시간으로 컨텐트에 대한 자신의 의견을 자유게시판 또는 소셜네트워크서비스를 통해 업로드할 수 있다.
전자 디바이스(302)는 현재 전자 디바이스(302)에 시청각 컨텐트의 연동앱이 미 설치된 경우, 설치 여부를 질의하는 내용을 채팅창에 표시할 수 있다. 해당 질의에 대하여 사용자가 승인하는 내용을 채팅창에 입력하면 전자 디바이스(302)는 자동으로 앱 스토어로 연결하여 해당 연동 앱을 설치한다.
한편, 전자 디바이스(302)는 사용자가 연동 앱 실행을 승인하지 않은 경우, 해당 컨텐트의 홈페이지 주소를 채팅창에 표시할 수도 있다.
도 36는 부가 서비스의 일 예로 쿠폰 서비스를 제공하는 것을 나타내는 도면이다. 판매자들은 자신의 상품을 광고하기 위해 컨텐트 제공자와 제휴할 수 있으며, 광고의 일 예로 해당 컨텐트를 시청하는 시청자에게 상품의 쿠폰을 제공할 수 있다. 또는 시청률을 상승시키기 위해 컨텐트 제공자가 상품의 쿠폰을 제공할 수도 있다. 따라서, 전자 디바이스(302)는 관리 서버(300)로부터 쿠폰 서비스를 포함하는 부가 서비스를 수신하고, 메신저(303)의 채팅창을 통해 쿠폰 서비스를 표시할 수 있다.
또한, 도 36의 일 실시 예와 연관하여, 응모권 추첨의 서비스를 제공할 수도 있다. 구체적으로, 전자 디바이스(302)가 부가 서비스의 일 예로 현재 재생중인 컨텐트와 관련된 간단한 퀴즈를 채팅창에 표시하고 정답을 질의 할 수 있다. 사용자는 영상표시장치(100)에서 재생중인 컨텐트를 시청하면서 정답을 알 수 있다. 사용자가 정답을 입력하면, 자동으로 응모가 되며 추첨 결과를 전자 디바이스(302)가 채팅창을 통해 표시할 수 있다. 이 경우, 사용자가 해당 시청각 컨텐트에 집중 할 수 있고 고정적인 시청을 할 수도 있다. 결과적으로 본 실시 예는 시청률을 올리기 위한 일 마케팅 방법으로 활용될 수도 있다.
도 37은 부가 서비스의 일 예로 영상표시장치(100)에서 시청각 컨텐트에 삽입된 간접광고를 인식하여 구매 서비스를 제공하는 것을 나타내는 도면이다. 드라마 또는 예능 컨텐트는 일부 간접 광고를 포함할 수 있다. 간접 광고는 일반적인 광고와는 다르게 자연스러운 상황에서 유명 배우가 특정 제품을 사용하는 것을 시청자에게 노출시켜 해당 제품의 광고효과를 얻을 수 있다.
현재 시청중인 컨텐트가 드라마라고 가정하면, 재생 중인 드라마의 여주인공이 특정 브랜드의 가방을 메고 등장할 수 있다.
상술한 상황에 대한 일 실시 예에서, 영상표시장치(100)가 간접광고에서 노출되는 브랜드 로고를 추출하여 특징 정보로 활용할 수 있다. 추출된 브랜드 로고 정보를 관리서버(300)가 수신하면, 관리 서버(300)는 해당 로고 정보와 컨텐트 정보에 기초하여 구매에 관한 부가 서비스 정보를 획득할 수 있다. 예를 들면, 관리서버(300)는 전자 디바이스(302)에 해당 브랜드의 구매 사이트 주소를 제공하여 채팅창에 표시하게 할 수 있다. 또 다른 예를 들면, 해당 브랜드를 검색어로 전자 디바이스(302)에 설치된 구매앱에서 검색하게 할 수도 있다. 전자 디바이스(302)는 관리서버로부터 수신한 내용을 채팅창에 메신저(303)을 통해 표시하거나, 구매앱을 자동으로 실행할 수 있다.
또 다른 일 실시 예에서, 영상표시장치(100) 또는 관리서버(300)는 여주인공이 특정 브랜드를 메는 장면을 핑거프린트로 활용해 구매를 위한 부가 서비스를 획득할 수 있다. 예를 들면 컨텐트 제공 서버(10)가 여주인공이 특정 브랜드의 가방을 메고 있는 장면을 특징 정보로 설정하고, 영상표시장치(100)등이 해당 장면을 추출하여 특징 정보(핑거프린트)로 활용할 수 있다. 또 다른 예를 들면 컨텐트 제공 서버(10) 또는 컨텐트 인식 서비스 제공 서버(20)가 여주인공이 특정 브랜드 가방을 메고 있는 장면이 포함된 세그먼트에 워터마크를 삽입하는 방법을 통해 특징 정보를 제공할 수도 있다. 상술한 실시 예는 브랜드 로고를 추출하는 방법과 달리, 공식적으로 브랜드가 노출되지 않는 장면에서도 컨텐트 프로바이더와 판매자간의 제휴에 따라 활용할 수 있다.
도 38는 부가 서비스의 일 실시 예로 채팅 서비스를 제공하는 도면이다. 인기 컨텐트의 경우 많은 수의 시청자가 동시에 해당 컨텐트를 시청할 수 있다. 따라서, 메신저(303)에 등록된 친구들 중에도 현재 시청자가 시청중인 컨텐트를 시청하는 친구가 있을 수 있는 바, 해당 친구들로 구성된 별도의 채팅방을 구성하여 컨텐트를 시청하면서 대화를 나눌 수 있는 서비스를 제공한다.
구체적으로, 관리서버(300)에는 복수의 영상표시장치 및 전자 디바이스들이 연결될 수 있다. 또한 관리서버(300)는 각각의 영상표시장치별로 현재 시청중인 컨텐트 정보를 수신할 수 있다. 따라서 관리서버(300)는 현재 같은 컨텐트를 시청하고 있는 영상표시장치 및 해당 영상표시장치와 연결된 전자 디바이스(302) 정보를 획득할 수 있다.
만약, 관리서버(302)가 전자 디바이스(302)로부터 채팅 서비스 실행을 승인하는 입력을 수신하면, 획득한 정보에 기초하여 현재 시청중인 컨텐트를 시청하고 있는 다른 시청자의 정보를 전자 디바이스(302)에 전달한다. 전자 디바이스(302)는 획등한 시청자 목록을 채팅창에 표시한다. 시청자는 채팅창에 표시된 목록에 기초하여 채팅방에 초대할 친구를 결정할 수 있다.
또 다른 실시 예에서, 전자 디바이스(302)는 현재 컨텐트를 시청하지 않는 메신저 친구에게 시청 권유의 메시지를 보낼지 여부를 질의하는 내용을 채팅창에 표시할 수도 있다.
도 39는 부가 서비스의 일 실시 예로 레시피 정보를 제공하는 도면이다. 현재 영상표시장치(100)가 재생하는 컨텐트가 요리 프로그램일 수 있으며, 이 경우, 해당 요리에 관한 자세한 레시피를 시청자가 획득하기를 원할 수 있다. 따라서, 관리서버(300)가 획득한 요리 프로그램의 컨텐트 정보에 기초하여 레시피 정보를 포함하는 부가 서비스 정보를 획득하여 전자 디바이스(302)에 전달할 수 있다. 전자 디바이스(302)가 획득한 부가 서비스 정보는 간단한 레시피, 레시피 정보가 있는 사이트 주소 정보 및 레시피 제공 앱 접속 주소를 포함할 수 있다.
한편, 전자 디바이스(302)는 레시피 정보를 제공하면서, 같이 연결된 냉장고가 있다면 현재 냉장고가 보유하고 있는 식품 정보를 채팅창을 통해 함께 표시할 수 있다. 더하여, 오븐을 이용하는 레시피인 경우, 오븐을 예열할지 여부를 질의하는 내용을 채팅창을 통해 표시할 수 있다.
또 다른 실시 예에서, 영상표시장치(100)가 날씨관련 프로그램이 재생중인 것을 인식한 경우, 해당 컨텐트 정보에 기초하여 전자 디바이스(302)가 에어컨 제어를 위한 내용을 채팅창에 표시할 수 있다. 예를 들면, 시청자가 날씨 프로그램에서 내일 날씨가 매우 덥다는 정보를 획득하면, 채팅창을 통해 에어컨을 동작 시키는 내용을 입력하거나, 예약 설정을 입력할 수 있다. 또 다른 예를 들면, 현재 습도가 매우 높다는 정보를 시청자가 획득한 경우, 채팅창을 통해 제습기를 동작 시키는 내용을 입력할 수 있다.
본 실시 예를 통해 영상표시장치(100)로부터 획득한 날씨 정보를 즉각적으로 반영하여 가정에 있는 제품을 제어할 수 있다.
다시 도 33로 돌아온다.
전자 디바이스(302)는 상술한 각 실시 예들에 대응한 사용자의 제어 명령을 관리 서버(300)에 전송한다(S413). 전자 디바이스(302)는 제어 명령을 텍스트 형태로 전송할 수도 있다. 또한, 수신한 제어 명령이 음성 입력인 경우, 음성 입력을 그대로 전송하거나, 음성 입력을 텍스트 형태로 전환하여 전송할 수 있다.
관리서버(300)는 전자 디바이스(302)로부터 수신한 제어명령에 기초하여 영상표시장치 제어 신호를 생성한다(S415). 구체적으로, 관리서버(300)는 전자 디바이스(302)로부터 수신한 명령어에 대응하는 영상표시장치 제어 신호를 생성한다. 제어 신호는 관리 서버(300)에 기 저장되어 있을 수 있으며, 별도의 서버에 저장되어 관리서버(300)에 전송될 수도 있다.
또한 관리서버(300)는 전자 디바이스(302)로부터 수신한 제어 명령에 기초하여 영상표시장치(100)외 다른 가전 제품을 제어하는 신호를 생성할 수도 있다. 예를 들면, 레시피 정보를 전자 디바이스(302)에서 검색한 경우, 전자 디바이스(302)는 오븐 예열의 제어 명령을 관리 서버(300)로 전송할 수 있으며, 관리 서버(300)는 해당 제어 명령에 기초하여 오븐에 대한 제어 신호를 생성할 수 있다.
관리서버(300)는 생성한 제어신호를 영상표시장치(100)에 전달한다(S419). 예를 들면, 전자 디바이스(302)로부터 '다시 보기'의 제어 명령이 수신되면, 제어 명령에 따른 횟차를 재생하는 제어신호를 전달한다. 또한 단계 S415에서 상술한 바와 같이, 영상표시장치(100)외 다른 가전제품에 제어 신호를 전송할 수도 있다.
영상표시장치(100)를 관리서버(300)로부터 수신한 제어 신호에 기초하여 동작한다. 구체적으로 수신한 제어 신호에 대응하는 컨텐트를 수신하여 이를 표시할 수 있다. 또한, 영상표시장치(100)외 다른 가전 제품의 경우 제어 신호에 따른 고유의 동작을 수행할 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 영상 표시 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
Claims (20)
- 전자 디바이스의 동작 방법에 있어서,
ACR(Automatic contents recognition) 기능을 통해 획득된 영상 표시 장치에서 방송 중인 컨텐트의 비압축 시청각 컨텐트 정보 및 부가 서비스를 관리 서버로부터 수신하는 단계;
상기 비압축 시청각 컨텐트 정보 및 부가 서비스를 상호 메시지 교환기능을 수행하는 제1 어플리케이션의 채팅 창에 표시하는 단계;
상기 채팅 창 상에 표시된 상기 부가 서비스를 실행하기 위한 채팅 컨텐트 입력을 제어 명령으로 수신하는 단계, 상기 제어 명령은 상기 부가 서비스를 상기 영상 표시 장치 상에서 실행하기 위한 명령을 포함함;
상기 제1 어플리케이션의 채팅 창 상에 상기 채팅 컨텐트 입력을 상기 비압축 시청각 컨텐트 정보 및 상기 부가 서비스와 함께 표시하는 단계; 및
상기 제어 명령을 상기 관리 서버에 전송하는 단계를 포함하는 전자 디바이스 동작 방법. - 삭제
- 제1항에 있어서,
상기 부가 서비스는 다시보기 서비스를 포함하며,
상기 채팅 컨텐트 입력은 상기 비압축 시청각 컨텐트와 연관된 다른 시청각 컨텐트를 선택하는 컨텐트 선택 입력을 포함하는
전자 디바이스 동작 방법. - 제3항에 있어서,
상기 선택 입력에 따라 선택된 컨텐트의 재생 시간을 예약하는 제1 예약 입력을 수신하는 단계를 더 포함하는
전자 디바이스 동작 방법. - 제1항에 있어서,
상기 부가 서비스는 상기 비압축 시청각 컨텐트에 연동된 제2 어플리케이션을 실행하는 서비스를 포함하며,
상기 채팅 컨텐트 입력은 상기 제2 어플리케이션을 실행하는 연동 어플리케이션 실행 입력 및 상기 제2 어플리케이션이 상기 전자 디바이스에 미 설치된 경우, 상기 제2 어플리케이션을 설치하는 연동 어플리케이션 설치 입력을 포함하는
전자 디바이스 동작 방법. - 제1항에 있어서,
상기 부가 서비스는 상기 비압축 시청각 컨텐트로부터 추출한 상품 정보를 포함하며,
상기 채팅 컨텐트 입력은 상기 상품 정보에 기초하여 구매 및 상품 검색 기능을 포함하는 제3 어플리케이션을 실행하는 구매 어플리케이션 실행 입력을 포함하는
전자 디바이스 동작 방법. - 제1항에 있어서,
상기 부가 서비스는 채팅 서비스를 포함하며,
상기 부가 서비스의 실행은, 상기 제1 어플리케이션에 현재 상기 비압축 시청각 컨텐트를 시청하고 있는 친구 목록을 출력하는 단계를 포함하고,
상기 채팅 컨텐트 입력은 상기 비압축 시청각 컨텐트를 시청하는 친구 목록중 채팅에 초대할 친구를 선택하는 친구 선택 입력을 포함하는
전자 디바이스 동작 방법. - 삭제
- 제1항에 있어서,
상기 부가 서비스는 상기 관리 서버로부터 획득한 컨텐트 예고 정보에 기초한 시청 예약 서비스를 포함하고,
상기 채팅 컨텐트 입력은 상기 예고 정보에 대응하여 컨텐트의 시청 예약을 설정하는 제2 예약 입력을 포함하는
전자 디바이스 동작 방법. - 제9항에 있어서,
상기 예약 설정에 기초하여, 시청 예약의 리마인더를 상기 제1 어플리케이션을 통해 출력하는 단계를 더 포함하는
전자 디바이스 동작 방법. - 관리 서버로부터 ACR(Automatic contents recognition) 기능을 통해 획득된 비압축 시청각 컨텐트 정보 및 부가 서비스를 수신하는 무선 통신부;
상기 무선 통신부를 통해 수신된 비압축 컨텐트 정보 및 부가 서비스를 상호 메시지 교환기능을 수행하는 제1 어플리케이션의 채팅 창을 통해 표시하는 디스플레이부;
상기 부가 서비스를 실행하기 위한 실행 입력을 수신하는 입력부; 및
상기 채팅 창 상에 표시된 상기 부가 서비스를 실행하기 위한 채팅 컨텐트 입력을 제어 명령으로 수신하고, 상기 제어 명령은 상기 부가 서비스를 영상 표시 장치 상에서 실행하기 위한 명령을 포함함; 상기 제1 어플리케이션의 채팅 창 상에 상기 채팅 컨텐트 입력을 상기 비압축 시청각 컨텐트 정보 및 상기 부가 서비스와 함께 표시하고, 상기 제어 명령을 상기 관리 서버에 전송하는 제어부를 포함하는
전자 디바이스. - 삭제
- 제11항에 있어서,
상기 부가 서비스는 다시보기 서비스를 포함하며,
상기 입력부는 상기 비압축 시청각 컨텐트와 연관된 다른 시청각 컨텐트를 선택하는 컨텐트 선택 입력을 상기 제1 어플리케이션을 통해 수신하는
전자 디바이스. - 제13항에 있어서,
상기 입력부는 상기 선택 입력에 따라 선택된 컨텐트의 재생 시간을 예약하는 제1 예약 입력을 상기 제1 어플리케이션을 통해 수신하는
전자 디바이스. - 제11항에 있어서,
상기 부가 서비스는 상기 비압축 시청각 컨텐트에 연동된 제2 어플리케이션을 실행하는 서비스를 포함하며,
상기 입력부는 상기 제2 어플리케이션을 실행하는 연동 어플리케이션 실행 입력 및 상기 제2 어플리케이션이 미 설치된 경우, 상기 제2 어플리케이션을 설치하는 연동 어플리케이션 설치 입력을 상기 제1 어플리케이션을 통해 수신하는
전자 디바이스. - 제11항에 있어서,
상기 부가 서비스는 상기 비압축 시청각 컨텐트로부터 추출한 상품 정보를 포함하며,
상기 입력부는 상기 상품 정보에 기초하여 구매 및 상품 검색을 포함하는 제3 어플리케이션을 실행하는 구매 어플리케이션 실행 입력을 상기 제1 어플리케이션을 통해 수신하는
전자 디바이스. - 제11항에 있어서,
상기 부가 서비스는 채팅 서비스를 포함하며,
출력부는 상기 제1 어플리케이션을 통해 현재 상기 비압축 시청각 컨텐트를 시청하고 있는 친구 목록을 출력하고,
상기 입력부는 상기 비압축 시청각 컨텐트를 시청하는 친구 목록 중 채팅에 초대할 친구를 선택하는 친구 선택 입력을 상기 제1 어플리케이션을 통해 수신하는
전자 디바이스. - 삭제
- 제 11항에 있어서,
상기 제1 어플리케이션을 통한 제어 입력은 문자 입력 및 음성 입력을 포함하는
전자 디바이스. - 제19항에 있어서,
상기 제어부는,
상기 제어 입력이 음성 입력인 경우, 상기 음성 입력을 문자 입력으로 변환하여 제2 디바이스로 전송하는
전자 디바이스.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140155419A KR102199568B1 (ko) | 2014-11-10 | 2014-11-10 | 전자 장치 및 그 동작 방법 |
| PCT/KR2015/010963 WO2016076541A1 (ko) | 2014-11-10 | 2015-10-16 | 전자 장치 및 그 동작 방법 |
| EP15859679.1A EP3220652B1 (en) | 2014-11-10 | 2015-10-16 | Electronic device and operation method thereof |
| US15/525,895 US10587927B2 (en) | 2014-11-10 | 2015-10-16 | Electronic device and operation method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140155419A KR102199568B1 (ko) | 2014-11-10 | 2014-11-10 | 전자 장치 및 그 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160055518A KR20160055518A (ko) | 2016-05-18 |
| KR102199568B1 true KR102199568B1 (ko) | 2021-01-07 |
Family
ID=55954585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140155419A KR102199568B1 (ko) | 2014-11-10 | 2014-11-10 | 전자 장치 및 그 동작 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10587927B2 (ko) |
| EP (1) | EP3220652B1 (ko) |
| KR (1) | KR102199568B1 (ko) |
| WO (1) | WO2016076541A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230126108A (ko) * | 2022-02-22 | 2023-08-29 | 삼성전자주식회사 | 채팅룸 서비스를 제공하는 전자 장치 및 그 동작 방법 |
| CN115175099B (zh) * | 2022-06-29 | 2024-04-30 | 小米汽车科技有限公司 | 信息分享方法、装置、电子设备、可读存储介质及芯片 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020092021A1 (en) * | 2000-03-23 | 2002-07-11 | Adrian Yap | Digital video recorder enhanced features |
| US7787439B1 (en) * | 2000-05-26 | 2010-08-31 | Bigband Networks Inc. | Method and systems for providing enhanced television services |
| US20060031367A1 (en) * | 2004-06-04 | 2006-02-09 | John Buford | Instant messaging and presence using virtual devices |
| KR100689380B1 (ko) * | 2004-09-16 | 2007-03-02 | 삼성전자주식회사 | 개인 스케쥴 관리 기능과 방송 예약 기능을 구비하는단말의 스케쥴 관리 및 방송 예약 연동 방법 및 시스템 |
| US8156131B2 (en) * | 2007-08-27 | 2012-04-10 | Schlumberger Technology Corporation | Quality measure for a data context service |
| US20100077435A1 (en) * | 2008-09-24 | 2010-03-25 | Concert Technology | System and method for smart trick mode display |
| US8458601B2 (en) * | 2008-12-04 | 2013-06-04 | International Business Machines Corporation | System and method for item inquiry and information presentation via standard communication paths |
| EP2645732A4 (en) | 2010-11-24 | 2014-05-21 | Lg Electronics Inc | IMPROVED SERVICE RECEIVING METHOD AND DISPLAY APPARATUS THEREFOR |
| KR101695514B1 (ko) * | 2011-05-24 | 2017-01-11 | 엘지전자 주식회사 | 방송 서비스 전송 방법, 그 수신 장치 및 그 수신 장치의 부가 서비스 처리 방법 |
| KR101995425B1 (ko) * | 2011-08-21 | 2019-07-02 | 엘지전자 주식회사 | 영상 표시 장치, 단말 장치 및 그 동작 방법 |
| CA2862575C (en) * | 2012-01-05 | 2018-01-23 | Lg Electronics Inc. | Video display apparatus and operating method thereof |
| EP2800392A4 (en) * | 2012-02-10 | 2015-09-09 | Lg Electronics Inc | IMAGE DISPLAY DEVICE AND OPERATING METHOD THEREFOR |
| KR101932097B1 (ko) * | 2012-06-01 | 2018-12-24 | 삼성전자 주식회사 | 음성을 이용한 메시지 서비스 방법 및 장치 |
| KR20140001690A (ko) * | 2012-06-28 | 2014-01-07 | 서진철 | 모바일 직거래 마트 서비스 시스템 및 방법 |
| US9002821B2 (en) * | 2013-01-16 | 2015-04-07 | Google Inc. | Indexing application pages of native applications |
| CN105659521B (zh) * | 2014-03-12 | 2019-07-16 | 腾讯科技（深圳）有限公司 | 用于通过社交网络平台来控制外围设备的方法和设备 |
| US9338493B2 (en) * | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
-
2014
- 2014-11-10 KR KR1020140155419A patent/KR102199568B1/ko active IP Right Grant
-
2015
- 2015-10-16 US US15/525,895 patent/US10587927B2/en active Active
- 2015-10-16 EP EP15859679.1A patent/EP3220652B1/en active Active
- 2015-10-16 WO PCT/KR2015/010963 patent/WO2016076541A1/ko active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US10587927B2 (en) | 2020-03-10 |
| EP3220652B1 (en) | 2020-02-26 |
| WO2016076541A1 (ko) | 2016-05-19 |
| US20170318348A1 (en) | 2017-11-02 |
| EP3220652A4 (en) | 2018-08-08 |
| EP3220652A1 (en) | 2017-09-20 |
| KR20160055518A (ko) | 2016-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190082212A1 (en) | Method for receiving enhanced service and display apparatus thereof | |
| US20190373302A1 (en) | Video display device, terminal device, and method thereof | |
| KR101960314B1 (ko) | 영상 표시 장치 및 그 제어 방법 | |
| US9253372B2 (en) | Video display device and control method thereof | |
| JP6151804B2 (ja) | 映像表示装置及びその動作方法 | |
| JP6290935B2 (ja) | 映像表示装置及びその動作方法 | |
| KR20150045918A (ko) | 영상 표시 장치 및 그 동작 방법 | |
| KR20140119691A (ko) | 영상 표시 장치 및 그 동작 방법 | |
| EP2621180A2 (en) | Electronic device and audio output method | |
| KR102199568B1 (ko) | 전자 장치 및 그 동작 방법 | |
| US9712583B2 (en) | Video display device and method of controlling the device | |
| KR20160061019A (ko) | 영상 표시 장치 및 그 동작 방법 | |
| KR102263146B1 (ko) | 영상 표시 장치 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |