KR101850482B1 - 방송 연동형 증강현실 서비스 시스템 및 방법 - Google Patents

방송 연동형 증강현실 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR101850482B1
KR101850482B1 KR1020160140725A KR20160140725A KR101850482B1 KR 101850482 B1 KR101850482 B1 KR 101850482B1 KR 1020160140725 A KR1020160140725 A KR 1020160140725A KR 20160140725 A KR20160140725 A KR 20160140725A KR 101850482 B1 KR101850482 B1 KR 101850482B1
Authority
KR
South Korea
Prior art keywords
information
augmented reality
broadcast
terminal device
image
Prior art date
Application number
KR1020160140725A
Other languages
English (en)
Inventor
김지은
이종한
박혜경
강경훈
이신
차호상
Original Assignee
주식회사 씨제이헬로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨제이헬로 filed Critical 주식회사 씨제이헬로
Priority to KR1020160140725A priority Critical patent/KR101850482B1/ko
Priority to PCT/KR2017/011881 priority patent/WO2018080180A1/en
Application granted granted Critical
Publication of KR101850482B1 publication Critical patent/KR101850482B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 방송 연동형 증강현실 서비스 시스템 및 방법에 관한 것으로서, 표시부, 촬영부 및 기 저장된 방송연동 증강현실 앱을 구동시킨 경우, 상기 촬영부를 통해 방송수신장치에서 출력되는 영상을 촬영하고, 상기 촬영된 영상과 관련된 부가정보를 상기 표시부에 출력하는 방송연동 증강현실 앱 구동 처리부를 포함하는 단말장치가 제공된다.

Description

방송 연동형 증강현실 서비스 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING PROVIDING AUGMENTED REALITY SERVICE ASSOCIATED WITH BROADCASTING}
본 발명은 방송 연동형 증강현실 서비스 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 단말장치의 앱을 이용하여 방송수신장치에서 출력되는 영상을 촬영하고, 그 촬영된 영상과 관련된 부가정보를 상기 영상과 연동하여 출력하는 방송 연동형 증강현실 서비스 시스템 및 방법에 관한 것이다.
AR(Augmented Reality, 증강현실)은 사용자가 눈으로 보는 현실세계에 증강정보를 갖는 가상세계를 겹쳐 하나의 영상으로 보여주는 기술이다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없으나, 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.
예를 들어, 현재 증강 현실 기술을 가장 잘 구현하고 있는 것은 스마트폰으로 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되는 기능을 제공할 수 있다.
한편, 셋톱박스를 이용한 영상 기기에서는 현재 시청하고 있는 컨텐츠 내에서 사용자가 필요한 정보가 있어도 그것을 바로 확인할 수 있는 방법이 없다. 예를 들어, 드라마를 시청하고 있을 때 등장인물이 걷고 있는 거리가 어디인지, 또는 등장인물이 입고 있는 옷에 대한 정보를 얻고 싶을 경우에는 따로 그것들에 대해 컴퓨터 등을 이용해 검색을 하는 방법으로 정보를 취득할 수 밖에 없다.
또한, 셋톱박스를 이용한 영상 기기는 홈쇼핑 등을 시청하고 있을 경우에도 단순히 쇼호스트가 제공하는 정보만을 일방적으로 전달받게 되며, 단순히 현재 판매하고 있는 제품에 대해서만 구입이 가능하고 그것을 구입하려 할 때에도 제공되는 ARS 전화나 인터넷을 이용한 쇼핑몰 구매 방식만을 취할 수 밖에 없는 한계가 있다.
선행기술1: 한국등록특허 제1,111,389호(2012.02.24. 공고)
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로서, TV 시청 중 TV 화면을 단말장치의 카메라를 통해 인식하면, 인식된 영상과 관련된 부가정보를 단말장치에서 보여주는 방송 연동형 증강현실 서비스 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 단말장치가 촬영한 영상이 어떤 프로그램의 어떤 장면인지를 인식할 수 있는 방송 연동형 증강현실 서비스 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 단말장치가 촬영된 영상과 관련된 증강현실정보 또는 가상현실정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 실시간 동기화 또는 실시간 비동기화하여 출력하는 방송 연동형 증강현실 서비스 시스템 및 방법을 제공하는 것이다.
한편, 본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 포함될 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 표시부, 촬영부 및 기 저장된 방송연동 증강현실 앱을 구동시킨 경우, 상기 촬영부를 통해 방송수신장치에서 출력되는 영상을 촬영하고, 상기 촬영된 영상과 관련된 부가정보를 상기 표시부에 출력하는 방송연동 증강현실 앱 구동 처리부를 포함하는 단말장치가 제공된다.
상기 방송연동 증강현실 앱 구동 처리부는, 상기 방송연동 증강현실 앱이 구동되면, 상기 촬영부를 구동시켜 방송수신장치의 화면에 출력되는 영상을 촬영하는 영상 획득모듈, 상기 획득된 영상이 해당하는 방송 컨텐츠의 인식을 위한 소스정보를 획득하는 소스정보 획득모듈, 상기 소스정보에 해당하는 방송 컨텐츠의 메타정보를 부가서비스서버로부터 수신하는 인식모듈, 상기 수신된 메타정보를 기반으로 관련 증강현실정보 또는 가상현실정보를 획득하고, 상기 메타정보에서 정의된 규약에 따라 상기 증강현실정보 또는 가상현실정보를 상기 영상과 연동하여 표시하는 AR/VR 서비스 모듈을 포함할 수 있다.
상기 소스정보는 EPG, 비가청 주파수, 영상 정보, 현재 시청중인 프로그램에서 나오는 소리 중 적어도 하나를 포함할 수 있다.
상기 AR/VR 서비스 모듈은 증강현실정보 또는 가상현실정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 실시간 동기화 또는 실시간 비동기화하여 출력할 수 있다.,
상기 방송연동 증간현실 앱 구동 처리부는, 상기 증강현실정보 또는 가상현실정보가 표시중인 영상에서 특정 객체가 선택된 경우, 상기 선택된 특정 객체에 대응하는 접속주소정보를 제공하여, 상기 접속주소정보에 따른 해당 서비스 서버로 접속하는 서비스 제공모듈을 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 방송 컨텐츠, 각 방송 컨텐츠의 메타 정보, 부가정보, 소스정보 중 적어도 하나가 저장된 데이터베이스, 단말장치로부터 소스정보를 포함한 방송 컨텐츠 인식 요청 신호가 수신되면, 상기 데이터베이스로부터 상기 소스정보에 대응하는 방송 컨텐츠를 인식하고, 상기 인식된 방송 컨텐츠의 메타정보를 상기 단말장치로 전송하는 인식부, 상기 단말장치로부터 부가정보가 요청된 경우, 상기 데이터베이스로부터 해당 장면 또는 객체에 대한 부가정보를 획득하여 상기 단말장치로 전송하는 AR/VR 제공부를 포함하는 부가 서비스 서버가 제공된다.
상기 소스정보는 EPG, 비가청 주파수, 영상 정보, 현재 시청중인 프로그램에서 나오는 소리 중 적어도 하나를 포함할 수 있다.
상기 부가정보는 증강현실정보 또는 가상현실정보일 수 있다.
본 발명의 또 다른 측면에 따르면, 방송 컨텐츠를 출력하는 방송수신장치, 상기 방송수신장치에서 출력하는 영상을 촬영하여 화면상에 표시하고, 상기 촬영된 영상과 관련된 부가정보를 부가서비스서버로부터 획득하여 상기 화면상에 표시하는 단말장치 및 상기 단말장치에 부가정보를 제공하는 부가 서비스 서버를 포함하는 방송 연동형 증강현실 서비스 시스템이 제공된다.
상기 단말장치는, 촬영부를 구동시켜 상기 방송수신장치의 화면에 출력되는 영상을 촬영하고, 상기 촬영된 영상이 해당하는 방송 컨텐츠의 인식을 위한 소스정보를 획득하며, 상기 소스정보에 해당하는 방송 컨텐츠의 메타정보를 상기 부가 서비스 서버에 요청 및 수신하고, 상기 수신된 메타정보를 기반으로 관련 증강현실정보 또는 가상현실정보를 상기 부가 서비스 서버로부터 획득하며, 상기 메타정보에서 정의된 규약에 따라 상기 증강현실정보 또는 가상현실정보를 상기 영상과 연동하여 표시할 수 있다.
또한, 상기 단말장치는 상기 증강현실정보 또는 가상현실정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 실시간 동기화 또는 실시간 비동기화하여 출력할 수 있다.
또한, 상기 단말장치는 증강현실정보 또는 가상현실정보와 연동하여 표시중인 영상에서 특정 객체가 선택된 경우, 상기 선택된 특정 객체에 대응하는 접속주소정보를 제공하여, 상기 접속주소정보에 따른 해당 서비스 서버로 접속할 수 있다.
상기 부가 서비스 서버는, 상기 단말장치로부터 소스정보를 포함한 방송 컨텐츠 인식 요청 신호가 수신되면, 상기 소스정보에 대응하는 방송 컨텐츠를 인식하고, 상기 인식된 방송 컨텐츠의 메타정보를 상기 단말장치로 전송할 수 있다.
또한, 상기 부가 서비스 서버는, 상기 단말장치로부터 부가정보가 요청된 경우, 해당 장면 또는 객체에 대한 증강현실정보 또는 가상현실정보를 획득하여 상기 단말장치로 전송할 수 있다.
본 발명의 또 다른 측면에 따르면, 단말장치가 방송연동형 증강현실 서비스를 제공하는 방법에 있어서, (a) 기 저장된 방송연동 증강현실 앱이 구동되면, 촬영부를 구동시켜 방송수신장치의 화면에 출력되는 영상을 촬영하는 단계, (b) 상기 촬영된 영상이 해당하는 방송 컨텐츠의 인식을 위한 소스정보를 획득하는 단계, (c) 상기 소스정보에 해당하는 방송 컨텐츠의 메타정보를 획득하는 단계, (d) 상기 메타정보를 기반으로 관련 증강현실정보 또는 가상현실정보를 획득하여, 상기 영상과 연동하여 표시하는 단계를 포함하는 방송 연동형 증강현실 서비스 방법이 제공된다.
상기 소스정보는 EPG, 비가청 주파수, 영상 정보, 현재 시청중인 프로그램에서 나오는 소리 중 적어도 하나를 포함할 수 있다.
상기 방송 연동형 증강현실 서비스는 상기 (d)단계 이후, 상기 증강현실정보 또는 가상현실정보가 표시중인 영상에서 특정 객체가 선택된 경우, 상기 선택된 특정 객체에 대응하는 접속주소정보를 제공하여, 상기 접속주소정보에 따른 해당 서비스 서버로 접속하는 단계를 더 포함할 수 있다.
상기 (d)단계에서, 상기 증강현실정보 또는 가상현실정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 실시간 동기화 또는 실시간 비동기화하여 출력할 수 있다.
본 발명의 또 다른 측면에 따르면, (a) 단말장치는 방송연동 증강현실 앱이 실행되면, 촬영부를 구동하여 방송수신장치에서 출력되는 영상을 촬영하고, 상기 촬영된 영상이 해당하는 방송 컨텐츠 인식을 위한 소스정보를 획득하는 단계, (b) 상기 단말장치는 상기 획득된 소스정보를 포함하는 방송 컨텐츠 인식 요청 신호를 부가 서비스 서버로 전송하는 단계, (c) 상기 부가 서비스 서버는 소스정보에 대응하는 방송 컨텐츠를 인식하고, 상기 인식된 방송 컨텐츠의 메타정보를 획득하여 상기 단말장치로 전송하는 단계, (d) 상기 단말장치는 메타정보를 해석하여, 부가정보 필요 시, 상기 부가 서비스 서버에 부가정보를 요청하는 단계, (e) 상기 부가 서비스 서버는 해당 장면 또는 객체에 대한 부가정보를 획득하여 상기 단말장치로 전송하는 단계 및 (f) 상기 단말장치는 상기 부가정보를 상기 영상과 연동하여 표시하는 단계를 포함하는 방송 연동형 증강현실 서비스 방법이 제공된다.
상기 부가정보는 증강현실정보 또는 가상현실정보일 수 있다.
상기 (f)단계에서, 상기 단말장치는 상기 부가정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 실시간 동기화 또는 실시간 비동기화하여 출력할 수 있다.
상기 방송 연동형 증강현실 서비스 방법은 상기 (f) 단계 이후, 상기 단말장치는 부가정보가 연동하여 표시중인 영상에서 특정 객체가 선택된 경우, 상기 선택된 특정 객체에 대응하는 접속주소정보를 제공하여, 상기 접속주소정보에 따른 해당 서비스 서버로 접속하는 단계를 더 포함할 수 있다.
한편, 이상에 살핀 상기 '방송 연동형 증강현실 서비스 방법'은, 프로그램의 형태로 구현된 뒤에 전자 장치에서 판독 가능한 기록 매체에 기록되거나, 프로그램 다운로드 관리 장치(서버 등)를 통해 배포될 수 있다.
본 발명에 따르면, TV 시청 중 TV 화면을 단말장치의 카메라를 통해 인식하면, 인식된 영상이 어떤 프로그램의 어떤 장면인지 실시간으로 파악해서 관련된 부가 정보를 단말장치에서 보여줄 수 있다.
또한, 증강현실정보 또는 가상현실정보와 연동하여 표시중인 영상에서 특정 객체가 선택된 경우, 선택된 특정 객체에 대응하는 접속주소정보를 이용하여 해당 서비스서버에 접속함으로써, 사용자가 궁금한 제품이 등장하는 특정 방송 화면 또는 특정 촬영구역의 영상을 자신의 단말장치를 통해 표시하여 증강현실 서비스 방식으로 해당 제품의 정보를 얻고 구매 가능한 쇼핑몰로 바로 연결할 수 있도록 한다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명에 따른 방송 연동형 증강현실 서비스 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 방송 컨텐츠를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 단말장치의 구성을 개략적으로 나타낸 블럭도이다.
도 4는 도 3에 도시된 방송연동 증강현실 앱 구동 처리부를 상세히 나타낸 도면이다.
도 5는 본 발명에 따른 부가 서비스 서버의 구성을 개략적으로 나타낸 블럭도이다.
도 6은 본 발명에 따른 방송 연동형 증강현실 서비스 방법을 나타낸 도면이다.
도 7 내지 도 14는 방송 연동형 증강현실 서비스를 설명하기 위한 화면 예시도이다.
본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '방송 연동형 증강현실 서비스 시스템 및 방법'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다. 또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
이하에서는 방송서버가 송출하는 컨텐츠를 방송 컨텐츠로 칭하였으나, 방송 컨텐츠는 동영상 컨텐츠, 기타 다양한 형태의 미디어 컨텐츠 등을 포함하는 개념일 수 있다.
도 1은 본 발명에 따른 방송 연동형 증강현실 서비스 시스템을 나타낸 도면, 도 2는 본 발명에 따른 방송 컨텐츠를 설명하기 위한 도면이다.
도 1을 참조하면, 방송 연동형 증강현실 서비스 시스템은 방송 서버(100), 방송수신장치(200), 단말장치(300), 부가 서비스 서버(400)를 포함한다.
방송 서버(100)는 방송 컨텐츠를 방송망 또는 인터넷망을 통해 송출한다. 여기서, 방송 컨텐츠는 실시간 중계를 통해 제공되는 실시간 중계 컨텐츠와 시청자에게 제공되기 이전에 제작 및 편집이 완료된 사전 제작 컨텐츠로 분류할 수 있다. 또한, 방송 컨텐츠는 도 2와 같이 사전제작 여부 또는 실시간 동기화 여부에 따라 분류될 수 있다. 사전 제작되고 실시간 동기화하는 실시간 동기화 사전 제작 컨텐츠, 사전 제작되고 실시간 비동기화하는 실시간 비동기화 사전 제작 컨텐츠, 사전에 제작되지 않았으나 실시간 동기화하는 실시간 동기화 중계 컨텐츠, 사전에 제작되지 않고 실시간 비동기화하는 실시간 비동기화 중계 컨텐츠일 수 있다. 실시간 동기화 사전 제작 컨텐츠에는 성인 AR 컨텐츠, 키즈 AR 컨텐츠, 양방향 AR 광고 등을 포함, 실시간 비동기화 사전 제작 컨텐츠는 부동산 AR 광고, 지역 채널 VR 컨텐츠 등을 포함, 실시간 동기화 중계 컨텐츠는 미디어 커머스, 실시간 스포츠 정보 등을 포함할 수 있다.
방송 컨텐츠 제공자는 사전 제작 컨텐츠의 경우, 해당 컨텐츠를 제공하기 전에 그 컨텐츠 내용 전체 및 관련 시나리오 분석을 통해 각 장면마다 그 상황을 표현 또는 설명하기 위한 메타정보를 미리 작성하여 제공할 수 있다. 예를 들어, 사전 제작된 드라마가 있는데, 해당 컨텐츠 제공자는 이 드라마 내용 및 시나리오를 분석하여 이 드라마에 나오는 인물, 인물이 입은 옷 등을 설명하기 위한 메타정보를 작성하여 시청자에게 제공할 수 있다. 반면, 야구나 축구와 같은 실시간 중계 컨텐츠인 경우에는 시시각각 변화하는 상황이나 '홈런', '골' 등과 같은 특정 이벤트를 표현 또는 설명하기 위한 메타정보를 실시간으로 작성하여 제공해야 한다. 야구나 축구와 같이 실시간으로 중계되는 컨텐츠에 대해서도, 해당 콘텐츠 제공자는 현장에서 생생하게 벌어지고 있는 상황, 예를 들면, 야구의 경우, 투수가 던진 공이 스트라이크인지 볼인지, 타자가 안타 또는 홈런을 쳤는지 아니면 아웃되었는지 등등에 대한 것들을 표현 또는 설명하기 위한 메타정보를 작성하여 시청자에게 제공할 수 있다.
따라서, 방송 서버(100)는 실시간 동기화 사전 제작 컨텐츠의 경우, 방송 컨텐츠 제작시, 증강현실정보(가상현실정보)를 함께 제작하여야 하며, 방송 컨텐츠에 증강현실정보의 출력 시간이나 출력 위치, 처리 이벤트 등에 대한 정보를 포함하는 메타정보를 함께 제작하여야 한다. 즉, 방송 서버(100)는 방송 연동형 증강현실 서비스를 위하여 방송 컨텐츠 이외에 증강현실정보뿐만 아니라 이들의 관계를 나타낼 수 있는 메타정보를 함께 제작한다. 이때, 메타정보는 증강현실정보의 유무, 증강현실정보의 저장된 위치 등을 나타내는 방송 콘텐츠와 증강현실정보의 관련된 정보를 제공하는 데이터이다. 또한, 메타정보는 증강현실정보의 출력 시간, 출력 위치 또는 처리 이벤트에 관한 정보를 포함할 수도 있다.
방송 서버(100)는 사전 제작되고 실시간 비동기화하는 실시간 비동기화 사전 제작 컨텐츠의 경우, 방송 컨텐츠 제작시, 증강현실정보(가상현실정보)를 함께 제작하여야 하며, 방송 컨텐츠에 증강현실정보의 출력 위치, 처리 이벤트 등에 대한 정보를 포함하는 메타정보를 함께 제작한다. 이 경우에는 방송 컨텐츠와 증강현실정보가 실시간 비동기하므로, 방송 컨텐츠와 증강현실정보의 출력시간을 맞출 필요가 없다.
방송 서버(100)는 사전에 제작되지 않았으나 실시간 동기화하는 실시간 중계 컨텐츠의 경우, 시시각각 변화하는 상황이나 특정 이벤트를 표현 또는 설명하기 위한 증강현실정보, 방송 컨텐츠와 증강현실정보의 관계를 나타내는 메타정보를 실시간으로 작성하여 제공한다. 여기서, '이벤트'란 용어는 컨텐츠 내의 특정 상황, 특정 장면 및 특정 내용 중 적어도 어느 하나를 포함하는 것으로 사용된다.
한편, 방송 서버(100)는 방송 컨텐츠를 방송망 또는 인터넷망을 통해 방송수신장치(200)로 송출하고, 방송 컨텐츠, 증강현실정보 및 메타정보를 부가서비스 서버(400)로 전송한다.
또한, 방송 서버(100)는 방송 편성표에 따른 방송 프로그램을 위한 방송 컨텐츠(비디오/오디오) 및 시간 동기 정보를 방송망을 통해 방송수신장치(200)로 전송한다. 여기서, 시간 동기 정보는 방송수신장치(200)에서 영상과 소리의 동기를 맞추기 위해 사용되는 시간 동기 신호이다.
또한, 방송 서버(100)는 방송 컨텐츠 인식을 위한 소스정보를 방송 컨텐츠에 삽입하여 방송 컨텐츠를 제작할 수도 있다. 여기서, 방송 컨텐츠 인식을 위한 소스정보는 예컨대, 비가청 주파수일 수 있다.
여기에서는 방송 서버(100)가 방송 컨텐츠에 비가청 주파수를 삽입하는 것으로 설명하였으나, 별도의 장치에서 방송 컨텐츠 인식을 위한 소스 정보를 삽입할 수도 있다.
방송수신장치(200)는 방송 서버(100)로부터 방송 컨텐츠를 수신하여 TV 화면상에 출력하는 장치로서, 셋톱박스(STB), 셋톱박스가 내장된 TV, DTV, PC 등 데이터 방송 정보 등을 송수신할 수 있는 장치의 형태로 구성될 수 있다.
방송수신장치(200)는 사용자가 원하는 방송 채널을 내장된 튜너(Tuner)를 통해 선택하여 원하는 방송 채널의 방송 컨텐츠를 RF(Radio Frequency)나 IP(Internet Protocol) 네트워크 등을 통해 수신할 수 있다.
방송수신장치(200)는 방송망 또는 통신망을 통해 방송 콘텐츠, 방송 콘텐츠와 관련된 정보를 포함하는 메타정보를 수신한다.
단말장치(300)는 방송수신장치(200)의 화면에 출력되는 영상을 단말장치(300)의 카메라 기능을 이용하여 실시간으로 촬영하고, 촬영된 영상을 단말장치(300)의 화면으로 볼 수 있으며, 단말장치(300)의 화면에 증강현실(AR) 정보 또는 가상현실정보 등을 해당 위치에 출력함으로써 증강현실(AR) 광고나 증강현실(AR) 데이터 서비스 등을 가능하게 한다.
단말장치(300)는 TV 화면과 연동하는 증강 현실 구현을 위한 방송연동 증강현실 앱(애플리케이션)을 다운로드한 사용자의 단말로, 예컨대, 스마트폰(smart phone), 휴대폰(mobile phone), 아이패드(i-pad), 타블렛 PC, 노트북, PC 등 카메라 기능을 갖고 있고, 카메라 기능을 통하여 방송수신장치(200)의 화면을 실시간으로 촬영하며, 촬영된 영상을 표시할 수 있는 형태로 구성될 수 있다. 방송연동 증강현실 앱은 방송수신장치의 화면에 출력되는 영상을 촬영하고, 촬영된 영상이 어떤 프로그램의 어떤 장면에서 나오고 있는지 실시간으로 파악해서 관련된 증강현실정보 또는 가상현실정보를 제공하는 애플리케이션으로, 앱스토어와 같은 인터넷 상의 다운로드 서버로부터 수신하여 설치될 수 있고, 혹은 단말장치 자체적으로 내장된 소프트웨어 일 수 있다.
단말장치(300)는 방송연동 증강현실 앱을 실행한 상태에서 방송수신장치(200)가 출력하고 있는 방송 화면을 촬영하여 표시하고, 촬영된 영상에 해당하는 방송 컨텐츠를 인식하며, 인식된 방송 컨텐츠에 대응하는 메타정보를 획득하고, 메타정보를 기반으로 관련 부가정보를 확보하며, 메타정보에서 정의된 규약에 따라 부가정보를 방송 컨텐츠와 연동하여 표시한다. 여기서, 부가정보는 증강현실정보 또는 가상현실정보일 수 있으나, 이하에서는 설명의 편의를 위해 부가정보를 증강현실정보로 한정하여 설명하기로 한다.
단말장치(300)가 방송 컨텐츠와 연동된 증강현실정보를 표시하기 위해서는, 촬영된 영상이 어떤 프로그램(또는 방송 컨텐츠)인지 인식해야 한다. 이를 위해, 단말장치(300)는 현재 시청중인 프로그램(또는 방송 컨텐츠) 인식을 위한 소스정보를 부가 서비스 서버(400)로 전송하고, 부가 서비스 서버(400)로부터 인식된 방송 컨텐츠의 메타정보를 수신한다. 여기서, 방송 컨텐츠 인식을 위한 소스정보는 EPG, 비가청 주파수, 영상 정보, 현재 시청중인 프로그램에서 나오는 소리 등을 포함할 수 있다. 소스정보를 수신한 부가 서비스 서버(400)는 소스정보를 분석하여 해당하는 방송 컨텐츠를 인식하고, 인식된 방송 컨텐츠의 메타정보를 단말장치(300)로 전송한다.
이하, 단말장치(300)가 현재 시청 영상(프로그램)을 인식하는 방법에 대해 좀더 상세히 설명하기로 한다.
먼저, EPG를 이용하는 방법에 대해 설명하기로 한다.
단말장치(300)는 방송수신장치(200)의 셋톱박스와 페어링되어, 영상의 EPG를 인식함으로써, TV 시청 맥락과 시청 프로그램을 확인할 수 있다. 즉, 단말장치(300)는 방송수신장치(200)와 페어링을 수행하여, 방송수신장치(200)로부터 현재 출력하고 있는 방송 컨텐츠의 EPG 정보(시청정보)를 수신하고, 수신된 EPG 정보를 포함하는 방송 컨텐츠 인식 요청 신호를 부가 서비스 서버(400)로 전송하며, 부가서비스 서버(400)로부터 EPG 정보에 대응하는 메타정보를 수신한다. 이때, 단말장치(300)는 방송수신장치(200)의 고유 정보를 이용하여 기 정의된 무선 통신 규격에 따른 신호를 송출하여 방송수신장치(200)를 호출하고, 방송수신장치(200)로부터 응답이 수신되면, 방송수신장치(200)와 접속을 위한 페어링을 수행한다. 이때, 무선 통신 규격은 근거리 불루투스, 지그비(zigbee), Wi-Fi, WCDMA 등이 사용될 수 있으며, 이외에도 다양한 무선 통신 규격이 선택될 수 있다. 페어링 기술은 이미 공개된 다양한 기술들이 채용될 수 있다.
다음으로, 비가청 주파수를 이용하는 방법에 대해 설명하기로 한다.
단말장치(300)는 방송수신장치(200)에서 방송 컨텐츠와 함께 출력되는 비가청 주파수를 인식함으로써, 현재 시청 영상(프로그램)을 인식할 수 있다. 이때, 비가청 주파수는 20-20000Hz 이외의 사람이 듣지 못하는 주파수의 사운드일 수 있다.
즉, 단말장치(300)는 비가청 주파수가 입력되면, 비가청 주파수를 포함하는 방송 컨텐츠 인식 요청 신호를 부가서비스 서버(400)로 전송하고, 부가서비스 서버(400)로부터 비가청 주파수에 대응하는 메타정보를 수신한다.
다음으로, 영상 정보 추출 기법을 이용하는 방법에 대해 설명하기로 한다.
단말장치(300)는 영상 정보 추출 기법을 이용하여 현재 시청 영상(프로그램)을 인식할 수 있다. 여기서, 영상정보는 기 설정된 일정 시간동안 화면상에 출력되는 영상 데이터(전체 영상 또는 부분 영상임) 또는 기 설정된 일정 시간동안 화면상에 출력되는 영상 움직임 변화 정보일 수 있다. 즉, 단말장치(300)는 어떤 채널을 몇 분 동안 시청했는지에 대한 영상 데이터를 트래킹할 수 있는 API를 통해 시청 데이터를 파악할 수 있다.
단말장치(300)는 기 설정된 일정 시간동안 화면상에 출력되는 영상 데이터를 포함하는 방송 컨텐츠 인식 요청 신호를 부가 서비스 서버(400)로 전송하고, 부가 서비스 서버(400)로부터 영상 데이터에 대응하는 메타정보를 수신한다.
마지막으로, 단말장치(300)는 현재 시청 중인 프로그램에서 나오는 소리를 인식하여 시청 데이터를 파악할 수 있다.
단말장치(400)는 현재 시청중인 프로그램에서 출력되는 소리에 해당하는 오디오 데이터를 포함하는 방송 컨텐츠 요청 신호를 부가 서비스 서버(400)로 전송하고, 부가 서비스 서버(400)로부터 오디오 데이터에 대응하는 메타정보를 수신한다.
현재 시청중인 방송 컨텐츠에 대한 메타정보를 수신한 단말장치(300)는 그 메타정보를 해석하여 그에 따른 증강현실정보를 부가 서비스 서버(400)에 요청하여 수신하고, 수신된 증강현실정보를 방송 컨텐츠와 연동하여 표시한다. 즉, 메타정보에는 증강현실정보에 관한 정보가 포함되어 있기 때문에, 단말장치(300)는 메타정보의 해석에 따라 필요한 증강현실정보를 부가 서비스 서버(400)에 요청하고 그 결과를 수신할 수 있다. 그런 후, 단말장치(300)는 증강현실정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 실시간 동기화 또는 실시간 비동기화하여 출력한다.
이처럼 단말장치(300)는 방송연동 증간현실 앱에 의해, 촬영된 영상을 인식하고, 인식된 영상에 대응하는 적어도 하나의 증강현실정보를 획득하며, 획득된 적어도 하나의 증강현실정보를 상기 영상에 결합하여 표시하도록 제공함으로써, 단말장치(300)에서 증강현실정보가 결합된 영상을 표시할 수 있다.
예를 들어, 방송수신장치(200)에서 광고가 나올 때, 단말장치(300)에서 방송연동 증간현실 앱을 실행시켜 광고를 촬영하면, 단말장치(300)는 해당 광고의 추가 정보를 화면상에 표시할 수 있다. 또한, 방송수신장치(200)에서 드라마가 방송중일 때, 단말장치(300)에서 방송연동 증간현실 앱을 실행시켜 드라마 화면을 촬영하면, 단말장치(300)는 TV프레임을 확장한 1인치가 더 나와 내용상으로 몰랐던 특별한 내용을 더 볼 수 있다든지, 주인공을 촬영하면 주인공의 프로필이나 뉴스가 나오거나, 주인공이 입고 있는 상품 정보들이 화면상에 표시할 수 있다. 또한, 방송수신장치(200)에서 특정 프로그램이 방송중일때, 단말장치(300)의 방송연동 증간현실 앱을 실행시켜 촬영하면, 단말장치(300)는 특정 프로그램상에 숨겨졌던 게임 캐릭터가 등장하여 캐릭터를 잡으면 점수가 올라가는 게임을 화면상에 표시할 수 있다.
또한, 단말장치(300)는 실행되는 방송연동 증간현실 앱에 의해, 표시 중인 영상에서 사용자에 의해 특정 객체 또는 특정 증강현실정보가 선택되는지 여부를 감지하여 선택 감지된 특정 객체 또는 특정 증강현실정보에 대응하는 접속주소정보를 제공함으로써, 단말장치(300)가 접속주소정보에 따른 해당 서비스서버(미도시)로 접속할 수 있도록 한다. 예를 들면, 증강현실정보가 표시된 영상에서 사용자가 특정 객체를 선택하면, 단말장치(300)는 특정 객체에 해당하는 상품을 구매할 수 있는 인터넷 사이트로 연결되도록 할 수 있다.
부가 서비스 서버(400)는 방송 서버(100)로부터 방송 컨텐츠, 메타정보, 증강현실정보를 제공받고, 단말장치(300)로부터 요청된 메타정보 또는 증강현실정보를 단말장치(300)에 제공한다.
즉, 부가 서비스 서버(400)는 단말장치(300)로부터 소스정보를 포함한 방송 컨텐츠 인식 요청 신호가 수신되면, 소스정보를 분석하여 해당하는 방송 컨텐츠를 인식하고, 인식된 방송 컨텐츠의 메타정보를 단말장치(300)로 전송한다.
또한, 부가 서비스 서버(400)는 단말장치(300)로부터 증강현실정보가 요청되면, 해당 장면 또는 객체에 대한 증강현실정보를 획득하여 단말장치(300)로 전송한다. 여기서, 증강현실정보는 방송 컨텐츠의 장면 또는 객체와 연관된 상품 정보, 광고 정보 등을 포함할 수 있다.
이러한 부가 서비스 서버(400)에 대한 상세한 설명은 도 5를 참조하기로 한다.
도 3은 본 발명에 따른 단말장치의 구성을 개략적으로 나타낸 블럭도, 도 4는 도 3에 도시된 방송연동 증강현실 앱 구동 처리부를 상세히 나타낸 도면이다.
도 3을 참조하면, 단말장치(300)는 통신부(310), 입력부(320), 표시부(330), 저장부(340), 촬영부(350), 방송연동 증강현실 앱 구동 처리부(360), 제어부(370)를 포함한다.
통신부(310)는 다양한 전자 장치들과 데이터를 송수신하기 위한 구성이다. 구체적으로, 통신부(310)는, 단말장치(300), 방송수신장치, 부가 서비스 서버와 유선 통신망 또는 무선 통신망을 통해 연결될 수 있으며, 이러한 연결을 기초로 광고 요청, 리타겟팅 광고 등을 포함하는 다양한 데이터를 송수신할 수 있는 구성이다.
이러한 통신부(310)는 다양한 유선 통신 모듈 또는 무선 통신 모듈을 포함할 수 있으며, 다양한 무선 또는 유선 통신 규격을 통해 데이터를 송신 또는 수신할 수 있다. 예를 들어, 통신부(310)는, ITU, IEEE, ISO, IEC 등의 다양한 표준 통신 모듈을 포함하는 형태로 구현될 수 있으며, 이러한 표준 통신 모듈 이외에도 다양한 통신 모듈을 포함하는 형태로 구현될 수 있다.
입력부(320)는 사용자로부터 정보를 입력받기 위한 구성이다. 이러한 입력부(320)는 특히 부가서비스 서버에서 제공하는 증강현실 또는 가상현실과 매칭된 서비스 이용 등을 입력받는데 활용될 수 있다.
한편, 입력부(320)는, 키패드, 터치 패널 등의 입력 장치로 구현될 수 있으며, 이러한 입력 장치 이외에도 다양한 입력 장치로 구현될 수 있다. 또한, 입력부(320)는 표시부(330)와 일체를 이루는 터치 스크린의 형태로도 구현될 수 있다.
표시부(330)는 단말장치(300)의 동작과 관련된 다양한 정보를 표시하기 위한 구성으로, 촬영부를 통해 촬영된 영상, 증강현실, 가상현실 등의 다양한 정보를 표시할 수 있다. 이러한 표시부(130)는 LCD, LED 등을 포함하는 다양한 디스플레이 장치를 통해 구현될 수 있다.
저장부(340)는 단말 장치(300)의 동작과 관련된 데이터들을 저장하는 구성이다. 예를 들어, 저장부(340)는 UI를 구현하기 위한 데이터, 통신부(310)를 통해 전달되는 데이터, 입력부(320)를 통해 입력되는 데이터 등을 포함하는 다양한 데이터들을 저장할 수 있다. 이러한 저장부(340)는 특히, 방송연동 증강현실 앱을 저장하고, 다양한 종류의 메모리 소자를 포함하는 형태로 구현될 수 있다.
촬영부(350)는 영상을 촬영하는 구성으로, 예컨대, 카메라일 수 있다.
방송 연동 증강현실 앱 구동 처리부(360)는 저장부(340)에 저장된 방송연동 증강현실 앱을 구동시키면, 촬영부(350)를 구동시키고, 촬영부(350)를 통해 방송수신장치의 화면에 출력되는 영상을 촬영하며, 촬영된 영상이 어떤 프로그램의 어떤 장면에서 나오고 있는지 실시간으로 파악해서 관련된 증강현실정보 또는 가상현실정보를 제공한다.
이러한 방송 연동 증강현실 앱 구동 처리부(360)는 도 4와 도시된 바와 같이 영상 획득모듈(362), 소스정보 획득모듈(265), 인식모듈(366), AR/VR 서비스 모듈(368), 서비스 제공모듈(369)을 포함한다.
영상 획득모듈(362)은 방송연동 증강현실 앱이 구동되면, 촬영부(350)를 구동시켜 방송수신장치의 화면에 출력되는 영상을 촬영한다.
소스정보 획득모듈(365)은 영상 획득모듈(362)에서 획득된 영상이 어떤 프로그램(또는 방송 컨텐츠) 인식을 위한 소스정보를 획득한다. 여기서, 방송 컨텐츠 인식을 위한 소스정보는 EPG, 비가청 주파수, 영상 정보, 현재 시청중인 프로그램에서 나오는 소리 등을 포함할 수 있다.
인식모듈(366)은 소스정보 획득모듈(365)에서 획득된 소스정보를 부가 서비스 서버로 전송하고, 부가 서비스 서버로부터 상기 소스정보에 해당하는 방송 컨텐츠의 메타정보를 수신한다. 인식모듈(366)이 소스정보에 해당하는 방송 컨텐츠를 인식하는 방법에 대한 상세한 설명은 도 1에 대한 설명을 참조하기로 한다.
AR/VR 서비스 모듈(368)은 인식모듈(366)에서 수신된 메타정보를 기반으로 관련 증강현실정보를 확보하며, 메타정보에서 정의된 규약에 따라 증강현실정보를 방송 컨텐츠와 연동하여 표시한다. 즉, 메타정보에는 증강현실정보에 관한 정보가 포함되어 있기 때문에, AR/VR 서비스 모듈(368)은 메타정보의 해석에 따라 필요한 증강현실정보를 부가 서비스 서버에 요청하고 그 결과를 수신할 수 있다. AR/VR 서비스 모듈(368)은 증강현실정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 실시간 동기화 또는 실시간 비동기화하여 출력한다.
예를 들어, 실시간 동기화하는 컨텐츠인 경우, AR/VR 서비스 모듈(368)은 메타정보에 근거하여 증강현실정보를 방송 컨텐츠와 실시간으로 동기화시켜 출력할 수 있다. 이때, AR/VR 서비스 모듈(368)은 미디어 동기화를 용이하게 수행하기 위해 예컨대, 버퍼링부(미도시)를 통해 방송 콘텐츠를 버퍼링하는 방법을 사용할 수 있다. 즉, 실시간 동기화하는 컨텐츠의 경우, 방송 콘텐츠와 증강현실정보와의 동기화를 위해, AR/VR 서비스 모듈(368)이 요청한 증강현실정보를 수신하는데 시간이 걸릴 수 있기 때문에 방송 콘텐츠를 버퍼링할 수 있다. 이는 버퍼링부(미도시)에서 수행한다. 버퍼링부는 메타정보에 근거하여 통신망에서 증강현실정보를 가져오는 데는 일정한 시간이 필요하기에, 미디어 동기화를 위하여 방송 콘텐츠의 재생을 증강현실정보를 완전히 가져올 때까지 지연시킬 수 있다. 또한, 미디어 동기화를 위해, 다음 프로그램의 증강현실정보와 관련된 메타정보를 현재의 프로그램 방영 중에 미리 보내어 단말장치가 증강현실정보를 서버 내지는 콘텐츠 제공자로부터 가지고 와서 동기화할 수 있도록 스케쥴을 조정할 수도 있다.
또한, 실시간 비동기화하는 컨텐츠인 경우, AR/VR 서비스 모듈(368)은 현재 시청중인 방송 컨텐츠와 관련된 가상현실 영상을 동기화하지 않고 출력할 수 있다.
이처럼 AR/VR 서비스 모듈(368)은 증강현실 기법을 이용하여 현재 표시되는 컨텐츠의 하나 이상의 영역에 대한 링크 정보 또는 부가 정보를 삽입하여 증강현실정보를 출력한다.
서비스 제공모듈(369)은 부가정보(증강현실정보 또는 가상현실정보)가 표시중인 영상에서 특정 객체가 선택된 경우, 상기 선택된 특정 객체에 대응하는 접속주소정보를 제공하여, 접속주소정보에 따른 해당 서비스 서버로 접속한다. 사용자는 접속된 서비스 서버를 통해 상품 구매 등을 수행할 수 있다.
제어부(370)는 통신부(310), 입력부(320), 표시부(330), 저장부(340), 촬영부(350), 방송연동 증강현실 앱 구동 처리부(360)를 포함하는 단말 장치(300)의 다양한 구성부들의 동작을 제어하는 구성이다.
이러한 제어부(370)는 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
이상 설명한 단말장치(300) 내 각 구성의 경우 프로세서에 의해 실행되는 소프트웨어 모듈 또는 하드웨어 모듈 형태로 구현되거나, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로도 구현될 수 있다.
이처럼, 프로세서에 의해 실행되는 소프트웨어 모듈, 하드웨어 모듈, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태는 하드웨어 시스템(예: 컴퓨터 시스템)으로 구현될 수 있을 것이다.
도 5는 본 발명에 따른 부가 서비스 서버의 구성을 개략적으로 나타낸 블럭도이다.
도 5를 참조하면, 부가 서비스 서버(400)는 통신부(410), 데이터베이스(420), 인식부(430), AR/VR 제공부(440), 제어부(450)를 포함한다.
통신부(410)는 다양한 전자 장치들과 데이터를 송수신하기 위한 구성이다. 특히, 통신부(410)는 둘 이상의 장치와 연결될 수 있으며, 메타정보, 증강현실정보등 다양한 정보를 송수신할 수 있다.
데이터베이스(420)에는 방송 컨텐츠, 메타 정보, 각 방송 컨텐츠의 장면 또는 객체별 부가정보 등이 저장되고, 각 방송 컨텐츠별로 해당 컨텐츠의 인식을 위한 소스정보가 함께 저장되어 있다. 여기서, 부가정보는 증강현실정보 또는 가상현실정보를 포함하고, 소스정보는 EPG, 비가청 주파수, 영상 정보, 현재 시청중인 프로그램에서 나오는 소리 등을 포함할 수 있다.
인식부(430)는 단말장치로부터 소스정보를 포함한 방송 컨텐츠 인식 요청 신호가 수신되면, 소스정보를 분석하여 해당하는 방송 컨텐츠를 인식하고, 인식된 방송 컨텐츠의 메타정보를 단말장치로 전송한다.
예를 들어, 소스정보가 EPG 정보인 경우, 인식부(430)는 데이터베이스(420)를 검색하여 EPG 정보에 대응하는 방송 컨텐츠를 인식하고, 인식된 방송 컨텐츠의 메타정보를 단말장치로 전송한다. 또한, 소스 정보가 비가청 주파수인 경우, 인식부(430)는 데이터베이스(420)를 검색하여 비가청 주파수에 대응하는 방송 컨텐츠를 인식하고, 인식된 방송 컨텐츠의 메타정보를 단말장치로 전송한다. 또한, 소스정보가 영상 데이터인 경우, 인식부(430)는 데이터베이스(420)를 검색하여 영상 데이터에 대응하는 방송 컨텐츠를 인식하고, 인식된 방송 컨텐츠의 메타정보를 단말장치로 전송한다. 또한, 소스정보가 오디오 데이터인 경우, 인식부(430)는 데이터베이스(420)를 검색하여 오디오 데이터에 대응하는 방송 컨텐츠를 인식하고, 인식된 방송 컨텐츠의 메타정보를 단말장치로 전송한다.
AR/VR 제공부(440) 단말장치로부터 부가정보가 요청되면, 해당 장면 또는 객체에 대한 부가정보를 획득하여 단말장치로 전송한다. 여기서, 부가정보는 방송 컨텐츠의 장면 또는 객체와 연관된 상품 정보, 광고 정보 등을 포함할 수 있다.
제어부(450)는 통신부(410), 데이터베이스(420), 인식부(430), AR/VR 제공부(440)를 포함하는 부가 서비스 서버(400)의 다양한 구성부들의 동작을 제어하는 구성이다.
이러한 제어부(450)는 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
이상 설명한 부가 서비스 서버(400) 내 각 구성의 경우 프로세서에 의해 실행되는 소프트웨어 모듈 또는 하드웨어 모듈 형태로 구현되거나, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로도 구현될 수 있다.
이처럼, 프로세서에 의해 실행되는 소프트웨어 모듈, 하드웨어 모듈, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태는 하드웨어 시스템(예: 컴퓨터 시스템)으로 구현될 수 있을 것이다.
도 6은 본 발명에 따른 방송 연동형 증강현실 서비스 방법을 나타낸 도면, 도 7 내지 도 14는 방송 연동형 증강현실 서비스를 설명하기 위한 화면 예시도이다.
도 6을 참조하면, 방송 서버는 방송 컨텐츠를 방송수신장치로 전송하고(S602), 방송수신장치는 방송 컨텐츠를 출력한다(S604).
단말장치 사용자가 방송수신장치가 출력하는 방송 컨텐츠를 시청하는 중에 방송연동 증강현실 앱을 실행시키면(S606), 단말장치는 촬영부를 구동시켜 방송 컨텐츠의 영상을 촬영하고(S608), 촬영된 영상의 방송 컨텐츠를 인식하기 위한 소스정보를 획득한다(S610). 여기서, 소스정보는 EPG, 비가청 주파수, 영상 정보, 현재 시청중인 프로그램에서 나오는 소리 등을 포함할 수 있다.
단말장치는 획득된 소스정보를 포함하는 방송 컨텐츠 인식 요청 신호를 부가 서비스 서버로 전송한다(S612). 방송 컨텐츠 인식 요청 신호는 소스정보, 단말 식별정보 등을 포함할 수 있다.
부가 서비스 서버는 소스정보를 분석하여 소스정보에 대응하는 방송 컨텐츠를 인식하고 인식된 방송 컨텐츠의 메타정보를 획득하여 단말장치로 전송한다(S614, S616).
단말장치는 메타정보를 해석하여(S618), 그에 따른 부가정보를 부가 서비스 서버에 요청하여 수신하고(S620, S622), 수신된 부가정보를 현재 화면상에 표시되는 영상과 연동하여 표시한다(S624). 즉, 메타정보에는 부가정보에 관한 정보가 포함되어 있기 때문에, 단말장치는 메타정보의 해석에 따라 필요한 부가정보를 부가 서비스 서버에 요청하고 그 결과를 수신할 수 있다. 그런 후, 단말장치는 부가정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 실시간 동기화 또는 실시간 비동기화하여 출력한다.
이하, 방송 컨텐츠 종류에 따라 실시간 동기화 또는 실시간 비동기화하여 출력하는 방법에 대해 화면 예시도를 이용하여 설명하기로 한다.
먼저, 사전제작 컨텐츠와 부가정보를 실시간으로 동기화하여 출력하는 경우에 대해 도 7 내지 도 9를 참조하여 설명하기로 한다.
도 7의 (a)와 같이 방송수신장치에서 출력되고 있는 성인 컨텐츠를 단말장치의 방송연동 증강현실 앱을 실행시켜 촬영하면, 단말장치는 A와 같이 모자이크된 화면을 인식하여 (b)와 같이 모자이크 없는 컨텐츠를 표시한다.
도 8의 (a)와 같이 방송수신장치에서 출력되고 있는 키즈용 교육 컨텐츠를 단말장치의 방송연동 증강현실 앱을 실행시켜 촬영하면, 단말장치는 촬영된 영상을 인식하여 (b)와 같이 악보 등의 부가정보를 표시한다.
도 7 및 도 8과 같이 성인 컨텐츠 또는 키즈 컨텐츠 제작시에 부가정보를 사전에 기획하면, 단말장치의 방송연동 증강현실 앱을 통해 컨텐츠 관련 부가정보를 확인할 수 있다.
또한, TV 광고 제작시 부가정보를 사전에 기획하면, 도 9의 (a)와 같이 방송수신장치를 통해 해당 광고가 나올때 AR인식용 트리거와 안내가 노출된다. 이때, 단말장치 사용자가 방송연동 증강현실 앱을 실행시켜 (b)와 같이 방송수신장치에서 출력되는 화면을 촬영하면, 단말장치는 AR인식용 트리거를 인식하여, (c)와 같이 자동차 내부를 증강현실로 화면상에 표시한다.
다음으로, 사전제작 컨텐츠와 부가정보를 실시간으로 비동기화하여 출력하는 경우에 대해 도 10 및 도 11을 참조하여 설명하기로 한다.
도 10의 (a)와 같이 방송수신장치에서 출력되고 있는 지역 채널의 방송 컨텐츠를 단말장치의 방송연동 증강현실 앱을 실행시켜 촬영하면, 단말장치는 현재 시청중인 지역채널의 명소와 관련된 VR 영상 시청을 위한 VR 영상 메뉴를 표시한다. 사용자가 VR영상 메뉴를 선택하면, 단말장치는 (b)와 갈이 사전에 제작된 VR영상을 화면상에 표시한다.
또한, 도 11의 (a)와 같이 방송수신장치에서 출력되고 있는 아파트 지역 광고를 단말장치의 방송연동 증강현실 앱을 실행시켜 촬영하면, 단말장치는 현재 시청중인 아파트와 관련된 VR 영상 시청을 위한 VR 영상 메뉴를 표시한다. 사용자가 VR영상 메뉴를 선택하면, 단말장치는 (b)와 갈이 사전에 제작된 아파트 내부 VR영상을 화면상에 표시한다.
도 10 및 도 11과 같이 방송 컨텐츠와 관련된 VR 영상을 사전에 제작하면, 단말장치의 방송연동 증강현실 앱을 통해 컨텐츠 관련 VR 영상을 현재 방송중인 방송 컨텐츠와 비동기로 확인할 수 있다.
다음으로, 사전에 제작되지 않은 컨텐츠와 부가정보를 실시간으로 동기화하여 출력하는 경우에 대해 도 12 및 도 13을 참조하여 설명하기로 한다.
도 12의 (a)와 같이 방송수신장치에서 출력되고 있는 방송 컨텐츠를 단말장치의 방송연동 증강현실 앱을 실행시켜 촬영하면, 단말장치는 (b)와 같이 촬영된 영상위에 관련 상품 태그를 노출시킨다. 사용자가 상품 태그를 클릭하면, 단말장치는 상세 페이지(미디어 커미스 페이지)로 이동한다. 사용자는 상세 페이지를 통해 해당 상품을 구매할 수 있다.
또한, 도 13의 (a)와 같이 방송수신장치에서 출력되고 있는 야구 경기를 단말장치의 방송연동 증강현실 앱을 실행시켜 촬영하면, 단말장치는 (b)와 같이 해당 경기와 관련된 부가정보(예컨대, 스코어 현황, 선수정보, 하이라이트 영상 등)를 PIP 형태로 표시한다.
마지막으로, 도 14의 (a)와 같이 방송수신장치에서 출력되고 있는 방송 컨텐츠를 단말장치의 방송연동 증강현실 앱을 실행시켜 촬영하면, 단말장치는 (b)와 같이 화면속에 숨겨진 게임 캐릭터를 표시할 수 있다. 사용자는 표시된 게임 캐릭터를 획득하여 저장해서 육성하거나 이모티콘화하여 메신저 앱에서 사용할 수 있다.
한편, 방송 연동형 증강현실 서비스 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 방송 연동형 증강현실 서비스 방법에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행될 수 있다.
이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 실시 형태로 실시될 수 있다는 것을 인지할 수 있을 것이다. 따라서 이상에서 기술한 실시 예들은 예시적인 것일 뿐이며, 그 범위를 제한해놓은 한정적인 것이 아닌 것으로 이해해야만 한다. 또한, 도면에 도시된 순서도들은 본 발명을 실시함에 있어서 가장 바람직한 결과를 달성하기 위해 예시적으로 도시된 순차적인 순서에 불과하며, 다른 추가적인 단계들이 제공되거나, 일부 단계가 삭제될 수 있음은 물론이다.
본 명세서에서 기술한 기술적 특징과 이를 실행하는 구현물은 디지털 전자 회로로 구현되거나, 본 명세서에서 기술하는 구조 및 그 구조적인 등가물 등을 포함하는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어로 구현되거나, 이들 중 하나 이상의 조합으로 구현 가능하다. 또한 본 명세서에서 기술한 기술적 특징을 실행하는 구현물은 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 제어하기 위하여 또는 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령어에 관한 모듈로서 구현될 수도 있다.
한편, 본 명세서에서 "시스템", "서버"라 함은 예를 들어, 프로세서, 컴퓨터 또는 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 모두 포함한다. 처리 시스템은, 하드웨어에 부가하여 예를 들어, 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 제체 또는 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 모든 코드를 포함할 수 있다. 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드 등으로 알려진 컴퓨터 프로그램은 컴파일되거나 해석된 언어 또는 선험적, 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 구현될 수 있다.
본 명세서에 첨부된 도면에 도시된 블록도와 순서도에 포함된 본 발명의 기술적 특징을 실행하는 구성들은 상기 구성들 사이의 논리적인 경계를 의미한다. 그러나 소프트웨어나 하드웨어의 실시 예에 따르면, 도시된 구성들과 그 기능들은 독립형 소프트웨어 모듈, 모놀리식 소프트웨어 구조, 코드, 서비스 및 이들을 조합한 형태로 실행되며, 저장된 프로그램 코드, 명령어 등을 실행할 수 있는 프로세서를 구비한 컴퓨터에서 실행 가능한 매체에 저장되어 그 기능들이 구현될 수 있으므로 이러한 모든 실시 예 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다.
따라서, 첨부된 도면과 그에 대한 기술은 본 발명의 기술적 특징을 설명하기는 하나, 이러한 기술적 특징을 구현하기 위한 소프트웨어의 특정 배열이 분명하게 언급되지 않는 한, 단순히 추론되어서는 안된다. 즉, 이상에서 기술한 다양한 실시 예들이 존재할 수 있으며, 그러한 실시 예들이 본 발명과 동일한 기술적 특징을 보유하면서 일부 변형될 수 있으므로, 이 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다.
또한, 순서도의 경우 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 가장 바람직한 결과를 얻기 위하여 도시된 것으로서, 도시된 특정한 순서나 순차적인 순서대로 그러한 동작들을 반드시 실행되어야 한다거나 모든 도시된 동작들이 반드시 실행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티 태스킹과 병렬 프로세싱이 유리할 수 있다. 아울러, 이상에서 기술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
이와 같이, 본 명세서는 그 제시된 구체적인 용어에 의해 본 발명을 제한하려는 의도가 아니다. 따라서, 이상에서 기술한 실시 예를 참조하여 본 발명을 상세하게 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 범위를 벗어나지 않으면서도 본 실시 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
100 : 방송 서버 200 : 방송수신장치
300 : 단말장치 310, 410 : 통신부
320 : 입력부 330 : 표시부
340 : 저장부 350 : 촬영부
360 : 방송연동 증강현실 앱 구동 처리부
362 : 영상 획득모듈 364 : 소스정보 획득모듈
366 : 인식모듈 368 : AR/VR 서비스 모듈
369 : 서비스 제공모듈 370, 450 : 제어부
400 : 부가 서비스 서버 420 : 데이베이스
430 : 인식부 440 : AR/VR 제공부

Claims (23)

  1. 표시부;
    촬영부; 및
    기 저장된 방송연동 증강현실 앱을 구동시킨 경우, 상기 촬영부를 통해 방송수신장치에서 출력되는 영상을 촬영하고, 상기 촬영된 영상과 관련된 부가정보를 상기 표시부에 출력하는 방송연동 증강현실 앱 구동 처리부;
    를 포함하고,
    상기 방송연동 증강현실 앱 구동 처리부는,
    상기 방송연동 증강현실 앱이 구동되면, 상기 촬영부를 구동시켜 방송수신장치의 화면에 출력되는 영상을 촬영하는 영상 획득모듈;
    상기 획득된 영상이 해당하는 방송 컨텐츠의 인식을 위한 소스정보를 획득하는 소스정보 획득모듈;
    상기 소스정보에 해당하는 방송 컨텐츠의 메타정보를 부가서비스서버로부터 수신하는 인식모듈; 및
    상기 수신된 메타정보를 기반으로 관련 증강현실정보 또는 가상현실정보를 획득하고, 상기 메타정보에서 정의된 규약에 따라 상기 증강현실정보 또는 가상현실정보를 상기 영상과 연동하여 표시하는 AR/VR(Augmented Reality/Virtual Reality) 서비스 모듈;
    을 포함하며,
    상기 소스정보는 EPG(Electronic Program Guide) 정보 또는 비가청 주파수 정보 중 하나이고,
    상기 AR/VR 서비스 모듈은 증강현실정보 또는 가상현실정보를 현재 화면상에 표시 중인 방송 컨텐츠의 종류에 따라 구분하여 실시간 동기화 또는 실시간 비동기화하여 출력하는 것을 특징으로 하는 단말장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 증강현실정보 또는 가상현실정보가 표시중인 영상에서 특정 객체가 선택된 경우, 상기 선택된 특정 객체에 대응하는 접속주소정보를 제공하여, 상기 접속주소정보에 따른 해당 서비스 서버로 접속하는 서비스 제공모듈을 더 포함하는 단말장치.
  6. 방송 컨텐츠, 각 방송 컨텐츠의 메타 정보, 부가정보, 소스정보 중 적어도 하나가 저장된 데이터베이스;
    단말장치로부터 소스정보를 포함한 방송 컨텐츠 인식 요청 신호가 수신되면, 상기 데이터베이스로부터 상기 소스정보에 대응하는 방송 컨텐츠를 인식하고, 상기 인식된 방송 컨텐츠의 메타정보를 상기 단말장치로 전송하는 인식부; 및
    상기 단말장치로부터 부가정보가 요청된 경우, 상기 데이터베이스로부터 해당 장면 또는 객체에 대한 부가정보를 획득하여 상기 단말장치로 전송하는 AR/VR 제공부;
    를 포함하고,
    상기 단말장치는 증강현실정보 또는 가상현실정보를 현재 화면상에 표시 중인 방송 컨텐츠의 종류에 따라 구분하여 실시간 동기화 또는 실시간 비동기화하여 출력하며,
    상기 소스정보는 EPG 정보 또는 비가청 주파수 중 하나인 것을 특징으로 하는 부가 서비스 서버.
  7. 삭제
  8. 제6항에 있어서,
    상기 부가정보는 증강현실정보 또는 가상현실정보인 것을 특징으로 하는 부가 서비스 서버.
  9. 방송 컨텐츠를 출력하는 방송수신장치;
    상기 방송수신장치에서 출력하는 영상을 촬영하여 화면상에 표시하고, 상기 촬영된 영상과 관련된 부가정보를 부가서비스서버로부터 획득하여 상기 화면상에 표시하는 단말장치; 및
    상기 단말장치에 부가정보를 제공하는 부가 서비스 서버;
    를 포함하고,
    상기 단말장치는, 촬영부를 구동시켜 상기 방송수신장치의 화면에 출력되는 영상을 촬영하고, 상기 촬영된 영상이 해당하는 방송 컨텐츠의 인식을 위한 소스정보를 획득하며, 상기 소스정보에 해당하는 방송 컨텐츠의 메타정보를 상기 부가 서비스 서버에 요청 및 수신하고, 상기 수신된 메타정보를 기반으로 관련 증강현실정보 또는 가상현실정보를 상기 부가 서비스 서버로부터 획득하며, 상기 메타정보에서 정의된 규약에 따라 상기 증강현실정보 또는 가상현실정보를 상기 영상과 연동하여 표시하고, 상기 증강현실정보 또는 가상현실정보를 현재 화면상에 표시 중인 방송 컨텐츠의 종류에 따라 구분하여 실시간 동기화 또는 실시간 비동기화하여 출력하며,
    상기 소스정보는 EPG 정보 또는 비가청 주파수 중 하나인 것을 특징으로 하는 방송 연동형 증강현실 서비스 시스템.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서,
    상기 단말장치는 증강현실정보 또는 가상현실정보와 연동하여 표시중인 영상에서 특정 객체가 선택된 경우, 상기 선택된 특정 객체에 대응하는 접속주소정보를 제공하여, 상기 접속주소정보에 따른 해당 서비스 서버로 접속하는 것을 특징으로 하는 방송 연동형 증강현실 서비스 시스템.
  13. 제9항에 있어서,
    상기 부가 서비스 서버는,
    상기 단말장치로부터 소스정보를 포함한 방송 컨텐츠 인식 요청 신호가 수신되면, 상기 소스정보에 대응하는 방송 컨텐츠를 인식하고, 상기 인식된 방송 컨텐츠의 메타정보를 상기 단말장치로 전송하는 것을 특징으로 하는 방송 연동형 증강현실 서비스 시스템.
  14. 제9항에 있어서,
    상기 부가 서비스 서버는,
    상기 단말장치로부터 부가정보가 요청된 경우, 해당 장면 또는 객체에 대한 증강현실정보 또는 가상현실정보를 획득하여 상기 단말장치로 전송하는 것을 특징으로 하는 방송 연동형 증강현실 서비스 시스템.
  15. 단말장치가 방송연동형 증강현실 서비스를 제공하는 방법에 있어서,
    (a) 기 저장된 방송연동 증강현실 앱이 구동되면, 촬영부를 구동시켜 방송수신장치의 화면에 출력되는 영상을 촬영하는 단계;
    (b) 상기 촬영된 영상이 해당하는 방송 컨텐츠의 인식을 위한 소스정보를 획득하는 단계;
    (c) 상기 소스정보에 해당하는 방송 컨텐츠의 메타정보를 획득하는 단계; 및
    (d) 상기 메타정보를 기반으로 관련 증강현실정보 또는 가상현실정보를 획득하여, 상기 영상과 연동하여 표시하는 단계;
    를 포함하고,
    상기 소스정보는 EPG 정보 또는 비가청 주파수 중 하나이고,
    상기 (d)단계에서, 상기 증강현실정보 또는 가상현실정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 구분하여 실시간 동기화 또는 실시간 비동기화하여 출력하는 것을 특징으로 하는 방송 연동형 증강현실 서비스 방법.
  16. 삭제
  17. 제15항에 있어서,
    상기 (d)단계 이후,
    상기 증강현실정보 또는 가상현실정보가 표시중인 영상에서 특정 객체가 선택된 경우, 상기 선택된 특정 객체에 대응하는 접속주소정보를 제공하여, 상기 접속주소정보에 따른 해당 서비스 서버로 접속하는 단계를 더 포함하는 방송 연동형 증강현실 서비스 방법.
  18. 삭제
  19. (a) 단말장치는 방송연동 증강현실 앱이 실행되면, 촬영부를 구동하여 방송수신장치에서 출력되는 영상을 촬영하고, 상기 촬영된 영상이 해당하는 방송 컨텐츠 인식을 위한 소스정보를 획득하는 단계;
    (b) 상기 단말장치는 상기 획득된 소스정보를 포함하는 방송 컨텐츠 인식 요청 신호를 부가 서비스 서버로 전송하는 단계;
    (c) 상기 부가 서비스 서버는 소스정보에 대응하는 방송 컨텐츠를 인식하고, 상기 인식된 방송 컨텐츠의 메타정보를 획득하여 상기 단말장치로 전송하는 단계;
    (d) 상기 단말장치는 메타정보를 해석하여, 부가정보 필요 시, 상기 부가 서비스 서버에 부가정보를 요청하는 단계;
    (e) 상기 부가 서비스 서버는 해당 장면 또는 객체에 대한 부가정보를 획득하여 상기 단말장치로 전송하는 단계; 및
    (f) 상기 단말장치는 상기 부가정보를 상기 영상과 연동하여 표시하는 단계;
    를 포함하고,
    상기 소스정보는 EPG 정보 또는 비가청 주파수 중 하나이며,
    상기 (f)단계에서,
    상기 단말장치는 상기 부가정보를 현재 화면상에 표시중인 방송 컨텐츠의 종류에 따라 구분하여 실시간 동기화 또는 실시간 비동기화하여 출력하는 것을 특징으로 하는 방송 연동형 증강현실 서비스 방법.
  20. 삭제
  21. 제19항에 있어서,
    상기 부가정보는 증강현실정보 또는 가상현실정보인 것을 특징으로 하는 방송 연동형 증강현실 서비스 방법.
  22. 삭제
  23. 제19항에 있어서,
    상기 (f) 단계 이후,
    상기 단말장치는 부가정보가 연동하여 표시중인 영상에서 특정 객체가 선택된 경우, 상기 선택된 특정 객체에 대응하는 접속주소정보를 제공하여, 상기 접속주소정보에 따른 해당 서비스 서버로 접속하는 단계를 더 포함하는 방송 연동형 증강현실 서비스 방법.
KR1020160140725A 2016-10-27 2016-10-27 방송 연동형 증강현실 서비스 시스템 및 방법 KR101850482B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160140725A KR101850482B1 (ko) 2016-10-27 2016-10-27 방송 연동형 증강현실 서비스 시스템 및 방법
PCT/KR2017/011881 WO2018080180A1 (en) 2016-10-27 2017-10-26 System and method for providing augmented reality service associated with broadcasting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160140725A KR101850482B1 (ko) 2016-10-27 2016-10-27 방송 연동형 증강현실 서비스 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101850482B1 true KR101850482B1 (ko) 2018-04-19

Family

ID=62023790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160140725A KR101850482B1 (ko) 2016-10-27 2016-10-27 방송 연동형 증강현실 서비스 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101850482B1 (ko)
WO (1) WO2018080180A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200032596A (ko) * 2018-09-18 2020-03-26 전남대학교산학협력단 증강현실과 가상현실이 통합된 듀얼 리얼리티 환경에서 제조 서비스 정보 제공 방법 및 단말
KR20200045631A (ko) * 2018-10-23 2020-05-06 (주)티비스톰 개인화된 멀티플 스트림 전송 방법 및 이를 지원하는 장치
KR20200046904A (ko) * 2018-10-26 2020-05-07 주식회사 엘지유플러스 증강 현실을 이용한 tv 프로그램 정보 제공 시스템 및 그의 tv 프로그램 정보 제공 방법
CN111208962A (zh) * 2019-12-30 2020-05-29 上海曼恒数字技术股份有限公司 一种显示设备连接控制方法及系统
KR20200109032A (ko) 2019-03-12 2020-09-22 최재호 영상 인식 기반의 방송 프로그램 인식 시스템
KR102218843B1 (ko) 2019-11-19 2021-02-22 광운대학교 산학협력단 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법
KR102299565B1 (ko) * 2021-04-27 2021-09-08 (주)비코 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치
KR20230046441A (ko) * 2021-09-30 2023-04-06 주식회사 엘지유플러스 Ar 글라스를 이용한 증강 현실 화면 및 리모컨 제공 방법 및 그를 위한 장치 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015971A1 (en) * 2018-07-19 2020-01-23 Arcelik Anonim Sirketi A television and a virtual reality headset adapted to be used with the same
CN114268840A (zh) * 2021-12-20 2022-04-01 中国电信股份有限公司 视频推送方法及装置、存储介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314865B1 (ko) * 2010-07-06 2013-10-04 김덕중 모바일 환경에서 ｔｖ 화면과 연동하는 증강 현실을 제공하는 방법, 이를 위한 부가 서비스 서버 및 방송 시스템
KR101793738B1 (ko) * 2010-12-23 2017-11-07 한국전자통신연구원 미디어 ｉｄ 정합 기반의 방송 ａｒ 광고 서비스 시스템 및 그 방법
KR101955723B1 (ko) * 2012-08-22 2019-03-07 한국전자통신연구원 증강 방송 서비스 제공 장치 및 방법
KR101973934B1 (ko) * 2012-10-19 2019-04-30 한국전자통신연구원 증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트
KR102246305B1 (ko) * 2014-01-09 2021-04-29 한국전자통신연구원 증강 미디어 서비스 제공 방법, 장치 및 시스템

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102123597B1 (ko) * 2018-09-18 2020-06-16 전남대학교산학협력단 증강현실과 가상현실이 통합된 듀얼 리얼리티 환경에서 제조 서비스 정보 제공 방법 및 단말
KR20200032596A (ko) * 2018-09-18 2020-03-26 전남대학교산학협력단 증강현실과 가상현실이 통합된 듀얼 리얼리티 환경에서 제조 서비스 정보 제공 방법 및 단말
KR20200045631A (ko) * 2018-10-23 2020-05-06 (주)티비스톰 개인화된 멀티플 스트림 전송 방법 및 이를 지원하는 장치
KR102255635B1 (ko) * 2018-10-23 2021-05-25 (주)티비스톰 개인화된 멀티플 스트림 전송 방법 및 이를 지원하는 장치
KR102175535B1 (ko) * 2018-10-26 2020-11-06 주식회사 엘지유플러스 증강 현실을 이용한 tv 프로그램 정보 제공 시스템 및 그의 tv 프로그램 정보 제공 방법
KR20200046904A (ko) * 2018-10-26 2020-05-07 주식회사 엘지유플러스 증강 현실을 이용한 tv 프로그램 정보 제공 시스템 및 그의 tv 프로그램 정보 제공 방법
KR20200109032A (ko) 2019-03-12 2020-09-22 최재호 영상 인식 기반의 방송 프로그램 인식 시스템
KR102208916B1 (ko) * 2019-03-12 2021-01-27 최재호 영상 인식 기반의 방송 프로그램 인식 시스템
KR102218843B1 (ko) 2019-11-19 2021-02-22 광운대학교 산학협력단 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법
CN111208962A (zh) * 2019-12-30 2020-05-29 上海曼恒数字技术股份有限公司 一种显示设备连接控制方法及系统
KR102299565B1 (ko) * 2021-04-27 2021-09-08 (주)비코 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치
KR20230046441A (ko) * 2021-09-30 2023-04-06 주식회사 엘지유플러스 Ar 글라스를 이용한 증강 현실 화면 및 리모컨 제공 방법 및 그를 위한 장치 및 시스템
KR102574730B1 (ko) * 2021-09-30 2023-09-06 주식회사 엘지유플러스 Ar 글라스를 이용한 증강 현실 화면 및 리모컨 제공 방법 및 그를 위한 장치 및 시스템

Also Published As

Publication number Publication date
WO2018080180A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
KR101850482B1 (ko) 방송 연동형 증강현실 서비스 시스템 및 방법
CN109416931B (zh) 用于视线跟踪的装置和方法
US9210467B2 (en) Method and system for a universal remote control
US9055309B2 (en) Systems and methods for identifying video segments for displaying contextually relevant content
KR101852893B1 (ko) 정보 푸시 방법, 기기, 및 시스템
KR102246305B1 (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN110232936B (zh) 用于识别视频片段以便显示上下文相关内容的系统和方法
CN108293140B (zh) 公共媒体段的检测
TW201442507A (zh) 提供對應於電視節目的交互擴充實境資訊的方法和裝置
US20140229975A1 (en) Systems and Methods of Out of Band Application Synchronization Across Devices
CA2906173A1 (en) Systems and methods for identifying video segments for displaying contextually relevant content
CN110493617B (zh) 互动影片发送装置、收视端装置、互动影片发送方法及互动影片播放方法
US9781492B2 (en) Systems and methods for making video discoverable
KR20140123523A (ko) 인터넷 액세스에 의해 또는 인터넷 액세스 없이 디지털 tv 수신기로 전송되는 컨텐츠를 복수의 포터블 장치로 동기화하기 위한 시스템
US20150089527A1 (en) Viewing program identification system, method, and program
US20130205334A1 (en) Method and apparatus for providing supplementary information about content in broadcasting system
KR20160017467A (ko) 비디오 컨텐츠와 관련된 상품 정보 제공 방법 및 장치
KR101679199B1 (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR20150073573A (ko) 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치
KR101686425B1 (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR102199568B1 (ko) 전자 장치 및 그 동작 방법
US12026422B2 (en) Shared viewing experience enhancement
KR20150071147A (ko) 선택된 쿼리 이미지를 이용하는 연관 서비스 제공 시스템 및 방법
US20230004339A1 (en) Shared viewing experience enhancement
CN110121099B (zh) 一种频道内容替换实时监测的方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant