KR101763887B1 - 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법 - Google Patents

디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법 Download PDF

Info

Publication number
KR101763887B1
KR101763887B1 KR1020110001853A KR20110001853A KR101763887B1 KR 101763887 B1 KR101763887 B1 KR 101763887B1 KR 1020110001853 A KR1020110001853 A KR 1020110001853A KR 20110001853 A KR20110001853 A KR 20110001853A KR 101763887 B1 KR101763887 B1 KR 101763887B1
Authority
KR
South Korea
Prior art keywords
content
information
external device
user
augmentation
Prior art date
Application number
KR1020110001853A
Other languages
English (en)
Other versions
KR20120080410A (ko
Inventor
조정미
정소영
김정수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110001853A priority Critical patent/KR101763887B1/ko
Priority to US13/217,449 priority patent/US9277283B2/en
Priority to CN201710265403.2A priority patent/CN107087224B/zh
Priority to CN201110412415.6A priority patent/CN102595228B/zh
Publication of KR20120080410A publication Critical patent/KR20120080410A/ko
Priority to US15/005,067 priority patent/US9979788B2/en
Application granted granted Critical
Publication of KR101763887B1 publication Critical patent/KR101763887B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

본 발명은 다수 사용자간 콘텐츠 공유와 개인화된 정보 획득 및 조작이 동시에 가능한 디바이스 간의 동기화된 콘텐츠에 대한 개인화된 증강 현실을 제공하는 장치 및 방법이 제공된다. 콘텐츠 동기화 장치는, 콘텐츠 동기화가 가능한 다른 디바이스와 통신하는 통신부와, 다른 디바이스가 실행중인 콘텐츠를 공유하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스로부터 통신부를 통해 콘텐츠 및 콘텐츠에 대한 상태 정보를 획득하여 다른 디바이스의 콘텐츠를 공유하고, 획득된 콘텐츠 및 상태 정보를 이용하여, 다른 디바이스와의 콘텐츠 동기화를 수행하고, 콘텐츠 동기화가 수행된 화면을 구성하는 제어부와, 구성된 화면을 표시하는 표시부를 포함한다.

Description

디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법{Contents synchronization apparatus and method for providing synchronized interaction}
본 발명은 디바이스간 콘텐츠를 공유하고 동기화하는 기술에 관한 것이다.
최근 컴퓨터와 다양한 센서들, 그리고 여러 전자 기기들을 무선으로 연결하여 사용자에게 보다 편리하고 유용한 서비스를 제공하기 위한 연구가 활발히 이루어지고 있다. 특히, 전자 기기의 이용이 증대하면서 전자 기기간 콘텐츠 공유의 필요성도 증대되고 있다.
한편, 다양한 전자 제품에서 증강 현실이 활용되고 있다. 증강 현실은 사용자가 눈으로 보는 현실 세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실 세계를 가상 세계로 보완해주는 개념인 증강 현실은 컴퓨터 그래픽으로 만들어진 가상 환경을 사용하지만, 주역은 현실 환경이다. 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가 제공하는 역할을 한다. 증강 현실은 사용자가 보고 있는 실사 영상에 가상 영상을 겹침(overlay)으로써 현실 환경과 가상 화면과의 구분이 모호해지도록 한다는 뜻이다. 실제 환경과 가상의 객체가 혼합된 증강 현실 기술은 사용자가 실제 환경을 볼 수 있게 하여, 보다 나은 현실감과 부가 정보를 제공한다. 예를 들어, 스마트폰 카메라로 주변을 비추면, 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체 영상으로 표시될 수 있다.
다수 사용자간 콘텐츠 공유와 개인화된 정보 획득 및 조작이 동시에 가능한 디바이스 간의 동기화된 콘텐츠에 대한 개인화된 증강 현실을 제공하는 장치 및 방법이 제공된다.
일 측면에 따른 콘텐츠 동기화 장치는, 콘텐츠 동기화가 가능한 다른 디바이스와 통신하는 통신부와, 다른 디바이스가 실행중인 콘텐츠를 공유하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스로부터 통신부를 통해 콘텐츠 및 콘텐츠에 대한 상태 정보를 획득하여 다른 디바이스의 콘텐츠를 공유하고, 획득된 콘텐츠 및 상태 정보를 이용하여, 다른 디바이스와의 콘텐츠 동기화를 수행하고, 콘텐츠 동기화가 수행된 화면을 구성하는 제어부와, 구성된 화면을 표시하는 출력부를 포함한다.
다른 측면에 따른 콘텐츠 동기화 장치는, 콘텐츠 동기화가 가능한 다른 디바이스와 통신하는 통신부와, 실행중인 콘텐츠를 다른 디바이스에서 공유하도록 하기 위한 동기화 명령을 입력받음에 따라, 실행중인 콘텐츠, 콘텐츠에 대한 상태 정보 및 콘텐츠와 관련된 증강 정보를 다른 디바이스로 전달하도록 통신부를 제어하는 제어부를 포함한다.
또 다른 측면에 따른 콘텐츠 동기화 방법은, 다른 디바이스가 실행중인 콘텐츠를 공유하기 위한 동기화 명령을 입력받는 단계와, 콘텐츠 및 콘텐츠에 대한 상태 정보를 획득하여 다른 디바이스의 콘텐츠를 공유하는 단계와, 획득된 콘텐츠 및 상태 정보를 이용하여, 다른 디바이스와의 콘텐츠 동기화를 수행하는 단계를 포함한다.
또 다른 측면에 따른 콘텐츠 동기화 장치는, 다른 디바이스가 실행중인 콘텐츠를 공유하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스에서 실행되는 콘텐츠 및 콘텐츠의 실행 상태를 나타내는 상태 정보를 인식하여 콘텐츠 및 상태 정보를 획득하고, 획득된 콘텐츠 및 상태 정보를 이용하여, 다른 디바이스와의 콘텐츠 동기화를 수행하는 동기화 수행부와, 동기화된 콘텐츠를 출력하는 출력부를 포함한다.
또 다른 측면에 따른 콘텐츠 동기화 장치는, 웹 서비스를 제공하는 웹 서버와 통신하는 통신부와, 다른 디바이스가 실행중인 콘텐츠로서 웹 애플리케이션을 공유하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스의 웹 애플리케이션 실행 화면을 획득하는 촬영부와, 획득된 화면에서 웹 애플리케이션을 식별하고, 웹 서비스를 제공받는데 이용되는 사용자 정보를 획득하고, 사용자 정보를 이용하여 웹 서버에 접속하고, 통신부를 통해 웹 서버로부터 다른 디바이스가 실행중인 웹 애플리케이션의 실행 상태를 나타내는 웹 애플리케이션 상태 정보를 획득하고, 식별된 웹 애플리케이션 및 획득된 웹 애플리케이션 상태 정보를 이용하여, 다른 디바이스가 실행중인 웹 애플리케이션의 실행 상태를 재현하는 동기화 수행부를 포함한다.
다른 디바이스에서 실행되는 콘텐츠를 동기화하여 실행할 수 있으며, 동기화된 콘텐츠에 대하여 개인화된 증강 정보를 제공할 수 있다. 또한, 개인화된 증강 정보를 실행하여 콘텐츠의 재생을 제어하거나, 콘텐츠 실행과 동시에 다른 애플리케이션을 실행하여 개인화된 증강 현실을 구현할 수 있다.
도 1은 서로 다른 디바이스 간에 정보를 공유하고 동기화된 인터랙션을 제공할 수 있으며, 개인화된 증강 정보를 제공할 수 있는 증강 현실 인터랙션 제공 시스템의 구성을 나타내는 도면이다.
도 2는 도 1의 제1 디바이스가 제2 디바이스와 동기화하기 위한 초기 동작의 일 예를 나타내는 순서도이다.
도 3은 도 1의 제2 디바이스가 제1 디바이스의 콘텐츠를 공유하도록 하기 위한 동작의 일 예를 나타내는 도면이다.
도 4는 도 1의 제1 디바이스가 제2 디바이스의 콘텐츠를 공유하기 위한 동작의 일 예를 나타내는 도면이다.
도 5는 제1 디바이스가 제2 디바이스의 콘텐츠를 공유하여 이용하는 화면의 일 예를 나타내는 도면이다.
도 6은 도 1의 제 1 디바이스의 구성의 일 예를 나타내는 도면이다.
도 7은 도 6의 제어부의 구성의 일 예를 나타내는 도면이다.
도 8은 다른 디바이스가 실행중인 웹 애플리케이션을 동기화하는 방법의 일 예를 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 서로 다른 디바이스 간에 정보를 공유하고 동기화된 인터랙션을 제공할 수 있으며, 개인화된 증강 정보를 제공할 수 있는 증강 현실 인터랙션 제공 시스템의 구성을 나타내는 도면이다.
증강 현실 인터랙션 제공 시스템(100)은 다수 사용자간 콘텐츠 공유와 공유된 콘텐츠의 동기화가 가능하며, 개인화된 증강 정보의 획득 및 조작이 동시에 가능한 디바이스 간 동기화된 증강 현실 인터랙션을 제공하도록 구성된다. 증강 현실 인터랙션 제공 시스템(100)은 제1 디바이스(110), 제2 디바이스(120), 증강 현실 지원 서버(130), 방송 제공 장치(140), 콘텐츠 제공 서버(150) 및 웹 서버(160)를 포함할 수 있다.
제1 디바이스(110) 및 제2 디바이스(120)는 서로의 콘텐츠를 동기화하여 공유할 수 있다. 이를 위해, 제1 디바이스(110) 및 제2 디바이스(120)는 콘텐츠, 상태 정보 및 증강 정보를 서로 전달하여 콘텐츠를 동기화하여 공유할 수 있다.
여기에서, 콘텐츠는 콘텐츠를 제공하는 디바이스에서 실행중인 애플리케이션, 애플리케이션상에서 재생 또는 실행되고 있는 사진, 비디오, 오디오, 텍스트 등의 다양한 형태의 데이터, 멀티미디어 데이터, 콘텐츠에 대한 메타 정보를 포함할 수 있다. 애플리케이션은, 콘텐츠를 재생하는 미디어 플레이어와 같은 일반 애플리케이션 및 외부 웹 서버(160)와의 통신을 통해 콘텐츠를 제공을 포함하는 다양한 웹 서비스를 제공하는 웹 애플리케이션을 포함할 수 있다.
콘텐츠에 대한 메타 정보는, 증강 정보와 달리 콘텐츠 자체에 대한 정보로서, 콘텐츠를 검색하는데 이용되는 정보일 수 있다. 예를 들어, 콘텐츠가 방송 콘텐츠인 경우, 메타 정보는 해당 방송 콘텐츠가 방영되는 방송 채널 정보, 방송 타이틀, 방송 시간 정보, 몇 번째 방송인지를 나타내는 방송 회차 정보, 출연자 정보 등을 포함할 수 있다.
상태 정보는, 콘텐츠에 대한 상태 정보(예를 들어, 볼륨, 재생 시간 정보 등)를 포함할 수 있다. 상태 정보는, 다른 디바이스의 콘텐츠 실행 상태를 그대로 재현하여 콘텐츠 동기화를 위해 이용되는 다양한 정보를 포함할 수 있다. 또한, 상태 정보는 콘텐츠를 제공하는 디바이스의 장치에 대한 상태 정보(예를 들어, 화면 밝기 등)를 더 포함할 수 있다. 예를 들어, 실행중인 애플리케이션이 동영상 재생 프로그램인 경우, 콘텐츠는 동영상 재생 프로그램에서 재생 중인 동영상 파일이고, 상태 정보는 재생 볼륨, 재생 시간 정보 등일 수 있다.
증강 정보는, 콘텐츠에 부가하여 제공할 수 있는 부가 정보, 콘텐츠의 재생을 제어할 수 있는 재생 제어 정보, 콘텐츠와 연동하여 실행될 수 있는 애플리케이션 등을 포함할 수 있다. 예를 들어, 콘텐츠가 드라마나 영화인 경우, 증강 정보는, 촬영 장소나 OST, 줄거리, 배우 등에 대한 소개 정보 등을 포함할 수 있다. 콘텐츠가 스포츠 중계 방송 프로그램인 경우, 증강 정보는 경기 통계 정보를 포함할 수 있으며, 콘텐츠가 음악 프로그램인 경우, 증강 정보는 가수, 음악 소개 정보 등을 포함할 수 있다.
증강 정보는 사용자와의 인터랙션이 가능하도록 구성되어, 사용자의 해당 증강 정보의 선택에 따라 미리 설정된 동작이 수행되거나 또는 선택된 증강 정보에 연결된 상세 정보가 제공되도록 구성될 수 있다. 예를 들어, 증강 정보을 선택하는 사용자 입력 신호에 따라, 구매, 결재와 같은 서비스가 수행될 수 있다.
동시에, 제1 디바이스(110)는 제1 디바이스(110)의 사용자에게 개인화된 증강 정보를 콘텐츠와 함께 제공할 수 있다. 마찬가지로, 제2 디바이스(120)는 제2 디바이스(110)의 사용자에게 개인화된 정보를 콘텐츠와 함께 제공할 수 있다. 도 1에서는, 2개의 디바이스만 도시되어 있으나, 서로 콘텐츠를 공유하고, 개인화된 증강 정보를 제공할 수 있는 디바이스의 개수에는 제한이 없다.
제1 디바이스(110) 및 제2 디바이스(120)는 서로 동종의 디바이스일 수 있고, 또는 이종의 디바이스일 수 있다. 예를 들어, 제1 디바이스(110) 및 제2 디바이스(120)가 둘 다 모바일 단말일 수 있다. 또는, 제1 디바이스(110)는 모바일 단말이고, 제2 디바이스(130)는 TV(Television), 고정형 컴퓨터와 같은 대형 디스플레이를 가진 전자 장치일 수 있다.
제1 디바이스(110)와 제2 디바이스(120)는 각각 동기화를 수행하기 위한 정보를 교환하기 위하여, 블루투스(Bluetooth), 지그비(Zigbee), 무선 랜, 홈 RF(Home Radio Frequency), UWB(Ultra Wide Band) 및 무선 1394와 같은 다양한 통신 프로토콜을 이용하도록 구성될 수 있다. 그러나, 제1 디바이스(110)와 제2 디바이스(120)는 서로 정보를 교환하기 위하여 통신하지 않고 콘텐츠 동기화를 수행할 수 있다. 예를 들어, 제1 디바이스(110)는 제2 디바이스(120)의 콘텐츠 실행 화면을 획득하고, 분석하여 제2 디바이스(120)에서 실행되는 콘텐츠 및 상태 정보를 인식하고, 인식된 콘텐츠를 별도의 데이터베이스나 콘텐츠 제공 서버(150)로부터 획득할 수 있다.
증강 현실 지원 서버(130)는 제1 디바이스(110) 및 제2 디바이스(120)에 통신망을 통해 연결되어, 제1 디바이스(110) 및 제2 디바이스(120)로 콘텐츠에 관련된 증강 정보를 제공하도록 구성될 수 있다. 증강 현실 지원 서버(130)는 제1 디바이스(110) 및 제2 디바이스(120) 중 하나의 디바이스에 연결되어 증강 정보를 제공할 수 있다.
방송 제공 장치(140)는 AV 스트림과 같은 방송 프로그램 및 방송 프로그램에 대한 정보를 포함하는 방송 신호를 위성, 지상파, 인터넷 또는 케이블과 같은 방송망을 이용하여 송출한다. 방송 프로그램에 대한 정보는 EPG(Electronic Program Guide) 정보, 개별 방송 프로그램에 관한 설명 정보를 포함할 수 있다. 방송 제공 장치(140)는 제1 디바이스(110) 및 제2 디바이스(120)에 방송망을 통해 연결되어, 제1 디바이스(110) 및 제2 디바이스(120)는 방송망을 통해 방송 콘텐츠를 수신할 수 있다. 제1 디바이스(110) 및 제2 디바이스(120)는 방송 콘텐츠를 수신하여 재생하도록 구성될 수 있다.
콘텐츠 제공 서버(150)는 복수의 콘텐츠를 저장하고, 요청된 콘텐츠를 검색하여 제공하는 서버이다. 콘텐츠 제공 서버(150)는 제1 디바이스(110) 및 제2 디바이스(120) 중 적어도 하나와 통신망을 통해 연결될 수 있다. 콘텐츠 제공 서버(150)는 제1 디바이스(110) 및 제2 디바이스(120) 중 적어도 하나의 디바이스, 예를 들어, 제2 디바이스(120)가 요청한 콘텐츠를 제2 디바이스(120)로 제공하도록 구성될 수 있다.
웹 서버(160)는 웹 서비스를 제공하는 서버로서, 콘텐츠 제공 서버(140)는 제1 디바이스(110) 및 제2 디바이스(120) 중 적어도 하나와 통신망을 통해 연결될 수 있다. 웹 서버(160)는 제1 디바이스(110) 및 제2 디바이스(120) 중 적어도 하나의 디바이스, 예를 들어, 제2 디바이스(120)가 사용자 정보를 이용하여 로그인하면, 동일한 사용자 정보를 이용하여 로그인하여 웹 서비스를 이용한 제1 디바이스와 같은 다른 디바이스가 이용한 웹 애플리케이션의 실행 상태를 나타내는 웹 애플리케이션 상태 정보를 제2 디바이스(120)로 제공하도록 구성될 수 있다. 여기에서, 사용자 정보는, 웹 서비스를 이용하기 위하여 가입자별로 필요한 사용자 ID, 패스워드, 기타 인증 정보 등을 포함할 수 있다. 웹 애플리케이션 상태 정보는 제2 디바이스(120)가 웹 서비스의 이용한 상태, 방문한 웹 페이지 이력, 웹 서비스를 통해 통신한 다른 사용자 정보 등을 포함할 수 있다.
이하에서는, 제1 디바이스(110)가 모바일 단말이고, 제2 디바이스(120)가 디지털 TV인 경우를 중심으로 설명한다.
제1 디바이스(110)는 디스플레이가 장착된 리모컨, 태블릿 PC, 스마트 폰, 이동 전화 등 다양한 형태의 모바일 단말일 수 있다. 제1 디바이스(110)는 음성, 텍스트, 영상, 모션 터치 등 다양한 모달리티(modality)의 입력과 출력이 가능한 인터페이스를 포함하여, 모바일 단말의 사용자에게 인터랙션 기능을 제공하도록 구성될 수 있다.
제1 디바이스(110)는 제2 디바이스(120)의 콘텐츠를 동기화하여 사용자에게 콘텐츠를 제공할 수 있다. 또한, 제1 디바이스(110)는 제2 디바이스(120)의 콘텐츠와 관련된 증강 정보를 콘텐츠와 함께 제공할 수 있다. 제2 디바이스(120)에 콘텐츠에 대한 다양한 증강 정보가 함께 제공될 수 있으나, 콘텐츠에 대한 증강 정보를 제한없이 표시하도록 하면 시청 몰입이 방해받을 수 있으며, 제2 디바이스(120)를 이용하는 구성원이 다수인 경우, 각 구성원별로 관심을 갖는 증강 정보가 다를 수 있다.
이러한 점을 고려하여, 제1 디바이스(110)는 제2 디바이스(120)의 콘텐츠와 관련된 증강 정보 중 제1 디바이스(110)의 사용자에 개인화된 증강 정보를 콘텐츠와 함께 제공하도록 구성될 수 있다. 제1 디바이스(110)는 제2 디바이스(120)에서 제공되는 증강 정보 중 모바일 단말 사용자의 프로파일이나 선호 정보 등 개인 정보를 이용한 필터링을 통해 특정 사용자에게 적합하게 개인화하여 제1 디바이스(110)의 사용자에게 제공할 수 있다. 따라서, 제1 디바이스(110)의 사용자는 제2 디바이스(120)의 콘텐츠를 공유하면서도, 개인화된 증강 정보를 제공받거나 원하는 증강 정보를 검색하거나 선택적으로 이용할 수 있다.
예를 들어, 제1 디바이스(110)는 디지털 TV인 제2 디바이스(120)를 시청하고 있는 다른 사용자의 TV 시청 몰입감을 방해하지 않고, 제1 디바이스(110)의 사용자에게 TV 콘텐츠와 함께 제1 디바이스(110)의 사용자에 개인화된 TV 콘텐츠와 관련한 증강 정보를 제공할 수 있다. TV 콘텐츠와 관련한 증강 정보는 사용자가 조작할 수 있는 인터랙션 가능한 인터랙션 정보를 포함한다. 제1 디바이스(110)의 사용자가 TV 콘텐츠와 관련된 증강 정보 중 사용자가 조작할 수 있도록 인터랙션 정보를 선택하여, 사용자의 선택된 인터랙션 정보에 대한 동작이 수행되어, 사용자가 TV 콘텐츠에 대한 조작을 수행할 수 있도록 할 수 있다.
또한, 제1 디바이스(110)는 제1 디바이스(110)의 콘텐츠, 상태 정보 및 증강 정보를 제2 디바이스(120)에 제공하여, 제2 디바이스(120)가 제1 디바이스(110)의 콘텐츠를 공유하고 동기화하도록 할 수 있다. 이를 통해, 제1 디바이스(110)의 사용자는 제1 디바이스(110)에서 이용하고 있는 콘텐츠를 대형 디스플레이를 가진 제2 디바이스(120)가 공유하여 표시하도록 함으로써, 제2 디바이스(120)를 시청하고 있는 사용자가 제1 디바이스(110)와 동기화하여 제1 디바이스(110)의 콘텐츠 및 증강 정보를 이용할 수 있도록 할 수 있다. 즉, 제1 디바이스(110)의 사용자는 제1 디바이스(110)에서 실행중인 콘텐츠를 이용하던 중에, 콘텐츠 공유를 원하는 사용자가 이용하는 제2 디바이스(120)에 바로 콘텐츠를 동기화하여, 다른 사용자들과 함께 공유할 수 있는 동기화된 증강 현실 인터랙션을 제공할 수 있다.
예를 들어, 제1 디바이스(110)의 사용자는 제2 디바이스(120)에서 제공되고 있는 드라마를 공유하고, 관심있는 증강 정보, 예를 들어, 드라마에 나오고 있는 특정 제품에 대해 상품 소개와 가격 등의 정보를 검색할 수 있다. 제1 디바이스(110) 사용자는 이렇게 검색한 내용을 제2 디바이스(120)를 이용하는 전체 구성원과 함께 공유하도록 할 수 있다.
증강 정보는 콘텐츠 재생 제어 정보를 포함하여, 재생 제어 정보의 선택에 따라서, 제1 디바이스(110)는 동기화된 콘텐츠 자체에 대핸 재생을 제어할 수 있다. 예를 들어, 제1 디바이스(110)의 사용자는 다른 구성원을 방해하지 않은 상태에서 공유된 TV 콘텐츠를 잠깐 정지하거나, 채널 잽핑(channel zapping)을 통해 다른 채널의 방송 내용을 검색하거나, 또한, 현재 방송중인 콘텐츠에 대한 방송 안내를 개별적으로 조작할 수 있다.
또한, 제1 디바이스(110)는, 제2 디바이스(120)의 콘텐츠를 동기화하여 공유하면서도, 다른 구성원의 TV 시청을 방해하지 않으면서, TV 콘텐츠와 관련된 인터넷 검색을 하거나 트위터/메신저와 같은 소셜 네트워킹을 통해 같은 방송을 시청중인 지인과 커뮤니케이션을 하는 등 TV에서 제공가능한 연결된 애플리케이션 구동을 수행하도록 구성될 수 있다.
도 2는 도 1의 제1 디바이스가 제2 디바이스와 동기화하기 위한 초기 동작의 일 예를 나타내는 순서도이다.
제1 디바이스(110)에는 동기화가 가능한 장치의 종류 및 사양이 미리 등록될 수 있다. 제1 디바이스(110)에는 동기화가 가능한 장치가 복수 개 등록될 수 있다. 또한, 제1 디바이스(110)에는 동기화가 가능한 장치의 종류별로 서로 콘텐츠를 동기화하는데 이용되는 애플리케이션들이 미리 설정될 수 있다.
제1 디바이스(110)는 동기화가 가능한 거리 범위 내에 미리 등록된 동기화가 가능한 다른 디바이스, 예를 들어, 제2 디바이스(120)를 추적한다(210). 제1 디바이스(110)의 사용자가 직접 제2 디바이스(120)와 통신을 위한 IP 주소, 장치 식별 정보 등을 등록하여 제1 디바이스(110)가 제2 디바이스(120)와 동기화가 가능하도록 설정할 수도 있다.
제1 디바이스(110)는 동기화 가능한 거리 범위 내에 있는 제2 디바이스(120)에 대해 동기화할 수 있는 신호를 주고 받을 수 있도록 통신 연결을 한다(220). 이 과정에서, 제1 디바이스(110)는 제2 디바이스(120)가 제1 디바이스(110)와의 동기화를 수행하기 위한 동작 모드를 활성화하도록 제어할 수 있다.
도 2에는, 제1 디바이스(110)가 주체가 되어 제2 디바이스(120)와 동기화하기 위한 초기 동작을 수행하는 것으로 설명되어 있지만, 제2 디바이스(120)가 동기화 가능한 거리 범위 내에 등록된 동기화 가능한 다른 디바이스, 예를 들어, 제1 디바이스(110)를 추적하고, 제1 디바이스(110)와 통신 연결을 수행할 수 있다.
그러나, 제1 디바이스(110)가 제2 디바이스(120)의 콘텐츠 동기화를 위하여, 제2 디바이스(120)로부터 직접 콘텐츠 및 상태 정보를 제공받을 필요가 없는 경우, 예를 들어, 제1 디바이스(110)가 제2 디바이스(120)가 실행하고 있는 콘텐츠 및 콘텐츠의 상태 정보를 인식할 수 있는 경우에는, 도 2에 도시된 바와 같은 콘텐츠 동기화를 위한 초기 동작이 수행되지 않을 수 있다. 즉, 도 2에 도시된 바와 같은 콘텐츠 동기화를 위한 초기 동작은 제1 디바이스(110)와 제2 디바이스(120)가 통신이 필요한 경우, 선택적으로 수행될 수 있다.
도 3은 도 1의 제2 디바이스가 제1 디바이스의 콘텐츠를 공유하도록 하기 위한 동작의 일 예를 나타내는 도면이다.
제1 디바이스(110)는, 제1 디바이스(110)에서 실행중인 콘텐츠를 다른 디바이스인 제2 디바이스(120)에서 공유하도록 하기 위한 동기화 명령을 입력받는다(310).
제1 디바이스(110)는 제2 디바이스(120)로 실행중인 콘텐츠 및 상태 정보를 전달한다(320). 이때, 제1 디바이스(110)는 제2 디바이스(120)로 콘텐츠와 관련된 증강 정보를 추가적으로 전달할 수 있다.
예를 들어, 제1 디바이스(110)가 모바일 단말이고, 제2 디바이스(120)가 TV인 경우, 모바일 단말의 콘텐츠를 TV로 동기화하여야 할 경우는, TV는 모바일 단말로부터 단말 상태와 단말에서 현재 제공되고 있는 콘텐츠, 증강 정보, 해당 콘텐츠를 구동하기 위한 애플리케이션 등 모바일 단말의 콘텐츠를 TV로 동기화하기 위한 정보를 제공받을 수 있다. 제2 디바이스(120)는 제공받은 정보를 TV 디스플레이에 적합한 해상도로 디스플레이할 수 있다.
도 4는 도 1의 제1 디바이스가 제2 디바이스의 콘텐츠를 공유하기 위한 동작의 일 예를 나타내는 도면이다.
제1 디바이스(110)는 제2 디바이스(120)가 실행중인 콘텐츠를 공유하기 위한 동기화 명령을 입력받는다(410).
제2 디바이스(120)로부터 콘텐츠, 콘텐츠에 대한 상태 정보 및 콘텐츠와 관련된 증강 정보를 획득하여 다른 디바이스의 콘텐츠를 공유한다(420). 콘텐츠와 관련된 증강 정보는 추가적으로 공유될 수 있다.
제1 디바이스(110)는 획득된 정보를 이용하여, 제2 디바이스(120)와의 콘텐츠 동기화를 수행함으로써, 콘텐츠 및 증강 정보를 포함하는 화면을 구성한다(430). 구성된 화면은 제1 디바이스(110)의 디스플레이(도시되지 않음)을 통해 표시된다.
제1 디바이스(110)는, 사용자 입력 신호에 따라 증강 정보 중 인터랙션이 가능하도록 구성된 정보가 선택되면(440), 선택된 정보에 설정된 동작을 수행할 수 있다(450).
도 5는 제1 디바이스가 제2 디바이스의 콘텐츠를 공유하여 이용하는 화면의 일 예를 나타내는 도면이다.
도 5에서, 디바이스(520)는 TV로 현재 방송 콘텐츠를 제공하고 있다. 디바이스(512, 514, 516)는 모바일 단말을 나타낸다. 모바일 단말(512)은 TV(520)에서 실행중인 콘텐츠를 동기화하여 표시하는 화면의 일 예를 나타내고, 모바일 단말(514)은 TV(520)에서 실행중인 콘텐츠를 동기화하여 표시하는 화면의 다른 예를 나타내고, 모바일 단말(516)은 TV(520)에서 실행중인 콘텐츠를 동기화하여 표시하는 화면의 또 다른 예를 나타낸다.
모바일 단말(512)은 TV(520)로부터 현재 방송중인 콘텐츠, 증강 정보, 및 상태 정보 등 TV를 모바일 단말로 동기화하기 위한 정보를 제공받고, 제공받은 정보를 모바일 단말의 디스플레이에 적합한 해상도로 디스플레이한다. 이때, 모바일 단말(512)은 도시된 바와 같이, 제공받은 증강 정보 중에서, 사용자 프로파일 또는 사용자 선호 정보 등을 기초로 모바일 단말(512)의 사용자에 개인화된 증강 정보를 제공할 수 있다. 즉, 모바일 단말 사용자가 가족 구성원 중 40대의 아버지인 경우, 10대의 딸인 경우 각각의 정보 취향이 다를 수 있는데, 이런 개인적인 정보 취향을 반영하여 맞춤형으로 개인화된 증강된 정보가 제공될 수 있다.
예를 들어, 모바일 단말(512)은 도시된 바와 같이, 방송 콘텐츠의 촬영 장소 및 OST 정보를 제공할 수 있다. 촬영 장소 및 OST 정보는 사용자에 의해 선택가능하며, 선택에 의해 설정된 다른 정보를 제공하거나 기능을 수행하는 인터랙션 가능한 정보일 수 있다. 이 경우, 모바일 단말(512)의 사용자가 현재 TV에서 방송중인 콘텐츠에 대해 좀더 자세한 정보를 알고 싶은 경우, 촬영 장소 또는 OST 정보를 선택하여, 선택된 증강 정보에 연결된 상세 정보를 제공받을 수 있다.
모바일 단말(514)로 도시된 바와 같이, 모바일 단말(514)의 사용자는 다른 구성원을 방해하지 않은 상태에서 TV 콘텐츠를 잠깐 정지(Pause)하거나, 채널 잽핑(channel zapping)을 통해 다른 채널의 방송 내용을 검색하거나, 또한 현재 방송중인 콘텐츠에 대한 방송 안내를 개별적으로 조작할 수 있다.
또한, 모바일 단말(516)로 도시된 바와 같이, 증강된 정보가 구매, 결제 서비스와 연결된 인터랙션 정보인 경우, 모바일 단말(516)의 사용자는 증강 정보를 이용하여 구매, 결재와 같은 서비스를 이용할 수 있다.
이와 같이, TV(520)와 동기화된 모바일 단말에서, 사용자는 TV(520)를 시청하는 다른 구성원의 TV 시청을 방해하지 않고 콘텐츠 제어, 장치 제어, 애플리케이션 제어와 같은 조작을 개별적으로 수행할 수 있다. 전술한 바와 같이, 모바일 단말(512, 514, 516)의 사용자는 자신이 검색한 증강 정보 및 콘텐츠 상태를 다시 TV(520)로 동기화하여, TV(520)를 시청하고 있던 다른 사용자와 검색한 콘텐츠를 공유할 수 있다.
도 6은 도 1의 제1 디바이스의 구성의 일 예를 나타내는 도면이다.
제1 디바이스(110)는, 제어부(610), 사용자 인터페이스부(620), 촬영부(630), 방송 수신부(640), 저장부(650), 통신부(660), 출력부(670) 및 마이크로폰(680)을 포함할 수 있다.
제어부(610)는 제1 디바이스(110)의 동작 전반을 제어하도록 구성될 수 있으며, 오디오 스트림 및 비디오 스트림을 디코딩하는 수단을 포함할 수 있다. 제어부(610)는 콘텐츠 동기화가 가능한 다른 디바이스의 콘텐츠를 공유하기 위한 동기화를 수행하고, 제어부(610)에서 실행되는 콘텐츠를 다른 디바이스가 공유하도록 하기 위한 동작을 수행할 수 있다.
사용자 인터페이스부(620)는 사용자 입력 신호를 수신하여 제어부(610)에 전달한다. 사용자 인터페이스부(620)는 키패드, 터치 패드, 조그 셔틀 등 다양한 사용자 입력 수단을 포함할 수 있다. 사용자 인터페이스부(620)의 사용자의 터치 제스처를 감지하는 터치 패드는 출력 정보를 표시하는 출력부(670)의 표시부(672)와 통합되어 사용자 입력 처리 결과가 표시부(672)를 통해 바로 제공될 수 있도록 구성될 수 있다. 또한, 사용자 인터페이스부(620)는 햅틱(haptic) 기술을 이용하여 사용자 입력이 수신되면, 사용자 입력 수단을 통해 촉각, 힘, 운동감 등을 느끼게 하도록 구성될 수 있다. 예를 들어, 사용자 인터페이스부(620)는 사용자 입력 신호가 수신되면 사용자가 디바이스를 직접 조작한 느낌을 전달하기 위한 촉각 피드백을 생성할 수 있다.
촬영부(630)는 카메라와 같이, 렌즈, CCD, CMOS와 같은 영상 센서 및 아날로그 디지털 컨버터 등의 모듈을 포함하여 구성될 수 있다. 촬영부(630)는 피사체를 포착하여 생성되는 영상 신호를 획득하고 획득된 영상 신호를 디지털 신호로 변환하여 제어부(610)로 전달한다. 제어부(610)는 디지털 신호로 변환된 영상에 대한 노이즈 제거, 색감 처리 등 영상 처리를 위한 이미지 처리 동작을 수행할 수 있다. 여기에서, 제어부(610)는 포착된 이미지를 표시부(672)를 통해 출력하여, 사용자에게 현재 포착되는 상태를 나타내는 연속적인 이미지를 제공할 수 있다.
방송 수신부(640)는 지상파 또는 위성과 같은 방송 채널을 통해 수신되거나, 인터넷과 같은 양방향 채널을 통해 방송 프로그램을 수신할 수 있다. 방송 신호를 통해 방송 프로그램을 수신하는 경우, 방송 수신부(640)는 사용자가 선택한 특정 채널로 입력되는 방송신호를 튜닝 및 복조하여 전송 스트림을 출력하는 튜너부(도시되지 않음) 및 튜너부를 통해 출력되는 다중화된 전송 스트림을 비디오 스트림 및 오디오 스트림으로 역다중화하는 디멀티플렉서(도시되지 않음)를 포함하여 구성될 수 있다.
저장부(650)는 제1 디바이스(110)의 운영 체제, 응용 프로그램 및 데이터를 저장한다. 저장부(650)에는 제1 디바이스(110)의 사용자 나이, 성별 등의 사용자에 대한 정보를 포함하는 사용자 프로파일 정보 및 사용자 선호 정보 중 적어도 하나의 정보가 저장될 수 있다. 사용자 프로파일 정보 및 사용자 선호 정보는 저장부(650)에 미리 설정되어 저장될 수 있으며, 사용자 입력 신호에 의해 추가, 변경, 및 삭제될 수 있다. 또한, 저장부(650)에는 제1 디바이스(110)의 동영상, 음악 파일, 텍스트 등의 콘텐츠 및 콘텐츠에 대한 증강 정보가 저장될 수 있다.
통신부(660)는 네트워크를 통해 연결된 외부 디바이스 또는 도 1의 증강 현실 지원 서버(130), 콘텐츠 제공 서버(150) 및 웹 서버(160)와 같은 다양한 서버와 통신하도록 구성될 수 있다. 통신부(660)는 인터넷을 통해 연결된 서버와 통신하도록 구성된 제1 통신 모듈 및 콘텐츠 동기화가 가능한 다른 디바이스와 통신하도록 구성된제2 통신 모듈을 포함할 수 있다. 예를 들어, 통신부(660)는 블루투스(Bluetooth), 지그비(Zigbee), 무선 랜, 홈 RF(Home Radio Frequency), UWB(Ultra Wide Band) 및 무선 1394와 같은 다양한 통신 프로토콜 중 적어도 하나의 통신 프로토콜을 지원하도록 구성될 수 있다.
출력부(670)는 표시부(672) 및 스피커(674)를 포함할 수 있다. 마이크로폰(680)은 외부에서 입력되는 음향 신호를 수신하여 제어부(610)에 전달할 수 있다.
제어부(610)는, 동기화 수행 전에, 동기화가 가능한 거리 범위 내에 미리 등록된 동기화가 가능한 다른 디바이스를 추적하고, 다른 디바이스와 연결하도록 통신부를 제어할 수 있다.
제어부(610)는 다른 디바이스가 실행중인 콘텐츠를 공유하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스로부터 콘텐츠, 콘텐츠에 대한 상태 정보 및 콘텐츠와 관련된 증강 정보를 획득하여 다른 디바이스의 콘텐츠를 공유하고, 획득된 정보를 이용하여, 다른 디바이스와의 콘텐츠 동기화를 수행함으로써, 콘텐츠 및 증강 정보를 포함하는 화면을 구성할 수 있다. 제어부(610)는, 사용자 입력 신호에 따라 증강 정보 중 인터랙션이 가능하도록 구성된 정보가 선택되면, 선택된 정보에 설정된 동작을 수행할 수 있다.
제어부(610)는, 사용자 프로파일 및 사용자 선호 정보 중 적어도 하나에 기초하여, 콘텐츠와 관련된 증강 정보 중 일부 증강 정보를 선택(또는 필터링)하고, 선택된 일부 증강 정보를 콘텐츠와 함께 표시부(672)로 제공할 수 있다.
증강 정보는, 콘텐츠의 재생을 제어하는 재생 제어 정보를 포함하고, 제어부(610)는, 재생 제어 정보를 선택하는 사용자 입력 신호에 따라서, 동기화된 콘텐츠의 재생을 제어할 수 있다. 또한, 제어부(610)는, 콘텐츠 동기화와 병렬적으로, 사용자와 인터랙션이 가능한 다른 애플리케이션을 수행하도록 구성된다. 사용자와 인터랙션이 가능한 다른 애플리케이션은, 인터넷 검색 애플리케이션 및 소셜 네트워킹 애플리케이션 중 적어도 하나를 포함할 수 있다.
제어부(610)는, 다른 디바이스의 콘텐츠를 공유하기 위하여, 공유되는 콘텐츠를 다른 디바이스로부터 계속적으로 수신하지 않고, 다른 경로를 통해 직접 획득하도록 구성될 수 있다. 예를 들어, 다른 디바이스가 실행중인 콘텐츠가 실시간 방송 콘텐츠인 경우, 제어부(610)는, 실시간 방송 콘텐츠에 대한 메타 정보를 다른 디바이스로부터 획득하고, 획득된 메타 정보를 이용하여 방송 수신부(640)가, 실시간 방송 콘텐츠를 방송망을 통해 수신하여 획득하도록 제어할 수 있다.
콘텐츠에 대한 메타 정보는, 다른 디바이스가 실행중인 콘텐츠를 공유하기 위한 동기화 명령 및 동기화 명령이 입력된 때의 디바이스의 동작 상황 등을 분석하여 획득될 수 있다. 여기에서, 콘텐츠에 대한 메타 정보는, 콘텐츠가 위치하는 웹 주소 및 콘텐츠를 수신가능한 방송 채널 정보 중 적어도 하나를 포함할 수 있다. 콘텐츠에 대한 메타 정보는 콘텐츠의 일부분의 정보(예를 들어, 동영상의 일부 구간의 프레임, 음악 파일의 일부 구간의 음향 신호)일 수 있으며, 해당 콘텐츠를 검색하는데 이용될 수 있는 한 다양한 형태를 가질 수 있다.
또한, 제어부(610)는 다른 디바이스와의 통신을 수행하지 않고, 다른 디바이스가 실행하는 콘텐츠 및 상태 정보를 인식하여, 인식된 콘텐츠를 획득하고, 획득된 콘텐츠 및 상태 정보를 이용하여 다른 디바이스의 콘텐츠와의 동기화를 수행할 수도 있다.
예를 들어, 제어부(610)는, 다른 디바이스가 실행중인 콘텐츠를 공유하기 위한 동기화 명령이 촬영부(630)를 통해 영상을 캡처한 상태에서 입력된 경우, 동기화 명령이 입력된 때 캡처된 영상을 분석하여, 다른 디바이스가 실행중인 콘텐츠에 대한 메타 정보를 획득할 수 있다. 또한, 제어부(610)는 마이크로폰(680)으로 일정 시간 입력된 음향 신호를 콘텐츠 메타 정보로 이용하여, 음향 신호를 분석하고, 분석된 음향 신호를 포함한 음악 파일 또는 동영상 파일을 저장부(650)에서 검색할 수 있다.
제어부(610)가 콘텐츠에 대한 메타 정보를 획득하는 경우, 제어부(610)는, 획득된 메타 정보를 이용하여 증강 현실 지원 서버(도 1의 130)로부터 추가적인 증강 정보를 획득하고, 다른 디바이스가 실행중인 콘텐츠에 추가적인 증강 정보를 렌더링하여 화면을 구성하고, 구성된 화면을 표시부(672)를 통해 표시할 수 있다.
또한, 제어부(610)는, 제어부(610)에서 실행중인 콘텐츠를 다른 디바이스에서 공유하도록 하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스로 제어부(610)에서 실행중인 콘텐츠, 상태 정보 및 콘텐츠와 관련된 증강 정보를 전달하도록 통신부(660)를 제어할 수 있다. 이 경우, 제어부(610)는 다른 디바이스의 콘텐츠를 동기화하여 공유한 콘텐츠를 동일한 다른 디바이스에 전송하여 공유하고자 하는 경우, 현재 제공중인 증강 정보만 다른 디바이스에 전송할 수 있다.
도 7은 도 6의 제어부의 구성의 일 예를 나타내는 도면이다.
제어부(610)는 동기화 수행부(710), 증강 정보 처리부(720), 재생 제어부(730) 및 병렬 애플리케이션 수행부(740)를 포함할 수 있다.
동기화 수행부(710)는 다른 디바이스의 콘텐츠를 공유하고 동기화하기 위한 동기화 정보를 다른 디바이스로 전송할 수 있다.
동기화 수행부(710)는 다른 디바이스가 실행중인 콘텐츠를 공유하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스에서 실행되는 콘텐츠 및 콘텐츠의 실행 상태를 나타내는 상태 정보를 인식하여 콘텐츠 및 상태 정보를 획득하고, 획득된 콘텐츠 및 상태 정보를 이용하여, 다른 디바이스와의 콘텐츠 동기화를 수행할 수 있다. 도 6의 출력부(670)는 동기화된 콘텐츠를 출력할 수 있다.
도 6의 촬영부(630)가 다른 디바이스가 실행중인 콘텐츠 실행 화면을 촬영하면, 동기화 수행부(710)는, 콘텐츠 실행 화면에서 오브젝트 추출, 패턴 인식 및 문자 인식 중 적어도 하나의 동작을 수행하여, 다른 디바이스에서 실행되는 콘텐츠 및 콘텐츠의 실행 상태를 나타내는 상태 정보를 인식할 수 있다.
마이크로폰(680)과 같은 오디오 입력부가 디바이스가 실행중인 콘텐츠에 대한 오디오 신호를 입력받으면, 동기화 수행부(710)는, 입력받은 오디오 신호에서 특징 정보를 추출하고, 특징 정보에 대응하는 오디오 데이터를 인식할 수 있다.
저장부(650)는 적어도 하나의 콘텐츠를 저장할 수 있다. 이 경우, 동기화 수행부(710)는, 인식된 콘텐츠를 저장부로부터 검색하여 획득할 수 있다.
저장부(650)는 동기화 수행부(710)의 오브젝트 추출, 패턴 인식 또는 문자 인식 결과 생성된 특징 정보에 대응하는 콘텐츠가 검색되도록 콘텐츠를 저장할 수 있다. 또한, 저장부(650)는 오디오 신호에서 추출된 특징 정보에 대응하는 오디오 데이터가 검색되도록 구성될 수 있다. 여기에서, 오디오에 대한 특징 정보는, 오디오 객체를 가장 효과적으로 요약한 오디오 파라미터 또는 모델을 의미하는 오디오 핑거 프린트(audio finger print)로, 각 오디오 데이터 또는 오디오 파일을 식별할 수 있도록, 입력되는 오디오 신호에서 추출되는 오디오 신호 고유의 특징을 나타내는 파라미터일 수 있다.
도 6의 통신부(660)가 콘텐츠 메타 데이터를 이용하여 콘텐츠를 검색하여 제공하는 콘텐츠 제공 서버(도 1의 150)와 통신하는 경우, 동기화 수행부(710)는, 콘텐츠 제공 서버로부터 통신부(660)를 통해서 검색된 콘텐츠를 획득할 수 있다.
다음으로, 동기화 수행부(710)가 다른 디바이스가 실행중인 콘텐츠로서 웹 애플리케이션을 공유하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스가 실행중인 웹 애플리케이션의 실행 상태를 공유하는 동작에 대하여 설명한다. 여기에서, 다른 디바이스가 실행중인 웹 애플리케이션의 사용자와 제1 디바이스(110)의 사용자는 동일한 사용자일 수 있다.
웹 애플리케이션은 통신부(660)를 통해 웹 서비스를 제공하는 웹 서버(도 1의 160)와 통신을 통해 정보를 제공할 수 있다. 예를 들어, 웹 애플리케이션은, 메신저, 트위터, 블로그, 특정 웹 사이트를 제공하는 웹 브라우저 등 다양한 종류를 가질 수 있다. 다른 디바이스가 실행중인 콘텐츠로서 웹 애플리케이션을 공유하기 위한 동기화 명령을 입력받음에 따라, 촬영부(630)는 다른 디바이스의 웹 애플리케이션 실행 화면을 획득할 수 있다.
동기화 수행부(710)는 다른 디바이스의 웹 애플리케이션 실행 화면에서 오브젝트 추출, 패턴 인식 및 문자 인식 중 적어도 하나의 동작을 수행하여 웹 애플리케이션을 식별할 수 있다. 또한, 동기화 수행부(710)는 웹 서버(160)의 웹 서비스를 제공받는데 이용되는 사용자 정보를 획득할 수 있다. 사용자 정보는, 웹 서버로부터 웹 서비스를 제공받기 위해 이용되는 사용자 ID, 패스 워드, 기타 인증 정보와 같은 사용자 로그인 정보를 포함할 수 있다.
동기화 수행부(710)는 사용자 정보를 이용하여 웹 서버(160)에 접속하고, 통신부(660)를 통해 웹 서버(160)로부터 다른 디바이스가 실행중인 웹 애플리케이션의 실행 상태를 나타내는 웹 애플리케이션 상태 정보를 획득할 수 있다. 동기화 수행부(710)는 식별된 웹 애플리케이션 및 획득된 웹 애플리케이션 상태 정보를 이용하여, 다른 디바이스가 실행중인 웹 애플리케이션의 실행 상태를 재현할 수 있다.
저장부(650)가 적어도 하나의 웹 애플리케이션을 이용하여 웹 서버로부터 웹 서비스를 제공받는데 이용되는 사용자 정보를 저장하는 경우, 동기화 수행부(710)는, 저장부(650)로부터 사용자 정보를 획득할 수 있다.
통신부(660)가, 다른 디바이스와 통신하여 다른 디바이스로부터 사용자 정보를 획득하는 경우, 동기화 수행부(710)는, 다른 디바이스로부터 사용자 정보를 획득할 수 있다. 동기화 수행부(710)는 다른 디바이스로부터 획득된 사용자 정보를 이용하여 웹 서버(160)에 접속하고, 통신부(660)를 통해 웹 서버(160)로부터 다른 디바이스가 실행중인 웹 애플리케이션의 실행 상태를 나타내는 웹 애플리케이션 상태 정보를 획득하고, 획득된 웹 애플리케이션 상태 정보를 이용하여, 다른 디바이스가 실행중인 웹 애플리케이션의 실행 상태를 재현할 수 있다.
예를 들어, 웹 애플리케이션이 1대1 대화 서비스를 제공하는 메신저 프로그램인 경우, 동기화 수행부(710)는 다른 디바이스의 콘텐츠 실행 화면으로부터 메신저 프로그램을 식별하고, 식별된 메신저 프로그램을 실행할 수 있다. 이때, 동기화 수행부(710)에서 실행되는 식별된 메신저 프로그램은 다른 디바이스의 웹 애플리케이션이 통신한 웹 서버가 지원할 수 있는 프로그램일 수 있으며, 다른 디바이스에서 실행되는 메신저 프로그램과 동일한 프로그램이 아닐 수 있다. 예를 들어, 동기화 수행부(710)에서 수행되는 메신저 프로그램은 동기화 수행부(710)에서 실행되기에 최적화된 동종의 프로그램일 수 있다. 동기화 수행부(710)는 실행된 메신저 프로그램을 통해 사용자 정보를 이용하여 웹 서버(160)에 접속하고, 웹 서버(160)부터 다른 디바이스상에서 실행중인 웹 애플리케이션 상태 정보, 예를 들어, 다른 디바이스의 사용자가 대화하고 있던 상대방 사용자에 대한 정보 등을 수신하여, 다른 디바이스를 통해 대화하고 있던 상대방 사용자와 대화를 계속 진행할 수 있다.
또한, 동기화 수행부(710)는 다른 디바이스가 실행중인 콘텐츠를 공유하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스로부터 콘텐츠, 상태 정보 및 콘텐츠와 관련된 증강 정보를 획득하여 다른 디바이스의 콘텐츠를 공유하고, 획득된 정보를 이용하여, 다른 디바이스와의 콘텐츠 동기화를 수행함으로써, 콘텐츠 및 증강 정보를 포함하는 화면을 구성할 수 있다. 또한, 동기화 수행부(710)는 제어부(610)에서 실행중인 콘텐츠를 다른 디바이스에서 공유하도록 하기 위한 동기화 명령을 입력받음에 따라, 다른 디바이스로 제어부(610)에서 실행중인 콘텐츠, 상태 정보 및 콘텐츠와 관련된 증강 정보를 전달하도록 통신부(660)를 제어할 수 있다.
증강 정보 처리부(720)는 사용자 프로파일 및 사용자 선호 정보 중 적어도 하나에 기초하여, 콘텐츠와 관련된 증강 정보 중 일부 증강 정보를 필터링하고, 필터링 결과를 동기화 수행부(710)에 제공할 수 있다. 그에 따라, 동기화 수행부(710)는 필터링된 증강 정보를 콘텐츠와 렌더링하여 화면을 구성할 수 있다.
재생 제어부(730)는 다른 디바이스의 상태를 변경하지 않은 상태에서 공유한 콘텐츠에 대한 재생을 제어하도록 구성될 수 있다. 예를 들어, 다른 디바이스가 TV인 경우, 재생 제어부(730)는 공유한 콘텐츠에 대한 재생을 제어하여, TV를 시청하는 다른 사용자를 방해하지 않으면서, TV 콘텐츠를 조작할 수 있다.
병렬 애플리케이션 수행부(740)는 콘텐츠 동기화와 병렬적으로, 사용자와 인터랙션이 가능한 다른 애플리케이션을 수행하도록 구성된다. 예를 들어, 병렬 애플리케이션 수행부(740)는 제1 디바이스(110)의 사용자가 TV 콘텐츠를 공유한 다른 디바이스인 TV의 사용자들의 시청을 방해하지 않으면서, TV 콘텐츠와 관련된 인터넷 검색을 하거나, 트위터/메신저와 같은 소셜 네트워킹을 통해 같은 방송을 시청중인 지연과 커뮤니케이션 하는 등 TV에서 제공가능한 연결된 애플리케이션 구동이 가능하도록 할 수 있다. 이렇게 개별적으로 정보를 조작하고 장치를 조작함으로써, TV 콘텐츠를 시청중인 다른 구성원을 방해하지 않고 개인적인 인터랙션 공간을 제공할 수 있을 뿐 아니라, 브라우징, 조작과 같이 원거리 인터랙션보다 근거리 인터랙션이 더 적합한 기능들에 대해서 사용자에게 보다 직관적인 근거리 인터랙션을 제공할 수 있다.
이상에서는, 제1 디바이스(110)의 구성을 중심으로 설명하였으나, 제2 디바이스(120)도 제1 디바이스(110)의 기능을 수행하도록 구성될 수 있다. 예를 들어, 제2 디바이스가 TV인 경우, 제2 디바이스(120)는 제1 디바이스(110)와 동기화하기 위하여 제1 디바이스(110)로 콘텐츠, 증강 정보 및 상태 정보를 제공하고, 제2 디바이스(120)로부터 제공된 모바일 콘텐츠를 동기화하여 TV 화면에 디스플레이할 수 있다.
도 8은 다른 디바이스가 실행중인 웹 애플리케이션을 동기화하는 방법의 일 예를 나타내는 순서도이다.
제1 디바이스는 제2 디바이스에서 실행중인 웹 애플리케이션을 공유하기 위한 동기화 명령을 수신한다(810).
제2 디바이스가 실행중인 콘텐츠로서 웹 애플리케이션을 공유하기 위한 동기화 명령을 입력받음에 따라, 제1 디바이스는 제2 디바이스의 웹 애플리케이션 실행 화면을 획득한다(820).
제1 디바이스는 획득된 다른 디바이스의 웹 애플리케이션 실행 화면에서 오브젝트 추출, 패턴 인식 및 문자 인식 중 적어도 하나의 동작을 수행하여 웹 애플리케이션을 식별한다(830). 제1 디바이스는 식별된 웹 애플리케이션을 실행한다(840).
제1 디바이스는 웹 서비스를 제공받는데 이용되는 사용자 정보를 획득한다(850). 사용자 정보는 제1 디바이스에 저장되어 있을 수 있으며, 다른 디바이스로부터 획득될 수도 있다.
제1 디바이스는 실행된 웹 애플리케이션 및 사용자 정보를 이용하여 웹 서버에 접속하고, 웹 서버로부터 다른 디바이스가 실행중인 웹 애플리케이션의 실행 상태를 나타내는 웹 애플리케이션 상태 정보를 획득한다(860).
식별된 웹 애플리케이션 및 획득된 웹 애플리케이션 상태 정보를 이용하여, 다른 디바이스가 실행중인 웹 애플리케이션의 실행 상태를 재현한다(870).
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

Claims (32)

  1. 화면 출력부;
    외부 디바이스와 통신하는 통신부; 및
    상기 외부 디바이스와 콘텐츠를 공유하기 위한 명령이 입력되면, 상기 외부 디바이스로부터 상기 콘텐츠 및 상기 콘텐츠와 관련된 증강 정보를 수신하도록 상기 통신부를 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 수신된 콘텐츠와 관련된 증강 정보 및 사용자 개인 정보에 기초하여 개인화된 증강 정보를 획득하고, 상기 수신된 콘텐츠 및 상기 개인화된 증강 정보에 기초하여 구성된 화면을 상기 화면 출력부를 통해 제공하는, 콘텐츠 공유 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 콘텐츠에 대한 상태 정보를 상기 외부 디바이스로부터 더 획득하고, 상기 콘텐츠, 상기 콘텐츠에 대한 상태 정보 및 상기 개인화된 증강 정보에 기초하여 구성된 화면을 상기 화면 출력부를 통해 제공하며, 사용자 입력 신호에 따라 상기 개인화된 증강 정보 중 인터랙션이 가능하도록 구성된 정보가 선택되면, 상기 선택된 정보에 설정된 동작을 수행하는 콘텐츠 공유 장치.
  3. 제2항에 있어서,
    상기 사용자 개인 정보를 저장하는 저장부;를 더 포함하고,
    상기 제어부는,
    상기 사용자 개인 정보에 기초하여, 상기 수신된 콘텐츠와 관련된 증강 정보 중 일부 증강 정보를 선택하여 상기 개인화된 증강 정보를 획득하고,
    상기 사용자 개인 정보는,
    사용자 프로파일 및 미리 설정된 사용자 선호 정보 중 적어도 하나를 포함하는, 콘텐츠 공유 장치.
  4. 제1항에 있어서,
    상기 제어부는, 상기 콘텐츠를 검색하는데 이용되는 콘텐츠에 대한 메타 정보를 상기 외부 디바이스로부터 획득하고, 상기 메타 정보를 이용하여 상기 외부 디바이스가 실행중인 콘텐츠를 상기 외부 디바이스 외의 다른 경로를 통해 직접 획득하는 콘텐츠 공유 장치.
  5. 제4항에 있어서,
    상기 콘텐츠에 대한 메타 정보는, 상기 콘텐츠가 위치하는 웹 주소 및 상기 콘텐츠를 수신가능한 방송 채널 정보 중 적어도 하나를 포함하는 콘텐츠 공유 장치.
  6. 제5항에 있어서,
    영상을 캡처하는 촬영부를 더 포함하고,
    상기 제어부는,
    상기 외부 디바이스와 콘텐츠를 공유하기 위한 명령이 상기 촬영부를 통해 영상을 캡처한 상태에서 입력된 경우, 상기 명령이 입력된 때 캡처된 영상을 분석하여, 상기 외부 디바이스가 실행중인 콘텐츠에 대한 메타 정보를 획득하는 콘텐츠 공유 장치.
  7. 제2항에 있어서,
    상기 통신부는 복수의 콘텐츠에 대한 증강 정보를 제공하는 증강 현실 지원 서버와 통신하고,
    상기 제어부는, 상기 획득된 메타 정보를 이용하여 상기 증강 현실 지원 서버로부터 추가적인 증강 정보를 획득하고, 상기 외부 디바이스가 실행중인 콘텐츠에 상기 추가적인 증강 정보를 렌더링하여 화면을 구성하는 콘텐츠 공유 장치.
  8. 제2항에 있어서,
    상기 증강 정보는, 상기 콘텐츠의 재생을 제어하는 재생 제어 정보를 포함하고,
    상기 제어부는, 상기 재생 제어 정보를 선택하는 사용자 입력 신호에 따라서, 상기 수신된 콘텐츠의 재생을 제어하는 콘텐츠 공유 장치.
  9. 제1항에 있어서,
    상기 제어부는, 상기 콘텐츠 수신과 병렬적으로, 사용자와 인터랙션이 가능한 다른 애플리케이션을 수행하도록 구성되는 콘텐츠 공유 장치.
  10. 제9항에 있어서,
    상기 사용자와 인터랙션이 가능한 다른 애플리케이션은, 인터넷 검색 애플리케이션 및 소셜 네트워킹 애플리케이션 중 적어도 하나를 포함하는 콘텐츠 공유 장치.
  11. 제2항에 있어서,
    상기 제어부는,
    콘텐츠를 외부 디바이스와 공유하기 위한 명령이 입력되면, 상기 콘텐츠 공유 장치에 포함된 콘텐츠 및 상기 콘텐츠와 관련된 증강 정보를 상기 외부 디바이스로 전송하도록 상기 통신부를 제어하는 콘텐츠 공유 장치.
  12. 제1항에 있어서,
    상기 제어부는, 콘텐츠 공유를 수행하기 전에, 상기 콘텐츠 공유가 가능한 거리 범위 내에 미리 등록된 외부 디바이스를 추적하고, 상기 외부 디바이스와 연결하도록 상기 통신부를 제어하는 콘텐츠 공유 장치.
  13. 외부 디바이스와 통신하는 통신부; 및
    콘텐츠를 상기 외부 디바이스와 공유하기 위한 명령이 상기 외부 디바이스로부터 수신되면, 상기 콘텐츠 및 상기 콘텐츠와 관련된 증강 정보를 상기 외부 디바이스로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 콘텐츠 공유 장치.
  14. 제13항에 있어서,
    상기 제어부는, 콘텐츠 공유가 가능한 거리 범위 내에 미리 등록된 외부 디바이스를 추적하고, 상기 외부 디바이스와 연결하도록 상기 통신부를 제어하는, 콘텐츠 공유 장치.
  15. 제13항에 있어서,
    상기 콘텐츠 공유 장치는 모바일 단말이고, 상기 외부 디바이스는 TV인, 콘텐츠 공유 장치.
  16. 디바이스의 콘텐츠 공유 방법에 있어서,
    외부 디바이스와 콘텐츠를 공유하기 위한 명령을 입력받는 단계;
    상기 명령에 따라 상기 외부 디바이스로부터 상기 콘텐츠 및 상기 콘텐츠와 관련된 증강 정보를 수신하는 단계;
    상기 콘텐츠와 관련된 증강 정보 및 사용자 개인 정보에 기초하여 개인화된 증강 정보를 획득하는 단계; 및
    상기 수신된 콘텐츠 및 상기 개인화된 증강 정보에 기초하여 구성된 화면을 디스플레이하는 단계;를 포함하는 콘텐츠 공유 방법.
  17. 제16항에 있어서,
    상기 콘텐츠에 대한 메타 정보를 상기 외부 디바이스로부터 획득하는 단계; 및
    상기 메타 정보를 이용하여 상기 콘텐츠를 상기 외부 디바이스 외의 다른 경로를 통해 직접 획득하는 단계;를 포함하는 콘텐츠 공유 방법.
  18. 제17항에 있어서,
    상기 메타 정보를 이용하여 상기 콘텐츠를 상기 외부 디바이스 외의 다른 경로를 통해 직접 획득하는 단계는,
    상기 외부 디바이스가 실행중인 콘텐츠가 실시간 방송 콘텐츠인 경우, 상기 획득된 메타 정보를 이용하여 상기 실시간 방송 콘텐츠를 방송망을 통해 수신하여 획득하는 단계;를 포함하는 콘텐츠 공유 방법.
  19. 제16항에 있어서,
    상기 외부 디바이스로부터 상기 콘텐츠에 대한 상태 정보를 획득하는 단계;를 더 포함하고,
    상기 화면을 디스플레이하는 단계는,
    상기 콘텐츠, 상기 상태 정보 및 상기 개인화된 증강 정보에 기초하여 구성된 화면을 디스플레이하는 단계;를 포함하는 콘텐츠 공유 방법.
  20. 제19항에 있어서,
    상기 개인화된 증강 정보를 획득하는 단계는,
    상기 사용자 개인 정보에 기초하여 상기 콘텐츠와 관련된 증강 정보 중 일부 증강 정보를 선택하여 상기 개인화된 증강 정보를 획득하는 단계;를 포함하고,
    상기 사용자 개인 정보는,
    사용자 프로파일 및 사용자 선호 정보 중 적어도 하나를 포함하는, 콘텐츠 공유 방법.
  21. 제19항에 있어서,
    상기 개인화된 증강 정보는, 상기 콘텐츠의 재생을 제어하는 재생 제어 정보를 포함하고,
    상기 재생 제어 정보를 선택하는 사용자 입력 신호에 따라서, 상기 수신된 콘텐츠의 재생을 제어하는 단계;를 더 포함하는 콘텐츠 공유 방법.
  22. 제16항에 있어서,
    상기 콘텐츠 수신과 병렬적으로, 사용자와 인터랙션이 가능한 다른 애플리케이션을 수행하는 단계;를 더 포함하는 콘텐츠 공유 방법.
  23. 제16항에 있어서,
    콘텐츠를 외부 디바이스와 공유하기 위한 명령이 입력되면, 상기 콘텐츠 및 상기 콘텐츠와 관련된 증강 정보를 상기 외부 디바이스로 전송하는 단계;를 더 포함하는 콘텐츠 공유 방법.
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 콘텐츠 공유 장치에 있어서,
    웹 서버와 통신하는 통신부;
    외부 디바이스에서 실행중인 웹 애플리케이션을 공유하기 위한 명령이 입력되면, 상기 외부 디바이스의 웹 애플리케이션 실행 화면을 획득하는 촬영부; 및
    상기 획득된 화면에서 상기 웹 애플리케이션을 식별하고, 웹 서버로부터 상기 식별된 웹 애플리케이션의 실행 상태를 나타내는 웹 애플리케이션 상태 정보를 획득하고, 상기 식별된 웹 애플리케이션 및 상기 획득된 웹 애플리케이션 상태 정보를 이용하여, 상기 웹 애플리케이션의 실행 상태를 공유하는 제어부;를 포함하는 콘텐츠 공유 장치.
  30. 제29항에 있어서,
    상기 제어부는,
    사용자 인증 정보에 기초하여 상기 웹 서버에 접속하며,
    상기 사용자 인증 정보는, 상기 웹 서버로부터 웹 서비스를 제공받기 위해 이용되는 사용자 로그인 정보를 포함하는 콘텐츠 공유 장치.
  31. 제29항에 있어서,
    상기 웹 서버에 접속하기 위한 사용자 인증 정보를 저장하는 저장부;를 더 포함하고,
    상기 제어부는, 상기 저장부로부터 상기 사용자 인증 정보를 획득하여 상기 웹 서버에 접속하는 콘텐츠 공유 장치.
  32. 제29항에 있어서,
    상기 제어부는, 상기 외부 디바이스로부터 상기 웹 서버에 접속하기 위한 사용자 인증 정보를 획득하고, 상기 사용자 인증 정보에 기초하여 상기 웹 서버에 접속하는 콘텐츠 공유 장치.
KR1020110001853A 2011-01-07 2011-01-07 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법 KR101763887B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110001853A KR101763887B1 (ko) 2011-01-07 2011-01-07 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법
US13/217,449 US9277283B2 (en) 2011-01-07 2011-08-25 Content synchronization apparatus and method
CN201710265403.2A CN107087224B (zh) 2011-01-07 2011-11-30 内容同步设备和方法
CN201110412415.6A CN102595228B (zh) 2011-01-07 2011-11-30 内容同步设备和方法
US15/005,067 US9979788B2 (en) 2011-01-07 2016-01-25 Content synchronization apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110001853A KR101763887B1 (ko) 2011-01-07 2011-01-07 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170094916A Division KR101873793B1 (ko) 2017-07-26 2017-07-26 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120080410A KR20120080410A (ko) 2012-07-17
KR101763887B1 true KR101763887B1 (ko) 2017-08-02

Family

ID=46455201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110001853A KR101763887B1 (ko) 2011-01-07 2011-01-07 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법

Country Status (3)

Country Link
US (2) US9277283B2 (ko)
KR (1) KR101763887B1 (ko)
CN (2) CN107087224B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023027208A1 (ko) * 2021-08-25 2023-03-02 삼성전자 주식회사 복수의 디바이스를 그룹핑 하는 방법 및 시스템
WO2023090619A1 (ko) * 2021-11-22 2023-05-25 삼성전자주식회사 시청자 참여 가능한 컨텐츠 제공 방법 및 이를 위한 전자 장치

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101719264B1 (ko) * 2010-12-23 2017-03-23 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법
KR101292463B1 (ko) * 2011-01-27 2013-07-31 주식회사 팬택 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
KR20130023490A (ko) * 2011-08-29 2013-03-08 주식회사 팬택 애플리케이션 동기화 시스템 및 방법
US9275148B1 (en) * 2011-09-23 2016-03-01 Shauki Elassaad System and method for augmented browsing and knowledge discovery
US9930311B2 (en) * 2011-10-20 2018-03-27 Geun Sik Jo System and method for annotating a video with advertising information
US20130110900A1 (en) * 2011-10-28 2013-05-02 Comcast Cable Communications, Llc System and method for controlling and consuming content
KR101666246B1 (ko) * 2012-03-12 2016-10-13 한국전자통신연구원 메타데이터 우선제공 증강방송 장치 및 방법
US9930094B2 (en) * 2012-03-27 2018-03-27 Industry-Academic Cooperation of Yonsei University Content complex providing server for a group of terminals
US8739223B2 (en) * 2012-04-25 2014-05-27 Electronics And Telecommunications Research Institute Method and apparatus for processing augmented broadcast content using augmentation region information
KR101952700B1 (ko) * 2012-07-31 2019-02-28 삼성전자주식회사 방송 통신 융합 서비스의 제공 방법 및 장치
KR102130733B1 (ko) * 2012-08-22 2020-07-06 한국전자통신연구원 하이브리드 환경에서의 증강 서비스 제공장치 및 수신장치
US9081535B2 (en) 2012-09-03 2015-07-14 Nvidia Corporation Automatic topology configuration through automatic hardware profiles across multiple display units
US9086838B2 (en) 2012-09-03 2015-07-21 Nvidia Corporation Synchronous media display through automatic hardware profiles across multiple display units
KR101952178B1 (ko) * 2012-09-05 2019-02-26 엘지전자 주식회사 이동 단말기 및 그것을 이용한 클라우드 시스템
US9226011B2 (en) 2012-09-11 2015-12-29 Comcast Cable Communications, Llc Synchronizing program presentation
CN102866777A (zh) * 2012-09-12 2013-01-09 中兴通讯股份有限公司 一种数字媒体内容播放转移的方法及播放设备及系统
US9769503B2 (en) * 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
KR101934099B1 (ko) * 2012-12-14 2019-01-02 삼성전자주식회사 컨텐츠 재생 장치, 그 ui 제공 방법, 네트워크 서버 및 그 제어 방법
US9306990B2 (en) * 2013-02-14 2016-04-05 Raytheon Company System and method for map collaboration
US10135901B2 (en) * 2013-03-15 2018-11-20 Cox Communications, Inc. Exchange of content consumption-related information between networked devices
US10135902B2 (en) * 2013-03-15 2018-11-20 Cox Communications, Inc. Exchange of content consumption-related information between networked devices
CN103945274A (zh) * 2013-04-19 2014-07-23 达腾科公司 提供对应于电视节目的交互增强现实信息的方法和设备
US20140317659A1 (en) * 2013-04-19 2014-10-23 Datangle, Inc. Method and apparatus for providing interactive augmented reality information corresponding to television programs
JP6092702B2 (ja) * 2013-04-25 2017-03-08 京セラ株式会社 通信端末、および情報送信方法
US9355240B2 (en) * 2013-06-27 2016-05-31 Avaya Inc. Multi-device single network sign-on
EP2819075A1 (en) * 2013-06-28 2014-12-31 Samsung Electronics Co., Ltd Method and apparatus for automatically synchronizing electronic devices
KR101538755B1 (ko) 2013-09-23 2015-07-24 (주)파워보이스 외부 디바이스의 동작 제어 및 디바이스 간 컨텐츠 동기화를 위한 음파를 출력하는 디바이스 및 방법, 그리고 외부 디바이스
KR101600038B1 (ko) * 2013-10-01 2016-03-04 목포대학교산학협력단 소셜 증강현실 서비스 시스템 및 방법
KR101479624B1 (ko) * 2013-11-15 2015-01-06 현대모비스 주식회사 차량용 헤드 유닛 및 상기 차량용 헤드 유닛에서의 화면 설정 방법
US20150163326A1 (en) * 2013-12-06 2015-06-11 Dropbox, Inc. Approaches for remotely unzipping content
US10198777B2 (en) 2013-12-06 2019-02-05 Remote Media, Llc System, method, and application for exchanging content in a social network environment
CN104488199B (zh) * 2014-03-17 2016-11-02 华为终端有限公司 一种终端间同步内容的方法和终端
CA2960481C (en) * 2014-04-23 2019-10-15 Remote Media, Llc Smart routing synchronization system and methods for socializing a synthetic rebroadcast and group stream
US9685196B2 (en) * 2014-09-17 2017-06-20 Verizon Patent And Licensing Inc. Sharing and synchronizing content
EP3016362A1 (en) 2014-11-03 2016-05-04 OpenTV Europe SAS Method and system to share advertisement content from a main device to a secondary device
CN104618471B (zh) * 2015-01-23 2018-04-06 天津大学 面向不同终端的应用程序状态转移方法
CN105072246A (zh) * 2015-07-01 2015-11-18 小米科技有限责任公司 信息同步方法、装置及终端
EP3128413A1 (en) * 2015-08-04 2017-02-08 Nokia Technologies Oy Sharing mediated reality content
CN106487843A (zh) * 2015-08-28 2017-03-08 阿里巴巴集团控股有限公司 调整智能终端性能参数的方法及装置
WO2017065443A1 (ko) * 2015-10-16 2017-04-20 명지대학교 산학협력단 미디어 중심 사물 인터넷 기반의 미디어 사물 및 이의 동작 방법
CN106921882A (zh) * 2015-12-24 2017-07-04 中兴通讯股份有限公司 控制方法、控制装置、终端及音频同步播放系统
CN105549823A (zh) * 2015-12-25 2016-05-04 苏州拾向梦数字媒体有限公司 一种无线涂鸦墙
KR101725194B1 (ko) * 2016-03-08 2017-04-12 주식회사 아이아라 통신 단말기간 식별 방법
US9912711B1 (en) * 2016-04-12 2018-03-06 Blingby, Llc Computer system of computer servers and dedicated computer clients configured for video playing with live metadata streaming based on video content, and methods of use thereof
CN106210909A (zh) * 2016-08-15 2016-12-07 深圳Tcl数字技术有限公司 电视显示内容的处理方法、装置及系统
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
CN106230709B (zh) * 2016-09-14 2020-02-14 Oppo广东移动通信有限公司 一种聊天信息区别同步的方法及装置
US10291678B2 (en) * 2016-10-01 2019-05-14 Facebook, Inc. Architecture for augmenting video data obtained by a client device with one or more effects during rendering
CN106981000B (zh) * 2016-10-13 2020-06-09 阿里巴巴集团控股有限公司 基于增强现实的多人线下交互、点餐方法及系统
US20180296916A1 (en) * 2017-04-14 2018-10-18 Penrose Studios, Inc. System and method for spatial and immersive computing
US10565168B2 (en) 2017-05-02 2020-02-18 Oxygen Cloud, Inc. Independent synchronization with state transformation
KR102474754B1 (ko) 2017-09-08 2022-12-07 삼성전자주식회사 V2V 인터랙션/V2IoT 통신 방법 및 장치
US10468018B2 (en) * 2017-12-29 2019-11-05 Dish Network L.L.C. Methods and systems for recognizing audio played and recording related video for viewing
US20190212901A1 (en) * 2018-01-08 2019-07-11 Cisco Technology, Inc. Manipulation of content on display surfaces via augmented reality
US10225360B1 (en) * 2018-01-24 2019-03-05 Veeva Systems Inc. System and method for distributing AR content
KR102499354B1 (ko) 2018-02-23 2023-02-13 삼성전자주식회사 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
US11077365B2 (en) 2018-06-27 2021-08-03 Niantic, Inc. Low latency datagram-responsive computer network protocol
CN109040806A (zh) * 2018-07-24 2018-12-18 广州孩教圈信息科技股份有限公司 一种跨设备投影屏幕内容的方法和系统
US10916220B2 (en) 2018-08-07 2021-02-09 Apple Inc. Detection and display of mixed 2D/3D content
CN109922130A (zh) * 2019-01-11 2019-06-21 视联动力信息技术股份有限公司 一种远程控制方法和装置
EP3918579A4 (en) * 2019-02-25 2022-04-13 Niantic, Inc. AUGMENTED REALITY MOBILE EDGE COMPUTATION
KR102629990B1 (ko) * 2019-12-03 2024-01-25 엘지전자 주식회사 허브 및 이를 포함하는 전자 디바이스
KR20220115618A (ko) 2019-12-20 2022-08-17 나이앤틱, 인크. 데이터 전송 경로 선택을 위한 데이터 계층 프로토콜
CN111327928A (zh) * 2020-03-11 2020-06-23 广州酷狗计算机科技有限公司 歌曲播放方法、装置及系统、计算机存储介质
US20220400012A1 (en) * 2021-06-14 2022-12-15 Samsung Electronics Co., Ltd. Systems and methods for shared device access control
WO2023009474A1 (en) * 2021-07-27 2023-02-02 Loop Now Technologies, Inc. Video stream interface based on third-party webpage information
US20230161544A1 (en) * 2021-11-23 2023-05-25 Lenovo (United States) Inc. Virtual content transfer

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161510A (ja) * 2009-01-06 2010-07-22 Sony Corp プレゼンス情報共有装置、プレゼンス情報共有方法、プレゼンス情報共有プログラムおよびプレゼンス情報共有システム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US7092569B1 (en) * 1999-07-29 2006-08-15 Fuji Photo Film Co., Ltd. Method and device for extracting specified image subjects
JP2002041429A (ja) * 2000-07-26 2002-02-08 Nec Corp インターネットにおける共有資料を用いて会議を行う方法、会議システム、情報処理装置及び記録媒体
ES2358889T3 (es) * 2001-08-02 2011-05-16 Intellocity Usa, Inc. Alteraciones visuales posproducción.
JP4555072B2 (ja) * 2002-05-06 2010-09-29 シンクロネイション インコーポレイテッド ローカライズされたオーディオ・ネットワークおよび関連するディジタル・アクセサリ
US7899915B2 (en) * 2002-05-10 2011-03-01 Richard Reisman Method and apparatus for browsing using multiple coordinated device sets
US20050039206A1 (en) * 2003-08-06 2005-02-17 Opdycke Thomas C. System and method for delivering and optimizing media programming in public spaces
US9075805B2 (en) 2004-02-04 2015-07-07 Sony Corporation Methods and apparatuses for synchronizing and tracking content
US20050286546A1 (en) * 2004-06-21 2005-12-29 Arianna Bassoli Synchronized media streaming between distributed peers
US7882530B2 (en) * 2004-11-23 2011-02-01 Palo Alto Research Center Incorporated Method, apparatus, and program products for socially synchronizing an experiential data stream
US7814518B2 (en) 2004-11-23 2010-10-12 Palo Alto Research Center Incorporated Methods, apparatus, and program products for presenting replacement content instead of a portion of a recorded content
US20060230415A1 (en) * 2005-03-30 2006-10-12 Cyriac Roeding Electronic device and methods for reproducing mass media content
KR20070049426A (ko) 2005-11-08 2007-05-11 에스케이 텔레콤주식회사 개인 중심의 서비스 제공 방법 및 시스템
US20070157251A1 (en) * 2006-01-04 2007-07-05 Mptv, Llc Methods and Systems For Distributing Assets Associated With Television Program
US9253222B2 (en) 2007-02-22 2016-02-02 Match.Com. L.L.C. Synchronous delivery of media content in a collaborative environment
US8925010B2 (en) * 2007-04-02 2014-12-30 Tp Lab, Inc. Method and system for television channel group
US8695034B2 (en) 2007-08-31 2014-04-08 Silicon Image, Inc. Delivering on screen display data to existing display devices
KR100900806B1 (ko) 2007-11-01 2009-06-04 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법
JP4538756B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US20090160735A1 (en) * 2007-12-19 2009-06-25 Kevin James Mack System and method for distributing content to a display device
JP5219501B2 (ja) * 2007-12-27 2013-06-26 三菱電機株式会社 画面生成装置および画面レイアウト共有システム
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
KR100963238B1 (ko) 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
US8051444B2 (en) * 2008-06-02 2011-11-01 Intent IQ, LLC Targeted television advertisements selected on the basis of an online user profile and presented with television programs or channels related to that profile
US10086265B2 (en) * 2008-07-11 2018-10-02 Disney Enterprises, Inc. Video teleconference object enable system
CN101339725A (zh) * 2008-08-07 2009-01-07 北京中星微电子有限公司 一种展品的讲解系统、装置及方法
JP5244547B2 (ja) * 2008-11-10 2013-07-24 株式会社日立ソリューションズ 音声コメント配信共有方法及びシステム
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
KR101719992B1 (ko) * 2010-11-16 2017-03-27 엘지전자 주식회사 이동 단말기 및 이것의 메타데이터 활용 방법
KR101839406B1 (ko) * 2011-09-27 2018-03-19 삼성전자 주식회사 디스플레이장치 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161510A (ja) * 2009-01-06 2010-07-22 Sony Corp プレゼンス情報共有装置、プレゼンス情報共有方法、プレゼンス情報共有プログラムおよびプレゼンス情報共有システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023027208A1 (ko) * 2021-08-25 2023-03-02 삼성전자 주식회사 복수의 디바이스를 그룹핑 하는 방법 및 시스템
WO2023090619A1 (ko) * 2021-11-22 2023-05-25 삼성전자주식회사 시청자 참여 가능한 컨텐츠 제공 방법 및 이를 위한 전자 장치

Also Published As

Publication number Publication date
CN102595228B (zh) 2017-05-17
US20160142490A1 (en) 2016-05-19
US20120177067A1 (en) 2012-07-12
CN107087224A (zh) 2017-08-22
CN102595228A (zh) 2012-07-18
US9979788B2 (en) 2018-05-22
KR20120080410A (ko) 2012-07-17
US9277283B2 (en) 2016-03-01
CN107087224B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
KR101763887B1 (ko) 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법
KR101873793B1 (ko) 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법
KR101591535B1 (ko) 컨텐츠 및 메타데이터를 사용하는 기법
US9250927B2 (en) Digital receiver and method for controlling the same
US20120272279A1 (en) Apparatus for providing internet protocol television broadcasting contents, user terminal and method for providing internet protocol television broadcasting contents information
KR20140117387A (ko) 제2 스크린 상의 대체 뷰 비디오 재생
US8650591B2 (en) Video enabled digital devices for embedding user data in interactive applications
KR20170095679A (ko) 디스플레이 장치 및 그의 동작 방법
US20070229706A1 (en) Information reading apparatus
KR20130132886A (ko) 디스플레이된 컨텐츠에 관련된 추가적인 컨텐츠를 제공하기 위한 방법 및 시스템
CN107211181B (zh) 显示装置
KR20170123184A (ko) 스크랩 기능을 제공하는 디스플레이 장치 및 그의 동작 방법
KR101990866B1 (ko) 방송 서비스 제공 방법 및 장치
KR20170126271A (ko) 디스플레이 장치 및 그의 동작 방법
US11949942B2 (en) Display device
KR102319680B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20160004739A (ko) 디스플레이 장치 및 그의 동작 방법
KR102646584B1 (ko) 디스플레이 장치
KR20190034856A (ko) 디스플레이 장치 및 그의 동작 방법
US20230209102A1 (en) Electronic device and operating method therefor
KR102509935B1 (ko) 디스플레이 장치
WO2021155812A1 (zh) 接收装置、服务器以及语音信息处理系统
KR20230120798A (ko) 디스플레이 시스템
KR101419460B1 (ko) 멜로디 신호를 이용하여 다른 디바이스와 연결하는 장치 및 방법 그리고, 디바이스를 연결하는 서버
KR20140093121A (ko) 영상표시장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant