KR20210059177A - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
KR20210059177A
KR20210059177A KR1020190146280A KR20190146280A KR20210059177A KR 20210059177 A KR20210059177 A KR 20210059177A KR 1020190146280 A KR1020190146280 A KR 1020190146280A KR 20190146280 A KR20190146280 A KR 20190146280A KR 20210059177 A KR20210059177 A KR 20210059177A
Authority
KR
South Korea
Prior art keywords
display device
content
image
display
external device
Prior art date
Application number
KR1020190146280A
Other languages
English (en)
Inventor
최길수
이종인
김세현
양관식
이재순
정다희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190146280A priority Critical patent/KR20210059177A/ko
Priority to EP20206538.9A priority patent/EP3823292B1/en
Priority to PCT/KR2020/015833 priority patent/WO2021096233A1/en
Priority to US17/097,722 priority patent/US11240550B2/en
Priority to CN202011267574.7A priority patent/CN112822529B/zh
Publication of KR20210059177A publication Critical patent/KR20210059177A/ko
Priority to US17/573,398 priority patent/US11638060B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

전자장치는, 디스플레이에 영상을 표시하고, 통신회로를 통해 외부장치로부터 영상데이터의 전송 요청을 수신하고, 요청에 응답할 컨텐트의 선택이 필요한지 여부를 식별하고, 컨텐트의 선택이 필요하다고 식별되는 것에 기초하여 외부장치로부터 수신되는 사용자 입력에 따라서 선택된 컨텐트의 영상데이터를 통신회로를 통해 외부장치로 전송하고, 컨텐트의 선택이 필요하지 않다고 식별되는 것에 기초하여 디스플레이에 표시되는 영상의 영상데이터를 통신회로를 통해 외부장치로 전송하는 프로세서를 포함한다.

Description

전자장치 및 그 제어방법 {ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 디스플레이장치 등의 외부장치에 영상컨텐트를 제공하거나 또는 디스플레이장치의 동작을 제어할 수 있도록 마련된 전자장치에 관한 것으로서, 상세하게는 외부장치로부터의 요청에 응답하여 외부장치에 영상컨텐트를 어떤 방식으로 전송할 것인가의 방법에 관련된 전자장치 및 그 제어방법에 관한 것이다.
소정의 정보를 특정 프로세스에 따라서 연산 및 처리하기 위해, 연산을 위한 CPU, 칩셋, 메모리 등의 전자부품들을 기본적으로 포함하는 전자장치는, 처리 대상이 되는 정보 또는 사용 용도가 무엇인지에 따라서 다양한 종류로 구분될 수 있다. 예를 들면, 전자장치에는 범용의 정보를 처리하는 PC나 서버 등의 정보처리장치, 영상데이터를 처리하는 영상처리장치, 오디오를 처리하는 오디오장치, 가정 내 잡무를 수행하는 생활가전 등이 있다. 영상처리장치는 처리된 영상데이터를 자체 구비한 디스플레이 패널(display panel) 상에 영상으로 표시하는 디스플레이장치로 구현될 수 있다.
디스플레이장치는 사용 방식에 따라서, TV와 같이 한 장소에 고정적으로 설치되는 형태와, 모바일기기와 같이 사용자가 휴대 가능한 형태가 있다. 특히, 무선통신환경의 발달과, 이를 활용할 수 있는 스마트폰, 태블릿 등과 같은 모바일기기의 발전에 따라서, 많은 사용자들이 개인화된 모바일기기를 사용하고 있다. 이러한 관점에서, 복수의 디스플레이장치 사이, 예를 들어 모바일기기 및 TV 사이의 연계 동작의 요구도 증가하고 있다. 이러한 연계 동작은 편의성 측면에서 장치들 사이의 무선통신을 기반으로 하며, 한 가지 예시로는 미러링이 있다.
미러링은 제1디스플레이장치에 표시되고 있는 영상이 그대로 제2디스플레이장치에서 동일하게 표시되는 기능을 나타낸다. 예를 들어 제1디스플레이장치의 화면 상에 소정의 컨텐트영상이 표시되는 동안, 제1디스플레이장치는 해당 컨텐트영상의 표시를 위해 제1디스플레이장치의 버퍼에 버퍼링되는 컨텐트 데이터를 실시간으로 제2디스플레이장치에 전송한다. 제2디스플레이장치는 모바일기기로부터 수신되는 컨텐트 데이터에 기초하여, 모바일기기에 표시되는 컨텐트영상과 동일한 영상을 표시한다.
이러한 미러링의 특성 상, 제1디스플레이장치에서 표시되는 화면 상태가 그대로 제2디스플레이장치에서도 구현된다. 제1디스플레이장치는 하나의 화면 상에 복수의 컨텐트영상이 표시되는 상태인 멀티뷰 화면을 표시할 수 있는데, 제2디스플레이장치가 제1디스플레이장치의 화면을 단순히 미러링한다면 제2디스플레이장치에서도 이러한 멀티뷰 화면이 그대로 표시된다. 만일 이러한 멀티뷰 화면 중에서 어느 한 컨텐트영상이 제2디스플레이장치에서 표시되기 위해서는, 제1디스플레이장치에서 먼저 해당 컨텐트영상만이 표시되도록 화면이 전환되어야 한다. 이 경우에 제2디스플레이장치는 제1디스플레이장치에 표시되는 화면의 미러링 화면이 표시되므로, 제2디스플레이장치에서도 해당 컨텐트영상만이 표시된다.
본 발명의 실시예에 따른 전자장치는, 디스플레이와, 통신회로와, 상기 디스플레이에 영상을 표시하고, 상기 통신회로를 통해 외부장치로부터 영상데이터의 전송 요청을 수신하고, 상기 요청에 응답할 컨텐트의 선택이 필요한지 여부를 식별하고, 상기 컨텐트의 선택이 필요하다고 식별되는 것에 기초하여 상기 외부장치로부터 수신되는 사용자 입력에 따라서 선택된 컨텐트의 영상데이터를 상기 통신회로를 통해 상기 외부장치로 전송하고, 상기 컨텐트의 선택이 필요하지 않다고 식별되는 것에 기초하여 상기 디스플레이에 표시되는 영상의 영상데이터를 상기 통신회로를 통해 상기 외부장치로 전송하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 디스플레이에 복수의 컨텐트에 의한 영상을 포함하는 멀티뷰 화면이 표시되는 것에 기초하여 상기 컨텐트의 선택이 필요하다고 식별하고, 상기 디스플레이에 단일 컨텐트에 의한 영상을 포함하는 싱글뷰 화면이 표시되는 것에 기초하여 상기 컨텐트의 선택이 필요하지 않다고 식별할 수 있다.
또한, 상기 프로세서는, 상기 통신회로를 통해 상기 선택이 필요하다고 식별된 복수의 컨텐트의 정보를 상기 외부장치로 전송하고, 상기 통신회로를 통해 상기 외부장치로부터 상기 사용자 입력에 따라서 선택된 컨텐트의 정보를 수신할 수 있다.
또한, 상기 프로세서는, 상기 통신회로를 통해 상기 선택이 필요하다고 식별된 복수의 컨텐트의 정보를 상기 외부장치로 전송하고, 상기 통신회로를 통해 상기 외부장치로부터 수신한 사용자 입력에 따라서 상기 복수의 컨텐트 중 상기 외부장치로 전송할 컨텐트를 선택할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이에 상기 영상으로 표시되도록 버퍼링되는 상기 선택된 컨텐트의 영상데이터를 상기 외부장치에 전송할 수 있다.
또한, 상기 선택된 컨텐트의 영상데이터 파일을 저장하는 저장부를 더 포함하며, 상기 프로세서는, 상기 저장부에 저장된 상기 선택된 컨텐트의 영상데이터 파일을 상기 외부장치에 전송할 수 있다.
또한, 상기 프로세서는, 상기 선택된 컨텐트의 영상데이터를 저장하는 서버의 주소 정보를 상기 외부장치에 전송할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이에 표시되는 복수의 컨텐트에 의한 영상의 미러링 화면이 상기 외부장치에 제공되는 동안에, 상기 외부장치의 화면 상의 터치 위치를 나타내는 좌표정보를 포함하는 상기 사용자 입력을 수신하고, 상기 좌표정보에 대응하는 상기 디스플레이 상의 위치를 식별하고, 상기 복수의 컨텐트 중 상기 식별된 위치에 대응하는 컨텐트를 식별할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이에 표시되는 영상의 일부 영역을 지정하는 영역정보를 상기 외부장치로부터 수신하는 것에 기초하여, 상기 영역정보에 의해 지정된 상기 일부 영역이 상기 외부장치에 표시되도록 처리할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이에 표시되는 영상의 영상데이터 중 상기 일부 영역에 대응하는 영상데이터를 선별하여 상기 외부장치에 전송할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이에 표시되는 영상데이터 및 상기 영상데이터에서 상기 일부 영역을 식별하기 위한 식별정보를 상기 외부장치에 전송할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이에 표시 가능하도록 처리중인 컨텐트가 복수이면 상기 컨텐트의 선택이 필요하다고 식별하고, 상기 처리중인 복수의 컨텐트 중 어느 하나를 선택하도록 상기 처리중인 복수의 컨텐트의 정보를 상기 외부장치로 전송할 수 있다.
또한, 본 발명의 실시예에 따른 전자장치의 제어방법은, 영상을 표시하는 단계와, 외부장치로부터 영상데이터의 전송 요청을 수신하는 단계와, 상기 요청에 응답할 컨텐트의 선택이 필요한지 여부를 식별하는 단계와, 상기 컨텐트의 선택이 필요하다고 식별되는 것에 기초하여 상기 외부장치로부터 수신되는 사용자 입력에 따라서 선택된 컨텐트의 영상데이터를 상기 외부장치로 전송하는 단계와, 상기 컨텐트의 선택이 필요하지 않다고 식별되는 것에 기초하여 상기 표시되는 영상의 영상데이터를 상기 외부장치로 전송하는 단계를 포함한다.
도 1은 제1디스플레이장치 및 제2디스플레이장치의 예시도이다.
도 2는 제1디스플레이장치 및 제2디스플레이장치의 구성 블록도이다.
도 3은 제1디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 4는 제1디스플레이장치가 멀티뷰 화면을 표시하는 동안 제2디스플레이장치에서 UI 버튼이 클릭되는 경우를 나타내는 예시도이다.
도 5는 제1디스플레이장치가 제2디스플레이장치로부터의 요청에 응답하여 컨텐트의 선택 옵션의 UI를 제공하는 동작을 나타내는 예시도이다.
도 6은 제1디스플레이장치가 제2디스플레이장치로부터의 요청에 응답하여 제공하는 컨텐트의 선택 옵션의 UI의 다른 예시를 나타내는 예시도이다.
도 7은 제1디스플레이장치가 선택된 컨텐트의 영상데이터를 제2디스플레이장치에 제공하는 경우를 나타내는 예시도이다.
도 8은 제1디스플레이장치가 싱글뷰 화면을 표시하는 동안 제2디스플레이장치에서 UI 버튼이 클릭되는 경우를 나타내는 예시도이다.
도 9는 제1디스플레이장치가 싱글뷰 화면을 표시하는 동안 수신된 요청에 응답하여 영상데이터를 제공하는 경우를 나타내는 예시도이다.
도 10은 제1디스플레이장치 및 제2디스플레이장치 사이에서 수행되는 동작들의 시퀀스를 나타내는 예시도이다.
도 11은 제1디스플레이장치에서 화면 상에 사용자가 컨텐트영상을 선택한 경우의 동작을 나타내는 예시도이다.
도 12는 제1디스플레이장치가 복수의 외부장치에 각기 상이한 영상데이터를 제공하는 경우를 나타내는 예시도이다.
도 13은 제1디스플레이장치가 제2디스플레이장치에 미러링 화면을 제공하는 모습을 나타내는 예시도이다.
도 14는 제1디스플레이장치가 제2디스플레이장치로부터 터치위치 좌표 정보를 수신한 경우의 동작을 나타내는 예시도이다.
도 15는 제1디스플레이장치 및 제2디스플레이장치 사이에서 수행되는 동작들의 시퀀스를 나타내는 예시도이다.
도 16은 제2디스플레이장치가 제1디스플레이장치에 표시되는 컨텐트영상의 일부 영역을 선택하도록 마련된 UI를 표시하는 경우를 나타내는 예시도이다.
도 17은 제1디스플레이장치가 제2디스플레이장치로부터의 영역정보에 응답하여 영상데이터를 제공하는 방식을 나타내는 예시도이다.
도 18은 제1디스플레이장치의 제어방법을 나타내는 플로우차트이다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며, 하나의 장치 내에서 복수 개의 실시예가 선택적으로 조합되어 구현될 수 있다. 이러한 복수의 실시예의 조합은 본 발명의 기술분야에서 숙련된 기술자가 본 발명의 사상을 구현함에 있어서 임의로 선택되어 적용될 수 있다.
만일, 실시예에서 제1구성요소, 제2구성요소 등과 같이 서수를 포함하는 용어가 있다면, 이러한 용어는 다양한 구성요소들을 설명하기 위해 사용되는 것이며, 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용되는 바, 이들 구성요소는 용어에 의해 그 의미가 한정되지 않는다. 실시예에서 사용하는 용어는 해당 실시예를 설명하기 위해 적용되는 것으로서, 본 발명의 사상을 한정하지 않는다.
또한, 본 명세서에서의 복수의 구성요소 중 "적어도 하나(at least one)"라는 표현이 나오는 경우에, 본 표현은 복수의 구성요소 전체 뿐만 아니라, 복수의 구성요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 제1디스플레이장치 및 제2디스플레이장치의 예시도이다.
도 1에 도시된 바와 같이, 복수의 전자장치(110, 120)는 상호 통신이 가능하도록 마련되며, 각기 영상을 표시 가능한 디스플레이장치로 구현된다. 본 실시예에서는 두 전자장치(110, 120)를 상호 구분하기 위해 제1디스플레이장치(110) 및 제2디스플레이장치(120)로 지칭한다. 이러한 명칭은 상호 구별을 위해서 다양한 용어가 적용될 수 있으며, 예를 들어 제1디스플레이장치(110)를 전자장치라고 지칭하고 제2디스플레이장치(120)를 외부장치라고 지칭할 수도 있다.
본 실시예에서는 제1디스플레이장치(110)는 TV로 구현되고, 제2디스플레이장치(120)는 모바일기기로 구현되는 경우를 예시로 들고 있는데, 각 전자장치(110, 120)가 어떠한 종류의 장치로 구현되는가에 관해서는 다양한 설계 변경이 적용될 수 있으며, 본 실시예의 예시가 전자장치(110, 120)의 구현 방식을 한정하는 것은 아니다. 제1디스플레이장치(110) 또는 제2디스플레이장치(120)는 휴대 가능한 기기인 스마트폰, 태블릿, 멀티미디어 재생장치, 웨어러블 디바이스 등이거나, 또는 어느 한 위치에 고정 설치되는 TV, 디지털 사이니지, 전자액자, 모니터를 가진 컴퓨터본체 등, 영상을 표시하기 위한 화면을 가진 다양한 종류의 기기로 구현될 수 있다.
제1디스플레이장치(110)는 고정된 화면을 가진 디스플레이장치일 수도 있고, 또는 피봇(pivot) 가능한 화면을 가진 디스플레이장치일 수 있다. 후자의 구조의 제1디스플레이장치(110)는 소정의 설치면 상에 설치되는 스탠드(130)를 가지며, 스탠드(130)의 일측에 회동 가능하게 지지된다. 스탠드(130)는 제1디스플레이장치(110)의 후방에 접속된 모터(131)를 가지며, 모터(131)의 구동에 의해 제1디스플레이장치(110)를 회전시킨다. 여기서, 모터(131)는 수신되는 제어신호에 따라서 그 동작이 제어될 수 있다. 모터(131)에 전달되는 제어신호는, 스탠드(130)에 마련된 컨트롤러로부터 생성되거나, 또는 제1디스플레이장치(110)로부터 전달될 수 있다. 또한, 이러한 제어신호의 생성 지시는, 스탠드(130) 또는 제1디스플레이장치(110)에 구비된 리모트 컨트롤러로부터 전달될 수 있다.
또는, 설계 방식에 따라서는 제1디스플레이장치(110)에서 화면을 형성하는 디스플레이 패널만이 회전하도록 마련될 수도 있다. 즉, 디스플레이 패널을 제외한, 프로세서를 비롯한 구성이 본체를 형성하고, 이 본체에 대해 디스플레이 패널이 회전하는 구성도 가능하다.
제1디스플레이장치(110)는 영상을 표시하기 위한 화면의 중앙영역을 중심으로 피봇하도록 마련된다. 제1디스플레이장치(110)는 적어도 P 위치 및 L 위치 사이를 회전할 수 있다. 제1디스플레이장치(110)는 P 위치에 있을 때 세로길이가 가로길이보다 긴 세로모드 또는 포트레이트 모드가 되며, L 위치에 있을 때 가로길이가 세로길이보다 긴 가로모드 또는 랜드스케이프 모드가 된다.
제1디스플레이장치(110)에 표시되는 영상 또는 UI가 포트레이트 방식 및 랜드스케이프 방식 중 어느 하나에 대응할 수 있다. 물론, 제1디스플레이장치(110)는 포트레이트 모드에서 랜드스케이프 방식의 영상을 표시할 수 있고, 반대로 랜드스케이프 모드에서 포트레이트 방식의 영상을 표시할 수는 있다. 그러나, 이러한 경우에는 가로길이 및 세로길이의 비율에 있어서, 화면의 경우와 영상의 경우가 맞지 않게 된다. 즉, 이러한 경우에 제1디스플레이장치(110)의 화면 상에서 영상이 표시되지 않는 영역인 마진이 상대적으로 커진다. 또한, UI 또는 영상 중에는 랜드스케이프 방식 또는 포트레이트 방식에 맞게 설계된 경우도 존재한다.
따라서, 제1디스플레이장치(110)에서는 포트레이트 모드 시에 포트레이트 방식의 영상이 표시되고, 랜드스케이프 모드 시에 랜드스케이프 방식의 영상이 표시되는 것이 바람직하다. 예를 들면, 제1디스플레이장치(110)가 방송 영상을 표시할 때에는 랜드스케이프 모드로 동작한다. 또는, 제1디스플레이장치(110)가 제2디스플레이장치(120)의 미러링 영상을 표시할 때에는 포트레이트 모드로 동작한다.
한편, 제2디스플레이장치(120)는 제1디스플레이장치(110)와 무선 통신이 가능하다. 제2디스플레이장치(120)는 광역 네트워크 또는 근거리 네트워크를 통해 제1디스플레이장치(110)에 접속이 가능한데, 예를 들면 AP(Access Point)를 통해 와이파이 통신 기반으로 제1디스플레이장치(110)와 통신하거나, BLE(Bluetooth Low Energy) 기반으로 제1디스플레이장치(110)와 다이렉트로 통신할 수도 있다.
본 실시예에 따른 두 디스플레이장치(110, 120) 중에서 어느 하나는 영상컨텐트를 제공하는 소스기기로서의 역할을 수행하고, 다른 하나는 해당 영상컨텐트를 수신하는 싱크기기로서의 역할을 수행한다. 두 디스플레이장치(110, 120) 사이에서 소스기기 및 싱크기기의 각 역할은 교환될 수 있는 바, 예를 들면 제1디스플레이장치(110)가 제2디스플레이장치(120)에 영상컨텐트를 제공할 수 있는 반면, 제2디스플레이장치(120)가 제1디스플레이장치(110)에 영상컨텐트를 제공할 수도 있다.
이러한 환경 하에서 예를 들어 제1디스플레이장치(110)가 제2디스플레이장치(120)에 영상컨텐트를 전송하는 경우에, 영상컨텐트의 전송 프로토콜은 미러링(mirroring) 방식, 캐스트(cast) 방식 등 여러 가지가 가능하다. 미러링 방식을 적용하는 경우에, 제1디스플레이장치(110)는 현재 표시중인 화면 데이터를 제2디스플레이장치(120)에 그대로 전송함으로써, 현재 표시중인 화면 상태가 그대로 제2디스플레이장치(120)의 화면에 표시되도록 한다.
이하, 제1디스플레이장치(110) 및 제2디스플레이장치(120)의 구성에 관해 설명한다.
도 2는 제1디스플레이장치 및 제2디스플레이장치의 구성 블록도이다.
도 2에 도시된 바와 같이, 제1디스플레이장치(210)는 제1통신부(211)와, 신호입출력부(212)와, 제1디스플레이부(213)와, 제1사용자입력수신부(214)와, 제1저장부(215)와, 제1프로세서(216)를 포함한다. 제2디스플레이장치(220)는 제2통신부(221), 제2디스플레이부(223), 제2사용자입력수신부(224), 제2저장부(225), 제2프로세서(226)를 포함한다. 여기서, 각 디스플레이장치(210, 220)의 구성요소들에 대한 "제1" 및 "제2"의 표현은, 구성요소들의 상호 구분을 위해 편의상 붙여진 것에 불과함을 밝힌다. 제1디스플레이장치(210) 및 제2디스플레이장치(220)는 설계 방식에 따라서, 상기한 구성요소 외에도 추가적인 구성요소들을 더 포함하거나, 상기한 구성요소 중 일부를 포함하지 않을 수도 있다.
이하, 제1디스플레이장치(210)의 구성에 관해 설명한다.
제1통신부(211)는 다양한 종류의 유선 및 무선 통신 프로토콜에 대응하는 통신모듈, 통신칩 등의 구성요소들 중 적어도 하나 이상을 포함하는 양방향 통신회로이다. 제1통신부(211)는 하나 이상의 무선통신규격을 지원하며, 각 무선통신규격에 기반한 통신을 수행하는 통신회로, 통신칩 또는 통신모듈을 포함한다. 예를 들면, 제1통신부(211)는 IEEE 802.15 표준을 따르는 블루투스 또는 BLE 등과 같이, 일대 일 근거리 통신을 위한 통신회로를 포함한다. 또한, 제1통신부(211)는 IEEE 802.11 표준을 따르는 무선랜(wirelss LAN) 통신 또는 와이파이 등과 같이, 광역 네트워크에 기반한 통신을 수행하는 통신회로를 포함한다. 이에 따라서, 제1통신부(211)는 제2디스플레이장치(220), 외부장치 또는 서버와 통신이 가능하다.
신호입출력부(212)는 셋탑박스 또는 광학미디어 재생장치와 같은 외부장치와 일대일 또는 일대다 방식으로 유선 접속됨으로써, 해당 외부장치에 대해 데이터를 수신하거나 또는 데이터를 출력한다. 신호입출력부(212)는 예를 들면, HDMI 포트, DisplayPort, USB 포트 등과 같이, 기 설정된 전송규격에 따른 커넥터 또는 포트 등을 포함한다.
제1디스플레이부(213)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 제1디스플레이부(213)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 제1디스플레이부(213)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다.
제1사용자입력수신부(214)는 사용자가 조작할 수 있도록 마련된 다양한 종류의 입력 인터페이스 관련 회로를 포함함으로써, 사용자로부터의 입력을 수신한다. 제1사용자입력수신부(214)는 제1디스플레이장치(210)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예를 들면 제1디스플레이장치(210)의 기계적 또는 전자적 버튼부, 터치패드, 디스플레이부(213)에 설치된 터치스크린, 제1디스플레이장치(210)의 본체와 분리된 리모트 컨트롤러 등이 있다.
제1저장부(215)는 다양한 데이터가 저장된다. 제1저장부(215)는 저장된 데이터의 보존 특성에 따라서, 비휘발 속성을 가진 스토리지(storage)와 휘발 속성을 가진 메모리(memory)를 포함한다. 스토리지는 전원을 공급받지 않는 동안에도 기록된 데이터를 보존할 수 있는 매체로서, 플래시메모리(flash-memory), HDD(Hard-Disc Drive), SSD(Solid-State Drive), ROM(Read Only Memory) 등이 있다. 메모리는 전원을 공급받지 않는 동안에는 기록된 데이터를 보존할 수 없는 매체로서, 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.
제1프로세서(216)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 제1프로세서(216)는 영상처리를 위해 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다. 또한, 한 가지 설계방식의 예시로서, 스탠드의 모터에 의해 제1디스플레이장치(210)가 회전하도록 마련된 경우, 제1프로세서(216)는 모터를 구동하기 위한 제어신호를 모터에 인가하도록 모터에 전기적으로 접속될 수도 있다.
제1프로세서(216)는 제1디스플레이장치(210)의 운영체제 및 다양한 기능의 앱을 실행시킬 수 있다. 제1프로세서(216)는 제1저장부(215)에 저장된 영상컨텐트를 재생시켜 제1디스플레이부(213)에 영상으로 표시하거나, 해당 영상컨텐트를 제2디스플레이장치(220)에 제공할 수 있다.
이하, 제2디스플레이장치(220)의 구성에 관해 설명한다.
제2통신부(221)는 다양한 종류의 유선 및 무선 통신 프로토콜에 대응하는 통신모듈, 통신칩 등의 구성요소들 중 적어도 하나 이상을 포함하는 양방향 통신회로이다. 제2통신부(221)는 예를 들면 와이파이 기반 무선통신을 지원함으로써, AP를 통해 제1디스플레이장치(210), 외부장치 또는 서버와 통신할 수 있게 마련된다.
제2디스플레이부(223)는 제2프로세서(226)에 의해 처리되는 영상신호를 영상으로 표시한다.
제2사용자입력수신부(224)는 사용자의 입력을 수행하기 위해 사용자가 조작할 수 있도록 마련된 다양한 종류의 입력 인터페이스 관련 회로를 포함한다. 예를 들면, 제2사용자입력수신부(224)는 제2디스플레이장치(220)에 마련된 물리적 또는 전자적 버튼, 제2디스플레이장치(220)의 본체와 분리된 리모트 컨트롤러, 제2디스플레이부(223)에 마련된 터치스크린 구조 등을 포함한다.
제2저장부(225)는 데이터가 저장되게 마련된다. 제2저장부(225)는 플래시메모리, HDD, SSD, 버퍼, 램 등의 다양한 종류의 스토리지 및 메모리를 포함한다.
제2프로세서(226)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC로 구현될 수도 있다.
이러한 환경 하에서, 예를 들어 제1디스플레이장치(210)는 소정의 컨텐트영상을 표시하는 동안 제2디스플레이장치(220)로부터 영상 표시를 위한 컨텐트 전송의 요청을 수신할 수 있다. 이러한 경우의 제1디스플레이장치(210)의 동작에 관해 이하 설명한다.
도 3은 제1디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 3에 도시된 바와 같이, 이하 동작은 제1디스플레이장치의 제1프로세서에 의해 수행된다.
310 단계에서 제1디스플레이장치는 하나 이상의 소정 컨텐트의 영상을 표시한다.
320 단계에서 제1디스플레이장치는 외부장치, 즉 제2디스플레이장치로부터 영상데이터의 전송 요청을 수신한다.
330 단계에서 제1디스플레이장치는 전송 요청에 응답하여, 외부장치에 전송할 컨텐트의 선택이 필요한지 여부를 식별한다. 예를 들면, 제1디스플레이장치는 현재 표시중인 화면의 상태 또는 하나 이상의 컨텐트의 현재 처리 상태에 기초하여, 전송 요청에 응답하여 외부장치에 제공 가능한 컨텐트가 단일인지 (즉, 외부장치에 제공할 컨텐트의 선택이 불필요한지), 아니면 전송 요청에 응답하여 외부장치에 제공 가능한 컨텐트가 복수인지 (즉, 외부장치에 제공할 컨텐트의 선택이 필요한지) 여부를 식별한다.
전송 요청에 응답할 컨텐트의 선택이 필요하다고 식별되면, 340 단계에서 제1디스플레이장치는 선택이 필요하다고 식별된 복수의 컨텐트에 관한 정보를 외부장치에 전송한다.
350 단계에서 제1디스플레이장치는 상기 정보가 지시하는 복수의 컨텐트 중 어느 하나의 선택 결과를 외부장치로부터 수신한다. 예를 들면, 외부장치는 제1디스플레이장치로부터 수신된 정보가 지시하는 복수의 컨텐트 정보 중 어느 하나를 사용자가 선택하도록 UI를 표시하며, 해당 UI를 통해 선택된 컨텐트의 식별정보를 제1디스플레이장치에 통지한다.
360 단계에서 제1디스플레이장치는 외부장치에서 선택된 컨텐트의 영상데이터를 외부장치로 전송한다.
반면에, 전송 요청에 응답할 컨텐트의 선택이 필요하지 않다고 식별되면, 370 단계에서 제1디스플레이장치는 표시중인 영상의 영상데이터를 외부장치에 전송한다.
이와 같이, 제1디스플레이장치는 현재 화면 상에 표시중인 영상 중에서, 제2디스플레이장치의 사용자가 원하는 컨텐트의 영상이 제2디스플레이장치에서 표시되도록 할 수 있다.
한편, 제1디스플레이장치 또는 전자장치의 프로세서는 상기와 같이 외부장치로부터의 영상데이터의 전송 요청에 응답하여 컨텐트의 선택이 필요한지 여부를 식별하고, 컨텐트의 선택이 필요하다고 식별되는 것에 기초하여 외부장치로부터의 사용자 입력에 따라서 선택된 컨텐트의 영상데이터를 외부장치에 전송하고, 컨텐트의 선택이 필요하지 않다고 식별되는 것에 기초하여 현재 표시되는 영상의 영상데이터를 외부장치에 전송하는 동작을 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
일 예로, 전자장치의 프로세서는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 전자장치의 저장부 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 전자장치의 저장부 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.
이하, 제1디스플레이장치가 수행하는 상기한 방법의 구체적인 동작 예시에 관해 설명한다.
도 4는 제1디스플레이장치가 멀티뷰 화면을 표시하는 동안 제2디스플레이장치에서 UI 버튼이 클릭되는 경우를 나타내는 예시도이다.
도 4에 도시된 바와 같이, 제1디스플레이장치(410) 및 제2디스플레이장치(420)가 상호 통신 가능하게 연결되는 동안, 제1디스플레이장치(410)는 화면 상에 하나 이상의 컨텐트에 의한 하나 이상의 컨텐트영상(411, 412, 413)을 표시할 수 있다. 본 실시예에서는 제1디스플레이장치(410)가 화면이 피봇 회전하지 않는 TV인 것으로 나타내고 있으나, 화면의 피봇 회전이 가능한 디스플레이장치일 수도 있다.
제1디스플레이장치(410)가 표시하는 화면의 상태는, 화면에 표시되는 컨텐트영상(411, 412, 413)의 개수에 따라서 싱글뷰 화면과 멀티뷰 화면으로 구분될 수 있다. 멀티뷰 화면은 본 도면에 나타난 바와 같이, 하나의 화면 상에 복수의 컨텐트에 의한 복수의 컨텐트영상(411, 412, 413)이 표시되고 있는 경우이다. 본 실시예에서 제1디스플레이장치(410)의 화면 상태는 하나의 화면 상에 제1컨텐트영상(411), 제2컨텐트영상(412), 제3컨텐트영상(413)을 표시하는, 멀티뷰를 나타내고 있다.
싱글뷰 화면은 하나의 화면 상에 하나의 컨텐트에 의한 하나의 컨텐트영상만이 표시되고 있는 경우이다. 예를 들어 제1디스플레이장치(410)가 복수의 컨텐트영상(411, 412, 413) 중 어느 하나만을 화면에 표시하고 있는 경우라면, 제1디스플레이장치(410)의 화면 상태가 싱글뷰라고 볼 수 있다.
제1디스플레이장치(410)는 멀티뷰 화면을 구현하기 위해, 복수의 컨텐트의 영상데이터를 병렬적으로 처리할 수 있다. 예를 들면, 제1디스플레이장치(410)는 복수의 디코더를 구비하고, 복수의 컨텐트의 영상데이터를 개별적으로 각 디코더가 디코딩하고, 개별적으로 디코딩된 복수의 영상데이터를 하나의 화면으로 믹싱하여, 표시될 최종 화면을 구현한다. 제1디스플레이장치(410)의 복수의 디코더는, 예를 들면 복수의 하드웨어 디코더를 포함할 수 있고, 하나 이상의 하드웨어 디코더 및 하나 이상의 소프트웨어 디코더를 포함할 수도 있다.
이러한 상태에서, 제2디스플레이장치(420)는 제1디스플레이장치(410)에 영상데이터의 전송 요청을 전송할 수 있다. 이러한 전송 요청은, 예를 들면 특정한 컨텐트를 지정할 수 있다. 이 경우에, 제1디스플레이장치(410)는 전송 요청이 지정하는 컨텐트의 영상데이터를 제2디스플레이장치(420)에 전송한다.
그런데, 이러한 전송 요청이 특정한 컨텐트를 지정하는 것이 아니고, 제1디스플레이장치(410)의 영상의 표시 상태, 또는 제1디스플레이장치(410)의 컨텐트의 처리 상태 등에 따라서 컨텐트를 요청하는 것일 수도 있다. 본 실시예에서는 이러한 경우에 관해 설명한다.
제2디스플레이장치(420)가 본 전송 요청을 생성하는 방법은 여러 가지 방식이 가능하다. 예를 들면, 제2디스플레이장치(420)가 터치스크린이 구비된 디스플레이를 포함하는 경우에, 디스플레이 상에 본 전송 요청의 생성을 지시하기 위한 UI 버튼(421)을 표시한다. 제2디스플레이장치(420)는 표시된 UI 버튼(421)을 사용자가 터치하는 것으로 감지되면, 본 전송 요청을 제1디스플레이장치(410)에 전송한다.
이하, 제2디스플레이장치(420)로부터 수신되는 요청에 대응하는 제1디스플레이장치(410)의 동작에 관해 설명한다.
도 5는 제1디스플레이장치가 제2디스플레이장치로부터의 요청에 응답하여 컨텐트의 선택 옵션의 UI를 제공하는 동작을 나타내는 예시도이다.
도 5에 도시된 바와 같이, 제1디스플레이장치(410)는 제2디스플레이장치(420)로부터 영상데이터의 전송 요청을 수신하면, 제1디스플레이장치(410)의 화면의 현재 표시 상태를 식별한다. 예를 들어 제1디스플레이장치(410)가 현재 제1컨텐트영상(411), 제2컨텐트영상(412), 제3컨텐트영상(413)의 복수의 컨텐트영상을 함께 표시하는 멀티뷰 화면일 수 있다.
화면 상태가 식별되면, 제1디스플레이장치(410)는 화면에 표시되는 각 컨텐트영상(411, 412, 413)의 컨텐트를 식별한다. 예를 들어 복수의 컨텐트영상(411, 412, 413)의 컨텐트가 각각 제1컨텐트, 제2컨텐트, 제3컨텐트라고 할 때, 제1디스플레이장치(410)는 제1컨텐트, 제2컨텐트, 제3컨텐트 중 어느 하나를 선택할 수 있도록 옵션을 제공하는 UI(500)에 관한 정보를 생성하고, 해당 정보를 제2디스플레이장치(420)에 전송한다.
제2디스플레이장치(420)는 해당 정보에 기초하여 UI(500)를 표시한다. 본 UI(500)는 예를 들면 각 컨텐트의 식별명을 텍스트로 나타낼 수 있다. 그러나, UI(500)의 역할은 제1디스플레이장치(410)에 의해 식별된 복수의 컨텐트 중 하나를 선택 가능하도록 제공하기 위한 것으로서, 그 형식은 한정되지 않는다. 제2디스플레이장치(420)가 표시하는 UI의 다른 예시에 관해서는 후술한다.
제2디스플레이장치(420)는 표시된 UI(500)를 통해 사용자로부터 어느 하나의 컨텐트를 선택하는 입력을 수신하면, 선택된 컨텐트를 식별하기 위한 컨텐트 선택 정보를 제1디스플레이장치(410)에 전송한다.
본 실시예에서는 제1디스플레이장치(410)가 UI(500)를 생성하여 제2디스플레이장치(420)에 제공하는 예시에 관해 설명하였으나, 제1디스플레이장치(410)가 UI(500)를 생성하지 않을 수도 있다. 예를 들면, 제1디스플레이장치(410)는 식별된 복수의 컨텐트에 관한 정보를 제2디스플레이장치(420)에 제공하면, 제2디스플레이장치(420)가 해당 정보에 기초하여 UI(500)를 생성할 수도 있다.
복수의 컨텐트에 관한 정보는, 복수의 컨텐트 각각에 대한 식별정보로서 타이틀 정보, 썸네일 이미지를 포함할 수 있고, 복수의 컨텐트 각각에 대한 제1디스플레이장치에서의 표시 위치에 대한 정보를 포함할 수 있다.
이하, 제2디스플레이장치(420)가 표시하는 UI의 다른 예시에 관해 설명한다.
도 6은 제1디스플레이장치가 제2디스플레이장치로부터의 요청에 응답하여 제공하는 컨텐트의 선택 옵션의 UI의 다른 예시를 나타내는 예시도이다.
도 6에 도시된 바와 같이, 제1디스플레이장치(410)는 제2디스플레이장치(420)로부터 영상데이터의 전송 요청을 수신하면, 제1디스플레이장치(410)의 화면의 현재 표시 상태를 식별하여, 식별 결과에 따라서 복수의 컨텐트를 선택하도록 하는 UI(600)를 제2디스플레이장치(420)에 제공한다. 제2디스플레이장치(420)는 표시된 UI(600)를 통해 컨텐트 선택에 관한 사용자 입력을 수신한다.
UI(600)는 제1디스플레이장치(410)에 표시되고 있는 제1컨텐트영상(411), 제2컨텐트영상(412), 제3컨텐트영상(413)을 포함하는 화면 상태를 이미지화시킨 그래픽 정보를 포함한다. UI(600)는 제1디스플레이장치(410)의 화면이 그대로 캡쳐된 이미지를 포함하거나, 제1디스플레이장치(410)의 화면에 표시되고 있는 각 컨텐트영상의 기 설정된 썸네일 이미지를 포함하거나, 제1디스플레이장치(410)의 화면 내 각 컨텐트영상의 위치 및 크기에 대응하도록 배열된 복수의 그래픽 오브젝트를 포함할 수 있다. 이와 같이, UI(600)는 화면의 캡쳐된 이미지, 각 컨텐트영상에 대응하는 오브젝트 또는 아이콘, 각 컨텐트영상의 썸네일 이미지, 각 컨텐트의 식별명 등 다양한 형식으로 구현될 수 있다.
제2디스플레이장치(420)는 표시된 UI(600)를 통해 사용자로부터 어느 하나의 컨텐트를 선택하는 입력을 수신하면, 선택된 컨텐트를 식별하기 위한 컨텐트 선택 정보를 제1디스플레이장치(410)에 전송한다.
이하, 제2디스플레이장치(420)로부터 수신되는 컨텐트 선택 정보에 대한 제1디스플레이장치(410)의 동작에 관해 설명한다.
도 7은 제1디스플레이장치가 선택된 컨텐트의 영상데이터를 제2디스플레이장치에 제공하는 경우를 나타내는 예시도이다.
도 7에 도시된 바와 같이, 제1디스플레이장치(410)는 제2디스플레이장치(420)로부터 복수의 컨텐트 중 어느 한 컨텐트의 선택을 나타내는 컨텐트 선택 정보를 수신하면, 해당 정보가 지시하는 컨텐트의 영상데이터를 제2디스플레이장치(420)에 전송한다. 예를 들어 제1디스플레이장치(410)가 제1컨텐트영상(411), 제2컨텐트영상(412), 제3컨텐트영상(413)을 포함하는 멀티뷰 화면을 표시하고 있고, 복수의 컨텐트영상(411, 412, 413) 중에서 제3컨텐트영상(413)의 제3컨텐트가 제2디스플레이장치(420)의 사용자에 의해 선택되었다고 가정한다.
이에, 제1디스플레이장치(410)는 제3컨텐트의 영상데이터를 제2디스플레이장치(420)에 전송한다. 제2디스플레이장치(420)는 제1디스플레이장치(410)로부터 수신되는 영상데이터를 처리하여 화면 상에 제3컨텐트영상(700)을 표시한다.
이와 같은 동작의 결과, 제1디스플레이장치(410)에 표시되는 화면은 제2디스플레이장치(420)에 표시되는 화면과 상이하게 나타난다. 제1디스플레이장치(410)는 제1컨텐트의 제1컨텐트영상(411), 제2컨텐트의 제2컨텐트영상(412), 제3컨텐트의 제3컨텐트영상(413)을 포함하는 멀티뷰 화면을 표시하는 것에 비해, 제2디스플레이장치(420)는 제3컨텐트의 제3컨텐트영상(700)을 포함하는 싱글뷰 화면을 표시한다. 이와 같이, 제2디스플레이장치(420)는 제1디스플레이장치(410)의 표시 화면과 동일한 화면을 표시하는 것이 아닌, 사용자가 선택한 특정 컨텐트영상(700)만이 표시되도록 할 수 있다.
예를 들어 TV(410)에 표시되는 컨텐트영상(411, 412, 413)이 표시되고 있는 동안, 사용자가 모바일기기(420)에서 어느 한 컨텐트영상(413)만을 따로 시청하고 싶을 수도 있다. 본 실시예에 따른 TV(410)는 표시중인 화면 전체의 영상데이터가 아닌, 사용자가 선택한 컨텐트영상(413)의 영상데이터를 모바일기기(420)에 제공한다. 이로써, 사용자는 모바일기기(420)에서 사용자가 원하는 컨텐트의 컨텐트영상(700)만을 시청할 수 있다.
한편, 제1디스플레이장치(410)가 다양한 종류의 프로토콜에 기반하여 제2디스플레이장치(420)에 컨텐트의 영상데이터를 전송할 수 있다. 예를 들면, 제1디스플레이장치(410)는 제1컨텐트, 제2컨텐트, 제3컨텐트 각각의 영상데이터를 디코딩하여 버퍼링하고, 버퍼링되는 각각의 영상데이터를 믹싱하여 제1디스플레이장치(410)의 화면 상에 표시한다. 이 때, 제1디스플레이장치(410)는 버퍼링중인 제3컨텐트영상(413)의 영상데이터를 제2디스플레이장치(420)에 전송할 수 있다.
또는, 제1디스플레이장치(410)는 디코딩되지 않은 컨텐트의 영상데이터를 제2디스플레이장치(420)에 전송할 수도 있다. 이러한 방식은 캐스트 방식이라고 지칭된다. 캐스트 방식의 경우에, 제1디스플레이장치(410)에 표시되는 컨텐트영상(413) 및 제2디스플레이장치(420)에 표시되는 컨텐트영상(700)은 동일한 컨텐트의 영상데이터에 기반하지만, 컨텐트의 영상데이터에 대해 수행되는 디코딩을 비롯한 영상처리는 각 디스플레이장치(410, 420)에서 독립적으로 수행된다.
또는, 제1디스플레이장치(410)는 컨텐트의 영상데이터를 제2디스플레이장치(420)에 제공하지 않고, 영상데이터를 획득할 수 있는 영상데이터의 주소 정보(예를 들면, 영상데이터가 저장된 서버의 URL 정보)를 제2디스플레이장치(420)에 제공할 수도 있다. 이 경우에, 제2디스플레이장치(420)는 제공받은 주소 정보에 억세스하여 서버로부터 영상데이터를 수신한다.
이와 같이, 제1디스플레이장치(410)는 선택된 컨텐트의 영상데이터를 다양한 방법을 통해 제2디스플레이장치(420)에 제공되도록 할 수 있다.
한편, 앞선 실시예에서는 제1디스플레이장치(410)가 멀티뷰 화면을 표시하는 동안에 제2디스플레이장치(420)로부터 영상데이터의 전송 요청을 수신하는 경우에 관해 설명하였다. 이하, 제1디스플레이장치(410)가 싱글뷰 화면을 표시하는 동안에 제2디스플레이장치(420)로부터 영상데이터의 전송 요청을 수신하는 경우에 관해 설명한다.
도 8은 제1디스플레이장치가 싱글뷰 화면을 표시하는 동안 제2디스플레이장치에서 UI 버튼이 클릭되는 경우를 나타내는 예시도이다.
도 8에 도시된 바와 같이, 제1디스플레이장치(410) 및 제2디스플레이장치(420)가 상호 통신 가능하게 연결되는 동안, 제1디스플레이장치(410)는 화면 상에 단일 컨텐트에 의한 단일 컨텐트영상(800)을 표시할 수 있다. 즉, 본 실시예에서 제1디스플레이장치(410)는 싱글뷰 화면을 표시하는 상태이다.
제2디스플레이장치(420)는 사용자 입력에 따라서 영상데이터의 전송 요청을 제1디스플레이장치(410)에 전송한다. 예를 들면, 기 표시된 UI 버튼(421)을 사용자가 터치하는 것으로 감지되면, 제2디스플레이장치(420)는 본 전송 요청을 제1디스플레이장치(410)에 전송한다.
제1디스플레이장치(410)는 제2디스플레이장치(420)로부터 영상데이터의 전송 요청이 수신되면, 제1디스플레이장치(410)의 화면의 현재 표시 상태를 식별한다. 이하, 제2디스플레이장치(420)로부터의 요청에 대응하는 제1디스플레이장치(410)의 동작에 관해 설명한다.
도 9는 제1디스플레이장치가 싱글뷰 화면을 표시하는 동안 수신된 요청에 응답하여 영상데이터를 제공하는 경우를 나타내는 예시도이다.
도 9에 도시된 바와 같이, 제1디스플레이장치(410)는 제2디스플레이장치(420)로부터 수신되는 영상데이터의 전송 요청에 응답하여, 제1디스플레이장치(410)의 화면의 현재 표시 상태를 식별한다. 제1디스플레이장치(410)는 단일 컨텐트영상(800)을 포함하는 싱글뷰 화면을 표시하고 있으므로, 복수의 컨텐트 중 어느 하나를 선택할 필요가 없다. 제1디스플레이장치(410)는 현재 표시중인 컨텐트영상(800)의 컨텐트를 식별하고, 식별한 컨텐트의 영상데이터를 제2디스플레이장치(420)에 전송한다.
이 때, 제1디스플레이장치(410)는 다양한 전송 프로토콜에 기반하여 영상데이터를 전송할 수 있다. 예를 들면 제1디스플레이장치(410)는 제2디스플레이장치(420)에 디코딩된 영상데이터를 전송하거나, 디코딩되지 않은 영상데이터를 전송하거나, 또는 영상데이터를 획득할 수 있는 주소 정보를 전송할 수 있다. 이에 관해서는 앞선 실시예에서 설명한 바 있으므로, 자세한 설명을 생략한다.
제2디스플레이장치(420)는 제1디스플레이장치(410)에서 수신되는 영상데이터를 처리하여 컨텐트영상(900)을 표시한다. 컨텐트영상(900)은 제1디스플레이장치(410)에 표시되고 있는 컨텐트영상(800)과 동일한 컨텐트에 기반한다.
이하, 제1디스플레이장치(410) 및 제2디스플레이장치(420) 사이에서 수행되는 동작들의 시퀀스에 관해 설명한다.
도 10은 제1디스플레이장치 및 제2디스플레이장치 사이에서 수행되는 동작들의 시퀀스를 나타내는 예시도이다.
도 10에 도시된 바와 같이, 하기 동작들은 제1디스플레이장치(1001)의 제1프로세서 또는 제2디스플레이장치의 제2프로세서에 의해 각기 수행된다.
1010 단계에서 제1디스플레이장치(1001)는 화면에 영상을 표시한다. 본 화면은 멀티뷰 화면 및 싱글뷰 화면 중 어느 하나의 상태를 나타낸다.
1015 단계에서 제2디스플레이장치(1002)는 제1사용자입력을 수신한다.
1016 단계에서 제2디스플레이장치(1002)는 제1사용자입력에 따라서 제1디스플레이장치에 영상데이터의 전송 요청을 전송한다.
1020 단계에서 제1디스플레이장치(1001)는 제2디스플레이장치(1002)로부터의 전송 요청에 응답하여, 제1디스플레이장치(1001)의 화면의 현재 표시 상태를 식별한다. 예를 들어, 제1디스플레이장치(1001)는 현재 표시 화면의 상태가 멀티뷰인지 아니면 싱글뷰인지 여부를 식별한다.
화면 상태가 싱글뷰이면, 1030 단계에서 제1디스플레이장치(1001)는 현재 표시중인 단일 영상의 영상데이터를 제2디스플레이장치(1002)에 전송한다. 이후, 제2디스플레이장치(1002)는 1055 단계로 이행한다.
화면 상태가 멀티뷰이면, 1040 단계에서 제1디스플레이장치(1001)는 현재 표시중인 복수 영상의 복수의 컨텐트의 선택 옵션에 관한 정보를 제2디스플레이장치(1002)에 전송한다.
1045 단계에서 제2디스플레이장치(1002)는 제1디스플레이장치(1001)로부터 수신되는 정보에 기초하여, 복수의 컨텐트를 선택하기 위한 UI를 표시한다.
1046 단계에서 제2디스플레이장치(1002)는 UI를 통해 어느 한 컨텐트를 선택하는 제2사용자입력을 수신한다.
1047 단계에서 제2디스플레이장치(1002)는 제2사용자입력에 따른 컨텐트의 선택 정보를 제1디스플레이장치(1001)에 전송한다.
1050 단계에서 제1디스플레이장치(1001)는 제2디스플레이장치(1002)로부터 수신된 선택 정보가 지시하는 컨텐트의 영상데이터를 제2디스플레이장치(1002)에 전송한다.
1055 단계에서 제2디스플레이장치(1002)는 제1디스플레이장치(1001)로부터 수신되는 영상데이터를 처리하여 영상을 표시한다.
한편, 앞선 실시예에서는 제2디스플레이장치(1002)에서 발생하는 최초 사용자 입력(예를 들면, 도 4의 버튼(421)을 사용자가 터치하는 경우)에 따라서 제1디스플레이장치(1001)가 영상데이터를 제공하는 경우에 관해 설명하였다. 그러나, 설계 방식에 따라서는 제1디스플레이장치(1001)에서 최초 사용자 입력이 발생하는 경우도 가능하다. 이하, 이러한 실시예에 관해 설명한다.
도 11은 제1디스플레이장치에서 화면 상에 사용자가 컨텐트영상을 선택한 경우의 동작을 나타내는 예시도이다.
도 11에 도시된 바와 같이, 제1디스플레이장치(1110) 및 제2디스플레이장치(1120)는 통신 가능하게 연결된다. 제1디스플레이장치(1110)는 제1컨텐트영상(1111), 제2컨텐트영상(1112), 제3컨텐트영상(1113)을 포함하는 멀티뷰 화면을 표시한다.
이러한 상태에서, 사용자는 제1디스플레이장치(1110)의 화면 상에 표시된 복수의 컨텐트영상(1111, 1112, 1113) 중에서 어느 하나의 컨텐트영상(1113)을 선택할 수 있다. 사용자가 어느 하나의 컨텐트영상(1113)을 선택하는 방법은 한정되지 않으며, 제1디스플레이장치(1110)가 터치스크린 구조를 포함하는 경우에는 사용자가 화면 상의 컨텐트영상(1113)을 직접 터치하는 방식이 가능하고, 또는 제1디스플레이장치(1110)에 구비된 리모트 컨트롤러를 사용자가 조작하여 컨텐트영상(1113)을 선택할 수도 있다.
제1디스플레이장치(1110)는 어느 하나의 컨텐트영상(1113)이 선택되면, 해당 컨텐트영상(1113)의 컨텐트를 식별하고, 식별된 컨텐트의 영상데이터를 제2디스플레이장치(1120)에 전송한다. 예를 들어 제3컨텐트영상(1113)이 선택되면, 제1디스플레이장치(1110)는 제3컨텐트영상(1113)의 제3컨텐트를 식별하고, 제3컨텐트의 영상데이터를 제2디스플레이장치(1120)에 전송한다.
제3컨텐트가 식별되었을 때, 제1디스플레이장치(1110)는 제3컨텐트에 대한 다음 동작의 지시를 요청하는 UI를 추가로 표시할 수도 있다. 예를 들면, 제1디스플레이장치(1110)는 사용자가 제3컨텐트영상(1113)을 터치하면, 화면 상에 제3컨텐트에 대한 처리 옵션을 포함하는 UI를 표시한다. 제1디스플레이장치(1110)는 UI를 통해 제3컨텐트를 제2디스플레이장치(1120)에 제공하도록 지시하는 사용자입력을 수신하면, 제3컨텐트의 영상데이터를 제2디스플레이장치(1120)에 전송한다.
제2디스플레이장치(1120)는 제1디스플레이장치(1110)로부터 수신되는 영상데이터를 처리하여 화면 상에 컨텐트영상(1121)을 표시한다. 이 과정에서, 제2디스플레이장치(1120)는 영상데이터를 수신할지 여부에 관한 지시를 요청하는 UI를 추가로 표시한다. 제2디스플레이장치(1120)는 UI를 통해 수신 허가를 지시하는 사용자입력을 수신하면, 제1디스플레이장치(1110)로부터의 영상데이터를 수신한다.
이와 같이, 제1디스플레이장치(1110)에서 어느 하나의 컨텐트영상(1113)이 선택되면, 제1디스플레이장치(1110)는 선택 결과에 따라서 대응 컨텐트의 영상데이터를 제2디스플레이장치(1120)에 전송할 수 있다.
한편, 앞서 설명한 실시예들에 따르면, 제1디스플레이장치는 복수의 제2디스플레이장치에 서로 상이한 컨텐트영상이 동시에 표시되도록 할 수 있다. 이하, 이러한 실시예에 관해 설명한다.
도 12는 제1디스플레이장치가 복수의 외부장치에 각기 상이한 영상데이터를 제공하는 경우를 나타내는 예시도이다.
도 12에 도시된 바와 같이, 제1디스플레이장치(1210)는 복수의 외부장치(1220, 1230, 1240), 예를 들면 제2디스플레이장치(1220), 제3디스플레이장치(1230), 제4디스플레이장치(1240)와 각기 통신을 수행한다. 제2디스플레이장치(1220), 제3디스플레이장치(1230), 제4디스플레이장치(1240) 각각은 개별적으로 제1디스플레이장치(1210)에 대해 영상데이터의 전송 요청을 보낼 수 있다. 제1디스플레이장치(1210)는 수신되는 각각의 전송 요청에 응답하여 동작한다. 제1디스플레이장치(1210)의 동작에 관해서는 앞선 실시예에서 이미 설명한 바 있으므로, 더 이상의 설명을 생략한다.
예를 들어 제1디스플레이장치(1210)가 제1컨텐트영상(1211), 제2컨텐트영상(1212), 제3컨텐트영상(1213)을 포함하는 멀티뷰 화면을 표시하는 동안, 제2디스플레이장치(1220)가 제3컨텐트영상(1213)의 제3컨텐트를, 제3디스플레이장치(1230)가 제1컨텐트영상(1211)의 제1컨텐트를, 제4디스플레이장치(1240)가 제2컨텐트영상(1212)의 제2컨텐트를 각각 선택한 경우를 고려한다.
제1디스플레이장치(1210)는 각 선택에 대응하여, 제2디스플레이장치(1220)에 제3컨텐트의 영상데이터를, 제3디스플레이장치(1230)에 제1컨텐트의 영상데이터를, 제4디스플레이장치(1240)에 제2컨텐트의 영상데이터를 각각 전송한다.
이에, 제2디스플레이장치(1220)는 제3컨텐트영상(1221)을, 제3디스플레이장치(1230)는 제1컨텐트영상(1231)을, 제4디스플레이장치(1240)는 제2컨텐트영상(1241)을 각기 표시할 수 있다. 결과적으로, 제2디스플레이장치(1220), 제3디스플레이장치(1230), 제4디스플레이장치(1240)는, 제1디스플레이장치(1210)에 표시되는 제1컨텐트영상(1211), 제2컨텐트영상(1212), 제3컨텐트영상(1213)을 각기 분할하여 표시할 수 있다.
한편, 제1디스플레이장치로부터 제2디스플레이장치에 미러링 화면을 제공하는 동안, 제2디스플레이장치에서 미러링 화면 내 특정 컨텐트영상이 선택되는 상황도 가능하다. 이러한 상황에서는 앞선 실시예와는 상이한 동작이 수행될 수 있는데, 이하 이러한 실시예에 관해 설명한다.
도 13은 제1디스플레이장치가 제2디스플레이장치에 미러링 화면을 제공하는 모습을 나타내는 예시도이다.
도 13에 도시된 바와 같이, 제1디스플레이장치(1310)가 멀티뷰 화면을 표시하는 동안에, 제1디스플레이장치(1310)는 멀티뷰 화면(1314)의 데이터를 제2디스플레이장치(1320)에 제공함으로써, 제2디스플레이장치(1320)에서 제1디스플레이장치(1310)의 멀티뷰 화면(1314)과 동일한 미러링 화면(1321)이 표시되도록 할 수 있다. 본 실시예에서는 제1디스플레이장치(1310)가 모바일기기이고 제2디스플레이장치(1320)가 TV인 경우에 관해 설명한다. 그러나, 앞선 실시예들에서의 경우와 마찬가지로, 제1디스플레이장치(1310) 및 제2디스플레이장치(1320)는 특정 종류의 기기로 한정되지 않는다.
제1디스플레이장치(1310)는 예를 들면 제1컨텐트영상(1311), 제2컨텐트영상(1312), 제3컨텐트영상(1313)을 포함하는 멀티뷰 화면(1314)을 표시하는 동안, 제1디스플레이장치(1310)에서의 사용자 입력 또는 제2디스플레이장치(1320)의 미러링 요청에 응답하여 멀티뷰 화면(1314)의 데이터를 제2디스플레이장치(1320)에 전송한다. 제1디스플레이장치(1310)는 각 컨텐트의 영상데이터를 디코딩하고, 디코딩된 각 영상데이터를 믹싱함으로써 멀티뷰 화면(1314)을 생성한다. 여기서, 제1디스플레이장치(1310)는 표시를 위해 버퍼링중인 멀티뷰 화면(1314)의 데이터를 제2디스플레이장치(1320)에 전송한다.
제2디스플레이장치(1320)는 제1디스플레이장치(1310)로부터 수신되는 데이터를 처리하여 미러링 화면(1321)을 표시한다. 즉, 제2디스플레이장치(1320)는 각 컨텐트의 디코딩 없이 단지 제1디스플레이장치(1310)로부터의 데이터를 미러링 화면(1321)으로 표시한다. 따라서, 사용자에게는 미러링 화면(1321)이 시각적으로는 멀티뷰 화면(1314)과 동일하게 보인다.
제2디스플레이장치(1320)는 터치입력을 감지할 수 있는 디스플레이를 가진다. 이러한 환경 하에서, 사용자가 제2디스플레이장치(1320)의 미러링 화면(1321) 상에서 제1컨텐트영상에 해당하는 영역을 터치하는 경우를 고려한다. 위에서 설명한 바와 같이 미러링 화면(1321)은 제2디스플레이장치(1320)에서 표시되기는 하지만, 제1디스플레이장치(1310)에서 디코딩 및 믹싱된 화면이다. 따라서, 제2디스플레이장치(1320)는 미러링 화면(1321)의 사용자가 특정 위치를 터치하였다고 하더라도, 사용자가 제1컨텐트영상이 표시되고 있는 위치를 터치하였는지에 관해서는 알 수 없다.
이에, 제2디스플레이장치(1320)는 사용자의 터치가 감지되면, 화면 상에서 해당 터치가 수행된 위치 좌표에 관한 정보를 제1디스플레이장치(1310)에 전송한다. 본 정보는, 제2디스플레이장치(1320)의 전체 화면 상에서 사용자의 터치 입력이 수행된 좌표를 나타낸다. 예를 들면, 본 정보는 전체 화면의 가로픽셀값 및 세로픽셀값과, 이 중에서 터치가 수행된 가로픽셀값 및 세로픽셀값을 포함한다. 또는, 본 정보는 전체 화면의 전체 가로길이 및 전체 세로길이를 각각 100%로 할 때, 터치가 수행된 위치의 좌표를 전체 가로길이 및 전체 세로길이 각각에서 퍼센티지로 나타날 수도 있다.
이하, 제2디스플레이장치(1320)로부터 터치위치 좌표 정보를 수신하였을 때의 제1디스플레이장치(1310)의 동작에 관해 설명한다.
도 14는 제1디스플레이장치가 제2디스플레이장치로부터 터치위치 좌표 정보를 수신한 경우의 동작을 나타내는 예시도이다.
도 14에 도시된 바와 같이, 제1디스플레이장치(1310)는 제2디스플레이장치(1320)로부터 수신되는 터치위치 좌표 정보로부터, 제2디스플레이장치(1320)에서 터치 입력이 발생하였고 또한 화면 상 어느 위치에서 터치가 수행되었는지를 식별하며, 식별 결과에 따라서 다음과 같은 동작을 수행한다.
제1디스플레이장치(1310)는 화면(1314) 상에서 터치위치 좌표 정보가 지시하는 좌표에 대응하는 위치를 식별하고, 화면(1314) 상에 표시된 복수의 컨텐트영상(1311, 1312, 1313) 중에서 식별된 위치에 대응하는 컨텐트영상(1311)을 식별한다.
예를 들어 제1컨텐트영상(1311)이 식별되었다고 할 때, 제1디스플레이장치(1310)는 제1컨텐트영상(1311)의 제1컨텐트를 식별하고, 제1컨텐트의 영상데이터를 제2디스플레이장치(1320)에 전송한다. 이 때, 제1디스플레이장치(1310)는 멀티뷰 화면(1314)의 표시를 계속 유지한다. 여기서, 제1디스플레이장치(1310)는 제1컨텐트의 디코딩된 영상데이터를 전송할 수도 있고, 제1컨텐트의 디코딩되지 않은 파일을 전송할 수도 있다.
제2디스플레이장치(1320)는 제1디스플레이장치(1310)로부터 수신되는 제1컨텐트의 영상데이터에 기초하여, 제1컨텐트영상(1400)을 표시한다. 이와 같이, 제1디스플레이장치(1310)가 멀티뷰 화면(1314)을 표시하는 동안, 제2디스플레이장치(1320)는 멀티뷰 화면(1314) 내의 복수의 컨텐트영상(1311, 1312, 1313) 중에서 어느 한 컨텐트영상(1311)을 선택하여 표시할 수 있다.
이하, 제1디스플레이장치(1310) 및 제2디스플레이장치(1320) 사이에서 수행되는 동작들의 시퀀스에 관해 설명한다.
도 15는 제1디스플레이장치 및 제2디스플레이장치 사이에서 수행되는 동작들의 시퀀스를 나타내는 예시도이다.
도 15에 도시된 바와 같이, 하기 동작들은 제1디스플레이장치(1501)의 제1프로세서 또는 제2디스플레이장치의 제2프로세서에 의해 각기 수행된다.
1510 단계에서 제1디스플레이장치(1501)는 복수의 컨텐트영상을 포함하는 멀티뷰 화면을 표시한다.
1520 단계에서 제1디스플레이장치(1501)는 멀티뷰 화면의 데이터를 제2디스플레이장치(1502)에 전송한다.
1525 단계에서 제2디스플레이장치(1502)는 제1디스플레이장치(1501)로부터 수신되는 멀티뷰 화면의 데이터에 기반하여, 해당 멀티뷰 화면의 미러링 화면을 표시한다.
1526 단계에서 제2디스플레이장치(1502)는 미러링 화면 상에서 수행되는 사용자 터치입력을 감지한다.
1527 단계에서 제2디스플레이장치(1502)는 터치입력이 수행된 화면 상의 위치를 나타내는 좌표 정보를 제1디스플레이장치(1501)에 전송한다.
1530 단계에서 제1디스플레이장치(1501)는 제1디스플레이장치(1501)로부터의 좌표 정보에 대응하는 화면 상의 위치를 식별한다.
1540 단계에서 제1디스플레이장치(1501)는 복수의 컨텐트영상 중 식별된 위치에 대응하는 컨텐트영상을 식별한다.
1550 단계에서 제1디스플레이장치(1501)는 식별된 컨텐트영상의 컨텐트를 식별한다.
1560 단계에서 제1디스플레이장치(1501)는 식별된 컨텐트의 영상데이터를 제2디스플레이장치(1502)에 전송한다.
1565 단계에서 제2디스플레이장치(1502)는 제1디스플레이장치(1501)로부터 수신되는 영상데이터에 기반한 컨텐트영상을 표시한다.
한편, 앞선 실시예들에서는 제1디스플레이장치가 복수의 컨텐트영상을 포함하는 멀티뷰 화면을 표시하고, 제2디스플레이장치가 복수의 컨텐트영상 중 어느 하나를 표시하는 경우에 관해 설명하였다. 그러나, 제1디스플레이장치가 단일 컨텐트영상을 표시하고 있을 때, 제2디스플레이장치가 해당 컨텐트영상 내 특정 영역만을 선택하여 표시하는 구성도 가능하다. 이하, 이러한 실시예에 관해 설명한다.
도 16은 제2디스플레이장치가 제1디스플레이장치에 표시되는 컨텐트영상의 일부 영역을 선택하도록 마련된 UI를 표시하는 경우를 나타내는 예시도이다.
도 16에 도시된 바와 같이, 제1디스플레이장치(1610)는 제2디스플레이장치(1620)와 통신을 수행하며, 화면 상에 소정의 컨텐트영상(1611)을 표시한다. 제1디스플레이장치(1610)는 표시중인 컨텐트영상(1611)의 일부 영역을 선택할 수 있도록 마련된 UI(1621)를 제2디스플레이장치(1620)에 제공함으로써, 제2디스플레이장치(1620)가 UI(1621)를 표시하도록 한다.
여기서, UI(1621)는 제1디스플레이장치(1610)에서의 사용자 입력에 따라서 제1디스플레이장치(1610)가 생성하여 제2디스플레이장치(1620)에 제공하거나, 제2디스플레이장치(1620)로부터의 요청에 응답하여 제1디스플레이장치(1610)가 제2디스플레이장치(1620)에게 제공할 수 있다. 또는, 제1디스플레이장치(1610)가 컨텐트영상에 관한 영상정보를 제2디스플레이장치(1620)에 제공하면, 제2디스플레이장치(1620)가 영상정보를 기반으로 UI(1621)를 생성할 수도 있다.
본 UI(1621)는 컨텐트영상(1611)의 전체 영역 중에서 제2디스플레이장치(1620)의 화면에 표시할 영역을 사용자가 지정할 수 있도록 마련된다. UI(1621)의 구현 방식은 한정되지 않으며, 예를 들면 전체 컨텐트영상(1611)에 대응하는 전체영역(1622)과, 전체영역(1622) 내에서 소정 크기 및 위치의 영역을 선택하도록 마련된 프레임(1623)을 포함할 수 있다. 프레임(1623)은 전체영역(1622) 내에서 이동할 수 있고 그 크기가 가변되도록 마련됨으로써, 사용자가 전체영역(1622) 내 원하는 크기 및 위치의 영역을 지정할 수 있도록 제공된다.
제2디스플레이장치(1620)는 UI(1621)를 통해 사용자에 의해 소정의 영역이 지정되면, 전체영역(1622) 내에서 지정된 영역의 크기 및 위치에 관한 영역정보를 제1디스플레이장치(1610)에 전송한다.
이하, 제2디스플레이장치(1620)로부터의 영역정보에 대응하는 제1디스플레이장치(1610)의 동작에 관해 설명한다.
도 17은 제1디스플레이장치가 제2디스플레이장치로부터의 영역정보에 응답하여 영상데이터를 제공하는 방식을 나타내는 예시도이다.
도 17에 도시된 바와 같이, 제1디스플레이장치(1610)는 제2디스플레이장치(1620)로부터 수신되는 영역정보에 대응하는, 컨텐트영상(1611) 내 지정영역(1612)을 식별한다. 영역정보는 앞서 설명한 바와 같이, 컨텐트영상(1611)에 대응하는 전체영역 내에서 지정된 크기 및 위치에 대응하는 영역에 관한 정보를 포함하므로, 제1디스플레이장치(1610)는 영역정보에 대응하는 지정영역(1612)을 식별할 수 있다.
제1디스플레이장치(1610)는 식별된 지정영역(1612)에 대응하는 영상(1625)이 제2디스플레이장치(1620)에서 표시되도록 한다. 이를 위한 제1디스플레이장치(1610)의 동작은 여러 가지 방법이 가능하다. 한 가지 예시로는, 제1디스플레이장치(1610)는 컨텐트영상(1611)의 표시를 위해 처리되는 영상데이터 중에서 지정영역(1612)에 대응하는 영상데이터를 선별하여 제2디스플레이장치(1620)에 전송한다. 제2디스플레이장치(1620)는 제1디스플레이장치(1610)로부터 수신되는 영상데이터를 별도의 분석 없이 그대로 처리함으로써 영상(1625)을 표시한다.
또 한 가지 예시로는, 제1디스플레이장치(1610)는 컨텐트영상(1611)의 전체 영상데이터와, 컨텐트영상(1611) 내에서 지정영역(1612)을 식별하기 위한 식별정보를 함께 제2디스플레이장치(1620)에 전송한다. 이 경우에, 제2디스플레이장치(1620)는 수신되는 영상데이터 중에서 지정영역(1612)의 식별정보에 대응하는 영상데이터를 식별하고, 식별된 영상데이터의 영상(1625)을 표시한다.
이와 같이, 제1디스플레이장치(1610)가 단일 컨텐트영상(1611)을 표시하는 경우에, 제2디스플레이장치(1620)는 컨텐트영상(1611)의 일부 영역(1612)에 해당하는 영상(1625)을 표시할 수 있다.
한편, 앞선 실시예들에서는 제1디스플레이장치가 화면에 표시하는 컨텐트영상을 대상으로 하는 구성에 관해 설명하였다. 그러나, 제1디스플레이장치가 화면에 영상으로 표시하고 있지 않더라도, 적어도 영상데이터를 디코딩하여 버퍼링하고 있는 경우도 있다. 즉, 설계 방식에 따라서는 제1디스플레이장치의 화면의 표시 상태 뿐만 아니라, 제1디스플레이장치의 영상데이터의 처리 상태도 대상으로 고려될 수 있다. 이하, 이러한 실시예에 관해 설명한다.
도 18은 제1디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 18에 도시된 바와 같이, 이하 동작은 제1디스플레이장치의 제1프로세서에 의해 수행된다.
1810 단계에서 제1디스플레이장치는 하나 이상의 컨텐트의 영상데이터를 처리한다. 예를 들어 제1디스플레이장치는 하나 이상의 컨텐트의 영상데이터를 디코딩하여 버퍼링하되, 영상을 표시할 수도 있고 표시하지 않을 수도 있다.
1820 단계에서 제1디스플레이장치는 외부장치, 즉 제2디스플레이장치로부터 영상데이터의 전송 요청을 수신한다.
1830 단계에서 제1디스플레이장치는 전송 요청에 응답하여, 현재 영상데이터를 처리 중인 컨텐트가 복수인지 (즉, 외부장치에 전송할 컨텐트의 선택이 필요한지) 여부를 식별한다.
현재 영상데이터를 처리 중인 컨텐트가 복수라고 식별되면, 1840 단계에서 제1디스플레이장치는 식별된 복수의 컨텐트에 관한 정보를 외부장치에 전송한다.
1850 단계에서 제1디스플레이장치는 상기 정보가 지시하는 복수의 컨텐트 중 어느 하나의 선택 결과를 외부장치로부터 수신한다. 예를 들면, 외부장치는 제1디스플레이장치로부터 수신된 정보가 지시하는 복수의 컨텐트 정보 중 어느 하나를 사용자가 선택하도록 UI를 표시하며, 해당 UI를 통해 선택된 컨텐트의 식별정보를 제1디스플레이장치에 통지한다.
1860 단계에서 제1디스플레이장치는 외부장치에서 선택된 컨텐트의 영상데이터를 외부장치로 전송한다.
반면에, 현재 영상데이터를 처리 중인 컨텐트가 복수가 아니라고 식별되면, 1870 단계에서 제1디스플레이장치는 처리중인 컨텐트의 영상데이터를 외부장치에 전송한다.
이와 같이, 제1디스플레이장치는 현재 처리중인 컨텐트 중에서, 제2디스플레이장치의 사용자가 원하는 컨텐트의 영상이 제2디스플레이장치에서 표시되도록 할 수 있다.
이상 실시예들에서 설명한 바와 같은 장치의 동작은, 해당 장치에 탑재된 인공지능에 의해 수행될 수 있다. 인공지능은 기계 학습 알고리즘을 활용하여 다양한 제반 시스템에 적용될 수 있다. 인공지능 시스템은 인간 수준 내지는 인간 수준에 버금가는 지능을 구현하는 컴퓨터 시스템으로서, 기계, 장치 또는 시스템이 자율적으로 학습하고 판단하며, 사용 경험의 누적에 기반하여 인식률 및 판단 정확도가 향상되는 시스템이다. 인공지능 기술은 입력되는 데이터들의 특징을 스스로 분류하고 학습하는 알고리즘을 이용한 기계학습 기술 및 알고리즘을 활용하여, 인간의 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
요소 기술들은, 예를 들면 인간의 언어와 문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론 및 예측 기술, 인간의 경험 정보를 지식 데이터로 처리하는 지식 표현 기술, 차량의 자율 주행이나 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 어느 하나를 포함한다.
여기서, 언어적인 이해는 인간의 언어 또는 문자를 인식하고 응용 처리하는 기술로서, 자연어의 처리, 기계 번역, 대화 시스템, 질의 응답, 음성 인식 및 합성 등을 포함한다.
추론 예측은 정보를 판단하여 논리적으로 예측하는 기술로서, 지식 및 확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다.
지식 표현은 인간의 경험 정보를 지식 데이터로 자동화 처리하는 기술로서, 데이터의 생성 및 분류와 같은 지식 구축, 데이터의 활용과 같은 지식 관리 등을 포함한다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, USB 메모리장치와 같은 비휘발성 저장 장치, 또는 예를 들어 RAM, ROM, 플래시메모리, 메모리 칩, 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 본 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어의 기술 분야에서 숙련된 기술자에게 공지되어 사용 가능한 것일 수도 있다. 또는, 본 컴퓨터 프로그램 명령은 컴퓨터 프로그램 프로덕트에 의해 구현될 수도 있다.
210 : 제1디스플레이장치
213 : 제1디스플레이부
216 : 제1프로세서
220 : 제2디스플레이장치
223 : 제2디스플레이부
226 : 제2프로세서

Claims (20)

  1. 전자장치에 있어서,
    디스플레이와,
    통신회로와,
    상기 디스플레이에 영상을 표시하고,
    상기 통신회로를 통해 외부장치로부터 영상데이터의 전송 요청을 수신하고,
    상기 요청에 응답할 컨텐트의 선택이 필요한지 여부를 식별하고,
    상기 컨텐트의 선택이 필요하다고 식별되는 것에 기초하여 상기 외부장치로부터 수신되는 사용자 입력에 따라서 선택된 컨텐트의 영상데이터를 상기 통신회로를 통해 상기 외부장치로 전송하고,
    상기 컨텐트의 선택이 필요하지 않다고 식별되는 것에 기초하여 상기 디스플레이에 표시되는 영상의 영상데이터를 상기 통신회로를 통해 상기 외부장치로 전송하는 프로세서를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 복수의 컨텐트에 의한 영상을 포함하는 멀티뷰 화면이 표시되는 것에 기초하여 상기 컨텐트의 선택이 필요하다고 식별하고,
    상기 디스플레이에 단일 컨텐트에 의한 영상을 포함하는 싱글뷰 화면이 표시되는 것에 기초하여 상기 컨텐트의 선택이 필요하지 않다고 식별하는 전자장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 통신회로를 통해 상기 선택이 필요하다고 식별된 복수의 컨텐트의 정보를 상기 외부장치로 전송하고, 상기 통신회로를 통해 상기 외부장치로부터 상기 사용자 입력에 따라서 선택된 컨텐트의 정보를 수신하는 전자장치.
  4. 제1항에 있어서,
    상기 프로세서는, 상기 디스플레이에 상기 영상으로 표시되도록 버퍼링되는 상기 선택된 컨텐트의 영상데이터를 상기 외부장치에 전송하는 전자장치.
  5. 제1항에 있어서,
    상기 선택된 컨텐트의 영상데이터 파일을 저장하는 저장부를 더 포함하며,
    상기 프로세서는, 상기 저장부에 저장된 상기 선택된 컨텐트의 영상데이터 파일을 상기 외부장치에 전송하는 전자장치.
  6. 제1항에 있어서,
    상기 프로세서는, 상기 선택된 컨텐트의 영상데이터를 저장하는 서버의 주소 정보를 상기 외부장치에 전송하는 전자장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 표시되는 복수의 컨텐트에 의한 영상의 미러링 화면이 상기 외부장치에 제공되는 동안에, 상기 외부장치의 화면 상의 터치 위치를 나타내는 좌표정보를 포함하는 상기 사용자 입력을 수신하고,
    상기 좌표정보에 대응하는 상기 디스플레이 상의 위치를 식별하고,
    상기 복수의 컨텐트 중 상기 식별된 위치에 대응하는 컨텐트를 식별하는 전자장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 표시되는 영상의 일부 영역을 지정하는 영역정보를 상기 외부장치로부터 수신하는 것에 기초하여, 상기 영역정보에 의해 지정된 상기 일부 영역이 상기 외부장치에 표시되도록 처리하는 전자장치.
  9. 제8항에 있어서,
    상기 프로세서는, 상기 디스플레이에 표시되는 영상의 영상데이터 중 상기 일부 영역에 대응하는 영상데이터를 선별하여 상기 외부장치에 전송하는 전자장치.
  10. 제8항에 있어서,
    상기 프로세서는, 상기 디스플레이에 표시되는 영상데이터 및 상기 영상데이터에서 상기 일부 영역을 식별하기 위한 식별정보를 상기 외부장치에 전송하는 전자장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 표시 가능하도록 처리중인 컨텐트가 복수이면 상기 컨텐트의 선택이 필요하다고 식별하고,
    상기 처리중인 복수의 컨텐트 중 어느 하나를 선택하도록 상기 처리중인 복수의 컨텐트의 정보를 상기 외부장치로 전송하는 전자장치.
  12. 전자장치의 제어방법에 있어서,
    영상을 표시하는 단계와,
    외부장치로부터 영상데이터의 전송 요청을 수신하는 단계와,
    상기 요청에 응답할 컨텐트의 선택이 필요한지 여부를 식별하는 단계와,
    상기 컨텐트의 선택이 필요하다고 식별되는 것에 기초하여 상기 외부장치로부터 수신되는 사용자 입력에 따라서 선택된 컨텐트의 영상데이터를 상기 외부장치로 전송하는 단계와,
    상기 컨텐트의 선택이 필요하지 않다고 식별되는 것에 기초하여 상기 표시되는 영상의 영상데이터를 상기 외부장치로 전송하는 단계를 포함하는 전자장치의 제어방법.
  13. 제12항에 있어서,
    상기 디스플레이장치에 복수의 컨텐트에 의한 영상을 포함하는 멀티뷰 화면이 표시되는 것에 기초하여 상기 컨텐트의 선택이 필요하다고 식별하고,
    상기 디스플레이장치에 단일 컨텐트에 의한 영상을 포함하는 싱글뷰 화면이 표시되는 것에 기초하여 상기 컨텐트의 선택이 필요하지 않다고 식별하는 전자장치의 제어방법.
  14. 제12항에 있어서,
    상기 선택이 필요하다고 식별된 복수의 컨텐트의 정보를 상기 외부장치로 전송하고, 상기 외부장치로부터 상기 사용자 입력에 따라서 선택된 컨텐트의 정보를 수신하는 전자장치의 제어방법.
  15. 제12항에 있어서,
    상기 디스플레이에 상기 영상으로 표시되도록 버퍼링되는 상기 선택된 컨텐트의 영상데이터를 상기 외부장치에 전송하는 전자장치의 제어방법.
  16. 제12항에 있어서,
    기 저장된 상기 선택된 컨텐트의 영상데이터 파일을 상기 외부장치에 전송하는 전자장치의 제어방법.
  17. 제12항에 있어서,
    상기 선택된 컨텐트의 영상데이터를 저장하는 서버의 주소 정보를 상기 외부장치에 전송하는 전자장치의 제어방법.
  18. 제12항에 있어서,
    표시되는 복수의 컨텐트에 의한 영상의 미러링 화면이 상기 외부장치에 제공되는 동안에, 상기 외부장치의 화면 상의 터치 위치를 나타내는 좌표정보를 포함하는 상기 사용자 입력을 수신하고,
    상기 좌표정보에 대응하는 상기 디스플레이 상의 위치를 식별하고,
    상기 복수의 컨텐트 중 상기 식별된 위치에 대응하는 컨텐트를 식별하는 전자장치의 제어방법.
  19. 제12항에 있어서,
    상기 표시되는 영상의 일부 영역을 지정하는 영역정보를 상기 외부장치로부터 수신하는 것에 기초하여, 상기 영역정보에 의해 지정된 상기 일부 영역이 상기 외부장치에 표시되도록 처리하는 전자장치의 제어방법.
  20. 제12항에 있어서,
    표시 가능하도록 처리중인 컨텐트가 복수이면 상기 컨텐트의 선택이 필요하다고 식별하고,
    상기 처리중인 복수의 컨텐트 중 어느 하나를 선택하도록 상기 처리중인 복수의 컨텐트의 정보를 상기 외부장치로 전송하는 전자장치의 제어방법.
KR1020190146280A 2019-11-15 2019-11-15 전자장치 및 그 제어방법 KR20210059177A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020190146280A KR20210059177A (ko) 2019-11-15 2019-11-15 전자장치 및 그 제어방법
EP20206538.9A EP3823292B1 (en) 2019-11-15 2020-11-09 Electronic apparatus and control method thereof
PCT/KR2020/015833 WO2021096233A1 (en) 2019-11-15 2020-11-12 Electronic apparatus and control method thereof
US17/097,722 US11240550B2 (en) 2019-11-15 2020-11-13 Electronic apparatus and control method thereof
CN202011267574.7A CN112822529B (zh) 2019-11-15 2020-11-13 电子设备及其控制方法
US17/573,398 US11638060B2 (en) 2019-11-15 2022-01-11 Electronic apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190146280A KR20210059177A (ko) 2019-11-15 2019-11-15 전자장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20210059177A true KR20210059177A (ko) 2021-05-25

Family

ID=73198219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190146280A KR20210059177A (ko) 2019-11-15 2019-11-15 전자장치 및 그 제어방법

Country Status (5)

Country Link
US (2) US11240550B2 (ko)
EP (1) EP3823292B1 (ko)
KR (1) KR20210059177A (ko)
CN (1) CN112822529B (ko)
WO (1) WO2021096233A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034692A1 (ko) * 2022-08-08 2024-02-15 엘지전자 주식회사 외부 디스플레이가 연결될 수 있는 사용자 단말기 및 이를 위한 제어 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11956495B2 (en) * 2019-10-07 2024-04-09 Lg Electronics Inc. Source device and wireless system
US11093046B2 (en) * 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device
US11487423B2 (en) * 2019-12-16 2022-11-01 Microsoft Technology Licensing, Llc Sub-display input areas and hidden inputs
US11404028B2 (en) 2019-12-16 2022-08-02 Microsoft Technology Licensing, Llc Sub-display notification handling
CN111596558A (zh) * 2020-04-02 2020-08-28 深圳创维－Rgb电子有限公司 智慧显示终端的显示切换方法、装置、设备及存储介质

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090222874A1 (en) * 2008-02-29 2009-09-03 Motorola, Inc. Method, device and system for session mobility of internet protocol television (iptv) content between end user communication devices
JP6180072B2 (ja) * 2011-08-24 2017-08-16 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 表示装置、表示システム、及び表示方法
KR20130106684A (ko) * 2012-03-20 2013-09-30 삼성전자주식회사 홈 스크린 공유 방법
US9176703B2 (en) * 2012-06-29 2015-11-03 Lg Electronics Inc. Mobile terminal and method of controlling the same for screen capture
KR20140038799A (ko) * 2012-09-21 2014-03-31 엘지전자 주식회사 영상표시장치, 서버 및 그 동작방법
US20140104137A1 (en) * 2012-10-16 2014-04-17 Google Inc. Systems and methods for indirectly associating logical and physical display content
SG11201503398WA (en) * 2012-10-31 2015-05-28 Univ Nanyang Tech Multi-screen media delivery systems and methods
KR102002407B1 (ko) * 2013-05-07 2019-07-23 삼성전자주식회사 휴대단말기의 콘텐츠 전송 방법 및 장치
KR102071579B1 (ko) * 2013-09-02 2020-01-30 삼성전자주식회사 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
KR102078867B1 (ko) * 2013-09-17 2020-02-18 삼성전자주식회사 제어권 관리 방법, 그에 따른 클라이언트 기기 및 그에 따른 마스터 기기
KR101491045B1 (ko) * 2013-09-25 2015-02-10 주식회사 픽스트리 컨텐츠 공유 장치 및 방법
US9986296B2 (en) * 2014-01-07 2018-05-29 Oath Inc. Interaction with multiple connected devices
KR102227661B1 (ko) * 2014-01-08 2021-03-15 삼성전자주식회사 화면 미러링 방법 및 그에 따른 장치
KR20150083243A (ko) * 2014-01-09 2015-07-17 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 영상표시방법
TWI616808B (zh) * 2014-06-30 2018-03-01 緯創資通股份有限公司 分享顯示畫面的方法及裝置
KR101595958B1 (ko) * 2014-08-27 2016-02-18 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
KR20160031724A (ko) 2014-09-15 2016-03-23 엘지전자 주식회사 스크린 미러링 방법 및 이를 위한 디바이스
KR102269481B1 (ko) * 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
JP6669076B2 (ja) * 2014-11-04 2020-03-18 ソニー株式会社 通信システム、情報処理方法およびプログラム
KR102345610B1 (ko) * 2015-02-27 2021-12-30 삼성전자주식회사 스크린 미러링 서비스 제공장치 및 방법
KR102377277B1 (ko) * 2015-02-27 2022-03-23 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치
JP6520242B2 (ja) * 2015-03-12 2019-05-29 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム
CN104796743B (zh) * 2015-04-03 2020-04-24 腾讯科技（北京）有限公司 内容项显示系统、方法及设备
US9705936B2 (en) * 2015-04-24 2017-07-11 Mersive Technologies, Inc. System and method for interactive and real-time visualization of distributed media
EP3319326B1 (en) 2015-07-02 2021-05-19 LG Electronics Inc. Image display device and mobile terminal
KR102444150B1 (ko) * 2015-07-02 2022-09-15 엘지전자 주식회사 영상표시장치
KR20170066916A (ko) * 2015-12-07 2017-06-15 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20170087350A (ko) * 2016-01-20 2017-07-28 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US10530856B2 (en) * 2016-02-09 2020-01-07 Qualcomm Incorporated Sharing data between a plurality of source devices that are each connected to a sink device
KR102484135B1 (ko) * 2016-02-15 2023-01-04 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR102538955B1 (ko) 2016-03-02 2023-06-01 삼성전자 주식회사 전자 장치와 전자 장치의 영상 디스플레이 및 전송 방법
CN105653496B (zh) * 2016-03-18 2018-08-31 联想(北京)有限公司 电子设备及其数据传输方法
KR102518295B1 (ko) * 2016-04-19 2023-04-04 엘지전자 주식회사 이동 단말기
KR102490913B1 (ko) * 2016-06-07 2023-01-20 삼성전자주식회사 디스플레이 장치 및 제어 방법
WO2017222246A1 (en) * 2016-06-22 2017-12-28 S-Printing Solution Co., Ltd. Content transmitting method and apparatus therefor
US10469892B2 (en) * 2016-09-13 2019-11-05 Dvdo, Inc. Gesture-based multimedia casting and slinging command method and system in an interoperable multiple display device environment
US10469893B2 (en) * 2016-09-13 2019-11-05 Dvdo, Inc. Integrated cast and sling system and method of its operation in an interoperable multiple display device environment
KR20180095399A (ko) * 2017-02-17 2018-08-27 삼성전자주식회사 화면을 공유하기 위한 전자 장치 및 방법
KR102350933B1 (ko) * 2017-06-20 2022-01-12 엘지전자 주식회사 영상표시장치
KR20190056523A (ko) * 2017-11-17 2019-05-27 삼성에스디에스 주식회사 가상현실 컨텐츠 디스플레이 동기화 시스템 및 방법
KR102444066B1 (ko) 2017-12-19 2022-09-19 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US11477516B2 (en) * 2018-04-13 2022-10-18 Koji Yoden Services over wireless communication with high flexibility and efficiency
US11093046B2 (en) * 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034692A1 (ko) * 2022-08-08 2024-02-15 엘지전자 주식회사 외부 디스플레이가 연결될 수 있는 사용자 단말기 및 이를 위한 제어 방법

Also Published As

Publication number Publication date
US20220132198A1 (en) 2022-04-28
CN112822529A (zh) 2021-05-18
CN112822529B (zh) 2023-11-07
US11638060B2 (en) 2023-04-25
EP3823292A1 (en) 2021-05-19
US11240550B2 (en) 2022-02-01
US20210152879A1 (en) 2021-05-20
WO2021096233A1 (en) 2021-05-20
EP3823292B1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
KR20210059177A (ko) 전자장치 및 그 제어방법
CN108027664B (zh) 统一的虚拟现实平台
US11748056B2 (en) Tying a virtual speaker to a physical space
US11126140B2 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
JP6751205B2 (ja) ディスプレイ装置及びその制御方法
US11394757B2 (en) Communication terminal, communication system, and method of sharing data
US11429339B2 (en) Electronic apparatus and control method thereof
US20220291808A1 (en) Integrating Artificial Reality and Other Computing Devices
KR102604202B1 (ko) 디스플레이장치 및 그 제어방법
KR20220027449A (ko) 휴먼 디지털 트윈을 이용한 학습 컨텐츠 제공 시스템
US11586279B2 (en) Display apparatus and control method thereof
KR102657987B1 (ko) 디스플레이장치 및 그 제어방법
KR20230032492A (ko) 전자장치 및 그 제어방법
KR20210011096A (ko) 디스플레이장치 및 그 제어방법
KR20240016843A (ko) Ar 객체를 표시하기 위한 디스플레이 장치 및 그 제어 방법
KR20160057648A (ko) 로봇의 자율 이동을 위한 행동블록 운영 시스템 및 그 방법
JP2021033752A (ja) 出力制御装置、表示制御システム、出力制御方法およびプログラム
KR20210076415A (ko) 전자장치 및 그 제어방법
CN116935084A (zh) 一种虚拟现实设备及校验数据的方法
KR20210017334A (ko) 디스플레이장치 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right