KR20200025194A - 전자 장치 및 이의 외부 장치를 제어하는 방법 - Google Patents

전자 장치 및 이의 외부 장치를 제어하는 방법 Download PDF

Info

Publication number
KR20200025194A
KR20200025194A KR1020180102176A KR20180102176A KR20200025194A KR 20200025194 A KR20200025194 A KR 20200025194A KR 1020180102176 A KR1020180102176 A KR 1020180102176A KR 20180102176 A KR20180102176 A KR 20180102176A KR 20200025194 A KR20200025194 A KR 20200025194A
Authority
KR
South Korea
Prior art keywords
external device
data
screen
electronic device
external
Prior art date
Application number
KR1020180102176A
Other languages
English (en)
Other versions
KR102509071B1 (ko
Inventor
황두찬
김민호
정진주
김남현
박선호
이준영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180102176A priority Critical patent/KR102509071B1/ko
Priority to US17/261,956 priority patent/US11455140B2/en
Priority to PCT/KR2019/005810 priority patent/WO2020045795A1/ko
Publication of KR20200025194A publication Critical patent/KR20200025194A/ko
Application granted granted Critical
Publication of KR102509071B1 publication Critical patent/KR102509071B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/02—Payment architectures, schemes or protocols involving a neutral party, e.g. certification authority, notary or trusted third party [TTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 개시는 전자 장치 및 전자 장치가 외부 장치를 제어하는 방법을 개시한다. 본 개시의 다양한 실시예에 따르면, 전자 장치가 외부 장치를 제어하는 방법은, 외부 서버로부터 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시하는 동작, 상기 제1 UI에 대응되는 제2 UI 데이터를 상기 외부 장치에게 전송하는 동작, 상기 외부 장치로부터, 상기 외부 장치를 이용하는 사용자에 의하여 선택된 좌표 값을 수신하는 동작, 상기 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응됨에 따라, 상기 제1 UI와 관련된 부가 정보를 획득하는 동작, 및 상기 부가 정보, 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 상기 외부 장치에게 전송하는 동작을 포함한다.

Description

전자 장치 및 이의 외부 장치를 제어하는 방법{DISPLAY DEVICE AND METHOD OF CONTROLLING EXTERNAL TERMINAL THEREOF}
본 개시의 다양한 실시 예들은 전자 장치, 및 전자 장치가 외부 장치를 제어하는 방법 및 장치에 관하여 개시한다.
최근 통신 기술의 발전과 함께, 전자 장치(예로, TV, 모니터 등과 같은 디스플레이 장치)를 대상으로 유선 또는 무선 통신망을 이용하는 서비스가 보편화되고 있다. 특히, 디지털 TV가 제공하는 서비스는 기존의 아날로그 TV와는 비교할 수 없을 정도로 다양한 서비스들을 포함하고 있다. 예로, ITPV(internet protocol television) 서비스, 스마트 TV 서비스 등과 같이, 사용자가 시청할 프로그램의 종류, 시청 시간을 능동적으로 결정할 수 있는 양방향 서비스가 점차 확대되고 있다. 이러한 서비스들은, 방송 컨텐츠의 제공뿐만 아니라, 인터넷 검색, 홈쇼핑 온라인 게임 등과 같은 다양한 부가 서비스도 제공할 수 있다.
또한, 최근에는 전자 장치들 간에 무선 통신을 이용하여 연결(또는, 접속)하여, 소스 디바이스의 화면을 싱크 디바이스의 화면에 미러링하는 화면 공유 기술이 이용되고 있다. 화면 공유 기술에 따르면, 예로, 소형 디스플레이를 갖는 이동 단말에서 재생 중인 영상이, 대형 디스플레이를 갖는 TV 등으로 제공될 수 있다. 이러한 화면 공유 기술은, 전자 장치의 제조사에 따라 미라캐스트, 스크린 미러링(screen mirroring), 에어플레이(airplay) 또는 WiDi(wireless display) 등과 같은 명칭으로 제공되고 있다.
또한, 전자 장치들 간에 무선 통신을 이용하여 서로 제어하는 것이 가능해지고 있다. 예로, 대형 전자 장치(예로, TV 등)를 제어하기 위하여 기존에는 리모컨을 주로 사용하였으나, 최근에는 스마트폰에 설치된 앱을 이용하여 스마트폰을 이용하여 대형 전자 장치를 제어하는 것이 점차적으로 가능해지고 있다.
리모컨을 이용하여 전자 장치를 제어하는 경우, 리모컨의 구조적인 이유로 인하여 사용성에 많은 제약이 있을 수 있다. 예로, 기존의 전통적인 리모컨에서는, 문자 입력을 하거나 전자 장치의 화면의 원하는 지점을 포인팅하기 어려울 수 있다. 또한, 리모컨이 많은 기능을 지원하는 경우, 각 기능을 지원하기 위한 물리적인 버튼이 요구되고, 또한 기능의 지원에 따란 배터리의 소모가 증가할 우려가 있다.
이를 위하여, 음성 인식이 가능한 리모컨, 포인팅이 가능한 리모컨, 스마트폰에 설치된 앱을 이용하는 전자 장치의 제어 방법이 등장하고 있으나, 기존의 리모컨을 이용하는 한계를 크게 극복하지 못하고 직관적으로 전자 장치를 제어하는데 어려움이 있을 수 있다. 또한, 무선 마우스나 무선 키보드 등을 이용할 수 있으나, 이 경우에는 전자 장치의 프로세서가 처리하는 자원이 증가되고 상기 기기들의 물리적인 사용 범위가 제약될 수 있다.
따라서, 본 개시의 목적은, 화면 공유 서비스(예로, 미라캐스트 서비스)를 이용하여 전자 장치를 효율적으로 제어하고, 전자 장치와 연결된 외부 장치의 하드웨어를 이용하여 다양한 방식으로 전자 장치를 제어하는 방법 및 장치에 관하여 개시한다. 특히, 사용자 입력 백 채널(UIBC, user input back channel)를 이용하여 외부 장치가 전자 장치를 제어하는 방법 및 장치에 관하여 개시한다.
본 개시의 다양한 실시 예들에 따른 전자 장치가 외부 장치를 제어하는 방법은, 외부 서버로부터 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시하는 동작, 상기 제1 UI에 대응되는 제2 UI 데이터를 상기 외부 장치에게 전송하는 동작, 상기 외부 장치로부터, 상기 외부 장치를 이용하는 사용자에 의하여 선택된 좌표 값을 수신하는 동작, 상기 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응됨에 따라, 상기 제1 UI와 관련된 부가 정보를 획득하는 동작, 및 상기 부가 정보, 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 상기 외부 장치에게 전송하는 동작을 포함한다.
본 개시의 다양한 실시 예들에 따른 전자 장치는, 외부 서버 및 외부 장치와 통신을 위한 통신부, UI의 표시를 위한 디스플레이, 및 상기 통신부 및 상기 디스플레이와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 외부 서버로부터 상기 통신부를 통하여 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시하도록 상기 디스플레이를 제어하고, 상기 제1 UI에 대응되는 되는 제2 데이터를 상기 외부 장치에게 전송하도록 상기 통신부를 제어하고, 상기 외부 장치로부터 상기 외부 장치를 이용하는 사용자에 의하여 선택된 좌표 값을 상기 통신부를 통하여 수신하고, 상기 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응되면, 상기 제1 UI와 관련된 부가 정보를 획득하고, 상기 부가 정보, 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 상기 외부 장치에게 전송하도록 상기 통신부를 제어한다.
본 개시의 다양한 실시 예들에 따른 컴퓨터 프로그램 제품은, 외부 서버로부터 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시하는 동작, 상기 제1 UI에 대응되는 제2 UI 데이터를 상기 외부 장치에게 전송하는 동작, 상기 외부 장치로부터, 상기 외부 장치를 이용하는 사용자에 의하여 선택된 좌표 값을 수신하는 동작, 상기 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응됨에 따라, 상기 제1 UI와 관련된 부가 정보를 획득하는 동작, 및 상기 부가 정보, 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 상기 외부 장치에게 전송하는 동작을 전자 장치가 수행하도록 설정된 명령어들을 포함하는 컴퓨터로 읽을 수 있는 저장 매체를 포함한다.
본 개시의 다양한 실시 예들에 따른 전자 장치 및 그의 동작 방법에 따르면, 기존에는 소형 디스플레이 장치의 화면을 대형 디스플레이 장치의 디스플레이로 공유하는 것이 일반적이었으나, 본 개시에 따르면 소형 디스플레이 장치(예로, 외부 장치)에서 대형 디스플레이 장치(예로, 전자 장치)를 제어하는 것이 가능하여 사용자에게 직관적인 UI를 제공하고, 전자 장치의 사용 편의성을 향상시킬 수 있다.
또한, 전자 장치는 제3 의 통신 채널(예로, 홈 네트워크 또는 클라우드 네트워크)을 통하여 외부 장치로 부가 정보를 전송하여 어플리케이션을 실행시킬 수 있기 때문에, 외부 장치에 저장된 어플리케이션을 이용하여 전자 장치의 사용자 입력에 대한 대응이 가능할 수 있다. 특히, 화면 공유 서비스를 수행하는 상황에서, 사용자의 승인에 의한 전자 장치와 외부 장치 간에 인증 절차가 수행되어, 전자 장치가 외부 장치의 어플리케이션을 실행하는 것이 사용자 측면에서 자연스럽게 수용될 수 있다.
또한, 대형 디스플레이 장치(예로, 전자 장치)의 화면이 사용자에게 밀접한 소형 디스플레이 장치(예로, 외부 장치)의 화면에 표시됨에 따라, 사용자가 대형 디스플레이 장치를 직관적으로 제어하는 사용자 경험을 가질 수 있다. 즉, 기존에는 사용자는 OTT(Over the TOP) 형태로 대형 디스플레이 장치를 제어하였는데, 이 경우, 기본적인 기능만 대응이 가능하고 다양한 서비스를 지원하기에는 대형 디스플레이 장치의 리소스가 부족할 수 있다. 따라서, 본 개시에 따르면 외부 장치(예로, 스마트 폰)의 리소스를 이용하여 전자 장치의 다양한 서비스에 지원이 가능하기 때문에, 외부 서버(써드 파티 제공자)가 제공하는 서비스의 범위를 보다 넓힐 수 있다. 예로, 외부 장치의 어플리케이션을 이용한 전화 주문, 상품 결제, 관련 링크 접속, 시청 정보 검색 등 다양한 서비스의 지원이 가능하게 된다.
또한, 외부 장치의 적합한 UI를 전자 장치가 외부 서버로부터 수신하여 제공이 가능하여, 사용자 관점에서 용이하고 직관적으로 외부 장치와 인터랙션하는 것이 가능하게 된다. 즉, 사용자는 외부 장치를 통하여 부가적인 정보를 쉽게 획득할 수 있고, 직관으로 대형 전자 장치를 제어할 수 있으며, 부가적인 정보를 외부 장치 또는 전자 장치를 통하여 쉽게 확인하는 것이 가능하게 된다. 즉, 전자 장치와 외부 장치 간에 단순한 화면 공유 서비스를 넘어서, 신뢰성 있는 데이터의 송/수신이 가능할 수 있으며, 또한 전자 장치와 외부 장치 모두를 만족하는 UI가 제공될 수 있다.
도 1은, 본 개시의 다양한 실시예에 따른 시스템을 나타낸다.
도 2는, 본 개시의 다양한 실시예에 따른 전자 장치가 연락처 연결을 위하여 외부 장치를 제어하는 과정을 설명하는 도면들이다.
도 3은, 전자 장치가 외부 장치에게 전송하는 메시지의 구조의 일 예를 나타낸다.
도 4a 및 도 4b는, 본 개시의 다양한 실시예에 따른 전자 장치가 상품의 결제를 위하여 외부 장치를 제어하는 과정을 제공하는 설명하는 도면이다.
도 5a 내지 도 7b는, 본 개시의 다양한 실시예에 따른 전자 장치가 외부 장치에게 UI 데이터를 제공하는 과정을 설명하는 도면이다.
도 8은, 본 개시의 일 실시예에 따른 전자 장치의 UI 데이터 처리 블록도를 나타내는 도면이다.
도 9 및 도 10은, 본 개시의 일 실시예에 따른 전자 장치 및 외부 장치 간에 인터렉션하는 과정을 설명하는 도면이다.
도 11 및 도 12는 본 개시의 다양한 실시예에 따른 전자 장치가 외부 장치에게 UI 데이터를 제공하는 흐름도이다.
도 13은 본 개시의 다양한 실시예에 따른 전자 장치 및 외부 장치 간의 데이터를 송수신하는 흐름도이다.
도 14는 본 개시의 다양한 실시예에 따른 전자 장치의 블록도이다.
이하, 본 개시의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다. 실시 예 및 이에 사용된 용어들은 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 개시에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째", 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 개시에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어(hardware)적 또는 소프트웨어(software)적으로 "~에 적합한", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는", 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.
본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
본 개시에서, UI(user interface)는 사용자와 전자 장치 간에 일방향 또는 양"?袖막* 인터랙션이 가능한 사용자 인터페이스일 수 있다. UI가 전자 장치의 화면에 표시되는 경우, 상기 UI는, 그래픽 사용자 인터페이스일 수 있다.
도 1은, 본 개시의 다양한 실시예에 따른 시스템을 나타낸다.
도 1에서, 시스템은, 전자 장치(10)(예: 제1 전자 장치 또는 소스(source) 장치)와 적어도 하나의 외부 장치(20)(예: 제2 전자 장치 또는 싱크(sink) 장치)를 포함할 수 있다.
전자 장치(10)는, 예로, 스마트 TV, 스마트폰, 태블릿 PC, 노트북 컴퓨터(laptop computer), 데스크탑, 영상 전화기, 전자책 리더기, PDA(personal digital assistant), PMP(portable multimedia player), 전자 보드(electronic board), 의료기기, 카메라 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 또한, 전자 장치(10)는, 셋탑 박스(set-top box) 또는 IP 셋탑 박스를 포함할 수 있다. 셋탑 박스 또는 IP 셋탑 박스는 외부 네트워크를 이용하여 멀티미디어 통신 서비스를 제공하는 장치를 의미할 수 있다. 셋탑 박스 또는 IP 셋탑 박스는 외부의 영상 표시 장치와 연결되어, 방송 컨텐트를 제공할 수 있다. 본 개시에서, 전자 장치(10)는, 일 예로, 스마트 TV가 될 수 있다.
외부 장치(20)는, 예로, 스마트폰, 스마트 TV, 태블릿 PC, 노트북 컴퓨터, 데스크탑, 영상 전화기, 전자책 리더기, PDA, PMP, 전자 보드(electronic board), 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 본 개시에서, 외부 장치(20)는, 일 예로, 스마트폰이 될 수 있다.
전자 장치(10) 및 외부 장치(20)는, 디스플레이를 더 포함하는 디스플레이 장치로 구현될 수 있다. 예를 들어, 전자 장치(10) 및 외부 장치(20)는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 전자 장치(10) 및 외부 장치(20)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
전자 장치(10)는 외부 서버(30)와 통신할 수 있다. 외부 서버(30)는, 예로, 써드파티 컨텐츠 제공자(3rd party contents provider)가 운영/관리하는 서버일 수 있다. 써드파티 컨텐츠 제공자는, 예로, 지상파 방송사, 케이블 TV 방송사, IP-TV 방송사, 스마트 TV 웹(예: TV 플러스 또는 채널 플러스 등) 제공자 등을 포함할 수 있으나, 전술한 예에 제한되지 않는다.
전자 장치(10)는 무선 통신(예: 블루투스, 저전력 블루투스(BLE), WiFi 등)을 수행하여 외부 장치(20)과 연결될 수 있다. 외부 장치(20)는, 예로, 디스플레이가 가능한 장치로서, 예로, 스마트폰, ~을 포함할 수 있다. 이 경우, 전자 장치(10) 및 외부 장치(20) 간에 무선을 연결(또는, 접속)하여 전자 장치(10)에 표시된 화면을 외부 장치(20)의 디스플레이에 표시하여 공유하는 화면 공유 서비스가 수행될 수 있다. 이러한 서비스(또는, 기능)은, 제조사에 따라 미라캐스트, 스크린 미러링(screen mirroring), 에어플레이(airplay) 또는 WiDi(wireless display) 등과 같은 명칭 등으로 칭할 수 있다.
도 1에서, 외부 서버(30)는 제1 UI 데이터를 전자 장치(10)에게 전송할 수 있다(①). 전자 장치(10)는 수신된 제1 UI 데이터를 렌더링하여, 제1 UI 데이터에 대응되는 제1 UI(111)를 화면(110)에 표시하도록 디스플레이를 제어할 수 있다(②).
이러한 상황에서, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행될 수 있다. 이에 따라, 전자 장치(10)는 화면 공유 채널을 통하여 제1 UI(111)에 대응되는 제2 UI 데이터를 외부 장치(20)에게 전송할 수 있다(③). 전자 장치(10)는 제2 UI 데이터와 함께 전자 장치(10)의 화면(110)에 표시 중인 비디오 데이터를 외부 장치(20)에게 전송할 수도 있으며, 제2 UI 데이터와 비디오 데이터를 각각 독립적으로 외부 장치(20)에게 전송할 수도 있다.
제2 UI 데이터를 수신한 외부 장치(20)는 제2 UI 데이터에 대응되는 제2 UI(121)를 포함하는 화면(120)을 표시할 수 있다. 외부 장치(20)는 제2 UI(121)를 선택하는 사용자의 입력을 수신할 수 있다(④). 예로, 사용자의 입력은, 제2 UI(121)를 터치하는 사용자의 입력일 수 있다. 사용자의 입력에 따라, 외부 장치(20)는 사용자에 의하여 선택된 좌표 값을 전자 장치(10)에게 전송할 수 있다(⑤). 예로, 외부 장치(20)는 사용자 입력 백 채널(UIBC, user input back channel)을 통하여, 상기 좌표 값을 전자 장치(10)에게 전송할 수 있다.
전자 장치(10)는 수신된 좌표 값이 화면(110)에 표시된 제1 UI(111)의 위치에 대응되는 경우, 제 UI(111)에 대응되는 기능(또는, 명령)을 수행할 수 있다. 예로, 전자 장치(10)는 외부 장치(20)과 화면 공유 연결(예로, 미라캐스트 연결) 시에 협상(negotiation) 절차를 통해, 외부 장치(20)과 관련된 장치 정보를 획득할 수 있다. 전자 장치(10)는 장치 정보에 기반하여 외부 장치(20)의 디스플레이의 해상도 및 디스플레이의 크기 중 적어도 하나를 식별할 수 있다. 장치 정보는, 예로, 외부 장치(20)의 동작 모드(세로 모드 또는 가로 모드) 정보, 외부 장치(20)의 제조사 정보 및 외부 장치(20)의 모델명 정보 중 적어도 하나를 포함할 수 있다. 전자 장치(10)는 외부 장치(20)의 동작 모드 정보, 디스플레이의 해상도 및 디스플레이의 크기 중 적어도 하나를 고려하여 외부 장치(20)의 화면의 좌표 값에 대응되는 전자 장치(10)의 화면의 좌표 값을 식별할 수 있다. 구체적으로, 전자 장치(10) 및 외부 장치(20) 간의 화면 매핑 테이블이 저장된 경우, 전자 장치(10)는 화면 매핑 테이블을 이용하여 외부 장치(20)의 화면의 좌표 값에 대응되는 전자 장치(10)의 화면의 좌표 값을 결정할 수 있다. 전자 장치(10)의 화면의 좌표 값이 제1 UI(111)의 위치에 대응되면, 전자 장치(10)는 제1 UI(111)에 대응되는 기능을 수행할 수 있다.
예로, 전자 장치(10)는 제1 UI(111)와 관련된 부가 정보를 획득할 수 있다. 전자 장치(10)는 상기 부가 정보, 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다(⑥). 일 예로, 전자 장치(10)는 홈 네트워크 또는 클라우드 네트워크를 통하여 상기 부가 정보 및 상기 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다. 상기 부가 정보, 상기 어플리케이션의 실행 명령을 수신한 외부 장치(20)는 상기 부가 정보를 이용한 어플리케이션의 기능을 실행할 수 있다(⑦).
다양한 실시예로, 전자 장치(10)는 디스플레이(11), 프로세서(12) 및 통신부(13)를 포함할 수 있다.
디스플레이(11)는 프로세서(12)에 의하여 처리된 정보(예로, UI 데이터)를 표시할 수 있다. 통신부(13)는 외부 장치(20) 및 외부 서버(30) 중 적어도 하나와 통신할 수 있다. 프로세서(12)는 디스플레이(11) 및 통신부(13)와 기능적으로(operatively) 연결될 수 있다. 프로세서(12)는, 외부 서버(30)로부터 통신부(13)를 통하여 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시하도록 디스플레이(11)를 제어할 수 있다. 프로세서(12)는 제1 UI에 대응되는 제2 UI 데이터를 외부 장치(20)에게 전송하도록 통신부(13)를 제어할 수 있다. 이 때, 프로세서(12)는, 화면 공유 채널을 통하여 제2 UI 데이터를 외부 장치(20)에게 전송하도록 통신부(13)를 제어할 수 있다. 또한, 프로세서(12)는, 제2 UI 데이터와 함께 화면에 표시 중인 비디오 데이터를 외부 장치(20)에게 전송하도록 통신부(13)를 제어할 수 있다.
프로세서(12)는 외부 장치(20)로부터 외부 장치(20)를 이용하는 사용자에 의하여 선택된 좌표 값을 통신부(13)를 통하여 수신할 수 있다. 예로, 프로세서(12)는 외부 장치(20)로부터 사용자 입력 백 채널을 통하여 좌표 값을 통신부(13)를 통하여 수신할 수 있다. 좌표 값이 화면에 표시된 제1 UI의 위치에 대응되면, 프로세서(12)는 제1 UI와 관련된 부가 정보를 획득할 수 있다. 예로, 프로세서(12)는 수신된 좌표 값에 대응되는 전자 장치(10)의 화면의 좌표 값을 식별하고, 식별된 좌표 값이 화면에 표시된 상기 제1 UI의 위치에 대응되면, 제1 UI와 관련된 부가 정보를 획득할 수 있다. 일 예로, 프로세서(12)는 외부 서버(30)로부터 제1 UI와 관련된 부가 정보를 획득할 수 있다.
프로세서(12)는 부가 정보, 부가 정보를 이용하는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송하도록 통신부(13)를 제어할 수 있다. 부가 정보가 연락처를 포함하는 경우, 어플리케이션의 실행 명령은, 전화 어플리케이션의 실행 명령, 이메일 어플리케이션의 실행 명령 또는 메신저 어플리케이션의 실행 명령을 포함할 수 있다. 부가 정보가, 결제 정보를 포함하는 경우, 어플리케이션의 실행 명령은, 결제 어플리케이션의 실행 명령을 포함할 수 있다,
다양한 실시예로, 프로세서(12)는, 외부 장치(20)의 식별 정보를 외부 서버(30)에게 전송하도록 통신부(13)를 제어할 수 있다. 프로세서(12)가 외부 장치(20)와 화면 공유 연결 절차에서 외부 장치(20)의 식별 정보를 획득할 수 있다. 외부 장치(20)의 식별 정보의 전송에 대한 응답으로, 프로세서(120)는 외부 서버(30)로부터 외부 장치(20)의 화면을 고려한 제3 UI데이터를 통신부(13)를 통하여 수신하고, 제3 UI 데이터에 대응되는 제4 UI 데이터를 외부 장치(20)에게 전송하도록 통신부(13)를 제어할 수 있다.
도 2는, 본 개시의 다양한 실시예에 따른 전자 장치가 연락처 연결을 위하여 외부 장치를 제어하는 과정을 설명하는 도면들이다.
도 2에서, 전자 장치(10)가 화면(210)에 홈 쇼핑 방송을 표시하는 동안에, 전자 장치(10)는 외부 서버(30)로부터 제1 UI 데이터를 수신할 수 있다(①). 전자 장치(10)는 제1 UI 데이터를 렌더링하여 제1 UI 데이터에 대응되는 제1 내지 제5 UI(211~215)를 화면에 표시할 수 있다(②). 제1 UI 내지 제5 UI(211~215)는 표시 중인 화면(210)과 관련된 UI일 수 있다. 예로, 표시 중인 화면(210)이 홈 쇼핑 화면인 경우, 제1 UI(211)는 상품을 주문하기 위한 UI, 제2 UI(212)는 상품에 대하여 상담하기 위한 UI, 제3 UI(213)는 상품 관련 정보의 검색이 가능한 URL, 제4 UI(214)는 상품을 구매할 수 있는 전용 앱 실행 UI, 제5 UI(215)는 삼성 페이로 상품을 결제하는 UI일 수 있다.
이러한 상황에서, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행될 수 있다. 화면 공유 서비스가 수행되면, 전자 장치(10)는 화면 공유 채널을 통하여 제1 내지 제5 UI(211~215)에 대응되는 제2 UI 데이터를 외부 장치(20)에게 전송할 수 있다(③). 전자 장치(10)는 제2 UI 데이터와 함께 전자 장치(10)의 화면(210)에 표시 중인 비디오 데이터를 외부 장치(20)에게 전송할 수도 있다.
제2 UI 데이터를 수신한 외부 장치(20)는 제2 UI 데이터에 대응되는 제1 UI 내지 제5 UI(221~225)를 포함하는 화면(220)을 표시할 수 있다. 다음으로, 외부 장치(20)는 제1 UI(221)를 선택하는 사용자의 입력을 수신할 수 있다(④). 사용자의 입력에 따라, 외부 장치(20)는 선택된 위치에 대응되는 외부 장치(20)에 설치된 어플리케이션을 연동하여 실행할 수 있다. 또는, 사용자의 입력에 따라, 외부 장치(20)는 사용자에 의하여 선택된 위치에 대응되는 좌표 값을 전자 장치(10)에게 전송할 수 있다(⑤).
수신된 좌표 값이 전자 장치(10)의 화면(210)에 표시된 제1 UI(211)의 위치에 대응되는 경우, 전자 장치(10)는 제1 UI(211)에 대응하는 주문 기능을 수행할 수 있다. 예로, 전자 장치(10)는 제1 UI(211)와 관련된 부가 정보로서, 화면(12)에 표시 중인 홈 쇼핑 상품을 주문할 수 있는 연락처를 획득할 수 있다. 연락처는, 예로, 전화번호, 이메일 주소 또는 메신저 아이디 등이 될 수 있다. 전자 장치(10)는 상기 부가 정보(예로, 전화 번호)를 외부 서버(30)에게 요청하고, 요청에 대한 응답으로서 상기 부가 정보를 획득할 수 있다. 또는, 외부 서버(30)가 제1 UI 데이터를 수신하는 경우, 상기 부가 정보가 함께 수신될 수도 있다. 이 경우, 전자 장치(10)는 메모리에 기 저장된 부가 정보를 획득할 수도 있다.
전자 장치(10)는 상기 연락처, 상기 연락처를 이용하는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다(⑥). 어플리케이션의 실행 명령은, 예로, 전화 어플리케이션의 실행 명령, 이메일 어플리케이션의 실행 명령 또는 메신저 어플리케이션의 실행 명령을 포함할 수 있다.
도 3은, 전자 장치(10)가 외부 장치(20)에게 전송하는 메시지의 구조의 일 예를 나타낸다. 메시지는, 예로, HTTP 요청 메시지(request message)를 포함할 수 있다. 메시지의 구조는, 예로, 명령어 필드(310), 써드파티 정보 필드(320), 데이터 필드(330)를 포함할 수 있다. 명령어 필드 값으로는, 예로, 통화 앱(전화 어플리케이션) 실행을 위한 필드 값(311), 인터넷 앱 실행 값(312), 전용 앱 실행 값(313) 또는 예약 값(314)이 있을 수 있으나 전술한 예에 제한되지 않는다. 써드파티 정보 필드 값으로는, 예로, TV Plus 제공자 값(321), 제1 채널 방송사(예로, SBS 방송사) 값(322), 제2 채널 방송사(예로, MBC 방송사) 값(323), 제3 채널 방송사(예로, KBS 방송사) 값(324) 또는 제4 채널 방송사(예로, EBS 방송사) 값(325) 등이 있을 수 있으나 전술한 예에 제한되지 않는다. 데이터 필드 값으로는, 예로, 전화번호(331), URL(332), 전용 앱 정보(333) 또는 예약 값(334)을 포함할 수 있다.
다시 도 2에서, 외부 장치(20)는 연락처 및 어플리케이션의 실행 명령을 포함하는 메시지를 전자 장치(10)로부터 수신할 수 있다. 어플리케이션의 실행 명령이 전화 어플리케이션의 실행 명령인 경우, 외부 장치(20)는 전화 어플리케이션(230)을 실행할 수 있다. 이 경우, 외부 장치(20)는 수신된 연락처를 전화 어플리케이션의 입력 값으로 이용하여 연락처(231)를 포함하는 전화 어플리케이션(230)을 실행할 수 있다(⑦). 전화 어플리케이션(230)의 통화 버튼(232)을 선택하는 사용자의 입력이 수신되면, 외부 장치(20)는 연락처로 전화를 걸 수 있다.
다양한 실시예로, 외부 장치(20)로부터 수신된 좌표 값이, 화면(210)에 표시된 제5 UI(215)의 위치에 대응되는 경우, 전자 장치(10)는 제5 UI(215)에 대응하는 결제 기능을 수행할 수 있다. 전자 장치(10)는 결제 정보 및 상기 결제 정보를 이용하는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다. 어플리케이션의 실행 명령은, 예로, 결제 어플리케이션(예로, 삼성 페이 앱)의 실행 명령을 포함할 수 있다. 외부 장치(20)는 결제 정보 및 어플리케이션의 실행 명령을 전자 장치(10)로부터 수신할 수 있다. 어플리케이션의 실행 명령이 결제 어플리케이션의 실행 명령인 경우, 외부 장치(20)는 결제 어플리케이션(예로, 삼성 페이 앱)을 실행할 수 있다. 이 경우, 외부 장치(20)는 수신된 결제 정보를 결제 어플리케이션의 입력 값으로 이용하여 결제 정보를 포함하는 결제 어플리케이션을 실행할 수 있다. 결제 어플리케이션이 실행되면, 외부 장치(20)의 사용자는 결제 어플리케이션을 이용하여 상품의 결제를 승인할 수 있다. 예로, 사용자는 지문인식 또는 비밀번호를 통한 결제 방식에 따라 상품의 결제를 승인할 수 있다.
도 4a 및 도 4b는 본 개시의 다양한 실시예에 따른 전자 장치가 상품의 결제를 위하여 외부 장치를 제어하는 과정을 제공하는 설명하는 도면이다.
도 4a에서, 전자 장치(10)가 화면(410)에 홈 쇼핑 방송을 표시하는 동안에, 전자 장치(10)는 외부 서버(30)로부터 제1 UI 데이터를 수신할 수 있다(①). 전자 장치(10)는 제1 UI 데이터를 렌더링하여 제1 UI 데이터에 대응되는 제1 내지 제5 UI(411~415)를 화면에 표시할 수 있다(②). 여기서, 제1 UI 내지 제5 UI(411~415)는, 전술한 도 2의 제1 UI 내지 제5 UI(211~215)에 대응되어 중복되는 설명은 생략한다.
이러한 상황에서, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행될 수 있다. 전자 장치(10)는 화면 공유 채널을 통하여 제1 내지 제5 UI(411~415)에 대응되는 제2 UI 데이터를 외부 장치(20)에게 전송할 수 있다(③).
제2 UI 데이터를 수신한 외부 장치(20)는 제2 UI 데이터에 대응되는 제1 UI 내지 제5 UI(421~425)를 포함하는 화면(420)을 표시할 수 있다. 다음으로, 외부 장치(20)는 제5 UI(425)를 선택하는 사용자의 제1 입력을 수신할 수 있다(④). 사용자의 제1 입력에 따라, 외부 장치(20)는 사용자에 의하여 선택된 위치에 대응되는 제1 좌표 값을 전자 장치(10)에게 전송할 수 있다(⑤).
수신된 좌표 값이 화면(410)에 표시된 제5 UI(415)의 위치에 대응되는 경우, 전자 장치(10)는 결제를 위한 상품 옵션 정보를 외부 서버(30)에게 요청하고(⑥), 요청에 대한 응답으로서, 외부 서버(30)로부터 상품 옵션 정보를 획득할 수 있다(⑦). 상품 옵션 정보는, 예로, 상품의 타입, 상품의 수량 및 상품의 할인 정보 중 적어도 하나를 포함할 수 있다. 전자 장치(10)는 상품 옵션 정보를 표시하기 위한 상품 옵션 정보와 관련된 제3 UI 데이터를 더 획득할 수도 있다(⑦).
도 4b에서, 상품 옵션 정보 및 상품 옵션 정보와 관련된 제3 UI 데이터를 수신한 전자 장치(10)는 제3 UI 데이터를 렌더링하여 제3 UI 데이터에 대응되는 제6 UI(416)을 화면에 표시할 수 있다. 제6 UI(416)는 수신된 상품 옵션 정보를 포함할 수 있다.
이 경우, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행되는 상황일 수 있다. 이에 따라, 전자 장치(10)는 화면 공유 채널을 통하여 제6 UI(416)에 대응되는 제4 UI 데이터를 외부 장치(20)에게 전송할 수 있다(⑨).
제4 UI 데이터를 수신한 외부 장치(20)는 제4 UI 데이터에 대응되는 제6 UI(426)를 포함하는 화면(420)을 표시할 수 있다. 외부 장치(20)는 상품의 옵션을 선택하고 및 결제 버튼(426-1)을 선택하는 사용자의 제2 입력을 수신할 수 있다(⑩). 사용자의 제2 입력에 따라, 외부 장치(20)는 사용자에 의하여 선택된 위치에 대응되는 제2 좌표 값을 전자 장치(10)에게 전송할 수 있다.
수신된 좌표 값이 화면(410)에 표시된 제6 UI(416)의 결제 버튼(416-1)의 위치에 대응되는 경우, 전자 장치(10)는 결제 버튼(416-1)에 대응되는 결제 기능을 수행할 수 있다. 전자 장치(10)는 상기 외부 장치(20)의 식별 정보 및 결제 요청 명령을 결제 서버(40)에게 전송할 수 있다(⑪). 결제 서버(40)는 상품의 결제가 가능한 서버로서, 예로, 삼성 페이 서버, LG 페이 서버, 네이버 페이 서버 등이 될 수 있다. 외부 장치(20)의 식별 정보는, 외부 장치(20)을 타 단말과 구분하거나, 외부 장치(20)의 사용자를 식별하기 위한 정보로서, 예로, 외부 장치(20)에게 할당된 전화번호, 고유 번호, 맥(MAC) 어드레스 등이 될 수 있다.
결제 서버(40)는 외부 장치(20)의 식별 정보에 기반하여, 외부 장치(20)이 결제 가능한 기기인 것이 식별되면, 결제 승인 요청 명령을 외부 장치(20)에게 전송할 수 있다(⑫).
결제 승인 요청 명령을 수신한 외부 장치(20)는 상품을 결제를 승인할 수 있다. 예로, 사용자는 지문인식 또는 비밀번호를 통한 결제 방식에 따라 상품의 결제를 승인할 수 있다. 사용자는 결제를 승인함에 따라, 외부 장치(20)는 결제 인증 명령을 결제 서버(40)에게 전송할 수 있다(⑬). 결제 인증 명령을 수신한 결제 서버(40)는 상품의 결제가 완료되도록 처리하고, 결제 완료 명령을 외부 장치(20)에게 전송할 수 있다.
결제 완료 명령이 수신되면, 외부 장치(20)는 결제가 완료되었음을 나타내는 결제 완료 메시지를 전자 장치(10)에게 전송할 수 있다(⑭). 결제 완료 메시지를 수신한 전자 장치(10)는 사용자의 결제가 완료되었음을 나타내는 UI를 표시하거나, 사용자의 결제 이력을 저장하여 관리할 수 있다.
도 5a 및 도 5b는, 본 개시의 다양한 실시예에 따른 전자 장치가 외부 장치에게 UI 데이터를 제공하는 과정을 설명하는 도면이다.
도 5a에서, 전자 장치(10)가 화면(510)에 미디어 컨텐츠(예로, 홈쇼핑 방송)을 표시하는 동안에, 전자 장치(10)는 외부 서버(30)로부터 제1 UI 데이터를 수신할 수 있다(①). 전자 장치(10)는 수신된 제1 UI 데이터를 렌더링하여 제1 UI 데이터에 대응되는 제1 UI(511)를 화면(510)에 표시할 수 있다(②). 이 때, 제1 데이터는 전자 장치(10)의 화면을 고려한 UI데이터일 수 있다. 전자 장치(10)의 화면을 고려한 UI 데이터는, 전자 장치(10)의 화면 해상도 및 화면 크기 중 적어도 하나를 고려하여 검색 또는 생성된 UI 데이터를 의미할 수 있다.
이러한 상황에서, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행될 수 있다. 전자 장치(10)는 화면 공유 채널을 통하여 제1 UI(511)에 대응되는 제2 UI 데이터를 외부 장치(20)에게 전송할 수 있다(③).
제2 UI 데이터를 수신한 외부 장치(20)는 제2 UI 데이터를 렌더링하여 제2 UI 데이터에 대응되는 제2 UI(521)를 전자 장치(10)의 화면에 표시할 수 있다(④). 이 경우, 제2 UI 데이터는 전자 장치(10)의 화면을 고려하여 외부 서버(30)로부터 수신된 UI 데이터로서, 외부 장치(20)의 화면에는 적합하지 않을 수 있다. 예로, 전자 장치(10)로부터 수신된 제2 UI 데이터에 대응되는 제2 UI(521)는 사용자가 선택하기에 작게 표시되거나, 터치 입력이 어려운 위치에 표시되거나, 전자 장치(10)의 기 마련된 기본 UI와 충돌이 되는 위치에 표시되는 UI 일 수 있다.
이에 따라, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행되면, 도 5b와 같이, 전자 장치(10)는 외부 서버(30)에게 전자 장치(10)와 화면을 공유 중인 외부 장치(20)의 식별 정보를 전송할 수 있다(⑤). 외부 장치(20)의 식별 정보는, 예로, 외부 장치(20)의 기기명, 제조 회사 또는 고유 번호 등이 될 수 있다. 전자 장치(10)는, 예로, 화면 공유를 위하여 외부 장치(20)가 페어링 연결하는 과정에서, 상기 외부 장치(20)의 식별 정보를 획득할 수 있다.
전송에 대한 응답으로, 전자 장치(10)는 외부 장치(20)의 화면을 고려한 제3 UI 데이터를 수신할 수 있다(⑥). 외부 장치(20)의 화면을 고려한 UI 데이터는, 외부 장치(20)의 식별 정보에 기반하여 검색된 외부 장치(20)의 화면 해상도 및 화면 크기 중 적어도 하나를 고려하여 검색 또는 생성된 UI 데이터를 의미할 수 있다.
제3 UI 데이터를 수신한 전자 장치(10)는, 수신된 제3 UI 데이터를 렌더링하여 제3 UI 데이터에 대응되는 제3 UI(531)를 화면(510)에 표시할 수 있다(⑦). 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행되는 동안에, 전자 장치(10)는 화면 공유 채널을 통하여 제3 UI(531)에 대응되는 제4 UI 데이터를 외부 장치(20)에게 전송할 수 있다(⑧).
외부 장치(20)는 수신된 제4 UI 데이터를 렌더링하여 제4 UI 데이터에 대응되는 제4 UI(541)를 화면(520)에 표시할 수 있다(⑨).
도 6a 및 도 6b는, 본 개시의 다른 실시예에 따른 전자 장치가 외부 장치에게 UI 데이터를 제공하는 과정을 설명하는 도면이다.
도 6a에서, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행되면, 전자 장치(10)는 외부 서버(30)에게 화면 공유 중인 외부 장치(20)의 식별 정보를 전송할 수 있다(①). 외부 서버(30)는 수신된 식별 정보에 기반하여 검색된, 외부 장치(20)의 화면을 고려한 제1 UI 데이터를 전자 장치(10)에게 전송할 수 있다(②). 전자 장치(10)는 수신된 제1 UI 데이터를 렌더링하여, 제1 UI 데이터에 대응되는 제1 UI(611)를 화면(610)에 표시하고(③), 제1 UI(611)에 대응되는 제2 UI 데이터를 외부 장치(20)에게 전송할 수 있다(④). 외부 장치(20)는 수신된 제2 UI 데이터를 렌더링하여, 제2 UI 데이터에 대응되는 제2 UI(621)를 화면(620)에 표시할 수 있다(⑤). 이 경우, 제2 UI(621)는 사용자 터치 입력에 적합한 형태의 UI가 될 수 있다. 예로, 제2 UI(621)는 원형 또는 라운드 모서리를 가진 터치 가능한 객체들을 포함할 수 있다.
다른 예로, 도 6b에서, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행되면, 전자 장치(10)는 외부 서버(30)에게 화면 공유 중인 외부 장치(20)의 식별 정보를 전송할 수 있다(①). 이때, 외부 장치(20)는 웨어러블 장치로서, 예로, 원형의 화면을 가진, 갤럭시 기어 등이 될 수 있다. 외부 서버(30)는 수신된 식별 정보에 기반하여 검색된, 외부 장치(20)의 원형의 화면을 고려한 제1 UI 데이터를 전자 장치(10)에게 전송할 수 있다(②). 전자 장치(10)는 수신된 제1 UI 데이터를 렌더링하여, 제1 UI 데이터에 대응되는 제1 UI (631)를 화면(630)에 표시하고(③), 제1 UI(631)에 대응되는 제2 UI 데이터를 외부 장치(20)에게 전송할 수 있다(④). 외부 장치(20)는 수신된 제2 UI 데이터를 렌더링하여, 제2 UI 데이터에 대응되는 제2 UI(641)를 화면(640)에 표시할 수 있다(⑤). 이 경우, 제2 UI(641)는 원형의 화면에서 사용자 터치 입력에 적합한 형태의 UI가 될 수 있다. 예로, 제2 UI(641)는 외부 장치(20)의 원형의 화면에 대응되는 UI로서 반원 또는 부채꼴 형태의 UI를 포함할 수 있다.
도 7a 및 도 7b는, 본 개시의 다른 실시예에 따른 전자 장치가 외부 장치에게 UI 데이터를 제공하는 과정을 설명하는 도면이다.
도 7a에서, 전자 장치(10)가 화면(710)에 미디어 컨텐츠(예로, 홈쇼핑 방송)을 표시하는 동안에, 전자 장치(10)는 외부 서버(30)로부터 제1 UI 데이터를 수신할 수 있다(①). 전자 장치(10)는 수신된 제1 UI 데이터를 렌더링하여 제1 UI 데이터에 대응되는 제1 UI(711)를 화면(710)에 표시할 수 있다(②). 이러한 상황에서, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행될 수 있다. 전자 장치(10)는 화면 공유 채널을 통하여 제1 UI(711)에 대응되는 제2 UI 데이터를 외부 장치(20)에게 전송할 수 있다(③). 제2 UI 데이터를 수신한 외부 장치(20)는 제2 UI 데이터를 렌더링하여 제2 UI 데이터에 대응되는 제2 UI(721)를 전자 장치(10)의 화면에 표시할 수 있다(④).
전자 장치(10) 및 외부 장치(20) 간에 화면 공유 서비스가 수행되는 동안에, 도 7b와 같이, 전자 장치(10)는 외부 서버(30)에게 연결된 외부 장치(20)의 식별 정보를 전송할 수 있다(⑤). 전송에 대한 응답으로, 전자 장치(10)는 외부 장치(20)의 화면을 고려한 제3 UI 데이터를 수신할 수 있다(⑥). 이 때, 전자 장치(10)는 전자 장치(10)의 화면을 고려한 제1 UI 데이터를 더 수신할 수도 있다(⑥). 제1 UI 데이터는 도 7a에서 수신된 UI 데이터일 수도 있고, 상기 제1 UI 데이터가 업데이트된 UI 데이터일 수도 있다.
제1 UI 데이터를 수신한 전자 장치(10)는, 수신된 제1 UI 데이터를 렌더링하여 제1 UI 데이터에 대응되는 제1 UI(731)를 화면(730)에 표시할 수 있다(⑦). 전자 장치(10)는 화면 공유 채널을 통하여 외부 서버(30)로부터 수신된 제3 UI 데이터에 대응되는 제4 UI 데이터를 외부 장치(20)에게 전송할 수 있다(⑧). 제4 UI 데이터는 제3 UI 데이터와 동일한 데이터일 수도 있고, 또는 통신 포맷이 다른 데이터일 수도 있다. 예로, 제3 UI 데이터는 원거리 통신 프로토콜에 따라 생성된 데이터이고, 제4 UI 데이터는 근거리 통신 프로토콜에 따라 생성된 데이터일 수 있다.
외부 장치(20)는 수신된 제4 UI 데이터를 렌더링하여 제4 UI 데이터에 대응되는 제4 UI(741)를 화면(720)에 표시할 수 있다(⑨).
도 8은, 본 개시의 일 실시예에 따른 전자 장치(10)의 UI 데이터 처리 블록도를 나타내는 도면이다.
도 8은, 전자 장치(10) 및 외부 장치(20) 간에 화면을 공유하는 상황을 나타낸다.
이 경우, 도 8의 (8-a)는 전술한 도 5a 및 도 5b의 과정에 따른 UI 데이터를 전송하는 전자 장치(10)의 일부의 블록도이고, 도 8의 (8-b)는 전술한 도 7a 및 도 7b의 과정에 따른 UI 데이터를 전송하는 전자 장치(10)의 일부의 블록도이다.
도 8의 (8-a)에서, 전자 장치(10)는 UI 데이터(801)는 외부 서버(30)로부터 획득하고, 비디오 데이터(802)를 외부 서버(30) 또는 방송 서버(미도시)로부터 획득할 수 있다. 이 때, 외부 서버(30)로부터 획득된 UI 데이터(801)는 외부 장치(20)의 화면 정보를 고려하여 선택된 UI 데이터일 수 있다. 예로, 전자 장치(10)가 외부 장치(20)의 식별 정보를 외부 서버(30)로 전송하는 경우, 외부 서버(30)는 외부 장치(20)의 식별 정보에 기반하여, 외부 장치(20)의 화면 해상도 및 화면 크기 등과 같은 화면 정보를 획득할 수 있다. 외부 서버(30)는 상기 화면 정보를 고려한 UI 데이터를 검색 또는 생성하여 전자 장치(10)에게 전송할 수 있다.
도 8의 (8-a)에서, 전자 장치(10)는 획득된 UI 데이터(801)를 화면 컴포저(840)로 제공하고, 비디오 데이터(802)는 플레이어 프레임워크(810), 코덱 인터페이스(820) 및 코덱 드라이버/하드웨어(830)를 거쳐서 디코딩하여 화면 컴포저(840)로 제공할 수 있다. 전자 장치(10)는 화면 컴포저(840)를 통하여 생성된 화면 데이터를 디스플레이 버퍼(850)에 저장 후 스크린(860)을 통하여 표시할 수 있다. 한편, 외부 장치(20)에게 화면을 공유하기 위하여, 전자 장치(10)는 디스플레이 버퍼(850)에 저장 중인 화면 데이터를 코덱 인터페이스(870), 코덱 드라이버/하드웨어(830), 코덱 모듈(880)을 통하여 인코딩하고, RTP(Real time protocol) 모듈(890)을 거쳐 생성된 통신 패킷을 네트워크(895)를 통하여 외부 장치(20)로 전송할 수 있다.
이에 따라, 전자 장치(10)의 화면에 표시되는 UI 데이터(801)에 대응되는 UI와 동일한 UI가, 전자 장치(10)와 화면을 공유하는 외부 장치(20)의 화면에 표시될 수 있다.
다른 예로, 도 8의 (8-b)에서, 전자 장치(10)는 제1 UI 데이터(804) 및 제2 UI 데이터(805)는 외부 서버(30)로부터 획득하고, 비디오 데이터(806)를 외부 서버(30) 또는 방송 서버(미도시)로부터 획득할 수 있다. 이 때, 제1 UI 데이터(804)는 전자 장치(10)의 화면을 고려하여 외부 서버(30)로부터 획득된 데이터이고, 제2 UI 데이터(805)는 외부 장치(20)의 화면을 고려하여 외부 서버(30)로부터 획득된 데이터일 수 있다.
전자 장치(10)는 획득된 제1 UI 데이터(804) 및 제2 UI 데이터(805)를 화면 컴포저(840)로 제공하고, 비디오 데이터(806)는 플레이어 프레임워크(810), 코덱 인터페이스(802) 및 코덱 드라이버/하드웨어(830)를 거쳐서 디코딩하고 화면 컴포저(840)로 제공할 수 있다. 전자 장치(10)는 화면 컴포저(840)를 통하여 제1 UI 데이터(804) 및 비디오 데이터(806)로부터 생성된 화면 데이터는 디스플레이 버퍼(850)에게 전송하고, 제2 UI 데이터(805) 및 비디오 데이터(806)로부터 생성된 화면 데이터는 코덱 인터페이스(870)로 제공할 수 있다. 전자 장치(10)는 디스플레이 버퍼(850)에게 제공된 화면 데이터를 스크린(860)을 통하여 표시할 수 있다. 또한, 코덱 인터페이스(870)로 제공된 화면 데이터는 코덱 드라이버/하드웨어(830), 코덱 모듈(880)을 통하여 인코딩하고, RTP(Real time protocol) 모듈(890)을 거쳐 생성된 통신 패킷을 네트워크(895)로 전송할 수 있다.
이 경우, 전자 장치(10)의 화면에 표시되는 UI와 상이한 UI가, 전자 장치(10)와 화면을 공유하는 외부 장치(20)의 화면에 표시될 수 있다. 즉, 전자 장치(10)의 화면에 적합한 UI 및 외부 장치(20)의 화면에 적합한 UI가 독립적으로 제공되어, 사용자가 전자 장치(10)를 조작하는 상황과 외부 장치(20)을 조작하는 상황에서 각각 최적의 사용자 조작 환경이 제공될 수 있다.
다양한 실시예로, 전자 장치(10)의 화면에 표시되는 UI와 외부 장치(20)의 화면에 표시되는 UI가 상이한 경우, 상기 두 개의 UI 간의 연결을 위한 매핑 테이블이 존재할 필요가 있다. 예로, 전자 장치(10)의 화면에 표시되는 UI와 외부 장치(20)의 화면에 표시되는 UI는 각각 동일한 기능을 수행하기 위한 UI일 수 있다. 이 경우, 두 개의 UI 간의 형태가 상이한 것을 고려하여, 외부 장치(20)의 화면에 표시되는 UI의 좌표 값 또는 UI에 포함되는 객체들의 좌표 값 각각과, 전자 장치(10)의 화면에 표시되는 UI의 좌표 값 또는 UI에 포함되는 객체들의 좌표 값을 서로 대응시키기 위한 매핑 테이블이 존재할 수 있다. 매핑 테이블은 예로, 외부 서버(30)로부터 제1 UI 데이터(804) 및 제2 UI 데이터(805)와 함께 수신될 수 있다.
도 9는, 본 개시의 일 실시예에 따른 전자 장치 및 외부 장치 간에 인터렉션하는 과정을 설명하는 도면이다.
도 9에서, 전자 장치(10)는 다양한 컨텐츠를 제공할 수 있다. 예로, 전자 장치(10)는, 엔터테인먼트 컨텐츠, 뉴스 컨텐츠, 광고 컨텐츠, 애니매이션 컨텐츠, 교육 컨텐츠 또는 음악 컨텐츠 등을 제공할 수 있다.
전자 장치(10)와 외부 장치(20) 간에 화면 공유 서비스가 수행됨에 따라, 전자 장치(10)는 화면 공유 채널을 통하여 외부 장치(20)에게 화면 데이터를 전송할 수 있다(①). 화면 데이터는, 예로, 전자 장치(10)의 화면에 표시 중인 UI(901)에 대응되는 UI 데이터를 포함할 수도 있고, 또는 외부 장치(20)의 화면에 적합한 UI 데이터를 포함할 수 있다. 이때, UI 데이터는, 예로, 컨텐츠 제공자가 제공하는 UI 데이터일 수 있다. 외부 장치(20)는 UI 데이터에 대응되는 화면에 표시된UI를 선택하는 사용자 입력에 응답하여, 사용자에 의하여 수행된 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다(②). 사용자 입력 정보는, 예로, 사용자가 화면을 터치한 좌표 값, 터치를 지속한 터치 지속 시간, 드래그 속도, 드래그 방향, 드래그 가속도, 멀티 터치 좌표 값, 멀티 터치 방향 중 적어도 하나를 포함할 수 있다.
사용자 입력 정보를 수신한 전자 장치(10)는 사용자 입력에 대응되는 기능을 수행할 수 있다. 예로, 전자 장치(10)는 사용자 입력에 대응되는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다(③).
일 예로, 도 9의 (9-a)와 같이, 외부 장치(20)는 전자 장치(10)로부터 수신된 UI 데이터에 대응되는 UI로서 엔터테인먼트 콘텐츠와 관련된 메뉴(예로, 썸네일 목록)(911)를 표시할 수 있다. 이 경우, 메뉴(911)의 객체(예로, 썸네일)을 선택하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 썸네일(예로, 드라마의 하이라이트 장면 등) 관련 화면을 표시하고, 상기 썸네일 관련 화면을 외부 장치(20)와 공유할 수 있다.
다른 예로, 도 9의 (9-b)와 같이, 외부 장치(20)는 전자 장치(10)로부터 수신된 UI 데이터에 대응되는 UI로서 뉴스 컨텐츠와 관련된 메뉴(912)를 표시할 수 있다. 이 경우, 메뉴(912)를 터치하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 뉴스 컨텐츠와 관련된 기사 링크로 접속하는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다.
또 다른 예로, 도 9의 (9-c)와 같이, 외부 장치(20)는 전자 장치(10)로부터 수신된 UI 데이터에 대응되는 UI로서 광고 컨텐츠와 관련된 메뉴(913)를 표시할 수 있다. 이 경우, 메뉴(913)를 터치하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 광고 컨텐츠와 관련된 광고 링크(예로, 쿠폰 제공 홈페이지 링크)로 접속하는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다.
또 다른 예로, 도 9의 (9-d)와 같이, 외부 장치(20)는 전자 장치(10)로부터 수신된 UI 데이터에 대응되는 UI로서 애니메이션 컨텐츠와 관련된 메뉴(914)를 표시할 수 있다. 이 경우, 메뉴(914)를 터치하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 애니메이션과 관련된 캐릭터 상품 구매 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다.
또 다른 예로, 도 9의 (9-e)와 같이, 외부 장치(20)는 전자 장치(10)로부터 수신된 UI 데이터에 대응되는 UI로서 교육 컨텐츠와 관련된 메뉴(915)를 표시할 수 있다. 이 경우, 메뉴(915)를 터치하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 교육 컨텐츠와 관련된 교육 상품 구매 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다.
또 다른 예로, 도 9의 (9-e)와 같이, 외부 장치(20)는 전자 장치(10)로부터 수신된 UI 데이터에 대응되는 UI로서 음악 컨텐츠와 관련된 메뉴(916)를 표시할 수 있다. 이 경우, 메뉴(916)를 터치하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 음악 컨텐츠와 관련된 컨텐츠를 투표하거나 또는 평가하기 위한 사이트로 접속하는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다.
도 9에 따르면, 외부 장치(20)에서 터치 센서를 통한 사용자 입력(예로, 터치 입력, 스크롤 입력, 롱 프레스 입력 등)을 이용하여, 전자 장치(10)를 직관적으로 조작하는 것이 가능할 수 있다. 또한, 전자 장치(10)에서 표시되는 콘텐츠의 부가 기능을 외부 장치(20)에서 수행할 수 있어 사용자 편의성이 향상될 수 있다.
도 10은, 본 개시의 일 실시예에 따른 전자 장치 및 외부 장치 간에 인터렉션하는 과정을 설명하는 도면이다.
도 10에서, 전자 장치(10)와 외부 장치(20) 간에 화면 공유 서비스가 수행됨에 따라, 전자 장치(10)는 화면 공유 채널을 통하여 외부 장치(20)에게 화면 데이터를 전송할 수 있다(①). 화면 데이터는, 예로, 전자 장치(10)의 화면에 표시 중인 UI(1001)에 대응되는 UI 데이터를 포함할 수도 있고, 또는 외부 장치(20)의 화면에 적합한 UI 데이터를 포함할 수 있다. 이때, UI 데이터는, 예로, 전자 장치(10)의 고유 기능을 제어하기 위한 UI 데이터로서, 전자 장치(10)가 제공하는 UI 데이터일 수 있다. 외부 장치(20)는 UI 데이터에 대응되는 화면에 표시된UI를 선택하는 사용자 입력에 응답하여, 사용자에 의하여 수행된 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다(②).
일 예로, 도 10의 (10-a)와 같이, 외부 장치(20)는 전자 장치(10)로부터 수신된 UI 데이터에 대응되는 UI로서 OSD(On screen display) UI(1011)를 표시할 수 있다. OSD UI는, 예로, 볼륨 정보, 메뉴 정보, 채널 정보, 편성표 정보 및 검색 정보 중 적어도 하나를 포함할 수 있다. 이 경우, 외부 장치(20)의 화면을 롱 프레스하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 전자 장치(10)에 표시 중인 OSD 메뉴(1011)을 오프하거나 또는 온할 수 있다.
다른 예로, 도 10의 (10-b)와 같이, 외부 장치(20)는 전자 장치(10)로부터 수신된 UI 데이터에 대응되는 UI로서 OSD UI(1011)를 표시할 수 있다. 이 경우, OSD UI(1011)에 포함된 적어도 하나의 객체를 선택하거나 스크롤하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서 선택된 객체를 스크롤하여 표시하거나, 선택된 객체와 관련된 정보를 표시하고, 표시 결과를 외부 장치(20)과 공유할 수 있다.
또 다른 예로, 도 10의 (10-c)와 같이, 외부 장치(20)는 전자 장치(10)로부터 수신된 UI 데이터에 대응되는 UI로서 EPG(Electric Program Guide) UI(1012)를 표시할 수 있다. 이 경우, EPG UI(1012)를 줌인/줌아웃 하거나, EPG UI(1012)에 포함된 객체(예로, 편성표, 방송 썸네일 등)를 선택하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서 EPG UI(1012)를 줌인/줌아웃하거나, EPG UI(1012)에 포함된 객체와 관련된 정보를 표시하고, 표시 결과를 외부 장치(20)과 공유할 수 있다.
또 다른 예로, 도 10의 (10-d)와 같이, 외부 장치(20)의 화면의 일 측을 상방향 또는 하방향으로 드래그하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 전자 장치(10)의 화면의 볼륨을 조절하거나, 화면의 밝기를 조절할 수 있다.
또 다른 예로, 도 10의 (10-e)와 같이, 외부 장치(20)의 화면을 좌방향 또는 우방향으로 드래그하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 방송 중인 채널을 변경할 수 있다.
또 다른 예로, 도 10의 (10-f)와 같이, 외부 장치(20)의 화면에는 가상 키패드(1013)가 표시될 수 있다. 예로, 화면의 일 측에서 화면의 중심 방향으로 드래그하는 사용자 입력에 응답하여, 외부 장치(20)의 화면에는 가상 키패드(1013)가 표시될 수 있다. 가상 키패드(1013)를 통하여 검색어를 입력하는 사용자 입력에 응답하여, 외부 장치(20)는 사용자 입력 정보를 전자 장치(10)에게 전송할 수 있다. 전자 장치(10)는 수신된 사용자 입력 정보에 대응되는 기능으로서, 검색어와 관련된 정보를 표시하는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다.
도 10에 따르면, 전자 장치(10)의 고유 기능을 외부 장치(20)을 통하여 제어가 가능하여, 전자 장치(10)를 제어하는 사용자의 직관성이 향상될 수 있다.
도 11은 본 개시의 다양한 실시예에 따른 전자 장치가 외부 장치에게 UI 데이터를 제공하는 흐름도이다.
먼저, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 연결(예로, 미라캐스트 연결)이 수행될 수 있다(1101). 예로, 전자 장치(10)에 표시된 화면이 외부 장치(20)의 디스플레이에 표시될 수 있다.
전자 장치(10) 및 외부 장치(20) 간에 화면 공유 연결이 수행되면, 전자 장치(10)는 외부 장치(예로, 연결 기기)의 식별 정보를 외부 서버(30)에게 전송할 수 있다(1102).
또한, 전자 장치(10)는 외부 서버(30)에게 외부 장치(20)의 식별 정보에 기반한 외부 장치(20)의 화면을 고려한 UI 데이터를 요청할 수 있다(1103).
전자 장치(10)는 외부 서버(30)로부터, 외부 장치(20)의 화면을 고려한 UI 데이터(예로, 추가 OSD 데이터)를 수신할 수 있다(1104).
전자 장치(10)는 수신된 UI 데이터를 외부 장치(20)에게 전송할 수 있다(1105). 예로, 전자 장치(10)는 수신된 UI 데이터와 전자 장치(10)에서 표시되는 비디오 데이터가 결합된 화면 데이터를 외부 장치(20)에게 전송할 수 있다.
도 12는 본 개시의 다양한 실시예에 따른 전자 장치가 외부 장치에게 UI 데이터를 제공하는 흐름도이다.
먼저, 전자 장치(10) 및 외부 장치(20) 간에 화면 공유 연결(예로, 미라캐스트 연결)이 수행될 수 있다(1201).
전자 장치(10)는 연결된 외부 장치(예로, 싱크 기기)의 센서(예로, 터치 패널)에서 감지된 감지 정보(예로, 사용자의 터치 좌표 값)를 수신할 수 있다(1202).
감지 정보가 수신되면, 전자 장치(10)는 감지된 정보(예로, 터치 좌표 값)에 따라 수행할 기능을 결정할 수 있다(1203). 예로, 전자 장치(10)는 사용자에 의하여 선택된 위치에 대응되는 터치 표 값에 기반하여, 터치 좌표 값에 대응되는 UI와 관련된 기능으로서 결제와 관련된 기능을 실행할 것을 결정할 수 있다.
감지된 정보에 따라 수행할 기능이 결정되면, 전자 장치(10)는 결정된 기능과 관련된 정보를 외부 서버(30)에게 요청할 수 있다(1204). 예로, 전자 장치(10)는 결제를 위한 상품 옵션 정보를 외부 서버(30)에게 요청할 수 있다.
요청에 대한 응답으로서, 전자 장치(10)는 외부 서버(30)로부터 결정된 기능과 관련된 정보를 수신할 수 있다(1205).
전자 장치(10)는 수신된 기능과 관련된 정보가 외부 장치(예로, 싱크 기기)(20)에게 전달이 필요한 데이터인지를 판단할 수 있다(1206). 전달이 필요한 데이터인 것으로 판단되면(1206-예), 전자 장치(10)는 수신된 기능과 관련된 정보를 외부 장치(20)에게 전송할 수 있다(1207). 예로, 수신된 기능과 관련된 정보가 상품 옵션 정보 및 상품 옵션 정보와 관련된 UI 데이터인 경우, 전자 장치(10)는 상기 상품 옵션 정보 및 상기 UI 데이터를 외부 장치(20)에게 전송할 수 있다.
반면에, 수신된 기능과 관련된 정보가 외부 장치(20)에게 전달이 불필요한 정보인 것으로 판단되면(1206-아니오), 전자 장치(예로, 소스 장치)는 수신된 기능과 관련된 정보를 직접 처리할 수 있다(1208).
도 13은 본 개시의 다양한 실시예에 따른 전자 장치 및 외부 장치 간의 데이터를 송수신하는 흐름도이다.
먼저, 전자 장치(10)는 외부 서버(30)로부터 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시할 수 있다(1301). 이 때, 제1 UI 데이터는 원거리 통신 프로토콜에 따라 생성된 데이터일 수 있다.
전자 장치(10)는 제1 UI에 대응되는 제2 UI 데이터를 외부 장치(20)에게 전송할 수 있다(1302). 이 때, 제2 UI 데이터는 근거리 통신 프로토콜에 따라 생성된 데이터일 수 있다. 전자 장치(10)는 화면 공유 채널을 통하여 제2 UI 데이터를 외부 장치(20)에게 전송할 수 있다. 전자 장치(10)는 제2 UI 데이터와 함께 화면에 표시 중인 비디오 데이터를 외부 장치(20)에게 전송할 수도 있다.
외부 장치(20)는 제2 UI 데이터에 대응되는 제2 UI를 화면에 표시할 수 있다(1303).
화면에 표시된 제2 UI를 선택하는 사용자 입력이 수신되면(1304), 외부 장치(20)는 사용자에 의하여 선택된 좌표 값을 전자 장치(10)에게 전송할 수 있다(1305). 예로, 외부 장치(20)는 사용자 입력 백 채널을 통하여 좌표 값을 전자 장치(10)에게 전송할 수 있다.
전자 장치(10)는 수신된 좌표 값에 대응되는 제1 UI가 결정되면(1306), 제1 UI와 관련된 부가 정보를 획득할 수 있다(1307). 예로, 전자 장치(10)는 수신된 좌표 값에 대응되는 전자 장치(10)의 화면의 좌표 값을 식별할 수 있다. 식별된 좌표 값이 전자 장치(10)의 화면에 표시된 제1 UI의 위치에 대응되는 경우, 전자 장치(10)는 제1 UI와 관련된 부가 정보를 획득할 수 있다.
다음으로, 전자 장치(20)는 획득된 부가 정보 및 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 외부 장치(20)에게 전송할 수 있다(1308). 예로, 부가 정보가 연락처를 포함하는 경우, 어플리케이션의 실행 명령은, 전화 어플리케이션의 실행 명령, 이메일 어플리케이션의 실행 명령 또는 메신저 어플리케이션의 실행 명령일 수 있다. 또는, 부가 정보가 결제 정보를 포함하는 경우, 어플리케이션의 실행 명령은, 결제 어플리케이션의 실행 명령일 수 있다. 한편, 전자 장치(10)는 부가 정보를 전자 장치(10)의 메모리 또는 외부 서버(30)로부터 획득할 수도 있다.
다양한 실시예로, 전자 장치(10)는 외부 장치(20)의 식별 정보를 상기 외부 서버(30)에게 전송할 수 있다. 외부 장치(20)의 식별 정보는, 예로, 전자 장치(10)가 외부 장치(20)와 화면 공유 연결 절차에서 획득한 식별 정보를 포함할 수 있다. 식별 정보의 전송에 대한 응답으로, 전자 장치(10)는 외부 서버(30)로부터 외부 장치(20)의 화면을 고려한 제3 UI데이터를 수신할 수 있다. 전자 장치(10)는 수신된 제3 UI 데이터에 대응되는 제4 UI 데이터를 외부 장치(20)에게 전송할 수 있다. 외부 장치(20)는 수신된 제4 UI 데이터를 렌더링하여, 제4 UI 데이터에 대응되는 제3 UI를 화면에 표시할 수 있다.
도 14는 본 개시의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 14 도시된 바와 같이, 전자 장치(10)는, 프로세서(2010), 통신부(2020) 및 디스플레이(2060) 이외에, 메모리(2090), 튜너부(2010), 감지부(2030), 입/출력부(340), 비디오 처리부(2050), 오디오 처리부(2070), 및 오디오 출력부(2080) 중 적어도 하나를 더 포함할 수 있다.
프로세서(2010), 통신부(2020) 및 디스플레이(2060) 각각은, 도 1의 프로세서(12), 통신부(13), 디스플레이(11)에 각각 대응되어 전술한 중복되는 설명은 생략한다.
프로세서(2010)는, 예를 들면, 메모리(2090)에 저장된 소프트웨어(예로, 프로그램)를 실행하여 프로세서(2010)에 연결된 전자 장치(10)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(2010)는 다른 구성요소로부터 수신된 명령 또는 데이터를 메모리(예로, 휘발성 메모리)(2090)에 로드하고, 메모리(2090)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(예로, 비휘발성 메모리)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(2010)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서은 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다. 보조 프로세서는, 예를 들면, 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서와 함께, 전자 장치(10)의 구성요소들 중 적어도 하나의 구성요소와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다.
통신부(2020)는 프로세서(2010)의 제어에 의해 전자 장치(10)를 외부 장치(20), 외부 서버(30) 또는 결제 서버(40)와 연결할 수 있다. 예로, 통신부(2020)는 전자 장치(10)와 외부 장치(20), 외부 서버(30) 또는 결제 서버(40) 간 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신부(2020)는 프로세서(2010)(예로, 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신부(2020)는 무선 통신 모듈(2021)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(2022)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 장치(20), 외부 서버(30) 또는 결제 서버(40)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
디스플레이(2060)는 전자 장치(10)의 외부(예: 사용자)로 정보(예: UI 등)를 시각적으로 제공할 수 있다. 디스플레이(2060)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이(2060)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이(2060)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기 영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고, 전자 장치(10)의 구현 형태에 따라, 전자 장치(10)는 디스플레이(2060)를 2개 이상 포함할 수도 있다.
튜너부(2010)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 전자 장치(10)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(2010)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(2010)의 제어에 의해 메모리(2090)에 저장될 수 있다. 전자 장치(10)의 튜너부(2010)는 하나이거나 복수일 수 있다. 튜너부(2010)는 전자 장치(10)와 일체형(all-in-one)으로 구현되거나 또는 전자 장치(10)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치, 입/출력부(2040)에 연결되는 튜너부(도시되지 아니함)로 구현될 수 있다.
감지부(2030)는 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크(2031), 카메라부(2032), 및 광 수신부(2033)를 포함할 수 있다.
마이크(2031)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(2031)는 수신된 음성을 전기 신호로 변환하여 프로세서(2010)로 출력할 수 있다. 카메라부(2032)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 광 수신부(2033)는, 외부의 제어 장치(예로, 리모컨)로부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(2033)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(2010)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(2040)는 프로세서(2010)의 제어에 의해 전자 장치(10)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(2040)는 HDMI 포트(High-Definition Multimedia Interface port, 2041), 컴포넌트 잭(component jack, 2042), PC 포트(PC port, 2043), 및 USB 포트(USB port, 2044) 중 하나를 포함할 수 있다. 입/출력부(2040)는 HDMI 포트(2041), 컴포넌트 잭(2042), PC 포트(2043), 및 USB 포트(2044)의 조합을 포함할 수 있다.
비디오 처리부(2050)는, 디스플레이(2060)에 의해 표시될 영상을 처리하며, 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 영상 처리를 수행할 수 있다.
오디오 처리부(2070)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(2070)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
오디오 출력부(2080)는 프로세서(2010)의 제어에 의해 튜너부(2010)를 통해 수신된 방송 신호에 포함된 오디오, 통신부(2020) 또는 입/출력부(2040)를 통해 입력되는 오디오, 메모리(2090)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(2080)는 스피커(2081), 헤드폰 출력 단자(2082) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자)(2083) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 메모리(2090)는, 프로세서(2010)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(10)로 입력되거나 전자 장치(10)로부터 출력되는 데이터를 저장할 수 있다.
메모리(300)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시예에 따른 메모리(2090)는 외부 서버로부터 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시하고, 상기 제1 UI에 대응되는 제2 UI 데이터를 상기 외부 장치에게 전송하고, 상기 외부 장치로부터, 상기 외부 장치를 이용하는 사용자에 의하여 선택된 좌표 값을 수신하고, 상기 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응됨에 따라, 상기 제1 UI와 관련된 부가 정보를 획득하고, 상기 부가 정보, 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 상기 외부 장치에게 전송하는 동작을 전자 장치가 수행하도록 설정된 하나 이상의 인스트럭션(instruction)을 저장할 수 있다.
본 개시에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 전자 장치(10)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(2090))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(10))의 프로세서(예: 프로세서(2120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 개시의 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
10: 전자 장치
20: 외부 장치
30: 외부 서버
40: 결제 서버

Claims (20)

  1. 전자 장치가 외부 장치를 제어하는 방법에 있어서,
    외부 서버로부터 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시하는 동작;
    상기 제1 UI에 대응되는 제2 UI 데이터를 상기 외부 장치에게 전송하는 동작;
    상기 외부 장치로부터, 상기 외부 장치를 이용하는 사용자에 의하여 선택된 좌표 값을 수신하는 동작;
    상기 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응됨에 따라, 상기 제1 UI와 관련된 부가 정보를 획득하는 동작; 및
    상기 부가 정보, 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 상기 외부 장치에게 전송하는 동작을 포함하는,
    외부 장치 제어 방법.
  2. 제1항에서,
    상기 부가 정보는, 연락처를 포함하고,
    상기 어플리케이션의 실행 명령은, 전화 어플리케이션의 실행 명령, 이메일 어플리케이션의 실행 명령 또는 메신저 어플리케이션의 실행 명령을 포함하는,
    외부 장치 제어 방법.
  3. 제1항에서,
    상기 부가 정보는, 결제 정보를 포함하고,
    상기 어플리케이션의 실행 명령은, 결제 어플리케이션의 실행 명령을 포함하는,
    외부 장치 제어 방법.
  4. 제1항에서,
    상기 제1 UI와 관련된 부가 정보를 획득하는 동작은,
    상기 외부 서버로부터 상기 제1 UI와 관련된 부가 정보를 획득하는 동작을 포함하는,
    외부 장치 제어 방법.
  5. 제1항에서,
    상기 방법은,
    상기 외부 장치의 식별 정보를 상기 외부 서버에게 전송하는 동작;
    상기 전송에 대한 응답으로, 상기 외부 서버로부터 상기 외부 장치의 화면을 고려한 제3 UI데이터를 수신하는 동작; 및
    상기 제3 UI 데이터에 대응되는 제4 UI 데이터를 상기 외부 장치에게 전송하는 동작을 더 포함하는,
    외부 장치 제어 방법.
  6. 제5항에서,
    상기 외부 장치의 식별 정보는,
    상기 전자 장치가 상기 외부 장치와 화면 공유 연결 절차에서 획득한 식별 정보를 포함하는,
    외부 장치 제어 방법.
  7. 제1항에서,
    상기 제1 UI와 관련된 부가 정보를 획득하는 동작은,
    상기 수신된 좌표 값에 대응되는 상기 전자 장치의 화면의 좌표 값을 식별하는 동작; 및
    상기 식별된 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응됨에 따라, 상기 제1 UI와 관련된 부가 정보를 획득하는 동작을 포함하는,
    외부 장치 제어 방법.
  8. 제1항에서,
    상기 제2 UI 데이터를 상기 외부 장치에게 전송하는 동작은,
    상기 제2 UI 데이터와 함께 상기 화면에 표시 중인 비디오 데이터를 상기 외부 장치에게 전송하는 동작을 포함하는,
    외부 장치 제어 방법.
  9. 제1항에서,
    상기 제2 UI 데이터를 외부 장치에게 전송하는 동작은,
    화면 공유 채널을 통하여 상기 제2 UI 데이터를 상기 외부 장치에게 전송하는 동작을 포함하고,
    상기 외부 장치로부터, 상기 좌표 값을 수신하는 동작은,
    사용자 입력 백 채널을 통하여 상기 좌표 값을 수신하는 동작을 포함하는,
    외부 장치 제어 방법.
  10. 제1항에서,
    상기 제1 UI 데이터는 원거리 통신 프로토콜에 따라 생성된 데이터이고,
    상기 제2 UI 데이터는 근거리 통신 프로토콜에 따라 생성된 데이터인,
    외부 장치 제어 방법.
  11. 전자 장치에서,
    외부 서버 및 외부 장치와 통신을 위한 통신부;
    UI의 표시를 위한 디스플레이; 및
    상기 통신부 및 상기 디스플레이와 기능적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 외부 서버로부터 상기 통신부를 통하여 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시하도록 상기 디스플레이를 제어하고,
    상기 제1 UI에 대응되는 되는 제2 UI 데이터를 상기 외부 장치에게 전송하도록 상기 통신부를 제어하고,
    상기 외부 장치로부터 상기 외부 장치를 이용하는 사용자에 의하여 선택된 좌표 값을 상기 통신부를 통하여 수신하고,
    상기 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응되면, 상기 제1 UI와 관련된 부가 정보를 획득하고,
    상기 부가 정보, 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 상기 외부 장치에게 전송하도록 상기 통신부를 제어하는,
    전자 장치.
  12. 제11항에서,
    상기 부가 정보는, 연락처를 포함하고,
    상기 어플리케이션의 실행 명령은, 전화 어플리케이션의 실행 명령, 이메일 어플리케이션의 실행 명령 또는 메신저 어플리케이션의 실행 명령을 포함하는,
    전자 장치.
  13. 제11항에서,
    상기 부가 정보는, 결제 정보를 포함하고,
    상기 어플리케이션의 실행 명령은, 결제 어플리케이션의 실행 명령을 포함하는,
    전자 장치.
  14. 제11항에서,
    상기 프로세서는,
    상기 제1 UI와 관련된 부가 정보를 획득하는 경우,
    상기 외부 서버로부터 상기 제1 UI와 관련된 부가 정보를 획득하는,
    전자 장치.
  15. 제11항에서,
    상기 프로세서는,
    상기 외부 장치의 식별 정보를 상기 외부 서버에게 전송하도록 상기 통신부를 제어하고,
    상기 전송에 대한 응답으로, 상기 외부 서버로부터 상기 외부 장치의 화면을 고려한 제3 UI 데이터를 상기 통신부를 통하여 수신하고
    상기 제3 UI 데이터에 대응되는 제4 UI 데이터를 상기 외부 장치에게 전송하도록 상기 통신부를 제어하는,
    전자 장치.
  16. 제15항에서,
    상기 외부 장치의 식별 정보는,
    상기 전자 장치가 상기 외부 장치와 화면 공유 연결 절차에서 획득한 식별 정보를 포함하는,
    전자 장치.
  17. 제11항에서,
    상기 프로세서는,
    상기 제1 UI와 관련된 부가 정보를 획득하는 경우,
    상기 수신된 좌표 값에 대응되는 상기 전자 장치의 화면의 좌표 값을 식별하고,
    상기 식별된 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응되면, 상기 제1 UI와 관련된 부가 정보를 획득하는,
    전자 장치.
  18. 제11항에서,
    상기 프로세서는,
    상기 제2 UI 데이터와 함께 상기 화면에 표시 중인 비디오 데이터를 상기 외부 장치에게 전송하도록 상기 통신부를 제어하는,
    전자 장치.
  19. 제11항에서,
    상기 프로세서는,
    상기 제2 UI 데이터를 외부 장치에게 전송하도록 상기 통신부를 제어하는 경우,
    화면 공유 채널을 통하여 상기 제2 UI 데이터를 상기 외부 장치에게 전송하도록 상기 통신부를 제어하고,
    상기 외부 장치로부터, 상기 좌표 값을 상기 통신부를 통하여 수신하는 경우,
    사용자 입력 백 채널을 통하여 상기 좌표 값을 상기 통신부를 통하여 수신하는,
    전자 장치.
  20. 외부 서버로부터 수신된 제1 UI 데이터에 대응되는 제1 UI를 화면에 표시하는 동작;
    상기 제1 UI에 대응되는 제2 UI 데이터를 상기 외부 장치에게 전송하는 동작;
    상기 외부 장치로부터, 상기 외부 장치를 이용하는 사용자에 의하여 선택된 좌표 값을 수신하는 동작;
    상기 좌표 값이 상기 화면에 표시된 상기 제1 UI의 위치에 대응됨에 따라, 상기 제1 UI와 관련된 부가 정보를 획득하는 동작; 및
    상기 부가 정보, 상기 부가 정보를 이용하는 어플리케이션의 실행 명령을 상기 외부 장치에게 전송하는 동작을 전자 장치가 수행하도록 설정된 명령어들을 포함하는 컴퓨터로 읽을 수 있는 저장 매체를 포함하는,
    컴퓨터 프로그램 제품.

KR1020180102176A 2018-08-29 2018-08-29 전자 장치 및 이의 외부 장치를 제어하는 방법 KR102509071B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180102176A KR102509071B1 (ko) 2018-08-29 2018-08-29 전자 장치 및 이의 외부 장치를 제어하는 방법
US17/261,956 US11455140B2 (en) 2018-08-29 2019-05-15 Electronic device and method for same controlling external device
PCT/KR2019/005810 WO2020045795A1 (ko) 2018-08-29 2019-05-15 전자 장치 및 이의 외부 장치를 제어하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180102176A KR102509071B1 (ko) 2018-08-29 2018-08-29 전자 장치 및 이의 외부 장치를 제어하는 방법

Publications (2)

Publication Number Publication Date
KR20200025194A true KR20200025194A (ko) 2020-03-10
KR102509071B1 KR102509071B1 (ko) 2023-03-10

Family

ID=69644459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180102176A KR102509071B1 (ko) 2018-08-29 2018-08-29 전자 장치 및 이의 외부 장치를 제어하는 방법

Country Status (3)

Country Link
US (1) US11455140B2 (ko)
KR (1) KR102509071B1 (ko)
WO (1) WO2020045795A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085363A1 (ko) * 2022-10-17 2024-04-25 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11061638B2 (en) * 2019-09-17 2021-07-13 The Toronto-Dominion Bank Dynamically determining an interface for presenting information to a user
CN113938743B (zh) * 2020-07-08 2023-06-27 华为技术有限公司 一种电子设备间的协同控制方法及系统
WO2022232805A1 (en) 2021-04-27 2022-11-03 Osom Products, Inc. Operation of an electronic device as a web camera
US20230051956A1 (en) * 2021-08-16 2023-02-16 Capstone Industries, Inc. Smart mirror capable of remotely operating a mobile device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110107388A1 (en) * 2009-11-02 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for providing user input back channel in audio/video system
US20140310599A1 (en) * 2013-04-12 2014-10-16 Sony Corporation Automatic discovery and mirroring of server-client remote user interface (rui) session on a companion device and synchronously controlling both sessions using rui on companion device
KR20160009415A (ko) * 2014-07-16 2016-01-26 엘지전자 주식회사 외부 입력장치와 컨텐츠 연동이 가능한 영상표시장치
KR20170052353A (ko) * 2015-11-04 2017-05-12 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20170081425A (ko) * 2016-01-04 2017-07-12 엘지전자 주식회사 디스플레이 장치

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100474724B1 (ko) * 2001-08-04 2005-03-08 삼성전자주식회사 터치스크린을 가지는 장치 및 그 장치에 외부디스플레이기기를 연결하여 사용하는 방법
CA2621744C (en) * 2007-09-13 2016-10-04 Research In Motion Limited System and method for interfacing between a mobile device and a personal computer
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US8839112B2 (en) * 2010-08-10 2014-09-16 Microsoft Corporation Cloning or extending a computer desktop on a wireless display surface
KR20120015931A (ko) * 2010-08-13 2012-02-22 삼성전자주식회사 휴대용 전자 장치 및 그것의 디스플레이 미러링 방법
US8963799B2 (en) * 2011-01-11 2015-02-24 Apple Inc. Mirroring graphics content to an external display
US9269104B2 (en) * 2011-01-21 2016-02-23 Paypal, Inc. Automatic detection of mobile payment applications
US9055162B2 (en) * 2011-02-15 2015-06-09 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US8775850B2 (en) * 2011-06-28 2014-07-08 Amazon Technologies, Inc. Transferring state information between electronic devices
US9436650B2 (en) * 2011-11-25 2016-09-06 Lg Electronics Inc. Mobile device, display device and method for controlling the same
US10931735B2 (en) * 2012-06-28 2021-02-23 Netflix, Inc. Application discovery
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
US9360997B2 (en) * 2012-08-29 2016-06-07 Apple Inc. Content presentation and interaction across multiple displays
US20140092304A1 (en) * 2012-10-02 2014-04-03 Shih-Yao Chen Tv and wireless electronic device combination system
KR102010298B1 (ko) * 2013-05-21 2019-10-21 엘지전자 주식회사 영상표시장치 및 영상표시장치의 동작방법
KR102189679B1 (ko) * 2013-07-12 2020-12-14 삼성전자주식회사 외부 기기에 디스플레이된 정보와 관련된 기능을 실행하는 휴대용 기기, 휴대용 기기에서 외부 기기에 디스플레이된 정보와 관련된 기능을 실행하는 방법 및 컴퓨터 판독 가능한 기록 매체
KR102064952B1 (ko) * 2013-07-12 2020-01-10 삼성전자주식회사 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
KR20150084619A (ko) 2014-01-14 2015-07-22 삼성전자주식회사 전자 장치의 키 입력 처리 방법 및 시스템
EP2996346A1 (en) * 2014-09-12 2016-03-16 Samsung Electronics Co., Ltd. Multi-screen control method and device supporting multiple window applications
CN104464238B (zh) * 2014-11-07 2018-05-29 小米科技有限责任公司 移动终端之间的操作控制方法及装置
KR102319802B1 (ko) 2015-04-21 2021-11-01 삼성전자주식회사 도킹에 의한 기능 확장 방법 및 이를 위한 전자 장치
WO2017003007A1 (ko) * 2015-07-02 2017-01-05 엘지전자 주식회사 영상표시장치 및 이동 단말기
KR102450840B1 (ko) * 2015-11-19 2022-10-05 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR102471230B1 (ko) * 2016-01-28 2022-11-28 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR102614044B1 (ko) 2016-09-01 2023-12-15 삼성전자 주식회사 미라캐스트 제공 장치 및 방법
KR102627518B1 (ko) 2016-09-02 2024-01-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
KR101922690B1 (ko) * 2017-11-20 2019-02-27 삼성전자주식회사 디스플레이 장치 및 이의 애플리케이션 실행 방법, 그리고 디스플레이 장치를 원격으로 제어하는 외부기기 및 이의 애플리케이션 조작 화면 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110107388A1 (en) * 2009-11-02 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for providing user input back channel in audio/video system
US20140310599A1 (en) * 2013-04-12 2014-10-16 Sony Corporation Automatic discovery and mirroring of server-client remote user interface (rui) session on a companion device and synchronously controlling both sessions using rui on companion device
KR20160009415A (ko) * 2014-07-16 2016-01-26 엘지전자 주식회사 외부 입력장치와 컨텐츠 연동이 가능한 영상표시장치
KR20170052353A (ko) * 2015-11-04 2017-05-12 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR20170081425A (ko) * 2016-01-04 2017-07-12 엘지전자 주식회사 디스플레이 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085363A1 (ko) * 2022-10-17 2024-04-25 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US11455140B2 (en) 2022-09-27
US20210303253A1 (en) 2021-09-30
KR102509071B1 (ko) 2023-03-10
WO2020045795A1 (ko) 2020-03-05

Similar Documents

Publication Publication Date Title
KR102509071B1 (ko) 전자 장치 및 이의 외부 장치를 제어하는 방법
US10379698B2 (en) Image display device and method of operating the same
CN111669621B (zh) 一种媒资数据下发方法、服务器及显示设备
US20130027613A1 (en) Image display apparatus, portable terminal, and methods for operating the same
CN107071561B (zh) 显示装置以及显示方法
CN111131898B (zh) 播放媒体资源的方法、装置、显示设备及存储介质
EP3024220A2 (en) Display apparatus and display method
EP2963935A1 (en) Multi screen display controlled by a plurality of remote controls
US11586255B2 (en) Method and apparatus for adjusting view for target device, electronic device and medium
US11231901B2 (en) Display device performing screen mirroring and operating method thereof
US20150135218A1 (en) Display apparatus and method of controlling the same
EP3038374A1 (en) Display device and display method
CN107038024B (zh) 一种操控配置方法及其设备
KR20140104773A (ko) 디스플레이장치 및 그 제어방법
WO2021184575A1 (zh) 显示设备和显示方法
KR20170083372A (ko) 디스플레이 장치 및 그 동작방법
CN108141697B (zh) 电子设备、配套设备和操作电子设备的方法
US20200410954A1 (en) Display apparatus and the control method thereof
CN116391170A (zh) 电子装置、显示装置及其控制方法
US10924807B2 (en) Display device and control method therefor
KR20210001868A (ko) 디스플레이 장치 및 그 제어 방법
KR20160097392A (ko) 디스플레이 장치 및 이의 ｕｉ 제공 방법
US20150026571A1 (en) Display apparatus and method for providing a user interface
CN114302378A (zh) 一种显示设备的蓝牙模式切换方法、显示设备及终端
KR20240002115A (ko) 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant