KR20170027435A - 전자 기기 및 전자 기기의 제어 방법 - Google Patents

전자 기기 및 전자 기기의 제어 방법 Download PDF

Info

Publication number
KR20170027435A
KR20170027435A KR1020150124031A KR20150124031A KR20170027435A KR 20170027435 A KR20170027435 A KR 20170027435A KR 1020150124031 A KR1020150124031 A KR 1020150124031A KR 20150124031 A KR20150124031 A KR 20150124031A KR 20170027435 A KR20170027435 A KR 20170027435A
Authority
KR
South Korea
Prior art keywords
external device
screen
mirroring
application
electronic device
Prior art date
Application number
KR1020150124031A
Other languages
English (en)
Other versions
KR102389038B1 (ko
Inventor
홍지혜
정우준
한순보
박상조
송효진
정치순
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150124031A priority Critical patent/KR102389038B1/ko
Priority to US15/246,362 priority patent/US10776068B2/en
Priority to EP16001857.8A priority patent/EP3139264B1/en
Priority to CN201610798543.1A priority patent/CN106488306B/zh
Publication of KR20170027435A publication Critical patent/KR20170027435A/ko
Application granted granted Critical
Publication of KR102389038B1 publication Critical patent/KR102389038B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50—Secure pairing of devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 전자 기기 및 전자 기기의 제어 방법을 제공한다. 본 발명은 제1 외부 기기로부터 미러링 연결 요청을 수신하는 경우, 제1 외부 기기와 페어링 연결된 제2 외부 기기도 함께 미러링되도록 하여 제1 외부 기기에 대한 미러링 화면과 제2 외부 기기에 대한 미러링 화면이 함께 디스플레이될 수 있다.

Description

전자 기기 및 전자 기기의 제어 방법{ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE SAME}
본 발명은 전자 기기 및 전자 기기의 제어 방법에 관한 것으로서, 외부 기의 화면을 미러링하여 표시하는 전자 기기 및 전자 기기의 제어 방법에 관한 것이다.
스크린 미러링(screen mirroring) 기술은 영상 디스플레이 기능을 구비한 두 장치에서 하나의 장치(소스 장치)에서 현재 스크린에 디스플레이되는 영상을 그대로 다른 장치(싱크 장치)로 전송하는 기술이다. 예를 들어, 모바일 폰이나 태블릿과 같은 소스 장치(1) 상에 디스플레이되는 영상을 그대로 TV나 PC 등의 싱크 장치로 전송하여 해당 TV 등의 싱크 장치에서 이를 디스플레이 하는 기술을 의미할 수 있다.
이러한 스크린 미러링 기술은 통상 휴대용 단말기와 같은 비교적 작은 화면을 가지는 단말에서 실행되는 애플리케이션(예를 들어, 게임, 웹 페이지 영상) 등을 보다 큰 화면에 출력하고자 할 때 사용되며, 휴대용 단말기의 활용성을 확장시킬 수 있다.
따라서, 최근, "Wi-Fi Display" 나 "Mirroring Airplay" 등과 같은 스크린 미러링 기술을 탑재한 휴대용 단말기가 증가하고 있다.
본 발명의 과제는 사용자가 복수의 디바이스를 이용하는 중, 상기 복수의 디바이스를 보다 효율적으로 제어할 수 있는 사용자 인터페이스를 제공하는 전자 기기 및 전자 기기의 제어 방법을 제공하는 것이다.
또한, 본 발명의 과제는 상기 복수의 디바이스의 화면을 하나의 큰 화면에 미러링함으로써, 상기 복수의 디바이스를 효율적으로 제어할 수 있는 전자 기기 및 전자 기기의 제어 방법을 제공하는 것이다.
또한, 본 발명의 과제는 한 번의 미러링 연결을 통해 그와 페어링된 복수의 디바이스를 함께 미러링하도록 하여 복수의 디바이스를 효율적으로 제어할 수 있는 전자 기기 및 전자 기기의 제어 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제들은 언급한 기술적 과제들로 제한되지 않는다. 또한, 본 발명이 이루고자 하는 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따른 전자 기기는, 통신부; 디스플레이부; 및 상기 통신부를 통해 제1 외부 기기로부터 미러링 연결 요청을 수신하는 경우, 상기 제1 외부 기기의 스크린 데이터 및 상기 제1 외부 기기와 페어링 연결된 제2 외부 기기의 스크린 데이터를 각각 수신하고, 상기 제1 외부 기기의 스크린에 대응하는 제1 미러링 화면 및 상기 제2 외부 기기의 스크린에 대응하는 제2 미러링 화면을 상기 디스플레이부에 표시하도록 하는 제어부;를 포함한다.
상기 제어부는, 상기 미러링 연결 요청을 수신하는 경우, 상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체를 상기 디스플레이부에 표시하고, 상기 미러링 연결 요청을 수신한 시점에 상기 제1 외부 기기와 페어링 연결된 상기 제2 외부 기기에 대응하는 객체를 선택하는 입력을 수신하는 경우, 상기 제2 미러링 화면을 상기 디스플레이부에 표시할 수 있다.
상기 제어부는, 상기 디스플레이부를 복수의 영역으로 구획하고, 상기 제1 미러링 화면을 제1 영역에, 상기 제2 미러링 화면을 제2 영역에, 상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체를 제3 영역에 표시되도록 제어할 수 있다.
상기 제1 영역, 제2 영역 및 제3 영역의 비율은 사용자에 의해 미리 설정될 수 있다.
상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체 중, 상기 미러링 연결 요청을 수신한 시점에 상기 제2 외부 기기에 대응하는 객체는 선택 가능하도록 활성화하여 표시하고, 상기 제1 외부 기기와 페어링 연결되지 않는 제3 외부 기기에 대응하는 객체는 비활성화하여 표시할 수 있다.
상기 제2 외부 기기의 스크린 데이터는, 상기 제2 외부 기기가 미러링 연결된 시점의 위치 정보를 포함하고, 상기 제어부는, 상기 위치 정보를 반영하여 상기 제2 미러링 화면을 복수의 영역으로 구획하고, 상기 제2 외부 기기가 미러링 연결된 시점에서의 상기 제2 외부 기기의 스크린을 상기 구획된 영역에 각각 표시되도록 제어할 수 있다.
상기 제1 미러링 화면은 상기 제1 외부 기기에서 실행되는 제1 애플리케이션의 실행 화면을 포함하고, 상기 제2 미러링 화면은 상기 제1 애플리케이션과 연동되어 상기 제1 애플리케이션의 실행을 보조하기 위하여 제2 외부 기기에서 실행하는 제2 애플리케이션의 실행 화면을 포함할 수 있다.
방송 수신부;를 더 포함하고, 상기 제2 미러링 화면이 표시되는 영역은, 상기 방송 수신부를 통해 수신된 방송 프로그램 화면을 더 포함하고, 상기 제2 미러링 화면은 상기 방송 프로그램 화면에 중첩되어 표시될 수 있다.
상기 제2 미러링 화면은 상기 제2 외부 기기에서 실행되는 제2 애플리케이션의 실행 화면을 포함하고, 상기 제1 미러링 화면은 상기 제2 애플리케이션과 연동되어 실행되는 제1 애플리케이션의 실행 화면을 포함할 수 있다.
상기 제어부는, 상기 제1 외부 기기와 페어링 연결되어 상기 제1 외부 기기에서 재생되는 멀티 미디어 컨텐츠의 사운드를 출력하는 제3 외부 기기에 대응하는 제3 미러링 화면을 상기 디스플레이부에 표시하고, 상기 제3 미러링 화면은, 상기 제3 외부 기기의 사운드 출력을 제어하기 위한 제어 객체을 포함할 수 있다.
상기 제어부는, 상기 제1 미러링 화면을 통해 인증 절차가 필요한 애플리케이션이 실행되는 중, 상기 제1 미러링 화면에 대한 입력 신호를 수신하는 경우, 상기 제2 외부 기기의 스크린에 인증 영역이 표시되도록 제어하고, 상기 인증 영역을 통해 인증되는 과정을 상기 제2 미러링 화면에 반영되어 표시되도록 제어할 수 있다.
상기 제2 미러링 화면은, 상기 제2 외부 기기의 스크린을 통해 입력된 사용자 지문 정보 또는 사용자의 필기 입력 중 적어도 하나를 포함할 수 있다.
상기 제어부는, 상기 제1 외부 기기에서 제1 애플리케이션을 실행하는 중 상기 제1 외부 기기로부터 미러링 연결 요청을 수신한 경우, 상기 제1 애플리케이션이 상기 제2 외부 기기에 설치되어 있지 않는 경우, 상기 제1 애플리케이션과 연관된 적어도 하나의 추천 애플리케이션을 상기 디스플레이부에 표시하고, 상기 추천 애플리케이션 중 어느 하나가 선택되는 경우, 선택된 애플리케이션을 상기 제2 외부 기기에 설치되도록 제어할 수 있다.
상기 제어부는, 상기 제2 외부 기기에서 제스처 입력을 감지하여 제2 애플리케이션을 실행하는 중 상기 제1 외부 기기기부터 미러링 연결 요청을 수신하는 경우, 상기 제1 외부 기기에 저장된 적어도 하나의 애플리케이션 중 상기 제스처 입력을 통해 실행 가능한 적어도 하나의 애플리케이션을 추천하여 상기 디스플레이부에 표시하고, 상기 적어도 하나의 애플리케이션 중 어느 하나가 선택되는 경우, 상기 선택된 애플리케이션이 상기 제1 외부 기기에서 실행되도록 제어할 수 있다.
상기 제1 외부 기기가 상기 통신부를 통해 상기 전자 기기와 페어링 연결된 상태에서 상기 제1 외부 기기로부터 상기 미러링 연결 요청을 수신할 수 있다.
본 발명의 다른 양상에 따른 전자 기기의 제어 방법은, 통신부를 통해 제1 외부 기기로부터 미러링 연결 요청을 수신하는 단계; 상기 제1 외부 기기의 스크린 데이터 및 상기 제1 외부 기기와 페어링 연결된 제2 외부 기기의 스크린 데이터를 각각 수신하는 단계; 및 상기 제1 외부 기기의 스크린에 대응하는 제1 미러링 화면 및 상기 제2 외부 기기의 스크린에 대응하는 제2 미러링 화면을 디스플레이부에 표시하는 단계;를 포함한다.
상기 전자 기기의 제어 방법은, 상기 미러링 연결 요청을 수신하는 경우, 상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체를 상기 디스플레이부에 표시하는 단계; 상기 미러링 연결 요청을 수신한 시점에 상기 제1 외부 기기와 페어링 연결된 상기 제2 외부 기기에 대응하는 객체를 선택하는 입력을 수신하는 단계; 및 상기 제2 미러링 화면을 상기 디스플레이부에 표시하는 단계;를 포함할 수 있다.
상기 제1 미러링 화면 및 제2 미러링 화면을 상기 디스플레이부에 표시하는 단계는, 상기 디스플레이부를 복수의 영역으로 구획하고, 상기 제1 미러링 화면을 제1 영역에, 상기 제2 미러링 화면을 제2 영역에, 상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체를 제3 영역에 표시할 수 있다.
상기 제1 외부 기기가 상기 통신부를 통해 상기 전자 기기와 페어링 연결된 상태에서 상기 제1 외부 기기로부터 상기 미러링 연결 요청을 수신할 수 있다.
상기 제1 미러링 화면과 제2 미러링 화면은 동일한 애플리케이션 또는 서로 연관된 애플리케이션의 실행 화면을 포함할 수 있다.
본 발명에 따른 이동 단말기 및 이동 단말기의 제어 방법에 의하면, 다음과 같은 효과가 있다.
본 발명에 의하면, 사용자가 복수의 디바이스를 이용하는 중, 상기 복수의 디바이스를 보다 효율적으로 제어할 수 있는 사용자 인터페이스를 제공할 수 있다.
또한, 본 발명에 의하면 상기 복수의 디바이스의 화면을 하나의 큰 화면에 미러링함으로써, 상기 복수의 디바이스를 효율적으로 제어할 수 있다.
또한, 본 발명에 의하면 한 번의 미러링 연결을 통해 그와 페어링된 복수의 디바이스를 함께 미러링하도록 하여 복수의 디바이스를 효율적으로 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따라 외부 기기가 전자 기기에 미러링 연결되는 예를 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 전자 기기의 제어 방법이 구현되는 환경을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 전자 기기의 블럭 구성도이다.
도 4는 본 발명의 일 실시예에 따른 전자 기기와 연동되어 동작 가능한 이동 단말기의 블럭 구성도이다.
도 5는 본 발명의 일 실시예에 따른 전자 기기와 미러링되는 와치 타입의 이동 단말기(300)의 일 예를 보인 사시도이다.
도 6은 본 발명의 일 실시예에 따른 전자 기기의 제어 방법의 흐름도이다.
도 7 내지 도 8은 본 발명의 일 실시예에 따라 외부 기기가 전자 기기에 미러링됨에 따라 전자 기기의 디스플레이에 표시되는 사용자 인터페이스의 구성을 설명하기 위한 도면들이다.
도 9a 내지 도 9b는 본 발명의 다른 실시예에 따라 사용자의 위치 변화에 따라 외부 기기가 전자 기기에 미러링되는 예를 설명하기 위한 도면들이다.
도 10은 본 발명의 또 다른 실시에에 따라 제1 외부 기기에서 실행 중인 애플리케이션에 따라 제1 외부 기기 및 제2 외부 기기가 전자 기기에 미러링되는 예를 설명하기 위한 도면이다.
도 11a 내지 도 11b는 본 발명의 또 다른 실시예에 따라 방송 프로그램이 표시되는 중 제1 외부 기기 및 제2 외부 기기가 전자 기기에 미러링되는 예를 설명하기 위한 도면들이다.
도 12a 내지 도 12b는 본 발명의 또 다른 실시예에 따라 외부 기기가 전자 기기에 미러링된 상태에서 미러링 화면을 통해 외부 기기와 페어링된 다른 외부 기기의 동작을 제어하는 예를 설명하기 위한 도면들이다.
도 13은 본 발명의 또 다른 실시예에 따라 외부 기기가 전자 기기에 미러링된 상태에서 외부 기기와 페어링된 다른 외부 기기를 통한 인증 과정을 미러링 화면을 통해 제공하는 예를 설명하기 위한 도면이다.
도 14a 내지 도 14b는 본 발명의 또 다른 실시예에 따라 외부 기기가 전자 기기에 미러링 될 때, 외부 기기와 페어링된 다른 외부 기기에서 실행 중인 애플리케이션에 따라 미러링 화면의 구성이 달라지는 예를 설명하기 위한 도면들이다.
도 15 내지 도 16은 본 발명의 또 다른 실시예에 따라 외부 기기와 전자 기기 사이에 미러링 연결 전, 외부 기기에서 실행 중인 동작에 따라 미러링 화면을 통해 함께 미러링되는 다른 외부 기기에 소정의 컨텐츠를 추천하는 예를 설명하기 위한 도면들이다.
도 17은 본 발명의 또 다른 실시예에 따라 외부 기기와 전자 기기 사이에 미러링 연결된 상태에서, 외부 기기에 발생된 이벤트를 미러링 화면을 통해 처리하는 예를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 전자 기기는 디지털 TV, 디지털 사이니지 등과 같이 고정 단말기를 포함할 수 있으며, 휴대용 단말기와 페어링되어 휴대용 단말기의 화면이 미러링되어 표시될 수 있는 디스플레이를 구비하는 어떠한 전자 기기도 포함될 수 있음을 밝혀둔다. 한편, 본 발명에서 설명되는 전자 기기는 가정에 구비되어 개인 무선 네트워크 환경에 포함된 전자 기기 외에, 공공의 장소에서 불특정 다수에 소정의 정보를 표시하는 디스플레이부를 포함하는 전자 기기들도 포함될 수 있다.
한편, 본 발명에서 설명되는 상기 전자 기기와 미러링 연결되는 외부 전자 기기(이동 단말기)는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등이 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따라 외부 기기가 전자 기기에 미러링 연결되는 예를 개략적으로 설명하기 위한 도면이다.
도 1을 참조하면, 휴대용 단말기(1)는 디스플레이 장치(2)와 미러링 연결될 수 있다. 미러링 연결은 무선 디스플레이 전송 기술로서, 본 문서에서 개시되는 미러링 기술은 휴대용 단말기(1)에 표시되는 화면을 거울이 비친 것 처럼 동시에 디스플레이 장치(2)의 화면상에 보여줄 수 있다. 이에 따라 휴대용 단말기(1)의 원래 화면의 픽셀 정보가 그대로 무선으로 전송된다.
상기 미러링 연결은, D-sub(RGB), DVI(Digital Visual Interface), HDMI( High Definition Multimedia Interface), DP(Display Port)와 같이 유선 방식으로 이루어질 수도 있지만, 휴대용 단말기(1)와 디스플레이 장치(2) 사이에서 와이파이 다이렉트(WiFi Direct) 기술을 통해 엑세스 포인트를 거치지 않고서 휴대용 단말기(1)의 화면을 디스플레이 장치(2)에 직접적으로 미러링할 수 있다. 또한 예를 들어, 상기 미러링 연결은, 와이파이 협회가 만든 무선 영상 전송 규격인 와이파이 미라 캐스트(WiFi Miracast) 방식을 통해 휴대용 단말기(1)와 디스플레이 장치(2) 사이에 미러링 연결이 수행될 수 있다.
한편, 본 문서에서 의미하는 미러링 연결은 휴대용 단말기(1)의 화면을 그대로 전송하지 않고 콘텐츠를 전송하는 캐스팅(casting) 방식과는 차이가 있다. 상기 캐스팅 방식은 휴대용 단말기(1)에서 컨텐츠의 영상 신호로 보내거나 컨텐츠 파일을 스트리밍으로 원격 기기(디스플레이 장치(2))에 전송하여 상기 디스플레이 장치(2)에서 보여주는 방식으로서, 대표적으로 URL 주소를 와이파이 다이렉트 방식으로 캐스팅하여 컨텐츠를 재생할 수 있다. 본 문서에서 의미하는 미러링 연결은 캐스팅 연결과 달리 휴대용 단말기(1)의 화면을 그대로 디스플레이 장치(2)에 보여주는 것을 의미할 수 있다.
도 2는 본 발명의 일 실시예에 따른 전자 기기의 제어 방법이 구현되는 환경을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 전자 기기의 제어 방법이 구현되는 환경은, 전자 기기(100), 방송국(B), 서버(S), 이동 단말기(200,300,400)를 포함할 수 있다.
상기 전자 기기(100)는 방송 콘텐츠를 수신할 수 있는 장치로서, TV, PC, 디지털 사이니지 장치 등 고정형 전자 기기를 의미할 수 있다. 한편, 상기 TV는 IPTV(Internet Protocol Television), DTV(Digital Television) 등을 포함할 수 있다.
상기 방송국(B)은 방송 컨텐츠를 포함하는 방송 신호를 전송한다. 상기 전자 기기(100)는 상기 방송국(B)으로부터 방송을 수신할 수 있고, 소정의 서버(미도시)를 경유하여 방송을 수신할 수도 있다.
상기 전자 기기(100)는 서버(S)와 통신할 수 있다. 상기 서버(S)는 네트워크 서버를 포함할 수 있으며, 임의의 네트워크를 통해 전자 기기(100)와 신호를 송수신할 수 있는 장치이다. 예를 들어, 서버(S)는 유선 또는 무선 기지국을 통하여 전자 기기(100)와 연결할 수 있는 휴대용 단말기를 포함할 수도 있다. 또한, 서버(S)는 인터넷 네트워크를 통하여 전자 기기(100)로 컨텐츠를 제공할 수 장치를 포함할 수 있다. 방송 컨텐츠 제공자는 서버(S)를 이용하여 전자 기기(100)로 컨텐츠를 제공할 수 있다. 또한, 서버(S)는 인터넷 네트워크를 통하여 전자 기기(100)로 다양한 웹 서비스 기타 정보를 제공할 수 있는 장치이다.
한편, 이동 단말기(200,300,400)는 전자 기기(100)와 페어링 연결을 수행할 수 있는 외부 기기들이다. 상기 외부 기기 각각은 전자 기기(100)와 페어링 연결된 상태에서 상기 전자 기기(100)로 미러링 연결을 요청할 수 있다. 상기 전자 기기(100)는 상기 외부 기기의 미러링 연결 요청에 응답하여 외부 기기와 미러링 연결을 수행할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 상기 외부 기기 중 제1 외부 기기(200)는 제2 외부 기기(300, 와치 타입의 이동 단말기) 및/또는 제3 외부 기기(400. 글라스 타입의 이동 단말기)와 페어링 연결될 수 있다. 상기 페어링 연결은 근거리 통신방식을 통해 수행될 수 있다. 상기 근거리 통신 방식에 의한 기기 연결은 전술한 바와 같이 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여 구현될 수 있다.
본 발명의 일 실시예에 따른 전자 기기(100)의 제어 방법은, 상기 외부 기기(200,300,400) 중 적어도 둘 이상이 페어링된 상태에서, 제1 외부 기기(200)가 상기 전자 기기(200)로 미러링 연결 요청을 하는 경우, 상기 제1 외부 기기(200)와 페어링 연결된 제2 외부 기기(300) 및 제3 외부 기기(400)도 함께 상기 전자 기기(100)에 미러링 연결되는 것을 특징으로 한다.
도 3은 본 발명의 일 실시예에 따른 전자 기기의 블럭 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예에 의한 전자 기기(100)는 영상을 표시하는 디스플레이부(150)와 수신되는 방송 신호에 대응하여 디스플레이부(150)에 구동신호를 공급하는 구동부(170)를 포함할 수 있다.
디스플레이부(150)는 디스플레이 패널(Display Panel)이라고 할 수 있다.
구동부(170)는 전자 기기(100)의 영상 표시 및 음성 출력을 제어할 수 있다. 이러한 구동부(170)는 방송 수신부(110), 외부 장치 인터페이스부(130), 저장부(120), 사용자 입력 인터페이스부(140), 제어부(180) 및 디스플레이부(150)를 포함할 수 있다. 구동부(170)와 디스플레이부(150)는 일체로 형성되는 것이 가능하다. 또는 구동부(170)와 디스플레이부(150)는 별개로 모듈화되고, 유선 또는 무선으로 통신을 하는 것도 가능할 수 있다.
아울러 본 발명에 따른 전자 기기(100)는 저장부(120), 사운드를 출력하기 위한 사운드 출력부(160)를 더 포함할 수 있다.
본 발명에 따른 전자 기기(100)에 대해 보다 상세히 설명하면 아래와 같다.
방송 수신부(110)는 튜너(111), 복조부(112), 네트워크 인터페이스부(113)를 포함할 수 있다. 필요에 따라 튜너(111)와 복조부(112)를 구비하면서 네트워크 인터페이스부(113)는 포함하지 않도록 설계하는 것도 가능하며, 반대로 네트워크 인터페이스부(113)를 구비하면서 튜너(111)와 복조부(112)는 포함하지 않도록 설계하는 것도 가능하다.
튜너(111)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널에 해당하는 RF 방송 신호를 선택할 수 있다. 또한 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다. 예를 들어 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환할 수 있다. 즉 튜너(111)는 디지털 방송 신호 또는 아날로그 방송 신호를 모두 처리할 수 있다. 튜너(111)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(180)로 직접 입력될 수 있다.
복조부(112)는 튜너(111)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행할 수 있다. 예를 들어 튜너(111)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(112)는 예컨대, 8-VSB(8-Vestigal Side Band) 복조를 수행할 수 있다. 또한 복조부(112)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(112)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 리드 솔로먼 복호화를 수행할 수 있다.
제어부(180)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이부(150)에 영상을 출력하고, 사운드 출력부(160)로 음성을 출력할 수 있다.
외부 장치 인터페이스부(130)는 외부 장치와 본 발명에 따른 전자 기기(100)를 접속할 수 있다. 이를 위해 외부 장치 인터페이스부(130)는 A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다. 외부 장치 인터페이스부(130)는 DVD(Digital Versatile Disk), 블루레이(Blu-ray), 게임기기, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다.
네트워크 인터페이스부(113)는 전자 기기(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(113)는 유선 네트워크와의 접속을 위해, 예를 들어 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, 예를 들어 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(113)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다. 한편 네트워크 인터페이스부(113)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다. 그 외에 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
저장부(120)는 제어부(180) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성, 또는 데이터신호를 저장할 수도 있다.
또한 저장부(120)는 외부 장치 인터페이스부(130) 또는 네트워크 인터페이스부(113)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한 저장부(120)는 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
저장부(120)는 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
전자 기기(100)는 저장부(120) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
도 3은 저장부(120)가 제어부(180)와 별도로 구비된 경우를 도시하고 있으나, 저장부(120)는 제어부(180) 내에 포함될 수도 있다.
한편, 사용자 입력 인터페이스부(140)는 전자 기기(100)에 명령을 입력하기 위한 리모트 컨트롤러(Remote Controller)와의 인터페이스 일 수 있다. 상기 리모트 컨트롤러의 제어에 의해 전원 온/오프, 채널 선택, 화면 설정, 음향 조절, 화면상에서 커서(Cursor)의 이동, 메뉴(Menu) 선택 등 다양한 명령을 입력하는 것이 가능하다.
한편, 사용자가 직접 소정의 명령을 입력하는 경우에, 입력된 명령은 사용자 입력 인터페이스부(140)를 경유하지 않고 직접 제어부(180)에 전달되는 것도 가능할 수 있다. 사용자 입력 인터페이스부(140)는 RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식이 적용될 수 있다.
제어부(180)는 사용자 입력 인터페이스부(140)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 전자 기기(100)를 제어할 수 있다. 특히 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 전자 기기(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(180)는 컨텐츠를 재생하도록 제어할 수 있다. 이 경우 컨텐츠는 전자 기기(100) 내에 저장된 컨텐츠, 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠일 수 있다. 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 중 적어도 하나일 수 있다.
제어부(180)는 네트워크 인터페이스부(113)를 통하여 디스플레이 장치와 네트워크 연결된 사용자 단말기를 검색하고, 상기 검색된 사용자 단말기 목록을 디스플레이부(150)를 통하여 출력하며, 사용자 입력 인터페이스부(140)를 통하여 상기 검색된 사용자 단말기 목록 중 사용자 컨트롤러로 사용한 사용자 단말기의 선택신호를 수신하도록 제어할 수 있다.
또한 제어부(180)는 디스플레이부(150)를 통하여 각각의 사용자 단말기에 해당하는 플레이어 정보를 출력하도록 제어할 수 있다. 디스플레이부(150)는 제어부(180)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 또는 외부 장치 인터페이스부(130)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성할 수 있다. 디스플레이부(150)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 가능할 수 있다.
한편 디스플레이부(150)는 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
사운드 출력부(160)는 제어부(180)에서 처리된 신호, 예를 들어 스테레오 신호, 3.1 채널 신호, 또는 5.1 채널 신호를 입력 받아 사운드로 출력할 수 있다. 사운드 출력부(160)는 다양한 형태의 스피커로 구현될 수 있다.
도 4는 본 발명의 일 실시예에 따른 전자 기기와 연동되어 동작 가능한 이동 단말기의 블럭 구성도이다.
즉, 본 문서에서는 전자 기기(100)로 미러링 연결을 요청하는 제1 외부 기기를 상기 이동 단말기로 가정하여 설명한다.
상기 이동 단말기(200)는 무선 통신부(210), 출력부(250), 인터페이스부(260), 메모리(270), 제어부(280) 및 전원 공급부(290) 등을 포함할 수 있다. 도 4에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(210)는, 이동 단말기(200)와 무선 통신 시스템 사이, 이동 단말기(200)와 다른 이동 단말기(예를 들어, 300) 사이, 또는 이동 단말기(200)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(210)는, 이동 단말기(200)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(210)는, 방송 수신 모듈(211), 이동통신 모듈(212), 무선 인터넷 모듈(213), 근거리 통신 모듈(214), 위치정보 모듈(215) 중 적어도 하나를 포함할 수 있다.
먼저, 무선 통신부(210)에 대하여 살펴보면, 무선 통신부(210)의 방송 수신 모듈(211)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 상기 이동단말기(200)에 제공될 수 있다.
이동통신 모듈(212)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(213)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(200)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(213)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(213)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(213)은 상기 이동통신 모듈(212)의 일종으로 이해될 수도 있다.
근거리 통신 모듈(214)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신 모듈(214)은, 근거리 무선 통신망(Wireless Area Networks)을 통해 이동 단말기(200)와 무선 통신 시스템 사이, 이동 단말기(200)와 다른 이동 단말기(200 또는 300) 사이, 또는 이동 단말기(200)와 다른 이동 단말기(외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 상기 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 이동 단말기(200)는 본 발명에 따른 이동 단말기(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display))가 될 수 있다. 근거리 통신 모듈(214)은, 이동 단말기(200) 주변에, 상기 이동 단말기(200)와 통신 가능한 웨어러블 디바이스(300)를 감지(또는 인식)할 수 있다. 나아가, 제어부(280)는 상기 감지된 웨어러블 디바이스(300)가 본 발명에 따른 이동 단말기(200)와 통신하도록 인증된 디바이스인 경우, 이동 단말기(200)에서 처리되는 데이터의 적어도 일부를, 상기 근거리 통신 모듈(214)을 통해 웨어러블 디바이스로 전송할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 이동 단말기(200)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다. 예를 들어, 이에 따르면 사용자는, 이동 단말기(200)에 전화가 수신된 경우, 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 이동 단말기(200)에 메시지가 수신된 경우, 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.
위치정보 모듈(215)은 이동 단말기의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 이동 단말기는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 이동 단말기의 위치를 획득할 수 있다. 다른 예로서, 이동 단말기는 Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 이동 단말기의 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈(215)은 치환 또는 부가적으로 이동 단말기의 위치에 관한 데이터를 얻기 위해 무선 통신부(210)의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈(215)은 이동 단말기의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 이동 단말기의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.
한편, 상기 이동 단말기(100)는 센싱부(미도시)를 포함할 수 있으며, 센싱부는 이동 단말기 내부 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰(microphone,), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
디스플레이부(250)는 이동 단말기(200)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(250)는 이동 단말기(200)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
인터페이스부(260)는 이동 단말기(200)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이동 단말기(100)에서는, 상기 인터페이스부(260)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(270)는 이동 단말기(200)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(270)는 이동 단말기(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(200)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(270)에 저장되고, 이동 단말기(200) 상에 설치되어, 제어부(280)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(280)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(200)의 전반적인 동작을 제어한다. 제어부(280)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(270)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
전원공급부(290)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(200)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(290)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
인터페이스부(260)는 이동 단말기(200)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(260)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(200) 내부의 각 구성요소에 전달하거나, 이동 단말기(200) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(260)에 포함될 수 있다.
전원 공급부(290)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원공급부(290)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다.
또한, 전원공급부(190)는 연결포트를 구비할 수 있으며, 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스(160)의 일 예로서 구성될 수 있다.
다른 예로서, 전원공급부(290)는 상기 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원공급부(290)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.
도 5는 본 발명의 일 실시예에 따른 전자 기기와 미러링되는 와치 타입의 이동 단말기(300)의 일 예를 보인 사시도이다.
도 5를 참조하면, 와치 타입의 이동 단말기(300)는 디스플레이부(351)를 구비하는 본체(301) 및 본체(301)에 연결되어 손목에 착용 가능하도록 구성되는 밴드(302)를 포함한다. 일반적으로 이동 단말기(300)는 도 4의 이동 단말기(200)의 특징 또는 그와 유사한 특징을 포함할 수 있다.
본체(301)는 외관을 형성하는 케이스를 포함한다. 도시된 바와 같이, 케이스는 각종 전자부품들을 수용하는 내부 공간을 마련하는 제1케이스(301a) 및 제2케이스(301b)를 포함할 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 하나의 케이스가 상기 내부 공간을 마련하도록 구성되어 유니 바디의 이동 단말기(300)가 구현될 수도 있다.
와치 타입의 이동 단말기(300)는 무선 통신이 가능하도록 구성되며, 본체(301)에는 상기 무선 통신을 위한 안테나가 설치될 수 있다. 한편, 안테나는 케이스를 이용하여 그 성능을 확장시킬 수 있다. 예를 들어, 도전성 재질을 포함하는 케이스가 안테나와 전기적으로 연결되어 그라운드 영역 또는 방사 영역을 확장시키도록 구성될 수 있다.
본체(301)의 전면에는 디스플레이부(351)가 배치되어 정보를 출력할 수 있으며, 디스플레이부(351)에는 터치센서가 구비되어 터치 스크린으로 구현될 수 있다. 도시된 바와 같이, 디스플레이부(351)의 윈도우(351a)는 제1 케이스(301a)에 장착되어 제1 케이스(301a)와 함께 단말기 바디의 전면을 형성할 수 있다.
본체(301)에는 음향 출력부(352), 카메라(321), 마이크로폰(322), 사용자 입력부(323) 등이 구비될 수 있다. 디스플레이부(351)가 터치 스크린으로 구현되는 경우, 사용자 입력부(323)로 기능할 수 있으며, 이에 따라 본체(301)에 별도의 키가 구비되지 않을 수 있다.
밴드(302)는 손목에 착용되어 손목을 감싸도록 이루어지며, 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 그러한 예로서, 밴드(302)는 가죽, 고무, 실리콘, 합성수지 재질 등으로 형성될 수 있다. 또한, 밴드(302)는 본체(301)에 착탈 가능하게 구성되어, 사용자가 취향에 따라 다양한 형태의 밴드로 교체 가능하게 구성될 수 있다.
한편, 밴드(302)는 안테나의 성능을 확장시키는 데에 이용될 수 있다. 예를 들어, 밴드에는 안테나와 전기적으로 연결되어 그라운드 영역을 확장시키는 그라운드 확장부(미도시)가 내장될 수 있다.
밴드(302)에는 파스너(fastener; 302a)가 구비될 수 있다. 파스너(302a)는 버클(buckle), 스냅핏(snap-fit)이 가능한 후크(hook) 구조, 또는 벨크로(velcro; 상표명) 등에 의하여 구현될 수 있으며, 신축성이 있는 구간 또는 재질을 포함할 수 있다. 본 도면에서는, 파스너(302a)가 버클 형태로 구현된 예를 제시하고 있다.
도 6은 본 발명의 일 실시예에 따른 전자 기기의 제어 방법의 흐름도이다. 본 발명의 일 실시에에 따른 전자 기기의 제어 방법은 도 1 내지 도 5를 참조하여 설명한 전자 기기(100), 이동 단말기(200,300)를 통해 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 일 실시예에 따른 전자 기기의 제어 방법과, 이를 구현하기 위한 상기 전자 기기(100)의 동작을 상세히 설명하기로 한다.
이하에서는 전자 기기(100)로 미러링 연결을 요청하는 이동 단말기(200)를 제1 외부 기기로 가정하고, 상기 제1 외부 기기(200)가 전자 기기(100)로 미러링 요청할 때 상기 제1 외부 기기(200)와 페어링 연결된 상태인 이동 단말기(300)를 제2 외부 기기로 가정하여 설명한다.
한편, 상기 전자 기기(100)는 대화면을 구비하는 디스플레이 장치로서, 전술한 바와 같이 TV, 디지털 사이니지 등으로 가정하여 설명한다. 또한, 상기 제1 외부 기기(200)는 휴대용 단말기로서 스마트 폰으로 가정하여 설명한다. 또한, 상기 제2 외부 기기(300)는 상기 스마트 폰과 페어링되어 동작 가능한 웨어러블 디바이스로서, 스마트 와치로 가정하여 설명한다.
도 6을 참조하면, 전자 기기(100)는 제1 외부 기기(200)와 페어링 연결될 수 있다(S10).
상기 페어링 연결은 근거리 통신모듈을 통해 근거리 통신 연결일 수 있다. 즉, 제1 외부 기기(200)가 전자 기기(100)로 미러링 연결을 요청하기 위해서는 상기 제1 외부 기기(200)와 전자 기기(100)가 페어링 연결된 상태에 있어야 한다. 한편, 본 발명의 일 실시에에 의하면, 상기 제1 외부 기기(200)는 제2 외부 기기(300)와 페어링 연결될 수 있다(S11). 제1 외부 기기(200)가 전자 기기(200)로 미러링되기 위해서는 제1 외부 기기(200)가 전자 기기(200)와 페어링 연결된 상태를 유지하면 되고, 제1 외부 기기(200)가 제2 외부 기기(300)와 필수적으로 페어링 연결된 상태를 유지하고 있어야 하는 것은 아니다.
다만, 본 발명의 일 실시예는 제1 외부 기기(200)가 전자 기기(100)로 미러링 연결을 요청하는 시점에 상기 제1 외부 기기(200)가 제2 외부 기기(300)와 페어링 연결 상태를 유지하고 있는 경우에 전자 기기(100)의 디스플레이부(150)에 미러링 화면이 표시되는 방법에 대한 것으로서, 제1 외부 기기(200)와 제2 외부 기기(300) 또한 페어링 연결을 유지하고 있음을 가정한다.
제1 외부 기기(200)는 미러링 연결 대상을 탐색하는 동작을 수행할 수 있다(S12). 즉, 제1 외부 기기(200)는 타 기기와의 연결을 위한 제어 설정을 통해 소정의 근거리에 존재하는 미러링 대상 기기를 탐색하기 위한 에드버타이징 신호(advertising signal)를 주변 디바이스로 출력할 수 있다. 상기 전자 기기(100)가 탐색된 상태에서, 제1 외부 기기(200)는 상기 탐색 결과 미러링 연결 대상으로서 전자 기기(100)를 선택하는 입력이 수신됨에 따라 제1 외부 기기(200)는 미러링 연결 요청 신호를 전자 기기(100)로 전송할 수 있다(S13).
전자 기기(100)는 상기 미러링 상기 제1 외부 기기(200)의 미러링 연결 요청에 응답하여 제1 외부 기기(200)와 미러링 연결상태를 유지할 수 있다(S14).
상기 전자 기기(100)는 상기 제1 외부 기기(200)와의 미러링 통신 링크가 형셩됨에 따라 상기 제1 외부 기기(200)의 스크린 데이터를 전송받을 수 있다(S15).
상기 전자 기기(100)는 상기 제1 외부 기기(200)의 스크린 데이터를 수신하여 제1 외부 기기의 화면(제1 미러링 화면) 및 추가적으로 미러링 가능한 후보 디바이스를 디스플레이부(150)에 표시할 수 있다.
상기 추가적으로 미러링 가능한 후보 디바이스라 함은, 상기 전자 기기(100)가 상기 제1 외부 기기(200)로부터 미러링 연결 요청을 수신하는 경우, 상기 제1 외부 기기(200)와 페어링 연결 이력(history)을 갖는 적어도 하나의 외부 기기를 의미할 수 있다.
상기 제1 외부 기기(200)와의 페어링 연결 이력은, 현재, 제1 외부 기기(200)와 페어링 상태를 유지하거나, 과거 적어도 일정 시점에 상기 제1 외부 기기(200)와 페어링 상태를 유지한 기록을 의미할 수 있다.
전자 기기(100)는 상기 제1 외부 기기(200)로부터 미러링 연결 요청을 수신하 시점에 상기 제1 외부 기기(200)와 페어링 연결된 제2 외부 기기(300)를 선택하는 입력을 수신할 수 있다(S110).
전자 기기(100)의 제어부(180)는 상기 제1 외부 기기(200)와의 페어링 연결 이력을 갖는 적어도 하나의 외부 기기에 각각 대응하는 객체를 상기 디스플레이부(151)에 표시할 수 있고, 상기 적어도 하나의 객체 중 제2 외부 기기(200)에 대응하는 객체를 선택하는 입력을 통해, 제2 외부 기기(300)를 선택할 수 있다.
전자 기기(100)의 제어부(180)는 상기 제2 외부 기기(300)가 선택됨에 따라, 상기 제2 외부 기기(300)로 제2 외부 기기(300)의 스크린 데이터를 직접적으로 요청하거나, 상기 제1 외부 기기(200)를 간접적으로 요청할 수 있다.
제2 외부 기기(300)는 상기 전자 기기(100)의 요청에 따라 스크린 데이터를 전자 기기(100)로 전송할 수 있다(S16).
전자 기기(100)의 제어부(180)는 상기 제1 외부 기기(200)로 부터 수신된 스크린 데이터 및 제2 외부 기기(300)로부터 수신된 스크린 데이터에 기초하여, 제1 외부 기기(100)의 스크린에 대응하는 제1 미러링 화면 및 제2 외부 기기(200)의 스크린에 대응하는 제2 미러링 화면을 상기 디스플레이부(151)에 표시할 수 있다(S120).
한편, 본 발명의 일 실시예에 의하면, 제1 외부 기기(200)의 미러링 요청에 따라 제1 미러링 화면과 제2 미러링 화면이 전자 기기(100)의 디스플레이부(150)에 표시되는 과정에서, 상기 제1 외부 기기(200)에서의 동작에 기초하여 미러링 화면을 표시하는 방법이 달라질 수 있으며(A,C), 상기 제2 외부 기기(300)에서의 동작에 기초하여 미러링 화면을 표시하는 방법이 달라질 수 있다(B,C).
이하, 본 발명의 일 실시예에 따라 외부 기기가 전자 기기에 미러링되는 과정을 도 7 내지 도 8을 참조하여 보다 구체적으로 설명한다.
도 7 내지 도 8은 본 발명의 일 실시예에 따라 외부 기기가 전자 기기에 미러링됨에 따라 전자 기기의 디스플레이에 표시되는 사용자 인터페이스의 구성을 설명하기 위한 도면들이다.
도 7을 참조하면, 제1 외부 기기(200)는 미러링 연결할 전자 기기(100)를 선택함으로써, 전자 기기(100)로 미러링 요청을 전송할 수 있다. 상기 제1 외부 기기(200)는 제2 외부 기기(300)외 페어링 연결된 상태이다.
상기 제1 외부 기기(200)의 미러링 연결 요청에 따라 전자 기기(100)는 미러링 화면을 표시하기 위하여 디스플레이부(151)를 복수의 영역으로 구획할 수 있다. 상기 복수의 영역은 제1 영역(A1), 제2 영역(A2) 및 제3 영역(B)을 포함할 수 있다.
상기 제1 영역(A1)은 제1 외부 기기(200)의 스크린을 표시하는 제1 미러링 화면을 포함한다. 한편, 제3 영역(B)은 제1 외부 기기(100)와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체를 표시할 수 있다.
예를 들어, 제어부(180)는 제3 영역(B)에 현재 제1 외부 기기(200)와 페어링 연결된 제2 외부 기기에 대응하는 객체(300)와 페어링 연결 상태(Connected)를 인디케이팅 하는 식별 정보(CI)를 표시할 수 있다. 또한 제어부(180)는 제3 영역(B)에 현재 제1 외부 기기(200)와 페어링 연결된 상태는 아니지만 과거에 연결 이력을 가진 제3 외부 기기(500, 예를 들어, 블루투스 스피커)에 대응하는 객체(500)와 페어링 연결 상태(Not connected)를 인디케이팅 하는 식별 정보(CI)를 표시할 수 있다.
한편, 제어부(180)는 제1 외부 기기(200)와 페어링 연결의 이력을 갖는 적어도 하나의 외부 기기에 대응하는 객체 중, 상기 미러링 연결 요청을 수신한 시점에 상기 제1 외부 기기와 페어링 연결된 제2 외부 기기에 대응하는 객체(300)는 선택 가능하도록 활성화하여 표시하고, 상기 제1 외부 기기와 페어링 연결되지 않은 제3 외부 기기에 대응하는 객체(500)는 비활성화하여 표시되도록 제어할 수 있다.
도 8을 참조하면, 제어부(180)는 상기 제3 영역(B)에 표시된 객체 중 제2 외부 기기에 대응하는 객체(300)를 선택하는 입력을 수신할 수 있다. 제어부(180)는 전자 기기(100)를 제어하기 위한 리모트 컨트롤러를 통해 상기 제2 외부 기기에 대응하는 객체(300)를 선택하는 입력을 수신할 수 있다.
한편, 제2 영역(A2)은 제1 외부 기기(200)와 페어링된 제2 외부 기기의 스크린을 표시하는 제2 미러링 화면을 포함하는 것으로서, 본 발명의 일 실시예에 의하면, 상기 제1 영역(A1)과 제3 영역(B)이 먼저 디스플레이부(151)에 표시된 상태에서 제3 영역(B)에서 제1 외부 기기(200)와 페어링된 타 디바이스가 선택되는 경우에 선택된 디바이스의 미러링 화면을 디스플레이부(151)에 표시하기 위하여 제2 영역(A2)이 표시될 수 있다.
상기 제1 영역(A1), 제2 영역(A2) 및 제3 영역(B)이 표시되는 비율은 설정 메뉴를 통해 사용자에 의해 설정될 수 있다.
도 8을 참조하면, 제1 영역(A1)은 제1 미러링 화면(20) 및 미러링된 제1 외부 기기 정보(스마트 폰, 스마튼 폰의 그래픽 객체)를 포함할 수 있다. 또한, 제2 영역(A2)은 스마트 와치(300)에 대응하는 제2 미러링 화면(30) 및 미러링된 제2 외부 기기 정보(스마트 와치 및 스마트 와치의 그래픽 객체)를 포함할 수 있다.
한편, 상기 제1 영역(A1)과 제2 영역(A2)은 각각 외부 기기의 스크린을 그대로 표시하는 미러링 화면이지만, 제3 영역(B)은 미러링 화면이 아니고, 제1 외부 기기와의 미러링 이력을 갖는 객체를 보여주기 위한 영역으로서, 제1 영역(A1) 및 제2 영역(A2)에 비해 상대적으로 표시되는 비율이 작을 수 있다.
따라서, 본 발명의 일 실시예에 의하면, 스마트 폰 화면이 TV 화면이 미러링 될 때 상기 스마트 폰과 연동된(페어링된) 스마트 와치의 화면이 TV 화면에 함께 미러링되어 표시될 수 있다.
한편, 도 7 내지 도 8의 경우, 제1 외부 기기(200)와 페어링 연결된 제2 외부 기기(300)는 스마트 와치 하나로 가정하여 설명하였으나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어, 전자 기기(100)가 제1 외부 기기(200)로부터 미러링 연결 요청을 수신한 후에, 다른 외부 기기가 제4 외부 기기(미도시)와 추가로 페어링되는 경우, 상기 제1 영역(A1), 제2 영역(A2) 및 제3 영역(B)이 디스플레이부(151)에 표시된 상태에서 제3 영역(B)에 상기 제4 외부 기기에 대응하는 객체가 활성화된 채로 표시될 수 있다. 그런 후, 상기 제4 외부 기기에 대응하는 객체를 선택하는 입력을 수신하는 경우, 제어부(180)는 상기 제4 외부 기기의 스크린에 대응하는 제4 미러링 화면을 표시하는 추가적인 영역을 디스플레이부(151)에 생성할 수 있다.
이하, 본 발명의 일 실시예에 따른 전자 기기의 제어 방법이 구체적인 상황에서 구현되는 다양한 예를 필요한 도면을 참조하여 설명한다.
도 9a 내지 도 9b는 본 발명의 다른 실시예에 따라 사용자의 위치 변화에 따라 외부 기기가 전자 기기에 미러링되는 예를 설명하기 위한 도면들이다.
본 발명의 일 실시예에 의하면, 전자 기기(100)는 미러링 화면을 표시할 때 미러링되는 기기의 위치 정보를 반영하여 미러링 화면을 구성할 수 있다. 즉, 제어부(180)는 제1 외부 기기(200)와 전자 기기(100)가 미러링 연결될 때, 제1 외부 기기(200) 및 제2 외부 기기(300)로부터 스크린 데이터를 수신하며, 이 때 각각의 위치 정보를 추가적으로 수신할 수 있다. 이에 따라 제어부(180)는 상기 위치 정보를 반영하여 제2 미러링 화면을 복수의 영역으로 구획하고, 상기 제2 외부 기기가 미러링 연결된 시점에서의 상기 제2 외부 기기의 스크린을 상기 구획된 영역에 각각 표시되도록 제어할 수 있다.
예를 들어, 도 9a를 참조하면, 스마트 와치(300)가 스마튼 폰(200)과 위치 A에서 페어링된 상태로 존재한다. 그리고, 상기 위치 A에서 스마트 폰(200)이 제1 전자 기기(100a)로 미러링 연결을 요청한다. 이에 따라 제1 전자 기기(100a)는 디스플레이부(151)를 복수의 영역으로 구획하여 제1 미러링 화면(20)을 제1 영역(A1)에 표시하고, 제2 미러링 화면(30)을 제2 영역(A2)에 표시하도록 한다. 이때 스마트 폰(200) 및 스마트 와치(300)는 각각의 스크린 데이터와 함께 위치 정보를 제 1 전자 기기(100a)로 전송할 수 있다. 이에 따라 제1 전자 기기(100a)는 스마트 와치(300)의 미러링 화면(30)을 표시하는 제2 영역(A2)에 상기 "위치 A"에 대한 정보를 함께 표시할 수 있다.
그런 상태에서 도 9b를 참조하면, 스마트 폰(200)과 스마트 와치(300)의 위치는 위치 B로 이동되었음을 알 수 있다. 상기 위치 변동이 있을 후에 스마트 폰(200)이 제2 전자 기기(100b)로 미러링 연결을 요청할 수 있다. 상기 스마트 폰(200)과 제2 전자 기기(100b) 사이에 미러링 링크가 형성됨에 따라 제2 전자 기기(100b)는 스마트 폰(200)으로부터 스크린 데이터 및 위치 정보를 수신할 수 있다. 또한, 제2 전자 기기(100b)는 스마트 와치(300)로부터 스크린 데이터 및 위치 정보를 수신할 수 있다. 상기 수신된 위치 정보는 현재 위치 정보(B)와 함께 이전의 위치 정보(A)를 추가적으로 수신할 수 있다.
이에 따라, 제2 전자 기기(100b)는 제2 미러링 화면(A2)을 위치 A에서 제1 전자 기기(100a)에 미러링한 화면(30_1)을 표시하는 영역(A21)과, 위치 B에서 제2 전자 기기(100b)에 미러링한 화면(30_2)을 표시하는 영역(A22)으로 구분하여 표시할 수 있다. 상기 위치 A에서 제1 전자 기기(100a)에 미러링한 화면은 상기 위치 A의 날씨, 시간 정보 등이 제공될 수 있다.
즉, 도 9a 내지 도 9b의 경우, 제1 전자 기기(100a)가 위치 A에 존재하며, 제2 전자 기기(100b)가 위치 B에 존재할 때, 스마트 폰(200)이 위치 A에서 제1 전자 기기(100a)와 미러링 연결한 이력을 가진 상태에서, 스마트 폰(200)의 위치가 A에서 B로 변경되어 스마트 폰(200)이 위치 B에서 제2 전자 기기(100b)와 미러링 연결될 수 있다. 이 때, 제2 전자 기기(100b)는 스마트 폰(200)과 페어링된 스마트 와치(300)의 미러링 화면을 과거 A 지역에서의 미러링 화면과, 현재 B 지역에서의 미러링 화면으로 구분하여 제공할 수 있다.
도 10은 본 발명의 또 다른 실시에에 따라 제1 외부 기기에서 실행 중인 애플리케이션에 따라 제1 외부 기기 및 제2 외부 기기가 전자 기기에 미러링되는 예를 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 전자 기기(100)는 제1 미러링 화면과 제2 미러링 화면을 디스플레이부(151)에 표시할 수 있다. 상기 제1 미러링 화면은 상기 제1 외부 기기(200)에서 실행되는 제1 애플리케이션의 실행 화면을 포함할 수 있다. 또한, 제2 미러링 화면은 상기 제1 애플리케이션과 연동되어 상기 제1 애플리케이션의 실행을 보조하기 위하여 제2 외부 기기에서 실행하는 제2 애플리케이션의 실행 화면을 포함할 수 있다.
예를 들어, 도 10을 참조하면, 스마트 폰(200)은 생체 정보를 통해 사용자의 헬스 정보를 제공할 수 있는 제1 애플리케이션을 실행한다. 한편, 상기 스마트 폰(200)과 페어링된 스마트 와치(300)는 상기 스마트 폰(200)에서 상기 제1 애플리케이션이 실행됨에 따라 상기 생체 정보를 측정할 수 있는 제2 애플리케이션을 실행할 수 있다.
상기 제2 애플리케이션은 사용자의 심박수를 측정하는 애플리케이션 또는 사용자의 움직임에 따라 걸음수를 측정하는 기능을 갖는 애플리케이션일 수 있다. 예를 들어, 사용자의 심박수는 스마트 와치(300) 바디의 일 영역에 구비되어 사용자의 신체 일부와 접촉됨으로 인해 사용자의 심박수가 측정될 수 있다. 또한, 상기 사용자의 걸음수는 스마트 와치(300)에 구비된 자세 감지 센서(예를 들어, 자이로 스코프, 가속도 센서 등)에 의해 감지되는 모션 인식을 통해 획득될 수 있다.
따라서, 생체 정보를 활용하는 운동 애플리케이션이 스마트 폰(200)에서 실행되는 중, 스마트 폰(200)이 전자 기기(100)와 미러링 연결되는 경우, 전자 기기(100)는 상기 스마트 폰(200)의 화면에 대응하는 제1 미러링 화면(20)과, 스마트 와치(300)의 화면에 대응하는 제2 미러링 화면을 디스플레이부(150)에 표시하되, 상기 제2 미러링 화면에는 심박수 측정 애플리케이션의 실행 화면(30_1)과, 걸음수 측정 애플리케이션의 실행 화면(30_2)이 포함될 수 있다.
따라서, 본 발명의 일 실시예에 의하면 사용자는 스마트 와치(300)를 착용한 상태에서 스마트 폰(200)에서 운동 애플리케이션을 실행하여 운동을 한 후, 운동 기록을 관찰하기 위하여 스마트 폰(200)을 가까이 있는 TV(100)에 미러링 시키는 경우, 스마트 폰(200)과 스마트 폰(300)의 화면이 모두 미러링 됨으로 인해 운동 기록을 보다 효율적으로 체크할 수 있다.
도 11a 내지 도 11b는 본 발명의 또 다른 실시예에 따라 방송 프로그램이 표시되는 중 제1 외부 기기 및 제2 외부 기기가 전자 기기에 미러링되는 에를 설명하기 위한 도면들이다.
도 11a를 참조하면, 본 발명의 일 실시예에 의하면, 전자 기기(100)는 방송 수신부를 통해 방송국으로부터 방송 프로그램(10a)을 수신하여 디스플레이부(151)를 통해 제공할 수 있다. 한편, 사용자는 제2 외부 기기(스마트 와치, 300)를 착용한 상태에서 상기 방송 프로그램(10a)을 시청할 수 있다. 상기 제2 외부 기기(300)는 제1 외부 기기(200)와 페어링된 상태이다.
도 11b를 참조하면, 제1 외부 기기(200)는 운동 애플리케이션을 실행하고, 운동 애플리케이션의 실행 화면(20a)이 제1 외부 기기(200)이 화면상에 표시된 상태이다. 이와 같은 상태에서 제1 외부 기기(200)가 전자 기기(100)와 미러링 링크를 형성하는 경우, 전자 기기(100)의 제어부(180)는 미러링 화면을 디스플레이부(151)에 표시할 수 있다.
제어부(180)는 제1 미러링 화면(20)을 제1 영역(A1)에 표시할 수 있다. 한편, 제어부(180)는 제2 외부 기기(300)에 대응하는 제2 미러링 화면(30_1,30_2)을 제2 영역(A2)에 표시하되, 상기 제2 영역(A2)에는 미러링 연결 전에 계속 제공되는 방송 프로그램 화면(10)이 표시될 수 있다. 상기 제2 미러링 화면(30_1,30_2)은 상기 방송 프로그램 화면(10)의 적어도 일 영역에 중첩되어 표시될 수 있다.
또한, 상기 제2 미러링 화면(30_1,30_2)은 상기 제1 외부 기기(200)에서 실행 중인 운동 애플리케이션의 실행에 필요한 생체 정보 측정을 위한 애플리케이션의 실행 화면에 대응될 수 있다.
한편, 제어부(180)는 제3 영역(B)에 제1 외부 기기(200)와의 페어링 이력을 갖는 복수의 외부 기기 정보(300,400,500)를 표시할 수 있으며, 페어링 요청을 수신한 시점에 제1 외부 기기(100)와의 연결 상태에 따라 각각의 외부 기기의 활성화 상태가 표시되도록 제어할 수 있다. 예를 들어, 제어부(180)는 상기 제3 영역(B)에 표시된 글라스 타입의 이동 단말기(400) 및 블루투스 스피커(500)는 제1 외부 기기(200)와 페어링 연결되지 않은 상태로서 비활성화되어 표시될 수 있다. 따라서 리모트 컨트롤러를 통해 선택을 하더라도 해당 객체가 선택되지 않을 수 있다. 한편, 제어부(180)는 제3 영역(B)에 표시된 스마트 와치(300)는 제1 외부 기기(200)와 페어링 연결된 상태로서 활성화되어 표시될 수 있다.
도 12a 내지 도 12b는 본 발명의 또 다른 실시예에 따라 외부 기기가 전자 기기에 미러링된 상태에서 미러링 화면을 통해 외부 기기와 페어링된 다른 외부 기기의 동작을 제어하는 예를 설명하기 위한 도면들이다.
도 12a를 참조하면, 본 발명의 일 실시예에 의하면, 제1 외부 기기(200)가 제2 외부 기기(300) 및 제3 외부 기기(500)와 페어링된 상태에서 전자 기기(100)와 미러링 연결될 수 있다. 제1 외부 기기(200)의 화면에는 멀티 미디어 컨텐츠의 재생 화면(701)이 제공될 수 있다. 제3 외부 기기(500)는 블루투스 스피커로서, 페어링된 제1 외부 기기(200)에서 소정의 멀티 미디어 컨텐츠가 재생되는 경우, 상기 블루투스 스피커를 통해 사운드가 출력될 수 있다.
도 12b를 참조하면, 제1 외부 기기(200)가 전자 기기(100)와 미러링 연결되는 경우, 전자 기기(100)는 제1 외부 기기(200)의 화면에 대응하는 제1 미러링 화면을 제1 영역(A1)에 표시하고, 제2 외부 기기(300)의 화면에 대응하는 제2 미러링 화면을 제2 영역(A2)에 표시한다. 제어부(180)는 상기 제3 외부 기기(500)의 경우 블루투스 스피커로서, 스크린이 존재하지 않으므로 상기 제3 외부 기기(500)가 블루투스 스피커의 속성을 고려하여 제3 영역(A3)에 사운드 출력을 제어할 수 있는 제어 객체를 표시할 수 있다.
리모트 컨트롤러(5)를 통해 상기 제어 객체를 조작하는 입력을 수신하는 경우, 제어부(180)는 상기 제3 외부 기기(300)에서 출력되는 볼륨이 조절되도록 하는 제어 신호를 상기 제3 외부 기기(200)로 전송할 수 있다.
즉, 도 12a 내지 도 12b에 도시된 실시예는 전자 기기(100)의 디스플레이부(151)에 표시되는 미러링 화면을 통해 전자 기기(100)와 미러링된 외부 기기에서 소정의 기능이 실행되도록 제어할 수 있다.
도 13은 본 발명의 또 다른 실시예에 따라 외부 기기가 전자 기기에 미러링된 상태에서 외부 기기와 페어링된 다른 외부 기기를 통한 인증 과정을 미러링 화면을 통해 제공하는 예를 설명하기 위한 도면이다.
도 13을 참조하면, 본 발명의 일 실시예에 의하면, 제1 외부 기기(200)는 인증 절차가 필요한 애플리케이션(20a)을 실행하는 중, 전자 기기(200)와 미러링 연결될 수 있다. 상기 인증 절차가 필요한 애플리케이션은 모바일 결제 시스템을 통해 결제가 필요한 기능을 수행하는 애플리케이션을 포함할 수 있다. 상기 인증 절차는 사용자에 의해 기 설정된 패턴이 입력되거나, 지문 인증을 통해 이루어질 수 있다.
본 발명의 일 실시예에 의하면, 제1 외부 기기(200)에 대응하는 제1 미러링 화면(20)이 제1 영역(A1)에 표시되고, 제2 외부 기기(300)에 대응하는 제2 미러링 화면이 제2 영역(A2)에 표시된 상태에서, 지문 인증 절차가 필요할 수 있다.
제어부(180)는 상기 지문 인증 요청이 수신되는 경우 제2 외부 기기(300)의 화면을 통해 상기 지문 인증 절차가 수행될 수 있도록 상기 제2 외부 기기(300)의 화면상에 지문 입력 영역(TP)이 표시될 수 있으며, 이와 동시에 제2 미러링 화면(30)에도 지문 입력 영역(TP)을 포함하는 화면이 제공될 수 있다. 상기 제2 외부 기기(300)의 화면상에 표시된 지문 입력 영역(TP)을 통해 사용자의 지문이 입력되는 경우, 입력된 지문 정보에 기초하여 인증 절차가 이루어질 수 있으며, 입력된 지문 정보가 제2 미러링 화면(30)에 표시될 수 있다.
이에 따라, 사용자는 제1 외부 기기(200)의 화면에 상품 구매 정보가 표시된 상태에서, 제1 외부 기기(200) 상에서 지문 입력을 위한 별도의 화면 전환 없이 전자 기기(100) 상의 미러링 화면을 통해 지문 입력 기기(500)를 선택하고, 타 기기에 입력된 지문 정보를 통해 인증 절차를 보다 원활하게 수행함으로써, 모바일 결제 기능을 수행할 수 있다.
도 14a 내지 도 14b는 본 발명의 또 다른 실시예에 따라 외부 기기가 전자 기기에 미러링 될 때, 외부 기기와 페어링된 다른 외부 기기에서 실행 중인 애플리케이션에 따라 미러링 화면의 구성이 달라지는 예를 설명하기 위한 도면들이다.
본 발명의 일 실시예에 의하면, 제2 외부 기기(300)가 제1 외부 기기(200)와 페어링된 상태에서 제2 애플리케이션(30a)을 실행하는 경우, 제1 외부 기기(200)에서 상기 제2 애플리케이션과 연동되어 실행되는 제1 애플리케이션이 자동으로 실행될 수 있다.
예를 들어, 도 14a를 참조하면, 상기 제2 애플리케이션은 모바일 상에서 티켓을 관리하는 애플리케이션일 수 있다. 사용자는 제2 외부 기기(300)를 통해 상기 제2 애플리케이션을 실행하여 구매한 항공권을 조회할 수 있다.
한편, 도 14b를 참조하면, 상기 제2 외부 기기(300)를 통해 항공권을 조회하는 중, 제1 외부 기기(200)는 전자 기기(100)와 미러링 연결될 수 있다. 제1 외부 기기(200)는 미러링 연결 시도와 함께, 상기 조회된 항공권 정보와 연관된 스케줄 정보가 저장되어 있는지 검색할 수 있다.
그런 후, 제1 외부 기기(200)와 전자 기기(200)가 미러링 연결되면, 전자 기기(100)의 제어부(180)는 제2 미러링 화면(30)에는 제2 외부 기기(300)에서 조회된 항공권 정보가 제공된다. 그리고, 제1 미러링 화면은, 상기 항공권의 상세 정보(20b)와 상기 항공권 일정에 따라 등록된 구체적인 스케줄 정보(20c)를 포함할 수 있다.
도 15 내지 도 16은 본 발명의 또 다른 실시예에 따라 외부 기기와 전자 기기 사이에 미러링 연결 전, 외부 기기에서 실행 중인 동작에 따라 미러링 화면을 통해 함께 미러링되는 다른 외부 기기에 소정의 컨텐츠를 추천하는 예를 설명하기 위한 도면들이다.
본 발명의 일 실시예에 의하면, 제1 외부 기기(200)에서 제1 애플리케이션을 실행되는 중 상기 제1 외부 기기(100)로부터 미러링 연결 요청을 수신할 수 있다.
제어부(180)는 상기 제1 애플리케이션이 상기 제2 외부 기기(300)에 설치되어 있지 않은 경우, 상기 제1 애플리케이션과 연관된 적어도 하나의 추천 애플리케이션을 상기 디스플레이부에 표시할 수 있다. 상기 추천 애플리케이션 중 어느 하나가 선택되는 경우, 제어부(180)는, 선택된 애플리케이션을 상기 제2 외부 기기에 설치되도록 제어할 수 있다.
도 15를 참조하면, 상기 제1 애플리케이션은 영화 티켓을 구매하는 애플리케이션을 포함할 수 있다. 제1 외부 기기(200)의 화면에는 제1 애플리케이션 화면(20a)이 표시되고 있으며, 제2 외부 기기(300)는 홈 스크린 화면(30a)이 표시될 수 있다. 이에 따라 제1 미러링 화면(20)은 제1 애플리케이션 화면이 제공될 수 있다. 한편, 제2 외부 기기(300)는 상기 제1 애플리케이션이 설치되어 있는 경우, 상기 제1 애플리케이션 화면을 제2 미러링 화면을 제공되지만, 그렇지 않은 경우에는 제2 미러링 화면(30)에는 전술한 홈 스크린 화면만 제공될 수 있다.
한편, 제어부(180)는 상기 제2 외부 기기(300)에 상기 제1 애플리케이션이 설치되어 있지 않은 경우, 상기 제1 애플리케이션과 동일 또는 유사한 애플리케이션(41,42)을 추천하여 상기 디스플레이부(150)의 일 영역(A22)에 표시할 수 있다. 한편, 제어부(180)는 리모트 컨트롤러(5)로부터 상기 추천 애플리케이션(41,42) 중 어느 하나를 선택하는 입력을 수신하는 경우, 선택된 애플리케이션(41)이 상기 제2 외부 기기(300)에 설치되도록 하는 제어 신호를 상기 제2 외부 기기(300)로 전송할 수 있다.
상기 제2 외부 기기(300)는 상기 제어 신호에 따라 외부 서버로부터 상기 선택된 애플리케이션(41)을 다운로드 받아서 자동으로 설치될 수 있다. 이에 따라 제2 외부 기기(300)의 화면은 홈 스크린 화면(30a)에서 상기 선택된 애플리케이션(41)을 다운로드 받는 화면으로 전환될 수 있다.
이에 따라, 본 발명의 일 실시예에 의하면, 전자 기기(100)의 미러링 화면을 통해 제1 외부 기기(100)에 설치된 애플리케이션과 동일 또는 유사한 애플리케이션을 상기 제1 외부 기기(100)와 페어링 연결된 제2 외부 기기(300)에 설치되도록 할 수 있다.
한편 본 발명의 일 실시예에 의하면, 제어부(180)는, 상기 제2 외부 기기(200)에서 제2 애플리케이션을 실행하는 중 상기 제1 외부 기기로부터 미러링 연결 요청을 수신할 수 있다.
제어부(180)는 상기 제2 애플리케이션과 연관된 적어도 하나의 추천 애플리케이션을 상기 디스플레이부(151)에 표시할 수 있다. 상기 추천 애플리케이션 중 어느 하나가 선택되는 경우 제어부(180)는 선택된 애플리케이션을 상기 제1 외부 기기(200)에 설치되도록 제어할 수 있다. 한편, 상기 제2 애플리케이션은 상기 제2 외부 기기(300)의 제스처 입력에 따라 실행되는 애플리케이션일 수 있다.
예를 들어, 도 16을 참조하면, 사용자가 스마트 와치(300)를 손목에 착용한 상태에서 스마트 와치(300)의 손목 움직임을 통해 스마트 와치(300)가 사용자의 제스처를 인식할 수 있다. 상기 제2 애플리케이션은 사용자의 제스처에 따라 스마트 와치(300)에서 소정의 기능이 실행될 수 있는 애플리케이션일 수 있다. 예를 들어, 상기 제2 애플리케이션은 음악 재생을 위한 애플리케이션으로서, 사용자의 손목이 틸팅되는 방향에 따라 음악 재생을 제어하는 애플리케이션을 포함할 수 있다.
전자 기기(100)의 제어부(180)는 상기 스마트 와치(300)를 통해 소정의 제스처가 인식되는 중, 제1 외부 기기(200)로부터 미러링 연결 요청을 수신할 수 있다.
제어부(180)는 상기 미러링 연결 요청에 따라 제1 미러링 화면(20) 및 제2 미러링 화면(30)을 각각 디스플레이부(151)에 표시하되, 제1 외부 기기(200)에 설치된 애플리케이션 중 상기 제2 애플리케이션과 유사한 기능을 가지는 애플리케이션 즉, 제스처 입력에 따라 실행될 수 있는 애플리케이션의 목록(43,44)를 상기 디스플레이부(151)의 일 영역(12)에 표시할 수 있다. 상기 일 영역(12)은 제1 미러링 화면이 표시되는 제1 영역(A11)의 하단부(A12)에 생성될 수 있다.
도 17은 본 발명의 또 다른 실시예에 따라 외부 기기와 전자 기기 사이에 미러링 연결된 상태에서, 외부 기기에 발생된 이벤트를 미러링 화면을 통해 처리하는 예를 설명하기 위한 도면이다.
도 17을 참조하면, 제2 외부 기기(300)는 내비게이션 애플리케이션을 실행하는 중, 배터리 잔량이 머리 정해진 값 이하인 것으로 감지되는 경우, 페어링 연결된 제1 외부 기기(200)로 상기 내비게이션 애플리케이션의 제어권을 넘겨줄 수 있다. 이 경우, 제1 외부 기기(200)의 화면에는 내비게이션 애플리케이션이 실행화면(20a)이 제공된다.
이 상태에서 전자 기기(100)는 제1 외부 기기(200)로부터 미러링 연결 요청을 수신할 수 있다. 제어부(180)는 제1 미러링 화면(20) 및 제2 미러링 화면(30)을 디스플레이부(151)에 표시할 수 있다. 제2 외부 기기(300)는 내비게이션 애플리케이션의 제어권을 제1 외부 기기(200)로 넘겨주었기 때문에 상기 제2 미러링 화면(30)는 스마트 와치의 홈 스크린 화면일 수 있다.
한편, 상기 제2 외부 기기(200)는, 내비게이션 애플리케이션을 실행하는 중, 콜을 수신할 수 있다. 제2 외부 기기(200)는 내비게이션 애플리케이션을 실행하고 있으므로 통화 대기 화면을 제공할 수 있다. 상기 통화 대기 화면은 페어링된 제2 외부 기기(300)의 화면에 노티피케이션 신호로서 제공될 수 있으며, 제2 외부 기기(300)의 화면에 제공되는 통화 대기 화면은 전자 기기(100)에서 제2 미러링 화면(30)으로 표시될 수 있다.
본 발명의 일 실시예에 따라 제1 기기를 전자 기기(100)와 미러링 연결할 때 상기 제1 기기와 페어링 연결된 적어도 하나의 다른 기기가 함께 전자 기기(100)에 미러링 되는 상황은 전술한 예들로 한정되지 않는다.
예를 들어, 스마트 와치를 푸는 동작이 감지되는 경우, 상기 스마트 와치와 페어링된 이동 단말기가 함께 TV 화면으로 미러링될 수 있고, 하루 동안 스마트 와치 또는 이동 단말기를 통해 기록된 적어도 하나의 이벤트가 상기 미러링된 화면을 통해 제공될 수 있다.
또한 예를 들어, 피트니스 센터에서 회원과 트레이너 사이에 강습이 이루어지는 상황에서 회원이 스마트 폰 상에서 운동 애플리케이션을 실행하고, 스마트 와치를 착용한 상태에서 운동을 하는 상황에서 상기 스마트 폰이 피트니스 센터의 대 화면상에 미러링되는 경우, 트레이너는 회원의 대화면상에 제공되는 회원의 운동량을 보다 정확하게 인지할 수 있는 효과가 있다.
또한, 전술한 예들에서 설명된 전자 기기(100)는 공용 공간에서 사용되는 디스플레이 장치를 포함할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 전자 기기 150: 디스플레이부
180: 제어부 200: 제1 외부 기기
300: 제2 외부 기기

Claims (20)

  1. 통신부;
    디스플레이부; 및
    상기 통신부를 통해 제1 외부 기기로부터 미러링 연결 요청을 수신하는 경우, 상기 제1 외부 기기의 스크린 데이터 및 상기 제1 외부 기기와 페어링 연결된 제2 외부 기기의 스크린 데이터를 각각 수신하고, 상기 제1 외부 기기의 스크린에 대응하는 제1 미러링 화면 및 상기 제2 외부 기기의 스크린에 대응하는 제2 미러링 화면을 상기 디스플레이부에 표시하도록 하는 제어부;
    를 포함하는 전자 기기.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 미러링 연결 요청을 수신하는 경우, 상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체를 상기 디스플레이부에 표시하고,
    상기 미러링 연결 요청을 수신한 시점에 상기 제1 외부 기기와 페어링 연결된 상기 제2 외부 기기에 대응하는 객체를 선택하는 입력을 수신하는 경우, 상기 제2 미러링 화면을 상기 디스플레이부에 표시하도록 하는 것을 특징으로 하는 전자 기기.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 디스플레이부를 복수의 영역으로 구획하고,
    상기 제1 미러링 화면을 제1 영역에, 상기 제2 미러링 화면을 제2 영역에, 상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체를 제3 영역에 표시되도록 제어하는 것을 특징으로 하는 전자 기기.
  4. 제 3 항에 있어서,
    상기 제1 영역, 제2 영역 및 제3 영역의 비율은 사용자에 의해 미리 설정 가능한 것을 특징으로 하는 전자 기기.
  5. 제 3 항에 있어서,
    상기 제어부는,
    상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체 중,
    상기 미러링 연경 요청을 수신한 시점에 상기 제2 외부 기기에 대응하는 객체는 선택 가능하도록 활성화하여 표시하고, 상기 제1 외부 기기와 페어링 연결되지 않는 제3 외부 기기에 대응하는 객체는 비활성화하여 표시되도록 하는 것을 특징으로 하는 전자 기기.
  6. 제 1 항에 있어서,
    상기 제2 외부 기기의 스크린 데이터는, 상기 제2 외부 기기가 미러링 연결된 시점의 위치 정보를 포함하고,
    상기 제어부는,
    상기 위치 정보를 반영하여 상기 제2 미러링 화면을 복수의 영역으로 구획하고, 상기 제2 외부 기기가 미러링 연결된 시점에서의 상기 제2 외부 기기의 스크린을 상기 구획된 영역에 각각 표시되도록 제어하는 것을 특징으로 하는 전자 기기.
  7. 제 1 항에 있어서,
    상기 제1 미러링 화면은 상기 제1 외부 기기에서 실행되는 제1 애플리케이션의 실행 화면을 포함하고,
    상기 제2 미러링 화면은 상기 제1 애플리케이션과 연동되어 상기 제1 애플리케이션의 실행을 보조하기 위하여 제2 외부 기기에서 실행하는 제2 애플리케이션의 실행 화면을 포함하는 것을 특징으로 하는 전자 기기.
  8. 제 7 항에 있어서,
    방송 수신부;를 더 포함하고,
    상기 제2 미러링 화면이 표시되는 영역은, 상기 방송 수신부를 통해 수신된 방송 프로그램 화면을 더 포함하고, 상기 제2 미러링 화면은 상기 방송 프로그램 화면에 중첩되어 표시되는 것을 특징으로 하는 전자 기기.
  9. 제 1 항에 있어서,
    상기 제2 미러링 화면은 상기 제2 외부 기기에서 실행되는 제2 애플리케이션의 실행 화면을 포함하고,
    상기 제1 미러링 화면은 상기 제2 애플리케이션과 연동되어 실행되는 제1 애플리케이션의 실행 화면을 포함하는 것을 특징으로 하는 전자 기기.
  10. 제 1 항에 있어서,
    상기 제어부는,
    상기 제1 외부 기기와 페어링 연결되어 상기 제1 외부 기기에서 재생되는 멀티 미디어 컨텐츠의 사운드를 출력하는 제3 외부 기기에 대응하는 제3 미러링 화면을 상기 디스플레이부에 표시하고,
    상기 제3 미러링 화면은, 상기 제3 외부 기기의 사운드 출력을 제어하기 위한 제어 객체을 포함하는 것을 특징으로 하는 전자 기기.
  11. 제 1 항에 있어서,
    상기 제어부는,
    상기 제1 미러링 화면을 통해 인증 절차가 필요한 애플리케이션이 실행되는 중, 상기 제1 미러링 화면에 대한 입력 신호를 수신하는 경우, 상기 제2 외부 기기의 스크린에 인증 영역이 표시되도록 제어하고, 상기 인증 영역을 통해 인증되는 과정을 상기 제2 미러링 화면에 반영되어 표시되도록 제어하는 것을 특징으로 하는 전자 기기.
  12. 제 11 항에 있어서,
    상기 제2 미러링 화면은,
    상기 제2 외부 기기의 스크린을 통해 입력된 사용자 지문 정보 또는 사용자의 필기 입력 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 기기.
  13. 제 1 항에 있어서,
    상기 제어부는,
    상기 제1 외부 기기에서 제1 애플리케이션을 실행하는 중 상기 제1 외부 기기로부터 미러링 연결 요청을 수신한 경우,
    상기 제1 애플리케이션이 상기 제2 외부 기기에 설치되어 있지 않는 경우, 상기 제1 애플리케이션과 연관된 적어도 하나의 추천 애플리케이션을 상기 디스플레이부에 표시하고, 상기 추천 애플리케이션 중 어느 하나가 선택되는 경우, 선택된 애플리케이션을 상기 제2 외부 기기에 설치되도록 제어하는 것을 특징으로 하는 전자 기기.
  14. 제 1 항에 있어서,
    상기 제어부는,
    상기 제2 외부 기기에서 제스처 입력을 감지하여 제2 애플리케이션을 실행하는 중 상기 제1 외부 기기기부터 미러링 연결 요청을 수신하는 경우,
    상기 제1 외부 기기에 저장된 적어도 하나의 애플리케이션 중 상기 제스처 입력을 통해 실행 가능한 적어도 하나의 애플리케이션을 추천하여 상기 디스플레이부에 표시하고, 상기 적어도 하나의 애플리케이션 중 어느 하나가 선택되는 경우, 상기 선택된 애플리케이션이 상기 제1 외부 기기에서 실행되도록 제어하는 것을 특징으로 하는 전자 기기.
  15. 제 1 항에 있어서,
    상기 제1 외부 기기가 상기 통신부를 통해 상기 전자 기기와 페어링 연결된 상태에서 상기 제1 외부 기기로부터 상기 미러링 연결 요청을 수신하는 것을 특징으로 하는 전자 기기.
  16. 통신부를 통해 제1 외부 기기로부터 미러링 연결 요청을 수신하는 단계;
    상기 제1 외부 기기의 스크린 데이터 및 상기 제1 외부 기기와 페어링 연결된 제2 외부 기기의 스크린 데이터를 각각 수신하는 단계; 및
    상기 제1 외부 기기의 스크린에 대응하는 제1 미러링 화면 및 상기 제2 외부 기기의 스크린에 대응하는 제2 미러링 화면을 디스플레이부에 표시하는 단계;
    를 포함하는 전자 기기의 제어 방법.
  17. 제 16 항에 있어서,
    상기 미러링 연결 요청을 수신하는 경우,
    상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체를 상기 디스플레이부에 표시하는 단계;
    상기 미러링 연결 요청을 수신한 시점에 상기 제1 외부 기기와 페어링 연결된 상기 제2 외부 기기에 대응하는 객체를 선택하는 입력을 수신하는 단계; 및
    상기 제2 미러링 화면을 상기 디스플레이부에 표시하는 단계;
    를 포함하는 것을 특징으로 하는 전자 기기의 제어 방법.
  18. 제 16 항에 있어서,
    상기 제1 미러링 화면 및 제2 미러링 화면을 상기 디스플레이부에 표시하는 단계는,
    상기 디스플레이부를 복수의 영역으로 구획하고, 상기 제1 미러링 화면을 제1 영역에, 상기 제2 미러링 화면을 제2 영역에, 상기 제1 외부 기기와 페어링 연결의 이력(history)을 갖는 적어도 하나의 외부 기기에 대응하는 객체를 제3 영역에 표시하는 것을 특징으로 하는 전자 기기의 제어 방법.
  19. 제 16 항에 있어서,
    상기 제1 외부 기기가 상기 통신부를 통해 상기 전자 기기와 페어링 연결된 상태에서 상기 제1 외부 기기로부터 상기 미러링 연결 요청을 수신하는 것을 특징으로 하는 전자 기기의 제어 방법.
  20. 제 16 항에 있어서,
    상기 제1 미러링 화면과 제2 미러링 화면은 동일한 애플리케이션 또는 서로 연관된 애플리케이션의 실행 화면을 포함하는 것을 특징으로 하는 전자 기기의 제어 방법.
KR1020150124031A 2015-09-02 2015-09-02 전자 기기 및 전자 기기의 제어 방법 KR102389038B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150124031A KR102389038B1 (ko) 2015-09-02 2015-09-02 전자 기기 및 전자 기기의 제어 방법
US15/246,362 US10776068B2 (en) 2015-09-02 2016-08-24 Display device for multi-screen mirroring of a first external device and a second external device paired with the first external device
EP16001857.8A EP3139264B1 (en) 2015-09-02 2016-08-24 Mobile terminal and method for controlling the same
CN201610798543.1A CN106488306B (zh) 2015-09-02 2016-08-31 移动终端及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150124031A KR102389038B1 (ko) 2015-09-02 2015-09-02 전자 기기 및 전자 기기의 제어 방법

Publications (2)

Publication Number Publication Date
KR20170027435A true KR20170027435A (ko) 2017-03-10
KR102389038B1 KR102389038B1 (ko) 2022-04-21

Family

ID=57153222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150124031A KR102389038B1 (ko) 2015-09-02 2015-09-02 전자 기기 및 전자 기기의 제어 방법

Country Status (4)

Country Link
US (1) US10776068B2 (ko)
EP (1) EP3139264B1 (ko)
KR (1) KR102389038B1 (ko)
CN (1) CN106488306B (ko)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190035414A (ko) * 2017-09-26 2019-04-03 엘지전자 주식회사 무선 디바이스 및 그의 동작 방법
KR20210003224A (ko) * 2018-06-01 2021-01-11 애플 인크. 원격 디바이스로부터의 직접 입력
WO2021101260A1 (en) * 2019-11-19 2021-05-27 Samsung Electronics Co., Ltd. Display device, mobile device, and screen mirroring method of display device
KR20220038823A (ko) * 2019-05-31 2022-03-29 애플 인크. 오디오 공유를 위한 방법들 및 사용자 인터페이스들
KR102463351B1 (ko) * 2021-09-15 2022-11-04 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11539831B2 (en) 2013-03-15 2022-12-27 Apple Inc. Providing remote interactions with host device using a wireless device
WO2023286979A1 (ko) * 2021-07-14 2023-01-19 삼성전자 주식회사 위젯을 표시하는 전자 장치 및 이의 제어 방법
US11604571B2 (en) 2014-07-21 2023-03-14 Apple Inc. Remote user interface
US11609681B2 (en) 2014-09-02 2023-03-21 Apple Inc. Reduced size configuration interface
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
US11683408B2 (en) 2017-05-16 2023-06-20 Apple Inc. Methods and interfaces for home media control
US11700326B2 (en) 2014-09-02 2023-07-11 Apple Inc. Phone user interface
US11714597B2 (en) 2019-05-31 2023-08-01 Apple Inc. Methods and user interfaces for sharing audio
US11750734B2 (en) 2017-05-16 2023-09-05 Apple Inc. Methods for initiating output of at least a component of a signal representative of media currently being played back by another device
US11755273B2 (en) 2019-05-31 2023-09-12 Apple Inc. User interfaces for audio media control
US11782598B2 (en) 2020-09-25 2023-10-10 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
WO2024106942A1 (ko) * 2022-11-18 2024-05-23 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566616B2 (ja) * 2014-08-19 2019-08-28 キヤノン株式会社 通信装置、その制御方法、およびプログラム
USD784384S1 (en) * 2015-09-02 2017-04-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD794055S1 (en) * 2015-09-02 2017-08-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN108292336B (zh) * 2016-10-08 2022-10-28 华为技术有限公司 一种指纹采集方法及终端
US10838681B2 (en) * 2017-04-05 2020-11-17 Panasonic Avionics Corporation Screen mirroring from personal electronic devices to transportation vehicle display screens
US10416953B2 (en) * 2017-04-20 2019-09-17 Qingdao Hisense Electronics Co., Ltd. System and methods for a display device ecosystem and modular platform
US11776046B1 (en) * 2018-01-25 2023-10-03 United Services Automobile Association (Usaa) Cross-device presentation with conversational user interface
KR102490540B1 (ko) * 2018-02-23 2023-01-19 삼성전자주식회사 화면 데이터를 공유하는 전자 장치 및 그 방법
US10893412B2 (en) * 2018-08-27 2021-01-12 Apple Inc. Authenticated device assisted user authentication
US11310296B2 (en) * 2018-11-06 2022-04-19 International Business Machines Corporation Cognitive content multicasting based on user attentiveness
KR20200136256A (ko) 2019-05-27 2020-12-07 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN110321093A (zh) * 2019-06-17 2019-10-11 广州视源电子科技股份有限公司 一种投屏配对方法、装置、存储介质及投屏器
CN110399112A (zh) * 2019-08-28 2019-11-01 北京小米移动软件有限公司 一种投屏方法及装置
WO2021049685A1 (ko) * 2019-09-11 2021-03-18 엘지전자 주식회사 홈스크린을 설정하는 이동 단말기 및 그 제어 방법
KR102709175B1 (ko) 2019-12-03 2024-09-25 삼성전자주식회사 모바일 장치의 컨텐츠를 디스플레이 장치에서 재생하는 방법 및 장치
KR20210086103A (ko) 2019-12-31 2021-07-08 삼성전자주식회사 디스플레이 기기, 모바일 기기, 그에 따른 디스플레이 기기를 통해 수행되는 영상 통화 방법 및 그에 따른 모바일 기기를 통해 수행되는 영상 통화 방법
KR20210088985A (ko) * 2020-01-07 2021-07-15 삼성전자주식회사 전자 장치 및 그 동작 방법
US11199908B2 (en) * 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
US11157086B2 (en) * 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
CN111431968B (zh) * 2020-02-26 2021-09-21 华为技术有限公司 服务元素的跨设备分配方法、终端设备及存储介质
CN113343193B (zh) * 2020-03-03 2024-08-27 华为技术有限公司 身份验证方法、装置和电子设备
WO2021193991A1 (ko) 2020-03-26 2021-09-30 엘지전자 주식회사 디스플레이 장치
CN115756270B (zh) 2020-05-29 2024-03-26 华为技术有限公司 一种内容分享的方法、装置及系统
EP4006498B1 (de) * 2020-11-28 2023-11-22 Siemens Aktiengesellschaft Inbetriebnahme und wartung von sensor und messumformer
US20220224961A1 (en) * 2021-01-08 2022-07-14 Yen-Ho Lu Method of display and operation when a smartphone and a terminal are connected
EP4270184A4 (en) * 2021-02-04 2024-07-03 Huawei Tech Co Ltd CROSS-DEVICE AUTHENTICATION METHOD AND ELECTRONIC DEVICES
CN113542839B (zh) * 2021-06-09 2022-10-18 荣耀终端有限公司 电子设备的投屏方法和电子设备
EP4283445A4 (en) * 2021-07-14 2024-08-07 Samsung Electronics Co Ltd ELECTRONIC WIDGET DISPLAY DEVICE AND CONTROL METHOD THEREOF
US11815687B2 (en) 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device
US12014099B2 (en) 2022-03-08 2024-06-18 Google Llc Multi-device awareness for casting and content delivery
CN117917616A (zh) * 2022-10-20 2024-04-23 戴尔产品有限公司 具有用于不同用户界面功能性的多个区的触控板

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120015931A (ko) * 2010-08-13 2012-02-22 삼성전자주식회사 휴대용 전자 장치 및 그것의 디스플레이 미러링 방법
EP2624581A1 (en) * 2012-02-06 2013-08-07 Research in Motion Limited Division of a graphical display into regions
KR20130119172A (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140133073A (ko) * 2013-05-09 2014-11-19 엘지전자 주식회사 이동 단말기의 동작 방법
JP2014222432A (ja) * 2013-05-14 2014-11-27 株式会社アイ・オー・データ機器 アダプタ装置、ミラーリングシステム、および、ミラーリング方法
KR20150026367A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
KR20150031859A (ko) * 2013-09-17 2015-03-25 주식회사 티오이십일 싱크 제어 방법 및 이를 수행하는 모바일 싱크 컴퓨팅 장치
KR20150082949A (ko) * 2014-01-08 2015-07-16 삼성전자주식회사 화면 미러링 방법 및 그에 따른 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030103075A1 (en) * 2001-12-03 2003-06-05 Rosselot Robert Charles System and method for control of conference facilities and equipment
US10104183B2 (en) * 2010-06-22 2018-10-16 Microsoft Technology Licensing, Llc Networked device authentication, pairing and resource sharing
JP5516882B2 (ja) * 2010-07-29 2014-06-11 セイコーエプソン株式会社 プログラム、情報記憶媒体、端末装置、表示システムおよび画像生成方法
KR101924845B1 (ko) * 2012-05-03 2019-02-28 삼성전자주식회사 콘텐츠 캐스트 서비스를 제공하기 위한 방법 및 장치
EP2675146B1 (en) * 2012-06-11 2021-08-04 Samsung Electronics Co., Ltd. Terminal apparatus and method for setting up destination by sharing position information
CN103516566B (zh) * 2012-06-26 2017-02-01 华为技术有限公司 家庭网络设备实现业务控制的方法、装置及系统
KR20140011857A (ko) * 2012-07-20 2014-01-29 삼성전자주식회사 이동 단말에서 디스플레이 장치의 디스플레이를 제어하기 위한 방법 및 이를 위한 이동 단말
KR101917696B1 (ko) 2012-09-04 2018-11-13 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9552138B2 (en) * 2013-05-10 2017-01-24 Lg Electronics Inc. Mobile terminal and method for controlling the same
US9654073B2 (en) * 2013-06-07 2017-05-16 Sonos, Inc. Group volume control
KR102208436B1 (ko) * 2013-08-06 2021-01-27 삼성전자주식회사 출력 방법 및 그 방법을 처리하는 전자 장치
JP6455435B2 (ja) * 2013-10-04 2019-01-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20150067521A (ko) * 2013-12-10 2015-06-18 에스케이플래닛 주식회사 화면 공유 서비스를 위한 장치 및 방법, 이를 위한 화면 공유 시스템
CN104954847B (zh) * 2014-03-25 2018-04-10 扬智科技股份有限公司 视频流处理装置、镜像视频显示方法及显示装置
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
KR20160071826A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 무선 네트워크 연결 방법 및 그 전자 장치 및 방법
KR102308645B1 (ko) * 2014-12-29 2021-10-05 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법
US20170019473A1 (en) * 2015-07-16 2017-01-19 Promethean Limited Multi-network mirroring systems and methods

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120015931A (ko) * 2010-08-13 2012-02-22 삼성전자주식회사 휴대용 전자 장치 및 그것의 디스플레이 미러링 방법
EP2624581A1 (en) * 2012-02-06 2013-08-07 Research in Motion Limited Division of a graphical display into regions
KR20130119172A (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140133073A (ko) * 2013-05-09 2014-11-19 엘지전자 주식회사 이동 단말기의 동작 방법
JP2014222432A (ja) * 2013-05-14 2014-11-27 株式会社アイ・オー・データ機器 アダプタ装置、ミラーリングシステム、および、ミラーリング方法
KR20150026367A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
KR20150031859A (ko) * 2013-09-17 2015-03-25 주식회사 티오이십일 싱크 제어 방법 및 이를 수행하는 모바일 싱크 컴퓨팅 장치
KR20150082949A (ko) * 2014-01-08 2015-07-16 삼성전자주식회사 화면 미러링 방법 및 그에 따른 장치

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11539831B2 (en) 2013-03-15 2022-12-27 Apple Inc. Providing remote interactions with host device using a wireless device
US11604571B2 (en) 2014-07-21 2023-03-14 Apple Inc. Remote user interface
US12093515B2 (en) 2014-07-21 2024-09-17 Apple Inc. Remote user interface
US11700326B2 (en) 2014-09-02 2023-07-11 Apple Inc. Phone user interface
US11609681B2 (en) 2014-09-02 2023-03-21 Apple Inc. Reduced size configuration interface
US11683408B2 (en) 2017-05-16 2023-06-20 Apple Inc. Methods and interfaces for home media control
US12107985B2 (en) 2017-05-16 2024-10-01 Apple Inc. Methods and interfaces for home media control
US11750734B2 (en) 2017-05-16 2023-09-05 Apple Inc. Methods for initiating output of at least a component of a signal representative of media currently being played back by another device
KR20190035414A (ko) * 2017-09-26 2019-04-03 엘지전자 주식회사 무선 디바이스 및 그의 동작 방법
KR20210003224A (ko) * 2018-06-01 2021-01-11 애플 인크. 원격 디바이스로부터의 직접 입력
KR20220038823A (ko) * 2019-05-31 2022-03-29 애플 인크. 오디오 공유를 위한 방법들 및 사용자 인터페이스들
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
US11853646B2 (en) 2019-05-31 2023-12-26 Apple Inc. User interfaces for audio media control
US11714597B2 (en) 2019-05-31 2023-08-01 Apple Inc. Methods and user interfaces for sharing audio
US11755273B2 (en) 2019-05-31 2023-09-12 Apple Inc. User interfaces for audio media control
US11435974B2 (en) 2019-11-19 2022-09-06 Samsung Electronics Co., Ltd. Display device, mobile device, screen mirroring method of display device, and screen mirroring method of mobile device
WO2021101260A1 (en) * 2019-11-19 2021-05-27 Samsung Electronics Co., Ltd. Display device, mobile device, and screen mirroring method of display device
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11782598B2 (en) 2020-09-25 2023-10-10 Apple Inc. Methods and interfaces for media control with dynamic feedback
US12112037B2 (en) 2020-09-25 2024-10-08 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
WO2023286979A1 (ko) * 2021-07-14 2023-01-19 삼성전자 주식회사 위젯을 표시하는 전자 장치 및 이의 제어 방법
KR102463351B1 (ko) * 2021-09-15 2022-11-04 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2024106942A1 (ko) * 2022-11-18 2024-05-23 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Also Published As

Publication number Publication date
CN106488306A (zh) 2017-03-08
EP3139264B1 (en) 2020-03-25
CN106488306B (zh) 2021-06-04
US20170060518A1 (en) 2017-03-02
US10776068B2 (en) 2020-09-15
EP3139264A2 (en) 2017-03-08
KR102389038B1 (ko) 2022-04-21
EP3139264A3 (en) 2017-05-10

Similar Documents

Publication Publication Date Title
KR102389038B1 (ko) 전자 기기 및 전자 기기의 제어 방법
US20210006616A1 (en) Device and method for adaptively changing task-performing subjects
KR20160002000A (ko) 이동 단말기 및 이를 이용한 외부 디바이스의 제어 방법
KR20170058795A (ko) 전자 기기 및 전자 기기의 제어 방법
KR20170081391A (ko) 이동단말기 및 그 제어방법
KR20170019262A (ko) 이동 단말기 및 그것의 제어방법
KR20160000330A (ko) 이동 단말기
KR20180002255A (ko) 글래스 타입의 이동 단말기
KR20160095409A (ko) 이동단말기 및 그 제어방법
KR101792720B1 (ko) 이동 단말기 및 그 제어방법
KR20170004076A (ko) 단말 장치를 포함하는 인텔리전트 에이전트 시스템 및 제어 방법
KR20150123645A (ko) 이동단말기 및 그 제어방법
KR101576461B1 (ko) 와치 타입 단말기 및 그것의 제어 방법
KR20180005377A (ko) 이동단말기 및 그 제어 방법, 디스플레이 디바이스 및 그 제어 방법
KR20160009946A (ko) 이동단말기 및 그 제어방법
KR20150123644A (ko) 이동단말기 및 그 제어방법
KR20160004164A (ko) 이동단말기 및 그 제어방법
KR20160027814A (ko) 와치형 단말기 및 그 제어방법
KR101642358B1 (ko) 이동 단말기 및 그 제어방법
KR101669210B1 (ko) 이동 단말기
KR20160084092A (ko) 이동 단말기
KR20170019910A (ko) 이동단말기 및 그 제어방법
KR20160092443A (ko) 전자 디바이스 및 그 제어방법
KR20160090083A (ko) 이동 단말기 및 그 제어방법
KR20160016070A (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant