KR101890626B1 - 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법 - Google Patents

이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법 Download PDF

Info

Publication number
KR101890626B1
KR101890626B1 KR1020120073677A KR20120073677A KR101890626B1 KR 101890626 B1 KR101890626 B1 KR 101890626B1 KR 1020120073677 A KR1020120073677 A KR 1020120073677A KR 20120073677 A KR20120073677 A KR 20120073677A KR 101890626 B1 KR101890626 B1 KR 101890626B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
screen
user
display device
video display
Prior art date
Application number
KR1020120073677A
Other languages
English (en)
Other versions
KR20140006523A (ko
Inventor
김영근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120073677A priority Critical patent/KR101890626B1/ko
Priority to US13/895,800 priority patent/US9632648B2/en
Priority to CN201810337103.5A priority patent/CN108762702B/zh
Priority to CN201310217541.5A priority patent/CN103530032B/zh
Priority to EP20185410.6A priority patent/EP3754483A1/en
Priority to EP13170811.7A priority patent/EP2682859A3/en
Publication of KR20140006523A publication Critical patent/KR20140006523A/ko
Priority to US15/463,914 priority patent/US9927942B2/en
Priority to US15/896,924 priority patent/US10282050B2/en
Application granted granted Critical
Publication of KR101890626B1 publication Critical patent/KR101890626B1/ko
Priority to US16/358,132 priority patent/US10579201B2/en
Priority to US16/777,231 priority patent/US10891012B2/en
Priority to US17/014,596 priority patent/US11237689B2/en
Priority to US17/156,155 priority patent/US11360633B2/en
Priority to US17/744,302 priority patent/US11868580B2/en
Priority to US18/516,383 priority patent/US20240086023A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법 관한 것으로, 본 발명은, 영상을 출력하는 디스플레이부; 외부의 영상표시장치와 데이터 통신하는 통신부; 사용자로부터 입력된 제 1 사용자 터치를 인식하는 제 1 터치 센서와 제 2 사용자 터치를 인식하는 제 2 터치 센서를 포함하는 센서부;와 상기 제 1 사용자 터치가 입력된 화면 영역에 가이드 이미지(Guide Image)를 출력하도록 상기 디스플레이부를 제어하고, 상기 제 2 사용자 터치에 해당하는 사용자 명령을 분석하여, 상기 제 2 사용자 터치에 해당하는 사용자 명령을 실행하고, 상기 디스플레이부에 출력된 영상을 이용하여 화면 정보를 생성하고, 생성된 화면 정보를 상기 영상표시장치에 전송하도록 통신부를 제어하는 제어부를 포함하는 이동 단말기를 제공한다. 상기 구성에 의하면, 이동 단말기를 이용하여 영상표시장치에 출력된 화면을 제어함에 있어서, 사용자는 영상표시장치에 시선을 고정한 상태로, 이동 단말기를 조작할 수 있어, 사용자의 편의성이 증대된다. 즉, 사용자가 이동 단말기와 영상표시장치에 시선을 번갈아 가며, 이동 단말기를 조작해야하는 불편함을 해소할 수 있다.

Description

이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법{MOBILE TERMINAL, IMAGE DISPLAY DEVICE AND USER INTERFACE PROVIDING METHOD USING THE SAME}
본 발명은 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법 관한 것으로, 더욱 상세하게는, 이동 단말기의 화면을 영상표시장치에 출력하고, 이동 단말기를 통하여 영상표시장치에 출력된 화면을 제어하도록 구성된 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법에 관한 것이다.
최근 기술의 발달로 인하여, 두 디바이스(Device)들 간에 영상을 공유하는 미러링(Mirroring) 서비스가 개발 및 보급되고 있다. 미러링 서비스는 영상 정보를 제공하는 Source 기기와, 제공받은 영상 정보를 출력하는 Sink 기기로 구성된다. 미러링 서비스는 Source 기기의 화면을 Sink 기기에서 보여줌으로써, 사용자가 두 기기의 화면을 공유할 수 있는 편리한 기능 덕분에, 관련된 서비스도 점점 늘어가고 있는 추세이다.
Source 기기의 일례로는 비교적 작은 스크린을 구비하나, 사용자의 명령을 손쉽게 입력받을 수 있도록 구성된 이동 단말기(Mobile Divice)가 많이 활용되며, Sink 기기의 일례로는 큰 스크린을 구비한 영상표시장치(Image Display Device)가 많이 활용된다.
기존의 이동 단말기는 터치 센서(Touch Sensor)를 이용하여, 사용자 명령을 입력받도록 구성된다. 사용자는 이동 단말기의 터치 센서를 터치하여, 사용자 명령을 입력하게 되는데, 기존의 이동 단말기는 입력된 터치에 해당하는 포인팅 커서(Pointing Cursor)를 표시하지 않는다.
따라서, 사용자가 Source 기기인 이동 단말기를 통해, Sink 기기인 영상표시장치에 출력되는 화면을 조작하는 경우에, 사용자는 이동 단말기를 보고 조작을 한 후, 제대로 동작을 했는지 확인을 하기 위해서 영상표시장치를 보고 확인을 해야 한다. 즉, 사용자는 이동 단말기와 영상표시장치를 수시로 번갈아 가면서 작업을 해야한다.
따라서, Source 기기와 Sink 기기의 인터렉션(Interaction)이 많은 작업의 경우에, 사용자는 수시로 Source 기기와 Sink 기기를 번갈아 보면서 작업을 해야 하는 불편함이 발생하게 된다. 이는, 항상 한 방향으로 시야를 고정하려고 하는 사용자에게 있어서 번거로운 일이다.
따라서, 이와 같은 사용자의 번거로움을 해소하고, Source 기기에 출력된 화면을 효율적으로 제어할 수 있도록 구성된 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법이 요구되고 있다.
본 발명은, 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 사용자가 영상표시장치에 출력된 화면을 효율적으로 제어할 수 있도록 구성된 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스를 제공하는데 그 목적이 있다.
본 발명은, 영상을 출력하는 디스플레이부; 외부의 영상표시장치와 데이터 통신하는 통신부; 사용자로부터 입력된 제 1 사용자 터치를 인식하는 제 1 터치 센서와 제 2 사용자 터치를 인식하는 제 2 터치 센서를 포함하는 센서부;와 상기 제 1 사용자 터치가 입력된 화면 영역에 가이드 이미지(Guide Image)를 출력하도록 상기 디스플레이부를 제어하고, 상기 제 2 사용자 터치에 해당하는 사용자 명령을 분석하여, 상기 제 2 사용자 터치에 해당하는 사용자 명령을 실행하고, 상기 디스플레이부에 출력된 영상을 이용하여 화면 정보를 생성하고, 생성된 화면 정보를 상기 영상표시장치에 전송하도록 통신부를 제어하는 제어부를 포함하는 이동 단말기를 제공한다.
또한, 본 발명은 상기 제 1 사용자 터치와 제 2 사용자 터치는, 터치 압력에 의해 구분되는 실시예를 포함한다.
또한, 본 발명은 상기 제 1 사용자 터치와 제 2 사용자 터치는, 터치 시간과 터치 크기, 터치 형태 중 적어도 하나에 의해 구분되는 실시예를 포함한다.
또한, 본 발명은 상기 제어부는, 상기 제 1 사용자 터치에 해당하는 사용자 명령을 분석하여, 상기 제 1 사용자 터치에 해당하는 사용자 명령을 실행하는 실시예를 포함한다.
또한, 본 발명은 사용자 음성을 입력받는 사용자 입력부를 더 포함하고, 상기 제어부는, 상기 사용자 음성에 해당하는 사용자 명령을 분석하여, 상기 사용자 음성에 해당하는 사용자 명령을 실행하는 실시예를 포함한다.
또한, 본 발명은 사용자 제스처(Gesture)를 입력받는 사용자 입력부를 더 포함하고, 상기 제어부는, 상기 사용자 제스처에 해당하는 사용자 명령을 분석하여, 상기 사용자 제스처에 해당하는 사용자 명령을 실행하는 실시예를 포함한다.
또한, 본 발명은 상기 제어부는, 상기 영상표시장치로부터 사용자 명령을 수신하도록 통신부를 제어하고, 상기 영상표시장치로부터 전송받은 사용자 명령을 실행하는 실시예를 포함한다.
또한, 본 발명은 상기 센서부는, 이동 단말기의 위치 방향에 해당하는 화면 자세 방향을 측정하고, 상기 제어부는, 상기 영상표시장치로부터 상기 영상표시장치의 위치 방향에 해당하는 화면 자세 방향 정보를 수신하도록 통신부를 제어하는 실시예를 포함한다.
또한, 본 발명은 상기 제어부는, 상기 영상표시장치의 화면 자세 방향과 이동 단말기의 화면 자세 방향이 상이한 경우, 상기 화면 정보가 상기 영상표시장치의 화면에 맞도록 화면 자세 방향을 바꿔주거나, 상기 화면 정보의 여백 처리를 수행하는 실시예를 포함한다.
또한, 본 발명은 상기 제어부는, 상기 여백 처리는, 상기 화면 정보의 여백을 흑백 처리하는 실시예를 포함한다.
또한, 본 발명은 사용자로부터 입력된 제 1 사용자 터치를 인식하는 제 1 터치 센서와 제 2 사용자 터치를 인식하는 제 2 터치 센서로 구성된 센서부를 포함하는 이동 단말기를 이용한 사용자 인터페이스 제공 방법에 있어서, 상기 제 1 터치 센서에 상기 제 1 사용자 터치가 인식된 경우, 상기 제 1 사용자 터치가 입력된 화면 영역에 가이드 이미지(Guide Image)를, 영상을 출력하는 디스플레이부에 출력하는 단계; 상기 제 2 터치 센서에 상기 제 2 사용자 터치가 인식된 경우, 상기 제 2 사용자 터치에 해당하는 사용자 명령을 분석하여, 상기 제 2 사용자 터치에 해당하는 사용자 명령을 실행하는 단계; 상기 디스플레이부에 출력된 영상을 이용하여, 화면 정보를 생성하는 단계;와 외부의 영상표시장치와 데이터 통신하는 통신부를 이용하여, 상기 생성된 화면 정보를 상기 영상표시장치에 전송하는 단계를 포함하는 사용자 인터페이스 제공 방법을 제공한다.
또한, 본 발명은 상기 제 1 사용자 터치와 제 2 사용자 터치는, 터치 압력에 의해 구분되는 실시예를 포함한다.
또한, 본 발명은 상기 제 1 사용자 터치와 제 2 사용자 터치는, 터치 시간과 터치 크기 중 적어도 하나에 의해 구분되는 실시예를 포함한다.
또한, 본 발명은 상기 제 1 터치 센서에 상기 제 1 사용자 터치가 인식된 경우, 상기 제 1 사용자 터치에 해당하는 사용자 명령을 분석하여, 상기 제 1 사용자 터치에 해당하는 사용자 명령을 실행하는 단계를 더 포함하는 실시예를 포함한다.
또한, 본 발명은 사용자로부터 음성을 입력받는 단계;와 상기 사용자 음성에 해당하는 사용자 명령을 분석하여, 상기 사용자 음성에 해당하는 사용자 명령을 실행하는 단계를 더 포함하는 실시예를 포함한다.
또한, 본 발명은 사용자로부터 사용자 제스처(Gesture)를 입력받는 단계;와 상기 사용자 제스처에 해당하는 사용자 명령을 분석하여, 상기 사용자 제스처에 해당하는 사용자 명령을 실행하는 단계를 더 포함하는 실시예를 포함한다.
또한, 본 발명은 상기 영상표시장치로부터 사용자 명령을 수신하는 단계;와 상기 영상표시장치로부터 전송받은 사용자 명령을 실행하는 단계를 더 포함하는 실시예를 포함한다.
또한, 본 발명은 이동 단말기의 위치 방향에 해당하는 화면 자세 방향을 측정하는 단계;와 상기 영상표시장치로부터 상기 영상표시장치의 위치 방향에 해당하는 화면 자세 방향 정보를 수신하는 단계를 더 포함하는 실시예를 포함한다.
또한, 본 발명은 상기 영상표시장치의 화면 자세 방향과 이동 단말기의 화면 자세 방향이 상이한 경우, 상기 화면 정보가 상기 영상표시장치의 화면에 맞도록 상기 화면 정보의 여백 처리를 수행하는 단계를 더 포함하는 실시예를 포함한다.
또한, 본 발명은 상기 화면 정보의 여백을 흑백 처리하여, 상기 여백 처리를 수행하는 실시예를 포함한다.
본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속함을 밝혀둔다.
상기 구성에 의하면, 이동 단말기를 이용하여 영상표시장치에 출력된 화면을 제어함에 있어서, 사용자는 영상표시장치에 시선을 고정한 상태로, 이동 단말기를 조작할 수 있어, 사용자의 편의성이 증대된다. 즉, 사용자가 이동 단말기와 영상표시장치에 시선을 번갈아 가며, 이동 단말기를 조작해야하는 불편함을 해소할 수 있다.
그리고, 영상표시장치에 출력된 화면을 제어할 수 있는 다양한 입력 수단을 제공하여, 사용자가 이동 단말기와 영상표시장치 사이에 공유된 화면을 손쉽게 제어할 수 있다.
또한, 사용자 명령에 해당하는 가이드 이미지를 화면에 표시함에 있어서, 사용자 명령의 입력 위치를 계산하기 위한 장치들간의 복잡한 프로토콜이 필요 없어, 사용자 인터페이스 구현의 복잡도를 크게 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스의 제공 환경을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 영상표시장치(100)의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 이동 단말기(200)의 내부 블록도이다.
도 4와 도5는 본 발명의 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스 제공 방법의 순서도이다.
도 6 내지 10은 본 발명의 제 1 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 11 내지 15는 본 발명의 제 2 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 16 내지 20은 본 발명의 제 3 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 21은 본 발명의 제 4 내지 6 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스 환경을 도시한 것이다.
도 22는 본 발명의 제 4 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 23은 본 발명의 제 5 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 24는 본 발명의 제 6 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 25은 본 발명의 제 7 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명한다. 이하 설명에서 동일한 구성 요소에는 설명의 편의상 동일 명칭 및 동일 부호를 부여한다.
본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 이동 단말기(Mobile Device)에는 휴대폰, 스마트 폰(Smart Phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등 사용자가 이동하면서 사용가능한 모든 단말기가 포함될 수 있다.
또한, 본 명세서에서 설명되는 영상표시장치(Image Display Device)에는 휴대폰, 스마트 폰, PDA, PMP, TV(Television), 노트북 컴퓨터(Laptop Computer), 디지털방송용 단말기, 내비게이션 등 화면을 출력가능한 모든 기기가 포함될 수 있다.
도 1은 본 발명의 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스의 제공 환경을 도시한 도면이다.
본 발명의 사용자 인터페이스 제공 환경에서, 이동 단말기(200)와 영상표시장치(100)는 유/무선으로 연결되어, 상호 데이터 통신하도록 구성된다. 즉, 이동 단말기(200)와 영상표시장치(100)는 유/무선으로 연결된 타 장치에, 데이터를 송/수신할 수 있다.
이동 단말기(200)와 영상표시장치(100)를 연결하는 방법에는, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등과 같은 다양한 기술들이 이용될 수 있으며, 본 명세서에서는 이동 단말기(200)와 영상표시장치(100)가 와이파이(Wi-Fi)로 연결된 경우를 일례로 설명하도록 한다.
그리고, 이동 단말기(200)와 영상표시장치(100)는 데이터 통신을 통해, 화면을 공유할 수 있다. 즉, 이동 단말기(200)와 영상표시장치(100)는, 상대 장치의 화면 정보를 전송받아 출력함으로써, 상대 장치의 화면을 동일하게 출력할 수 있다. 이로써, 사용자는 두 장치에서 동일한 화면을 제공받을 수 있게 된다.
이와 같이, 두 장치들 간에 화면을 공유하는 것을 미러링(Mirroring) 서비스라 명명할 수 있으며, 미러링 서비스는 화면 정보를 제공하는 Source 기기와, 제공받은 화면 정보를 출력하는 Sink 기기로 구성될 수 있다. 즉, 미러링 서비스는 Source 기기의 화면을 Sink 기기에서 보여주는 것이다.
Source 기기는 Source 기기의 화면 정보를 인코딩(Encoding)하여, Sink 기기에 전송한다. 그리고, Sink 기기는 전송된 화면 정보를 디코딩(Decoding)하여 출력하는 것이다. 이때, Source 기기는, Sink 기기가 지원 가능한 디코딩 방법으로, 화면 정보를 인코딩하여야 한다. 따라서, Source기기는 Sink 기기가 지원 가능한 디코딩 방법을, Sink 기기에 요청하여, 전송받을 수 있다.
또한, Source 기기는 Soucre 기기의 오디오 정보를 Sink 기기에 전송할 수 있다. Sink 기기는 전송된 오디어 정보를 스피커 등을 통해 출력하는 것이다. 이 경우, Source 기기는 화면 정보와 오디오 정보를 각각 따로 전송할 수 있으며, 두 정보를 멀티플랙싱(Multiplexing)하여 전송할 수 있다.
본 명세서에서는, Sink 기기로 이동 단말기(100)를 일례로 설명하며, Source 기기로 영상표시장치(200)를 일례로 설명하도록 한다. 이와 반대로, 영상표시장치(100)가 Sink 기기, 이동 단말기(200)가 Souce기기가 될 수 있음은 자명하다 할 것이다.
도면에서, 이동 단말기(200)와 영상표시장치(100)는 데이터 통신을 통해, 이동 단말기(200)의 화면인 애플리케이션 아이콘 화면을 이동 단말기(200)와 영상표시장치(100)에 동일하게 출력한다. 즉, 이동 단말기(200)는 와이파이(Wi-Fi) 통신을 통하여, 이동 단말기(200)의 화면 정보를 영상표시장치(100)에 전송하고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 출력하는 것이다.
본 발명은 이동 단말기(200)와 영상표시장치(100)의 화면이 공유된 경우에, 사용자가 공유된 화면을 효율적으로 제어할 수 있는 사용자 인터페이스를 제공하는 것을 목적으로 한다.
본 명세서에서, 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스 제공 방법을 설명하기에 앞서, 영상표시장치(100)와 이동 단말기(200)의 구성에 대하여 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 영상표시장치(100)의 내부 블록도이다.
도 2를 참고하면, 영상표시장치(100)는 영상/음성 처리부(101), 인터페이스부(150), 저장부(160), 디스플레이부(170), 음성출력부(175) 및 제어부(180)를 포함할 수 있다.
영상/음성 처리부(101)는 영상표시장치(100)의 디스플레이부(170) 및 음성출력부(175)로, 영상 또는 음성이 출력될 수 있도록 입력된 영상 신호 또는 음성 신호를 처리한다. 이를 위하여 영상/음성 처리부(101)는 신호입력부(110), 복조부(120), 신호처리부(140)를 포함할 수 있다. 또한, 신호입력부(110)는 튜너부(111), A/V 입력부(112), USB 입력부(113), 무선신호 입력부(114)를 포함할 수 있다.
튜너부(111)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음향 신호로 변환한다. 튜너부(111)에서 출력되는 아날로그 베이스 밴드 영상 또는 음향 신호(CVBS SIF)는 신호처리부(140)로 직접 입력될 수 있다.
복조부(120)는 튜너부(111)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 복조부(120)는 복조를 수행한 후 스트림 신호(TS)를 출력한다. 그리고, 복조부(120)에서 출력된 스트림 신호는 신호 처리부(140)로 입력될 수 있다.
신호 처리부(140)는 역다중화 및 신호 처리 등을 수행한 후, 디스플레이부(170)에 영상을 출력하고, 음성 출력부(175)로 음성을 출력한다.
또한, 신호입력부(110)는 외부 장치와 영상표시장치(100)를 연결할 수 있다. 신호입력부(110)는 DVD(Digital Versatile Disk), 블루레이(Blu-ray), 게임기기, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 연결되어 외부 입력 영상 신호, 외부 입력 음성 신호, 및 외부 입력 데이터 신호를 영상표시장치(100) 내의 신호처리부(140)로 전달한다. 또한, 영상표시장치(100) 내에서 처리된 영상 신호, 음성 신호, 및 데이터 신호를 다른 외부 장치로 출력할 수 있다.
신호입력부(110)의 A/V 입력부(112)는, 외부 장치의 영상 및 음성 신호를 영상표시장치(100)로 입력할 수 있도록, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다. CVBS 단자, 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 디지털 신호로 변환되어 신호 처리부(140)로 입력될 수 있다. 그 외의 다른 입력단자를 통해 입력되는 디지털 신호는 아날로그/디지털 변환 과정 없이 신호 처리부(140)로 입력될 수 있다.
USB 입력부(113)는, USB 단자를 통해 영상 및 음성 신호를 입력할 수 있다.
무선신호 입력부(114)는, 영상표시장치(100)를 무선 네트워크망에 연결할 수 있다. 영상표시장치(100)는 무선신호 입력부(114)를 통해 무선 인터넷 접속될 수 있다. 그리고, 무선신호 입력부(114)는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다.
또한, 신호입력부(110)는 영상표시장치(100)와 셋탑 박스를 연결할 수 있다. 예를 들어, 셋탑 박스가 IP(internet Protocol) TV용 셋탑 박스인 경우, 양방향 통신이 가능하도록, IP TV용 셋탑 박스의 영상, 음성 또는 데이터 신호를 신호 처리부로 전달할 수 있으며, 신호처리부(140)에서 처리된 신호들을 IP TV용 셋탑 박스로 전달할 수 있다. 한편, 전술한 IPTV는, 인터넷 접속이 가능한 인터넷 TV, 풀브라우징 TV를 포함하는 의미일 수도 있다.
신호처리부(140)는 수신되는 스트림 신호, 예를 들어 MPEG-2 TS를 역다중화하여, 각각 영상 신호, 음향 신호 및 데이터 신호로 분리할 수 있다. 또한, 신호처리부(140)는, 역다중화된 영상 신호의 영상 처리를 수행할 수 있다. 예를 들어, 역다중화된 영상 신호가 부호화된 영상 신호인 경우, 이를 복호화할 수 있다. 구체적으로, 역다중화된 영상 신호가 MPEG-2 규격의 부호화된 영상 신호인 경우, MPEG-2 디코더에 의해 복호화될 수 있다.
신호처리부(140)에서 영상 처리된 영상신호는 디스플레이부(170)를 통해 디스플레이 된다. 또한, 신호처리부(140)는 역다중화된 음성 신호의 음성 처리를 수행할 수 있다.
또한, 신호처리부(140)는 OSD(On Screen Display) 처리를 수행할 수 있다. 구체적으로 신호 처리부(140)는, 영상 처리된 영상 신호와, 데이터 처리된 데이터 신호 중 적어도 하나 및 이동 단말기(200)를 통하여 입력되는 입력 신호에 기초하여, 디스플레이부(170)의 화면상에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 출력할 수 있다.
저장부(160)는, 제어부(180) 내의 각 신호 처리 및 제어를 위한 애플리케이션이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 또는 데이터 신호를 저장할 수도 있다. 또한, 저장부(160)는 신호입력부(110)로 입력되는 영상, 음성 또는 데이터신호의 임시 저장을 위한 기능을 수행할 수도 있다.
저장부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상표시장치(100)는, 저장부(160) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수 있으며, 저장부(160) 내에 저장되어 있는 애플리케이션을 실행하여 사용자에게 제공할 수 있다.
제어부(180)는 영상표시장치(100) 내의 전술한 전반적인 동작을 제어한다.
제어부(180)는 인터페이스부(150)를 통하여, 이동 단말기(200)로부터 이동 단말기(200)의 화면 정보를 수신한다. 제어부(180)는 입력받은 이동 단말기(200)의 화면 정보를 신호 처리하도록 신호처리부(140)를 제어하고, 신호 처리된 영상을 디스플레이부(170)에 출력할 수 있다.
또한, 제어부(180)는, 사용자 입력부(155)를 통하여, 사용자로부터 화면 제어를 위한 사용자 명령을 입력받는다. 제어부(180)는 입력된 사용자 명령에 따른 데이터를, 인터페이스부(150)를 통하여, 이동 단말기(200)에 전송할 수 있다.
도 3은 본 발명의 실시예에 따른 이동 단말기(200)의 내부 블록도이다.
도 3를 참고하면, 이동 단말기(200)는 무선 통신부(210), A/V(Audio/Video) 입력부(220), 센서부(240), 출력부(250), 메모리(260), 인터페이스부(270), 제어부(280) 및 전원 공급부(190) 등을 포함할 수 있다.
다만, 도 3에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기(200)가 구현될 수도 있다. 이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(210)는 이동 단말기(200)와 무선 통신 시스템 사이 또는 이동 단말기(200)와 이동 단말기(200)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(210)는 방송 수신 모듈(211), 이동통신 모듈(212), 무선 인터넷 모듈(213), 근거리 통신 모듈(214) 및 위치 정보 모듈(215) 등을 포함할 수 있다.
방송 수신 모듈(211)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다. 방송 수신 모듈(211)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(260)에 저장될 수 있다.
이동통신 모듈(212)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(213)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(200)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(214)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, NFC 등이 이용될 수 있다.
위치 정보 모듈(215)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
도 3을 참조하면, A/V(Audio/Video) 입력부(220)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(221)와 마이크(222) 등이 포함될 수 있다. 카메라(221)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(251)에 표시될 수 있다.
카메라(221)에서 처리된 화상 프레임은 메모리(260)에 저장되거나 무선 통신부(210)를 통하여 외부로 전송될 수 있다. 카메라(221)는 사용 환경에 따라 2개 이상이 구비될 수도 있다. 마이크(222)는 통화 모드 또는 녹음 모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(212)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(222)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
센서부(240)는 이동 단말기(200)의 개폐 상태, 이동 단말기(200)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(200)의 현 상태를 감지하여 이동 단말기(200)의 동작을 제어하기 위한 센서 신호를 발생시킨다. 센서부(240)는 근접 센서, 중력 센서, 자이로(Gyro) 센서 등으로 구성될 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(251), 음향 출력 모듈(252), 알람부(253), 및 햅틱 모듈(254) 등이 포함될 수 있다.
디스플레이부(251)는 이동 단말기(200)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(200)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. 또한, 외부의 영상표시장치(100)에서 전송받은 화면 정보를 출력할 수 있다.
디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(251)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(251)의 특정 부위에 가해진 압력 또는 디스플레이부(251)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 터치 신호를 제어부(280)로 전송한다. 이로써, 제어부(280)는 디스플레이부(251)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 되며, 제어부(280)는 터치 신호에 따라, 사용자의 명령을 분석하여, 사용자의 명령에 따라 이동 단말기(200)를 제어하게 된다.
그리고, 터치 센서는 사용자의 다양한 터치를 인식할 수 있도록 구성될 수 있다. 일례로, 터치 센서는 터치 압력을 기준으로 구분된 사용자의 터치를 입력받을 수 있다.
터치 센서의 구현 예에 따라, 터치 센서는 약한 압력의 터치와 강한 압력의 터치를 구분하여 인식할 수 있는 하나의 터치 센서로 구성될 수 있으며, 또는 약한 압력의 터치를 인식할 수 있는 제 1 터치 센서와 강한 압력의 터치를 인식할 수 있는 제 2 터치 센서로 구성될 수 있다.
제어부(280)는 제 1 터치 센서 또는 제 2 터치 센서에 인식되는 터치에 따라, 사용자의 명령을 구분할 수 있다. 일례로, 제어부(280)는 제 1 터치 센서에 인식된 터치에 해당하는 사용자 명령을 제 1 사용자 명령으로, 제 2 터치 센서에 인식된 터치에 해당하는 사용자 명령을 제 2 사용자 명령으로 구분할 수 있으며, 제어부(280)는 해당 사용자의 명령에 따라 이동 단말기(200)를 제어하게 된다.
음향 출력 모듈(252)은 호신호 모드, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(210)로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(252)은 이동 단말기(200)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(252)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(253)는 이동 단말기(200)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기(200)에서 발생 되는 이벤트의 예로는 호신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(253)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(251)나 음성 출력 모듈(252)을 통해서도 출력될 수 있어서, 그들(251,252)은 알람부(253)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(254)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(254)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅틱 모듈(254)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
메모리(260)는 제어부(280)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북,메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(260)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
인터페이스부(270)는 외부 기기 통신부(271)와 사용자 입력부(272)로 포함하여 구성되며, 이동 단말기(200)와 연결되는 모든 외부 기기 또는 사용자와의 통로 역할을 한다.
외부 기기 통신부(271)는 이동 단말기(200)에 연결되는 모든 외부 기기로부터 데이터를 전송받거나, 이동 단말기(200) 내부의 데이터가 외부 기기로 전송되도록 한다.
그리고, 사용자 입력부(272)는 사용자가 이동 단말기(200)의 동작 제어를 위한 입력 데이터를 발생시킬 수 있다. 사용자 입력부(272)는 키 패드(key pad), 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 또한, 사용자 입력부(272)는 전술한 터치 패드(정압/정전)로 구성될 수 있다.
제어부(280)는 통상적으로 이동 단말기(200)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화, 외부 영상표시장치(100)와의 통신 등을 위한 관련된 제어 및 처리를 수행한다.
전원 공급부(290)는 제어부(280)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(180) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰인 소프트웨어 애플리케이션의 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(260)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
이후에서는, 전술한 영상표시장치(100)와 이동 단말기(200)를 이용한 사용자 인터페이스 제공 방법에 대하여 설명하도록 한다.
도 4와 도 5는 본 발명의 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스 제공 방법의 순서도이다.
우선, 도 4를 참고하면, 이동 단말기(200)는 사용자 터치가 입력되었는지 판단한다.(S101) 이동 단말기(200)의 제어부(280)는, 터치 센서에 사용자 터치가 입력되었는지 판단하는 것이다.
터치 센서에 사용자 터치가 입력되지 않은 경우, 제어부(280)는 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성한다.(S106) 그리고, 제어부(280)는 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다.(S107)
터치 센서에 사용자 터치가 입력된 경우, 제어부(280)는 터치 센서에 제 1 사용자 터치가 입력되었는지 판단한다.(S102) 즉, 제어부(280)는 터치 센서에 입력된 사용자 터치가 제 1 사용자 터치에 해당하는지 판단하는 것이다.
전술한 바와 같이, 터치 센서는, 입력된 사용자 터치를 제 1 사용자 터치와 제 2 사용자 터치로 구분하여 인식할 수 있다. 터치 센서는 제 1 사용자 터치를 인식하는 제 1 터치 센서와 제 2 사용자 터치를 인식하는 제 2 터치 센서로 구성된다.
본 발명은, 다양한 기준으로, 사용자 터치를 제 1 사용자 터치와 제 2 사용자 터치로 구분할 수 있다. 즉, 터치 센서는 다양한 기준으로, 사용자 터치를 제 1 사용자 터치와 제 2 사용자 터치를 구분하여 인식할 수 있다.
일례로, 터치 센서는 작은 영역의 터치를 제 1 사용자 터치로, 넒은 영역의 터치를 제 2 사용자 터치로 구분하여 인식할 수 있다. 그리고, 터치 센서는 짧은 시간 동안의 터치를 제 1 사용자 터치로, 긴 시간 동안의 터치를 제 2 사용자 터치로 구분하여 인식할 수 있다. 또한, 터치 센서는 약한 압력의 터치를 제 1 사용자 터치로, 강한 압력의 터치를 제 2 사용자 터치로 구분하여 인식할 수 있다. 또한, 터치 센서는 특정 제스쳐(Gesture)로 입력된 터치를 제 1 사용자 터치로, 그 이후에 입력을 제 2 사용자 터치로 구분하여 인식할 수 있다.
이때, 제어부(280)는 제 1 사용자 터치를 제 1 사용자 명령으로, 제 2 사용자 터치를 제 2 사용자 명령으로 구분하여, 해당 사용자 명령에 따라 이동 단말기(200)를 제어하게 된다.
본 명세서에서는, 제 1 사용자 터치는 약한 압력의 사용자 터치로, 제 2 사용자 터치는 강한 압력의 사용자 터치로 하여 설명하도록 한다.
따라서, 제어부(280)는 제 1 터치 센서를 이용하여, 제 1 사용자 터치가 입력되었는지 판단한다. 즉, 제어부(280)는 제 1 터치 센서를 이용하여, 약한 압력의 사용자 터치인 제 1 사용자 터치가 입력되었는지 판단하는 것이다.
터치 센서에 제 1 사용자 터치가 입력된 경우, 제어부(280)는 출력부(250)를 제어하여, 제 1 사용자 터치가 입력된 화면 영역에 가이드 이미지(Guide Image, 300)를 출력한다.(S103)
가이드 이미지(300)는, 제 1 사용자 터치가 인식된 화면 영역을 지시하는 이미지로, 포인터, 아이콘 등으로 출력될 수 있다. 본 명세서에서는 제어부(280)가 가이드 이미지(300)로 포인터 모양의 이미지를 출력하는 것을 일례로 설명하도록 한다.
따라서, 사용자가 화면의 특정 영역에 제 1 사용자 터치를 입력하면, 제어부(280)는 제 1 사용자 터치가 입력된 해당 화면 영역에 가이드 이미지(300)를 출력하는 것이다.
터치 센서에 제 1 사용자 터치가 입력되지 않은 경우, 제어부(280)는 터치 센서에 제 2 사용자 터치가 입력되었는지 판단한다.(S104) 즉, 제어부(280)는 제 2 터치 센서를 이용하여, 강한 압력의 사용자 터치인 제 2 사용자 터치가 입력되었는지 판단하는 것이다.
터치 센서에 제 2 사용자 터치가 입력된 경우, 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령을 수행한다.(S105) 즉, 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령을 분석하여, 사용자 명령에 따라 이동 단말기(200)를 제어한다.
마지막으로, 제어부(280)는 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성한다.(S106) 그리고, 제어부(280)는 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다.(S107)
도 5는 본 발명의 또 다른 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스 제공 방법의 순서도이다.
우선, 제어부(280)는, 이동 단말기(200)가 영상표시장치(100)와 데이터 통신하도록 연결되어, 이동 단말기(200)의 화면을 영상표시장치(100)에 전송하는 미러링 서비스를 제공중인지 판단한다.(S201)
미러링 서비스를 제공 중인 경우, 제어부(280)는 이동 단말기(200)에서 실행중인 기능에 해당하는 음성 명령어 세트를 설정한다. (S202) 일례로, 이동 단말기(200)에 동영상 내비게이션이 실행되고 있으면, 제어부(280)는 동영상 내비게이션 기능에 해당하는 "뒤감기", "앞으로 감기", "재생", "정지" 등의 음성 명령어 세트를 미리 설정할 수 있다. 또한, 이동 단말기(200)에 인터넷 브라우저가 실행되고 있으면, 제어부(280)는 인터넷 브라우저의 기능에 해당하는 "선택", "클릭", "뒤로 가기" 등의 음성 명령어 세트를 미리 설정할 수 있다. 이는, 제어부(280)가 미리 설정된 음성 명령만을 인식하여, 빠른 기능 수행을 하기 위함이다.
제어부(280)는 설정된 음성 명령이 입력되었는지 판단한다.(S203) 제어부(280)는 설정된 음성 명령을 인식하기 위하여, 음성 인식 모드로 진입할 수 있다. 그리고, 제어부(280)는 음성 대기 모드에 진입했다는 것을 사용자에게 알리기 위해, 음성 대기 모드에 해당하는 화면을 출력부(250)를 통하여 출력할 수 있다.
음성 명령이 입력된 경우, 제어부(280)는 입력된 음성 명령에 대한 기능을 수행한다.(S204) 제어부(280)는 입력된 음성 명령에 해당하는 사용자 명령을 분석하여, 해당 사용자 명령을 수행하는 것이다.
음성 명령이 입력되지 않은 경우, 제어부(280) 도 4에서 전술한 사용자 인터페이스 제공 방법을 수행한다.(S101~S107) 즉, 제어부(280)는, 사용자가 화면의 특정 영역에 제 1 사용자 터치를 입력하면, 제 1 사용자 터치가 입력된 해당 화면 영역에 가이드 이미지(300)를 출력한다. 그리고, 제어부(280)는, 사용자가 터치 센서에 제 2 사용자 터치를 입력하면, 제 2 사용자 터치에 해당하는 사용자 명령을 수행하는 것이다.
전술한 사용자 인터페이스 제공 방법은, 다양한 실시예로 구현될 수 있다. 이하에서는, 본 발명의 다양한 실시예에 따른 사용자 인터페이스에 대하여 설명하도록 한다.
도 6 내지 10은 본 발명의 제 1 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 6은 본 발명의 제 1 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스 환경을 도시한 것이다.
이동 단말기(200)는 데이터 통신을 통하여, 이동 단말기(200)의 화면 정보를 영상표시장치(100)에 전송한다. 그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 사용자에게 출력한다.
즉, 영상표시장치(100)는 이동 단말기(200)의 화면 정보를 전송받아 출력함으로써, 이동 단말기(200)의 화면을 동일하게 출력할 수 있다. 이에 따라, 사용자는 이동 단말기(200)의 화면을, 이동 단말기(200)와 영상표시장치(100) 모두에서 제공받게 된다.
도 6에서는, 이동 단말기(200)의 화면인 애플리케이션 아이콘 화면이 영상표시장치(100)에 전송되어, 영상표시장치(100)에 동일하게 출력된다.
도 7은 사용자가 이동 단말기(200)에 제 1 사용자 터치를 입력한 경우를 도시한 도면이며, 도 8은 이동 단말기(200)에 제 1 사용자 터치를 입력된 경우에 영상표시장치(100)의 화면을 도시한 도면이다.
도 7에서, 사용자는 이동 단말기(200)의 오른쪽 하단의 일 영역에 제 1 사용자 터치를 입력한다. 그리고, 사용자는 제 1 사용자 터치를 "Web" 애플리케이션 아이콘이 표시된 영역까지 드래그(Drag)하고 있다. 즉, 사용자는 이동 단말기(200)의 오른쪽 하단의 일 영역에 약한 압력의 터치를 입력한 후, "Web" 애플리케이션 아이콘이 표시된 영역까지 드래그하고 있는 것이다.
이때, 이동 단말기(200)의 제어부(280)는 출력부(250)를 제어하여, 제 1 사용자 터치가 입력된 화면 영역에 가이드 이미지(300)를 출력한다.
전술한 바와 같이, 가이드 이미지(300)는, 제 1 사용자 터치가 인식된 화면 영역을 지시하는 이미지로, 본 도면에서는 제어부(280)가 가이드 이미지(300)로 포인터를 출력하는 것을 일례로 설명하고 있다. 따라서, 사용자가 화면의 일 영역에 제 1 사용자 터치를 입력하면, 제어부(280)는 제 1 사용자 터치가 입력된 해당 화면 영역에 포인터(300)를 출력한다.
도 7과 같이, 사용자가 이동 단말기(200)의 오른쪽 하단의 일 영역에 제 1 사용자 터치를 입력하고, 제 1 사용자 터치를 "Web" 애플리케이션 아이콘이 표시된 영역까지 드래그(Drag)하는 경우에, 제어부(280)는 제 1 사용자 터치가 입력된 영역을 따라 가이드 이미지(300)를 출력한다.
그리고, 제어부(280)는 이동 단말기(200)의 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성하고, 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다. 여기서, 전송된 이동 단말기(200)의 화면 정보는, 제 1 사용자 터치에 따른 가이드 이미지(300)에 추가된 화면 정보이다.
그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이부(170)에 출력한다.
도 8은 영상표시장치(100)에 전송된 이동 단말기(200)의 화면 정보가 출력된 도면으로, 제 1 사용자 터치에 따른 가이드 이미지(300)가 추가된 것을 볼 수 있다. 즉, 가이드 이미지(300)인 포인터는, 제 1 사용자 터치가 입력된 영역인 화면의 오른쪽 하단의 일 영역에서 "Web" 애플리케이션 아이콘이 표시된 영역까지 이동하며 출력된다.
도 9는 사용자가 이동 단말기(200)에 제 2 사용자 터치를 입력한 경우를 도시한 도면이며, 도 10은 이동 단말기(200)에 제 2 사용자 터치를 입력된 경우에 영상표시장치(100)의 화면을 도시한 도면이다.
도 9에서, 사용자는 이동 단말기(200)의 "Web" 애플리케이션 아이콘이 표시된 영역에 제 2 사용자 터치를 입력한다. 즉, 사용자는 "Web" 애플리케이션 아이콘이 표시된 영역에 강한 압력의 터치를 입력하고 있다.
이때, 이동 단말기(200)의 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령을 수행한다. 즉, 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령을 분석하여, 사용자 명령에 따라 이동 단말기(200)를 제어한다.
따라서, 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령을 "Web" 애플리케이션의 실행으로 분석하고, 이에 따라, "Web" 애플리케이션을 실행한다.
그리고, 제어부(280)는 이동 단말기(200)의 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성하고, 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다. 전송된 이동 단말기(200)의 화면 정보는 "Web" 애플리케이션이 실행된 화면 정보이다.
그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이부(170)에 출력한다.
도 10은 영상표시장치(100)에 전송된 이동 단말기(200)의 화면 정보가 출력된 도면으로, "Web" 애플리케이션이 실행된 것을 볼 수 있다. 즉, 제 2 사용자 터치에 따라 실행된 "Web" 애플리케이션의 화면이 출력된다.
이에 따라, 이동 단말기(200)를 이용하여 영상표시장치(100)에 출력된 화면을 제어함에 있어서, 사용자는 영상표시장치(100)에 시선을 고정한 상태로, 이동 단말기(200)를 조작할 수 있어, 사용자의 편의성이 증대된다. 즉, 사용자가 이동 단말기(200)와 영상표시장치(100)에 시선을 번갈아 가며, 이동 단말기(200)를 조작해야하는 불편함을 해소할 수 있다.
또한, 사용자 명령에 해당하는 가이드 이미지(300)를 화면에 표시함에 있어서, 사용자 명령의 입력 위치를 계산하기 위한 장치들간의 복잡한 프로토콜이 필요 없어, 사용자 인터페이스 구현의 복잡도를 크게 줄일 수 있다.
도 11 내지 15는 본 발명의 제 2 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 11은 본 발명의 제 2 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스 환경을 도시한 것이다.
이동 단말기(200)는 데이터 통신을 통하여, 이동 단말기(200)의 화면 정보를 영상표시장치(100)에 전송한다. 그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 사용자에게 출력한다.
즉, 영상표시장치(100)는 이동 단말기(200)의 화면 정보를 전송받아 출력함으로써, 이동 단말기(200)의 화면을 동일하게 출력할 수 있다. 이에 따라, 사용자는 이동 단말기(200)의 화면을, 이동 단말기(200)와 영상표시장치(100) 모두에서 제공받게 된다.
도 11에서, 이동 단말기(200)의 화면인 동영상 화면이 영상표시장치(100)에 전송되어, 영상표시장치(100)에도 동일하게 출력된다.
도 12는 사용자가 이동 단말기(200)에 제 1 사용자 터치를 입력한 경우를 도시한 도면이며, 도 13은 이동 단말기(200)에 제 1 사용자 터치를 입력된 경우에 영상표시장치(100)의 화면을 도시한 도면이다.
도 12에서, 사용자는 이동 단말기(200)의 오른쪽 하단의 일 영역에 제 1 사용자 터치를 입력한다. 그리고, 사용자는 제 1 사용자 터치를 "되감기" 메뉴 영역까지 드래그(Drag)하고 있다. 즉, 사용자는 이동 단말기(200)의 오른쪽 하단의 일 영역에 약한 압력의 터치를 입력한 후, "되감기" 메뉴 영역까지 드래그하고 있는 것이다.
이동 단말기(200)에 제 1 사용자 터치가 입력된 경우, 이동 단말기(200)의 제어부(280)는 제 1 사용자 터치에 해당하는 사용자 명령을 수행한다. 즉, 제어부(280)는 제 1 사용자 터치에 해당하는 사용자 명령을 분석하여, 사용자 명령에 따라 이동 단말기(200)를 제어할 수 있다.
도면과 같이, 이동 단말기(200)에 동영상이 실행되고 있는 경우, 이동 단말기(200)에 제 1 사용자 터치가 입력되면, 제어부(280)는 제 1 사용자 터치를 동영상의 내비게이션(Navigation)을 실행하라는 사용자 명령으로 인식할 수 있다. 제어부(280)는 제 1 사용자 터치에 해당하는 사용자 명령을 실행하는 것으로, 제어부(280)는 출력부(250)를 제어하여, 동영상 내비게이션 화면을 출력할 수 있다.
그리고, 제어부(280)는 출력부(250)를 제어하여, 제 1 사용자 터치가 입력된 화면 영역에 가이드 이미지(300)를 출력한다. 도면과 같이, 사용자가 화면의 일 영역에 제 1 사용자 터치를 입력하면, 제어부(280)는 제 1 사용자 터치가 입력된 해당 화면 영역에 포인터(300)를 출력하는 것이다.
도 12와 같이, 사용자가 이동 단말기(200)의 오른쪽 하단의 일 영역에 제 1 사용자 터치를 입력하고, 제 1 사용자 터치를 "되감기" 메뉴 영역까지 드래그(Drag)하는 경우에, 제어부(280)는 제 1 사용자 터치가 입력된 영역을 따라 가이드 이미지(300)를 출력한다.
그리고, 제어부(280)는 이동 단말기(200)의 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성하고, 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다.
일례로, 이동 단말기(200)와 영상표시장치(100)가 와이파이(Wi-Fi) 로 연결된 경우, 제어부(280)는 와이파이 데이터 통신을 통해, 이동 단말기(200)의 화면 정보를 영상표시장치(100)에 전송한다. 그리고, 제어부(280)는 이동 단말기(200)의 화면 정보를 인코딩(Encoding)하여, 영상표시장치(100)에 전송한다. 영상표시장치(100)는 전송된 화면 정보를 디코딩(Decoding)하여 출력하는 것이다.
여기서, 전송된 이동 단말기(200)의 화면 정보는, 제 1 사용자 터치에 해당하는 사용자 명령이 실행되고, 제 1 사용자 터치에 따른 가이드 이미지(300)에 추가된 화면 정보이다.
그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이부(170)에 출력한다.
도 13은 영상표시장치(100)에 전송된 이동 단말기(200)의 화면 정보가 출력된 도면으로, 동영상 내비게이션 화면이 출력되고, 제 1 사용자 터치에 따른 가이드 이미지(300)가 추가된 것을 볼 수 있다. 가이드 이미지(300)인 포인터는, 제 1 사용자 터치가 입력된 영역인 화면의 오른쪽 하단의 일 영역에서 "되감기" 메뉴 영역까지 이동하며 출력된다.
도 14는 사용자가 이동 단말기(200)에 제 2 사용자 터치를 입력한 경우를 도시한 도면이며, 도 15는 이동 단말기(200)에 제 2 사용자 터치를 입력된 경우에 영상표시장치(100)의 화면을 도시한 도면이다.
도 14에서, 사용자는 이동 단말기(200)의 "되감기" 메뉴 영역에 제 2 사용자 터치를 입력한다. 즉, 사용자는 "되감기" 메뉴 영역에 강한 압력의 터치를 입력하고 있다.
이때, 이동 단말기(200)의 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령을 수행한다. 즉, 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령을 분석하여, 사용자 명령에 따라 이동 단말기(200)를 제어한다.
따라서, 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령에 따라, "되감기" 메뉴를 실행한다. 그리고, 제어부(280)는 이동 단말기(200)의 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성하고, 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다. 전송된 화면 정보는 동영상의 "되감기" 메뉴가 실행된 화면 정보이다.
그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이부(170)에 출력한다.
도 15는 영상표시장치(100)에 전송된 이동 단말기(200)의 화면 정보가 출력된 도면으로, "되감기" 메뉴가 실행된 것을 볼 수 있다. 즉, 제 2 사용자 터치에 따라 실행된 "되감기" 메뉴가 실행된 화면이 출력된다.
도 16 내지 20는 본 발명의 제 3 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 16은 본 발명의 제 3 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스 환경을 도시한 것이다.
이동 단말기(200)는 데이터 통신을 통하여, 이동 단말기(200)의 화면 정보를 영상표시장치(100)에 전송한다. 그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 사용자에게 출력한다.
즉, 영상표시장치(100)는 이동 단말기(200)의 화면 정보를 전송받아 출력함으로써, 이동 단말기(200)의 화면을 동일하게 출력할 수 있다. 이에 따라, 사용자는 이동 단말기(200)의 화면을, 이동 단말기(200)와 영상표시장치(100) 모두에서 제공받게 된다.
도 16에서, 이동 단말기(200)의 화면에는 동영상이 실행중에 문자 메시지 화면이 출력되고 있다. 이 이동 단말기(200)의 화면이 영상표시장치(100)에 전송되어, 영상표시장치(100)에도 동일하게 출력된다.
관련하여, 도 16에서는 이동 단말기(200)의 화면과 영상표시장치(100)의 화면이 동일하게 출력되지만, 상황에 따라 다른 화면을 출력할 수 있다. 이동 단말기(200)는 영상표시장치(100)에 화면 정보를 전송하고 있는지 즉, 미러링 서비스를 제공하는지 확인하고, 미러링 서비스를 제공하고 있다면, 이동 단말기(200)는 연결된 영상표시장치(100)에 맞도록 이동 단말기(200)의 화면 정보를 변환하여, 전송할 수 있다.
일례로, 도 16와 같이, 동영상 실행 중에 문자 메시지가 도착한 경우, 이동 단말기(200)는 이동 단말기(200)의 화면에 문자 메시지 내용을 모두 출력할 수 있으나, 영상표시장치(100)에는 도면과 같이, 메시지 확인 화면을 전송할 수 있다.
도 17은 사용자가 이동 단말기(200)에 제 1 사용자 터치를 입력한 경우를 도시한 도면이며, 도 18은 이동 단말기(200)에 제 1 사용자 터치를 입력된 경우에 영상표시장치(100)의 화면을 도시한 도면이다.
도 17에서, 사용자는 이동 단말기(200)의 오른쪽 하단의 일 영역에 제 1 사용자 터치를 입력한다. 그리고, 사용자는 제 1 사용자 터치를 "YES" 메뉴 영역까지 드래그(Drag)하고 있다. 즉, 사용자는 이동 단말기(200)의 오른쪽 하단의 일 영역에 약한 압력의 터치를 입력한 후, "YES" 메뉴 영역까지 드래그하고 있는 것이다.
이 경우, 이동 단말기(200)의 제어부(280)는 출력부(250)를 제어하여, 제 1 사용자 터치가 입력된 화면 영역에 가이드 이미지(300)를 출력한다. 도면과 같이, 사용자가 화면의 일 영역에 제 1 사용자 터치를 입력하면, 제어부(280)는 제 1 사용자 터치가 입력된 해당 화면 영역에 포인터(300)를 출력하는 것이다.
도 17과 같이, 사용자가 이동 단말기(200)의 오른쪽 하단의 일 영역에 제 1 사용자 터치를 입력하고, 제 1 사용자 터치를 "YES" 메뉴 영역까지 드래그(Drag)하는 경우에, 제어부(280)는 제 1 사용자 터치가 입력된 영역을 따라 가이드 이미지(300)를 출력한다.
그리고, 제어부(280)는 이동 단말기(200)의 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성하고, 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다. 여기서, 전송된 이동 단말기(200)의 화면 정보는 제 1 사용자 터치에 따른 가이드 이미지(300)에 추가된 화면 정보이다.
그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이부(170)에 출력한다.
도 18은 영상표시장치(100)에 전송된 이동 단말기(200)의 화면 정보가 출력된 도면으로, 제 1 사용자 터치에 따른 가이드 이미지(300)가 추가된 것을 볼 수 있다. 즉, 가이드 이미지(300)인 포인터는, 제 1 사용자 터치가 입력된 영역인 화면의 오른쪽 하단의 일 영역에서 "YES" 메뉴 영역까지 이동하며 출력된다.
도 19는 사용자가 이동 단말기(200)에 제 2 사용자 터치를 입력한 경우를 도시한 도면이며, 도 20은 이동 단말기(200)에 제 2 사용자 터치를 입력된 경우에 영상표시장치(100)의 화면을 도시한 도면이다.
도 19에서, 사용자는 이동 단말기(200)의 "YES" 메뉴 영역에 제 2 사용자 터치를 입력한다. 즉, 사용자는 "YES" 메뉴 영역에 강한 압력의 터치를 입력하고 있다.
이때, 이동 단말기(200)의 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령을 수행한다. 즉, 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령을 분석하여, 사용자 명령에 따라 이동 단말기(200)를 제어한다.
따라서, 제어부(280)는 제 2 사용자 터치에 해당하는 사용자 명령에 따라, "YES" 메뉴를 실행한다. 그리고, 제어부(280)는 이동 단말기(200)의 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성하고, 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다. 전송된 화면 정보는 동영상의 "YES" 메뉴가 실행된 화면 정보로, 문자 메시지가 출력된 화면이다.
그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이부(170)에 출력한다.
도 20은 영상표시장치(100)에 전송된 이동 단말기(200)의 화면 정보가 출력된 도면으로, "YES" 메뉴가 실행된 것을 볼 수 있다. 즉, 제 2 사용자 터치에 따라 실행된 "YES" 메뉴가 실행된 화면 정보로, 문자 메시지가 출력된다.
전술한 본 발명의 제 1 내지 3 실시예에서, 영상표시장치(100)에 출력되는 이동 단말기(200)의 화면 정보를 제어하기 위하여, 사용자 터치가 이용되었다. 즉, 사용자는 이동 단말기(200)에 터치를 입력하여, 이동 단말기(200)와 영상표시장치(100)에 출력되는 화면을 제어하였다.
본 발명은, 사용자 터치 이외에 다양한 입력 수단을 이용하여, 영상표시장치(100)에 출력되는 이동 단말기(200)의 화면 정보를 제어할 수 있는 사용자 인터페이스를 제공할 수 있다. 이하에서는, 이에 대하여 설명하도록 한다.
도 21은 본 발명의 제 4 내지 6 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스 환경을 도시한 것이다.
이동 단말기(200)는 데이터 통신을 통하여, 이동 단말기(200)의 화면 정보를 영상표시장치(100)에 전송한다. 그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 사용자에게 출력한다.
즉, 영상표시장치(100)는 이동 단말기(200)의 화면 정보를 전송받아 출력함으로써, 이동 단말기(200)의 화면을 동일하게 출력할 수 있다. 이에 따라, 사용자는 이동 단말기(200)의 화면을, 이동 단말기(200)와 영상표시장치(100) 모두에서 제공받게 된다.
도 21에서, 이동 단말기(200)의 화면인 동영상 화면이 영상표시장치(100)에 전송되어, 영상표시장치(100)에도 동일하게 출력된다.
도 22는 본 발명의 제 4 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도면에서, 사용자는 "메뉴"라는 음성을 이동 단말기(200)의 사용자 입력부(272)에 입력한다.
이동 단말기(200)에 사용자 음성이 입력된 경우, 이동 단말기(200)의 제어부(280)는 사용자 음성에 해당하는 사용자 명령을 수행한다. 즉, 제어부(280)는 입력된 사용자 음성에 해당하는 사용자 명령을 분석하여, 사용자 명령에 따라 이동 단말기(200)를 제어하게 된다.
도면과 같이, 이동 단말기(200)에 "메뉴"라는 사용자 음성이 입력되면, 제어부(280)는 "메뉴"의 사용자 음성을 동영상의 내비게이션(Navigation)을 실행하라는 사용자 명령으로 인식할 수 있다. 제어부(280)는 사용자 음성에 해당하는 사용자 명령을 실행하는 것으로, 제어부(280)는 출력부(250)를 제어하여, 동영상의 내비게이션 화면을 출력할 수 있다.
그리고, 제어부(280)는 사용자 음성에 해당하는 사용자 명령을 실행한 경우, 음성 인식 모드로 진입하여, 다음 사용자 음성을 인식하도록 대기할 수 있다. 일례로, 도면과 같이, "메뉴"라는 사용자 음성에 따라 동영상 내비게이션이 실행된 경우, 내비게이션을 제어하기 위한 사용자 음성을 인식하기 위하여, 음성 인식 모드로 진입할 수 있다. 이는, 사용자가 음성으로 이동 단말기(200)를 계속 제어할 수 있게 하기 위함이다. 그리고, 제어부(280)는 음성 대기 모드에 진입했다는 것을 사용자에게 알리기 위해, 음성 대기 모드에 해당하는 화면을 출력부(250)를 통하여 출력할 수 있다.
그리고, 제어부(280)는 음성 대기 모드로 진입한 후에, 음성 인식이 가능한 음성 명령어 세트를 미리 설정할 수 있다. 일례로, 동영상 내비게이션이 실행되면, 제어부(280)는 내비게이션 기능에 해당하는 "뒤감기", "앞으로 감기", "재생", "정지" 등의 음성 명령어 세트를 미리 설정할 수 있다. 또한, 인터넷 브라우저가 실행되면, 제어부(280)는 인터넷 브라우저의 기능에 해당하는 "선택", "클릭", "뒤로 가기" 등의 음성 명령어 세트르를 미리 설정할 수 있다. 이는, 제어부(280)가 미리 설정된 음성 명령만을 인식하도록 하기 위함이다.
그리고, 제어부(280)는 이동 단말기(200)의 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성하고, 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다. 여기서, 전송된 이동 단말기(200)의 화면 정보는 사용자의 음성 명령에 따라 실행된 동영상의 내비게이션이 추가된 화면 정보이다. 그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이부(170)에 출력한다.
도 23은 본 발명의 제 5 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도면에서, 사용자는 기 설정된 제스처(Gesture)를 이동 단말기(200)의 사용자 입력부(272)에 입력한다. 도면에서는 사용자가 터치를 이용하여 제스처를 입력하는 것을 도시하고 있으나, 사용자는 카메라(221)를 통하여, 모션을 이용하여 제스처를 입력할 수 있다.
이동 단말기(200)에 사용자 제스처가 입력된 경우, 이동 단말기(200)의 제어부(280)는 사용자 제스처에 해당하는 사용자 명령을 수행한다. 즉, 제어부(280)는 입력된 사용자 제스처에 해당하는 사용자 명령을 분석하여, 사용자 명령에 따라 이동 단말기(200)를 제어하게 된다.
도면과 같이, 이동 단말기(200)에 "M" 형태의 제스처가 입력되면, 제어부(280)는 "M" 형태의 제스처를 동영상의 내비게이션(Navigation)을 실행하라는 사용자 명령으로 인식할 수 있다. 제어부(280)는 사용자 제스처에 해당하는 사용자 명령을 실행하는 것으로, 제어부(280)는 출력부(250)를 제어하여, 동영상의 내비게이션 화면을 출력할 수 있다.
그리고, 제어부(280)는 이동 단말기(200)의 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성하고, 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다. 여기서, 전송된 이동 단말기(200)의 화면 정보는 사용자의 제스처 명령에 따라 실행된 동영상의 내비게이션이 추가된 화면 정보이다. 그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이부(170)에 출력한다.
도 24는 본 발명의 제 6 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도면에서, 사용자는 기 설정된 제스처(Gesture)를 사용자 입력부(155)를 통하여, 영상표시장치(100)에 입력한다.
영상표시장치(100)에 사용자 제스처가 입력된 경우, 영상표시장치(100)의 제어부(180)는 입력된 사용자 제스처에 해당하는 사용자 명령을 분석하여, 사용자 명령 데이터를 생성한다. 그리고, 제어부(180)는 생성된 사용자 명령 데이터를, 인터페이스부(150)를 통하여, 이동 단말기(200)에 전송한다.
이동 단말기(200)의 제어부(280)는 전송된 사용자 명령 데이터에 따라, 이동 단말기(200)를 제어하게 된다.
도면과 같이, 영상표시장치(100)에 한 손을 올리는 제스처가 입력되면, 영상표시장치(100)의 제어부(180)는 해당 제스처를 동영상의 내비게이션(Navigation)을 실행하라는 사용자 명령으로 인식할 수 있다. 제어부(180)는 사용자 제스처에 해당하는 사용자 명령 데이터를 생성하여, 이동 단말기(200)에 전송하게 된다.
이동 단말기(200)의 제어부(280)는 전송된 사용자 데이터 명령에 따라, 출력부(250)를 제어하여, 동영상의 내비게이션 화면을 출력할 수 있다.
그리고, 제어부(280)는 이동 단말기(200)의 현재 화면을 캡쳐(Capture)하여 이동 단말기(200)의 화면 정보를 생성하고, 외부기기 통신부(271)를 통하여, 생성된 화면 정보를 영상표시장치(100)에 전송한다. 여기서, 전송된 이동 단말기(200)의 화면 정보는 사용자의 제스처 명령에 따라 실행된 동영상의 내비게이션이 추가된 화면 정보이다. 그리고, 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이부(170)에 출력한다.
전술한 사용자 인터페이스에 따르면, 본 발명은 영상표시장치(100)에 출력된 화면을 제어할 수 있는 다양한 입력 수단을 제공할 수 있다. 따라서, 사용자가 이동 단말기(200)와 영상표시장치(100) 사이에 공유된 화면을 손쉽게 제어할 수 있다.
도 25는 본 발명의 제 7 실시예에 따른 이동 단말기(200)와 영상표시장치(100)를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
전술한 바와 같이, 이동 단말기(200)와 영상표시장치(100)는 사용자에게 동일한 화면을 출력한다. 따라서, 사용자에게 보이는 이동 단말기(200)의 화면과 영상표시장치(100)의 화면은 동일해야 한다.
그러나, 사용자는 영상표시장치(100)의 화면을 고정된 방향으로 시청하는 반면에, 이동 단말기(200)의 화면은 사용 형태에 따라 유동적인 방향으로 시청하게 된다.
도면에서 보는 바와 같이, 사용자가 영상표시장치(100)의 화면을 가로 방향으로 시청하는 반면에. 이동 단말기(200)의 화면은 가로 방향 또는 세로 방향으로 시청할 수 있다.
즉, 이동 단말기(200)가 가로로 위치하고 있는 경우, 사용자는 이동 단말기(200)의 화면을 가로 방향으로 보게 되며, 이동 단말기(200)가 세로로 위치하고 있는 경우, 사용자는 이동 단말기(200)의 화면을 세로 방향으로 보게 된다.
따라서, 사용자에게 이동 단말기(200)의 화면과 영상표시장치(100)의 화면을 동일하게 제공하기 위하여, 본 발명은 다음과 같은 사용자 인터페이스를 제공한다.
도 (a)는, 이동 단말기(200)가 세로로 위치하는 경우를 도시한 것으로, 이동 단말기(200)의 제어부(280)는 화면 정보를 여백 처리를 하여 영상표시장치(100)에 전송하게 된다.
도면과 같이, 이동 단말기(200)의 제어부(280)는 세로 방향의 화면이 가로 방향의 영상표시장치(100)의 화면에 맞도록, 화면 정보의 좌우 여백을 흑백 처리를 하여 영상표시장치(100)에 전송할 수 있다.
영상표시장치(100)는 여백 처리되어 전송된 이동 단말기(200)의 화면 정보를 디스플레이(170)에 출력하는 것이다.
도 (b)는, 이동 단말기(200)가 가로로 위치하는 경우를 도시한 것으로, 이동 단말기(200)의 제어부(280)는 화면 정보를 그대로 영상표시장치(100)에 전송하게 된다. 이동 단말기(200)의 화면 자세 방향과 영상표시장치(100)의 화면 자세 방향이 동일하기 때문이다. 영상표시장치(100)는 전송된 이동 단말기(200)의 화면 정보를 디스플레이(170)에 출력하는 것이다.
이와 반대로, 영상표시장치(100)가 세로로 위치하고 있는 경우에는, 이동 단말기(200)의 화면 자세 방향이 가로인 경우에 이동 단말기(200)의 제어부(280)는 화면 정보의 위아래 여백을 흑백 처리를 하여 영상표시장치(100)에 전송할 수 있다.
관련하여, 본 발명은 여백 처리를 흑백 처리 이외에 다양한 방법으로 수행할 수 있다. 일례로, 이동 단말기(200)의 제어부(280)는 이동 단말기(200)의 화면 정보를 자동으로 가로 또는 세로로 변환하여 여백 처리할 수 있다. 제어부(280)는 이동 단말기(200)의 화면 정보를, 영상표시장치(100)의 화면 자세 방향으로, 자동으로 변환시켜, 여백을 없앨 수 있다.
그리고, 제어부(280)는 이동 단말기(200)의 숨은 화면을 여백에 출력하여, 여백 처리할 수 있다. 즉, 제어부(280)는 바탕 화면의 위젯, 시계, 메시지 등으로, 실행되고 있으나 출력되지 않은 기능들의 화면을 여백에 출력할 수 있다.
즉, 이동 단말기(200)의 제어부(280)는 영상표시장치(100)와 이동 단말기(200)의 화면 자세 방향을 비교 판단하여, 화면 정보를 여백 처리할지 결정할 수 있다.
이동 단말기(200)의 제어부(280)는 자이로 센서 등을 이용하여, 이동 단말기(200)의 화면 자세 방향을 측정할 수 있다. 영상표시장치(100)의 제어부(180) 또한, 자이로 센서 등을 이용하여, 영상표시장치(100)의 화면 자세 방향을 측정할 수 있다. 그리고, 이동 단말기(200)와 영상표시장치(100)는 상호 데이터 통신으로 통해, 이동 단말기(200)와 영상표시장치(100)의 화면 자세 방향 정보를 상호 공유할 수 있다.
이때, 이동 단말기(200)의 제어부(280)는 이동 단말기(200)의 화면 자세 방향과 영상표시장치(100)의 화면 자세 방향이 상이하면, 이동 단말기(200)의 화면 정보를 여백 처리하여, 영상표시장치(100)에 전송하게 되는 것이다.
상기에서 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.

Claims (20)

  1. 영상표시장치 및 외부 장치를 포함하는 시스템의 데이터 공유 방법에 있어서,
    무선 네트워크를 통해 상기 영상표시장치를 상기 외부 장치와 연결하는 단계;
    상기 외부 장치에 의해, 상기 외부 장치에 디스플레이된 현재 화면을 캡쳐 하는 단계;
    상기 외부 장치에 의해, 상기 캡쳐된 현재 화면에 기초하여 제1 화면 정보를 생성하는 단계-상기외부 장치가 세로 방향인 경우, 상기 생성된 제1 화면 정보는 상기 캡쳐된 현재 화면, 좌우 여백을 포함하는 것을 특징으로 함-;
    상기 외부 장치에 의해, 상기 생성된 제1 화면 정보를 인코딩 하는 단계;
    상기 외부 장치에 의해, 인코딩된 제1 화면 정보를 상기 무선 네트워크를 통해 상기 영상표시장치로 전송하는 단계;
    상기 영상표시장치에 의해, 상기 인코딩된 제1 화면 정보를 디코딩 하는 단계;
    상기 영상표시장치에 의해, 상기 디코딩된 제1 화면 정보에 기초하여 제1 미러링 이미지를 출력하는 단계-상기 제1미러링 이미지는 상기 외부 장치에 디스플레이된 현재 화면에 대응하고, 상기 제1 미러링 이미지는 상기 좌우 여백을 포함하는 것을 특징으로 함-;
    상기 외부 장치에 의해, 상기 캡쳐된 현재 화면에 기초하여 제2 화면 정보를 생성하는 단계-상기외부 장치가 가로 방향인 경우, 상기 생성된 제2 화면 정보는 상기 캡쳐된 현재 화면을 포함하되 좌우 여백을 포함하지 않는 것을 특징으로 함-;
    상기 외부 장치에 의해, 상기 생성된 제2 화면 정보를 인코딩 하는 단계;
    상기 외부 장치에 의해, 상기 인코딩된 제2 화면 정보를 상기 무선 네트워크를 통해 상기 영상표시장치로 전송하는 단계;
    상기 영상표시장치에 의해, 상기 인코딩된 제2 화면 정보를 디코딩 하는 단계; 그리고
    상기 영상표시장치에 의해, 상기 디코딩된 제2 화면 정보에 기초하여 제2 미러링 이미지를 출력하는 단계-상기 제2미러링 이미지는 상기 외부 장치에 디스플레이된 현재 화면에 대응하고, 상기 제2 미러링 이미지는 상기 좌우 여백을 포함하지 않는 것을 특징으로 함-;
    를 포함하는 시스템의 데이터 공유 방법.
  2. 제 1 항에 있어서,
    상기 외부 장치에 의해, 상기 좌우 여백을 블랙으로 처리하여 상기 세로 방향의 외부 장치의 현재 화면과 상기 영상표시장치의 화면이 부합하도록 설정되는 것을 특징으로 하는 시스템의 데이터 공유 방법.
  3. 제 1 항에 있어서,
    상기 외부 장치의 화면 자세 방향은 자이로스콥 센서에 의해 결정되는 것을 특징으로 하는 시스템의 데이터 공유방법.
  4. 제 1 항에 있어서,
    상기 외부 장치에 의해, 상기 캡쳐된 현재 화면에 기초하여 제3 화면 정보를 생성하는 단계-상기 외부 장치가 가로 방향이고 상기 영상표시장치가 세로 방향인 경우, 상기 생성된 제3 화면 정보는 상기 캡쳐된 현재 화면 및 여백 정보를 포함하는 것을 특징으로 함-;
    상기 외부 장치에 의해, 상기 생성된 제3 화면 정보를 인코딩 하는 단계;
    상기 외부 장치에 의해, 인코딩된 제3 화면 정보를 상기 무선 네트워크를 통해 상기 영상표시장치로 전송하는 단계;
    상기 영상표시장치에 의해, 상기 인코딩된 제3 화면 정보를 디코딩 하는 단계; 그리고
    상기 영상표시장치에 의해, 상기 디코딩된 제3 화면 정보에 기초하여 제3 미러링 이미지를 출력하는 단계-상기 제3 미러링 이미지는 상기 외부 장치에 디스플레이된 현재 화면에 대응하고, 상기 제3 미러링 이미지는 상하 여백을 포함하는 것을 특징으로 함-;
    를 포함하는 시스템의 데이터 공유방법.
  5. 영상표시장치와 데이터를 공유하는 이동 단말기에 있어서,
    센서;
    상기 영상표시장치와 연결하는 무선 네트워크 인터페이스;
    디스플레이; 그리고
    상기 센서, 상기 무선 네트워크 인터페이스 및 상기 디스플레이를 제어하는 컨트롤러를 포함하되,
    상기 컨트롤러는,
    상기 영상표시장치로부터 상기 영상표시장치의 화면 자세 방향을 수신하도록 상기 무선 네트워크 인터페이스를 제어하고,
    상기 이동 단말기의 화면 자세 방향을 센싱하도록 상기 센서를 제어하고,
    상기 디스플레이 상의 현재 화면을 캡쳐하고,
    상기 캡쳐된 현재 화면, 상기 영상표시장치의 화면 자세 방향 및 상기 이동 단말기의 화면 자세 방향에 기초하여 제1 화면 정보를 생성하되, 상기 영상표시장치의 화면 자세 방향과 상기 이동 단말기의 화면 자세 방향이 다른 경우, 상기 생성된 제1 화면 정보는 상기 캡쳐된 현재 화면 및 좌우 여백을 포함하고,
    상기 생성된 제1 화면 정보를 인코딩 하고,
    상기 인코딩된 제1 화면 정보가 상기 영상표시장치에 전송되도록 상기 무선 네트워크 인터페이스를 제어하고,
    상기 캡쳐된 현재 화면, 상기 영상표시장치의 화면 자세 방향 및 상기 이동 단말기의 화면 자세 방향에 기초하여 제2 화면 정보를 생성하되, 상기 영상표시장치의 화면 자세 방향과 상기 이동 단말기의 화면 자세 방향이 같은 경우, 상기 생성된 제2 화면 정보는 상기 좌우 여백 없이 상기 캡쳐된 현재 화면을 포함하고,
    상기 생성된 제2 화면 정보를 인코딩 하고, 그리고
    상기 인코딩된 제2 화면 정보가 상기 영상표시장치에 전송되도록 상기 무선 네트워크 인터페이스를 제어하는 것을 특징으로 하는 이동 단말기.
  6. 제 5 항에 있어서,
    상기 컨트롤러는,
    상기 좌우 여백을 블랙으로 처리하여 상기 이동 단말기의 현재 화면과 상기 영상표시장치의 화면이 부합하도록 설정되는 것을 특징으로 하는 이동 단말기.
  7. 제 5 항에 있어서,
    상기 이동 단말기의 화면 자세 방향은 자이로스콥 센서에 의해 결정되는 것을 특징으로 하는 이동 단말기.
  8. 제 5 항에 있어서,
    상기 이동 단말기는,
    휴대폰, 스마트폰, PDA (personal digital assistant) 또는 PMP (portable multimedia player) 중 어느하나에 대응하는 것을 특징으로 하는 이동 단말기.
  9. 이동 단말기와 데이터를 공유하는 영상표시장치에 있어서,
    상기 이동 단말기와 연결하는 무선 네트워크 인터페이스;
    디스플레이; 그리고
    상기 무선 네트워크 인터페이스 및 상기 디스플레이를 제어하는 컨트롤러를 포함하되,
    상기 컨트롤러는,
    상기 이동 단말기로부터 제1 화면 정보를 수신하도록 상기 무선 네트워크 인터페이스를 제어하되, 상기 이동 단말기가 세로 방향인 경우, 상기 제1 화면 정보는 좌우 여백을 포함하고,
    상기 제1 화면 정보에 기초하여 제1 미러링 이미지를 출력하도록 상기 디스플레이를 제어하되, 상기 제1 미러링 이미지는 상기 이동 단말기에 디스플레이된 현재 화면에 대응하고, 상기 제1 미러링 이미지는 좌우 여백을 포함하고,
    상기 이동 단말기로부터 제2 화면 정보를 수신하도록 상기 무선 네트워크 인터페이스를 제어하되, 상기 이동 단말기가 가로 방향인 경우, 상기 제2 화면 정보는 좌우 여백을 포함하지 않고,
    상기 제2 화면 정보에 기초하여 제2 미러링 이미지를 출력하도록 상기 디스플레이를 제어하되, 상기 제2 미러링 이미지는 상기 이동 단말기에 디스플레이된 현재 화면에 대응하고, 상기 제2 미러링 이미지는 좌우 여백을 포함하지 않는 것을 특징으로 하는 영상표시장치.
  10. 제 9 항에 있어서,
    상기 컨트롤러는,
    상기 이동 단말기로부터 제3 화면 정보를 수신하도록 상기 무선 네트워크 인터페이스를 제어하되, 상기 이동 단말기가 가로 방향이고 상기 영상표시장치가 세로 방향인 경우, 상기 제3 화면 정보는 여백 정보를 포함하고,
    상기 제3 화면 정보에 기초하여 제3 미러링 이미지를 출력하도록 상기 디스플레이를 제어하되, 상기 제3 미러링 이미지는 상기 이동 단말기에 디스플레이된 현재 화면에 대응하고, 상기 제3 미러링 이미지는 상하 여백을 포함하는 것을 특징으로 하는 영상표시장치.
  11. 제 9 항에 있어서,
    상기 영상표시장치는,
    TV 수신기, 랩탑 컴퓨터, 디지털 방송 단말기, 네비게이션, 휴대폰, 스마트폰, PDA (personal digital assistant) 또는 PMP (Portable Multimedia Player) 중 어느 하나에 대응하는 것을 특징으로 하는 영상표시장치.
  12. 제 9 항에 있어서,
    상기 무선 네트워크 인터페이스는,
    와이파이 (Wi-Fi), 블루투스 또는 지그비에 따라 동작하는 것을 특징으로 하는 영상표시장치.
  13. 영상표시장치와 데이터를 공유하는 이동 단말기에 있어서,
    센서;
    상기 영상표시장치와 연결하는 무선 네트워크 인터페이스;
    디스플레이; 그리고
    상기 센서, 상기 무선 네트워크 인터페이스 및 상기 디스플레이를 제어하는 컨트롤러를 포함하되,
    상기 컨트롤러는,
    상기 무선 네트워크 인터페이스를 제어하여, 상기 영상표시장치의 화면 자세 방향을 수신하고,
    상기 센서를 제어하여, 상기 이동 단말기의 화면 자세 방향을 판단하고,
    상기 무선 네트워크 인터페이스를 통해 수신된 상기 영상표시장치의 화면 자세 방향과 상기 센서에 의해 판단된 상기 이동 단말기의 화면 자세 방향을 비교하고, 그리고
    상기 무선 네트워크 인터페이스를 제어하여, 화면 정보를 상기 영상표시장치에 전송하되, 상기 화면 정보는 상기 비교 결과에 따라 달라지는 것을 특징으로 하는 이동 단말기.
  14. 제 13 항에 있어서,
    상기 이동 단말기는,
    휴대폰, 스마트폰, PDA (personal digital assistant) 또는 PMP (potrable multimedia player) 중 어느 하나에 대응하는 것을 특징으로 하는 이동 단말기.
  15. 제 13 항에 있어서,
    상기 무선 네트워크 인터페이스는,
    와이파이(Wi-Fi), 블루투스 또는 지그비에 따라 동작하는 것을 특징으로 하는 이동 단말기.
  16. 제 13 항에 있어서,
    상기 영상표시장치는,
    TV 수신기, 랩탑 컴퓨터, 디지털 방송 단말기, 네비게이션, 휴대폰, 스마트폰, PDA (personal digital assistant) 또는 PMP (portable multimedia player) 중 어느 하나에 대응하는 것을 특징으로 하는 이동 단말기.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020120073677A 2012-07-06 2012-07-06 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법 KR101890626B1 (ko)

Priority Applications (14)

Application Number Priority Date Filing Date Title
KR1020120073677A KR101890626B1 (ko) 2012-07-06 2012-07-06 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법
US13/895,800 US9632648B2 (en) 2012-07-06 2013-05-16 Mobile terminal, image display device and user interface provision method using the same
CN201810337103.5A CN108762702B (zh) 2012-07-06 2013-06-03 移动终端、图像显示装置及使用其的用户接口提供方法
CN201310217541.5A CN103530032B (zh) 2012-07-06 2013-06-03 移动终端、图像显示装置及使用其的用户接口提供方法
EP20185410.6A EP3754483A1 (en) 2012-07-06 2013-06-06 Mobile terminal, image display device and user interface provision method using the same
EP13170811.7A EP2682859A3 (en) 2012-07-06 2013-06-06 Mobile terminal, image display device and user interface provision method using the same
US15/463,914 US9927942B2 (en) 2012-07-06 2017-03-20 Mobile terminal, image display device and user interface provision method using the same
US15/896,924 US10282050B2 (en) 2012-07-06 2018-02-14 Mobile terminal, image display device and user interface provision method using the same
US16/358,132 US10579201B2 (en) 2012-07-06 2019-03-19 Mobile terminal, image display device and user interface provision method using the same
US16/777,231 US10891012B2 (en) 2012-07-06 2020-01-30 Mobile terminal, image display device and user interface provision method using the same
US17/014,596 US11237689B2 (en) 2012-07-06 2020-09-08 Mobile terminal, image display device and user interface provision method using the same
US17/156,155 US11360633B2 (en) 2012-07-06 2021-01-22 Mobile terminal, image display device and user interface provision method using the same
US17/744,302 US11868580B2 (en) 2012-07-06 2022-05-13 Mobile terminal, image display device and user interface provision method using the same
US18/516,383 US20240086023A1 (en) 2012-07-06 2023-11-21 Mobile terminal, image display device and user interface provision method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120073677A KR101890626B1 (ko) 2012-07-06 2012-07-06 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법

Publications (2)

Publication Number Publication Date
KR20140006523A KR20140006523A (ko) 2014-01-16
KR101890626B1 true KR101890626B1 (ko) 2018-09-28

Family

ID=50141429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120073677A KR101890626B1 (ko) 2012-07-06 2012-07-06 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법

Country Status (1)

Country Link
KR (1) KR101890626B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341882B2 (en) 2019-05-28 2022-05-24 Samsung Electronics Co., Ltd. Electronic device, method, and computer readable medium for providing screen sharing service through external electronic device
US11429339B2 (en) 2019-10-21 2022-08-30 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374584B1 (ko) 2014-03-21 2022-03-16 삼성전자주식회사 영상을 디스플레이 하는 방법 및 디바이스
WO2015142135A1 (ko) * 2014-03-21 2015-09-24 삼성전자 주식회사 영상을 디스플레이 하는 방법 및 디바이스
KR102330475B1 (ko) * 2015-02-23 2021-11-24 엘지전자 주식회사 단말기 및 그의 동작 방법
KR102450840B1 (ko) * 2015-11-19 2022-10-05 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR102482549B1 (ko) * 2016-01-11 2022-12-28 엘지전자 주식회사 영상표시장치
KR102469754B1 (ko) * 2018-02-13 2022-11-22 삼성전자주식회사 전자 장치 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100064260A1 (en) 2007-02-05 2010-03-11 Brother Kogyo Kabushiki Kaisha Image Display Device
US20100162127A1 (en) 2008-12-22 2010-06-24 Kabushiki Kaisha Toshiba Information processing system and display control method
US20110199389A1 (en) 2008-12-19 2011-08-18 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US20120307141A1 (en) 2011-06-06 2012-12-06 Apple Inc. Frame retiming for mirror mode

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100064260A1 (en) 2007-02-05 2010-03-11 Brother Kogyo Kabushiki Kaisha Image Display Device
US20110199389A1 (en) 2008-12-19 2011-08-18 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US20100162127A1 (en) 2008-12-22 2010-06-24 Kabushiki Kaisha Toshiba Information processing system and display control method
US20120307141A1 (en) 2011-06-06 2012-12-06 Apple Inc. Frame retiming for mirror mode

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341882B2 (en) 2019-05-28 2022-05-24 Samsung Electronics Co., Ltd. Electronic device, method, and computer readable medium for providing screen sharing service through external electronic device
US11429339B2 (en) 2019-10-21 2022-08-30 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
KR20140006523A (ko) 2014-01-16

Similar Documents

Publication Publication Date Title
US11868580B2 (en) Mobile terminal, image display device and user interface provision method using the same
KR101890626B1 (ko) 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법
KR101770206B1 (ko) 이동 단말기 및 이를 이용한 사용자 인터페이스 제공 방법
US10057317B2 (en) Sink device and method for controlling the same
US10536742B2 (en) Display apparatus and display method
KR102393510B1 (ko) 디스플레이 디바이스 및 그 제어 방법
US20120262494A1 (en) Image display device and method of managing content using the same
KR102404356B1 (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
KR102434103B1 (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
EP3024220A2 (en) Display apparatus and display method
KR20160031724A (ko) 스크린 미러링 방법 및 이를 위한 디바이스
KR20150069760A (ko) 디스플레이 디바이스 및 그 제어 방법
EP3038374A1 (en) Display device and display method
KR20170006760A (ko) 멀티미디어 디바이스
KR20160088652A (ko) 멀티미디어 디바이스 및 그 제어 방법
KR20140137771A (ko) 방송수신장치, 및 그 동작방법
KR20160018112A (ko) 멀티미디어 디바이스 및 이의 제어 방법
KR20160021539A (ko) 영상제공장치, 및 이를 포함하는 영상 제공 시스템
KR20140134871A (ko) 방송수신장치, 및 그 동작방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant