KR20150098960A - Method for controlling wearable device and apparatus thereof - Google Patents

Method for controlling wearable device and apparatus thereof Download PDF

Info

Publication number
KR20150098960A
KR20150098960A KR1020140020375A KR20140020375A KR20150098960A KR 20150098960 A KR20150098960 A KR 20150098960A KR 1020140020375 A KR1020140020375 A KR 1020140020375A KR 20140020375 A KR20140020375 A KR 20140020375A KR 20150098960 A KR20150098960 A KR 20150098960A
Authority
KR
South Korea
Prior art keywords
wearable device
information
control
terminal
screen information
Prior art date
Application number
KR1020140020375A
Other languages
Korean (ko)
Other versions
KR102125100B1 (en
Inventor
정재윤
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020140020375A priority Critical patent/KR102125100B1/en
Publication of KR20150098960A publication Critical patent/KR20150098960A/en
Application granted granted Critical
Publication of KR102125100B1 publication Critical patent/KR102125100B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt

Abstract

Disclosed is a method for controlling a wearable device. The method includes the steps of: defining a control region for controlling a wearable device; receiving screen information of the wearable device from the wearable device; displaying the screen information on the control region; detecting user input about the control region; and transmitting control information, including a coordinate value of the user input, to the wearable device.

Description

웨어러블 디바이스의 제어 방법 및 그 장치{METHOD FOR CONTROLLING WEARABLE DEVICE AND APPARATUS THEREOF}TECHNICAL FIELD [0001] The present invention relates to a method for controlling wearable devices,

본 명세서에 기재된 다양한 실시예들은, 웨어러블(wearable) 디바이스의 제어 방법 및 그 장치에 관한 것이다. 보다 상세하게는, 웨어러블 디바이스와 구분되는 별도의 단말을 이용하여 웨어러블 디바이스를 제어하는 방법 및 그 장치에 관한 것이다.The various embodiments described herein relate to a method and apparatus for controlling a wearable device. And more particularly, to a method and apparatus for controlling a wearable device by using a separate terminal different from the wearable device.

최근 이동단말의 소형화가 가속화되면서 웨어러블 컴퓨터와 관련된 기술이 발전하고 있고, 안경과 시계에 컴퓨팅 능력을 탑재한 스마트 안경과 스마트 시계가 상용화되었다. 웨어러블 컴퓨터는, 휴대하기 편리하다는 장점이 있지만, 크기가 작기 때문에 제어하기 불편하다는 단점이 있다. 이러한 환경에서, 웨어러블 디바이스를 제어할 수 있는 기술이 요구된다.In recent years, miniaturization of mobile terminals has been accelerated, technologies related to wearable computers have been developed, and smart glasses and smart watches equipped with computing capabilities in glasses and watches have been commercialized. A wearable computer has an advantage that it is convenient to carry, but it is disadvantageous in that it is inconvenient to control because of its small size. In such an environment, a technique for controlling the wearable device is required.

선행문헌으로는 공개특허공보 제2013-0086566호가 있다. 선행문헌은 원격 제어 시스템 및 제어 단말에 관한 것이다.A prior art document is Laid-open Patent Publication No. 2013-0086566. Prior art documents relate to remote control systems and control terminals.

선행문헌의 원격 제어 시스템은, 휴대용 단말, 디스플레이 디바이스 및 제어 단말을 포함한다. 휴대용 단말은 제1 터치 패널을 구비하는 제1 디스플레이 컴포넌트를 갖는다. 제어 단말은 휴대용 단말과 무선 통신한다. 제어 단말은 사용자 터치 조작을 검출하는 제2 터치 패널, 및 제2 터치 패널 상에서의 사용자 터치 조작의 터치된 위치를 나타내는 좌표 정보를 휴대용 단말에 무선 송신하는 무선 전송 컴포넌트를 갖는다.The remote control system of the prior art includes a portable terminal, a display device and a control terminal. The portable terminal has a first display component having a first touch panel. The control terminal wirelessly communicates with the portable terminal. The control terminal has a second touch panel for detecting a user touch operation, and a wireless transmission component for wirelessly transmitting coordinate information indicating a touched position of a user touch operation on the second touch panel to the portable terminal.

휴대용 단말은 좌표 정보에 기초하여 제2 터치 패널 상에서의 사용자 터치 조작의 터치된 위치에 대응하는 제1 터치 패널 상의 위치에 연관된 동작을 실행하는 동작 실행 컴포넌트, 및 동작의 실행 스크린의 이미지를 전송 케이블을 통해 디스플레이 디바이스에 송신하는 제1 비디오 전송 컴포넌트를 더 갖는다.The portable terminal performs an operation associated with the position on the first touch panel corresponding to the touched position of the user touch operation on the second touch panel based on the coordinate information, To the display device via the first video transmission component.

선행문헌 제어 단말은 터치 패널 기반으로 디스플레이 디바이스를 제어하기 때문에, 이동단말로 웨어러블 디바이스를 제어하기 위한 기술은 제시하지 못하고 있다. 따라서, 스마트 단말의 자원을 이용하여 웨어러블 디바이스의 특징에 맞게 웨어러블 디바이스를 제어할 수 있는 기술이 요구된다.Since the preceding document control terminal controls the display device based on the touch panel, the technology for controlling the wearable device with the mobile terminal is not presented. Accordingly, there is a need for a technique capable of controlling the wearable device in accordance with the characteristics of the wearable device by using the resources of the smart terminal.

본 명세서에 기재된 다양한 실시예들에 따르면, 단말을 이용하여 웨어러블 디바이스를 제어할 수 있는 방법 및 그 장치가 제공된다.According to various embodiments described herein, a method and apparatus for controlling a wearable device using a terminal are provided.

또한, 단말이 웨어러블 디바이스의 화면 정보에 기초하여 웨어러블 디바이스를 제어할 수 있는 방법 및 그 장치가 제공된다.There is also provided a method and apparatus for enabling a terminal to control a wearable device based on screen information of the wearable device.

또한, 단말에 웨어러블 디바이스의 화면 정보를 미리 정해진 비율로 스케일링할 수 있는 방법 및 그 장치가 제공된다.There is also provided a method and apparatus for scaling screen information of a wearable device to a terminal at a predetermined ratio.

또한, 단말이 웨어러블 디바이스의 포인터를 제어할 수 있는 방법 및 그 장치가 제공된다.A method and apparatus for enabling a terminal to control a pointer of a wearable device are also provided.

일 측에 따르면, 웨어러블 디바이스의 제어 방법은, 웨어러블 디바이스를 제어하기 위한 제어 영역을 정의하는 단계; 상기 웨어러블 디바이스로부터 상기 웨어러블 디바이스의 화면 정보를 수신하는 단계; 상기 제어 영역에 상기 화면 정보를 디스플레이하는 단계; 상기 제어 영역에 대한 사용자 입력을 검출하는 단계; 및 상기 사용자 입력의 좌표 값을 포함하는 제어 정보를 상기 웨어러블 디바이스로 전송하는 단계를 포함한다.According to one aspect, a method of controlling a wearable device includes: defining a control area for controlling the wearable device; Receiving screen information of the wearable device from the wearable device; Displaying the screen information in the control area; Detecting a user input to the control region; And transmitting control information including coordinate values of the user input to the wearable device.

상기 제어 영역은 상기 웨어러블 디바이스의 상기 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것일 수 있다.The control area may be scaled the screen information of the wearable device at a predetermined ratio.

상기 화면 정보는, 상기 단말과 상기 웨어러블 디바이스간의 통신환경에 따라, 이미지 정보 또는 텍스트 정보 중 적어도 하나를 포함할 수 있다.The screen information may include at least one of image information and text information according to a communication environment between the terminal and the wearable device.

다른 일 측에 따르면, 웨어러블 디바이스의 제어 방법은, 상기 제어 정보를 이용하여 상기 사용자 입력에 대응하는 동작을 수행한 상기 웨어러블 디바이스로부터 업데이트된 화면 정보를 수신하는 단계; 및 상기 업데이트된 화면 정보에 기초하여 상기 제어 영역을 업데이트하는 단계를 더 포함할 수 있다.According to another aspect, a method of controlling a wearable device includes receiving updated screen information from the wearable device that has performed an operation corresponding to the user input using the control information; And updating the control area based on the updated screen information.

상기 업데이트된 화면 정보는, 상기 좌표 값을 이용하여 수행한 상기 웨어러블 디바이스의 상기 동작에 의해 변경된 부분에 대한 정보를 포함할 수 있다.The updated screen information may include information on a portion changed by the operation of the wearable device performed using the coordinate value.

상기 제어 정보는, 상기 제어 영역에서 상기 사용자 입력이 검출된 둘 이상의 좌표 값일 수 있고, 상기 웨어러블 디바이스는 상기 제어 정보를 드래그(drag), 플립(flip) 및 스와이프(swipe) 중 어느 하나로 해석할 수 있다.The control information may be two or more coordinate values in which the user input is detected in the control area, and the wearable device interprets the control information as any one of a drag, a flip, and a swipe .

상기 제어 정보는, 상기 제어 영역에서 상기 사용자 입력이 검출된 하나 이상의 좌표 값 및 상기 사용자 입력의 터치 타입 정보를 포함할 수 있다.The control information may include at least one coordinate value in which the user input is detected in the control region and touch type information of the user input.

상기 터치 타입 정보는 터치(touch), 터치앤홀드(touch&hold), 드래그(drag), 플립(flip), 및 스와이프(swipe) 중 어느 하나를 포함할 수 있다.The touch type information may include any one of a touch, a touch and hold, a drag, a flip, and a swipe.

다른 일 측에 따르면, 웨어러블 디바이스의 제어 방법은, 상기 웨어러블 디바이스와 상기 웨어러블 디바이스를 제어하기 위한 연결을 형성하는 단계를 더 포함할 수 있고, 상기 연결은 근거리 통신, 블루투스 또는 와이파이를 이용하여 형성된 것일 수 있다.According to another aspect of the present invention, a control method of a wearable device may further include forming a connection for controlling the wearable device and the wearable device, and the connection may be formed using local communication, Bluetooth or Wi-Fi .

상기 제어 정보는, 상기 웨어러블 디바이스의 상기 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함할 수 있다.The control information may include an execution command for one or more objects included in the screen information of the wearable device.

상기 제어 정보는, 상기 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함할 수 있다.The control information may include a move command for a pointer of the wearable device.

일 측면에 있어서, 웨어러블 디바이스의 동작 방법은, 상기 웨어러블 디바이스의 화면 정보를 단말로 전송하는 단계; 상기 화면 정보에 기초하여 상기 단말에 디스플레이된 제어 영역에 대한 사용자 입력의 좌표 값을 포함하는 제어 정보를 상기 단말로부터 수신하는 단계; 및 상기 제어 정보에 대응하는 동작을 수행하는 단계를 포함한다.In one aspect, a method of operating a wearable device includes: transmitting screen information of the wearable device to a terminal; Receiving, from the terminal, control information including a coordinate value of a user input for a control area displayed on the terminal based on the screen information; And performing an operation corresponding to the control information.

상기 제어 영역은 상기 웨어러블 디바이스의 상기 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것일 수 있다.The control area may be scaled the screen information of the wearable device at a predetermined ratio.

다른 일 측면에 있어서, 웨어러블 디바이스의 동작 방법은, 상기 제어 정보에 대응하는 상기 동작에 따라 업데이트된 화면 정보를 상기 단말로 전송하는 단계를 더 포함할 수 있다.In another aspect, the method of operating the wearable device may further include transmitting updated screen information to the terminal according to the operation corresponding to the control information.

상기 제어 정보는, 상기 웨어러블 디바이스의 상기 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함할 수 있다.The control information may include an execution command for one or more objects included in the screen information of the wearable device.

상기 제어 정보는, 상기 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함할 수 있다.The control information may include a move command for a pointer of the wearable device.

일 측면에 있어서, 단말은, 웨어러블 디바이스를 제어하기 위한 제어 영역을 정의하는 제어 영역 정의부; 상기 웨어러블 디바이스로부터 상기 웨어러블 디바이스의 화면 정보를 수신하는 수신부; 상기 제어 영역에 상기 화면 정보를 디스플레이하는 디스플레이 처리부; 상기 제어 영역에 대한 사용자 입력을 검출하는 입력 검출부; 및 상기 사용자 입력의 좌표 값을 포함하는 제어 정보를 상기 웨어러블 디바이스로 전송하는 전송부를 포함한다.In one aspect, a terminal includes a control area defining unit that defines a control area for controlling the wearable device; A receiving unit for receiving screen information of the wearable device from the wearable device; A display processor for displaying the screen information in the control area; An input detector for detecting a user input to the control area; And a transmitter for transmitting control information including coordinate values of the user input to the wearable device.

상기 제어 영역은 상기 웨어러블 디바이스의 상기 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것일 수 있다.The control area may be scaled the screen information of the wearable device at a predetermined ratio.

상기 전송부는, 상기 제어 정보에 대응하는 상기 동작에 따라 업데이트된 화면 정보를 상기 단말로 전송할 수 있다.The transmitting unit may transmit updated screen information to the terminal according to the operation corresponding to the control information.

상기 제어 정보는, 상기 웨어러블 디바이스의 상기 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함할 수 있다.The control information may include an execution command for one or more objects included in the screen information of the wearable device.

상기 제어 정보는, 상기 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함할 수 있다.The control information may include a move command for a pointer of the wearable device.

상기 수신부는, 상기 제어 정보를 이용하여 상기 사용자 입력에 대응하는 동작을 수행한 상기 웨어러블 디바이스로부터 업데이트된 화면 정보를 수신할 수 있고, 상기 디스플레이 처리부는, 상기 업데이트된 화면 정보에 기초하여 상기 제어 영역을 업데이트할 수 있다.Wherein the receiving unit can receive updated screen information from the wearable device that performed the operation corresponding to the user input using the control information and the display processing unit displays the updated screen information based on the updated screen information, Can be updated.

일 측면에 있어서, 웨어러블 디바이스는, 상기 웨어러블 디바이스의 화면 정보를 단말로 전송하는 전송부; 상기 화면 정보에 기초하여 상기 단말에 디스플레이된 제어 영역에 대한 사용자 입력의 좌표 값을 포함하는 제어 정보를 상기 단말로부터 수신하는 수신부; 및 상기 제어 정보에 대응하는 동작을 수행하는 처리부를 포함한다.In one aspect, the wearable device includes: a transfer unit for transferring screen information of the wearable device to a terminal; A receiving unit for receiving, from the terminal, control information including a coordinate value of a user input for a control area displayed on the terminal based on the screen information; And a processing unit for performing an operation corresponding to the control information.

상기 제어 영역은 상기 웨어러블 디바이스의 상기 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것일 수 있다.The control area may be scaled the screen information of the wearable device at a predetermined ratio.

상기 제어 정보는, 상기 웨어러블 디바이스의 상기 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함할 수 있다.The control information may include an execution command for one or more objects included in the screen information of the wearable device.

상기 제어 정보는, 상기 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함할 수 있다.The control information may include a move command for a pointer of the wearable device.

본 명세서에 기재된 다양한 실시예들에 따르면, 단말을 이용하여 웨어러블 디바이스를 제어할 수 있다.According to various embodiments described herein, a wearable device can be controlled using a terminal.

또한, 단말이 웨어러블 디바이스의 화면 정보에 기초하여 웨어러블 디바이스를 제어할 수 있다.Further, the terminal can control the wearable device based on the screen information of the wearable device.

또한, 단말에 웨어러블 디바이스의 화면 정보를 미리 정해진 비율로 스케일링할 수 있다.In addition, it is possible to scale the screen information of the wearable device to the terminal at a predetermined ratio.

또한, 단말이 웨어러블 디바이스의 포인터를 제어할 수 있다.Further, the terminal can control the pointer of the wearable device.

도 1은 본 발명에 따른 웨어러블 디바이스의 제어 방법을 나타낸 플로우 차트이다.
도 2는 화면 스케일링을 통한 웨어러블 디바이스의 제어 방법을 나타낸 플로우 차트이다.
도 3은 포인터를 이용한 웨어러블 디바이스의 제어 방법을 나타낸 플로우 차트이다.
도 4는 화면 스케일링을 수행한 경우 단말과 웨어러블 디바이스의 디스플레이 예를 나타낸 도면이다.
도 5는 통신환경에 따른 디스플레이 예를 나타낸 도면이다.
도 6은 포인터를 제어할 경우 단말과 웨어러블 디바이스의 디스플레이 예를 나타낸 도면이다.
도 7은 본 발명에 따른 단말을 나타낸 블록도이다.
도 8을 본 발명에 따른 웨어러블 디바이스를 나타낸 블록도이다.1 is a flowchart showing a control method of a wearable device according to the present invention.
2 is a flowchart showing a control method of a wearable device through screen scaling.
3 is a flowchart showing a control method of a wearable device using a pointer.
4 is a diagram showing an example of display of a terminal and a wearable device when screen scaling is performed.
5 is a diagram showing an example of display according to a communication environment.
6 is a diagram showing a display example of a terminal and a wearable device when a pointer is controlled.
7 is a block diagram showing a terminal according to the present invention.
8 is a block diagram showing a wearable device according to the present invention.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 웨어러블 디바이스의 제어 방법을 나타낸 플로우 차트이다.1 is a flowchart showing a control method of a wearable device according to the present invention.

단말(110)은, 웨어러블 디바이스(120)를 제어하기 위한 디바이스이다. 단말(110)은, 입력부, 출력부, 저장부, 처리부, 통신부를 구비할 수 있으며, 웨어러블 디바이스(120)와 구분되는 모든 디바이스를 포함할 수 있다. 예를 들어, 단말(110)은, 이동단말, 태블릿 PC, 노트북, PDA, PC 및 TV를 포함할 수 있다.The terminal 110 is a device for controlling the wearable device 120. The terminal 110 may include an input unit, an output unit, a storage unit, a processing unit, and a communication unit, and may include all devices that are distinguished from the wearable device 120. For example, the terminal 110 may include a mobile terminal, a tablet PC, a notebook, a PDA, a PC, and a TV.

웨어러블 디바이스(120)는 단말(110)에 의해 제어되는 디바이스이다. 웨어러블 디바이스(120)는 입력부, 출력부, 저장부, 처리부, 통신부를 구비할 수 있다. 웨어러블 디바이스(120)는, 스마트 안경, 스마트 시계 및 스마트 의복을 포함하는, 디스플레이 수단을 갖는 디바이스일 수 있다. 웨어러블 디바이스(120)는 단말(110)의 화면에 비해 상대적으로 작은 화면을 가질 수 있다.The wearable device 120 is a device controlled by the terminal 110. The wearable device 120 may include an input unit, an output unit, a storage unit, a processing unit, and a communication unit. The wearable device 120 may be a device having a display means, including smart glasses, smart watches, and smart apparel. The wearable device 120 may have a relatively small screen compared to the screen of the terminal 110. [

도 1을 참조하면, 단계(101)에서, 단말(110)과 웨어러블 디바이스(120)는 연결을 형성한다. 상기 연결은 단말(110)이 웨어러블 디바이스(120)를 제어하기 위한 연결이다. 단계(101)에서, 상기 연결은, 단말(110)이 다른 디바이스를 인식한 뒤에 수행될 수 있다. 예를 들어, 단말(110)은, 연결 가능한 다른 디바이스를 검색한 뒤, 연결 가능한 다른 디바이스의 목록을 화면에 표시할 수 있다.Referring to FIG. 1, in step 101, a terminal 110 and a wearable device 120 form a connection. The connection is a connection for the terminal 110 to control the wearable device 120. In step 101, the connection may be performed after the terminal 110 recognizes another device. For example, the terminal 110 searches for another connectable device, and then displays a list of other connectable devices on the screen.

사용자가 목록에서 웨어러블 디바이스(120)를 선택할 경우, 단말(110)은 웨어러블 디바이스(120)와 연결을 위한 동작을 수행할 수 있다. 상기 연결은, 근거리 통신, 블루투스 또는 와이파이를 이용하여 형성될 수 있다. 웨어러블 디바이스(120)는 단말(110)의 연결 요청을 승낙할 것인지 여부를 나타내는 메시지를 표시할 수 있다. 연결이 정상적으로 형성된 경우, 단말(110) 및 웨어러블 디바이스(120)는 연결이 정상적으로 형성되었음을 사용자에게 알릴 수 있다.When the user selects the wearable device 120 from the list, the terminal 110 can perform an operation for connection with the wearable device 120. The connection may be formed using local area communication, Bluetooth or Wi-Fi. The wearable device 120 may display a message indicating whether or not to accept the connection request of the terminal 110. [ When the connection is normally established, the terminal 110 and the wearable device 120 can notify the user that the connection is normally established.

상기 연결이 형성된 경우, 단말(110) 및 웨어러블 디바이스(120)는, 사용자가 복수의 웨어러블 디바이스 제어 방법 중 특정 제어 방법을 선택할 수 있도록 복수의 제어 방법을 포함하는 목록을 화면에 표시할 수 있다. 복수의 웨어러블 디바이스 제어 방법은 스케일링을 통한 제어 방법과 포인터를 이용한 제어 방법을 포함할 수 있다. 복수의 웨어러블 디바이스 제어 방법에 따라 영역(130)에 포함되는 동작의 내용이 다를 수 있다.When the connection is established, the terminal 110 and the wearable device 120 may display a list including a plurality of control methods on the screen so that the user can select a specific control method among the plurality of wearable device control methods. The plurality of wearable device control methods may include a control method using scaling and a control method using a pointer. The contents of the operation included in the area 130 may be different according to the plurality of wearable device control methods.

단계(102)에서, 웨어러블 디바이스(120)는 화면 정보를 단말(110)로 전송한다. 화면 정보는 웨어러블 디바이스(120)의 출력 화면, 화면 크기 또는 해상도 중 적어도 하나를 포함할 수 있다. 화면 정보는 복수의 제어 방법 중 선택된 제어 방법을 수행하기 위해 필요한 정보를 포함할 수 있다.In step 102, the wearable device 120 transmits screen information to the terminal 110. [ The screen information may include at least one of an output screen, a screen size, and a resolution of the wearable device 120. The screen information may include information necessary for performing a control method selected from a plurality of control methods.

단계(103)에서, 단말(110)은 화면 정보를 디스플레이 한다. 단말(110)은, 웨어러블 디바이스(120)를 제어하기 위한 제어 영역을 정의할 수 있고, 수신한 화면 정보에 기초하여 제어 영역에 웨어러블 디바이스(120)를 제어하기 위한 정보를 디스플레이할 수 있다.In step 103, the terminal 110 displays screen information. The terminal 110 can define a control area for controlling the wearable device 120 and display information for controlling the wearable device 120 in the control area based on the received screen information.

단계(104)에서, 단말(110)은 제어 정보를 웨어러블 디바이스(120)로 전송한다. 제어 정보는 사용자 입력을 포함할 수 있다. 사용자 입력이 제어 영역에 대한 터치 입력일 경우, 제어 정보는 터치 입력에 대한 좌표 값을 포함할 수 있다. 좌표 값은 제어 영역의 크기와 웨어러블 디바이스(120)의 화면 크기에 따른 비율에 기초하여 계산된 값일 수 있다.In step 104, the terminal 110 transmits control information to the wearable device 120. [ The control information may include user input. If the user input is a touch input to the control area, the control information may include coordinate values for the touch input. The coordinate value may be a value calculated based on the ratio of the size of the control area and the screen size of the wearable device 120. [

사용자의 터치 이벤트는 터치(touch), 터치앤홀드(touch&hold), 드래그(drag), 플립(flip), 및 스와이프(swipe)를 포함할 수 있다. 터치 이벤트는 단말(110)에 의해서 해석되거나 웨어러블 디바이스(120)에 의해서 해석될 수 있다.The user's touch event may include a touch, a touch & hold, a drag, a flip, and a swipe. The touch event can be interpreted by the terminal 110 or interpreted by the wearable device 120.

터치 이벤트가 웨어러블 디바이스(120)에 의해서 해석될 경우, 단말(110)은 둘 이상의 좌표 값을 포함하는 제어 정보를 웨어러블 디바이스(120)로 전송할 수 있고, 웨어러블 디바이스(120)는 제어 정보를 드래그(drag), 플립(flip) 및 스와이프(swipe) 중 어느 하나로 해석할 수 있다.When the touch event is interpreted by the wearable device 120, the terminal 110 can transmit control information including two or more coordinate values to the wearable device 120, and the wearable device 120 can drag the control information drag, flip, and swipe, respectively.

터치 이벤트가 단말(110)에 의해서 해석될 경우, 단말(110)은 하나 이상의 좌표 값 및 상기 사용자 입력의 터치 타입 정보를 포함하는 제어 정보를 웨어러블 디바이스(120)로 전송할 수 있다. 웨어러블 디바이스(120)는 수신한 하나 이상의 좌표 값 및 터치 타입 정보에 따라 동작을 수행할 수 있다. 터치 타입 정보는 터치(touch), 터치앤홀드(touch&hold), 드래그(drag), 플립(flip), 및 스와이프(swipe) 중 어느 하나를 포함할 수 있다.When the touch event is interpreted by the terminal 110, the terminal 110 may transmit control information including the at least one coordinate value and the touch type information of the user input to the wearable device 120. The wearable device 120 may perform an operation according to the received one or more coordinate values and touch type information. The touch type information may include any one of a touch, a touch and hold, a drag, a flip, and a swipe.

단계(105)에서, 웨어러블 디바이스(120)는 제어 정보에 대응하는 동작을 수행한다. 제어 정보가 특정한 좌표 값의 터치 동작에 대한 정보를 포함할 경우, 웨어러블 디바이스(120)는 해당 좌표 값의 터치 입력에 대응하는 동작을 수행할 수 있다.In step 105, the wearable device 120 performs an operation corresponding to the control information. When the control information includes information on the touch operation of a specific coordinate value, the wearable device 120 may perform an operation corresponding to the touch input of the coordinate value.

단계(106)에서, 웨어러블 디바이스(120)는, 단계(105)에서 수행한 동작에 따라 업데이트된 화면 정보를 단말(110)로 전송할 수 있다. 업데이트된 화면 정보는 단계(105)에서 수행한 동작에 따라 변경된 부분에 대한 정보를 포함할 수 있다. 예를 들어, 단계(105)에서 수행한 동작에 의해 웨어러블 디바이스(120) 화면의 일부만 변경된 경우, 업데이트된 화면 정보는 변경된 부분에 대한 정보를 포함할 수 있다.In step 106, the wearable device 120 may transmit the updated screen information to the terminal 110 according to the operation performed in step 105. FIG. The updated screen information may include information on the changed portion according to the operation performed in Step 105. [ For example, when only a part of the screen of the wearable device 120 is changed by the operation performed in step 105, the updated screen information may include information on the changed part.

단계(107)에서, 단말(110)은, 업데이트된 화면 정보에 기초하여 제어 영역을 업데이트할 수 있다. 웨어러블 디바이스(120) 화면의 일부만 변경되어, 업데이트된 화면 정보에 변경된 부분에 대한 정보만 포함된 경우, 단말(110)은 제어 영역의 일부만 업데이트할 수 있다.In step 107, the terminal 110 can update the control area based on the updated screen information. When only the part of the wearable device 120 screen is changed and only the information on the changed part is included in the updated screen information, the terminal 110 can update only a part of the control area.

단계(107) 이후에, 사용자의 입력이 있을 경우, 단계(104)가 수행될 수 있다. 단계(104) 내지 단계(107)이 반복되면서, 단말(110)을 통해 웨어러블 디바이스(120)가 제어될 수 있다.After step 107, if there is a user input, step 104 may be performed. The wearable device 120 may be controlled through the terminal 110 while the steps 104 to 107 are repeated.

이하, 도 2 및 도 3에서 영역(130)에 대한 화면 스케일링을 통한 웨어러블 디바이스의 제어 방법과 포인터를 이용한 웨어러블 디바이스의 제어 방법의 구체적인 내용을 설명한다. 도 2 및 도 3에서 도 1과 다르게 설명하지 않는 한, 도 1에서 설명한 내용은 도 2 및 도 3에서 설명하는 방법에 그대로 적용될 수 있다.
Hereinafter, the details of the control method of the wearable device using the screen scaling for the area 130 and the control method of the wearable device using the pointer will be described with reference to FIGS. 2 and 3. FIG. 2 and 3, the contents described in FIG. 1 can be directly applied to the method illustrated in FIG. 2 and FIG. 3, unless otherwise described with reference to FIG.

도 2는 화면 스케일링을 통한 웨어러블 디바이스의 제어 방법을 나타낸 플로우 차트이다.2 is a flowchart showing a control method of a wearable device through screen scaling.

도 2를 참조하면, 단계(201)에서, 단말(210)은 제어 영역을 정의한다. 제어 영역은, 웨어러블 디바이스(220)를 제어하기 위한 영역으로, 단말(210) 화면의 전부 또는 일부일 수 있다.Referring to FIG. 2, in step 201, the terminal 210 defines a control region. The control area is an area for controlling the wearable device 220 and may be all or part of the screen of the terminal 210. [

단계(202)에서, 웨어러블 디바이스(220)는, 화면 정보(202)를 단말(210)로 전송한다. 화면 정보(202)는 단말(210)이 웨어러블 디바이스(220)의 출력 화면의 크기만 스케일링(scaling)하기 위한 웨어러블 디바이스(220)의 출력 화면 정보를 포함할 수 있다.In step 202, the wearable device 220 transmits the screen information 202 to the terminal 210. The screen information 202 may include output screen information of the wearable device 220 for scaling only the size of the output screen of the wearable device 220 by the terminal 210. [

화면 정보(202)는 출력 화면 정보를 이미지 정보와 텍스트 정보로 구분하여 포함할 수 있다. 웨어러블 디바이스(220)는, 단말(210)과 웨어러블 디바이스(220)의 통신환경에 따라, 이미지 정보와 텍스트 정보 중 일부 정보만 전송할 수 있다.The screen information 202 may include the output screen information divided into image information and text information. The wearable device 220 can transmit only some of the image information and the text information according to the communication environment between the terminal 210 and the wearable device 220. [

예를 들어, 단말(210)과 웨어러블 디바이스(220)가 와이파이로 연결되었고, 상기 와이파이의 통신 상태가 원활한 경우, 화면 정보는 이미지 정보를 포함할 수 있다. 이 경우, 단말(210)은 웨어러블 디바이스(220)의 화면을 크기만 달리하여 그대로 출력할 수 있다.For example, if the terminal 210 and the wearable device 220 are connected by Wi-Fi and the communication state of the Wi-Fi is smooth, the screen information may include image information. In this case, the terminal 210 can directly output the screen of the wearable device 220 in a different size.

단말(210)과 웨어러블 디바이스(220)가 상대적으로 전송 속도가 느린 블루투스로 연결된 경우, 화면 정보는 텍스트 정보를 포함할 수 있다. 이 경우, 단말(210)은 웨어러블 디바이스(220)의 화면을 텍스트를 이용하여 나타낼 수 있다. 예를 들어, 단말(210)은, 웨어러블 디바이스(220)의 화면 배치는 유지하되, 이미지 대신 텍스트만 표시하여 출력할 수 있다.When the terminal 210 and the wearable device 220 are connected by a Bluetooth with a relatively slow transmission speed, the screen information may include text information. In this case, the terminal 210 can display the screen of the wearable device 220 using text. For example, the terminal 210 may display the text instead of the image while maintaining the layout of the wearable device 220.

단계(203)에서, 단말(210)은 제어 영역에 화면 정보를 디스플레이한다. 단말(210)은 통신환경에 따라 웨어러블 디바이스(220)의 화면을 다르게 출력할 수 있다. 단말(210)은 웨어러블 디바이스(220)의 화면을 크기만 달리하여 그대로 출력하거나, 웨어러블 디바이스(220)의 화면 배치를 유지한 채 텍스트만 표시하거나, 웨어러블 디바이스(220)의 화면 배치와 상이한 배치로 수신한 화면 정보를 표시할 수 있다.In step 203, the terminal 210 displays screen information in the control area. The terminal 210 may output the screen of the wearable device 220 differently according to the communication environment. The terminal 210 displays only the text of the wearable device 220 in a different size from that of the wearable device 220 or keeps the screen layout of the wearable device 220, The received screen information can be displayed.

단계(204)에서, 단말(210)은, 제어 영역에 대한 사용자 입력을 검출한다. 사용자 입력이 제어 영역에 대한 터치일 경우, 사용자의 터치 이벤트는 터치(touch), 터치앤홀드(touch&hold), 드래그(drag), 플립(flip), 및 스와이프(swipe)를 포함할 수 있다. 단말(210)은 터치 이벤트가 발생한 위치의 좌표 값 및 터치 이벤트의 타입을 판단할 수 있다.In step 204, the terminal 210 detects a user input to the control area. When the user input is a touch to the control area, the touch event of the user may include a touch, a touch & hold, a drag, a flip, and a swipe. The terminal 210 can determine the coordinate value of the location where the touch event occurred and the type of the touch event.

단계(205)에서, 단말(210)은, 제어 정보를 웨어러블 디바이스(220)로 전송한다. 제어 정보는 좌표 값을 포함할 수 있다. 단말(210)이 터치 이벤트 타입을 판단한 경우, 제어 정보는 터치 타입 정보를 포함할 수 있다.In step 205, the terminal 210 transmits the control information to the wearable device 220. [ The control information may include coordinate values. When the terminal 210 determines the touch event type, the control information may include touch type information.

제어 정보는, 웨어러블 디바이스(220)의 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함할 수 있다. 이 경우, 단말(210)은 실행 명령을 통해 웨어러블 디바이스(220)의 기능을 직접 실행시킬 수 있다.The control information may include an execution command for one or more objects included in the screen information of the wearable device 220. [ In this case, the terminal 210 can directly execute the function of the wearable device 220 through an execution command.

단계(206)에서, 웨어러블 디바이스(220)는, 제어 정보에 대응하는 동작을 수행한다. 웨어러블 디바이스(220)는 좌표 값에 대한 입력에 따른 동작을 수행할 수 있다. 예를 들어, 웨어러블 디바이스(220)는 수신한 좌표 값에 위치한 어플리케이션을 실행할 수 있다.In step 206, the wearable device 220 performs an operation corresponding to the control information. The wearable device 220 may perform an operation according to the input to the coordinate value. For example, the wearable device 220 may execute an application located at a received coordinate value.

제어 정보에 둘 이상의 좌표 값이 포함된 경우, 웨어러블 디바이스(220)는 제어 정보를 드래그(drag), 플립(flip) 및 스와이프(swipe) 중 어느 하나로 해석할 수 있다. 제어 정보에 하나 이상의 좌표 값 및 터치 타입 정보가 포함된 경우, 단말(210)은 터치 타입 정보를 통해 터치 이벤트 타입을 터치(touch), 터치앤홀드(touch&hold), 드래그(drag), 플립(flip), 및 스와이프(swipe) 중 어느 하나로 해석할 수 있다.If the control information includes more than one coordinate value, the wearable device 220 may interpret the control information as either a drag, a flip, or a swipe. If the control information includes one or more coordinate values and touch type information, the terminal 210 can touch the touch event type, touch and hold, drag, flip, ), And a swipe (swipe).

제어 정보에 웨어러블 디바이스(220)의 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령이 포함된 경우, 웨어러블 디바이스(220)는 수신한 실행 명령에 따라 화면 정보에 포함된 하나 이상의 오브젝트를 실행할 수 있다.
When the control information includes an execution command for one or more objects included in the screen information of the wearable device 220, the wearable device 220 may execute one or more objects included in the screen information according to the received execution command .

도 3은 포인터를 이용한 웨어러블 디바이스의 제어 방법을 나타낸 플로우 차트이다.3 is a flowchart showing a control method of a wearable device using a pointer.

도 3을 참조하면, 단계(301)에서, 단말(310)은 제어 영역을 정의한다. 제어 영역은, 웨어러블 디바이스(320)를 제어하기 위한 영역으로, 단말(310) 화면의 전부 또는 일부일 수 있다.Referring to FIG. 3, in step 301, the terminal 310 defines a control region. The control area is an area for controlling the wearable device 320 and may be all or part of the screen of the terminal 310. [

단계(302)에서, 웨어러블 디바이스(320)는 포인터를 생성한다. 포인터는, 웨어러블 디바이스(320)의 화면에 표시되며, 사용자가 선택하고자 하는 위치를 가리킬 수 있다.In step 302, the wearable device 320 creates a pointer. The pointer is displayed on the screen of the wearable device 320 and may indicate a position to be selected by the user.

단계(303)에서, 웨어러블 디바이스(320)는 화면 정보를 단말(310)로 전송한다. 화면 정보는 화면 크기 및 해상도 정보 중 적어도 하나를 포함할 수 있다.In step 303, the wearable device 320 transmits screen information to the terminal 310. [ The screen information may include at least one of a screen size and resolution information.

단계(304)에서, 단말(310)은 제어 영역에 화면 정보를 디스플레이한다. 제어 영역은 제어 영역임을 나타내는 표시 외에 특별한 이미지나 텍스트를 포함하지 않을 수 있다.In step 304, the terminal 310 displays screen information in the control area. The control area may not include any special image or text other than the indication that it is the control area.

단계(305)에서, 단말(310)은 사용자 입력을 검출한다. 사용자 입력이 제어 영역에 대한 터치일 경우, 사용자의 터치 이벤트는 터치(touch), 터치앤홀드(touch&hold), 드래그(drag), 플립(flip), 및 스와이프(swipe)를 포함할 수 있다. 단말(210)은 터치 이벤트가 발생한 위치의 좌표 값 및 터치 이벤트의 타입을 판단할 수 있다.In step 305, the terminal 310 detects a user input. When the user input is a touch to the control area, the touch event of the user may include a touch, a touch & hold, a drag, a flip, and a swipe. The terminal 210 can determine the coordinate value of the location where the touch event occurred and the type of the touch event.

단말(310)은 사용자의 입력에 대해 시각적, 청각적, 또는 촉각적(진동) 효과 중 적어도 하나를 출력할 수 있다. 예를 들어, 단말(310)은 사용자의 드래그 동작에 대해 터치 자취(trajectory)를 표시할 수 있다.The terminal 310 may output at least one of visual, auditory, or tactile (vibration) effects to the user's input. For example, the terminal 310 may display a touch trajectory for the drag operation of the user.

단계(306)에서, 단말(310)은 제어 정보를 웨어러블 디바이스(320)로 전송한다. 제어 정보는 좌표 값을 포함할 수 있다. 단말(210)이 터치 이벤트 타입을 판단한 경우, 제어 정보는 터치 타입 정보를 포함할 수 있다.In step 306, the terminal 310 transmits control information to the wearable device 320. [ The control information may include coordinate values. When the terminal 210 determines the touch event type, the control information may include touch type information.

단계(307)에서, 웨어러블 디바이스(320)는 포인터를 제어한다. 예를 들어, 웨어러블 디바이스(320)는 제어 정보에 기초하여 포인터를 이동시키거나, 포인터가 가리키는 기능을 실행하거나, 포인터가 가리키는 아이콘을 이동시킬 수 있다.In step 307, the wearable device 320 controls the pointer. For example, the wearable device 320 may move the pointer based on the control information, execute the function indicated by the pointer, or move the icon indicated by the pointer.

도 4는 화면 스케일링을 수행한 경우 단말과 웨어러블 디바이스의 디스플레이 예를 나타낸 도면이다.4 is a diagram showing an example of display of a terminal and a wearable device when screen scaling is performed.

도 4를 참고하면, 웨어러블 디바이스의 화면(410), 단말의 화면(420), 단말의 화면에 표시된 제어 영역(421), 사용자 입력(422) 및 제어 정보에 따른 위치(411)가 도시되어 있다.4, there is shown a wearable device screen 410, a screen 420 of a terminal, a control area 421 displayed on the screen of the terminal, a user input 422, and a position 411 according to control information .

웨어러블 디바이스의 화면(410)은 웨어러블 디바이스의 화면(410)에 미리 정해진 비율로 스케일링될 수 있다. 단말은 스케일링된 웨어러블 디바이스의 화면(410)을 제어 영역(421)에 디스플레이할 수 있다.The wearable device's screen 410 may be scaled on the wearable device's screen 410 at a predetermined rate. The terminal can display the scaled wearable device screen 410 in the control area 421. [

단말은 사용자 입력(422)을 검출할 수 있으며, 사용자 입력(422)의 좌표 값을 포함하는 제어 정보를 웨어러블 디바이스로 전송할 수 있다. 도 4에서, 웨어러블 디바이스의 화면(410) 및 단말의 화면(420)이 4*4로 구분된 좌표 값을 갖는다면, 사용자 입력(422)은 좌표 값 (2,3)을 가질 수 있다. 단말은 좌표 값 (2,3)을 웨어러블 디바이스로 전송할 수 있고, 웨어러블 디바이스는 (2,3)에 위치하는 기능을 실행할 수 있다.
The terminal may detect the user input 422 and may transmit control information including the coordinate value of the user input 422 to the wearable device. In FIG. 4, if the wearable device screen 410 and the terminal screen 420 have coordinate values separated by 4 * 4, the user input 422 may have coordinate values 2, 3. The terminal can transmit the coordinate values (2, 3) to the wearable device, and the wearable device can execute the function located at (2,3).

도 5는 통신환경에 따른 디스플레이 예를 나타낸 도면이다.5 is a diagram showing an example of display according to a communication environment.

도 5를 참조하면, 웨어러블 디바이스의 화면(510), 통신 속도가 느린 경우 단말의 화면(520) 및 통신 속도가 빠른 경우 단말의 화면(530)이 도시되어 있다.Referring to FIG. 5, a wearable device screen 510, a terminal screen 520 when the communication speed is slow, and a screen 530 of the terminal when the communication speed is high are illustrated.

단말과 웨어러블 디바이스가 블루투스를 통해 연결된 경우와 같이, 단말과 웨어러블 디바이스간의 통신 속도가 느린 경우, 화면 정보는 이미지 정보 대신 텍스트 정보를 포함할 수 있다. 단말은 수신한 텍스트 정보를 이용하여 이미지 대신 텍스트를 디스플레이할 수 있다.When the communication speed between the terminal and the wearable device is low, such as when the terminal and the wearable device are connected via Bluetooth, the screen information may include text information instead of the image information. The terminal can display the text instead of the image using the received text information.

단말과 웨어러블 디바이스가 와이파이를 통해 연결된 경우와 같이, 단말과 웨어러블 디바이스 간의 통신 속도가 빠른 경우, 화면 정보는 이미지 정보를 포함할 수 있다. 단말은 수신한 이미지 정보를 이용하여 웨어러블 디바이스의 화면을 그대로 스케일링 하여 디스플레이할 수 있다.When the communication speed between the terminal and the wearable device is high, such as when the terminal and the wearable device are connected via Wi-Fi, the screen information may include image information. The terminal can directly display the image of the wearable device by using the received image information and display the scaled image.

디스플레이 정도는 통신환경에 따라 자동으로 조절되거나, 사용자의 설정에 의해 변경될 수 있다.
The degree of display can be adjusted automatically according to the communication environment or can be changed by user's setting.

도 6은 포인터를 제어할 경우 단말과 웨어러블 디바이스의 디스플레이 예를 나타낸 도면이다.6 is a diagram showing a display example of a terminal and a wearable device when a pointer is controlled.

도 6을 참조하면, 웨어러블 디바이스의 화면(610) 및 단말의 화면(620)이 도시되어 있다. 웨어러블 디바이스의 화면(610)에는 포인터가 표시되어 있다.Referring to FIG. 6, a wearable device screen 610 and a terminal screen 620 are shown. A pointer is displayed on the screen 610 of the wearable device.

사용자가 단말의 화면(620)에 디스플레이된 제어 영역을 드래그 할 경우, 웨어러블 디바이스의 화면(610)에 표시된 포인터가 이동할 수 있다. 포인터는, 웨어러블 디바이스의 화면(610)을 벗어날 수 없으며, 웨어러블 디바이스의 화면(610)의 경계에 위치할 경우 이동하지 않을 수 있다.When the user drags the control area displayed on the screen 620 of the terminal, the pointer displayed on the wearable device's screen 610 may move. The pointer can not escape the screen 610 of the wearable device and may not move if it is positioned at the boundary of the screen 610 of the wearable device.

단말은 단말의 화면(620)에 사용자 입력에 대한 시각적, 청각적, 또는 촉각적 피드백을 출력할 수 있다. 예를 들어, 단말은 단말의 화면(620)에 사용자의 드래그 동작에 대한 자취를 시각적으로 디스플레이할 수 있다.
The terminal may output visual, audible, or tactile feedback on the user input to the terminal's screen 620. For example, the terminal may visually display a trace of the user's drag operation on the screen 620 of the terminal.

도 7은 본 발명에 따른 단말을 나타낸 블록도이다.7 is a block diagram showing a terminal according to the present invention.

도 7을 참조하면 단말(700)은 제어 영역 정의부(710), 디스플레이 처리부(720), 입력 검출부(730), 수신부(740) 및 전송부(750)를 포함한다.7, the terminal 700 includes a control region defining unit 710, a display processing unit 720, an input detecting unit 730, a receiving unit 740, and a transmitting unit 750.

제어 영역 정의부(710)는 웨어러블 디바이스를 제어하기 위한 제어 영역을 정의할 수 있다.The control area defining unit 710 may define a control area for controlling the wearable device.

디스플레이 처리부(720)는 제어 영역에 화면 정보를 디스플레이하는 디스플레이할 수 있다. 이 때, 제어 영역은 웨어러블 디바이스의 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것일 수 있다.The display processor 720 may display the screen information in the control area. At this time, the control area may be scaled screen information of the wearable device at a predetermined ratio.

입력 검출부(730)는 제어 영역에 대한 사용자 입력을 검출할 수 있다.The input detection unit 730 may detect a user input to the control area.

수신부(740)는 웨어러블 디바이스로부터 웨어러블 디바이스의 화면 정보를 수신할 수 있다. 수신부(740)가 제어 정보를 이용하여 사용자 입력에 대응하는 동작을 수행한 웨어러블 디바이스로부터 업데이트된 화면 정보를 수신할 경우, 디스플레이 처리부(720)는, 업데이트된 화면 정보에 기초하여 제어 영역을 업데이트할 수 있다.The receiving unit 740 can receive screen information of the wearable device from the wearable device. When the receiving unit 740 receives the updated screen information from the wearable device that performed the operation corresponding to the user input using the control information, the display processing unit 720 updates the control area based on the updated screen information .

전송부(750)는 사용자 입력의 좌표 값을 포함하는 제어 정보를 웨어러블 디바이스로 전송할 수 있다.The transmitting unit 750 may transmit the control information including the coordinate value of the user input to the wearable device.

제어 정보는, 웨어러블 디바이스의 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함할 수 있다. 또한, 제어 정보는, 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함할 수 있다.The control information may include an execution command for one or more objects included in the screen information of the wearable device. Further, the control information may include a move command for a pointer of the wearable device.

도 1 내지 도 6에서 설명된 내용은 도 7에 도시된 각각의 유닛에 적용될 수 있으므로, 상세한 설명은 생략한다.
The contents described in Figs. 1 to 6 can be applied to the respective units shown in Fig. 7, and a detailed description thereof will be omitted.

도 8을 본 발명에 따른 웨어러블 디바이스를 나타낸 블록도이다.8 is a block diagram showing a wearable device according to the present invention.

도 8을 참조하면, 웨어러블 디바이스(800)는 수신부(810), 전송부(820) 및 처리부(830)를 포함한다.Referring to FIG. 8, the wearable device 800 includes a receiving unit 810, a transmitting unit 820, and a processing unit 830.

수신부(810)는 화면 정보에 기초하여 단말에 디스플레이된 제어 영역에 대한 사용자 입력의 좌표 값을 포함하는 제어 정보를 단말로부터 수신할 수 있다. 제어 영역은 웨어러블 디바이스의 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것일 수 있다. 또한, 제어 정보는, 웨어러블 디바이스의 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함 하거나, 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함할 수 있다.The receiving unit 810 may receive control information including coordinate values of a user input for the control area displayed on the terminal from the terminal based on the screen information. The control area may be scaled screen information of the wearable device at a predetermined ratio. Further, the control information may include an execution command for one or more objects included in the screen information of the wearable device, or may include a move command for a pointer of the wearable device.

전송부(820)는 웨어러블 디바이스의 화면 정보를 단말로 전송할 수 있다. 전송부는, 제어 정보에 대응하는 동작에 따라 업데이트된 화면 정보를 단말로 전송할 수 있다.The transmitting unit 820 can transmit screen information of the wearable device to the terminal. The transmitting unit may transmit the updated screen information to the terminal according to the operation corresponding to the control information.

처리부(830)는 제어 정보에 대응하는 동작을 수행할 수 있다.The processing unit 830 can perform an operation corresponding to the control information.

도 1 내지 도 6에서 설명된 내용은 도 8에 도시된 각각의 유닛에 적용될 수 있으므로, 상세한 설명은 생략한다.
The contents described in Figs. 1 to 6 can be applied to the respective units shown in Fig. 8, and a detailed description thereof will be omitted.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (26)

웨어러블 디바이스를 제어하기 위한 제어 영역을 정의하는 단계;
상기 웨어러블 디바이스로부터 상기 웨어러블 디바이스의 화면 정보를 수신하는 단계;
상기 제어 영역에 상기 화면 정보를 디스플레이하는 단계;
상기 제어 영역에 대한 사용자 입력을 검출하는 단계; 및
상기 사용자 입력의 좌표 값을 포함하는 제어 정보를 상기 웨어러블 디바이스로 전송하는 단계
를 포함하는 웨어러블 디바이스의 제어 방법.Defining a control area for controlling the wearable device;
Receiving screen information of the wearable device from the wearable device;
Displaying the screen information in the control area;
Detecting a user input to the control region; And
Transmitting control information including coordinate values of the user input to the wearable device
And controlling the wearable device. 제1항에 있어서,
상기 제어 영역은 상기 웨어러블 디바이스의 상기 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것인,
웨어러블 디바이스의 제어 방법.The method according to claim 1,
Wherein the control area scales the screen information of the wearable device at a predetermined ratio,
A method of controlling a wearable device. 제1항에 있어서,
상기 화면 정보는,
상기 웨어러블 디바이스와의 통신환경에 따라, 이미지 정보 또는 텍스트 정보 중 적어도 하나를 포함하는,
웨어러블 디바이스의 제어 방법.The method according to claim 1,
The screen information includes:
And at least one of image information and text information according to a communication environment with the wearable device,
A method of controlling a wearable device. 제1항에 있어서,
상기 제어 정보를 이용하여 상기 사용자 입력에 대응하는 동작을 수행한 상기 웨어러블 디바이스로부터 업데이트된 화면 정보를 수신하는 단계; 및
상기 업데이트된 화면 정보에 기초하여 상기 제어 영역을 업데이트하는 단계
를 더 포함하는 웨어러블 디바이스의 제어 방법.The method according to claim 1,
Receiving updated screen information from the wearable device that has performed an operation corresponding to the user input using the control information; And
Updating the control area based on the updated screen information
The wearable device further comprising: 제4항에 있어서,
상기 업데이트된 화면 정보는,
상기 좌표 값을 이용하여 수행한 상기 웨어러블 디바이스의 상기 동작에 의해 변경된 부분에 대한 정보를 포함하는,
웨어러블 디바이스의 제어 방법.5. The method of claim 4,
Wherein the updated screen information comprises:
Wherein the wearable device includes information on a portion changed by the action of the wearable device performed using the coordinate value,
A method of controlling a wearable device. 제1항에 있어서,
상기 제어 정보는,
상기 제어 영역에서 상기 사용자 입력이 검출된 둘 이상의 좌표 값이고,
상기 웨어러블 디바이스는 상기 제어 정보를 드래그(drag), 플립(flip) 및 스와이프(swipe) 중 어느 하나로 해석하는,
웨어러블 디바이스의 제어 방법.The method according to claim 1,
The control information includes:
Wherein the user input is two or more coordinate values detected in the control region,
Wherein the wearable device interprets the control information as any one of a drag, a flip, and a swipe,
A method of controlling a wearable device. 제1항에 있어서,
상기 제어 정보는,
상기 제어 영역에서 상기 사용자 입력이 검출된 하나 이상의 좌표 값 및 상기 사용자 입력의 터치 타입 정보를 포함하는,
웨어러블 디바이스의 제어 방법.The method according to claim 1,
The control information includes:
Wherein the control region includes at least one coordinate value in which the user input is detected and touch type information of the user input.
A method of controlling a wearable device. 제7항에 있어서,
상기 터치 타입 정보는 터치(touch), 터치앤홀드(touch&hold), 드래그(drag), 플립(flip), 및 스와이프(swipe) 중 어느 하나를 포함하는,
웨어러블 디바이스의 제어 방법.8. The method of claim 7,
Wherein the touch type information includes one of a touch, a touch and hold, a drag, a flip, and a swipe.
A method of controlling a wearable device. 제1항에 있어서,
상기 웨어러블 디바이스와 상기 웨어러블 디바이스를 제어하기 위한 연결을 형성하는 단계를 더 포함하고,
상기 연결은 근거리 통신, 블루투스 또는 와이파이를 이용하여 형성된 것인,
웨어러블 디바이스의 제어 방법.The method according to claim 1,
Further comprising the step of forming a connection for controlling said wearable device and said wearable device,
The connection is formed using local area communication, Bluetooth or Wi-Fi,
A method of controlling a wearable device. 제1항에 있어서,
상기 제어 정보는, 상기 웨어러블 디바이스의 상기 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함하는,
웨어러블 디바이스의 제어 방법.The method according to claim 1,
Wherein the control information includes an execution command for one or more objects included in the screen information of the wearable device,
A method of controlling a wearable device. 제1항에 있어서,
상기 제어 정보는, 상기 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함하는,
웨어러블 디바이스의 제어 방법.The method according to claim 1,
Wherein the control information includes a movement instruction for a pointer of the wearable device,
A method of controlling a wearable device. 웨어러블 디바이스의 동작 방법에 있어서,
상기 웨어러블 디바이스의 화면 정보를 단말로 전송하는 단계;
상기 화면 정보에 기초하여 상기 단말에 디스플레이된 제어 영역에 대한 사용자 입력의 좌표 값을 포함하는 제어 정보를 상기 단말로부터 수신하는 단계; 및
상기 제어 정보에 대응하는 동작을 수행하는 단계
를 포함하는 웨어러블 디바이스의 동작 방법.A method of operating a wearable device,
Transmitting screen information of the wearable device to a terminal;
Receiving, from the terminal, control information including a coordinate value of a user input for a control area displayed on the terminal based on the screen information; And
Performing an operation corresponding to the control information
And a wearable device. 제12항에 있어서,
상기 제어 영역은 상기 웨어러블 디바이스의 상기 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것인,
웨어러블 디바이스의 동작 방법.13. The method of claim 12,
Wherein the control area scales the screen information of the wearable device at a predetermined ratio,
A method of operating a wearable device. 제12항에 있어서,
상기 제어 정보에 대응하는 상기 동작에 따라 업데이트된 화면 정보를 상기 단말로 전송하는 단계
를 더 포함하는 웨어러블 디바이스의 동작 방법.13. The method of claim 12,
Transmitting the updated screen information to the terminal according to the operation corresponding to the control information
Lt; RTI ID = 0.0 > a < / RTI > wearable device. 제12항에 있어서,
상기 제어 정보는, 상기 웨어러블 디바이스의 상기 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함하는,
웨어러블 디바이스의 제어 방법.13. The method of claim 12,
Wherein the control information includes an execution command for one or more objects included in the screen information of the wearable device,
A method of controlling a wearable device. 제12항에 있어서,
상기 제어 정보는, 상기 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함하는,
웨어러블 디바이스의 제어 방법.13. The method of claim 12,
Wherein the control information includes a movement instruction for a pointer of the wearable device,
A method of controlling a wearable device. 웨어러블 디바이스를 제어하기 위한 제어 영역을 정의하는 제어 영역 정의부;
상기 웨어러블 디바이스로부터 상기 웨어러블 디바이스의 화면 정보를 수신하는 수신부;
상기 제어 영역에 상기 화면 정보를 디스플레이하는 디스플레이 처리부;
상기 제어 영역에 대한 사용자 입력을 검출하는 입력 검출부; 및
상기 사용자 입력의 좌표 값을 포함하는 제어 정보를 상기 웨어러블 디바이스로 전송하는 전송부
를 포함하는 단말.A control area defining unit for defining a control area for controlling the wearable device;
A receiving unit for receiving screen information of the wearable device from the wearable device;
A display processor for displaying the screen information in the control area;
An input detector for detecting a user input to the control area; And
A transmitter for transmitting control information including coordinate values of the user input to the wearable device,
. 제17항에 있어서,
상기 제어 영역은 상기 웨어러블 디바이스의 상기 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것인,
웨어러블 디바이스의 동작 방법.18. The method of claim 17,
Wherein the control area scales the screen information of the wearable device at a predetermined ratio,
A method of operating a wearable device. 제17항에 있어서,
상기 제어 정보는, 상기 웨어러블 디바이스의 상기 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함하는,
단말.18. The method of claim 17,
Wherein the control information includes an execution command for one or more objects included in the screen information of the wearable device,
Terminal. 제17항에 있어서,
상기 제어 정보는, 상기 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함하는,
단말.18. The method of claim 17,
Wherein the control information includes a movement instruction for a pointer of the wearable device,
Terminal. 제17항에 있어서,
상기 수신부는, 상기 제어 정보를 이용하여 상기 사용자 입력에 대응하는 동작을 수행한 상기 웨어러블 디바이스로부터 업데이트된 화면 정보를 수신하고,
상기 디스플레이 처리부는, 상기 업데이트된 화면 정보에 기초하여 상기 제어 영역을 업데이트하는,
단말.18. The method of claim 17,
Wherein the receiving unit receives the updated screen information from the wearable device that has performed the operation corresponding to the user input using the control information,
Wherein the display processing unit updates the control area based on the updated screen information,
Terminal. 웨어러블 디바이스에 있어서,
상기 웨어러블 디바이스의 화면 정보를 단말로 전송하는 전송부;
상기 화면 정보에 기초하여 상기 단말에 디스플레이된 제어 영역에 대한 사용자 입력의 좌표 값을 포함하는 제어 정보를 상기 단말로부터 수신하는 수신부; 및
상기 제어 정보에 대응하는 동작을 수행하는 처리부
를 포함하는 웨어러블 디바이스.In a wearable device,
A transmitting unit for transmitting screen information of the wearable device to a terminal;
A receiving unit for receiving, from the terminal, control information including a coordinate value of a user input for a control area displayed on the terminal based on the screen information; And
A processing unit for performing an operation corresponding to the control information
Lt; / RTI > 제22항에 있어서,
상기 제어 영역은 상기 웨어러블 디바이스의 상기 화면 정보를 미리 정해진 비율로 스케일링(scaling)한 것인,
웨어러블 디바이스.23. The method of claim 22,
Wherein the control area scales the screen information of the wearable device at a predetermined ratio,
Wearable device. 제22항에 있어서,
상기 전송부는, 상기 제어 정보에 대응하는 상기 동작에 따라 업데이트된 화면 정보를 상기 단말로 전송하는,
웨어러블 디바이스.23. The method of claim 22,
Wherein the transmission unit transmits updated screen information to the terminal according to the operation corresponding to the control information,
Wearable device. 제22항에 있어서,
상기 제어 정보는, 상기 웨어러블 디바이스의 상기 화면 정보에 포함된 하나 이상의 오브젝트에 대한 실행 명령을 포함하는,
웨어러블 디바이스.23. The method of claim 22,
Wherein the control information includes an execution command for one or more objects included in the screen information of the wearable device,
Wearable device. 제22항에 있어서,
상기 제어 정보는, 상기 웨어러블 디바이스의 포인터에 대한 이동 명령을 포함하는,
웨어러블 디바이스.23. The method of claim 22,
Wherein the control information includes a movement instruction for a pointer of the wearable device,
Wearable device.
KR1020140020375A 2014-02-21 2014-02-21 Method for controlling wearable device and apparatus thereof KR102125100B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140020375A KR102125100B1 (en) 2014-02-21 2014-02-21 Method for controlling wearable device and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140020375A KR102125100B1 (en) 2014-02-21 2014-02-21 Method for controlling wearable device and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20150098960A true KR20150098960A (en) 2015-08-31
KR102125100B1 KR102125100B1 (en) 2020-06-19

Family

ID=54060215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140020375A KR102125100B1 (en) 2014-02-21 2014-02-21 Method for controlling wearable device and apparatus thereof

Country Status (1)

Country Link
KR (1) KR102125100B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024048912A1 (en) * 2022-08-29 2024-03-07 삼성전자주식회사 Electronic device for controlling wearable device on basis of input by electronic device, and method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071736A (en) * 2009-12-21 2011-06-29 (주)디바이스링크 Mobile device remote sharing apparatus and method
KR20120067071A (en) * 2010-12-15 2012-06-25 삼성전자주식회사 Apparatus and method for remote control in mobile communication terminal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071736A (en) * 2009-12-21 2011-06-29 (주)디바이스링크 Mobile device remote sharing apparatus and method
KR20120067071A (en) * 2010-12-15 2012-06-25 삼성전자주식회사 Apparatus and method for remote control in mobile communication terminal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024048912A1 (en) * 2022-08-29 2024-03-07 삼성전자주식회사 Electronic device for controlling wearable device on basis of input by electronic device, and method thereof

Also Published As

Publication number Publication date
KR102125100B1 (en) 2020-06-19

Similar Documents

Publication Publication Date Title
US10353514B2 (en) Systems, methods, and applications for dynamic input mode selection based on whether an identified operating-system includes an application system program interface associated with input mode
KR102015347B1 (en) Method and apparatus for providing mouse function using touch device
AU2013276998B2 (en) Mouse function provision method and terminal implementing the same
US20130106700A1 (en) Electronic apparatus and input method
US9665216B2 (en) Display control device, display control method and program
JP6105822B1 (en) Touch screen control method and apparatus
KR20160050682A (en) Method and apparatus for controlling display on electronic devices
KR20150006180A (en) Method for controlling chatting window and electronic device implementing the same
EP2770413A2 (en) An apparatus for providing a cursor in electronic devices and a method thereof
US10019148B2 (en) Method and apparatus for controlling virtual screen
EP2871572A1 (en) Contents display method and electronic device implementing the same
KR20150046765A (en) Method, apparatus and terminal device for selecting character
EP3070582B1 (en) Apparatus, method, and program product for setting a cursor position
KR102095039B1 (en) Apparatus and method for receiving touch input in an apparatus providing a touch interface
KR102096070B1 (en) Method for improving touch recognition and an electronic device thereof
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
CN103180811A (en) System and method for navigation in user interfface
KR20150025105A (en) Method and apparatus for operating input function in a electronic device
US10719147B2 (en) Display apparatus and control method thereof
KR102208047B1 (en) Method for controlling wearable device and apparatus thereof
CN110622105B (en) Method and apparatus for performing at least one operation based on device context
KR102125100B1 (en) Method for controlling wearable device and apparatus thereof
US10416852B2 (en) Display and interaction method in a user interface
KR102197886B1 (en) Method for controlling wearable device and apparatus thereof
KR20140136854A (en) Application operating method and electronic device implementing the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant