KR100912310B1 - User interface controlling method by detecting user's gestures - Google Patents

User interface controlling method by detecting user's gestures Download PDF

Info

Publication number
KR100912310B1
KR100912310B1 KR1020080068312A KR20080068312A KR100912310B1 KR 100912310 B1 KR100912310 B1 KR 100912310B1 KR 1020080068312 A KR1020080068312 A KR 1020080068312A KR 20080068312 A KR20080068312 A KR 20080068312A KR 100912310 B1 KR100912310 B1 KR 100912310B1
Authority
KR
South Korea
Prior art keywords
display
mobile terminal
user
page
displayed
Prior art date
Application number
KR1020080068312A
Other languages
Korean (ko)
Inventor
김주민
안태억
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR20080035556 priority Critical
Priority to KR1020080035556 priority
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority claimed from US12/196,080 external-priority patent/US9582049B2/en
Application granted granted Critical
Publication of KR100912310B1 publication Critical patent/KR100912310B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Abstract

A method for detecting the gesture of a user and controlling the user interface of a mobile terminal through various methods is provided to input data by executing a command about contents displayed on a mobile terminal. A selection point(12) is set up on a display. A page is indicated on the display. The motion of a mobile terminal generated by the gesture of a user is detected. A scroll of one among the selection point or page is performed. A selectable item which is included in the page is located on surface the selection point of the display. The selectable item is selected in response to the predetermined event.

Description

사용자의 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법{User interface controlling method by detecting user's gestures}User interface controlling method by detecting user's gestures

본 발명은 이동 단말기의 사용자 인터페이스 제어방법에 관한 것이다.The present invention relates to a user interface control method of a mobile terminal.

보다 구체적으로, 본 발명은 사용자의 제스쳐를 감지하여 이동 단말기의 사용자 인터페이스를 제어할 수 있는 다양한 양한 방법을 제공한다.More specifically, the present invention provides various methods for controlling a user interface of a mobile terminal by detecting a gesture of a user.

휴대폰, MP3 플레이어, PMP, 노트북, PDA 등 다양한 휴대용 이동 단말기들이 존재한다. 이들은 휴대성의 특징으로 인해, 입출력을 위한 사용자 인터페이스에 많은 제약이 가해진다. 어느 한 장소에서 고정적으로 사용하는 것이 아니라, 사용자가 이동하면서 사용하는 경우가 많고 휴대용이라는 특성상 기기의 부피가 매우 작기 때문에 일반 PC나 오디오, 대형 TV등에 사용되는 입출력 방식인 쿼티 키보드, 리모컨 등의 입출력장치는 부적절한 경우가 많다.There are various portable mobile terminals such as mobile phones, MP3 players, PMPs, notebooks, and PDAs. Because of their portability, they place many restrictions on the user interface for input and output. It is not used at any one place, but it is often used while the user is moving and the volume of the device is very small due to the nature of the portable device, so the input / output of QWERTY keyboard, remote controller, etc. The device is often inadequate.

때문에, 휴대용 기기에 적합한 사용자 인터페이스가 사용되고 있는데, 터치패드, 터치 스크린, 네비게이션 패드 등을 이용한다.Therefore, a user interface suitable for a portable device is used, and a touch pad, a touch screen, a navigation pad, and the like are used.

이러한 다양한 사용자 인터페이스에도 불구하고, 이동 단말기들의 입출력에 는 많은 제한이 따르고, 사용자도 그만큼 불편을 느끼게 된다.In spite of these various user interfaces, input and output of mobile terminals are subject to many limitations, and the user is also uncomfortable.

휴대폰의 경우를 예로 들면, 통화 기능 외에 다양한 부가 기능을 추가하는 추세인데, 예를 들면, MP3 플레이어, 카메라 기능, 인터넷 접속 기능 등이 추가되고 있다.For example, in the case of a mobile phone, various additional functions are added in addition to a call function. For example, an MP3 player, a camera function, and an internet connection function are added.

이들 많은 기능들은 사용자가 모두 제어할 수 있도록 구성되는 것은 당연하지만, 이동 단말기의 사용 상태에 따라 사용자가 적절하게 기능을 제어하기에는 불편이 따른다.Naturally, many of these functions are configured to be controlled by the user, but it is inconvenient for the user to control the functions properly according to the use state of the mobile terminal.

최근 휴대폰에 많은 부가 기능들이 추가되면서 휴대폰을 조작하기 위해 사용자에게 제공되는 사용자 인터페이스를 개선하기 위한 노력이 계속되고 있다.Recently, as a number of additional functions have been added to a mobile phone, efforts are being made to improve a user interface provided to a user to operate the mobile phone.

휴대폰은 휴대성이라는 특징으로 인해, 입출력을 위한 사용자 인터페이스에 많은 제약이 따른다. 어느 한 장소에서 고정적으로 사용하는 것이 아니라, 사용자가 이동하면서 사용하는 경우가 많고 휴대용이라는 특성상 기기의 부피가 매우 작기 때문에 일반 PC나 오디오, 대형 TV등에 사용되는 입출력 방식인 쿼티 키보드, 리모컨 등의 입출력장치는 부적절한 경우가 많다.Due to the portability of the mobile phone, there are many restrictions on the user interface for input and output. It is not used at any one place, but it is often used while the user is moving and the volume of the device is very small due to the nature of the portable device, so the input / output of QWERTY keyboard, remote controller, etc. The device is often inadequate.

때문에, 휴대용 기기에 적합한 사용자 인터페이스가 사용되고 있는데, 터치패드, 터치 스크린, 네비게이션 패드 등을 이용되기도 한다.Therefore, a user interface suitable for a portable device is used, and a touch pad, a touch screen, a navigation pad, etc. may be used.

이러한 다양한 사용자 인터페이스에도 불구하고, 이동 단말기들의 입출력에는 많은 제한이 따르고, 사용자도 그만큼 불편을 느끼게 된다.Despite these various user interfaces, input and output of mobile terminals are subject to a lot of limitations, and the user also feels uncomfortable.

본 발명은 이동 단말기의 사용자 인터페이스를 제어할 수 있는 다양한 방법을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide various methods for controlling a user interface of a mobile terminal.

본 발명은 이동 단말기를 이용해서 사용자가 다양한 방법으로 명령을 실행하고 데이터를 입력할 수 있는 사용자 인터페이스를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a user interface that allows a user to execute commands and input data in various ways using a mobile terminal.

본 발명의 일 실시예에 따른 디스플레이를 포함하는 이동 단말기의 사용자 인터페이스를 제어하는 방법은, 사용자의 제스쳐에 의한 상기 이동 단말기의 움직임을 검출하는 단계; 상기 이동 단말기의 검출된 움직임에 따라 상기 디스플레이에 표시된 페이지 및 선택 포인트 중 적어도 하나를 스크롤하는 단계; 상기 페이지에 표시된 선택가능한 아이템이 상기 디스플레이의 선택 포인트 상에 위치하는지를 판단하는 단계; 및 상기 판단단계에서 상기 선택가능한 아이템이 상기 디스플레이의 선택 포인트 상에 위치한다고 판단하면, 미리 판단된 이벤트에 응답하여 상기 선택가능한 아이템을 선택하는 단계를 포함한다.According to an embodiment of the present invention, a method of controlling a user interface of a mobile terminal including a display includes: detecting a movement of the mobile terminal by a gesture of a user; Scrolling at least one of a page and a selection point displayed on the display according to the detected movement of the mobile terminal; Determining whether a selectable item displayed on the page is located on a selection point of the display; And in response to determining that the selectable item is located on a selection point of the display, selecting the selectable item in response to a predetermined event.

본 발명의 일 실시예에 따른 사용자 인터페이스 제어방법은, 사용자의 제스쳐에 의해 인가되는 이동 단말기의 움직임을 검출하는 단계; 상기 검출된 이동 단말기의 움직임에 따라 상기 이동 단말기의 디스플레이에 표시된 페이지를 스크롤하는 단계; 상기 디스플레이의 입력창의 적어도 일부가 상기 디스플레이에 표시된 페이지의 입력창과 오버랩 또는 경계가 접하는지를 판단하는 단계; 및 상기 판단된 결과에 따라 사용자 인터페이스를 활성화하는 단계를 포함한다.A user interface control method according to an embodiment of the present invention includes detecting a movement of a mobile terminal applied by a gesture of a user; Scrolling a page displayed on a display of the mobile terminal according to the detected movement of the mobile terminal; Determining whether at least a portion of an input window of the display overlaps or borders with an input window of a page displayed on the display; And activating the user interface according to the determined result.

본 발명의 일 실시예에 따른 사용자 인터페이스 제어방법은, 사용자의 제스쳐에 의해 인가되는 이동 단말기의 움직임을 검출하는 단계; 상기 이동 단말기의 움직임에 따라 상기 디스플레이 상에 표시된 페이지를 스크롤하는 단계; 및 상기 디스플레이에 현재 표시된 페이지에 가이드 윈도우를 표시하는 단계를 포함하고, 상기 가이드 윈도우는 상기 디스플레이 현재 표시된 페이지의 축소형이다.A user interface control method according to an embodiment of the present invention includes detecting a movement of a mobile terminal applied by a gesture of a user; Scrolling a page displayed on the display according to the movement of the mobile terminal; And displaying a guide window on the page currently displayed on the display, wherein the guide window is a reduced size of the page currently displayed on the display.

본 발명의 일 실시예에 따른 이동 단말기는, 디스플레이; 사용자의 제스쳐에 의해 인가되는 이동 단말기의 움직임을 검출하도록 구성된 검출기; 및 상기 검출된 이동 단말기의 움직임에 따라, 상기 디스플레이의 페이지 및 상기 디스플레이의 선택 포인트 중 적어도 하나를 스크롤하고, 상기 페이지 내에 표시된 선택 가능한 아이템이 상기 디스플레이의 선택 포인트 상에 위치하였는지 여부를 판단하고, 상기 선택 가능한 아이템이 상기 디스플레이의 선택 포인트 상에 위치하였다고 판단되면, 미리 판단된 이벤트에 응답하여 상기 선택 가능한 아이템을 선택하도록 상기 디스플레이를 제어하는 제어부를 포함한다.A mobile terminal according to an embodiment of the present invention, a display; A detector configured to detect a movement of the mobile terminal applied by the user's gesture; And scrolling at least one of a page of the display and a selection point of the display according to the detected movement of the mobile terminal, and determining whether a selectable item displayed in the page is located on a selection point of the display, And if it is determined that the selectable item is located on a selection point of the display, the controller controls the display to select the selectable item in response to a predetermined event.

본 발명의 일 실시예에 따른 이동 단말기는, 디스플레이; 사용자 인터페이스; 사용자의 제스쳐에 의해 인가되는 이동 단말기의 움직임을 검출하도록 구성된 검출기; 및 상기 검출된 이동 단말기의 움직임에 따라 상기 디스플레이에 표시된 페이지를 스크롤하고, 상기 디스플레이의 입력 영역의 적어도 일부가 상기 디스플레이에 표시된 페이지의 입력창과 오버랩되거나 또는 경계가 닿는지 여부를 판단하고, 상기 판단 결과를 기반으로 상기 사용자 인터페이스를 활성화하는 제어부를 포 함한다.A mobile terminal according to an embodiment of the present invention, a display; User interface; A detector configured to detect a movement of the mobile terminal applied by the user's gesture; And scrolling a page displayed on the display according to the detected movement of the mobile terminal, determining whether at least a portion of an input area of the display overlaps or reaches a boundary of an input window of a page displayed on the display, and determines the determination. It includes a control for activating the user interface based on the result.

본 발명의 일 실시예에 따른 이동 단말기는, 디스플레이; 사용자의 제스쳐에 의해 인가되는 이동 단말기의 움직임을 검출하도록 구성된 검출기; 및 상기 이동 단말기의 움직임에 따라 상기 디스플레이의 페이지를 스크롤하고, 상기 디스플레이에 현재 표시된 페이지에 추가로, 가이드 윈도우를 표시하도록 상기 디스플레이를 제어하는 제어부를 포함하고, 상기 가이드 윈도우는 상기 디스플레이에 현재 표시된 페이지의 축소형을 포함한다.A mobile terminal according to an embodiment of the present invention, a display; A detector configured to detect a movement of the mobile terminal applied by the user's gesture; And a control unit configured to control the display to scroll a page of the display according to the movement of the mobile terminal and to display a guide window in addition to the page currently displayed on the display, wherein the guide window is currently displayed on the display. Contains miniature pages.

본 발명에 따르면 이동 단말기의 생동감있는 사용자 인터페이스를 제공할 수 있다.According to the present invention, a live user interface of a mobile terminal can be provided.

또한, 본 발명에 따르면 사용자가 다양한 방법으로 이동 단말기에 표시되는 콘텐츠들에 대해 명령을 실행하고 데이터를 입력할 수 있는 사용자 인터페이스를 제공할 수 있다.In addition, the present invention can provide a user interface that allows a user to execute commands and input data on contents displayed on a mobile terminal in various ways.

이하 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1a 및 도 1b는 본 발명에 따른 제스쳐링을 이용한 이동 단말기의 사용자 인터페이스 제어방법을 나타낸다.1A and 1B illustrate a method of controlling a user interface of a mobile terminal using gestures according to the present invention.

본 발명에 따른 이동 단말기에는 자이로 센서, 기울기 센서, 가속도 센서 등의 움직임 센서가 장착될 수 있다. 본 발명에 따른 이동 단말기는 휴대폰, MP3 플레이어, PMP, 컴퓨터 노트북, PDA, 스마트폰 등 모든 종류의 휴대용 기기들을 포함 한다.The mobile terminal according to the present invention may be equipped with a motion sensor such as a gyro sensor, an inclination sensor, an acceleration sensor, and the like. The mobile terminal according to the present invention includes all kinds of portable devices such as a mobile phone, an MP3 player, a PMP, a computer notebook, a PDA, a smart phone.

이하에서는 이동 단말기가 휴대폰인 경우를 가정하고 설명한다. 그러나, 본 발명은 휴대폰에 한정되지 않고, 다양한 종류의 이동 단말기 또는 휴대용 전자 장치도 포함한다.Hereinafter, it is assumed that the mobile terminal is a mobile phone. However, the present invention is not limited to mobile phones, but also includes various types of mobile terminals or portable electronic devices.

본 명세서에 도시된 휴대폰은 소위 "풀 터치 스크린 폰"으로 불리는 휴대폰으로서, 번호나 데이터 입력을 위한 물리적 버튼이 없고, 대신 전면의 대부분을 터치 스크린이 차지한다.The mobile phone shown here is a so-called "full touch screen phone", which has no physical buttons for entering numbers or data, but instead occupies most of the front surface of the touch screen.

휴대폰 등의 이동 단말기를 도 1a에 도시된 바와 같이, 사용자가 손으로 든 상태에서 일정 제스쳐를 인가하면 움직임 센서가 그 움직임을 검출해낸다. 이동 단말기/휴대폰의 제어부는 검출해낸 움직임에 해당하는 기능을 수행한다.As shown in FIG. 1A, when a user applies a certain gesture in a state where a user raises a hand, a motion sensor detects the movement. The controller of the mobile terminal / mobile phone performs a function corresponding to the detected movement.

예컨대, 이동 단말기로 유선 또는 무선 인터넷 브라우징을 하고 있다고 가정한다. 예를 들어, 사용자가 이동 단말기를 오른쪽으로 기울이면, 움직임 센서가 그 기울임을 검출해낸다. 검출해낸 움직임이 오른쪽으로 기울임이면 이동 단말기의 제어부(미도시)는 사용자가 이동 단말기를 기울인 방향으로 현재 보고 있는 웹페이지 상에서 화면을 스크롤시킨다. For example, suppose that you are browsing wired or wireless Internet with a mobile terminal. For example, if the user tilts the mobile terminal to the right, the motion sensor detects the tilt. If the detected movement is tilted to the right, the controller (not shown) of the mobile terminal scrolls the screen on the web page currently viewed in the direction in which the user tilts the mobile terminal.

사용자는 이동 단말기를 다양한 방향 및 각도로 기울일 수 있다. 본 발명에서는 이러한 다양한 방향 및 각도의 기울임에 의해 이동 단말기의 디스플레이에 표시된 페이지(예컨대, 웹페이지 또는 워드 문서 등)이 스크롤 되도록 한다. 이러한 경우에, 페이지 스크롤의 방향은 사용자가 이동 단말기를 기울이는 방향에 의해 판단될 수 있고, 페이지가 스크롤되는 양은 사용자가 이동 단말기를 기울인 각도의 양에 따라 달라질 수 있다. The user can tilt the mobile terminal in various directions and angles. In the present invention, such tilting of various directions and angles causes a page (eg, a web page or a word document) displayed on the display of the mobile terminal to be scrolled. In this case, the direction of page scrolling may be determined by the direction in which the user tilts the mobile terminal, and the amount of scrolling of the page may vary depending on the amount of angle at which the user tilts the mobile terminal.

다른 실시예에서, 사용자는 이동 단말기를 한번 씩 기울일 수 있고(예컨대, 휴대폰을 한 번 흔듬), 페이지가 다음 페이지로 스크롤되어 이동 단말기를 흔든 횟수에 따라 페이지 넘김이 수행될 수 있다. In another embodiment, the user may tilt the mobile terminal once (eg, shake the mobile phone once) and page turning may be performed according to the number of times the page scrolls to the next page and shakes the mobile terminal.

또 다른 실시예에서, 사용자는 이동 단말기를 기울이고, 기울인 상태에서 소정 시간 이상 홀드할 수 있다. 이 경우에, 스크롤되는 거리는 상기 소정 시간에 비례하는 만큼 스크롤될 수 있다. In another embodiment, the user may tilt the mobile terminal and hold it for a predetermined time or more in the tilted state. In this case, the scrolled distance may be scrolled by as much as the predetermined time.

또 다른 실시예에서, 특정 동작(예컨대, 빨리 두번 흔들기)에 의해 디스플레이된 페이지가 자동으로 계속해서 스크롤되도록 할 수 있다. In another embodiment, a page displayed by a particular action (eg, shake twice quickly) may be automatically scrolled continuously.

위 모든 실시예에서, 스크롤되는 방향은 흔들기/기울이기 방향에 의해 판단될 수 있다. 또한, 본 발명의 기울이는 방향은 모든 방향들(예컨대, 디스플레이의 대각선 방향)을 포함하며, 단지 상하좌우에만 한정되지 않는다.In all the above embodiments, the scrolling direction may be determined by the shaking / tilting direction. In addition, the tilting direction of the present invention includes all directions (eg, the diagonal direction of the display), and is not limited to only up, down, left, and right.

도 1b의 좌측화면은 이동 단말기에 의해 브라우징되고 있는 웹 사이트의 일부분을 나타내고, 우측화면은 우측으로 스크롤된 화면을 나타낸다. 도 1a와 같이 사용자가 이동 단말기를 소정각도 오른쪽으로 기울이면, 기울인 방향에 따라 이동 단말기의 스크린에 표시된 콘텐츠가 우측으로 스크롤된다.The left screen of FIG. 1B shows a portion of the web site being browsed by the mobile terminal, and the right screen shows the screen scrolled to the right. As shown in FIG. 1A, when the user tilts the mobile terminal to the right by a predetermined angle, the content displayed on the screen of the mobile terminal is scrolled to the right according to the tilting direction.

사용자가 이동 단말기를 오른쪽으로 소정각도 기울이면 이동 단말기 내에 장착된 움직임 센서가 기울임을 검출하고, 그 검출에 따라 제어부에서 화면을 우측으로 스크롤시킨다. 마찬가지로, 좌측으로 기울이면 좌측으로 스크롤 될 수 있다.When the user tilts the mobile terminal to the right by a predetermined angle, the motion sensor mounted in the mobile terminal detects the tilt, and the control unit scrolls the screen to the right according to the detection. Likewise, tilting left can scroll left.

위와 같은 사용자의 제스쳐를 검출하고 그 제스쳐링에 해당하는 동작을 수행 하는 모드(이하 "제스쳐링 모드"라 한다)는 사용자의 선택에 의해 활성화 또는 비활성화시킬 수 있다. 즉, 본 발명에 따른 이동 단말기의 제스쳐링 모드는 사용자가 이동 단말기에 인가한 다양한 제스쳐에 따라 이동 단말기가 동작하고 사용자 인터페이스를 제어하는 모드이다. The mode of detecting the user's gesture as described above and performing an operation corresponding to the gesture may be activated or deactivated by the user's selection. That is, the gesture mode of the mobile terminal according to the present invention is a mode in which the mobile terminal operates according to various gestures applied to the mobile terminal and controls the user interface.

즉, 도 1a에서 이동 단말기의 일측에 활성화 버튼(11)을 마련하고, 사용자가 활성화 버튼(11)을 누르거나 소정 시간 이상 눌려진 경우에만 제스쳐링 모드가 활성화되도록 할 수 있다.That is, in FIG. 1A, an activation button 11 may be provided on one side of the mobile terminal, and the gesture mode may be activated only when the user presses the activation button 11 or is pressed for a predetermined time or more.

제스쳐링 모드를 활성화시키는 다양하게 변경될 수 있다. 예컨대, 실시예에 따라서는, 물리적인 활성화키(11)를 사용하지 않고, 사용자의 조작을 통해 이동 단말기 내에 설치된 소프트웨어를 작동시켜서 제스쳐링을 검출해내는 모드로 진입하도록 할 수도 있다. Various changes may be made to activate the gesture mode. For example, depending on the embodiment, the software installed in the mobile terminal may be operated by the user's operation without using the physical activation key 11 to enter the mode for detecting the gesture.

또한, 사용자의 특정 제스쳐링을 지정하여 제스쳐링 모드에 진입하거나, 제스쳐링 모드에서 빠져나오도록 할 수도 있다. 예컨대, 사용자가 이동 단말기를 흔들면 제스쳐링 모드에 들어가서 이동 단말기의 제어부가 움직임 센서가 측정한 제스쳐링에 따른 동작을 실행하도록 할 수도 있고, 또한 제스쳐링 모드에서 이동 단말기를 흔들면 제스쳐링 모드에서 빠져나오도록 구성할 수도 있다.In addition, a user's specific gesture may be designated to enter or exit the gesture mode. For example, when the user shakes the mobile terminal, the mobile terminal enters the gestured mode, and the controller of the mobile terminal may execute an operation according to the gesture measured by the motion sensor. Also, when the user shakes the mobile terminal in the gestured mode, the mobile terminal exits the gestured mode. It can also be configured to

또한, 사용자가 이동 단말기를 바라보는 각도를 특정하여 놓고, 그 특정 각도에서 소정 시간이상 멈춰 있으면 제스쳐링 모드가 활성화 되도록 할 수도 있다. 즉, 사용자가 이동 단말기를 잡은 채로 예컨대, 3초 이상 그대로 멈춰 있으면, 이동 단말기 내의 움직임 센서에서 아무런 움직임이 없음을 검출하고 제스쳐링 모드 로 진입하도록 할 수도 있다. 사용자가 이동 단말기를 사용하지 않는 경우에는 디스플레이의 전원이 오프되도록 구성하고, 디스플레이의 전원이 오프된 경우에는 제스쳐링 모드도 활성화되지 않도록 할 수 있다.In addition, the user may specify an angle at which the user views the mobile terminal, and the gesture mode may be activated when the user stops for a predetermined time. In other words, if the user stops, for example, 3 seconds or more while holding the mobile terminal, the motion sensor in the mobile terminal may detect that there is no movement and enter the gesturing mode. When the user does not use the mobile terminal, the display may be configured to be turned off, and when the display is turned off, the gesture mode may not be activated.

비제한적인 예로서, 도 2a와 같이 사용자가 활성화키(11)를 누른 상태에서 이동 단말기의 상부가 사용자에게 근접하도록, 즉 이동 단말기의 디스플레이가 아래 방향을 향하도록 기울이면(수평축에 대해 아래로 향하도록 기울이면), 도 2b와 같이 화면이 웹페이지의 아래쪽으로 스크롤될 수 있다. 이동 단말기의 디스플레이가 위쪽으로 향하도록 기울이면 화면이 웹페이지의 위쪽으로 스크롤되도록 구성될 수 있다.As a non-limiting example, if the user presses the activation key 11 and tilts the top of the mobile terminal close to the user, that is, the display of the mobile terminal faces downward as shown in FIG. 2A (down to the horizontal axis). Tilted), the screen may scroll down the webpage as shown in FIG. 2B. When the display of the mobile terminal is tilted upward, the screen may be configured to scroll upward of the web page.

실시예에 따라서는, 이동 단말기를 소정 각도 이상으로 기울일 때마다, 일정 거리만큼 스크롤 시킬 수도 있다. 즉, 미리 설정된 임계 각도 이상으로 이동 단말기를 기울였을 때 정해진 거리만큼 스크롤시킬 수 있다. 또는 이동 단말기를 원래 위치에서 조금이라도 기울이면 스크롤를 개시하도록 하고, 이동 단말기를 기울이는 각도에 비례하는 길이만큼 화면이 웹페이지를 스크롤하도록 구성할 수도 있다.According to an exemplary embodiment, whenever the mobile terminal is tilted more than a predetermined angle, the mobile terminal may be scrolled by a predetermined distance. That is, when the mobile terminal is tilted more than a preset threshold angle, it may scroll by a predetermined distance. Alternatively, when the mobile terminal is tilted at least slightly from its original position, scrolling may be started, and the screen may be configured to scroll the web page by a length proportional to the angle of tilting the mobile terminal.

이동 단말기를 기울이는 방향에 따라 스크롤되는 방향도 다양하게 변형될 수 있다. 예컨대, 위의 경우와 반대로 우측으로 기울일 때 좌측으로, 좌측으로 기울일 때 우측으로, 위로 기울일 때 아래로, 아래로 기울일 때 위로 스크롤되도록 할 수 있다.The scrolling direction may also be variously modified according to the tilting direction of the mobile terminal. For example, it is possible to scroll to the left when tilted to the right, to the right when tilted to the left, to the right when tilted up, to the bottom when tilted up, and to the top when tilted down.

휴대폰 등의 이동 단말기에는 통상적으로 일반 PC와 같은 키보드나 마우스가 장착되어 있지 않다. 따라서, 사용자가 휴대폰 등의 이동 단말기를 이용하여 인터넷에 접속하는 경우에는 터치 스크린 상에서 스타일러스 펜을 마우스 대신 사용하여 하이퍼링크나 각종 가상 버튼 등의 선택가능한 아이템들을 클릭, 더블클릭 또는 드래그하여 명령을 실행하게 된다.Mobile terminals such as mobile phones are usually not equipped with a keyboard or a mouse like a general PC. Therefore, when a user connects to the Internet using a mobile terminal such as a mobile phone, a command can be executed by clicking, double-clicking or dragging selectable items such as hyperlinks or various virtual buttons using a stylus pen instead of a mouse on the touch screen. Done.

또한, 종래의 이동 단말기에서는 타이핑을 할 때에는 터치 스크린 상에서 검색창이나 로그인을 위한 ID와 패스워드 입력을 위한 창에 커서를 옮겨놓고 버튼을 입력하거나 가상 입력창을 띄우거나 필기체 인식 모드로 전환하여 문자들을 입력한다.Also, in the conventional mobile terminal, when typing, the cursor is moved to a window for inputting an ID and password for a search window or a login on a touch screen, a button is pressed, a virtual input window is displayed, or a handwriting recognition mode is switched. Enter it.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 이동 단말기에 디스플레이되는 화면 상의 선택가능한 아이템을 선택하는 방법의 예를 나타낸다.3A and 3B illustrate an example of a method of selecting a selectable item on a screen displayed on a mobile terminal according to an embodiment of the present invention.

이동 단말기를 이용하여 인터넷을 브라우징하는 경우에, 웹페이지에 하이퍼링크(13)가 도 3a와 같이 배치되어 있다고 가정한다. 이동 단말기의 디스플레이의 임의의 위치를 선택 포인트(12)로 설정할 수 있다. 바람직하게는 선택 포인트(12)는 디스플레이의 중심부에 위치한다. 그러나, 사용자가 선택 포인트의 위치를 설정할 수 있도록 구성할 수 있다. 선택 포인트(12)는 이동 단말기의 디스플레이 상에 고정된 것으로서, 웹 페이지를 스크롤하여도 디스플레이 상의 선택 포인트(12) 의 위치는 변하지 않는다. 선택 포인트(12)는 눈에 보이지 않도록 할 수도 있고, 사용자가 그 위치를 식별하기 위한 마크를 표시하여 사용자가 그 위치를 시각적으로 확인하도록 할 수도 있다. 다른 실시예에서, 선택 포인트(12)는 선택 영역일 수 있다.When browsing the Internet using a mobile terminal, it is assumed that a hyperlink 13 is arranged on a web page as shown in FIG. 3A. Any position of the display of the mobile terminal may be set as the selection point 12. The selection point 12 is preferably located in the center of the display. However, it can be configured to allow the user to set the location of the selection point. The selection point 12 is fixed on the display of the mobile terminal, and the position of the selection point 12 on the display does not change even when the web page is scrolled. The selection point 12 may be invisible or may display a mark for the user to identify the location so that the user can visually confirm the location. In other embodiments, the selection point 12 may be a selection area.

도 3a의 상태에서 사용자가 이동 단말기를 도 2a와 같이 이동 단말기의 디스플레이가 아래방향을 향하도록(즉, 이동 단말기의 상부가 사용자 쪽으로 근접하도록) 기울이면 도 3b와 같이 이동 단말기에 표시된 웹페이지가 스크롤되어 하이퍼링크(13)가 선택 포인트(12) 상에 놓이게 된다. 이 때, 사용자가 하이퍼링크(13)를 손가락이나 스타일러스로 클릭하면 하이퍼링크(13)를 실행할 수 있다.In the state of FIG. 3A, when the user tilts the mobile terminal so that the display of the mobile terminal faces downward (ie, the upper portion of the mobile terminal is closer to the user) as shown in FIG. 2A, the web page displayed on the mobile terminal is displayed as shown in FIG. 3B. The scroll causes the hyperlink 13 to rest on the selection point 12. At this time, when the user clicks the hyperlink 13 with a finger or a stylus, the hyperlink 13 may be executed.

다른 실시예에서는, 하이퍼링크(13)가 선택 포인트(12) 상에 놓였을 때, 이동 단말기 상의 소정 버튼을 누르면 하이퍼링크(13)가 실행되도록 구성될 수 있다.In another embodiment, when the hyperlink 13 is placed on the selection point 12, pressing the predetermined button on the mobile terminal may be configured to execute the hyperlink 13.

하이퍼링크(13)가 선택 포인트(12)의 위치에 왔을 때, 하이퍼링크를 클릭할 수 있음을 표시하기 위한 표시자(14)를 표시하여 하이퍼링크가 선택가능한 상태임을 표시할 수 있다. 표시자(14)가 표시된 상태에서 이동 단말기 상의 외부에 배치된 특정 물리적 버튼을 누르면 하이퍼링크(13)가 실행되도록 구성할 수 있다.When the hyperlink 13 arrives at the location of the selection point 12, an indicator 14 can be displayed to indicate that the hyperlink can be clicked to indicate that the hyperlink is in a selectable state. When the indicator 14 is displayed, the hyperlink 13 may be configured to be executed by pressing a specific physical button disposed outside the mobile terminal.

하이퍼링크(13)의 실행은 하이퍼링크된 웹사이트에 액세스하고 디스플레이에 표시하는 동작, 상기 하이퍼링크와 관련된 소정의 동작을 수행하는 동작 등을 포함할 수 있다. Execution of the hyperlink 13 may include accessing and displaying a hyperlinked website on a display, performing an operation related to the hyperlink, and the like.

다른 실시예에서는 하이퍼링크(13)가 선택 포인트(12) 상에 놓인 상태에서 소정 시간 예컨대 2초 이상 멈춰 있으면 별도의 동작 없이도 하이퍼링크가 연결되도록 구성할 수 있다. In another embodiment, if the hyperlink 13 stops for a predetermined time, for example, 2 seconds or more in a state where the hyperlink 13 is placed on the selection point 12, the hyperlink may be connected without a separate operation.

또 다른 실시예에서, 하이퍼링크(13)가 선택 포인트(12)에 상에 있을 때, 사용자가 이동 단말기를 흔들면, 하이퍼링크(13)가 수행되도록 할 수 있다. 또 다른 실시예에서, 하이퍼링크(13)가 선택 포인트(12)에 놓이면 디스플레이된 페이지의 스크롤이 자동으로 정지되도록 할 수 있다. 스크롤이 정지된 상태에서 사용자가 이동 단말기를 흔들거나, 버튼을 누르거나, 소정의 동작을 취하면 하이퍼링크(13)가 수행되도록 구성할 수 있다.In another embodiment, when the user is shaking the mobile terminal when the hyperlink 13 is on the selection point 12, the hyperlink 13 may be performed. In another embodiment, the scrolling of the displayed page may be automatically stopped when the hyperlink 13 is placed on the selection point 12. The hyperlink 13 may be performed when the user shakes the mobile terminal, presses a button, or takes a predetermined operation while the scrolling is stopped.

또는, 하이퍼링크(13)가 선택 포인트(12) 상에 놓이면 화면의 일부분에 선택할 수 있는 가상 버튼을 디스플레이하고 사용자가 그 가상 버튼을 클릭하였을 때 하이퍼링크가 실행되도록 구성할 수 있다.Alternatively, if the hyperlink 13 is placed on the selection point 12, a virtual button that can be selected is displayed on a portion of the screen, and the hyperlink is executed when the user clicks the virtual button.

위와 같은 실시예는 이동 단말기를 이용하여 인터넷을 브라우징하는 경우에, 하이퍼링크 외에도 웹페이지에 표시되는 임의의 가상 버튼들을 선택하는데도 적용될 수 있다. 예컨대, 웹 페이지에 동영상 재생용 화면이 표시되어 있는 경우 그 동영상을 재생, 포즈, 정지시키는 등의 조작을 위한 가상 버튼들을 선택하는 경우에도 적용할 수 있다.The above embodiment may be applied to selecting any virtual buttons displayed on a web page in addition to hyperlinks when browsing the Internet using a mobile terminal. For example, when a video playback screen is displayed on a web page, the present invention can also be applied to selecting virtual buttons for operations such as playing, posing, and stopping the video.

다른 실시예에서는, 도 4a와 같이 이동 단말기의 디스플레이 상의 선택 포인트에 표시자(14)를 표시하고, 사용자가 이동 단말기를 기울여서 하이퍼링크(13)가 선택 포인트에 오는 경우 선택 가능함을 나타내는 사용자 인터페이스를 활성화할 수 있다. 예컨대, 도 4b와 같이 표시자(14)를 다른 형태로 변경하여 선택가능한 상태임을 표시할 수 있다. 도 4b와 같이 변경된 표시자(14)가 표시된 상태에서 사용자가 하이퍼링크(13)를 클릭하거나, 이동 단말기 상의 물리적 버튼을 누르면 하이퍼링크가 실행되도록 구성될 수 있다.In another embodiment, an indicator 14 is displayed at a selection point on the display of the mobile terminal as shown in FIG. 4A and a user interface indicating that the user selects when the hyperlink 13 comes to the selection point by tilting the mobile terminal. It can be activated. For example, as shown in FIG. 4B, the indicator 14 may be changed to another form to indicate that it is in a selectable state. In the state where the changed indicator 14 is displayed as shown in FIG. 4B, when the user clicks the hyperlink 13 or presses a physical button on the mobile terminal, the hyperlink may be executed.

일 실시예에서는, 표시자(14)가 표시된 상태에서 도 5와 같이 사용자가 이동 단말기를 흔들면, 이동 단말기의 움직임 센서가 흔들기 제스쳐를 검출하여 해당 하이퍼링크가 실행되도록 구성할 수 있다. 사용자가 흔들기 제스쳐를 가하기 전에 이동 단말기의 일측에 장착된 활성화키(15) 또는 다른 특정 물리적 버튼을 누른 상태에서만 흔들기 제스쳐에 응답하여 하이퍼링크가 실행되도록 구성할 수 있다.According to an embodiment, when the user shakes the mobile terminal as shown in FIG. 5 while the indicator 14 is displayed, the motion sensor of the mobile terminal may detect the shake gesture to execute the corresponding hyperlink. Before the user applies the shake gesture, the hyperlink may be executed in response to the shake gesture only while pressing the activation key 15 mounted on one side of the mobile terminal or another specific physical button.

위 이동 단말기를 흔드는 제스쳐에 관한 실시예는 하이퍼링크를 실행하는 경우 외에 화면에 표시된 가상 버튼을 클릭하는 경우에도 적용될 수 있다.The above-described embodiment of the gesture of shaking the mobile terminal may be applied to the case of clicking a virtual button displayed on the screen in addition to executing a hyperlink.

본 발명의 일 실시예에 따라, 활성화키(15) 또는 다른 특정 물리적 버튼을 누른 상태에서 이동 단말기를 기울이면 화면은 고정되고, 선택 포인트(12)가 화면상에서 이동되도록 구성할 수 있다.According to an embodiment of the present invention, when the mobile terminal is tilted while pressing the activation key 15 or another specific physical button, the screen is fixed and the selection point 12 may be configured to move on the screen.

즉, 도 6a와 같이 이동 단말기의 디스플레이에 웹 페이지가 디스플레이된 상태에서, 사용자가 활성화키(15)를 눌러서 홀드하고 이동 단말기를 기울이면, 화면은 고정되어 움직이지 않고(웹 페이지는 고정된 상태로 디스플레이되고), 선택 포인트(12)만 이동하도록 구성될 수 있다. 사용자가 선택 포인트(12)를 적절히 이동시켜(예컨대, 활성화 버튼(15)을 누른 상태에서 이동 단말기를 기울여서) 선택 포인트(12)가 하이퍼링크(13) 상에 놓이면 도 6b와 같이 선택 포인트(12)는 표시 자(14)로 바뀌고 하이퍼링크(13)는 실행가능한 상태가 된다. 표시자(14)가 표시된 상태에서 사용자가 하이퍼링크(13)를 클릭하거나, 이동 단말기 상의 물리적 버튼을 누르거나 또는 전술한 다른 방법에 의해 하이퍼링크가 실행되도록 구성될 수 있다. 이 때 사용자는 선택 포인트(12)를 디스플레이 상에서 임의의 방향으로 이동시킬 수 있다.That is, in a state where a web page is displayed on the display of the mobile terminal as shown in FIG. 6A, when the user presses and holds the activation key 15 and tilts the mobile terminal, the screen is fixed and does not move (the web page is fixed). And select point 12 only. If the user moves the selection point 12 appropriately (for example, by tilting the mobile terminal while pressing the activation button 15) and the selection point 12 is placed on the hyperlink 13, the selection point 12 as shown in FIG. 6B. ) Is replaced by an indicator 14 and the hyperlink 13 becomes executable. With the indicator 14 displayed, the user may be configured to execute the hyperlink by clicking on the hyperlink 13, pressing a physical button on the mobile terminal, or by any other method described above. The user can then move the selection point 12 in any direction on the display.

다른 실시예에서, 버튼(15)을 누르지 않고, 사용자는 전술한 바와 같이 이동 단말기를 기울임으로써 페이지를 스크롤할 수 있다. 그리고 나서, 사용자가 버튼(15)을 누르고 이동 단말기를 기울여서 임의의 방향(예컨대, 대각선, 상하좌우 등)으로 선택 포인트를 이동시킬 수 있다.In another embodiment, without pressing the button 15, the user can scroll the page by tilting the mobile terminal as described above. The user may then press the button 15 and tilt the mobile terminal to move the selection point in any direction (eg, diagonal, up, down, left, right, etc.).

실시예에 따라서는, 표시자(14)가 표시된 상태에서 도 5와 같이 사용자가 이동 단말기를 흔들면, 이동 단말기의 움직임 센서가 흔들기 제스쳐를 검출하여 해당 하이퍼링크가 실행되도록 구성할 수 있다. 사용자가 흔들기 제스쳐를 가하기 전에 이동 단말기의 일측에 장착된 활성화키(15)에서 손을 떼거나 또는 다른 특정 물리적 버튼을 누른 상태에서만 위와 같이 흔들기 제스쳐에 반응하여 하이퍼링크가 실행되도록 구성할 수 있다.According to an embodiment, when the user shakes the mobile terminal as shown in FIG. 5 while the indicator 14 is displayed, the motion sensor of the mobile terminal may detect the shake gesture and configure the hyperlink to be executed. Before the user applies the shaking gesture, the hyperlink may be executed in response to the shaking gesture as described above only while releasing the activation key 15 mounted on one side of the mobile terminal or pressing another specific physical button.

웹 페이지를 브라우징 할 때 웹 페이지 상의 하이퍼링크가 가상 버튼을 클릭하는 경우도 있으나, 검색을 하거나 로그인을 하기 위해 문자나 숫자를 입력해야하는 경우가 있다. 키보드가 장착되어 있지 않은 휴대폰이나 PDA 또는 간소화된 키보드를 장착한 이동 단말기(즉, 휴대폰)에서는 문자나 심볼을 타이핑하기 위한 키 보드 입력을 위한 인터페이스가 요구된다.When browsing a web page, a hyperlink on the web page may click a virtual button, but sometimes you need to enter letters or numbers to search or log in. Cell phones or PDAs without keyboards or mobile terminals (i.e. mobile phones) with simplified keyboards require an interface for keyboard input for typing letters or symbols.

본 발명의 실시예에 따르면, 사용자가 키보드 입력용 인터페이스를 표시한 별도의 조작없이도 인터페이스를 제공할 수 있다. According to an embodiment of the present invention, an interface may be provided without a separate operation in which a user displays an interface for keyboard input.

도 7a와 같이 휴대폰/이동 단말기의 디스플레이의 일부분에 입력 영역(16)을 설정한다. 입력 영역(16)은 통상적인 인터넷 웹페이지의 입력창과 같은 형태인 직사각형으로 설정하는 것이 바람직하다. 입력 영역(16)은 눈에 보이지 않도록 표시할 수도 있고, 점선이나 눈에 잘 띄지 않는 색깔의 선, 기타 방식으로 표시할 수도 있다. 일 실시예에서, 입력 영역(16)은 음영이나 다른 색으로 표시될 수도 있다. 이동 단말기의 디스플레이 상에 표시된 페이지(예컨대, 웹 페이지)는 사용자가 데이터나 정보를 입력하기 위한 입력창(17)를 가질 수 있다.As shown in FIG. 7A, an input area 16 is set on a part of the display of the cellular phone / mobile terminal. The input area 16 is preferably set to a rectangle having the same shape as an input window of a typical Internet web page. The input area 16 may be displayed invisibly, or may be displayed in a dotted line, invisible colored lines, or in other ways. In one embodiment, the input area 16 may be displayed in shades or other colors. The page (eg, web page) displayed on the display of the mobile terminal may have an input window 17 for the user to input data or information.

실시예에 따라서는 입력 영역(16)은 디스플레이의 다른 영역과 구분되도록 음영으로 표시 할 수도 있다. 일 실시예에서, 입력 영역(16)은 디스플레이 상에 고정되고 이동하지 않을 수 있다. In some embodiments, the input area 16 may be shaded to distinguish it from other areas of the display. In one embodiment, the input area 16 may be fixed on the display and not move.

도 7a와 같이 입력 영역(16)과 입력창(17)이 서로 다른 위치에 있는 상태에서 사용자가 입력창(17)에 입력을 하기 위해서 입력 영역(16)과 입력창(17)을 일치시킨다. 도 1a 내지 도 2b와 같이 사용자가 이동 단말기를 기울여서 입력창(17)을 스크롤시켜 입력창(17)과 입력 영역(16)이 오버랩 되도록 구성할 수 있다.As shown in FIG. 7A, the user inputs the input area 16 and the input window 17 so that the user inputs the input window 17 while the input area 16 and the input window 17 are located at different positions. As shown in FIGS. 1A to 2B, the user may tilt the mobile terminal to scroll the input window 17 so that the input window 17 and the input area 16 overlap each other.

이 경우에, 사용자는 이동 단말기를 기울여서 기울여진 방향으로 페이지를 스크롤/이동시킬 수 있으며, 이 경우는 페이지 상에서 입력창(17)가 이동하게 된 다. 기울이는 방향을 제어함으로써, 사용자는 입력창(17)를 이동시켜 입력 영역(16) 위에 입력창(17)가 놓이게 하거나(부분적으로, 또는 전체가 오버랩되도록), 또는 입력 영역(16)과 입력창(17)의 경계가 접하도록 할 수 있다.In this case, the user can tilt the mobile terminal to scroll / move the page in the tilted direction, in which case the input window 17 is moved on the page. By controlling the tilting direction, the user moves the input window 17 so that the input window 17 is placed on the input area 16 (partly or entirely overlapping), or the input area 16 and the input window. The boundary of (17) can be made to contact.

오버랩되거나 접했을 때 디스플레이에 사용자 인터페이스를 활성화시킬 수 있다. 예컨대, 화면의 하단에 키보드 문자를 입력할 수 있는 가상 키보드(18)를 표시할 수 있다. 가상 키보드(18)는 통상적인 휴대폰에 장착되는 형태의 키보드일 수도 있고, 쿼티 자판일 수도 있다.The user interface can be activated on the display when overlapped or encountered. For example, the virtual keyboard 18 capable of inputting keyboard characters may be displayed at the bottom of the screen. The virtual keyboard 18 may be a keyboard mounted on a conventional mobile phone or a qwerty keyboard.

가상 키보드(18)가 표시되면, 입력창(17)으로 포커스가 이동하여 사용자가 키보드(18)의 키들을 예컨대 손가락이나 스타일러스로 터치함으로써 입력창(17)에 문자를 입력할 수 있다.When the virtual keyboard 18 is displayed, the focus moves to the input window 17 so that the user can input characters into the input window 17 by touching keys of the keyboard 18 with a finger or a stylus, for example.

가상 키보드(18)를 이용하지 않고도 문자를 입력할 수 있다. 예컨대, 터치 스크린이 장착되지 않은 일반 이동 단말기의 경우에는 입력 영역(16)과 입력창(17)이 오버랩되는 경우에 포커스만 입력창(17)으로 이동시킬 수 있다. 이 경우에는 사용자는 이동 단말기에 장착되어 있는 물리적 키보드를 누름으로써 문자를 입력할 수 있다.Characters can be input without using the virtual keyboard 18. For example, in the case of a general mobile terminal without a touch screen, only the focus may be moved to the input window 17 when the input area 16 and the input window 17 overlap each other. In this case, the user can input characters by pressing a physical keyboard mounted on the mobile terminal.

선택적으로 가상 키보드(18) 대신에 가상 필기체 입력창을 표시하여 터치 스크린 상의 필기체 인식을 통해 문자를 입력할 수 있다.Optionally, a virtual handwriting input window may be displayed instead of the virtual keyboard 18 to input characters through handwriting recognition on a touch screen.

본 발명의 다른 실시예에서는 입력 영역(16)을 시각적으로 표시하는 동시에, 입력창이 입력 가능한 상태가 되었을 때, 사용자에게 이를 시각적으로 표시할 수 있다. In another embodiment of the present invention, the input area 16 may be visually displayed, and when the input window is in a state in which the input window can be input, the user may be visually displayed.

버튼(가상 또는 물리적 버튼)을 선택하거나, 특정 동작을 수행함으로써(예컨대 이동 단말기를 기울이거나, 이동 단말기를 한번 이상 흔들거나, 디스플레이의 소정 영역을 터치하는 등), 사용자는 디스플레이된 가상 키보드가 없어지도록 하거나, 또는 디스플레이된 페이지를 이전 페이지로 돌아가도록 할 수 있다.By selecting a button (virtual or physical button), or performing a specific action (such as tilting the mobile terminal, shaking the mobile terminal more than once, or touching a certain area of the display), the user does not have a virtual keyboard displayed. Or the displayed page can be returned to the previous page.

도 8a와 같은 상태에서, 사용자가 이동 단말기를 조작하여 입력 영역(16)와 입력창(17)의 적어도 일부를 겹치게 하거나, 그 경계가 닿도록 한다. 도 8b와 같이 입력 영역(16)과 입력창(17)이 오버랩되면 키보드(18)가 표시된다. In the state as shown in FIG. 8A, the user operates the mobile terminal to overlap at least a portion of the input area 16 and the input window 17 or to contact the boundary thereof. As shown in FIG. 8B, when the input area 16 and the input window 17 overlap, the keyboard 18 is displayed.

추가적으로, 입력 영역(16)과 입력창(17)이 오버랩되는 라인을 굵은 선(16+17)으로 표시하거나, 오버랩된 라인을 밝게 또는 구별되는 색으로 표시하여 사용자가 문자를 입력할 수 있는 모드가 되었음을 쉽게 인지하도록 할 수 있다.In addition, a mode in which the user can input characters by displaying a line overlapping the input area 16 and the input window 17 as a thick line 16 + 17, or by displaying the overlapping line in a bright or distinct color. You can easily recognize that

도 7a 및 도 8a에서 입력 영역(16)과 입력창(17)의 크기가 다를 수 있다. 입력 영역(16)은 일정한 크기로 표시할 수 있지만, 입력창(17)은 웹페이지마다 다를 수 있기 때문이다. 이 경우 도 9과 같이 입력 영역(16)과 입력창(17)이 서로 오버랩되는 부분(19)이 발생할 때 키보드(예컨대, 도 7b,8b의 18)를 표시하도록 구성할 수 있다. 즉, 도 9와 같이, 입력 영역(16)과 입력창(17)이 조금이라도 겹치는 부분이 있을 때 키보드를 표시할 수 있다.7A and 8A, the size of the input area 16 and the input window 17 may be different. This is because the input area 16 may be displayed in a constant size, but the input window 17 may be different for each web page. In this case, as shown in FIG. 9, when a portion 19 in which the input area 16 and the input window 17 overlap each other occurs, the keyboard (eg, 18 of FIGS. 7B and 8B) may be displayed. That is, as shown in FIG. 9, the keyboard may be displayed when there is a portion where the input area 16 and the input window 17 overlap at all.

실시예에 따라서는, 입력 영역(16)이 입력창(17)에 의해 오버랩되는 부분이 소정 면적 이상이 될 때 키보드를 표시하도록 구성할 수도 있다.According to an exemplary embodiment, the input area 16 may be configured to display a keyboard when a portion overlapped by the input window 17 becomes more than a predetermined area.

입력 영역의 한 모서리(16a)와 입력창의 한 모서리(17a)가 겹치는 경우를 오버랩된 것으로 판단하도록 설정할 수도 있고, 도 9b와 같이 입력 영역의 두 개의 모서리(16a,16b)와 입력창의 두개의 모서리(17a,17b)가 오버랩 된 경우 오버랩된 것으로 판단하도록 설정할 수도 있다.The case where one corner 16a of the input area overlaps with one corner 17a of the input window may be set to be overlapped. As shown in FIG. If (17a, 17b) overlap, it may be set to determine that the overlap.

또한, 입력 영역(16)을 상대적으로 작게 설정하고, 입력 영역(16)이 입력창(17)안에 포함되었을 때 오버랩된 것으로 판단하여 가상 키보드를 표시할 수 있다.In addition, the input area 16 may be set relatively small, and when the input area 16 is included in the input window 17, the input area 16 may be determined to overlap and the virtual keyboard may be displayed.

본 발명의 일 실시예에 따라, 입력 영역(16)과 입력창(17)이 오버랩되면 문자를 입력할 수 있는 키보드나 필기체 입력창을 표시하고, 이 상태에서 사용자가 특정 버튼을 누르면 입력 모드 상태로 잠금하여, 사용자가 이동 단말기를 움직여도 키보드가 필기체 입력창 등의 문자 입력 메뉴가 그대로 유지되도록 구성할 수 있다. 즉 입력 영역(16)과 입력창(17)이 오버랩되지 않아도 문자 입력 메뉴가 그대로 유지되도록 구성할 수 있다.According to an embodiment of the present invention, when the input area 16 and the input window 17 overlap, a keyboard or a handwriting input window for inputting characters is displayed, and when the user presses a specific button in this state, the input mode state is displayed. By locking, the keyboard may be configured to maintain a text input menu such as a cursive input window even when the user moves the mobile terminal. That is, even if the input area 16 and the input window 17 do not overlap, the text input menu may be maintained as it is.

상기 특정 버튼은 이동 단말기 외부에 장착되어 있는 물리적인 버튼일 수도 있고, 이동 단말기의 터치 스크린상에 표시되는 가상 버튼일 수도 있다. The specific button may be a physical button mounted outside the mobile terminal, or may be a virtual button displayed on a touch screen of the mobile terminal.

선택적으로, 상기 입력 영역(16)과 입력창(17)이 오버랩된 상태에서 일정시간, 예컨대 2초 이상 머무르면 문자 입력 모드로 잠금되도록 설정할 수 있다. 즉, 입력 영역(16)과 입력창(17)이 오버랩되어 문자 입력 모드가 활성화된 상태에서 일정 시간 이상 그대로 멈춰있으면 문자 입력 모드로 잠금되어 이동 단말기를 기울이거나 움직여도 문자 입력 메뉴가 유지되도록 구성할 수 있다.Optionally, the input area 16 and the input window 17 may be set to be locked in the text input mode when the input area 16 and the input window 17 stay for a predetermined time, for example, 2 seconds or more. That is, if the input area 16 and the input window 17 overlap and remain stopped for a predetermined time while the text input mode is activated, the text input menu is locked so that the text input menu is maintained even when the mobile terminal is tilted or moved. Can be.

도 7a 내지 도 9에서, 입력 영역(16)은 미리 설정된 위치에 고정되어 디스플레이되고, 이동 단말기를 움직여서 입력창(17)이 이동되어도 입력 영역(16)은 움직이지 않을 수 있다. 여기서, 사용자는 메뉴를 제어함으로써 입력 영역(16)의 미리 설정되는 위치를 변경할 수 있다. 또 다른 실시예에서, 도 6a 및 6b와 유사하게, 입력 영역(16)은 입력창(17)이 고정된 상태에서, 사용자가 이동 단말기를 이동시킴에 따라 이동될 수 있다.7A to 9, the input area 16 is fixedly displayed at a preset position and the input area 16 may not move even when the input window 17 is moved by moving the mobile terminal. Here, the user can change the preset position of the input area 16 by controlling the menu. In another embodiment, similar to FIGS. 6A and 6B, the input area 16 may be moved as the user moves the mobile terminal while the input window 17 is fixed.

본 발명의 다른 실시예에 따라, 이동 단말기 내에 움직임 센서를 장착하고 과 같이 사용자가 활성화키(11)를 누른 상태에서 이동 단말기를 움직이면 그 움직임에 반응하여 도 1b나 도 2b와 같이 웹페이지를 스크롤시키도록 구성할 수 있다. 이 경우에도 마찬가지로 전술한 선택 포인트가 선택가능한 아이템 상에 놓이거나, 입력 영역과 입력창이 오버랩되면 사용자 인터페이스를 활성화시켜서 사용자가 아이템을 선택하거나 정보를 입력하도록 할 수 있다.According to another embodiment of the present invention, when the user moves the mobile terminal while holding the activation key 11 as shown in FIG. 1B and FIG. 1B or 2B, the web page is scrolled in response to the movement. Can be configured to In this case, if the above-described selection point is placed on the selectable item or the input area overlaps with the input window, the user interface can be activated to allow the user to select an item or input information.

본 발명의 일 실시예에 따라, 이동 단말기를 이용하여 인터넷의 웹페이지를 브라우징할 때, 디스플레이에 현재 브라우징하고 있는 부분이 어디인지 표시하는 가이드를 제공할 수 있다. According to an embodiment of the present invention, when browsing a web page of the Internet using a mobile terminal, a guide may be provided that indicates where the currently browsing portion is displayed on the display.

예컨대, 도 11와 같이, 디스플레이의 일부분에 가이드 윈도우(20)를 표시할 수 있다. 가이드 윈도우(20)는 현재 브라우징하고 있는 웹페이지의 전체 화면의 미니어쳐를 포함하고, 가이드 윈도우(20) 내에는 현재 이동 단말기의 디스플레이를 통해 표시되고 있는 부분을 표시하는 위치 표시부(21)가 표시된다. For example, as illustrated in FIG. 11, the guide window 20 may be displayed on a portion of the display. The guide window 20 includes a miniature of the entire screen of the web page currently being browsed, and the position display unit 21 for displaying a portion currently displayed on the display of the mobile terminal is displayed in the guide window 20. .

전술한 실시예들에서의 제스쳐를 통해 웹페이지를 스크롤함에 따라 가이드 윈도우(20) 내에서 위치 표시부(21)가 이동한다. 사용자는 위치 표시부(21)를 통해 자신이 이동 단말기를 통해 보고 있는 부분이 웹페이지의 어느 부분에 해당하는지 인지할 수 있다.As the web page is scrolled through the gestures in the above-described embodiments, the position display unit 21 moves in the guide window 20. The user may recognize through the location display unit 21 which part of the web page he is viewing through the mobile terminal.

일 실시예에 따라서는, 이동 단말기의 조작을 통해 웹페이지가 줌인 또는 줌아웃되는 경우에 위치 표시부(21)도 그에 따라 확대 또는 축소시킬 수 있다.According to an exemplary embodiment, when the web page is zoomed in or zoomed out through the operation of the mobile terminal, the position display unit 21 may be enlarged or reduced accordingly.

실시예에 따라서는, 위치 표시부(21) 내에 선택 포인트(12)나 입력 영역(16)의 위치를 표시할 수도 있다. 그에 따라, 사용자는 가이드 윈도우(20) 만을 보고도 선택 아이템을 선택하거나, 입력창에 문자를 입력하기 위해 스크롤를 수행할 수 있다.According to the embodiment, the position of the selection point 12 or the input area 16 may be displayed in the position display section 21. Accordingly, the user may select only the selected item even by looking only at the guide window 20 or scroll to input text into the input window.

본 발명에 따라서, 하이퍼링크(13) 및 입력창(17)은 선택가능한 아이템의 예이다. 다른 형태의 선택가능한 아이템들도 디스플레이될 수 있으며, 전술한 실시예에서 하이퍼링크(13)가 실행된 방식과 동일하거나 유사한 방식으로 사용자가 이동 단말기를 이동함으로써 사용자에 의해 선택될 수 있다. 다른 형태의 선택가능한 아이템들은 동영상 또는 오디오 데이터의 재생/녹음을 제어하는 기능과 관련된 버튼들 중 하나일 수 있다. 또한, 본 발명의 일 실시예에 따라 사용자 인터페이스를 제어하는데 사용되는 사용자에 의한 이동 단말기의 움직임은 롤링(예컨대, 이동 단말기를 좌우로 회전시키는 동작), 피칭(pitching)(단말기를 상하로 회전시키는 동작), 요잉(yawing)/헤딩(heading)/피봇팅(pivoting)(예컨대 상하좌우로의 피봇 움직임) 및 트랜지션(좌우 이동) 중 하나일 수 있다. 또한, 본 발명에 따라 전술 한 페이지의 스크롤 동작은 페이지 넘김, 줌인/아웃 동작을 포함할 수 있다.According to the invention, the hyperlink 13 and the input window 17 are examples of selectable items. Other types of selectable items may also be displayed and may be selected by the user by moving the mobile terminal in the same or similar manner as the way in which the hyperlink 13 is executed in the above-described embodiment. Another type of selectable items may be one of buttons related to the function of controlling playback / recording of moving picture or audio data. In addition, the movement of the mobile terminal by the user used to control the user interface according to an embodiment of the present invention is rolling (for example, to rotate the mobile terminal to the left and right), pitching (pitching) to rotate the terminal up and down Motion), yawing / heading / pivoting (e.g., pivoting up, down, left and right) and transitions (left and right movements). In addition, according to the present invention, the scroll operation of one page may include a page turning and a zoom in / out operation.

전술한 본 발명의 방법 및 동작에 대한 다양한 실시예들은 이동 단말기 또는 휴대용 전자 장치에서 구현될 수 있다. 이하에서는 도 12 및 도 13을 참조하여 이동 단말기(100)의 장치의 예를 설명한다. 이동 단말기(100)의 제어부(180)는 디스플레이부(151)를 제어하여 본 발명의 다양한 사용자 인터페이스 제어 방법을 수행하도록 구성될 수 있다. 본 발명에 따른 이동 단말기는 이동 단말기(100)의 구성 요소의 일부 또는 전부를 포함할 수 있다.Various embodiments of the method and operation of the present invention described above may be implemented in a mobile terminal or a portable electronic device. Hereinafter, an example of an apparatus of the mobile terminal 100 will be described with reference to FIGS. 12 and 13. The controller 180 of the mobile terminal 100 may be configured to control the display unit 151 to perform various user interface control methods of the present invention. The mobile terminal according to the present invention may include some or all of the components of the mobile terminal 100.

도 12는 본 발명의 일 실시예에 따른 이동 단말기(100)의 블록도이다. 본 명세서에 언급된 임의의 이동 단말기(예컨대, 이동 단말기(10,21))는 거리 센서를 포함하는 부품들이 장착된 이동 단말기(100)일 수 있다. 전술한 바와 같이, 본 발명의 이동 단말기는 다양한 타입의 장치들을 사용하여 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 이동 단말기는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 등이 있다.12 is a block diagram of a mobile terminal 100 according to an embodiment of the present invention. Any mobile terminal (eg, mobile terminals 10, 21) referred to herein may be a mobile terminal 100 equipped with components that include a distance sensor. As mentioned above, the mobile terminal of the present invention can be implemented using various types of devices. For example, the mobile terminal described herein may be a mobile phone, a smart phone, a notebook computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, or the like. have.

도시된 이동 단말기(100)는 수개의 공지된 컴포넌트들로 구현할 수 있는 무선 통신부(110)를 포함한다. 예를 들어, 무선 통신부(110)는 통상적으로 이동 단말기(100)와 이동 단말기가 위치한 무선 통신 시스템 또는 네트워크 간의 무선 통신을 가능케하는 하나 이상의 컴포넌트들을 포함한다.The illustrated mobile terminal 100 includes a wireless communication unit 110 that can be implemented with several known components. For example, the wireless communication unit 110 typically includes one or more components that enable wireless communication between the mobile terminal 100 and a wireless communication system or network in which the mobile terminal is located.

방송 수신 모듈(111)은 방송 채널을 통해 외부 방송 관리 서버로부터 방송 신호 및/또는 방송과 관련된 정보를 수신한다. 방송 채널은 위성 채널 및 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.The broadcast receiving module 111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. The broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal. The broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider. The broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.

한편, 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.Meanwhile, the broadcast related information may be provided through a mobile communication network, and in this case, may be received by the mobile communication module 112.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.The broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).

상기 방송 수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성된 다.The broadcast receiving module 111 receives broadcast signals using various broadcasting systems, and in particular, digital multimedia broadcasting-terrestrial (DMB-T), digital multimedia broadcasting-satellite (DMB-S), and media forward link (MediaFLO). Digital broadcast signals can be received using digital broadcasting systems such as only), digital video broadcast-handheld (DVB-H), integrated services digital broadcast-terrestrial (ISDB-T), and the like. Of course, the broadcast receiving module 111 is configured to be suitable for all broadcast systems providing broadcast signals as well as the digital broadcast system described above.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.The broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 160.

또한, 이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. In addition, the mobile communication module 112 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network. The wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(113)은 내장되거나 외장될 수 있다.The wireless internet module 113 refers to a module for wireless internet access, and the wireless internet module 113 may be internal or external.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.The short range communication module 114 refers to a module for short range communication. As a short range communication technology, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.

또한, 위치정보 모듈(115)은 이동 단말기의 위치를 확인하거나 얻기 위한 모듈이다. 일례로 GPS(Global Position System) 모듈이 있다. GPS 모듈은 복수 개의 인공위성으로부터 위치 정보를 수신한다. 여기에서, 위치 정보는 위도 및 경도로 표시되는 좌표 정보를 포함할 수 있다. 예를 들어, GPS 모듈은, 3개 이상의 위성으로부터 정확한 시간과 거리를 측정하여 3개의 각각 다른 거리를 삼각 방법에 따라서 현 위치를 정확히 계산할 수 있다. 3개의 위성으로부터 거리와 시간 정보를 얻고 1개 위성으로 오차를 수정하는 방법이 사용될 수 있다. 특히, GPS 모듈은 위성 으로부터 수신한 위치 정보로부터, 위도, 경도, 고도의 위치뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 얻을 수 있다.In addition, the location information module 115 is a module for checking or obtaining the location of the mobile terminal. One example is the Global Position System (GPS) module. The GPS module receives location information from a plurality of satellites. Here, the location information may include coordinate information represented by latitude and longitude. For example, the GPS module can measure the exact time and distance from three or more satellites and accurately calculate the current position by triangulating three different distances. A method of obtaining distance and time information from three satellites and correcting the error with one satellite may be used. In particular, the GPS module can obtain not only the location of latitude, longitude, and altitude but also accurate time together with the three-dimensional speed information from the location information received from the satellite.

한편, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)은 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.Meanwhile, the A / V input unit 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122. The camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode. The processed image frame may be displayed on the display unit 151.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)은 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 121 may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110. Two or more cameras 121 may be provided according to the configuration aspect of the terminal.

마이크(122)은 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.The microphone 122 receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes the external sound signal into electrical voice data. The processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module 112 and output in the call mode. The microphone 122 may implement various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(151)과 상호 레이어 구조를 이룰 경우, 이를 터치 스 크린이라 부를 수 있다.The user input unit 130 generates input data for the user to control the operation of the terminal. The user input unit 130 may include a key pad dome switch, a touch pad (static pressure / capacitance), a jog wheel, a jog switch, and the like. In particular, when the touch pad has a mutual layer structure with the display unit 151 described later, this may be referred to as a touch screen.

센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. The sensing unit 140 detects a current state of the mobile terminal 100 such as an open / closed state of the mobile terminal 100, a location of the mobile terminal 100, presence or absence of a user contact, orientation of the mobile terminal, acceleration / deceleration of the mobile terminal, and the like. To generate a sensing signal for controlling the operation of the mobile terminal 100.

센싱부(140)는 자이로 센서, 가속도 센서 등의 움직임 또는 위치를 검출하기 위한 관성 센서 또는 사용자와 이동 단말기(100) 사이의 거리 관계를 검출 또는 측정하기 위한 거리 센서를 포함할 수 있다.The sensing unit 140 may include an inertial sensor for detecting a movement or a position of a gyro sensor, an acceleration sensor, or a distance sensor for detecting or measuring a distance relationship between a user and the mobile terminal 100.

인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 포함될 수 있다. The interface unit 170 serves as an interface with all external devices connected to the mobile terminal 100. For example, wired / wireless headset ports, external charger ports, wired / wireless data ports, memory card ports, ports for connecting devices with identification modules, audio input / output (I / O) ports, Video I / O (Input / Output) port, earphone port, etc. may be included.

여기에서, 식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module; 'UIM'), 가입자 인증 모듈(Subscriber Identify Module; 'SIM'), 범용 사용자 인증 모듈(Universal Subscriber Identity Module; 'USIM') 등을 포함할 수 있다. 또한, 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다. 이와 같은 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다.Here, the identification module is a chip that stores various types of information for authenticating the use authority of the mobile terminal 100, and includes a user identification module (UIM) and a subscriber identify module (SIM). ), A Universal Subscriber Identity Module (“USIM”), and the like. In addition, the device equipped with the identification module (hereinafter, 'identification device') may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the terminal 100 through a port. The interface unit 170 receives data from an external device or receives power and transmits the data to each component inside the mobile terminal 100 or transmits the data inside the mobile terminal 100 to an external device.

출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것으로, 이에는 디스플레이부(151)와 음향 출력 모듈(152), 알람부(153) 등이 포함될 수 있다. 디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. The output unit 150 is for outputting an audio signal, a video signal, or an alarm signal. The output unit 150 may include a display unit 151, a sound output module 152, an alarm unit 153, and the like. The display unit 151 displays and outputs information processed by the mobile terminal 100. For example, when the mobile terminal is in a call mode, a user interface (UI) or a graphic user interface (GUI) related to a call is displayed. When the mobile terminal 100 is in a video call mode or a photographing mode, the mobile terminal 100 displays a photographed and / or received image, a UI, or a GUI.

디스플레이부(151) 위에는 터치 스크린 패널이 장착될 수 있다. 이러한 구성에 의해 디스플레이부(151)는 입력부 및 출력부 모두의 역할을 할 수 있다.The touch screen panel may be mounted on the display unit 151. By such a configuration, the display unit 151 may serve as both an input unit and an output unit.

디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 그리고 이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수도 있다. 예를 들어, 이동 단말기(100)에 외부 디스플레이부(미도시)과 내부 디스플레이부(미도시)이 동시에 구비될 수 있다.The display unit 151 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, or a three-dimensional display. 3D display). In addition, two or more display units 151 may exist according to the implementation form of the mobile terminal 100. For example, an external display unit (not shown) and an internal display unit (not shown) may be simultaneously provided in the mobile terminal 100.

음향 출력 모듈(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장 된 오디오 데이터를 출력한다. 또한, 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력 모듈(152)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The sound output module 152 outputs audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like. In addition, the sound output module 152 outputs a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed in the mobile terminal 100. The sound output module 152 may include a speaker, a buzzer, and the like.

알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(153)은 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 알람부(153)은 진동을 출력할 수 있다. 또는, 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 알람부(153)은 진동을 출력할 수 있다. 상기와 같은 진동 출력을 통해 사용자는 이벤트 발생을 인지할 수 있다. 물론 이벤트 발생 알림을 위한 신호는 디스플레이부(151)이나 음성 출력 모듈(152)을 통해서도 출력될 수 있다.The alarm unit 153 outputs a signal for notifying occurrence of an event of the mobile terminal 100. Examples of events occurring in the mobile terminal include call signal reception, message reception, and key signal input. The alarm unit 153 may output a signal for notifying occurrence of an event in a form other than an audio signal or a video signal. For example, the signal may be output in the form of vibration. When a call signal is received or a message is received, the alarm unit 153 may output a vibration to inform this. Alternatively, when a key signal is input, the alarm unit 153 may output a vibration in response to the key signal input. Through the vibration output as described above, the user can recognize the occurrence of the event. Of course, the signal for notification of event occurrence may be output through the display unit 151 or the voice output module 152.

메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. The memory 160 may store a program for processing and controlling the controller 180 and may provide a function for temporarily storing input / output data (for example, a phone book, a message, a still image, a video, etc.). It can also be done.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 이동 단말기(100)는 인터넷(internet)상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.The memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM) magnetic memory, It may include at least one type of storage medium of the optical disk. In addition, the mobile terminal 100 may operate a web storage that performs a storage function of the memory 150 on the Internet.

그리고 제어부(180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.The controller 180 typically controls the overall operation of the mobile terminal. For example, perform related control and processing for voice calls, data communications, video calls, and the like. In addition, the controller 180 may include a multimedia module 181 for playing multimedia. The multimedia module 181 may be implemented in the controller 180 or may be implemented separately from the controller 180.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터로 읽을 수 있는 기록매체 내에서 구현될 수 있다.The various embodiments described herein may be implemented in a computer readable recording medium using, for example, software, hardware or a combination thereof.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.According to a hardware implementation, the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing the functions. It may be implemented by the controller 180.

소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.In a software implementation, embodiments such as procedures or functions may be implemented with separate software modules that allow at least one function or operation to be performed. The software code may be implemented by a software application written in a suitable programming language. In addition, the software code may be stored in the memory 160 and executed by the controller 180.

도 12에 도시된 단말기(100)는, 유무선 통신 시스템 및 위성 기반 통신 시스템을 포함하여, 프레임(frame) 또는 패킷(packet)을 통하여 데이터(data)를 전송할 수 있는 통신 시스템에서 동작 가능하도록 구성될 수 있다.The terminal 100 illustrated in FIG. 12 may be configured to be operable in a communication system capable of transmitting data through a frame or packet, including a wired / wireless communication system and a satellite based communication system. Can be.

이하에서는, 도 13를 참조하여, 본 발명에 관련된 단말기가 동작 가능한 통신 시스템에 대하여 살펴보겠다. Hereinafter, a communication system capable of operating a terminal according to the present invention will be described with reference to FIG. 13.

통신 시스템은, 서로 다른 무선 인터페이스 및/또는 물리 계층을 이용할 수도 있다. 예를 들어, 통신 시스템에 의해 이용 가능한 무선 인터페이스에는, 주파수 분할 다중 접속(Frequency Division Multiple Access; 'FDMA'), 시분할 다중 접속(Time Division Multiple Access; 'TDMA'), 코드 분할 다중 접속(Code Division Multiple Access; 'CDMA'), 범용 이동통신 시스템(Universal Mobile Telecommunications Systems; 'UMTS')(특히, LTE(Long Term Evolution)), 이동통신 글로벌 시스템(Global System for Mobile Communications; 'GSM') 등이 포함될 수 있다. 이하에서는, 설명의 편의를 위하여, CDMA에 한정하여 설명하도록 한다. 그러나, 본 발명은, CDMA 무선 통신 시스템을 포함한 모든 통신 시스템 적용될 있음은 당연하다.The communication system may use different air interfaces and / or physical layers. For example, a radio interface usable by a communication system may include frequency division multiple access (FDMA), time division multiple access (TDMA), and code division multiple access (Code Division). Multiple Access (CDMA), Universal Mobile Telecommunications Systems (UMTS) (especially Long Term Evolution (LTE)), Global System for Mobile Communications (GSM), etc. May be included. Hereinafter, for convenience of description, the description will be limited to CDMA. However, it is a matter of course that the present invention is applicable to all communication systems including the CDMA wireless communication system.

도 13에 도시된 바와 같이, CDMA 무선 통신 시스템은, 복수의 단말기들(100), 복수의 기지국(Base Station; 'BS')(270), 기지국 제어부(Base Station Controllers; 'BSCs')(275), 이동 스위칭 센터(Mobile Switching Center; 'MSC')(280)를 포함할 수 있다. MSC(280)는, 일반 전화 교환망(Public Switched Telephone Network; 'PSTN')(290)과 연결되도록 구성되고, BSCs(275)와도 연결되도록 구성된다. BSCs(275)는, 백홀 라인(backhaul line)을 통하여, BS(270)과 짝을 이루어 연결될 수 있다. 백홀 라인은, E1/T1, ATM, IP, PPP, Frame Relay, HDSL, ADSL 또는 xDSL 중 적어도 하나에 따라서 구비될 수 있다. 따라서, 복수의 BSCs(275)가 도 13에 도시된 시스템에 포함될 수 있다.As shown in FIG. 13, the CDMA wireless communication system includes a plurality of terminals 100, a plurality of base stations (BS) 270, and base station controllers (BSCs) 275. ), And a mobile switching center (MSC) 280. The MSC 280 is configured to be connected to a public switched telephone network (PSTN) 290 and is also configured to be connected to BSCs 275. The BSCs 275 may be coupled to the BS 270 through a backhaul line. The backhaul line may be provided according to at least one of E1 / T1, ATM, IP, PPP, Frame Relay, HDSL, ADSL, or xDSL. Thus, a plurality of BSCs 275 may be included in the system shown in FIG.

각각의 BS(270)는, 적어도 하나의 섹터를 포함할 수 있고, 각각의 섹터는, 전방향성 안테나 또는 BS(270)으로부터 방사상의 특정 방향을 가리키는 안테나를 포함할 수 있다. 또한, 각각의 섹터는, 다양한 형태의 안테나를 두 개 이상 포함할 수도 있다. 각각의 BS(270)는, 복수의 주파수 할당을 지원하도록 구성될 수 있고, 복수의 주파수 할당 각각은, 특정 스펙트럼(예를 들어, 1.25MHz, 5MHz 등)을 갖는다.Each BS 270 may include at least one sector, and each sector may include an omnidirectional antenna or an antenna pointing radially out of BS 270. In addition, each sector may include two or more antennas of various types. Each BS 270 may be configured to support a plurality of frequency assignments, each of which has a specific spectrum (eg, 1.25 MHz, 5 MHz, etc.).

섹터와 주파수 할당의 교차는, CDMA 채널이라고 불릴 수 있다. BS(270)은, 기지국 송수신 하부 시스템(Base Station Transceiver Subsystem; 'BTSs')이라고 불릴수 있다. 이러한 경우, "기지국"이라는 단어는, 하나의 BSC(275) 및 적어도 하나의 BS(270)을 합하여 불릴 수도 있다. 기지국은, 또한 "셀 사이트"를 나타낼 수도 있다. 또는, 특정 BS(270)에 대한 복수의 섹터들 각각은, 복수의 셀 사이트로 불릴 수도 있다. The intersection of sectors and frequency assignments may be called a CDMA channel. BS 270 may be referred to as a base station transceiver subsystem ('BTSs'). In this case, the word "base station" may be called the sum of one BSC 275 and at least one BS 270. The base station may also indicate “cell site”. Alternatively, each of the plurality of sectors for a particular BS 270 may be called a plurality of cell sites.

도 13에 도시된 바와 같이, 방송 송신부(Broadcasting Transmitter; 'BT')(295)는, 시스템 내에서 동작하는 단말기들(100)에게 방송 신호를 송신한다. 도 12에 도시된 방송용 모듈(111)은, BT(295)에 의해 전송되는 방송 신호를 수신하기 위해 단말기(100) 내에 구비된다. As shown in FIG. 13, a broadcasting transmitter (BT) 295 transmits a broadcast signal to terminals 100 operating in the system. The broadcast module 111 shown in FIG. 12 is provided in the terminal 100 to receive a broadcast signal transmitted by the BT 295.

뿐만 아니라, 도 13에서는, 여러 개의 위성 위치 확인 시스템(Global Positioning System; 'GPS') 위성(300)을 도시한다. 상기 위성들(300)은, 복수의 단말기(100) 중 적어도 하나의 단말기의 위치를 파악하는 것을 돕는다. 도 13에서는 두 개의 위성이 도시되어 있지만, 유용한 위치 정보는, 두 개 이하 또는 이상의 위성들에 의해 획득될 수도 있다. 도 12에 도시된 GPS 모듈(115)은, 원하는 위치 정보를 획득하기 위하여 위성들(300)과 협력한다. 여기에서는, GPS 추적 기술뿐만 아니라 위치를 추적할 수 있는 모든 기술들을 이용하여 위치를 추적할 수 있다. 또한, GPS 위성들(300) 중 적어도 하나는, 선택적으로 또는 추가로 위성 DMB 전송을 담당할 수도 있다.In addition, FIG. 13 illustrates multiple satellite positioning systems (GPS) satellites 300. The satellites 300 help to locate the at least one terminal of the plurality of terminals 100. Although two satellites are shown in FIG. 13, useful location information may be obtained by two or less or more satellites. The GPS module 115 shown in FIG. 12 cooperates with the satellites 300 to obtain desired location information. Here, the location can be tracked using all the techniques that can track the location, not just the GPS tracking technology. In addition, at least one of the GPS satellites 300 may optionally or additionally be responsible for satellite DMB transmission.

무선 통신 시스템의 전형적인 동작 중, BS(270)은, 다양한 단말기들(100)로부터 역 링크 신호를 수신한다. 이때, 단말기들(100)은, 호를 연결 중이거나, 메시지를 송수신 중이거나 또는 다른 통신 동작을 수행중에 있다. 특정 기지국(270)에 의해 수신된 역 링크 신호들 각각은, 특정 기지국(270)에 의해 내에서 처리된다. 상기 처리 결과 생성된 데이터는, 연결된 BSC(275)로 송신된다. BSC(275)는, 기지국들(270) 간의 소프트 핸드오프(soft handoff)들의 조직화를 포함하여, 호 자원 할당 및 이동성 관리 기능을 제공한다. 또한, BSC(275)는, 상기 수신된 데이터를 MSC(280)으로 송신하고, MSC(280)은, PSTN(290)과의 연결을 위하여 추가적인 전송 서비스를 제공한다. 유사하게, PSTN(290)은 MSC(280)과 연결하고, MSC(280)은 BSCs(275)와 연결하고, BSCs(275)는 단말기들(100)로 순 링크 신호를 전송하도록 BS들(270)을 제어한다.During typical operation of a wireless communication system, BS 270 receives a reverse link signal from various terminals 100. At this time, the terminals 100 are connecting a call, transmitting or receiving a message, or performing another communication operation. Each of the reverse link signals received by a particular base station 270 is processed within by the particular base station 270. The data generated as a result of the processing is transmitted to the connected BSC 275. BSC 275 provides call resource allocation and mobility management functionality, including the organization of soft handoffs between base stations 270. In addition, the BSC 275 transmits the received data to the MSC 280, and the MSC 280 provides an additional transmission service for connection with the PSTN 290. Similarly, PSTN 290 connects with MSC 280, MSC 280 connects with BSCs 275, and BSCs 275 send BSs 270 to transmit a forward link signal to terminals 100. ).

이상 다양한 실시예들을 참조하여 설명하였으나, 당업자는 위 실시예들에 다양한 변형이 가해질 수 있음을 이해할 것이며, 그러한 변형예들도 모두 본 발명의 범위에 포함된다.Although described above with reference to various embodiments, those skilled in the art will understand that various modifications can be made to the above embodiments, all such modifications are included in the scope of the invention.

도 1a 및 도 1b는 본 발명에 따른 제스쳐링을 이용한 이동 단말기의 사용자 인터페이스 제어방법을 나타낸다.1A and 1B illustrate a method of controlling a user interface of a mobile terminal using gestures according to the present invention.

도 2a 및 도 2b는 본 발명에 따른 제스쳐링을 이용한 이동 단말기의 사용자 인터페이스 제어방법을 나타낸다.2A and 2B illustrate a method of controlling a user interface of a mobile terminal using gestures according to the present invention.

도 3a 및 도 3b는 본 발명의 일 실시예에 따라 디스플레이되는 화면 상의 선택가능한 아이템을 선택하는 방법의 예를 나타낸다.3A and 3B illustrate an example of a method of selecting a selectable item on a screen displayed in accordance with one embodiment of the present invention.

도 4a 및 도 4b는 본 발명의 다른 실시예에 따라 디스플레이되는 화면 상의 선택가능한 아이템을 선택하는 방법의 예를 나타낸다.4A and 4B illustrate an example of a method of selecting a selectable item on a screen displayed according to another embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따라 화면상의 선택가능한 아이템을 실행하는 방법을 나타낸다.5 illustrates a method of executing a selectable item on a screen according to an embodiment of the present invention.

도 6a 및 6b는 본 발명의 또 다른 실시예에 따라 디스플레이되는 화면 상의 선택가능한 아이템을 선택하는 방법의 예를 나타낸다.6A and 6B show an example of a method of selecting a selectable item on a screen displayed according to another embodiment of the present invention.

도 7a 및 도 7b는 본 발명의 일 실시예에 따라 사용자에게 입력 메뉴를 제공하는 방법을 나타낸다.7A and 7B illustrate a method of providing an input menu to a user according to an embodiment of the present invention.

도 8a 및 도 8b는 본 발명의 다른 실시예에 따라 사용자에게 입력 메뉴를 제공하는 방법을 나타낸다.8A and 8B illustrate a method of providing an input menu to a user according to another embodiment of the present invention.

도 9a 및 도 9b는 본 발명의 일 실시예에 따라 사용자 인터페이스를 활성화킬지 여부를 판단하는 방법을 나타낸다.9A and 9B illustrate a method of determining whether to activate a user interface according to an embodiment of the present invention.

도 10은 본 발명의 일 실시예에 따른 사용자의 제스쳐를 나타낸다.10 illustrates a gesture of a user according to an embodiment of the present invention.

도 11는 본 발명의 일 실시예에 따른 이동 단말기의 사용자 인터페이스 제어방법을 나타낸다.11 illustrates a user interface control method of a mobile terminal according to an embodiment of the present invention.

도 12는 본 발명의 일 실시예에 따른 이동 단말기의 블록도를 나타낸다.12 is a block diagram of a mobile terminal according to an embodiment of the present invention.

도 13은 도 12의 이동 단말기가 적용될 수 있는 CDMA 무선 통신 시스템의 블록도이다.FIG. 13 is a block diagram of a CDMA wireless communication system to which the mobile terminal of FIG. 12 may be applied.

Claims (32)

디스플레이가 장착된 이동 단말기의 사용자 인터페이스를 제어하는 방법에 있어서,In the method for controlling a user interface of a mobile terminal equipped with a display, 상기 디스플레이에 선택 포인트를 설정하는 단계;Setting a selection point on the display; 상기 디스플레이에 페이지를 표시하는 단계;Displaying a page on the display; 사용자의 제스쳐에 의해 발생하는 상기 이동 단말기의 움직임을 검출하는 단계;Detecting movement of the mobile terminal caused by a gesture of a user; 상기 검출된 움직임에 대응하여 상기 설정된 선택 포인트 또는 상기 디스플레이에 표시된 페이지 중 하나를 스크롤하는 단계;Scrolling one of the set selection point or a page displayed on the display in response to the detected movement; 상기 표시된 페이지에 포함된 선택가능한 아이템이 상기 디스플레이의 선택 포인트 상에 위치하는지를 판단하는 단계; 및Determining whether a selectable item included in the displayed page is located on a selection point of the display; And 상기 판단단계에서 상기 선택가능한 아이템이 상기 디스플레이의 선택 포인트 상에 위치한다고 판단되면, 미리 결정된 이벤트에 응답하여 상기 선택가능한 아이템을 선택하는 단계를 포함하는 사용자 인터페이스 제어방법.And in response to determining that the selectable item is located on a selection point of the display, selecting the selectable item in response to a predetermined event. 제1항에 있어서, 상기 스크롤은 상기 사용자가 상기 이동 단말기의 버튼을 누른 상태에서 상기 이동 단말기가 상기 사용자의 제스쳐에 의해 움직일때 수행되는 사용자 인터페이스 제어방법.The method of claim 1, wherein the scrolling is performed when the mobile terminal moves by the user's gesture while the user presses a button of the mobile terminal. 제1항에 있어서, 상기 선택가능한 아이템은 하이퍼링크이고, 상기 선택 단계는 상기 이동 단말기를 상기 하이퍼링크에 연결하는 단계를 포함하는 사용자 인터페이스 제어방법.The method of claim 1, wherein the selectable item is a hyperlink, and wherein the selecting step includes connecting the mobile terminal to the hyperlink. 제1항에 있어서, 상기 선택가능한 아이템은 가상 버튼인 사용자 인터페이스 제어방법.The method of claim 1, wherein the selectable item is a virtual button. 제4항에 있어서, 상기 가상 버튼은 동영상 또는 오디오 데이터 재생과 관련된 사용자 인터페이스 제어방법.The method of claim 4, wherein the virtual button is associated with playing video or audio data. 제1항에 있어서,The method of claim 1, 상기 판단단계에서 상기 선택가능한 아이템이 상기 디스플레이의 선택 포인트 상에 위치한다고 판단되면, 상기 디스플레이에 상기 선택가능한 아이템이 선택가능한 상태임을 표시하는 단계를 더 포함하는 사용자 인터페이스 제어방법.If it is determined in the determining step that the selectable item is located on a selection point of the display, indicating that the selectable item is in a selectable state on the display. 제1항에 있어서, 상기 스크롤 단계는 다음 중 적어도 하나의 단계를 포함하는 사용자 인터페이스 제어방법:The method of claim 1, wherein the scrolling comprises at least one of the following: 상기 이동 단말기의 움직임에 따라 상기 디스플레이 상에 표시된 페이지의 일부에 대한 줌인 또는 줌아웃 동작을 수행하는 단계; 및Performing a zoom in or zoom out operation on a portion of the page displayed on the display according to the movement of the mobile terminal; And 상기 이동 단말기의 움직임에 따라 다른 페이지로 넘어가는 단계.Skipping to another page according to the movement of the mobile terminal. 제7항에 있어서,The method of claim 7, wherein 상기 디스플레이의 일부에, 상기 페이지 전체 또는 복수의 페이지들의 일부인, 현재 표시되어 있는 영역을 표시하는 가이드 윈도우를 표시하는 단계를 더 포함하는 사용자 인터페이스 제어방법.And displaying a guide window on a portion of the display, the guide window displaying a currently displayed area, which is an entire page or part of a plurality of pages. 제1항에 있어서, 상기 미리 결정된 이벤트는 다음 중 하나인 사용자 인터페이스 제어방법:The method of claim 1, wherein the predetermined event is one of the following: 상기 이동 단말기를 흔드는 동작;Shaking the mobile terminal; 상기 선택 가능한 아이템이 상기 디스플레이의 선택 포인트 상에 위치한 후에 소정 시간의 경과;Elapse of a predetermined time after the selectable item is located on a selection point of the display; 상기 디스플레이에 표시된 지정된 가상 버튼을 터치함; 및Touching a designated virtual button displayed on the display; And 상기 이동 단말기의 지정된 물리적 버튼을 선택함.Selecting the designated physical button of the mobile terminal. 제1항에 있어서,The method of claim 1, 상기 이동 단말기의 움직임은 롤링, 피칭, 요잉, 트랜지션 중 적어도 하나를 포함하는 사용자 인터페이스 제어방법.The movement of the mobile terminal comprises at least one of a rolling, pitching, yawing, transition. 제1항에 있어서, 상기 디스플레이는 터치 스크린인 사용자 인터페이스 제어방법.The method of claim 1, wherein the display is a touch screen. 제1항에 있어서, 상기 스크롤 단계에서, 상기 선택 포인트는 상기 디스플레이 상에서 고정된 위치로 설정되고, 상기 페이지만 스크롤가능한 사용자 인터페이스 제어방법.The method of claim 1, wherein, in the scrolling step, the selection point is set to a fixed position on the display, and only the page is scrollable. 제1항에 있어서, 상기 스크롤 단계에서, 상기 선택 포인트는 사용자에게 가시적으로(visible) 표시되는 사용자 인터페이스 제어방법.The method of claim 1, wherein in the scrolling step, the selection point is displayed to the user. 제1항에 있어서, 상기 스크롤 단계에서, 상기 선택 포인트는 사용자에게 비가시적인(invisible) 사용자 인터페이스 제어방법.The method of claim 1, wherein in the scrolling step, the selection point is invisible to a user. 디스플레이가 장착된 이동 단말기의 사용자 인터페이스를 제어하는 방법에 있어서,In the method for controlling a user interface of a mobile terminal equipped with a display, 상기 디스플레이에 입력 영역을 설정하는 단계;Setting an input area on the display; 상기 입력 영역이 설정된 디스플레이에 페이지를 표시하는 단계;Displaying a page on a display in which the input area is set; 사용자의 제스쳐에 의해 발생하는 상기 이동 단말기의 움직임을 검출하는 단계;Detecting movement of the mobile terminal caused by a gesture of a user; 상기 검출된 이동 단말기의 움직임에 따라, 상기 디스플레이에 표시된 페이지를 스크롤하는 단계;Scrolling a page displayed on the display according to the detected movement of the mobile terminal; 상기 디스플레이의 입력 영역의 적어도 일부가 상기 디스플레이에 표시된 페이지에 포함된 입력창과 오버랩되거나 또는 그 경계가 접하는지를 판단하는 단계; 및Determining whether at least a portion of an input area of the display overlaps or borders an input window included in a page displayed on the display; And 상기 입력창과 오버랩되거나 경계가 접하는 것으로 판단되면, 가상 텍스트 입력 인터페이스를 표시하는 단계를 포함하는 이동 단말기의 사용자 인터페이스 제어방법.If it is determined that the input window overlaps or borders with the input window, displaying a virtual text input interface. 제15항에 있어서, 상기 스크롤은, 상기 사용자가 상기 이동 단말기에 장착된 소정 버튼을 누른 상태에서, 사용자의 제스쳐에 의해 상기 이동 단말기가 움직일 때 수행되는 이동 단말기의 사용자 인터페이스 제어방법.The method of claim 15, wherein the scrolling is performed when the mobile terminal is moved by a gesture of a user while the user presses a predetermined button mounted on the mobile terminal. 제15항에 있어서, 상기 스크롤 단계에서, 상기 입력창은, 상기 입력 영역이 상기 디스플레이에 고정되어 있는 상태에서, 상기 이동 단말기의 움직임에 따라 스크롤되는 이동 단말기의 사용자 인터페이스 제어방법.The method of claim 15, wherein in the scrolling step, the input window is scrolled according to the movement of the mobile terminal while the input area is fixed to the display. 제15항에 있어서, 상기 입력 영역은 사용자에게 가시적으로 표시되는 이동 단말기의 사용자 인터페이스 제어방법.The method of claim 15, wherein the input area is visually displayed to a user. 제15항에 있어서, 상기 입력 영역은 사용자에게 비가시적인 이동 단말기의 사용자 인터페이스 제어방법.The method of claim 15, wherein the input area is invisible to the user. 제15항에 있어서, 상기 이동 단말기의 움직임은 롤링, 피칭, 요잉 및 트랜지션 중 적어도 하나를 포함하는 이동 단말기의 사용자 인터페이스 제어방법.The method of claim 15, wherein the movement of the mobile terminal comprises at least one of rolling, pitching, yawing, and transition. 제15항에 있어서, The method of claim 15, 상기 디스플레이의 입력 영역 중 적어도 일부가 상기 디스플레이에 표시된 페이지의 입력창과 오버랩되거나 그 경계가 접하는 경우, 오버랩 또는 접하였음을 사용자에게 표시하는 단계를 더 포함하는 이동 단말기의 사용자 인터페이스 제어방법.If at least a portion of the input area of the display overlaps or touches a border of an input window of a page displayed on the display, displaying the overlap or contact to the user. 삭제delete 제15항에 있어서,The method of claim 15, 상기 사용자에 의해 미리 결정된 제스쳐가 인가되면, 상기 디스플레이된 가상 텍스트 입력 인터페이스를 디스플레이에서 제거하는 단계를 더 포함하는 이동 단말기의 사용자 인터페이스 제어방법.And removing the displayed virtual text input interface from the display when a predetermined gesture is applied by the user. 제23항에 있어서, 상기 미리 결정된 제스쳐는 상기 이동 단말기를 기울이는 동작, 상기 이동 단말기를 적어도 한번 흔드는 동작, 상기 디스플레이 상의 가상 버튼을 누르는 동작, 상기 이동 단말기 상의 물리적 버튼을 누르는 동작, 또는 상기 디스플레이의 소정 영역을 터치하는 동작 중 어느 하나인 이동 단말기의 사용자 인터페이스 제어방법.24. The method of claim 23, wherein the predetermined gesture comprises: tilting the mobile terminal, shaking the mobile terminal at least once, pressing a virtual button on the display, pressing a physical button on the mobile terminal, or A user interface control method of a mobile terminal, which is one of operations of touching a predetermined area. 제15항에 있어서, 상기 가상 텍스트 입력 인터페이스는 가상 키보드 또는 필기 인식 인터페이스를 포함하는 이동 단말기의 사용자 인터페이스 제어방법.The method of claim 15, wherein the virtual text input interface comprises a virtual keyboard or a handwriting recognition interface. 제15항에 있어서, 상기 스크롤 단계는 다음 중 적어도 하나의 단계를 포함하는 이동 단말기의 사용자 인터페이스 제어방법:The method of claim 15, wherein the scrolling comprises at least one of the following: 상기 이동 단말기의 움직임에 따라 상기 디스플레이에 현재 표시된 페이지를 줌인/줌아웃 동작을 수행하는 단계; 및Performing a zoom in / zoom out operation on a page currently displayed on the display according to the movement of the mobile terminal; And 상기 이동 단말기의 움직임에 따라 다른 페이지로 넘김을 수행하는 단계.Performing the page turning according to the movement of the mobile terminal. 제26항에 있어서, The method of claim 26, 상기 디스플레이의 일부에, 상기 페이지 전체 또는 복수의 페이지들의 일부인, 현재 표시되어 있는 영역을 표시하는 가이드 윈도우를 표시하는 단계를 더 포함하는 사용자 인터페이스 제어방법.And displaying a guide window on a portion of the display, the guide window displaying a currently displayed area, which is an entire page or part of a plurality of pages. 디스플레이가 장착된 이동 단말기의 사용자 인터페이스를 제어하는 방법에 있어서,In the method for controlling a user interface of a mobile terminal equipped with a display, 상기 디스플레이에 선택 포인트 또는 입력 영역을 설정하는 단계;Setting a selection point or input area on the display; 상기 선택 포인트 또는 입력 영역이 설정된 디스플레이에 페이지를 표시하는 단계;Displaying a page on a display on which the selection point or input area is set; 사용자의 제스쳐에 의해 인가되는 상기 이동 단말기의 움직임을 검출하는 단계;Detecting movement of the mobile terminal applied by a gesture of a user; 상기 검출된 이동 단말기의 움직임에 따라, 상기 디스플레이 상에 표시된 페이지, 또는 선택 포인트 또는 입력 영역을 스크롤하는 단계; 및Scrolling a page displayed on the display, a selection point or an input area according to the detected movement of the mobile terminal; And 상기 디스플레이에 현재 표시된 페이지에 가이드 윈도우를 표시하는 단계를 포함하고, 상기 가이드 윈도우는 상기 디스플레이에 현재 표시된 페이지의 축소형이며, 상기 가이드 윈도우 내에는 상기 선택 포인트 또는 입력 영역의 축소형이 포함되는 이동 단말기의 디스플레이 제어방법.And displaying a guide window on a page currently displayed on the display, wherein the guide window is a reduced type of the page currently displayed on the display, and the guide window includes a reduced type of the selection point or the input area. Display control method of the terminal. 제28항에 있어서, 상기 이동 단말기의 움직임은 롤링, 피칭, 요잉 및 트랜지션 중 적어도 하나를 포함하는 이동 단말기의 디스플레이 제어방법.29. The method of claim 28, wherein the movement of the mobile terminal comprises at least one of rolling, pitching, yawing and transition. 디스플레이;display; 사용자의 제스쳐에 의해 발생하는 이동 단말기의 움직임을 검출하도록 구성된 검출부; 및A detector configured to detect a movement of a mobile terminal generated by a gesture of a user; And 상기 검출된 움직임에 대응하여, 상기 디스플레이에 표시되어 있는 페이지 또는 선택 포인트 중 하나를 스크롤하고, 상기 표시되어 있는 페이지 내에 포함된 선택 가능한 아이템이 상기 선택 포인트 상에 위치하였는지 여부를 판단하고, 상기 선택 가능한 아이템이 상기 디스플레이의 선택 포인트 상에 위치하였다고 판단되면, 미리 결정된 이벤트에 응답하여 상기 선택 가능한 아이템을 선택하도록 상기 디스플레이를 제어하는 제어부를 포함하는 이동 단말기.In response to the detected movement, the user scrolls one of a page or a selection point displayed on the display, determines whether a selectable item included in the displayed page is located on the selection point, and selects the selection. And if it is determined that a possible item is located on a selection point of the display, controlling the display to select the selectable item in response to a predetermined event. 디스플레이;display; 사용자 인터페이스;User interface; 사용자의 제스쳐에 의해 발생하는 이동 단말기의 움직임을 검출하도록 구성된 검출부; 및A detector configured to detect a movement of a mobile terminal generated by a gesture of a user; And 상기 검출된 이동 단말기의 움직임에 따라 상기 디스플레이에 표시된 페이지를 스크롤하고, 상기 디스플레이의 입력 영역의 적어도 일부가 상기 디스플레이에 표시된 페이지의 입력창과 오버랩되거나 또는 경계가 접하는지 여부를 판단하고, 상기 판단 결과를 기반으로 가상 텍스트 입력 인터페이스를 표시하는 제어부를 포함하는 이동 단말기.Scrolls a page displayed on the display according to the detected movement of the mobile terminal, determines whether at least a portion of an input area of the display overlaps or borders an input window of a page displayed on the display, and determines the result A mobile terminal comprising a control unit for displaying a virtual text input interface based on the. 디스플레이;display; 사용자의 제스쳐에 의해 발생하는 이동 단말기의 움직임을 검출하도록 구성된 검출부; 및A detector configured to detect a movement of a mobile terminal generated by a gesture of a user; And 상기 이동 단말기의 움직임에 따라 상기 디스플레이 상에 표시된 페이지, 또는 선택 포인트 또는 입력 영역을 스크롤하고, 상기 디스플레이에 현재 표시된 페이지에 추가로, 가이드 윈도우를 표시하도록 상기 디스플레이를 제어하는 제어부를 포함하고, 상기 가이드 윈도우는 상기 디스플레이에 현재 표시된 페이지의 축소형이며, 상기 가이드 윈도우 내에는 상기 선택 포인트 또는 입력 영역의 축소형이 포함되는 이동 단말기.And a controller for scrolling a page displayed on the display, a selection point or an input area according to the movement of the mobile terminal, and controlling the display to display a guide window in addition to the page currently displayed on the display. The guide window is a reduced type of the page currently displayed on the display, and the guide window includes a reduced type of the selection point or the input area.
KR1020080068312A 2008-04-17 2008-07-14 User interface controlling method by detecting user's gestures KR100912310B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20080035556 2008-04-17
KR1020080035556 2008-04-17

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/196,080 US9582049B2 (en) 2008-04-17 2008-08-21 Method and device for controlling user interface based on user's gesture
DE112008003816.3T DE112008003816B4 (en) 2008-04-17 2008-08-28 Method and device for controlling a user interface on the basis of a gesture by a user
PCT/KR2008/005064 WO2009128593A1 (en) 2008-04-17 2008-08-28 Method and device for controlling user interface based on user's gesture

Publications (1)

Publication Number Publication Date
KR100912310B1 true KR100912310B1 (en) 2009-08-14

Family

ID=41209833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080068312A KR100912310B1 (en) 2008-04-17 2008-07-14 User interface controlling method by detecting user's gestures

Country Status (2)

Country Link
KR (1) KR100912310B1 (en)
DE (1) DE112008003816B4 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011037409A2 (en) * 2009-09-24 2011-03-31 Chun Hea-Kyung Virtual space interface control method to be carried out by terminal
WO2011037408A2 (en) * 2009-09-24 2011-03-31 Chun Hea-Kyung Terminal having virtual space interface and virtual space interface control method
KR101254037B1 (en) 2009-10-13 2013-04-12 에스케이플래닛 주식회사 Method and mobile terminal for display processing using eyes and gesture recognition
KR101750868B1 (en) * 2011-01-24 2017-06-26 엘지전자 주식회사 Method for providing user interface and mobile communications terminal thereof
KR101779504B1 (en) * 2011-05-18 2017-09-18 엘지전자 주식회사 Mobile terminal and control method for mobile terminal
WO2022005246A1 (en) * 2020-07-02 2022-01-06 Samsung Electronics Co., Ltd. Page navigation method and electronic device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070007329A (en) * 2004-03-01 2007-01-15 애플 컴퓨터, 인크. Methods and apparatuses for operating a portable device based on an accelerometer
KR20070068590A (en) * 2005-12-27 2007-07-02 주식회사 엔씨소프트 User interfacing method for portable digital apparatus and portable digital apparatus thereof

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6573883B1 (en) * 1998-06-24 2003-06-03 Hewlett Packard Development Company, L.P. Method and apparatus for controlling a computing device with gestures
US6570567B1 (en) * 2000-05-31 2003-05-27 Alan Eaton System and method for using a graphical interface for the presentation of genealogical information
US7036086B2 (en) * 2001-01-04 2006-04-25 Intel Corporation Displaying software keyboard images
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
US7941760B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Soft keyboard display for a portable multifunction device
KR20080068312A (en) 2007-01-19 2008-07-23 엘지전자 주식회사 Multimedia service interface method using enhanced message service, and terminal thereof
US10078414B2 (en) * 2007-03-29 2018-09-18 Apple Inc. Cursor for presenting information regarding target
KR20080035556A (en) 2008-04-10 2008-04-23 정용기 Lightning arrester

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070007329A (en) * 2004-03-01 2007-01-15 애플 컴퓨터, 인크. Methods and apparatuses for operating a portable device based on an accelerometer
KR20070068590A (en) * 2005-12-27 2007-07-02 주식회사 엔씨소프트 User interfacing method for portable digital apparatus and portable digital apparatus thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011037409A2 (en) * 2009-09-24 2011-03-31 Chun Hea-Kyung Virtual space interface control method to be carried out by terminal
WO2011037408A2 (en) * 2009-09-24 2011-03-31 Chun Hea-Kyung Terminal having virtual space interface and virtual space interface control method
WO2011037408A3 (en) * 2009-09-24 2011-09-09 Chun Hea-Kyung Terminal having virtual space interface and virtual space interface control method
WO2011037409A3 (en) * 2009-09-24 2011-09-09 Chun Hea-Kyung Virtual space interface control method to be carried out by terminal
KR101254037B1 (en) 2009-10-13 2013-04-12 에스케이플래닛 주식회사 Method and mobile terminal for display processing using eyes and gesture recognition
KR101750868B1 (en) * 2011-01-24 2017-06-26 엘지전자 주식회사 Method for providing user interface and mobile communications terminal thereof
KR101779504B1 (en) * 2011-05-18 2017-09-18 엘지전자 주식회사 Mobile terminal and control method for mobile terminal
WO2022005246A1 (en) * 2020-07-02 2022-01-06 Samsung Electronics Co., Ltd. Page navigation method and electronic device

Also Published As

Publication number Publication date
DE112008003816B4 (en) 2020-08-13
DE112008003816T5 (en) 2011-04-14

Similar Documents

Publication Publication Date Title
US9582049B2 (en) Method and device for controlling user interface based on user's gesture
US9569088B2 (en) Scrolling method of mobile terminal
KR100981200B1 (en) A mobile terminal with motion sensor and a controlling method thereof
US8219936B2 (en) User interface for a mobile device using a user's gesture in the proximity of an electronic device
US9651991B2 (en) Mobile terminal and control method thereof
KR100934514B1 (en) User Interface Control Method Using Gesture in Adjacent Space
KR101456001B1 (en) Terminal and method for controlling the same
US8423076B2 (en) User interface for a mobile device
US8565828B2 (en) Mobile terminal having touch sensor-equipped input device and control method thereof
US8271907B2 (en) User interface method for mobile device and mobile communication system
KR101474452B1 (en) Method for controlling touch input of mobile terminal
CN106445352B (en) Edge touch device and method of mobile terminal
KR20100010072A (en) Controlling method of user interface for multitasking of mobile devices
KR100912310B1 (en) User interface controlling method by detecting user's gestures
KR20100003623A (en) Method for input of mobile terminal
KR101336709B1 (en) Mobile terminal and operation control method using back cover touch thereof
KR100917527B1 (en) User interface controlling method by detecting user's gestures
KR20090070050A (en) Mobile terminal and its method for controlling of user interface menu
KR101004489B1 (en) A user interface controlling method using gesture in the proximal space
KR20120019064A (en) Mobile twrminal having smart search widget and searching method thereof
KR20100045434A (en) A method for inputting orders using gestures
KR20090119410A (en) Mobile terminal and method of displaying screen therein
CN106384033A (en) Screen off method and apparatus of terminal screen
CN106681642B (en) Mobile terminal and mobile terminal control method
KR20100010296A (en) Mobile terminal and method for displaying keypad

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130724

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140724

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150724

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160722

Year of fee payment: 8