KR20140128818A

KR20140128818A - A portable terminal and a method for operating it

Info

Publication number: KR20140128818A
Application number: KR20130047769A
Authority: KR
Inventors: 홍종철; 송진석; 강홍석; 안지현; 김종민
Original assignee: 인포뱅크 주식회사; 인텔렉추얼디스커버리 주식회사
Priority date: 2013-04-29
Filing date: 2013-04-29
Publication date: 2014-11-06

Abstract

According to an embodiment of the present invention, an operation method for a mobile terminal includes the steps of: detecting the approach of a stylus pen; detecting a tip of the stylus pen with one or more sensors in response to the approach of the stylus pen; identifying at least one gesture based on the motion of the tip; and changing an input mode in response to the identified gesture.

Description

TECHNICAL FIELD [0001] The present invention relates to a portable terminal and a method of operating the same,

본 발명은 휴대용 단말기 및 그 동작 방법에 관한 것으로, 외부 입력 장치를 이용하여 사용자 편의성을 향상시킬 수 있는 휴대용 단말기 및 그 동작 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a portable terminal and an operation method thereof, and relates to a portable terminal and an operation method thereof that can improve user convenience by using an external input device.

최근 이동 단말기의 보급이 확산되고 있다. 스마트폰, 태블릿 컴퓨터 등은 일반적으로 다양한 센서와 이동 통신을 이용하여 풍부한 서비스를 제공하고 있다. 특히, 최근에는 스마트폰 또는 태블릿 컴퓨터에서 응용되는 어플리케이션 들이 다수 출시되고 있는 실정이다.Recently, the spread of mobile terminals is spreading. Smart phones, tablet computers and the like generally provide various services using various sensors and mobile communication. In particular, recently, a large number of applications for smart phones or tablet computers have been introduced.

특히 고속 이동 통신이 전국적으로 확대되면서 사용자들은 스마트폰을 이용하여 어디에서든지 상대방과 통화할 수 있을 뿐만 아니라, 다양한 정보를 송수신할 수 있다.Especially, as the high-speed mobile communication is expanded nationwide, users can communicate with each other by using a smart phone, and can transmit / receive various information.

이와 같이, 사용자들은 스마트폰을 이용한 다양한 정보를 송수신하기 위한 통화를 수행하기도 하며, 인터넷 작업을 수행하기도 하고, 문서 작업을 진행하기도 한다.In this way, users can make calls for transmitting and receiving various information using a smart phone, perform Internet operations, and work on documents.

특히, 스마트폰 또는 태블릿의 문서, 스케치 또는 노트 기능을 이용하여 업무 처리를 하는 경우, 스타일러스 펜이 유용하게 사용되고 있다.In particular, stylus pens are useful when processing work using a document, sketch, or note function of a smartphone or a tablet.

일반적으로 스타일러스 펜을 사용하는 디지털 기기의 경우, 펜에서 나오는 자기장을 이용하여 펜이 화면을 터치하거나 가까울 경우를 인식하여 동작하고 있다. 그러나, 이 경우, 사용자는 스마트 기기와 스타일러스 펜을 접촉하거나 매우 가까이 접근시켜야 특정 기능 제어를 수행할 수 있다.Generally, in the case of a digital device using a stylus pen, the magnetic field generated from the pen is used to recognize that the pen touches or is close to the screen. However, in this case, the user is required to contact the stylus pen with the stylus pen very close to perform specific function control.

하지만, 이와 같은 방식으로는 단순히 사용자의 터치 또는 근접을 대체할 수 있을 뿐, 스타일러스 펜 자체의 기능은 매우 제한적이며 스마트폰 화면에 나타나는 기능 외에는 다양한 입력이 어려운 실정이다.However, in such a method, the stylus pen itself has a very limited function, and only the touch or proximity of the user can be replaced. In addition, functions other than the functions displayed on the screen of the smartphone are difficult to input.

한편, 펜의 탈부착이나 펜에 부착된 버튼을 활용하는 기술은 있으나, 터치를 대체하는 정도로서의 입력 기능 외에는 이를 확장하기에는 제한적인 실정이며, 이를 추가하기 위해서는 기존의 외부 입력 장치에 새로운 입력을 위한 전기 모듈을 추가하고, 배터리를 부착하여야 하는 문제점이 있다.In addition, there is a technique of using a pen to attach or detach the pen or a button attached to the pen. However, in order to add a touch, it is limited to extend the touch function. However, There is a problem of adding a module and attaching a battery.

본 발명의 목적은, 상술한 문제점들을 해결하기 위해, 별도의 모듈 추가 없이 기존의 시스템을 유지하면서도 외부 입력 장치의 기능을 확장시킬 수 있는 휴대용 단말기를 제공함에 있다.An object of the present invention is to provide a portable terminal capable of expanding functions of an external input device while maintaining an existing system without adding a separate module in order to solve the above problems.

또한, 본 발명의 목적은, 외부 입력 장치의 기능 확장을 통해 문서 편집시의 사용자 편의성을 향상시킬 수 있는 휴대용 단말기를 제공함에 있다.It is another object of the present invention to provide a portable terminal capable of improving user convenience at the time of editing a document through expansion of functions of an external input device.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 방법은, 휴대용 단말기의 동작 방법에 있어서, 외부 입력 장치의 접근을 검출하는 단계; 상기 외부 입력 장치의 접근에 대응하여 적어도 하나의 센서를 통해 상기 외부 입력 장치의 일단을 검출하는 단계; 상기 일단의 움직임에 기초하여 적어도 하나의 제스처를 인식하는 단계; 및 상기 인식된 제스처에 대응하여, 입력 모드를 변경하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of operating a portable terminal, the method comprising: detecting access to an external input device; Detecting one end of the external input device through at least one sensor corresponding to the approach of the external input device; Recognizing at least one gesture based on the movement of the one end; And changing the input mode corresponding to the recognized gesture.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 장치는, 휴대용 단말기에 있어서, 외부 입력 장치의 접근을 검출하고, 상기 외부 입력 장치의 접근에 대응하여 적어도 하나의 센서를 통해 상기 스타일러스 펜의 일단을 검출하는 센서부; 및 상기 일단의 움직임에 기초하여 적어도 하나의 제스처를 인식하고, 상기 인식된 제스처에 대응하여, 입력 모드를 변경하는 제어부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for detecting an access to an external input device, the apparatus comprising: A sensor unit for detecting one end of the sensor; And a control unit for recognizing at least one gesture based on the movement of the one end and changing an input mode corresponding to the recognized gesture.

본 발명의 실시 예에 따르면 외부 입력 장치의 일단을 검출하고, 그 일단의 움직임에 따라 입력 모드를 변경함으로써, 외부 입력 장치의 기능을 새로운 영역으로 확장할 수 있다.According to the embodiment of the present invention, the function of the external input device can be expanded to a new area by detecting one end of the external input device and changing the input mode according to the movement of the one end.

특히, 본 발명의 실시 예에 따르면, 외부 입력 장치의 전단 및 후단을 검출하고, 그 움직임에 따라 상이한 입력 모드 변경을 수행할 수 있다. 따라서, 휴대용 단말기와 외부 입력 장치 사용자에게 다양한 입력 방식을 제공할 수 있으므로 편의성을 향상시킬 수 있다.Particularly, according to the embodiment of the present invention, it is possible to detect the front end and the rear end of the external input apparatus, and perform a different input mode change according to the movement. Accordingly, various input methods can be provided to the user of the portable terminal and the external input device, thereby improving convenience.

도 1은 본 발명의 일 실시 예에 따른 휴대용 단말기와 외부 입력 장치를 포함하는 전체 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 휴대용 단말기를 보다 구체적으로 나타내는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 외부 입력 장치를 보다 구체적으로 나타내는 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 휴대용 단말기의 동작 방법을 설명하기 위한 흐름도이다.
도 5 및 도 6은 본 발명의 일 실시 예에 따른 휴대용 단말기의 동작 방법을 예시하기 위한 도면들이다.1 is a conceptual diagram illustrating an entire system including a portable terminal and an external input device according to an embodiment of the present invention.
2 is a block diagram illustrating a portable terminal according to an embodiment of the present invention.
3 is a block diagram illustrating an external input device according to an embodiment of the present invention.
4 is a flowchart illustrating an operation method of a portable terminal according to an embodiment of the present invention.
5 and 6 are views illustrating an operation method of the portable terminal according to an embodiment of the present invention.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following merely illustrates the principles of the invention. Thus, those skilled in the art will be able to devise various apparatuses which, although not explicitly described or shown herein, embody the principles of the invention and are included in the concept and scope of the invention. Furthermore, all of the conditional terms and embodiments listed herein are, in principle, intended only for the purpose of enabling understanding of the concepts of the present invention, and are not intended to be limiting in any way to the specifically listed embodiments and conditions .

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.It is also to be understood that the detailed description, as well as the principles, aspects and embodiments of the invention, as well as specific embodiments thereof, are intended to cover structural and functional equivalents thereof. It is also to be understood that such equivalents include all elements contemplated to perform the same function irrespective of the currently known equivalents as well as the equivalents to be developed in the future, i.e., the structure.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, it should be understood that the block diagrams herein represent conceptual views of exemplary circuits embodying the principles of the invention. Similarly, all flowcharts, state transition diagrams, pseudo code, and the like are representative of various processes that may be substantially represented on a computer-readable medium and executed by a computer or processor, whether or not the computer or processor is explicitly shown .

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.The functions of the various elements shown in the figures, including the functional blocks depicted in the processor or similar concept, may be provided by use of dedicated hardware as well as hardware capable of executing software in connection with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 저장부를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.Also, the explicit use of terms such as processor, control, or similar concepts should not be interpreted exclusively as hardware capable of running software, and may be used without limitation as a digital signal processor (DSP) (ROM), random access memory (RAM), and non-volatile storage. Other hardware may also be included.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.In the claims hereof, the elements represented as means for performing the functions described in the detailed description include all types of software including, for example, a combination of circuit elements performing the function or firmware / microcode etc. , And is coupled with appropriate circuitry to execute the software to perform the function. It is to be understood that the invention defined by the appended claims is not to be construed as encompassing any means capable of providing such functionality, as the functions provided by the various listed means are combined and combined with the manner in which the claims require .

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, in which: There will be. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 휴대용 단말기와 외부 입력 장치를 포함하는 전체 시스템을 설명하기 위한 개념도이다.1 is a conceptual diagram for explaining an overall system including a portable terminal and an external input device according to an embodiment of the present invention.

본 명세서에서 설명되는 휴대용 단말기(100) 에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 휴대용 단말기(100)에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.The portable terminal 100 described in this specification may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player) have. However, it will be readily apparent to those skilled in the art that the configuration according to the embodiments described herein may be applied to a fixed terminal such as a digital TV, a desktop computer, and the like, except where the configuration is applicable only to the portable terminal 100 .

도 1을 참조하면, 본 발명의 일 실시 예에 따른 휴대용 단말기(100)는 스타일러스 펜(200)을 외부 입력 장치로 사용할 수 있다. 사용자는 스타일러스 펜(200)을 이용하여 휴대용 단말기(100)의 터치 입력을 외부 입력 장치로 대신할 수 있다. Referring to FIG. 1, the portable terminal 100 according to an embodiment of the present invention may use the stylus pen 200 as an external input device. The user can replace the touch input of the portable terminal 100 with an external input device using the stylus pen 200. [

또한, 본 발명의 실시 예에 따르면 외부 입력 장치로서의 스타일러스 펜(200)은 전단(220) 및 후단(210)을 포함할 수 있으며, 각 양단에는 전단(220) 및 후단(210)에 각각 대응되는 마커 또는 인디케이터가 포함될 수 있다. 이와 같은 구성에 따라, 휴대용 단말기(100)는 스마트 기기에 보급되어 있는 적어도 하나의 센서들을 이용하여 스타일러스 펜에 포함된 마커 또는 인디케이터를 인식함으로써, 전단(220) 또는 후단(210)을 인식할 수 있다.According to an embodiment of the present invention, the stylus pen 200 as an external input device may include a front end 220 and a rear end 210, and each end may correspond to a front end 220 and a rear end 210 A marker or an indicator may be included. The portable terminal 100 recognizes the marker or the indicator included in the stylus pen using at least one of the sensors installed in the smart device to recognize the front end 220 or the rear end 210 have.

그리고, 휴대용 단말기(100)는 인식된 스타일러스 펜의 전단(220) 또는 후단(210)의 움직임을 마커 또는 인디케이터의 움직임을 통해 추적할 수 있다. 그리고, 휴대용 단말기(100)는 추적된 인디케이터의 움직임을 분석하여 사용자 제스처를 판단하고, 이에 따른 휴대용 단말기(100)의 입력 모드 변경을 수행할 수 있다. 예를 들어, 휴대용 단말기(100)는 사용자에 의한 스타일러스 펜의 전단(220) 제스쳐를 인식하고, 이에 대응되는 필기 입력 모드로 변경할 수 있다.Then, the portable terminal 100 can track the movement of the front end 220 or the rear end 210 of the recognized stylus pen through the movement of the marker or the indicator. The portable terminal 100 may analyze the movement of the tracked indicator to determine a user gesture, and may change the input mode of the portable terminal 100 accordingly. For example, the portable terminal 100 can recognize the front end 220 gesture of the stylus pen by the user and change the mode to the corresponding handwriting input mode.

이와 같은 동작에 의해, 스타일러스 펜(200)의 입력 모드가 변경될 수 있으며, 결과적으로 스타일러스 펜(200)의 기능이 휴대용 단말기(100)의 동작에 의해 확장될 수 있다.
By this operation, the input mode of the stylus pen 200 can be changed, and as a result, the function of the stylus pen 200 can be expanded by the operation of the portable terminal 100. [

다음은 도 2를 참고하여 본 발명의 일 실시예에 따른 휴대용 단말기(100)의 구조를 설명한다. The structure of the portable terminal 100 according to an embodiment of the present invention will be described with reference to FIG.

도 2는 본 발명의 일 실시예와 관련된 휴대용 단말기(100)의 블록 구성도(block diagram)이다.2 is a block diagram of a portable terminal 100 according to an embodiment of the present invention.

상기 휴대용 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센서부(140), 출력부(150), 저장부(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 휴대용 단말기가 구현될 수도 있다.The portable terminal 100 includes a wireless communication unit 110, an audio / video input unit 120, a user input unit 130, a sensor unit 140, an output unit 150, a storage unit 160, An interface unit 170, a control unit 180, a power supply unit 190, and the like. The components shown in Fig. 1 are not essential, and a portable terminal having more or less components than those shown in Fig. 1 may be implemented.

무선 통신부(110)는 휴대용 단말기(100)와 무선 통신 시스템 사이 또는 휴대용 단말기(100)와 휴대용 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.The wireless communication unit 110 may include one or more modules for enabling wireless communication between the portable terminal 100 and the wireless communication system or between the portable terminal 100 and the network in which the portable terminal 100 is located. For example, the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless Internet module 113, a short range communication module 114, and a location information module 115 .

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. The broadcast receiving module 111 receives broadcast signals and / or broadcast-related information from an external broadcast management server through a broadcast channel.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 저장부(160)에 저장될 수 있다.The broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the storage unit 160.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication module 112 transmits and receives radio signals to at least one of a base station, an external terminal, and a server on a mobile communication network. The wireless signal may include various types of data depending on a voice call signal, a video call signal or a text / multimedia message transmission / reception.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 휴대용 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. The wireless Internet module 113 is a module for wireless Internet access, and may be built in or enclosed in the portable terminal 100. WLAN (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) and the like can be used as wireless Internet technologies.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.The short-range communication module 114 refers to a module for short-range communication. Bluetooth, Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), ZigBee, and the like can be used as a short range communication technology.

위치정보 모듈(115)은 휴대용 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.The position information module 115 is a module for obtaining the position of the portable terminal, and a representative example thereof is a Global Position System (GPS) module.

도 2를 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.Referring to FIG. 2, an A / V (Audio / Video) input unit 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122. The camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video communication mode or the photographing mode. The processed image frame can be displayed on the display unit 151. [

카메라(121)에서 처리된 화상 프레임은 저장부(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 121 may be stored in the storage unit 160 or transmitted to the outside through the wireless communication unit 110. [ Two or more cameras 121 may be provided depending on the use environment.

마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다The microphone 122 receives an external sound signal through a microphone in a communication mode, a recording mode, a voice recognition mode, and the like, and processes it as electrical voice data

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 또한, 사용자 입력부(130)에 카메라(121)가 연결될 수도 있다. 사용자 입력부(130)는 카메라(121)로부터 출력되는 영상 데이터로부터 제스처 입력을 검출할 수 있다.The user input unit 130 generates input data for a user to control the operation of the terminal. The user input unit 130 may include a key pad dome switch, a touch pad (static / static), a jog wheel, a jog switch, and the like. In addition, the camera 121 may be connected to the user input unit 130. The user input unit 130 can detect the gesture input from the image data output from the camera 121. [

센서부(140)는 휴대용 단말기(100)의 개폐 상태, 휴대용 단말기(100)의 위치, 사용자 접촉 유무, 휴대용 단말기의 방위, 휴대용 단말기의 가속/감속 등과 같이 휴대용 단말기(100)의 현 상태를 감지하여 휴대용 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 휴대용 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센서부(140)는 근접 센서(141)를 포함할 수 있다. The sensor unit 140 senses the current state of the portable terminal 100 such as the opening and closing state of the portable terminal 100, the position of the portable terminal 100, the presence or absence of user contact, the orientation of the portable terminal, And generates a sensing signal for controlling the operation of the portable terminal 100. For example, when the portable terminal 100 is in the form of a slide phone, it is possible to sense whether the slide phone is opened or closed. It is also possible to sense whether the power supply unit 190 is powered on, whether the interface unit 170 is connected to an external device, and the like. Meanwhile, the sensor unit 140 may include a proximity sensor 141.

또한, 센서부(140)는 예를 들어, 고도 센서, 가속도 센서, 지자기 센서, 자이로 센서, 기압 센서 등을 포함하여, 스타일러스 펜(200)의 양단(210, 220)의 움직임에 따른 제스처를 감지할 수 있다.The sensor unit 140 detects gestures caused by movement of both ends 210 and 220 of the stylus pen 200 including an altitude sensor, an acceleration sensor, a geomagnetic sensor, a gyro sensor, can do.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 및 햅틱 모듈(154) 등이 포함될 수 있다.The output unit 150 is for generating output related to the visual, auditory or tactile sense and includes a display unit 151, an audio output module 152, an alarm unit 153, and a haptic module 154 .

디스플레이부(151)는 휴대용 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 휴대용 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 휴대용 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. The display unit 151 displays (outputs) information processed in the portable terminal 100. For example, when the portable terminal is in the call mode, a UI (User Interface) or GUI (Graphic User Interface) related to the call is displayed. When the portable terminal 100 is in the video communication mode or the photographing mode, the photographed and / or received image or the UI and the GUI are displayed.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. The display unit 151 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display display, and a 3D display.

디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.(Hereinafter, referred to as a 'touch screen') in which a display unit 151 and a sensor for sensing a touch operation (hereinafter, referred to as 'touch sensor') form a mutual layer structure, It can also be used as an input device. The touch sensor may have the form of, for example, a touch film, a touch sheet, a touch pad, or the like.

터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. The touch sensor may be configured to convert a change in a pressure applied to a specific portion of the display unit 151 or a capacitance generated in a specific portion of the display unit 151 into an electrical input signal. The touch sensor can be configured to detect not only the position and area to be touched but also the pressure at the time of touch.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.If there is a touch input to the touch sensor, the corresponding signal (s) is sent to the touch controller. The touch controller processes the signal (s) and transmits the corresponding data to the controller 180. Thus, the control unit 180 can know which area of the display unit 151 is touched or the like.

음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 저장부(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 휴대용 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The audio output module 152 may output audio data received from the wireless communication unit 110 or stored in the storage unit 160 in a call signal reception mode, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, The sound output module 152 also outputs sound signals related to functions (e.g., call signal reception sound, message reception sound, etc.) performed in the portable terminal 100. The audio output module 152 may include a receiver, a speaker, a buzzer, and the like.

알람부(153)는 휴대용 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 휴대용 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.The alarm unit 153 outputs a signal for notifying the occurrence of an event of the portable terminal 100. Examples of events occurring in the portable terminal include receiving a call signal, receiving a message, inputting a key signal, and touch input. The alarm unit 153 may output a signal for notifying the occurrence of an event in a form other than the video signal or the audio signal, for example, vibration. The video signal or the audio signal may be output through the display unit 151 or the audio output module 152 so that they may be classified as a part of the alarm unit 153.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. The haptic module 154 generates various tactile effects that the user can feel. A typical example of the haptic effect generated by the haptic module 154 is vibration. The intensity and pattern of the vibration generated by the hit module 154 can be controlled. For example, different vibrations may be synthesized and output or sequentially output.

저장부(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 저장부(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The storage unit 160 may store a program for the operation of the controller 180 and may temporarily store input / output data (e.g., a phone book, a message, a still image, The storage unit 160 may store data related to vibration and sound of various patterns outputted when a touch is input on the touch screen.

저장부(160)는 플래시 저장부 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 저장부(예를 들어 SD 또는 XD 저장부 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 저장부, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 휴대용 단말기(100)는 인터넷(internet)상에서 상기 저장부(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.The storage unit 160 may store a flash memory type, a hard disk type, a multimedia card micro type, a card type storage unit (for example, an SD or XD storage unit) A static random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM) A magnetic storage unit, a magnetic disk, and / or an optical disk. The portable terminal 100 may operate in association with a web storage that performs a storage function of the storage unit 160 on the Internet.

인터페이스부(170)는 휴대용 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 휴대용 단말기(100) 내부의 각 구성 요소에 전달하거나, 휴대용 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 저장부 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다. The interface unit 170 serves as a path for communication with all the external devices connected to the portable terminal 100. The interface unit 170 receives data from an external device or supplies power to each component in the portable terminal 100 or allows data in the portable terminal 100 to be transmitted to an external device. For example, there may be a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, a port for connecting a device with an identification module, an audio input / A video input / output (I / O) port, an earphone port, and the like may be included in the interface unit 170.

식별 모듈은 휴대용 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identity Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다. The identification module is a chip for storing various information for authenticating the usage right of the portable terminal 100 and includes a user identification module (UIM), a subscriber identity module (SIM), a general user authentication module A Universal Subscriber Identity Module (USIM), and the like. Devices with identification modules (hereinafter referred to as "identification devices") can be manufactured in a smart card format. Accordingly, the identification device can be connected to the terminal 100 through the port.

상기 인터페이스부는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.When the mobile terminal 100 is connected to an external cradle, the interface unit may be a path through which power from the cradle is supplied to the mobile terminal 100, or various command signals input by the user to the cradle may be transmitted It can be a passage to be transmitted to the terminal. The various command signals or the power source input from the cradle may be operated as a signal for recognizing that the mobile terminal is correctly mounted on the cradle.

제어부(controller, 180)는 통상적으로 휴대용 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.The controller 180 typically controls the overall operation of the portable terminal. For example, voice communication, data communication, video communication, and the like. The control unit 180 may include a multimedia module 181 for multimedia playback. The multimedia module 181 may be implemented in the control unit 180 or may be implemented separately from the control unit 180. [

상기 제어부(180)는 상기 터치스크린 상에서 행해지는 스타일러스 펜(200) 등에 의한 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. 제어부(180)이와 같은 패턴 인식 처리를 통해 입력패턴 데이터를 생성할 수 있다.The control unit 180 may perform a pattern recognition process for recognizing handwriting input or drawing input by the stylus pen 200 or the like, which are performed on the touch screen, as characters and images, respectively. The control unit 180 can generate the input pattern data through such pattern recognition processing.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
The power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power necessary for operation of the respective components.

한편, 도 3은 본 발명의 실시 예에 따른 스타일러스 펜(200)을 설명하기 위한 도면이다.3 is a view for explaining a stylus pen 200 according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 스타일러스 펜(200)은 전단(220) 및 후단(210)을 포함한다.Referring to FIG. 3, the stylus pen 200 according to the embodiment of the present invention includes a front end 220 and a rear end 210.

전단(220) 및 후단(210)은 각각 스타일러스 펜의 양단에 대응될 수 있다. 또한, 후단(210)은 제1 마커(211)를 포함할 수 있다. 또한, 도시되지는 않았으나 전단(220)은 제2 마커를 포함할 수 있다.The front end 220 and the rear end 210 may correspond to both ends of the stylus pen, respectively. In addition, the rear end 210 may include a first marker 211. Also, although not shown, the front end 220 may include a second marker.

특히 제1 마커(211)는 휴대용 단말기(100)에서 검출될 수 있는 이미지 형상을 포함할 수 있다. 제1 마커(211)는 프린팅되어 스타일러스 펜(200)의 후단(210)에 부착될 수 있다. 휴대용 단말기(100)는 제1 마커(211)에 대한 정보를 미리 저장하고 있을 수 있으며, 필요에 따라 이동 통신망 또는 인터넷망을 통해 제1 마커(211)에 대한 정보를 수신하고, 이에 기초하여 스타일러스 펜(200)의 제1 마커(211)를 검출할 수 있다.In particular, the first marker 211 may include an image shape that can be detected in the portable terminal 100. The first marker 211 may be printed and attached to the rear end 210 of the stylus pen 200. The portable terminal 100 may store information about the first marker 211 in advance and may receive information about the first marker 211 through a mobile communication network or the Internet network as needed, The first marker 211 of the pen 200 can be detected.

한편, 제1 마커(211)가 부착될 수 있는 스타일러스 펜의 후단(210)은 사용자가 회전시킬 수 있는 조그휠을 포함할 수 있다. 조그휠의 회전에 따라 후단(210)에 부착된 제1 마커(211)도 함께 회전할 수 있으며, 이에 따라 휴대용 단말기(100)는 제1 마커(211)의 회전 제스처를 검출할 수 있다.On the other hand, the rear end 210 of the stylus pen to which the first marker 211 can be attached may include a jog wheel that the user can rotate. The first marker 211 attached to the rear end 210 can rotate together with the rotation of the jog wheel so that the portable terminal 100 can detect the rotation gesture of the first marker 211. [

한편, 제1 마커(211)는 이미지 형상 외에도, 인디케이터를 포함할 수 있다. 휴대용 단말기(100)는 인디케이터의 색상을 인식하여 후단(210)의 움직임을 센싱할 수 있다. 또한, 인디케이터는 발광형 인디케이터일 수 있다. 발광되는 경우에는 휴대용 단말기(100)는 인디케이터로부터의 빛과 그 세기에 따라 후단(210)의 움직임을 센싱할 수 있다.In addition to the image shape, the first marker 211 may include an indicator. The portable terminal 100 can sense the movement of the rear end 210 by recognizing the color of the indicator. Further, the indicator may be a light emitting type indicator. The portable terminal 100 can sense the movement of the rear end 210 according to the light from the indicator and the intensity thereof.

한편, 전단(220) 또한 앞서 설명한 후단(210)의 경우와 유사한 조그휠 또는제2 마커를 포함할 수 있다. 제2 마커 또한 전단(220) 을 식별하기 위한 인디케이터를 포함할 수 있다. 전단(220) 및 후단(210) 구분을 위해 제1 마커와 제2 마커는 상이한 이미지를 포함할 수 있으며, 서로 다른 색상 또는 다른 빛의 세기를 가질 수 있다.The front end 220 may also include a jog wheel or a second marker similar to that of the rear end 210 described above. The second marker may also include an indicator for identifying the front end 220. The first and second markers may include different images for differentiation of the front end 220 and the rear end 210 and may have different colors or different light intensities.

그리고, 이와 같은 전단(220) 및 후단(210)의 구성은 설정에 따라 선택적으로 적용될 수 있다. 사용자는 후단(210)의 제스처만을 이용하여 스타일러스 펜(200)의 기능을 확장할 수 있으며, 전단(220)의 제스처는 배제시킬 수도 있다. 또한 그 반대의 경우도 있을 수 있다.The configurations of the front end 220 and the rear end 210 may be selectively applied according to the setting. The user may extend the function of the stylus pen 200 using only the gesture of the rear end 210 and may exclude the gesture of the front end 220. [ The opposite can also be the case.

이하에서는 이와 같이 구성된 스타일러스 펜(200)을 이용한 휴대용 단말기(100)의 기능 동작을 보다 상세하게 설명한다.Hereinafter, the functional operation of the portable terminal 100 using the stylus pen 200 will be described in more detail.

도 4는 본 발명의 일 실시 예에 따른 휴대용 단말기(100)의 동작 방법을 나타내는 흐름도이다.4 is a flowchart illustrating an operation method of the portable terminal 100 according to an embodiment of the present invention.

본 발명의 실시 예에 따르면, 휴대용 단말기(100)는 스타일러스 펜(200)의 접근을 검출한다(S100).According to the embodiment of the present invention, the portable terminal 100 detects the access of the stylus pen 200 (S100).

제어부(180)는 센서부(140)에서 센싱되는 자기장 변화에 기초하여 스타일러스 펜(200)의 접근을 인식할 수 있다. 예를 들어, 제어부(180)는 자기 센서를 통해 주변의 자기장을 검출할 수 있으며, 스타일러스 펜(200)으로 인한 자기장 변화를 검출할 수 있다. 또한, 제어부(180)는 자기장 의 변화에 기초하여 스타일러스 펜(200)의 접근을 검출할 수도 있다. The control unit 180 can recognize the approach of the stylus pen 200 based on the change in the magnetic field sensed by the sensor unit 140. [ For example, the control unit 180 can detect the magnetic field around the stylus pen 200 through the magnetic sensor, and can detect the magnetic field change caused by the stylus pen 200. Further, the control unit 180 may detect the approach of the stylus pen 200 based on the change of the magnetic field.

또한, 제어부(180)는 근접 센서 또는 이미지 센서를 통해 스타일러스 펜(200)의 접근을 검출할 수도 있다. 스타일러스 펜(200)의 접근은 복수 센서의 조합을 통해 검출될 수도 있다.Further, the control unit 180 may detect the approach of the stylus pen 200 through the proximity sensor or the image sensor. The approach of the stylus pen 200 may be detected through a combination of a plurality of sensors.

그리고, 스타일러스 펜(200)의 접근이 검출되면, 휴대용 단말기(100)는 모션 인식 모드로 진입한다(S110).When the access of the stylus pen 200 is detected, the portable terminal 100 enters the motion recognition mode (S110).

모션 인식 모드는 스타일러스 펜(200)의 제스처를 검출하기 위한 이미지 센싱 모드를 의미할 수 있다. 제어부(180)는 이미지 센싱 모드로 진입하면, 전면 카메라(121)의 전원 공급을 ON으로 제어함으로써 사용자의 스타일러스 펜(200)을 포함하는 촬영 이미지를 카메라(121)로부터 수신할 수 있다. 이와 같은 단계적 모드 제어에 따라, 휴대용 단말기(100)의 전력 효율을 향상시킬 수 있다.The motion recognition mode may mean an image sensing mode for detecting the gesture of the stylus pen 200. [ When the controller 180 enters the image sensing mode, the control unit 180 can turn on the power supply of the front camera 121 to receive a photographing image including the user's stylus pen 200 from the camera 121. According to the stepwise mode control, the power efficiency of the portable terminal 100 can be improved.

이후, 휴대용 단말기(100)는 스타일러스 펜의 전단(220) 또는 후단(210)의 움직임을 검출한다(S120).Then, the portable terminal 100 detects the movement of the front end 220 or the rear end 210 of the stylus pen (S120).

앞서 설명한 바와 같이, 제어부(180)는 촬영 이미지로부터 스타일러스 펜(200)의 제1 마커 또는 제2 마커를 식별할 수 있다. 그리고, 제어부(180)는 제1 마커 또는 제2 마커의 움직임을 추적함으로써, 스타일러스 펜(200)의 전단(220) 또는 후단(210)의 움직임을 검출할 수 있다.As described above, the control unit 180 can identify the first marker or the second marker of the stylus pen 200 from the photographed image. The control unit 180 can detect the movement of the front end 220 or the rear end 210 of the stylus pen 200 by tracking the movement of the first marker or the second marker.

그리고, 휴대용 단말기(100)는 검출된 움직임에 따라 모션(또는 제스처)인식을 수행하고(S130), 인식된 모션 또는 제스처에 따라 입력 모드를 제어한다(S140).Then, the portable terminal 100 performs motion (or gesture) recognition according to the detected motion (S130), and controls the input mode according to the recognized motion or gesture (S140).

스타일러스 펜(200)의 전단(220) 또는 후단(210)의 움직임에 따른 제스처는 휴대용 단말기(100)에 미리 설정될 수 있다. The gesture according to the movement of the front end 220 or the rear end 210 of the stylus pen 200 can be preset in the portable terminal 100. [

예를 들어, 제어부(180)는 제1 마커 또는 제2 마커를 식별하고, 특정 마커가 복수의 특정 시간 동안 복수의 특정 위치로 이동하는지의 여부에 따라 제스처를 인식할 수 있다. 또한, 제어부(180)는 제1 마커의 회전상태에 따라 제스처를 인식할 수 있다. 그리고, 제어부(180)는 제1 마커 또는 제2 마커 중 어느 하나가 인식되는지 여부에 따른 제스처를 인식할 수도 있다.For example, the control unit 180 may identify the first marker or the second marker, and may recognize the gesture according to whether a particular marker moves to a plurality of specific positions for a plurality of specific times. In addition, the controller 180 can recognize the gesture according to the rotation state of the first marker. The controller 180 may recognize a gesture depending on whether one of the first marker or the second marker is recognized.

이와 같이 인식되는 제스처는 사용자 선택에 따라 다양하게 설정될 수 있다. 그리고, 각 제스처는 휴대용 단말기(100)의 각각의 입력 모드에 대응될 수 있다. 입력 모드는 예를 들어, 필기 입력 모드, 지우기 모드, 전체 삭제 모드, 페이지 전환 모드, 취소 모드, 복원 모드, 색상 선택 모드, 화면 유지 모드, 저장 모드 중 적어도 하나를 포함할 수 있다.The thus recognized gesture can be variously set according to the user's selection. Each of the gestures may correspond to each input mode of the portable terminal 100. The input mode may include at least one of a handwriting input mode, an erasing mode, a full erasing mode, a page switching mode, a canceling mode, a restoring mode, a color selecting mode, a screen holding mode, and a storing mode.

제어부(180)는 각 입력 모드에 대응하여 설정된 제스처 정보를 저장부(160)에 저장할 수 있으며, 제1 마커 또는 제2 마커의 움직임에 따라 특정 제스처가 식별되면, 이에 대응되는 입력 모드로 제어할 수 있다. 사용자는 이와 같이 입력 모드가 변경된 상태에서 스타일러스 펜(200)의 터치 등을 통해 필기 입력, 지우기 입력 등을 수행할 수 있다.
The control unit 180 may store the gesture information set corresponding to each input mode in the storage unit 160. If a specific gesture is identified according to the movement of the first marker or the second marker, . The user can perform handwriting input, erase input, and the like through the touch of the stylus pen 200 in a state where the input mode is changed as described above.

도 5 및 도 6은 본 발명의 실시 예에 따른 스타일러스 펜(200)의 제스처에 의한 휴대용 단말기(100)의 입력 모드 변경 방법을 나타내는 도면들이다.5 and 6 are views showing a method of changing the input mode of the portable terminal 100 by the gesture of the stylus pen 200 according to the embodiment of the present invention.

도 5에 도시된 바와 같이, 본 발명의 실시 예에 따른 휴대용 단말기(100)는 입력 모드를 스타일러스 펜(200)에 의한 제스처에 따라 제어할 수 있다. As shown in FIG. 5, the portable terminal 100 according to the embodiment of the present invention can control the input mode according to the gesture by the stylus pen 200.

도 5(A)는 휴대용 단말기(100)의 필기 입력 모드를 나타낸다. 필기 입력 모드에 대응되는 제스처는, 스타일러스 펜(200)의 전단(220)이 휴대용 단말기(100) 쪽으로 향한 상태에서 이동하는 움직임에 대응될 수 있다. 그 움직임은 제어부(180)에 의해 필기 입력 모드 제스처로 식별될 수 있다. 5 (A) shows a handwriting input mode of the portable terminal 100. The gesture corresponding to the handwriting input mode may correspond to the movement of the front end 220 of the stylus pen 200 in a state of being directed toward the portable terminal 100. [ The movement can be identified by the control unit 180 as a handwriting input mode gesture.

제어부(180)는 노트 등의 필기 입력이 가능한 어플리케이션이 실행되지 않은 상태에서 필기 입력 모드 제스처가 인식된 경우, 필기 입력이 가능한 어플리케이션 목록들을 화면에 나열하거나 자주 사용하는 입력 가능한 어플리케이션을 실행 할 수도 있다. 예를 들어, 제어부(180)는 노트 어플리케이션의 그리기 모드를 실행할 수 있다.When the handwriting input mode gesture is recognized in a state in which an application capable of handwriting input such as a note is not executed, the control unit 180 may list application lists capable of handwriting inputting on the screen or execute frequently inputable applications . For example, the control unit 180 can execute the drawing mode of the note application.

도 5(B)는 휴대용 단말기(100)의 지우기 모드를 나타낸다. 지우기 모드에 대응되는 제스처는, 스타일러스 펜(200)의 후단(210)이 휴대용 단말기(100) 쪽으로 향한 상태에서 이동하는 움직임에 대응될 수 있다. 그 움직임은 제어부(180)에 의해 지우기 모드 제스처로 식별될 수 있다. 5 (B) shows the erasing mode of the portable terminal 100. The gesture corresponding to the erase mode may correspond to the movement of the rear end 210 of the stylus pen 200 in a state of being directed toward the portable terminal 100. [ The motion can be identified by the control unit 180 as a clearing mode gesture.

제어부(180)는 지우기 모드 제스처가 식별되면, 자동으로 지우기 모드로 변환하고, 후단(210)의 위치를 카메라(121) 등으로 센싱하여, 해당 위치를 지우거나 삭제할 수 있다.When the erasing mode gesture is identified, the control unit 180 automatically switches to the erasing mode, and the position of the rear end 210 is sensed by the camera 121 or the like, and the corresponding position can be erased or deleted.

도 5(C)는 휴대용 단말기(100)의 페이지 전환 모드를 나타낸다. 페이지 전환 모드에 대응되는 제스처는, 스타일러스 펜(200)의 어느 마커도 인식되지 않는 상태, 즉 휴대용 단말기(100)와 평행한 상태에서 이동하는 움직임에 대응될 수 있다. 그 움직임은 제어부(180)에 의해 페이지 전환 모드 제스처로 식별될 수 있다. 5C shows a page switching mode of the portable terminal 100. In FIG. The gesture corresponding to the page switching mode can correspond to a state in which any marker of the stylus pen 200 is not recognized, that is, a movement in a state of being in parallel with the portable terminal 100. [ The movement can be identified by the control unit 180 as a page switching mode gesture.

제어부(180)는 페이지 전환 모드 제스처가 식별되면, 새로운 페이지를 시작하거나, 제스처 방향에 따라 현재 페이지를 이전 또는 다음 페이지로 전환할 수 있다.When the page switching mode gesture is identified, the control unit 180 can start a new page or switch the current page to the previous or next page according to the gesture direction.

도 5(D)는 휴대용 단말기(100)의 취소 모드를 나타낸다. 취소 모드에 대응되는 제스처는, 스타일러스 펜(200)의 후단(210) 제1 마커의 측면 부분이 인식된 상태에서 그 측면 부분의 접근함에 따라 검출될 수 있다. 그 움직임은 제어부(180)에 의해 취소 모드 제스처로 식별될 수 있다. FIG. 5D shows a cancel mode of the portable terminal 100. FIG. The gesture corresponding to the cancel mode can be detected according to approaching of the side portion thereof with the side portion of the first marker of the rear end 210 of the stylus pen 200 being recognized. The movement can be identified by the control unit 180 as a cancel mode gesture.

제어부(180)는 취소 모드 제스처가 식별되면, 직전에 입력했던 내용을 취소하는 Undo 기능을 수행할 수 있다.When the cancel mode gesture is identified, the control unit 180 can perform an undo function to cancel the content that was input immediately before.

도 6(A)는 휴대용 단말기(100)의 복원 모드를 나타낸다. 복원 모드에 대응되는 제스처는, 스타일러스 펜(200)의 전단(220) 제2 마커의 측면 부분이 인식된 상태에서 그 측면 부분의 접근함에 따라 검출될 수 있다. 그 움직임은 제어부(180)에 의해 복원 모드 제스처로 식별될 수 있다. 6 (A) shows a restoration mode of the portable terminal 100. In Fig. The gesture corresponding to the restoration mode can be detected according to approaching of the side portion thereof with the side portion of the second marker of the front end 220 of the stylus pen 200 being recognized. The movement can be identified by the control unit 180 as a restoration mode gesture.

제어부(180)는 복원 모드 제스처가 식별되면, 직전에 취소되었던 내용을 복원하는 Redo 기능을 수행할 수 있다.When the restoration mode gesture is identified, the control unit 180 can perform a redo function for restoring the contents that were canceled immediately before.

도 6(B)는 휴대용 단말기(100)의 유지 모드를 나타낸다. 유지 모드에 대응되는 제스처는, 스타일러스 펜(200)의 전단(220) 또는 후단(210)의 회전 이동에 따라 검출될 수 있다. 그 움직임은 제어부(180)에 의해 유지 모드 제스처로 식별될 수 있다. 6 (B) shows a holding mode of the portable terminal 100. As shown in Fig. The gesture corresponding to the holding mode can be detected according to the rotational movement of the front end 220 or the rear end 210 of the stylus pen 200. [ The movement can be identified by the control unit 180 as a holding mode gesture.

제어부(180)는 유지 모드 제스처가 식별되면, 화면의 디스플레이 상태를 유지하는 유지 기능을 수행할 수 있다. 유지 기능이 수행되는 동안에는 사용자가 필기 중 생각하는 경우로 판단할 수 있으므로, 제어부(180)는 디스플레이부(151)를 지속적으로 ON으로 유지할 수 있다.The control unit 180 may perform a maintenance function of maintaining the display state of the screen when the maintenance mode gesture is identified. While the holding function is being performed, it can be determined that the user is thinking of writing while writing, so the controller 180 can keep the display unit 151 ON continuously.

도 6(C)는 휴대용 단말기(100)의 색상 선택 모드를 나타낸다. 색상 선택 모드에 대응되는 제스처는, 스타일러스 펜(200)의 전단(220) 또는 후단(210)에 부착된 조그휠의 회전 이동에 따라 검출될 수 있다. 그 움직임은 제어부(180)에 의해 색상 선택 모드 제스처로 식별될 수 있다. 6C shows a color selection mode of the portable terminal 100. In FIG. The gesture corresponding to the color selection mode can be detected according to the rotational movement of the jog wheel attached to the front end 220 or the rear end 210 of the stylus pen 200. [ The movement can be identified by the control unit 180 as a color selection mode gesture.

제어부(180)는 색상 선택 모드 제스처가 식별되면, 전단(220) 또는 후단(210)의 제1 마커 또는 제2 마커가 조그휠에 의해 좌 또는 우로 회전되는지 검출한다. 그 회전에 따라 제어부(180)는 색상 선택 모드로 인식하여 색상들을 계속 변경할 수 있다. 그리고, 회전이 일정 시간 멈춘 경우 제어부(180)는 그 시점에 변경되어 있는 색상을 선택 색상으로 결정할 수 있다.The control unit 180 detects whether the first marker or the second marker at the front end 220 or the rear end 210 is rotated to the left or right by the jog wheel when the color selection mode gesture is identified. According to the rotation, the control unit 180 recognizes the color selection mode and can continuously change colors. When the rotation is stopped for a predetermined time, the controller 180 can determine the color that has been changed at that point of time as the selected color.

도 6(D)는 휴대용 단말기(100)의 삭제 모드를 나타낸다. 삭제 모드에 대응되는 제스처는, 스타일러스 펜(200)의 후단(210)에 부착된 제2 마커의 빠른 좌우 이동에 따라 검출될 수 있다. 그 움직임은 제어부(180)에 의해 삭제 모드 제스처로 식별될 수 있다. 6D shows a deletion mode of the portable terminal 100. As shown in FIG. The gesture corresponding to the erasure mode can be detected according to the rapid lateral movement of the second marker attached to the rear end 210 of the stylus pen 200. [ The movement can be identified by the control unit 180 as a delete mode gesture.

제어부(180)는 삭제 모드 제스처가 식별되면, 현재 화면에 입력되어 있는 모든 내용을 삭제할 수 있다.When the deletion mode gesture is identified, the control unit 180 can delete all the contents currently input on the screen.

도 5와 6에서 도시된 실시 예 이외에도, 스타일러스 펜(200)의 동작에 따라 다양한 기능들이 수행될 수 있다. 예를 들어, 펜 전체가 화면 위에 올려지는 경우 제어부(180)는 입력이 잠깐 멈춘 것으로 인식하여 화면을 OFF시킬 수 있으며, 반대로 펜이 들리는 경우 화면이 자동으로 ON 될 수 있다.In addition to the embodiments shown in FIGS. 5 and 6, various functions may be performed depending on the operation of the stylus pen 200. FIG. For example, when the entire pen is placed on the screen, the control unit 180 recognizes that the input is temporarily stopped and can turn off the screen. On the other hand, when the pen is heard, the screen can be automatically turned on.

뿐만 아니라, 스타일러스 펜(200)의 전단(220) 또는 후단(210)이 V자를 그리거나 O모양을 그리는 제스처가 인식되면, 제어부(180)는 현재 화면을 저장하거나 현재 화면에 대한 편집 모드를 실행할 수도 있다.In addition, when the front end 220 or the rear end 210 of the stylus pen 200 draws a V character or recognizes a gesture of drawing an O shape, the controller 180 stores the current screen or executes the editing mode for the current screen It is possible.

이와 같은 본 발명의 실시 예에 따른 사용자 동작은 다음과 같은 플로우로 예시될 수 있다.The user operation according to the embodiment of the present invention may be illustrated by the following flow.

사용자가 스타일러스펜을 화면으로 가져가면, 휴대용 단말기(100)는 펜의 자기장을 인식하고, 펜을 이용할 수 있는 앱의 목록들이 나열됨과 동시에 카메라(121)를 동작킬 수 있다.When the user brings the stylus pen to the screen, the portable terminal 100 recognizes the magnetic field of the pen and can operate the camera 121 at the same time that the lists of apps capable of using the pen are listed.

여기서, 사용자가 앱을 선택하지 않고 후단(210)의 제2 마커 부분으로 특정 앱을 선택하는 경우, 앱을 삭제하는 모드로 변환되며, 마커 부분으로 터치한 앱이 삭제될 수 있다.Here, if the user selects a specific application as the second marker portion of the subsequent stage 210 without selecting the application, the mode is changed to the mode of deleting the application, and the application touched by the marker portion may be deleted.

그리고, 사용자가 다시 전단(220) 부분을 화면으로 가져가서 나열된 앱 목록 중에서 펜으로 메모가 가능한 앱을 선택 하면, 앱이 실행될 수 있다.When the user again takes the front end portion 220 to the screen and selects an app capable of taking notes with a pen from the list of listed applications, the app can be executed.

이후, 전단(220) 부분이 이 닿으면 필기 입력 모드에 의해 그림이 그려질 수 있다. 그리고, 사용자가 색상을 바꾸기 위해 펜을 잡고 전단(220) 또는 후단(210)의 조그 휠을 회전하면, 펜의 색상이 회전 속도에 맞춰서 바뀌며 원하는 색상이 선택될 때 회전이 멈출 수 있다.Thereafter, when the front end portion 220 is in contact, a picture can be drawn by the handwriting input mode. When the user holds the pen to change the color and rotates the jog wheel of the front end 220 or the rear end 210, the color of the pen changes according to the rotation speed, and rotation can be stopped when a desired color is selected.

사용자는 잘못 된 부분을 지우기 위해서 후단(210)의 제2 마커를 화면 쪽으로 향하고, 휴대용 단말기(100)는 지우기 모드로 자동 전환된다. The user directs the second marker of the rear end 210 to the screen to erase the erroneous portion and the portable terminal 100 is automatically switched to the erasing mode.

사용자가 지우기 전과 다시 비교해 보고 싶은 경우, 후단(210)의 제2 마커 부분이 화면과 수평으로 기울어지도록 한 다음에 화면을 터치하여 Undo 모드를 실행하고, 지우기 전의 상태를 확인 할 수 있다. When the user desires to compare before and after the erasure, the second marker portion of the rear end 210 is tilted horizontally with respect to the screen, and then the screen is touched to execute the Undo mode, and the state before erasure can be confirmed.

이후, 사용자는 전단(220)의 제1 마커 부분이 화면과 수평으로 기울어지도록 한 다음에 화면을 터치하여 다시 Redo 상태로 바꿀 수 있다.Then, the user can tilt the first marker portion of the front end 220 horizontally with respect to the screen, and then touch the screen to change to the redo state again.

입력이 다 끝나면, 사용자는 전단(220) 또는 후단(210)을 이용하여 V제스처를 취함으로써 내용들을 저장할 수 있다.
When the input is finished, the user can save the contents by taking the V gesture using the front end 220 or the rear end 210. [

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.The method according to the present invention may be implemented as a program for execution on a computer and stored in a computer-readable recording medium. Examples of the computer-readable recording medium include a ROM, a RAM, a CD- , A floppy disk, an optical data storage device, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet).

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer readable recording medium may be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And, functional programs, codes and code segments for implementing the above method can be easily inferred by programmers of the technical field to which the present invention belongs.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

Claims

A method of operating a portable terminal,
Detecting an access of an external input device;
Detecting one end of the external input device through at least one sensor corresponding to the approach of the external input device;
Identifying at least one gesture based on the movement of the one end; And
Corresponding to the identified gesture, changing the input mode
A method of operating a portable terminal.

The method according to claim 1,
Wherein the one end includes at least one of a front end or a rear end,
The detecting step
Detecting at least one of a first marker corresponding to the front end and a second marker corresponding to the rear end.

The method according to claim 1,
Wherein the movement of the one end is identified by at least one marker photographed by the camera.

The method according to claim 1,
Wherein the movement of the one end is identified by at least one light emission indicator photographed by the camera.

In a portable terminal,
A sensor unit detecting an approach of the external input device and detecting one end of the external input device through at least one sensor corresponding to the approach of the external input device; And
And a control unit for identifying at least one gesture based on the movement of the one end and changing an input mode corresponding to the identified gesture.

The method according to claim 1,
Wherein the one end includes at least one of a front end or a rear end,
Wherein the sensor unit detects at least one of a first marker corresponding to the front end and a second marker corresponding to the rear end.