KR20140073225A - Portable terminal using touch pen and hndwriting input method therefor - Google Patents

Portable terminal using touch pen and hndwriting input method therefor Download PDF

Info

Publication number
KR20140073225A
KR20140073225A KR1020120141221A KR20120141221A KR20140073225A KR 20140073225 A KR20140073225 A KR 20140073225A KR 1020120141221 A KR1020120141221 A KR 1020120141221A KR 20120141221 A KR20120141221 A KR 20120141221A KR 20140073225 A KR20140073225 A KR 20140073225A
Authority
KR
South Korea
Prior art keywords
input
handwriting
text
touch
image
Prior art date
Application number
KR1020120141221A
Other languages
Korean (ko)
Other versions
KR102076539B1 (en
Inventor
김화경
배주윤
이주연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120141221A priority Critical patent/KR102076539B1/en
Priority to US13/940,607 priority patent/US9898186B2/en
Priority to RU2015104882A priority patent/RU2640730C2/en
Priority to AU2013287390A priority patent/AU2013287390A1/en
Priority to MYPI2014704051A priority patent/MY172719A/en
Priority to CA2878883A priority patent/CA2878883C/en
Priority to BR112015000735-0A priority patent/BR112015000735B1/en
Priority to EP13817011.3A priority patent/EP2872970B1/en
Priority to PCT/KR2013/006316 priority patent/WO2014011009A1/en
Priority to JP2015521558A priority patent/JP6328626B2/en
Priority to CN201380037329.9A priority patent/CN104428736B/en
Publication of KR20140073225A publication Critical patent/KR20140073225A/en
Application granted granted Critical
Publication of KR102076539B1 publication Critical patent/KR102076539B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber

Abstract

The present invention relates to a handwriting input method using a touch pen in a portable terminal and a device supporting the same. To this end, if a handwriting image using the touch pen is input on an input field provided from an application executed by the portable terminal, the portable terminal converts the input handwriting image into text using the touch pen, inserts the converted text into the input field provided by the application, and displays the input field with the text.

Description

터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법{PORTABLE TERMINAL USING TOUCH PEN AND HNDWRITING INPUT METHOD THEREFOR}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a portable terminal using a touch pen, and a handwriting input method using the portable terminal.

본 발명은 터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법에 관한 것으로, 특히 휴대 단말기에서 구동 중인 어플리케이션을 대상으로 필기 입력을 수행하는 방법에 관한 것이다.The present invention relates to a portable terminal using a touch pen and a handwriting input method using the same, and more particularly, to a method of performing handwriting input to an application running on a portable terminal.

최근 휴대 단말기가 늘어나면서 직관적으로 입/출력 가능한 방법에 대한 사용자의 요구가 증대하고 있다. 그런데, 휴대 단말기의 경우 휴대의 용이성을 위하여 그 크기가 제한되고 있으며, 결과적으로 정보를 표시하는 표시부의 크기는 일반 TV, 모니터 등에 비하여 상대적으로 작은 특징이 있다. 이로 인하여, 휴대 단말기는 다양한 사용자의 입력을 위하여 전통적인 UI 방식, 예컨대 키보드, 키 패드, 마우스 등의 별도 구성을 이용하는 방식에서 벗어나서, 손가락이나 터치용 펜 등을 이용하여 화면을 직접 터치하거나 음성을 이용하여 정보를 입력하는 직관적 UI 방식으로 진화하고 있다. 특히, 사용자는 터치용 펜을 가지고 보다 세밀한 터치를 할 수 있는데, 종래의 터치용 펜은 단순히 표시부에 출력된 특정 영역을 터치하는 수준에 머물고 있다. 이에 따라, 터치용 펜을 이용하여 휴대 단말기에서 터치뿐만 아니라 데이터를 입력하기 위한 다양한 요구가 이어지고 있다.2. Description of the Related Art Recently, the number of portable terminals has been increasing, and users' demands for intuitive input / output methods have increased. However, the size of the portable terminal is limited for ease of portability. As a result, the size of the display unit for displaying information is relatively small compared to a general TV or a monitor. Accordingly, the portable terminal is free from the conventional method of using the UI, for example, a keyboard, a keypad, a mouse, or the like, to directly touch the screen using a finger or a touch pen, And it is evolving into an intuitive UI method of inputting information. Particularly, a user can perform a more detailed touch with the touch pen. However, the conventional touch pen is simply touching a specific area displayed on the display unit. Accordingly, various demands have arisen for inputting not only touch but also data in a portable terminal using a touch pen.

본 발명은 휴대 단말기에서 필기 기반의 사용자 인터페이스를 이용하여 정보를 입력하는 방법 및 장치를 제공한다.The present invention provides a method and apparatus for inputting information using a handwriting-based user interface in a portable terminal.

특히, 본 발명은 휴대 단말기에서 어플리케이션이 구동되고 있는 상황에서 필기 기반의 사용자 인터페이스를 이용하여 상기 어플리케이션으로 정보를 입력하는 방법 및 장치를 제공한다.In particular, the present invention provides a method and apparatus for inputting information into the application using a handwriting-based user interface when an application is running in a mobile terminal.

특히, 본 발명은 휴대 단말기에서 어플리케이션이 제공하는 입력 필드가 표시된 상황에서 필기 기반의 사용자 인터페이스를 이용하여 상기 입력 필드로 정보를 입력하는 방법 및 장치를 제공한다.In particular, the present invention provides a method and apparatus for inputting information into the input field using a handwriting-based user interface in a state where an input field provided by an application is displayed in a portable terminal.

또한, 본 발명은 휴대 단말기에서 어플리케이션이 제공하는 입력 필드가 표시된 상황에서 손가락을 이용하여 터치를 하는지 또는 터치용 펜을 이용하여 터치를 하는 지에 따라 입력 필드로 정보를 입력하기 위한 사용자 인터페이스를 다르게 제공하는 장치 및 방법을 제공한다. In addition, the present invention provides a user interface for inputting information in an input field differently depending on whether the input field provided by the application is displayed on the portable terminal or whether the user touches the touch panel using a finger or a touch pen The present invention provides an apparatus and a method for performing the method.

본 발명의 예시적인 일 실시 예에 따르면 터치용 펜을 이용한 휴대 단말기의 필기 입력 방법은 어플리케이션을 실행하여 상기 어플리케이션이 제공하는 적어도 하나의 입력 필드를 표시하는 단계, 상기 적어도 하나의 입력 필드에 위에서 직접 상기 터치용 펜을 이용한 필기 이미지를 입력 받는 단계, 상기 입력된 필기 이미지를 텍스트로 전환하는 단계, 및 상기 전환된 텍스트를 상기 입력 필드 내에 삽입하여 표시하는 단계를 포함한다.According to an exemplary embodiment of the present invention, a handwriting input method of a portable terminal using a touch pen includes the steps of executing an application to display at least one input field provided by the application, Inputting a handwritten image using the touch pen, switching the input handwritten image into text, and inserting and displaying the converted text in the input field.

또한, 상기 터치용 펜을 이용한 필기 이미지를 입력 받는 단계는 상기 입력 필드에 중첩하여 필기 입력 레이어를 제공하는 단계 및 상기 제공된 필기 입력 레이어를 통하여 필기 이미지를 입력 받는 단계를 포함하고, 상기 입력된 필기 이미지를 텍스트로 전환하는 단계는 상기 필기 입력 레이어를 통하여 입력된 상기 필기 이미지를 텍스트로 전환하는 단계를 포함할 수 있다. The inputting of the handwritten image using the touch pen may include providing a handwriting input layer overlaid on the input field and inputting a handwritten image through the handwriting input layer provided, The step of converting the image into text may include switching the handwritten image input through the handwriting input layer to text.

또한, 상기 입력 필드가 복수 개인 경우, 상기 필기 입력 레이어를 제공하는 단계는 상기 복수 개의 입력 필드 각각에 대응하는 복수 개의 필기 입력 레이어를In addition, in the case where there are a plurality of input fields, the step of providing the handwriting input layer may include a plurality of handwriting input layers corresponding to each of the plurality of input fields

제공하는 단계를 포함하고, 상기 필기 이미지를 텍스트로 전환하는 단계는 상기 복수 개의 필기 입력 레이어 각각에서 입력 받은 필기 이미지를 텍스트로 전환하는 단계를 포함할 수 있다.Wherein the step of converting the handwritten image into text may include converting the handwritten image input from each of the plurality of handwriting input layers into text.

또한, 상기 복수 개의 입력 필드 중 일부 필드에 이미 텍스트가 삽입되어 있는 경우, 상기 필기 입력 레이어를 제공하는 단계는 상기 복수 개의 입력 필드 중 상기 일부 필드를 제외한 입력 필드에만 필기 입력 레이어를 제공하는 단계를 포함할 수 있다.In addition, if text is already inserted in some of the plurality of input fields, the step of providing the handwriting input layer may include providing a handwriting input layer only in the input field excluding the some of the plurality of input fields .

또한, 상기 필기 이미지를 텍스트로 전환하는 단계는 전환 버튼이 선택되는 경우, 상기 복수 개의 필기 입력 레이어 각각에서 입력 받은 필기 이미지 모두를 텍스트로 전환하는 단계를 포함할 수 있다.The converting of the handwritten image into text may include switching all of the handwritten images input from the plurality of handwriting input layers to text when the conversion button is selected.

또한, 상기 필기 입력 레이어를 제공하는 단계는 상기 필기 입력 레이어를 통하여 입력된 필기 이미지를 삭제하기 위한 삭제 버튼을 제공하는 단계를 포함하고, 삭제 버튼이 선택되는 경우, 상기 입력 받은 필기 이미지의 적어도 일부를 삭제하는 단계를 포함할 수 있다.The providing of the handwriting input layer may include providing a delete button for deleting a handwriting image input through the handwriting input layer, wherein when the delete button is selected, at least a portion of the handwriting input image And the like.

또한, 상기 어플리케이션이 제공하는 입력 필드를 표시하는 단계는 상기 어플리케이션이 제공하는 복수 개의 시간을 표시하는 단계, 및 상기 복수 개의 시간 중 하나가 선택되는 경우, 상기 선택된 시간과 관련된 내용을 적기 위한 입력 필드를 표시하는 단계를 포함할 수 있다. In addition, the step of displaying an input field provided by the application may include displaying a plurality of times provided by the application, and, when one of the plurality of times is selected, inputting an input field For example.

또한, 상기 필기 이미지를 텍스트로 전환하는 단계는 상기 복수 개의 필기 입력 레이어 중 제1 필기 입력 레이어에서 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류로 우선하여 전환하고, 상기 복수 개의 필기 입력 레이어 중 제2 필기 입력 레이어에서 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류와 다른 제2 종류로 우선하여 전환하는 단계를 포함할 수 있다. The step of switching the handwritten image into text may include switching a handwritten image input from the first handwriting input layer among the plurality of handwriting input layers to a first type of a first language, a second language, And switching the handwritten image input from the second handwriting input layer among the plurality of handwriting input layers to a second type different from the first type of the first language, the second language, the number, and the special symbols .

또한, 상기 필기 이미지를 텍스트로 전환하는 단계는 상기 필기 입력 레이어에 터치되는 포인트들의 좌표값을 입력 받는 단계, 상기 포인트들의 좌표값을 스트로크로 저장하는 단계, 상기 스트로크를 이용하여 스트로크 어레이 리스트를 생성하는 단계, 및 미리 저장된 필기 라이브러리와 상기 스트로크 어레이 리스트를 이용하여 상기 필기된 이미지를 텍스트로 전환하는 단계를 포함할 수 있다. The step of converting the handwritten image into a text may include receiving coordinate values of points touching the handwriting input layer, storing coordinate values of the points as strokes, generating a stroke array list using the strokes, And converting the handwritten image into text using the pre-stored handwriting library and the stroke array list.

또한, 본 발명에 따른 필기 입력 방법은 상기 입력 필드 위에서 손가락을 이용한 사용자의 터치를 입력 받는 단계, 상기 손가락을 이용한 입력을 받기 위한 키패드를 제공하는 단계, 상기 키패드를 통하여 텍스트를 선택 받는 단계, 및 상기 선택 받은 텍스트를 상기 입력 필드 내에 삽입하여 표시하는 단계를 더 포함할 수 있다. According to another aspect of the present invention, there is provided a handwriting input method, comprising: inputting a touch of a user using a finger on the input field; providing a keypad for receiving input using the finger; receiving text through the keypad; And inserting and displaying the selected text in the input field.

본 발명의 예시적인 일 실시 예에 따르면, 터치용 펜을 이용한 휴대 단말기의 필기 입력 방법은 어플리케이션을 실행하여 상기 어플리케이션이 제공하는 적어도 하나의 입력 필드를 표시하는 단계, 상기 적어도 하나의 입력 필드 위에서 사용자의 터치를 입력 받는 단계, 상기 사용자의 터치가 상기 손가락을 이용한 터치인지 또는 터치용 펜을 이용한 터치인지 판단하는 단계, 및 상기 터치가 손가락을 이용한 터치인 경우는 상기 손가락을 이용한 입력을 받기 위한 키패드를 제공하고, 상기 키패드를 통하여 입력 받은 텍스트를 상기 입력 필드 내에 삽입하여 표시하고, 상기 터치가 터치용 펜을 이용한 터치인 경우는 상기 터치용 펜을 이용한 입력을 받기 위한 필기 입력 레이어를 상기 입력 필드에 중첩하여 제공하고, 상기 필기 입력 레이어를 통하여 입력 받은 필기 이미지를 텍스트로 전환하여 상기 입력 필드 내에 삽입하여 표시하는 단계를 포함할 수 있다.According to an exemplary embodiment of the present invention, a handwriting input method of a portable terminal using a touch pen includes the steps of executing an application to display at least one input field provided by the application, The method comprising the steps of: receiving a touch of the user, determining whether the touch of the user is a touch using the finger or a touch using the touch pen, and if the touch is a touch using a finger, A touch input pen for inputting an input using the touch pen when the touch is a touch using a touch pen, And provides the handwriting input layer And converting the input handwritten image into text and inserting the handwritten image into the input field for display.

본 발명의 예시적인 일 실시 예에 따르면, 터치용 펜을 이용하는 휴대 단말기는 적어도 하나의 입력 필드를 포함하는 어플리케이션을 표시하고 상기 적어도 하나의 입력 필드 위에서 상기 터치용 펜을 이용한 필기 이미지를 입력 받는 터치 스크린, 및According to an exemplary embodiment of the present invention, a portable terminal using a touch pen displays an application including at least one input field, and a touch for inputting a handwritten image using the touch pen on the at least one input field Screen, and

상기 터치 패널부를 통해 입력된 필기 이미지를 텍스트로 전환하고 상기 전환된 텍스트를 상기 입력 필드 내에 삽입하여 표시하는 제어부를 포함한다.And a control unit for converting the handwritten image inputted through the touch panel unit into text and inserting the converted text in the input field and displaying the inserted text.

또한, 상기 제어부는 상기 입력 필드에 중첩하여 상기 필기 이미지를 입력 받기 위한 필기 입력 레이어를 제공하고 상기 필기 입력 레이어를 통하여 입력된 필기 이미지를 텍스트로 전환할 수 있다. The control unit may provide a handwriting input layer for receiving the handwriting image superimposed on the input field, and may convert the handwriting image input through the handwriting input layer into text.

또한, 상기 입력 필드가 복수 개인 경우, 상기 제어부는 상기 복수 개의 입력 필드 각각에 대응하는 복수 개의 필기 입력 레이어를 제공하고 상기 복수 개의 필기 입력 레이어 각각에서 입력 받은 필기 이미지를 텍스트로 전환할 수 있다. When a plurality of input fields are provided, the control unit may provide a plurality of handwriting input layers corresponding to the plurality of input fields, respectively, and may convert the handwriting images input from the plurality of handwriting input layers into text.

또한, 상기 복수 개의 입력 필드 중 일부 필드에 이미 텍스트가 삽입되어 있는 경우, 상기 제어부는 상기 복수 개의 입력 필드 중 일부 필드를 제외한 입력 필드에만 필기 입력 레이어를 제공할 수 있다.In addition, when text is already inserted in some of the plurality of input fields, the control unit may provide a handwriting input layer only to input fields excluding some of the plurality of input fields.

을 특징으로 하는 휴대 단말기.The mobile terminal comprising:

또한, 상기 제어부는 전환 버튼이 선택되는 경우, 상기 복수 개의 필기 입력 레이어 각각에서 입력 받은 필기 이미지 모두를 텍스트로 전환할 수 있다. In addition, when the switching button is selected, the control unit may switch all of the handwriting images input from the plurality of handwriting input layers to text.

또한, 상기 제어부는 상기 필기 입력 레이어를 통하여 입력된 필기 이미지를 삭제하기 위한 삭제 버튼을 더 제공하고, 삭제 버튼이 선택되는 경우, 상기 입력 받은 필기의 적어도 일부를 삭제할 수 있다.In addition, the control unit may further include a delete button for deleting the handwriting image input through the handwriting input layer, and may delete at least a part of the handwriting input when the delete button is selected.

또한, 상기 터치 스크린은 상기 어플리케이션이 제공하는 복수 개의 시간을 표시하고, 상기 복수 개의 시간 중 하나가 선택 되는 경우에는 상기 선택된 시간과 관련된 내용을 적기 위한 입력 필드를 표시할 수 있다.In addition, the touch screen may display a plurality of times provided by the application, and when one of the plurality of times is selected, an input field for writing contents related to the selected time may be displayed.

또한, 상기 제어부는 입력 받은 필기 이미지를 텍스트로 전환하는 경우, 상기 복수 개의 필기 입력 레이어 중 제1 필기 입력 레이어에서 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류로 우선하여 전환하고,In addition, when the input handwritten image is converted into text, the control unit may convert the handwritten image input from the first handwritten input layer among the plurality of handwritten input layers into a first language, a second language, And then,

상기 복수 개의 필기 입력 레이어 중 제2 필기 입력 레이어에서 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류와 다른 제2 종류로 우선하여 전환할 수 있다.The handwritten image input from the second handwriting input layer among the plurality of handwriting input layers can be switched to a second type different from the first type of the first language, the second language, the number, and the special symbols.

또한, 상기 제어부는 상기 입력된 필기 이미지를 텍스트로 전환하는 경우,In addition, when the input handwritten image is converted into text,

상기 필기 입력 레이어에 터치되는 포인트들의 좌표값을 입력 받고, 상기 포인트들의 좌표값을 스트로크로 저장하여, 상기 스트로크를 이용하여 스트로크 어레이 리스트를 생성한 후, 미리 저장된 필기 라이브러리와 상기 스트로크 어레이 리스트를 이용하여 상기 필기된 이미지를 텍스트로 전환할 수 있다.A coordinate input unit for inputting coordinate values of points touched to the handwriting input layer, storing coordinate values of the points as strokes, generating a stroke array list using the strokes, and using the stored handwriting library and the stroke array list So that the handwritten image can be converted into text.

또한, 상기 제어부는 상기 입력 필드 위에서 손가락을 이용한 사용자의 터치를 입력 받고, 상기 손가락을 이용한 입력을 받기 위한 키패드를 제공하고, 상기 키패드를 통하여 선택 받은 텍스트를 상기 입력 필드 내에 삽입하여 표시할 수 있다. Also, the control unit may receive a user's touch using a finger on the input field, provide a keypad for receiving input using the finger, and insert the selected text through the keypad into the input field for display .

예시적인 다른 일 실시 예에 따르면, 터치용 펜을 이용하는 휴대 단말기는 적어도 하나의 입력 필드를 포함하는 어플리케이션을 표시하고, 상기 적어도 하나의 입력 필드 위에서 사용자의 터치를 입력 받는 터치 스크린, 및 상기 사용자의 터치가 상기 손가락을 이용한 터치인지 또는 터치용 펜을 이용한 터치인지 판단하여, 상기 터치가 손가락을 이용한 터치인 경우에는 상기 손가락을 이용한 입력을 받기 위한 키패드를 제공하고, 상기 키패드를 통하여 입력 받은 텍스트를 상기 입력 필드 내에 삽입하여 표시하고, 상기 터치가 터치용 펜을 이용한 터치인 경우에는 상기 터치용 펜을 이용한 입력을 받기 위한 필기 입력 레이어를 상기 입력 필드에 중첩하여 제공하고, 상기 필기 입력 레이어를 통하여 입력 받은 필기 이미지를 텍스트로 전환하여 상기 입력 필드 내에 삽입하여 표시하는 제어부를 포함할 수 있다. According to another exemplary embodiment, a portable terminal using a touch pen displays a touch screen that displays an application including at least one input field and receives a user's touch on the at least one input field, There is provided a keypad for determining whether a touch is a touch using the finger or a touch using a touch pen and receiving an input using the finger when the touch is a touch using a finger, Wherein the input field is inserted and displayed in the input field, and when the touch is a touch using a touch pen, a handwriting input layer for receiving an input using the touch pen is superimposed on the input field, The input handwritten image is converted into text, It may comprise a control unit which displays the insertion force in the field.

본 발명에서는 터치용 펜을 이용하여 휴대 단말기에서 실행 중인 어플리케이션으로 데이터를 빠르게 입력할 수 있다. 특히, 어플리케이션의 입력 필드 위에서 터치용 펜을 이용하여 필기 이미지를 입력함으로써, 사용자에게 빠르고 직관적인 인터페이스를 제공할 수 있다.In the present invention, data can be quickly input into an application running on a portable terminal using a touch pen. In particular, by inputting a handwritten image using a touch pen on an input field of an application, a quick and intuitive interface can be provided to the user.

그 외에 본 발명의 실시 예로 인해 얻을 수 있거나 예측되는 효과에 대해서는 본 발명의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 즉 본 발명의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.In addition, effects obtainable or predicted by the embodiments of the present invention will be directly or implicitly disclosed in the detailed description of the embodiments of the present invention. That is, various effects to be predicted according to the embodiment of the present invention will be disclosed in the detailed description to be described later.

도 1은 본 발명의 일 실시 예에 따른 필기 입력 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 휴대 단말기의 구성을 나타낸 도면이다.
도 3은 본 발명의 제어부의 구성을 보다 상세히 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 휴대 단말기의 필기 입력 방법을 설명하기 위한 순서도이다.
도 5는 휴대 단말기에서 어플리케이션의 입력 필드에 텍스트를 표시하는 시나리오의 예이다.
도 6은 휴대 단말기에서 어플리케이션의 입력 필드에 텍스트를 표시하는 시나리오의 다른 일 예이다.
도 7a 및 도 7b는 휴대 단말기에서 병원 차트 어플리케이션의 입력 필드에 텍스트를 표시하는 시나리오의 예이다.
도 7c는 휴대 단말기에서 병원 차트 어플리케이션의 이미지 영역 표시될 수 있는 이미지들의 예이다.
도 8a 및 도 8b는 휴대 단말기에서 일정 관리 어플리케이션의 입력 필드에 텍스트를 표시하는 시나리오의 예이다.
도 9a 및 도 9b는 휴대 단말기에서 입력 필드에 텍스트를 표시하기 방법들을 제시하는 예이다.
도 10은 휴대 단말기에서 웹 브라우저 어플리케이션의 입력 필드에 텍스트를 표시하는 시나리오의 예이다.
도 11은 본 발명의 다른 실시 예에 따른 휴대 단말기의 필기 입력 방법을 설명하기 위한 순서도이다.
도 12은 본 발명의 또 다른 일 실시 예에 따른 휴대 단말기의 필기 입력 방법을 설명하기 위한 순서도이다.1 is a diagram illustrating a handwriting input system according to an embodiment of the present invention.
2 is a block diagram of a mobile terminal according to an embodiment of the present invention.
3 is a diagram showing the configuration of the control unit of the present invention in more detail.
4 is a flowchart illustrating a handwriting input method of a portable terminal according to an embodiment of the present invention.
5 is an example of a scenario in which text is displayed in an input field of an application in a mobile terminal.
6 is another example of a scenario in which text is displayed in an input field of an application in a mobile terminal.
7A and 7B are examples of scenarios in which text is displayed in an input field of a hospital chart application in a mobile terminal.
7C is an example of images that can be displayed in the image area of the hospital chart application in the portable terminal.
8A and 8B are examples of scenarios in which a text is displayed in an input field of a schedule management application in a mobile terminal.
FIGS. 9A and 9B show examples of methods for displaying text in an input field in a portable terminal.
10 is an example of a scenario in which text is displayed in an input field of a web browser application in a mobile terminal.
11 is a flowchart illustrating a handwriting input method of a portable terminal according to another embodiment of the present invention.
12 is a flowchart illustrating a handwriting input method of a portable terminal according to another embodiment of the present invention.

이하 본 발명에 따른 상세한 설명에서는 상술한 기술적 과제를 이루기 위한 대표적인 실시 예를 제시할 것이다. 또한, 본 발명에 대한 설명의 편의를 위하여 정의하고 있는 개체들의 명칭들을 동일하게 사용할 수 있다. 하지만 설명의 편의를 위해 사용된 명칭들이 본 발명에 따른 권리를 한정하는 것은 아니며, 유사한 기술적 배경을 가지는 시스템에 대해 동일 또는 용이한 변경에 의해 적용이 가능함은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, for convenience of description of the present invention, the names of the entities defined may be used equally. However, the names used for convenience of description do not limit the rights according to the present invention, and it is needless to say that they can be applied to the system having the similar technical background by the same or easy modification.

마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다. For the same reason, some of the elements in the accompanying drawings are exaggerated, omitted, or schematically shown, and the size of each element does not entirely reflect the actual size. Accordingly, the present invention is not limited by the relative size or spacing depicted in the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 필기 입력 시스템(10)을 나타내는 도면이다.1 is a diagram showing a handwriting input system 10 according to an embodiment of the present invention.

도 1을 참조하면, 필기 입력 시스템(10)은 휴대 단말기(100)와 터치용 펜(200)을 포함할 수 있다. 필기 입력 시스템(10)에서 사용자는 터치용 펜(200)을 파지한 상태에서 휴대용 단말기(100)의 화면상에 필기 이미지를 입력할 수 있다. 필기 입력 시스템(10)은 본 발명의 실시 예에 따른 구성의 일 예를 도시하고 있으나, 그 외의 다른 기능을 위한 구성이 추가로 구비될 수도 있다. Referring to FIG. 1, the handwriting input system 10 may include a portable terminal 100 and a touch pen 200. In the handwriting input system 10, the user can input a handwriting image on the screen of the portable terminal 100 while holding the touch pen 200. [ Although the handwriting input system 10 shows an example of the configuration according to the embodiment of the present invention, a configuration for other functions may be additionally provided.

도2는 본 발명의 일 실시 예에 따른 휴대 단말기(100)의 구성을 나타낸 도면이다.FIG. 2 is a block diagram of a mobile terminal 100 according to an embodiment of the present invention. Referring to FIG.

도2를 참조하면, 본 발명의 휴대 단말기(100)는 통신부(110), 입력부(120), 오디오 처리부(130), 터치 스크린(140), 저장부(150) 및 제어부(160)의 구성을 포함할 수 있다. 2, the mobile terminal 100 includes a communication unit 110, an input unit 120, an audio processing unit 130, a touch screen 140, a storage unit 150, and a controller 160 .

터치 스크린(140)은 휴대 단말기(100)에서 출력되는 출력 정보에 대한 표시 기능을 수행하는 표시 패널(141)과, 사용자에 의한 각종 입력 기능을 수행하는 입력용 패널(142)로 구비될 수 있다. 이때, 입력용 패널은 손가락, 펜 등의 각종 물체를 이용한 사용자의 싱글 또는 멀티 터치 입력, 드래그 입력, 필기 입력, 드로잉 입력 등의 각종 입력을 감지할 수 있는 적어도 하나 이상의 패널로 구현 될 수 있다. 예를 들어, 입력용 패널(142)은 손가락 입력 감지 및 펜 입력 감지가 모두 가능한 하나의 패널을 이용하여 구현될 수도 있고, 손가락 입력 감지가 가능한 터치 패널(145)과 펜 입력 감지가 가능한 펜 인식 패널(143)과 같이 두 개의 패널을 이용하여 구현될 수도 있다. 이하, 본 발명의 실시 예에서는 입력용 패널(142)이 손가락 입력 감지가 가능한 터치 패널(145)과 펜 입력 감지가 가능한 펜 인식 패널(143)과 같이 두 개의 패널을 포함하여 구현되는 경우를 예를 들어 설명한다. The touch screen 140 may include a display panel 141 that performs a display function for output information output from the portable terminal 100 and an input panel 142 that performs various input functions by a user . At this time, the input panel may be realized by at least one panel capable of sensing various inputs such as a single or multi-touch input, a drag input, a handwriting input, and a drawing input of a user using various objects such as a finger and a pen. For example, the input panel 142 may be implemented using a single panel capable of both finger input sensing and pen input sensing, and may include a touch panel 145 capable of finger input sensing and a pen recognition The panel 143 may be implemented using two panels. Hereinafter, in the embodiment of the present invention, it is assumed that the input panel 142 includes two panels such as a touch panel 145 capable of detecting a finger input and a pen recognition panel 143 capable of detecting a pen input. .

표시 패널(141)은 LCD, AMOLED 등과 같은 패널이 될 수 있다. 표시 패널(141)은 휴대용 단말기(100)의 각종 동작 상태, 어플리케이션 실행 및 서비스 등에 따른 다양한 화면을 표시할 수 있다. 특히, 본 발명의 실시 예에 따라 표시 패널(141)은 입력 필드를 포함하는 어플리케이션을 표시할 수 있다. The display panel 141 may be a panel such as an LCD, an AMOLED, or the like. The display panel 141 can display various screens according to various operation states of the portable terminal 100, application execution, services, and the like. In particular, according to an embodiment of the present invention, the display panel 141 may display an application including an input field.

터치 패널(145)은 사용자의 터치 입력을 감지할 수 있다. 터치 패널(145)은 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다. 터치 패널(145)은 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력한다. 이때, 감지된 터치 신호에 대응하는 정보가 표시 패널(141) 상에 표시될 수 있다. 터치 패널(145)은 다양한 입력 수단에 의하여 사용자의 터치 입력에 의한 조작 신호를 입력 받을 수 있다. 예를 들어, 터치 패널(145)은 사용자의 인체(예를 들어, 손가락)나 물리적인 도구 등을 포함하는 터치 입력을 감지할 수 있다. 본 발명의 실시 예에 따르면 터치 패널(145)은 정전용량 방식 터치 패널로 구성될 수 있다. 정전용량 방식 터치 패널로 구성된 경우 터치 패널(145)은 유리의 양면에 얇은 금속 전도성 물질(예를 들면, ITO(Indium Tin Oxide：산화 인듐주석) 막 등)을 코팅하여 유리표면에 전류가 흐르도록 하고 전하를 저장할 수 있는 유전체로 코팅되어 구성된다. 이러한 터치 패널(145)에 물체에 의해 표면이 터치되면 정전기에 의해 일정량의 전하가 접촉 위치로 이동하고, 터치 패널(145)은 전하의 이동에 따른 전류의 변화량을 인식해서 터치된 위치를 감지하게 되고 터치 이벤트를 추적한다. 여기서 터치 패널(145)에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의해 생성될 수 있으나, 정전용량변화를 가할 수 있는 다른 물체 예를 들면, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.The touch panel 145 can sense the touch input of the user. The touch panel 145 may have the form of, for example, a touch film, a touch sheet, a touch pad, or the like. The touch panel 145 senses a touch input and outputs a touch event value corresponding to the sensed touch signal. At this time, information corresponding to the sensed touch signal can be displayed on the display panel 141. The touch panel 145 can receive an operation signal by a user's touch input by various input means. For example, the touch panel 145 may sense a touch input that includes a user's body (e.g., a finger) or a physical tool. According to an embodiment of the present invention, the touch panel 145 may be configured as a capacitive touch panel. In the case of the capacitive touch panel, the touch panel 145 is formed by coating a thin metal conductive material (for example, ITO (Indium Tin Oxide) film) on both sides of the glass so that current flows to the glass surface And is coated with a dielectric material capable of storing electric charges. When a surface of the touch panel 145 is touched by an object, a predetermined amount of charge moves to the contact position by the static electricity. The touch panel 145 recognizes the amount of change of the current due to the movement of the charge, And track touch events. Here, the touch event generated by the touch panel 145 may be generated mainly by the finger of a person, but may also be generated by another object capable of applying a capacitance change, for example, a conductive material capable of changing a capacitance .

팬 인식 패널(143)은 사용자의 터치용 펜(200)(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력한다. 이러한 펜 인식 패널(143)은 EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 구체적으로 펜 인식 패널(143)은 복수의 루프 코일이 미리 정해진 제1 방향 및 제1 방향과 교차하는 제2 방향에 각각 배치되어 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(143)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(143)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지된다. 펜 인식 패널(143)을 통해서는 전자 유도에 기초한 전류를 발생시킬 수 있는 물체라면 접근 및 터치의 감지가 가능하며, 본 발명의 실시 예에서는 펜 근접 또는 펜 터치 인식 전용으로 이용되는 것으로 설명한다. 이러한 펜 인식 패널(143)은 단말기의 일정 위치에 배치되어 특정 이벤트 발생에 따라 또는 디폴트로 활성화 상태를 가질 수 있다. 그리고 펜 인식 패널(143)은 표시 패널(141)의 하부에 일정 면적, 예를 들면 표시 패널(141)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다. The fan recognition panel 143 senses the proximity input or touch input of the pen according to the operation of the user's touch pen 200 (e.g., a stylus pen, a digitizer pen) Event or pen touch event. The pen recognition panel 143 may be implemented by an EMR method and may detect touch or proximity input according to proximity of a pen or change in intensity of an electromagnetic field due to a touch. More specifically, the pen recognition panel 143 includes an electromagnetic induction coil sensor (not shown) having a grid structure and disposed in each of a plurality of loop coils in a predetermined first direction and a second direction crossing the first direction, And an electronic signal processing unit (not shown) for sequentially providing AC signals having a predetermined frequency to the respective loop coils. When a pen incorporating a resonant circuit exists in the vicinity of the loop coil of the pen recognition panel 143, a magnetic field transmitted from the loop coil generates a current based on mutual electromagnetic induction in the resonant circuit in the pen. Based on this current, an induction magnetic field is generated from the coils constituting the resonance circuit in the pen, and the pen recognition panel 143 detects the induction magnetic field in the loop coil in the signal reception state, The touch position is detected. It is possible to access and detect touch when an object capable of generating an electric current based on electromagnetic induction through the pen recognition panel 143. It is explained that the embodiment of the present invention is used only for pen proximity or pen touch recognition. The pen recognition panel 143 may be disposed at a predetermined position of the terminal and may have an activation state depending on a specific event occurrence or by default. The pen recognition panel 143 may be provided under the display panel 141 with a predetermined area, for example, an area capable of covering the display area of the display panel 141.

통신부(110)는 휴대 단말기(100)가 통신 기능을 지원하는 경우 포함될 수 있는 구성이다. 특히 휴대 단말기(100)가 이동통신 기능을 지원하는 경우 통신부(110)는 이동통신 모듈로 구성될 수 있다. 통신부(110)는 통신 기능이 요구되는 휴대 단말기(100)의 특정 기능 예를 들면 채팅 기능, 메시지 송수신 기능, 통화 기능 등을 수행할 수 있다.The communication unit 110 is a configuration that can be included when the portable terminal 100 supports a communication function. In particular, when the portable terminal 100 supports a mobile communication function, the communication unit 110 may be configured as a mobile communication module. The communication unit 110 may perform a specific function, such as a chat function, a message transmission / reception function, a call function, and the like, of the portable terminal 100 requiring a communication function.

입력부(120)는 사이드 키나 별도로 마련된 터치 패드 등으로 구성될 수 있다. 또한, 입력부(120)는 휴대 단말기(100)의 턴-온 또는 턴-오프 수행을 위한 버튼 키, 휴대 단말기(100)가 지원하는 기본 화면으로의 복귀를 지원하는 홈 키 등을 포함할 수 있다. The input unit 120 may include a side key or a separate touch pad. Also, the input unit 120 may include a button key for performing turn-on or turn-off of the portable terminal 100, a home key for supporting return to the basic screen supported by the portable terminal 100, and the like .

오디오 처리부(130)는 휴대 단말기(100)의 오디오 신호 출력을 위한 스피커 및 오디오 신호 수집을 위한 마이크 중 적어도 하나를 포함할 수 있다. 또한, 오디오 처리부(130)는 진동 모듈을 제어하여 진동 모듈의 진동 크기 조절을 제어할 수 있다. 예를 들어, 오디오 처리부(130)는 제스처 입력 동작에 따라 진동 크기를 다르게 할 수 있다. 즉 오디오 처리부(130)는 제스처 인식 정보들이 다른 경우, 진동 모듈이 각각의 제스처 인식 정보에 해당하는 진동 크기를 가지도록 제어할 수 있다.The audio processing unit 130 may include at least one of a speaker for outputting audio signals of the portable terminal 100 and a microphone for collecting audio signals. In addition, the audio processing unit 130 may control the vibration amplitude adjustment of the vibration module by controlling the vibration module. For example, the audio processing unit 130 may vary the magnitude of vibration according to the gesture input operation. That is, when the gesture recognition information is different, the audio processing unit 130 can control the vibration module to have a vibration magnitude corresponding to each gesture recognition information.

저장부(150)는 휴대 단말기(100) 운용에 필요한 다양한 프로그램과 데이터를 저장하는 구성이다. 예를 들어 저장부(150)는 휴대 단말기(100) 운용에 필요한 운용 체제 등을 저장할 수 있으며, 앞서 설명한 표시 패널(141) 상에 출력되는 화면 지원을 위한 기능 프로그램들을 저장할 수 있다. The storage unit 150 stores various programs and data necessary for the operation of the portable terminal 100. For example, the storage unit 150 may store an operating system necessary for the operation of the portable terminal 100, and may store functional programs for supporting a screen displayed on the display panel 141 described above.

제어부(160)는 본 발명의 실시 예에 따른 터치용 펜을 이용하여 필기 이미지를 입력 받아 표시하기 위한 다양한 구성들을 포함하며, 이 구성들을 기반으로 필기 입력을 위한 신호 처리와 데이터 처리 및 기능 운용을 제어할 수 있다. 예를 들어, 제어부(16)는 표시 중인 어플리케이션의 입력 필드와 중첩하여 필기 입력 레이어를 제공하고, 제공된 필기 입력 레이어 위에서 사용자에 의한 필기 이미지를 텍스트로 전환하여 상기 입력 필드 내에 삽입하여 표시하도록 제어할 수 있다. 이를 위하여 제어부(160)는 도 3에 도시된 바와 같은 구성을 포함할 수 있다.The control unit 160 includes various components for receiving and displaying a handwritten image using the touch pen according to an embodiment of the present invention. Based on the configurations, the controller 160 performs signal processing for handwriting input, data processing, and function management Can be controlled. For example, the control unit 16 provides a handwriting input layer by superimposing with an input field of an application being displayed, and controls the handwriting image by the user to be converted into text on the handwriting input layer provided and inserted and displayed in the input field . For this, the control unit 160 may include a configuration as shown in FIG.

도 3은 본 발명의 제어부(160)의 구성을 보다 상세히 나타낸 도면이다.3 is a diagram showing the configuration of the controller 160 of the present invention in more detail.

도 3을 참조하면, 본 발명의 제어부(160)는 어플리케이션 운용부(161), 필기 영역 제공부(162), 필기 인식부(163)의 구성을 포함할 수 있다.3, the control unit 160 may include an application operating unit 161, a writing area providing unit 162, and a handwriting recognizing unit 163.

어플리케이션 운용부(161)는 사용자의 명령(예로, 바탕화면에서 특정 어플리케이션에 대응하는 아이콘을 선택) 또는 전원 구동 시에 특정 어플리케이션을 실행할 수 있다. 그리고, 실행된 어플리케이션이 표시 패널(141)을 통하여 표시되도록 운용할 수 있다. 이때, 실행 중인 어플리케이션은 적어도 하나 이상의 입력 필드를 표시 패널(141) 상에 제공할 수 있다. The application operating unit 161 can execute a specific application upon user's command (e.g., selecting an icon corresponding to a specific application on the desktop) or power-on. Then, the executed application can be operated to be displayed through the display panel 141. At this time, the running application may provide at least one input field on the display panel 141. [

필기 영역 제공부(162)는 터치용 펜을 이용한 필기 이미지를 인식하기 위한 필기 입력 레이어를 제공할 수 있다. 예를 들어, 필기 영역 제공부(162)는 표시 중인 어플리케이션이 제공하는 입력 필드에 중첩하여 필기 입력 레이어를 제공할 수 있다. 또한, 어플리케이션이 포함하는 입력 필드가 복수 개인 경우, 필기 영역 제공부(162)는 복수 개의 입력 필드 각각에 대응하는 복수 개의 필기 입력 레이어를 제공할 수 있다. 사용자는 터치용 펜을 이용하여 필기 입력 레이어 상에서 필기를 수행할 수 있다. The writing region providing unit 162 may provide a writing input layer for recognizing a handwriting image using the touch pen. For example, the writing region providing unit 162 may provide a writing input layer superimposed on the input field provided by the displayed application. In addition, when the application includes a plurality of input fields, the writing region providing unit 162 may provide a plurality of writing input layers corresponding to each of the plurality of input fields. The user can perform handwriting on the handwriting input layer using the touch pen.

이 때, 안드로이드 빌드시스템에서의 입력 필드에 중첩하여 필기 입력 레이어를 제공하기 위한 구현 방법은 아래와 같을 수 있다.At this time, an implementation method for providing a handwriting input layer superimposed on the input field in the Android build system may be as follows.

먼저, 화면 상에 입력필드와 필기 입력 레이어의 위치를 결정하는 레이아웃은 XML 코드를 이용하여 아래와 같이 프로그램 될 수 있다.   First, the layout for determining the position of the input field and the handwriting input layer on the screen can be programmed using XML code as follows.

<FrameLayout <FrameLayout

android:id="@+id/nli_title_layout" android: id = "@ + id / nli_title_layout"

……… ... ... ...

> >

………... ... ...

<TextView                  <TextView

android:id="@+id/title"                 android: id = "@ + id / title"

style="@style/TextAppearance.EditEvent_Value“                         style = "@ style / TextAppearance.EditEvent_Value"

………... ... ...

android:minHeight="48dip" android: minHeight = "48dip"

androidingleLine="true" />                         androidingleLine = "true" />

………                  ... ... ...

<com.samsung.nli.util.view.NliSCanvasView                   <com.samsung.nli.util.view.NliSCanvasView

android:id="@+id/nli_title_nliSCanvasView"                     android: id = "@ + id / nli_title_nliSCanvasView"

………                    ... ... ...

android:focusable="true" /> android: focusable = "true" />

위 프로그램을 참조하면, 개발자는 TextView 메소드를 호출하여 입력 필드의 레이아웃을 정의하고, 상기 메소드 내에서 입력 필드가 예로title 인 경우, 이와관련된 위치 또는 크기에 관한 속성을 정의할 수 있다. 또한개발자는 nli_title_nliSCanvasView 메소드를 호출하여 필기 이미지를입력 받기 위한 필기 입력 레이어의 위치또는 크기에 관한 속성을 정의할 수 있다. 이때, nli_title_nliSCanvasView 메소드는 TextView 메소드와 같은 parent를 공유하기 때문에 상기필기 입력 레이어의 위치 및 크기에 관한속성은 서로 동일할 수 있다. Referring to the above program, the developer calls the TextView method to define the layout of the input field, and if the input field is a title in the method, the attribute related to the position or size can be defined. The developer can also define properties related to the location or size of the handwriting input layer for receiving handwritten images by calling the nli_title_nliSCanvasView method. At this time, since the nli_title_nliSCanvasView method shares the same parent as the TextView method, the attributes related to the position and size of the handwriting input layer may be the same.

한편, NliScanvasView 메소드 내에는 필기 입력 레이어에 입력된 필기의 일부를 삭제하기 위한 삭제 버튼과 관련된 nli_title_eraseImageButton 메소드가 포함되어 있을 수 있다.On the other hand, the NliScanvasView method may include a nli_title_eraseImageButton method related to a delete button for deleting a part of the handwriting input to the handwriting input layer.

다음으로, Java 코드에서 XML 코드로 정의한 레이아웃을 호출하여 사용할 수 있도록 아래와 같이프로그램될 수 있다.Next, it can be programmed as below so that the layout defined by the XML code in Java code can be used.

mTitleTextView = (TextView) view.findViewById(R.id.title); mTitleTextView = (TextView) view.findViewById (R.id.title);

titleLayout = (FrameLayout) view.findViewById(R.id.nli_title_layout);titleLayout = (FrameLayout) view.findViewById (R.id.nli_title_layout);

titleSCanvasView = (NliSCanvasView) view.findViewById(R.id.nli_title_nliSCanvasView);titleSCanvasView = (NliSCanvasView) view.findViewById (R.id.nli_title_nliSCanvasView);

titleEraseImageButton = (ImageButton) view.findViewById(R.id.nli_title_eraseImageButton);titleEraseImageButton = (ImageButton) view.findViewById (R.id.nli_title_eraseImageButton);

titleSCanvasView.setContent(mActivity, titleEraseImageButton, mTitleTextView);titleSCanvasView.setContent (mActivity, titleEraseImageButton, mTitleTextView);

위 프로그램을 참조하면, 개발자는 XML 코드로 작성한 각각의 TextView, FrameLayout, NliSCanvasView, ImageButton 속성과 관련된 값들을 호출할 수 있다. 그리고, 이를titleSCanvasView.setContent 메소드를 이용하여 호출된 값들이 결합하여 배치되도록 할 수 있다. Referring to the above program, the developer can call values associated with each of the TextView, FrameLayout, NliSCanvasView, and ImageButton properties written in XML code. Then, it is possible to arrange the values called by using the titleSCanvasView.setContent method.

필기 인식부(163)는 필기 입력 레이어 상에 터치용 펜 등의 입력 수단에 의한 필기 이미지를 입력 정보로 한다. 그리고, 필기 인식부(163)는 입력된 필기 이미지를 인식하여 이에 따른 인식 결과로, 입력된 필기 이미지를 텍스트로 전환할 수 있다. 이를 위해 필기 인식부(163)는 입력 정보로부터 인식한 결과를 출력하기 위한 전반적인 제어를 처리하는 인지 관리 모듈(164), 원격 인지 의뢰 모듈(165) 및 입력 정보를 인지하기 위한 지역 인지 모듈(166)을 포함할 수 있다. 원격 인지 의뢰 모듈(165)은 필기 이미지를 인식하기 위하여, 펜 인식 패널(143)로 입력된 필기 이미지를 서버(미도시)로 전송할 수 있다. 그리고, 원격 인지 모듈(165)은 서버로부터 필기 이미지를 인식한 결과인 텍스트를 수신할 수 있다. 한편, 지역 인지 모듈은(165) 필기 이미지를 기반으로 입력되는 정보를 인지하는 필기 인지 블록(167)을 포함할 수 있다. 구체적으로 필기 인지 블록(167)은 펜 인식 패널(143)로 터치되는 포인트들의 좌표 값을 입력 받아, 상기 터치된포인트들의 좌표 값을 스트로크로 저장하고, 상기 스트로크를 이용하여 스트로크 어레이를 생성할 수 있다. 그리고 필기 인지 블록(167)은 미리 저장된 필기 라이브러리와 상기 생성된 스트로크 어레이리스트를 이용하여 필기 이미지를 인식할 수 있다. The handwriting recognition unit 163 uses the handwriting image by the input means such as a touch pen as the input information on the handwriting input layer. The handwriting recognition unit 163 recognizes the input handwriting image and can convert the input handwriting image into text as a recognition result. To this end, the handwriting recognition unit 163 includes a recognition management module 164, a remote recognition request module 165, and a local recognition module 166 for recognizing the input information, ). The remote recognition request module 165 may transmit a handwriting image input to the pen recognition panel 143 to a server (not shown) to recognize the handwriting image. Then, the remote sensing module 165 can receive text that is the result of recognizing the handwriting image from the server. On the other hand, the area recognition module 165 may include a handwriting recognition block 167 for recognizing information inputted based on the handwriting image. Specifically, the handwriting recognition block 167 receives coordinate values of points touched by the pen recognition panel 143, stores coordinate values of the touched points as strokes, and generates a stroke array using the strokes have. The handwriting recognition block 167 can recognize the handwriting image using the previously stored handwriting library and the generated stroke array list.

한편, 필기 인식부(163)는 텍스트의 종류를 고려하여 필기 인식을 수행할 수 있다. 필기 영역 제공부(162)가 복수 개의 필기 입력 레이어를 제공하는 경우, 복수 개의 필기 입력 레이어 중 하나의 필기 입력 레이어에서 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류로 우선하여 인식하여, 이에 따른 결과로 상기 필기 이미지를 텍스트로 전환할 수 있다. 이 경우, 필기 인식부(163)는 제1 종류로 인식하기 위한 정보를 어플리케이션 운용부(161)으로부터 제공받을 수 있다. 예를 들어, 어플리케이션이 제공하는 입력 필드에 입력되는 필기의 종류가 이미 결정되어 있는 경우, 어플리케이션 운용부(161)는 입력 필드에 입력될 필기의 종류에 대한 정보를 필기 인식부(163)로 미리 제공할 수 있다. 필기 인식부(163)는 입력 필드에 입력될 필기 종류를 획득하여, 상기 입력 필드에 대응하는 필기 입력 레이어에서 필기가 입력된 경우, 상기 필기 이미지를 어플리케이션 운용부(161)로부터 획득된 필기 종류로 우선하여 인식할 수 있다. Meanwhile, the handwriting recognition unit 163 can perform handwriting recognition in consideration of the type of the text. When the handwriting region providing unit 162 provides a plurality of handwriting input layers, the handwriting image input from one handwriting input layer of the plurality of handwriting input layers is divided into a first language, a second language, And as a result, the handwritten image can be converted into text. In this case, the handwriting recognition unit 163 can receive information for recognizing the first type from the application operating unit 161. [ For example, when the type of handwriting input in the input field provided by the application has already been determined, the application operating unit 161 transmits information about the handwriting type to be input to the input field to the handwriting recognition unit 163 in advance . The handwriting recognition unit 163 acquires the handwriting type to be input in the input field, and when the handwriting is input in the handwriting input layer corresponding to the input field, the handwriting recognition unit 163 converts the handwriting image into the handwriting type acquired from the application operating unit 161 It can be recognized first.

필기 인식부(163)에 의하여 필기 이미지를 인식한 결과인 텍스트는 어플리케이션 운용부(161)로 제공될 수 있다. 다른 예로, 복수 개의 필기 입력 레이어 각각에 복수 개의 필기가 입력되는 경우, 필기 인식부(163)는 상기 복수 개의 필기 이미지 각각을 인식한 결과로 복수 개의 텍스트를 생성하고, 이를 어플리케이션 운용부(161)로 제공할 수 있다. The text obtained as a result of recognizing the handwriting image by the handwriting recognition unit 163 can be provided to the application operating unit 161. [ In another example, when a plurality of handwriting is input to each of the plurality of handwriting input layers, the handwriting recognition unit 163 generates a plurality of texts as a result of recognizing each of the plurality of handwriting images, .

어플리케이션 운용부(161)는 필기 인식부(163)로부터 수신한 텍스트를 실행 중인 어플리케이션의 입력 필드 내에 삽입할 수 있다. 그리고, 어플리케이션 운용부(161)는 텍스트가 삽입된 입력 필드가 표시 패널(141)에 표시되도록 제어할 수 있다. 다른 예로, 필기 인식부(163)로부터 복수 개의 텍스트를 수신한 경우, 어플리케이션 운용부(161)는 복수 개의 텍스트를 복수 개의 텍스트 각각에 대응하는 입력 필드 내에 저장할 수 있다. 그리고, 어플리케이션 운용부(161)는 텍스트가 삽입된 복수 개의 입력 필드가 표시 패널(141)에 표시되도록 제어할 수 있다.The application operating unit 161 can insert the text received from the handwriting recognizing unit 163 into the input field of the running application. Then, the application operating unit 161 can control the display panel 141 to display the input field in which the text is inserted. As another example, when a plurality of texts are received from the handwriting recognition unit 163, the application operating unit 161 may store a plurality of texts in an input field corresponding to each of the plurality of texts. The application operating unit 161 can control the display panel 141 to display a plurality of input fields into which the text is inserted.

도 4는 본 발명의 실시 예에 따른 휴대 단말기(100)의 필기 입력 방법을 설명하기 위한 순서도이다.4 is a flowchart illustrating a handwriting input method of the portable terminal 100 according to an embodiment of the present invention.

도4를 참조하면, 휴대 단말기(100)는 사용자의 요청 또는 전원 구동 시에 특정 어플리케이션을 실행 수 있다(S401). Referring to FIG. 4, the mobile terminal 100 may execute a specific application at the request of the user or at the time of power-on (S401).

휴대 단말기(100)가 표시 패널(141) 상에 어플리케이션을 표시하는 경우, 표시 패널(141) 상에는 어플리케이션이 제공하는 적어도 하나의 입력 필드가 표시될 수 있다(S403). 다시 말해, 휴대 단말기(100)는 어플리케이션이 제공하는 적어도 하나의 입력 필드가 포함된 화면을 표시 패널(141) 상에 제공할 수 있다. When the portable terminal 100 displays an application on the display panel 141, at least one input field provided by the application may be displayed on the display panel 141 (S403). In other words, the portable terminal 100 can provide a screen including at least one input field provided by the application on the display panel 141. [

다음으로, 휴대 단말기(100)는 상기 입력 필드 위에서 터치용 펜을 이용한 필기 이미지를 입력 받을 수 있다(S405). 예로, 휴대 단말기(100)는 필기 이미지를 입력 받기 위해 입력 필드에 중첩하여 필기 입력 레이어를 제공할 수 있다. 필기 입력 레이어는 필기 이미지를 인식하기 위한 어플리케이션 위에 가상의 레이어로써 입력 필드를 포함하는 어플리케이션이 표시될 때 자동으로 제공되거나 또는 미리 정의된 사용자 제스처(예로, 단말기의 일 측에서 터치용 펜으로 스와이프(Swipe))를 입력 받을 때 제공될 수 있다. 또는 휴대 단말기(100)로부터 터치용 펜이 탈착될 때 제공될 수 있다. 이러한 가상의 레이어는 예를 들어, 투명 또는 반투명으로 제공될 수 있다.Next, the portable terminal 100 can receive a handwritten image using the touch pen on the input field (S405). For example, the portable terminal 100 may provide a handwriting input layer overlaid on an input field to receive a handwriting image. The handwriting input layer is automatically provided when an application containing an input field is displayed as a virtual layer on an application for recognizing a handwriting image, or a predefined user gesture (e.g., a swipe (Swipe)). Or when the touch pen is detached from the portable terminal 100. Such a virtual layer may be provided, for example, transparent or translucent.

휴대 단말기(100)는 제공된 필기 입력 레이어를 통하여 터치용 펜을 이용한 필기 이미지를 입력 받을 수 있다. 이때, 필기 입력 레이어는 표시 중인 입력 필드의 크기에 한정될 필요가 없다. 필기 입력 레이어는 입력 필드를 포함하여 입력 필드보다 더 넓은 면적을 가질 수 있다. 즉, 입력 필드 위에서 직접 터치용 펜을 이용한 사용자의 필기를 입력 받는 것은 사용자가 입력 필드를 대상으로 필기한 필기 이미지 전부가 입력 필드와 중첩되지 않더라도, 즉, 필기한 필기 이미지의 일부가 입력 필드 밖으로 벗어나더라도 실질적으로 입력 필드를 중심으로 사용자가 필기한 이미지를 입력 받는 것을 의미한다. The portable terminal 100 can receive a handwriting image using the touch pen through the handwriting input layer provided. At this time, the handwriting input layer need not be limited to the size of the input field being displayed. The handwriting input layer may have a larger area than the input field, including an input field. In other words, receiving the handwriting of the user using the touch pen directly on the input field means that even if not all of the handwritten image written by the user on the input field overlaps the input field, that is, part of the handwritten handwritten image is out of the input field It means that the user takes the image written by the user practically around the input field.

다른 예로, 입력 필드는 보통 하나의 열로 구성될 수 있다. 이 경우, 필기 입력 레이어는 상기 하나의 열에 대응하도록 제공될 수 있다. 즉, 필기 입력 레이어에서 사용자가 두 열로 필기하여도, 휴대 단말기(100)는 필기 입력 레이어에 작성한 두 열의 필기 이미지 각각을 텍스트로 전환하고, 전환된 각 열에 대응하는 텍스트들을 합쳐서 하나의 열의 행태로 만들어 상기 입력 필드 내에 삽입할 수 있다. As another example, the input field may typically consist of a single column. In this case, the handwriting input layer may be provided to correspond to the one column. That is, even if the user writes in two lines in the handwriting input layer, the handheld terminal 100 converts each of the two handwriting images created in the handwriting input layer into text, combines the texts corresponding to the respective converted lines, And can be inserted into the input field.

다른 예로, 어플리케이션이 포함하는 입력 필드가 복수 개인 경우, 휴대 단말기(100)는 복수 개의 입력 필드 각각에 대응하는 복수 개의 필기 입력 레이어를 제공할 수 있다. 이때, 복수 개의 필기 입력 레이어의 일부는 서로 겹칠 수도 있다. 그리고, 겹쳐진 영역에서 사용자의 필기가 발생한 경우, 휴대 단말기(100)는 사용자의 필기 입력 순서 또는 상기 필기가 시작된 위치를 고려하여, 복수 개의 필기 입력 레이어 중 어느 레이어에서의 필기인지 결정할 수 있다. 예를 들어, 휴대 단말기(100)는 겹쳐진 영역에서의 필기 이미지를 상기 필기가 최초 시작된 위치에 대응하는 필기 입력 레이어의 필기로 결정할 수 있다. In another example, when the application includes a plurality of input fields, the portable terminal 100 may provide a plurality of handwriting input layers corresponding to the plurality of input fields. At this time, some of the plurality of handwriting input layers may overlap each other. When the handwriting of the user occurs in the overlapping area, the mobile terminal 100 can determine which of the plurality of handwriting input layers is handwritten in consideration of the handwriting input order of the user or the position at which the handwriting starts. For example, the portable terminal 100 can determine the handwritten image in the overlapping area as the handwriting of the handwriting input layer corresponding to the position where the handwriting is initially started.

다음으로, 휴대 단말기(100)는 필기 입력 레이어를 통해 입력된 필기 이미지를 텍스트로 전환할 수 있다(S407). 또한, 복수 개의 필기 입력 레이어를 통해 복수개의 필기가 각각 입력된 경우, 휴대단말기(100)는 상기 복수개의 필기 이미지를 각각 텍스트로 전환할 수 있다.Next, the portable terminal 100 can convert the handwritten image inputted through the handwriting input layer into text (S407). In addition, when a plurality of handwritings are inputted through a plurality of handwriting input layers, the handwriting terminal 100 can convert the handwritten images into texts, respectively.

다음으로, 휴대 단말기(100)는 전환된 텍스트를 입력 필드 내에 삽입하여 표시할 수 있다(S409). 또한, 복수 개의 필드에 대응하는 복수 개의 텍스트로 각각 전환된 경우, 휴대 단말기(100)는 상기 전환된 복수 개의 텍스트 각각을 복수 개의 입력 필드 각각에 삽입하여 표시할 수 있다. Next, the portable terminal 100 can display the converted text by inserting the converted text in the input field (S409). In addition, when the texts are respectively converted to a plurality of texts corresponding to a plurality of fields, the portable terminal 100 can insert each of the plurality of converted texts into each of a plurality of input fields for display.

도 5는 휴대 단말기(100)에서 어플리케이션의 입력 필드에 텍스트를 표시하는 시나리오의 예이다.FIG. 5 shows an example of a scenario in which text is displayed in an input field of an application in the mobile terminal 100. FIG.

도 5의 510에서, 휴대 단말기(100)는 복수 개의 입력 필드들(511,512,513,514)을 포함하는 연락처 등록 어플리케이션을 표시할 수 있다. 5, the portable terminal 100 may display a contact registration application including a plurality of input fields 511, 512, 513, and 514.

도 5의 530에서 휴대 단말기(100)는 복수 개의 입력 필드들(511,512,513,514) 위에서 각각에 대응하는 복수 개의 필기 입력 레이어들(531,532,533,534)을 제공할 수 있다. 그리고, 상기 제공된 필기 입력 레이어들(531,532,533,534)을 통하여 사용자의 필기 입력을 각각 받을 수 있다. 도 5의 530에서, 휴대 단말은 필기 입력 레이어(531)을 통하여 "김화경"이란 필기 이미지를 입력 받고, 필기 입력 레이어(532)을 통하여 "010-1234-1234"란 필기 이미지를 입력 받고, 필기 입력 레이어(533)를 통하여 "nalza98"이란 필기 이미지를 입력 받고, 필기 입력 레이어(534)을 통하여 "2/18 birthday"란 필기 이미지를 입력 받을 수 있다. 5, the portable terminal 100 may provide a plurality of handwriting input layers 531, 532, 533, and 534 corresponding to the plurality of input fields 511, 512, 513, and 514, respectively. The handwriting input layer 531, 532, 533, 534 may receive the handwriting input of the user. 5, the portable terminal receives the handwritten image "Kim Hwa-kyung" through the handwriting input layer 531, receives the handwritten image "010-1234-1234 " through the handwriting input layer 532, Quot; nalza98 "through the input layer 533, and receives the handwritten image" 2/18 birthday "through the handwriting input layer 534.

도 5의 550에서, 휴대 단말기(100)는 입력 받은 복수 개의 필기 이미지를 인식하여 복수 개의 필기 이미지 각각에 대응하는 복수 개의 테스트로 전환할 수 있다. 그리고, 획득된 텍스트들을 복수 개의 입력 필드들(511,512,513,514)에 각각 삽입하여 표시할 수 있다. 도 5의 550에서, 휴대 단말기(100)는 입력 필드(511)에는 필기 입력 레이어(531)을 통해 입력 받은 필기 이미지 전환 결과인 "김화경"이란 텍스트를 삽입하여 표시하고, 입력 필드(512)에는 필기 입력 레이어(532)을 통해 입력 받은 필기 이미지의 전환 결과인 "010-1234-1234"란 텍스트를 삽입하여 표시하고, 입력 필드(513)에는 필기 입력 레이어(533)를 통해 입력 받은 필기 이미지의 전환 결과인 "nalza98"이란 텍스트를 삽입하여 표시하고, 입력 필드(514)에는 필기 입력 레이어(534)을 통하여 입력 받은 필기 이미지의 전환 결과인"2/18 birthday"란 텍스트를 삽입하여 표시할 수 있다.5, the portable terminal 100 recognizes a plurality of handwriting images input and can switch to a plurality of tests corresponding to each of the plurality of handwriting images. The obtained texts may be inserted into a plurality of input fields 511, 512, 513, and 514, respectively, and displayed. 5, the portable terminal 100 inserts and displays the text "Kim Hwa-kyung" as a handwriting image conversion result input through the handwriting input layer 531 in the input field 511, 010-1234-1234 "as a result of switching the handwritten image input through the handwriting input layer 532 and displays the handwritten image inputted through the handwriting input layer 533 in the input field 513 Quot; 2/18 birthday ", which is the result of switching the handwriting image input through the handwriting input layer 534, is displayed in the input field 514 by inserting the text "nalza98 " have.

도 6은 휴대 단말기(100)에서 어플리케이션의 입력 필드에 텍스트를 표시하는 시나리오의 다른 일 예이다.6 is another example of a scenario in which text is displayed in an input field of an application in the mobile terminal 100. [

도 6의 610에서 휴대 단말기(100)는 복수 개의 입력 필드들(611,612,613,614)을 포함하는 어플리케이션을 표시할 수 있다. 이때, 복수 개의 입력 필드들(611,612,613,614) 중 일부 입력 필드(612,613)에는 이미 텍스트가 삽입되어 표시될 수 있다. 이는, 일부 입력 필드들(612,613)에 기재될 내용은 이미 결정되어 있기 때문에 사용자가 일부 입력 필드들(612,613) 상에는 별도의 필기 입력을 할 필요가 없음을 의미한다. 6, the mobile terminal 100 may display an application including a plurality of input fields 611, 612, 613, and 614. At this time, some of the plurality of input fields 611, 612, 613, and 614 may be inserted with some text in the input fields 612 and 613. This means that the user does not have to make a separate handwriting input on some input fields 612, 613 because the content to be described in some input fields 612, 613 has already been determined.

도 6의 630에서, 휴대 단말기(100)는 텍스트가 이미 삽입된 입력 필드(612,613)를 제외한 나머지 입력 필드들(611,614) 위에서 대응되는 각각의 필기 입력 레이어들(631,632)을 제공할 수 있다. 다시 말해, 복수 개의 입력 필드들(611,612,613,614) 중 일부 입력 필드들(611, 614)에만 복수 개의 필기 입력 레이어(631,632)를 제공할 수 있다. 6, the portable terminal 100 may provide corresponding handwriting input layers 631 and 632 on the remaining input fields 611 and 614 except for the input fields 612 and 613 in which text is already inserted. In other words, a plurality of handwriting input layers 631 and 632 can be provided only to some of the input fields 611 and 614 of the plurality of input fields 611, 612, 613, and 614.

그리고, 필기 입력 레이어들(631,632)을 통하여 사용자의 필기 입력을 받을 수 있다. 도 6의 650에서, 휴대 단말기(100)는 입력 받은 필기 이미지의 전환 결과인 텍스트들을 나머지 필드들(611,614)에 각각 삽입하여 표시할 수 있다. Then, the handwriting input of the user can be received through the handwriting input layers 631 and 632. In 650 of FIG. 6, the portable terminal 100 may insert and display texts, which are the conversion result of the input handwriting image, in the remaining fields 611 and 614, respectively.

도 7a 및 도7b는 휴대 단말기(100)에서 병원 차트 어플리케이션의 입력 필드에 텍스트를 표시하는 시나리오의 예이다.FIGS. 7A and 7B are examples of scenarios in which text is displayed in an input field of a hospital chart application in the portable terminal 100. FIG.

도 7a는 본 발명에 따른 입력 방법을 이용하여 병원 차트에 환자의 정보를 기록하는 일 예이다.7A is an example of recording patient information on a hospital chart using the input method according to the present invention.

도 7a의 710에서 휴대 단말기(100)는 복수 개의 입력 필드들을 포함하는 병원 차트 어플리케이션을 표시할 수 있다. 상기 어플리케이션은 완료 버튼(715), 저장 버튼(716) 및 복수 개의 입력 필드들(711,712,713,714)을 포함할 수 있다. 완료 버튼(715)은 사용자가 터치용 펜을 이용하여 병원 차트에 입력한 필기 이미지를 테스트로 전환하기 위한 전환 버튼이다. 이 때, 전환 버튼은 필기 이미지를 텍스트로 전환하기 위한 기능을 지원하면 완료 버튼, 인식 버튼, 전환 버튼 등 다양한 이름으로 불리울 수 있다. In 710 of FIG. 7A, the portable terminal 100 may display a hospital chart application including a plurality of input fields. The application may include a completion button 715, a save button 716, and a plurality of input fields 711, 712, 713, and 714. The completion button 715 is a conversion button for switching the handwriting image input by the user into the hospital chart using the touch pen to the test. At this time, the conversion button can be called various names such as a completion button, a recognition button, a conversion button, and the like, if the function for converting a handwritten image into text is supported.

저장 버튼(716)은 사용자(예로, 의사)가 병원 차트에 입력한 필기 이미지를 저장하기 위한 버튼이다. 복수 개의 입력 필드들(711,712,713,714)은 환자 또는 병원의 정보를 기록하는 영역이다. 이때, 복수 개의 입력 필드 중 일부 입력 필드(714)에는 환자 또는 병원의 정보가 이미 표시되어 있을 수 있다.   The save button 716 is a button for storing a handwritten image inputted by a user (e.g., a doctor) into a hospital chart. The plurality of input fields 711, 712, 713, and 714 are areas for recording information of a patient or a hospital. At this time, information on a patient or a hospital may already be displayed in some of the plurality of input fields 714.

도 7a의 720에서 휴대 단말기(100)는 복수 개의 입력 필드들(711,712,713) 위에서 각각에 대응하는 복수 개의 필기 입력 레이어들(721,722,723)을 제공할 수 있다. 이때, 이미 정보가 표시되어 있는 입력 필드(714)에는 필기 입력 레이어가 제공되지 않을 수 있다. 그러나, 사용자가 입력 필드(714) 내의 텍스트의 수정을 원하는 경우, 이미 정보가 표시되어 있는 입력 필드(714) 상에도 필기 입력 레이어가 제공될 수 있다. 다음으로, 휴대 단말기(100)는 필기 입력 레이어들(721,722,723)을 통하여 사용자의 필기 입력을 각각 받을 수 있다. 도 7a의 720에서 휴대 단말기(100)는 환자의 이름, 환자의 주소, 예진 항목에 해당하는 필기 입력을 각각 받을 수 있다. 그리고, 사용자가 완료 버튼(715)을 선택하는 경우, 휴대 단말기는 필기 입력 레이어들(721,722,723)을 통하여 입력된 각각의 필기 이미지를 인식하여 텍스트로 전환할 수 있다. 7A, the portable terminal 100 may provide a plurality of handwriting input layers 721, 722, and 723 corresponding to the plurality of input fields 711, 712, and 713, respectively. At this time, the handwriting input layer may not be provided in the input field 714 in which information is already displayed. However, if the user wishes to modify the text in the input field 714, a handwriting input layer may also be provided on the input field 714 for which information is already displayed. Next, the portable terminal 100 can receive the handwriting input of the user through the handwriting input layers 721, 722, and 723, respectively. In step 720 of FIG. 7A, the portable terminal 100 may receive a handwriting input corresponding to the name of the patient, the address of the patient, and the preview item. When the user selects the completion button 715, the portable terminal can recognize each handwriting image input through the handwriting input layers 721, 722, and 723, and convert it into text.

도 7a의 730에서 휴대 단말기(100)는 환자의 정보로써 입력 받은 각각의 필기 이미지를 인식하고, 복수 개의 필기 이미지 각각에 대응하는 복수 개의 텍스트로써, "김화경", "서울시 동작구 사당동","√"를 획득할 수 있다. 그리고, 획득된 텍스트들을 복수 개의 입력 필드들(711,712,713)에 각각 삽입하여 표시할 수 있다. In step 730 of FIG. 7A, the portable terminal 100 recognizes each handwriting image received as the information of the patient and generates a plurality of texts corresponding to each of the plurality of handwritten images, such as "Kim Hwa Kyung "," "Can be obtained. The obtained texts may be inserted into a plurality of input fields 711, 712, and 713, respectively, and displayed.

도 7b는 본 발명에 따른 입력 방법을 이용하여 병원 차트에 환자의 정보를 기록하는 다른 일 예이다.7B is another example of recording patient information on a hospital chart using the input method according to the present invention.

도 7b의 740에서 휴대 단말기(100)는 복수 개의 입력 필드들을 포함하는 병원 차트 등록 어플리케이션을 표시할 수 있다. 상기 어플리케이션은 완료 버튼(745), 저장 버튼(746) 및 복수 개의 입력 필드들(741,742,743,744)을 포함할 수 있다. 완료 버튼(745)은 사용자가 터치용 펜을 이용하여 병원 차트에 입력한 필기 이미지를 인식하여 텍스트로 전환하기 위한 버튼이다. 저장 버튼(746)은 사용자가 병원 차트에 입력한 필기 이미지 및 환자에 관한 이미지(748)를 저장하기 위한 버튼이다. 이 때, 사용자가 입력한 필기 이미지 또는 환자에 관한 이미지(748)는 별도의 저장 버튼(746)의 선택 없이도 일정 주기마다 자동으로 저장될 수 있다. 복수 개의 입력 필드들(741,742,743,744)은 환자 또는 병원의 정보를 기록하는 영역이다. 이때, 복수 개의 입력 필드 중 일부 입력 필드(742)에는 환자 또는 병원의 정보가 이미 표시되어 있을 수 있다.In 740 of FIG. 7B, the portable terminal 100 may display a hospital chart registration application including a plurality of input fields. The application may include a completion button 745, a save button 746, and a plurality of input fields 741, 742, 743, 744. The completion button 745 is a button for allowing a user to recognize a handwritten image input to the hospital chart using the touch pen and converting the handwritten image into text. The save button 746 is a button for storing an image 748 related to the patient and the handwriting image entered by the user into the hospital chart. At this time, the handwritten image inputted by the user or the image 748 relating to the patient can be automatically stored at regular intervals without selecting a separate storage button 746. [ The plurality of input fields 741, 742, 743, and 744 are areas for recording information of a patient or a hospital. At this time, information on a patient or a hospital may already be displayed in some of the plurality of input fields 742.

도 7b의 750에서 휴대 단말기(100)는 복수 개의 입력 필드들(741,742,743,744) 위에서 각각에 대응하는 복수 개의 필기 입력 레이어들(751,753,754)을 제공할 수 있다. 이때, 이미 정보가 표시되어 있는 입력 필드(742)에는 필기 입력 레이어가 제공되지 않을 수 있다. 다음으로, 휴대 단말기(100)는 필기 입력 레이어들(751,753,754)을 통하여 사용자의 필기 이미지를 각각 입력 받을 수 있다. 도7b의 750에서 휴대 단말기(100)는 환자의 이름, 환자의 성별에 해당하는 필기 입력을 각각 받을 수 있다. 다음으로, 사용자가 완료 버튼(745)을 선택하는 경우, 휴대 단말기는 필기 입력 레이어들(751,753,754)을 통하여 입력된 각각의 필기 이미지를 텍스트로 전환할 수 있다. 이때, 사용자가 필기하지 않은 영역(753)은 텍스트 전환을 생략할 수 있다. 7B, the portable terminal 100 may provide a plurality of handwriting input layers 751, 753, and 754 corresponding to the plurality of input fields 741, 742, 743, and 744, respectively. At this time, the handwriting input layer may not be provided in the input field 742 in which information is already displayed. Next, the portable terminal 100 can receive the handwriting images of the user through the handwriting input layers 751, 753, and 754, respectively. In step 750 of FIG. 7B, the portable terminal 100 may receive handwriting input corresponding to the name of the patient and the sex of the patient, respectively. Next, when the user selects the completion button 745, the portable terminal can convert each handwriting image input through the handwriting input layers 751, 753, and 754 into text. At this time, the area 753 in which the user does not write can skip text conversion.

도7b의 760에서 휴대 단말기(100)는 환자의 정보로써 입력 받은 각각의 필기 이미지를 인식하고, 복수 개의 필기 이미지 각각에 대응하는 복수 개의 텍스트로써, "김화경" 및 "√"를 획득할 수 있다. 그리고, 획득된 텍스트들을 복수 개의 입력 필드들(741,744)에 각각 삽입하여 표시할 수 있다. In step 760 of FIG. 7B, the portable terminal 100 recognizes each handwriting image input as the information of the patient, and obtains "Kim Hwa Kyung" and " . The obtained texts may be inserted into a plurality of input fields 741 and 744, respectively, and displayed.

이미지 변경 영역(748)은 사용자가 병원 차트 상에서 환자에 관한 이미지를 삽입 또는 교체할 수 있는 영역이다. 사용자는 환자에 관한 이미지를 불러오거나, 교체하기 위하여 이미지 버튼(747)을 선택할 수 있다. 이미지는 휴대 단말기(100) 또는 휴대 단말기(100)의 외부 저장 장치(미도시)에 저장된 이미지이거나 또는 사용자가 휴대 단말기(100)를 사용하여 현재 촬영하는 사진이 될 수 있다. 도7c는 병원 차트의 이미지 영역(748)에 표시될 수 있는 이미지들(771,772,773)의 예를 나타낸다. 한편, 저장된 또는 촬영된 이미지는 다른 이미지들과 함께 사진첩과 같이 복수 개의 이미지로 구성된 그룹으로 관리될 수 있다. 이 경우, 사용자가 이미지 영역(748) 상에서 특정 제스처(예로, 스와이프)를 수행하는 경우, 이미지 영역(748)의 이미지는 동일한 그룹 내의 다른 이미지로 교체될 수 있다. 예를 들어, 도7c의 이미지들(771,772,773)은 하나의 그룹으로 관리되어 사용자의 특정 제스처에 의하여 교체될 수 있다. 이와 같이, 본 발명이 병원에서 이용되는 경우, 의사는 환자 면담 시에 터치용 펜을 이용하여 환자의 상태를 빠르게 휴대 단말기(100)가 제공하는 병원 차트에 기재하고, 용이하게 관리할 수 있다.The image change area 748 is an area where a user can insert or replace an image relating to a patient on a hospital chart. The user may select the image button 747 to recall or replace the image of the patient. The image may be an image stored in an external storage device (not shown) of the portable terminal 100 or the portable terminal 100, or may be a picture that the user is currently photographing using the portable terminal 100. Figure 7C shows an example of images 771,772,773 that may be displayed in the image area 748 of the hospital chart. On the other hand, the stored or photographed image can be managed as a group composed of a plurality of images such as a photo album together with other images. In this case, if the user performs a particular gesture (e.g., swipe) on the image area 748, the image in the image area 748 may be replaced with another image in the same group. For example, the images 771, 772, 773 of Figure 7c may be managed as a group and replaced by a user's particular gesture. As described above, when the present invention is used in a hospital, the doctor can easily describe the state of the patient on the hospital chart provided by the portable terminal 100 using the touch pen at the time of patient interview and can easily manage it.

도 8a 및 도8b는 휴대 단말기(100)에서 일정 관리 어플리케이션 입력 필드에 텍스트를 표시하는 시나리오의 예이다.8A and 8B are examples of scenarios in which text is displayed in the schedule management application input field in the portable terminal 100. [

도 8a의 810에서, 휴대 단말기(100)는 어플리케이션이 제공하는 복수 개의 시간을 표시할 수 있다. 예를 들어, 복수 개의 시간은 어플리케이션이 제공하는 달력이 될 수 있다. 사용자는 복수 개의 시간 중 일정의 내용을 기입하기를 원하는 특정 시간을 선택할 수 있다. 예를 들어, 사용자는 달력의 날짜들 중 하나를 마크(811)하여 특정 시간을 선택할 수 있다. 또는, 사용자는 달력의 날짜들 중 복수 개의 날짜를 터치용 펜으로 드래그(812)하여 선택할 수 있다. 또는, 사용자는 선택하고자 하는 날짜를 화면의 일 영역에 입력(813)할 수 있다. In 810 of FIG. 8A, the mobile terminal 100 may display a plurality of times provided by the application. For example, a plurality of times may be a calendar provided by an application. The user can select a specific time from among a plurality of times to write a certain content. For example, the user may mark 811 one of the dates of the calendar to select a specific time. Alternatively, the user can select a plurality of dates among the dates of the calendar by dragging 812 with the touch pen. Alternatively, the user can input 813 the date to be selected in one area of the screen.

도 8a의 820에서, 휴대 단말기(100)가 시간을 선택 받은 경우, 휴대 단말기(100)는 선택한 시간과 관련된 일정의 내용을 요청하는 피드백(821)을 제공할 수 있다. 사용자는 선택한 시간과 관련된 일정의 이름(822)을 화면의 임의의 영역에 필기할 수 있다.In step 820 of FIG. 8A, when the mobile terminal 100 selects time, the mobile terminal 100 may provide a feedback 821 requesting a schedule content related to the selected time. The user can write a name 822 of a schedule related to the selected time in an arbitrary area of the screen.

도 8a의 830에서, 휴대 단말기(100)가 일정의 이름을 입력 받은 경우, 휴대 단말기(100)는 자세한 일정 입력을 요청하는 팝업 창(831)을 제공할 수 있다. 이때, 사용자가 자세한 일정을 입력하기 위한 입력 필드(832)를 선택하는 경우, 휴대 단말기(100)는 자세한 일정을 입력할 수 있는 화면을 더 제공할 수 있다. In step 830 of FIG. 8A, when the portable terminal 100 receives a predetermined name, the portable terminal 100 may provide a pop-up window 831 for requesting a detailed schedule entry. At this time, when the user selects an input field 832 for inputting a detailed schedule, the mobile terminal 100 may further provide a screen for inputting a detailed schedule.

도 8b의 840에서, 휴대 단말기(100)는 자세한 일정을 요청하는 화면으로 복수 개의 입력 필드들(841,842,843,844)을 포함하는 화면을 표시할 수 있다. 이때, 복수 개의 입력 필드들(841,842,843,844) 중 일정의 이름을 기재하는 입력 필드(841)에는 도8a의 820에서 이미 입력을 받은 일정의 이름(822)이 텍스트로 인식되어 표시되어 있을 수 있다. 도8b의 840에서, 인식 버튼(846)은 각 입력 필드에 사용자가 필기한 이미지의 인식을 시작하여 텍스트로 전환하고 전환된 텍스트를 입력 필드 내에 삽입하기 위한 버튼이고, 저장 버튼(845)은 텍스트가 삽입된 입력 필드의 상태를 저장하기 위한 버튼이고, 취소 버튼(847)은 이미 텍스트가 삽입된 입력 필드 내의 상태를 이전의 텍스트가 삽입되지 않은 상태로 복귀하기 위한 화면이다. In 840 of FIG. 8B, the portable terminal 100 may display a screen including a plurality of input fields 841, 842, 843, and 844 on a screen requesting detailed schedule. At this time, in the input field 841 for describing a certain name among the plurality of input fields 841, 842, 843, and 844, a certain name 822 already received in 820 of FIG. 8A may be recognized as text and displayed. 8B, the recognition button 846 is a button for starting recognition of an image handwritten by the user in each input field and switching to text and inserting the converted text into the input field, And the cancel button 847 is a screen for returning the state in the input field into which the text has already been inserted to a state in which the previous text is not inserted.

도 8b의 850에서, 휴대 단말기(100)는 이미 텍스트가 삽입된 입력 필드(841)를 제외한 나머지 입력 필드들(842,843,844) 위에서 대응되는 각각의 필기 입력 레이어들(851,852,853)을 제공할 수 있다. 사용자는 제공된 필기 입력 레이어들(851,852,853)에 터치용 펜을 이용하여 일정 관련 장소, 일정 관련 참석자, 일정 관련 기타 내용을 입력할 수 있다. 이때, 사용자가 필기 이미지를 다시 입력하기를 원하는 경우, 사용자는 삭제 버튼(854)을 선택하여 필기 입력 레이어(851)에 필기한 내용을 삭제할 수 있다. 삭제 버튼(854)이 선택되는 경우, 필기 입력 레이어(851)에 작성된 필기 모두가 삭제되거나 또는 필기 입력 레이어(851)에 필기 중 최근 필기한 획이 삭제될 수 있다. 한편, 복수 개의 필기 입력 레이어들이 제공되는 경우, 삭제 버튼은 상기 복수 개의 필기 입력 레이어에 필기 이미지 각각을 삭제하기 위하여 복수 개의 필기 입력 레이어 각각에 대응하여 구비될 수 있다. 또는, 복수 개의 필기 입력 레이어에 필기 모두를 삭제하기 위한 하나의 버튼으로 구비될 수 있다.8B, the portable terminal 100 may provide corresponding handwriting input layers 851, 852, 853 on the remaining input fields 842, 843, 844 except for the input field 841 in which the text has already been inserted. The user can input a schedule related place, a schedule related participant, and other schedule related contents using the touch pen to the provided handwriting input layers 851, 852, and 853. At this time, if the user desires to input the handwritten image again, the user can select the delete button 854 to delete the handwritten content in the handwriting input layer 851. [ When the delete button 854 is selected, all of the handwriting created in the handwriting input layer 851 may be deleted, or a recently handwritten stroke may be deleted from the handwriting input layer 851 during handwriting. Meanwhile, when a plurality of handwriting input layers are provided, the delete button may be provided corresponding to each of the plurality of handwriting input layers to delete each of the handwriting images on the plurality of handwriting input layers. Alternatively, it may be provided as one button for deleting all handwriting on the plurality of handwriting input layers.

도 8b의 860에서, 휴대 단말기(100)는 필기 입력 레이어들(851,852,853) 각각에 일정 관련 장소, 일정 관련 참석자, 일정 관련 기타 내용에 관한 필기 이미지를 입력 받아 텍스트로 전환할 수 있다. 이때, 휴대 단말기(100)는 소정 시간 동안 사용자의 필기 입력이 없는 경우 필기 인식을 시작하거나 또는 일정 시간을 주기로 하여 입력 받은 필기 이미지를 텍스트로 전환할 수 있다. 또는, 휴대 단말기(100)는 인식 버튼(861)을 구비하여 사용자가 인식 버튼(861)을 선택할 때, 복수 개의 필기 입력 레이어들(851,852,853) 각각에 입력된 복수 개의 필기 모두를 텍스트로 전환할 수 있다. 그리고, 휴대 단말기(100)는 인식을 통해 획득한 텍스트들을 입력 필드들(842,843,844)에 삽입하여 표시할 수 있다.In 860 of FIG. 8B, the portable terminal 100 can receive a handwritten image related to a certain related place, a participant related to a schedule, and other contents related to a schedule in the handwriting input layers 851, 852, and 853, respectively. At this time, the portable terminal 100 may start handwriting recognition if there is no handwriting input by the user for a predetermined time, or may convert the handwritten image inputted into the text to a text at a predetermined time interval. Alternatively, when the user selects the recognition button 861, the portable terminal 100 may include a recognition button 861 to switch all of the handwriting input to the plurality of handwriting input layers 851, 852, and 853 to text have. The portable terminal 100 can insert and display the texts obtained through recognition in the input fields 842, 843, and 844.

도 8b의 870에서, 휴대 단말기(100)는 자세한 일정을 추가하는 터치용 펜을 이용한 사용자의 입력이 완료되면, 입력 받은 일정의 적어도 일부를 사용자가 선택한 시간에 표시할 수 있다. 예를 들어, 휴대 단말기(100)는 어플리케이션이 제공하는 복수 개의 시간이 달력인 경우, 달력에 포함된 특정 날짜와 관련된 칸에 일정 이름 및 장소를 표시(871)할 수 있다. In 870 of FIG. 8B, when the user's input using the touch pen for adding a detailed schedule is completed, the portable terminal 100 may display at least a part of the inputted schedule at a time selected by the user. For example, when the plurality of times provided by the application are calendars, the portable terminal 100 may display 871 a calendar name and a place in a column related to a specific date included in the calendar.

도 8a 및 도 8b의 다른 일 실시 예로, 휴대 단말기(100)가 도 8a의 810과 같이 어플리케이션이 제공하는 복수 개의 시간을 표시한 경우, 사용자가 복수 개의 시간 중 하나의 시간을 선택하면 도 8a의 820 및 830 단계를 생략하고 도 8b의 840 단계로 바로 진행될 수 있다. 즉, 휴대 단말기(100)는 사용자에 의해 복수 개의 시간 중 하나를 선택 받으면 선택된 시간과 관련된 내용을 입력 필드들(841,842,843,844)를 표시할 수 있다. 그리고, 휴대 단말기(100)는 일정 이름 입력 필드(841)를 포함한 나머지 필드들에 대응되는 필기 입력 레이어를 각각 제공할 수 있다. 휴대용 단말기(100)는 제공된 필기 입력 레이어 각각에서 필기 이미지를 입력 받고, 이를 텍스트로 인식하여 입력 필드에 삽입하여 표시할 수 있다. 8A and 8B, when the mobile terminal 100 displays a plurality of times provided by the application as shown in 810 of FIG. 8A, if the user selects one of the plurality of times, The steps 820 and 830 may be omitted and the process may proceed directly to step 840 of FIG. 8B. That is, when one of the plurality of times is selected by the user, the portable terminal 100 can display input fields 841, 842, 843, and 844 related to the selected time. The portable terminal 100 may provide a handwriting input layer corresponding to the remaining fields including the predetermined name input field 841. [ The portable terminal 100 receives a handwritten image from each of the provided handwriting input layers, recognizes the handwritten image as text, and inserts the handwritten image into an input field for display.

본 발명은 입력 필드를 가지고 있는 일정한 포맷을 따르는 문서들을 대상으로 적극 활용할 수 있다. 특히, 관공서 문서를 대상으로 본 발명을 적용할 경우, 사용자에게 편리성과 신속성을 제공할 수 있다. 예를 들어, 종래의 관공서에서 민원인은 관공서 문서에 펜으로 민원에 필요한 정보를 기재한다. 그리고, 관공서 직원은 민원인이 작성한 문서에 기재된 내용을 보면서 관공서 내의 컴퓨터에 민원인의 작성한 내용을 다시 입력한다. 하지만, 본 발명을 적용하는 경우, 민원인은 관공서 또는 집에서 휴대용 단말기(100)에서 제공하는 관공서 문서 어플리케이션을 통해 민원에 필요한 정보를 쉽게 기재할 수 있다. 즉, 민원인은 관공서 문서에 펜으로 필기하는 것과 같은 사용성을 유지하면서 터치용 펜을 이용하여 민원에 필요한 정보를 입력할 수 있다. 이 경우, 종래의 관공서 문서와 관련된 종이의 낭비를 절약할 수 있으며, 또한 관공서 직원이 민원인이 작성한 내용을 다시 입력해야 하는 수고를 덜 수가 있다. 특히, 관공서 문서 어플리케이션을 표시하기에 앞서 휴대용 단말기(100)에서 본인 인증이 확인된다면, 관공서 문서의 입력 필드 중 일부에는 사용자의 기본적인 인적 사항이 텍스트로 삽입되어 표시될 수 있다. 이 경우, 사용자는 인정 사항과 같은 매번 같은 내용을 작성해야 하는 수고를 덜 수가 있다. The present invention can actively utilize documents that conform to a certain format having an input field. In particular, when the present invention is applied to a government office document, convenience and speediness can be provided to a user. For example, in a conventional public office, a complainant records information required for complaints with a public office document with a pen. Then, the staff of the government office re-input the contents of the complainant into the computer in the government office while watching the contents written in the document written by the complainant. However, when the present invention is applied, a complainant can easily write information required for complaints through a government office document application provided by the portable terminal 100 at a government office or a home. In other words, the complainant can input the information required for the complaint by using the touch pen while maintaining usability such as writing with a pen in a government office document. In this case, it is possible to save the waste of paper related to the conventional public office document, and it is also possible to reduce the labor of the staff of the public office to input the contents written by the complainant again. In particular, if authentication of the user is confirmed in the portable terminal 100 before displaying the government office document application, basic personal information of the user may be inserted as text and displayed in some of the input fields of the government office document. In this case, the user is less likely to have to write the same content each time, such as an acknowledgment.

도 9a 및 도 9b는 휴대 단말기(100)에서 입력 필드에 텍스트를 표시하기 방법들을 제시하는 예이다.FIGS. 9A and 9B show examples of methods of displaying text in an input field in the portable terminal 100. FIG.

도 9a는 사용자의 터치로 터치용 펜을 이용하는 예이며, 도 9b는 사용자의 터치로 사용자의 손가락을 이용하는 예이다.9A shows an example of using a touch pen with a touch of a user, and FIG. 9B shows an example of using a user's finger with a touch of a user.

도 9a의 910에서 휴대 단말기는(100)는 터치 스크린(140) 상에 입력 필드(911)를 포함하는 어플리케이션을 표시할 수 있다. In step 910 of FIG. 9A, the mobile terminal 100 may display an application including an input field 911 on the touch screen 140.

이 때, 사용자가 입력 필드(911) 위에서 터치용 펜을 이용하여 터치하거나 또는 사용자가 터치용 펜을 휴대 단말기(100)에서 인출하는 경우, 도 9a의 930과 같이 휴대 단말기(100)는 터치용 펜에 의한 필기 입력을 받기 위한 필기 입력 레이어(931)을 입력 필드(911) 위에서 제공할 수 있다. In this case, when the user touches the input field 911 using the touch pen or the user pulls the touch pen from the portable terminal 100, A handwriting input layer 931 for receiving handwriting input by the pen may be provided on the input field 911. [

다른 예로, 도 9b의 950에서 휴대 단말기는(100)는 터치 스크린(140) 상에 입력 필드(951)를 포함하는 어플리케이션을 표시할 수 있다. In another example, at 950 of FIG. 9B, the mobile terminal 100 may display an application that includes an input field 951 on the touch screen 140.

이 때, 사용자가 입력 필드(951) 위에서 손가락을 이용하여 터치하는 경우, 도 9b의 970과 같이 휴대 단말기(100)는 손가락을 이용한 입력을 받기 위한 키패드(971)를 화면의 일 영역에 제공할 수 있다.In this case, when the user touches the input field 951 using the finger, the portable terminal 100 provides the keypad 971 for receiving input using the finger to one area of the screen as shown at 970 of FIG. 9B .

도 10은 휴대 단말기(100)에서 웹 브라우저 어플리케이션의 입력 필드에 텍스트를 표시하는 시나리오의 예이다.10 is an example of a scenario in which text is displayed in the input field of the web browser application in the mobile terminal 100. [

도 10의 1010에서, 휴대 단말기(100)는 웹 주소를 입력하기 위한 입력 필드(1011)을 포함하는 웹 브라우저 어플리케이션을 표시할 수 있다. 10, the portable terminal 100 may display a web browser application including an input field 1011 for inputting a web address.

도 10의 1030에서 휴대 단말기(100)는 입력 필드(1011) 위에서 필기 입력 레이어(1031)을 제공할 수 있다. 이때, 필기 입력 레이어(1031)은 입력 필드(1011)의 크기보다 더 클 수 있다. 이 경우, 사용자는 필기 입력 레이어(1031) 상에서 터치 드래그 제스처를 수행하거나 또는 별도의 메뉴를 이용하여 필기 입력 레이어(1031)의 크기를 조절할 수 있다. 만약, 사용자가 약시를 가지고 있거나 시력이 좋지 않은 노약자인 경우, 이러한 기능은 사용자가 필기 이미지를 입력하기 위한 접근성을 향상시킬 수 있다. 10, the portable terminal 100 may provide a handwriting input layer 1031 on the input field 1011. [ At this time, the handwriting input layer 1031 may be larger than the size of the input field 1011. In this case, the user can perform a touch drag gesture on the handwriting input layer 1031 or adjust the size of the handwriting input layer 1031 using a separate menu. If the user has an amblyopia or poor vision, this function can improve the accessibility for the user to input handwritten images.

다음으로, 휴대 단말기(100)는 상기 제공된 필기 입력 레이어(1031)을 통하여 사용자의 필기 입력을 각각 받을 수 있다. 도 10의 1030에서, 휴대 단말은 필기 입력 레이어(1031)을 통하여 사용자에 의한 "wwww.google.com"이란 필기 이미지를 입력 받을 수 있다.Next, the portable terminal 100 can receive the handwriting input of the user through the provided handwriting input layer 1031, respectively. 10, the portable terminal can receive a handwritten image called "wwww.google.com" by the user through the handwriting input layer 1031. [

도 10의 1050에서, 휴대 단말기(100)는 입력 받은 필기 이미지를 인식하여 필기 이미지를 테스트로 획득할 수 있다. 그리고, 전환된 텍스트들 입력 필드들(1011)에 삽입하여 표시할 수 있다. 도 5의 1050에서, 휴대 단말기(100)는 필기 입력 레이어(1031)을 통해 입력 받은 필기의 인식 결과인 "www.google.com"이란 텍스트를 입력 필드(1011)에 삽입하여 표시하고, 상기텍스트와 관련된 웹 페이지로 접근할 수 있다. In 1050 of FIG. 10, the portable terminal 100 recognizes the input handwriting image and can obtain a handwriting image as a test. Then, it can be inserted into the converted text input fields 1011 and displayed. 5, the mobile terminal 100 inserts and displays the text "www.google.com" which is the recognition result of the handwriting input through the handwriting input layer 1031, in the input field 1011, Can access the web page associated with the.

도 11은 본 발명의 다른 실시 예에 따른 휴대 단말기(100)의 필기 입력 방법을 설명하기 위한 순서도이다. 11 is a flowchart illustrating a handwriting input method of the portable terminal 100 according to another embodiment of the present invention.

도 11을 참조하면, 휴대 단말기(100)는 특정 어플리케이션을 실행하여 터치 스크린(140) 상에 어플리케이션을 표시할 수 있다(S1101). 이 경우, 터치 스크린(140) 상에는 어플리케이션이 제공하는 복수 개의 입력 필드가 표시될 수 있다(S1102). 그리고, 휴대 단말기(100)는 사용자의 필기 입력을 받기 위해 복수 개의 입력 필드 각각에 대응하는 복수 개의 필기 입력 레이어를 제공할 수 있다(S1103). Referring to FIG. 11, the portable terminal 100 can display an application on the touch screen 140 by executing a specific application (S1101). In this case, a plurality of input fields provided by the application may be displayed on the touch screen 140 (S1102). The portable terminal 100 may provide a plurality of handwriting input layers corresponding to each of the plurality of input fields to receive the handwriting input of the user (S1103).

다음으로, 휴대 단말기(100)는 복수 개의 필기 입력 레이어 각각에서 터치용 펜에 의한 필기 이미지를 입력 받아 텍스트로 전환할 수 있다(S1104). 이 경우, 휴대 단말기(100)는 필기 입력 레이어에 따라 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류로 우선하여 텍스트로 전환할 수 있다. 예를 들어, 제1 필기 입력 레이어에 대응하는 입력 필드에 삽입될 텍스트의 종류가 제1 언어(예로, 한글)로 결정되고, 제2 필기 입력 레이어에 대응하는 입력 필드에 삽입될 텍스트의 종류가 제2 언어(예로, 영어)로 결정되어 있는 경우, 휴대 단말기(100)는 필기 입력 레이어가 제1 필기 입력 레이어인지 판단하고(S1105), 제1 필기 입력 레이어를 통한 필기 이미지를 제1 언어의 텍스트로 우선하여 전환할 수 있다(S1106). 한편, 휴대 단말기(100)는 필기 입력 레이거가 제1 필기 입력 레이어가 아닌 경우, 휴대 단말기(100)는 필기 입력 레이어가 제2 필기 입력 레이어인지 판단하고(S1108), 제2 필기 입력 레이어를 통한 필기 이미지를 제2 언어의 텍스트로 우선하여 전환할 수 있다(S1109). Next, the portable terminal 100 can input a handwritten image of the touch pen at each of the plurality of handwriting input layers, and convert the handwritten image into text (S1104). In this case, the portable terminal 100 can switch the handwriting image input according to the handwriting input layer to text by giving priority to the first type of the first language, the second language, the number, and the special symbol. For example, if the type of the text to be inserted into the input field corresponding to the first handwritten input layer is determined to be the first language (e.g., Hangul) and the type of the text to be inserted into the input field corresponding to the second handwritten input layer is If it is determined that the handwriting input layer is the first handwriting input layer (S1105), the portable terminal 100 determines whether the handwriting input image is a first handwriting input layer It is possible to switch preferentially to text (S1106). If the handwriting input layer is not the first handwriting input layer, the portable terminal 100 determines whether the handwriting input layer is the second handwriting input layer (S1108). If the handwriting input layer is not the first handwriting input layer The handwritten image can be preferentially switched to the text of the second language (S1109).

다음으로, 휴대 단말기(100)는 복수 개의 필기 입력 레이어 각각에 대응하여 인식된 텍스트들을 대응하는 복수 개의 입력 필드 내에 삽입하여 표시할 수 있다(S1107). Next, the portable terminal 100 inserts the recognized text corresponding to each of the plurality of handwriting input layers into a corresponding plurality of input fields and displays the inserted text (S1107).

도 12은 본 발명의 또 다른 일 실시 예에 따른 휴대 단말기(100)의 필기 입력 방법을 설명하기 위한 순서도이다. 12 is a flowchart illustrating a handwriting input method of the portable terminal 100 according to another embodiment of the present invention.

도 12을 참조하면, 휴대 단말기(100)는 특정 어플리케이션을 실행하여 터치 스크린(140) 상에 어플리케이션을 표시할 수 있다(S1201). 이 경우, 터치 스크린(140) 상에는 어플리케이션이 제공하는 입력 필드가 표시될 수 있다(S1202).Referring to FIG. 12, the portable terminal 100 can display an application on the touch screen 140 by executing a specific application (S1201). In this case, an input field provided by the application may be displayed on the touch screen 140 (S1202).

다음으로, 휴대 단말기(100)는 상기 입력 필드 위에서 사용자의 터치를 감지할 수 있다(S1203). 그리고, 휴대 단말기(100)는 사용자의 터치가 손가락을 이용한 터치인지 판단할 수 있다(S1204). 사용자의 터치가 손가락을 이용한 터치인 경우, 휴대 단말기(100)는 손가락을 이용한 입력을 받기 위한 키패드를 화면 상의 일 영역에 제공할 수 있다(S1205). 그리고, 키패드를 통하여 사용자가 선택하는 텍스트를 획득할 수 있다(S1206). 다음으로, 휴대 단말기(100)는 획득된 텍스트들을 어플리케이션이 제공하는 입력 필드 내에 삽입하여 표시할 수 있다(S1210).Next, the portable terminal 100 may sense the user's touch on the input field (S1203). Then, the portable terminal 100 can determine whether the user's touch is a touch using a finger (S1204). If the user's touch is a touch using a finger, the portable terminal 100 may provide a keypad for receiving input using a finger (S1205). Then, a text selected by the user can be obtained through the keypad (S1206). Next, the portable terminal 100 may display the acquired text by inserting it into an input field provided by the application (S1210).

사용자의 터치가 손가락을 이용한 터치가 아닌 경우, 휴대 단말기는(100)는 사용자의 터치가 터치용 펜을 이용한 터치인지 판단할 수 있다(S1207). 이러한 판단 과정은 상술한 단계(S1204)와 동시에 진행될 수도 있고, 또는 단계(S1207) 이후에 단계(S1204)가 순차적으로 진행될 수도 있다. 사용자의 터치가 터치용 펜을 이용한 터치인 경우, 휴대 단말기(100)는 터치용 펜을 이용한 입력을 받기 위한 필기 입력 레이어를 상기 필드에 중첩하여 제공할 수 있다(S1208). 그리고, 필기 입력 레이어를 통하여 입력 받은 필기 이미지를 인식하여 텍스트로 전환할 수 있다(S1209). 다음으로 휴대 단말기(100)는 전환된 텍스트을 어플리케이션이제공하는 입력 필드 내에 삽입하여 표시할 수 있다(S1210).   If the user's touch is not a touch using a finger, the portable terminal 100 may determine whether the touch of the user is a touch using the touch pen (S1207). This determination process may be concurrent with the above-described step S1204, or step S1204 may be sequentially performed after step S1207. If the user's touch is a touch using the touch pen, the portable terminal 100 may provide a handwriting input layer for receiving input using the touch pen, superimposed on the field (S1208). Then, the handwriting image input through the handwriting input layer is recognized and converted into text (S1209). Next, the mobile terminal 100 may display the converted text by inserting the converted text into an input field provided by the application (S1210).

상술한 본 발명의실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재 기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비 휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. It will be appreciated that the embodiments of the invention described above are feasible in hardware, software or a combination of hardware and software. Such arbitrary software may be, for example, a volatile or non-volatile storage such as a storage device such as a ROM or the like, such as, for example, a RAM, a memory chip, a device or an integrated circuit Memory, or a storage medium readable by a machine (e.g., a computer), such as a CD, a DVD, a magnetic disk, a magnetic tape, etc., optically or magnetically recordable.

본 발명의 터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말기에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예 임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다. 또한, 상기 터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 뿐만 아니라 사용자는 사용자 휴대 단말기의 설정을 조정하여 본 발명의실시 예에 따른 동작을 사용자 단말 내로 한정하거나 네트워크를 통한 서버와의 연동으로 확장하는 것을 선택적으로 이용할 수도 있다.The portable terminal using the touch pen of the present invention and the handwriting input method using the same can be implemented by a computer or a mobile terminal including a control unit and a memory, and the memory includes a program including instructions embodying the embodiments of the present invention Or an example of a machine-readable storage medium suitable for storing programs. Accordingly, the invention includes a program comprising code for implementing the apparatus or method as claimed in any of the claims herein, and a storage medium readable by a machine (such as a computer) for storing such a program. In addition, such a program may be electronically transferred through any medium such as a communication signal transmitted via a wired or wireless connection, and the present invention appropriately includes the same. Also, the portable terminal using the touch pen and the handwriting input method using the touch pen may receive and store the program from a program providing device connected by wire or wireless. In addition, the user may selectively utilize the setting of the user portable terminal to limit the operation according to the embodiment of the present invention to the user terminal or to extend the connection to the server through the network.

Claims (22)

터치용 펜을 이용한 휴대 단말기의 필기 입력 방법에 있어서,
어플리케이션을 실행하여 상기 어플리케이션이 제공하는 적어도 하나의 입력 필드를 표시하는 단계
상기 적어도 하나의 입력 필드에 위에서 직접 상기 터치용 펜을 이용한 필기 이미지를 입력 받는 단계
상기 입력된 필기 이미지를 텍스트로 전환하는 단계 및
상기 전환된 텍스트를 상기 입력 필드 내에 삽입하여 표시하는 단계를 포함하는 휴대 단말기의 필기 입력 방법.A handwriting input method for a portable terminal using a touch pen,
Executing an application and displaying at least one input field provided by the application
Receiving a handwritten image using the touch pen directly on the at least one input field
Converting the input handwritten image into text; and
And inserting and displaying the converted text in the input field. 제1항에 있어서,
상기 터치용 펜을 이용한 필기 이미지를 입력 받는 단계는,
상기 입력 필드에 중첩하여 필기 입력 레이어를 제공하는 단계 및
상기 제공된 필기 입력 레이어를 통하여 필기 이미지를 입력 받는 단계를 포함하고,
상기 입력된 필기 이미지를 텍스트로 전환하는 단계는,
상기 필기 입력 레이어를 통하여 입력된 상기 필기 이미지를 텍스트로 전환하는 단계를 포함하는 휴대 단말기의 필기 입력 방법.The method according to claim 1,
Wherein the step of receiving a handwritten image using the touch pen comprises:
Providing a handwriting input layer overlying the input field; and
Receiving a handwritten image through the provided handwriting input layer,
Wherein the step of converting the input handwritten image into text includes:
And converting the handwriting image input through the handwriting input layer into text. 제2항에 있어서,
상기 입력 필드가 복수 개인 경우,
상기 필기 입력 레이어를 제공하는 단계는,
상기 복수 개의 입력 필드 각각에 대응하는 복수 개의 필기 입력 레이어를
제공하는 단계를 포함하고,
상기 필기 이미지를 텍스트로 전환하는 단계는,
상기 복수 개의 필기 입력 레이어 각각에서 입력 받은 필기 이미지를 텍스트로 전환하는 단계를 포함하는 휴대 단말기의 필기 입력 방법.3. The method of claim 2,
When there are a plurality of input fields,
Wherein providing the handwriting input layer comprises:
A plurality of handwriting input layers corresponding to each of the plurality of input fields
Comprising:
Wherein the step of converting the handwritten image into text comprises:
And converting the handwriting image input from each of the plurality of handwriting input layers into text. 제3항에 있어서,
상기 복수 개의 입력 필드 중 일부 필드에 이미 텍스트가 삽입되어 있는 경우,
상기 필기 입력 레이어를 제공하는 단계는,
상기 복수 개의 입력 필드 중 상기 일부 필드를 제외한 입력 필드에만 필기 입력 레이어를 제공하는 단계를 포함하는 휴대 단말기의 필기 입력 방법.The method of claim 3,
If text is already inserted in some of the plurality of input fields,
Wherein providing the handwriting input layer comprises:
And providing a handwriting input layer only to input fields of the plurality of input fields excluding the partial fields. 제3항에 있어서,
상기 필기 이미지를 텍스트로 전환하는 단계는,
전환 버튼이 선택되는 경우, 상기 복수 개의 필기 입력 레이어 각각에서 입력 받은 필기 이미지 모두를 텍스트로 전환하는 단계를 포함하는 휴대 단말기의 필기 입력 방법. The method of claim 3,
Wherein the step of converting the handwritten image into text comprises:
And switching all of the handwritten images input from each of the plurality of handwriting input layers to text when the switching button is selected. 제2항에 있어서,
상기 필기 입력 레이어를 제공하는 단계는,
상기 필기 입력 레이어를 통하여 입력된 필기 이미지를 삭제하기 위한 삭제 버튼을 제공하는 단계를 포함하고,
삭제 버튼이 선택되는 경우, 상기 입력 받은 필기 이미지의 적어도 일부를 삭제하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기의 필기 입력 방법.3. The method of claim 2,
Wherein providing the handwriting input layer comprises:
Providing a delete button for deleting a handwriting image input via the handwriting input layer,
And deleting at least a part of the input handwritten image when the delete button is selected. 제1항에 있어서,
상기 어플리케이션이 제공하는 입력 필드를 표시하는 단계는,
상기 어플리케이션이 제공하는 복수 개의 시간을 표시하는 단계 및
상기 복수 개의 시간 중 하나가 선택되는 경우,
상기 선택된 시간과 관련된 내용을 적기 위한 입력 필드를 표시하는 단계를 포함하는 휴대 단말기의 필기 입력 방법.The method according to claim 1,
Wherein the step of displaying an input field provided by the application comprises:
Displaying a plurality of times provided by the application; and
When one of the plurality of times is selected,
And displaying an input field for writing contents related to the selected time. 제3항에 있어서,
상기 필기 이미지를 텍스트로 전환하는 단계는,
상기 복수 개의 필기 입력 레이어 중 제1 필기 입력 레이어에서 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류로 우선하여 전환하고,
상기 복수 개의 필기 입력 레이어 중 제2 필기 입력 레이어에서 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류와 다른 제2 종류로 우선하여 전환하는 단계를 포함하는 휴대 단말기의 필기 입력 방법. The method of claim 3,
Wherein the step of converting the handwritten image into text comprises:
A handwritten image input from a first handwriting input layer among the plurality of handwriting input layers is switched to a first type of a first language, a second language, a number, and a special symbol,
And a step of preferentially switching the handwriting image input from the second handwriting input layer among the plurality of handwriting input layers to a second type different from the first type of the first language, the second language, . 제1항에 있어서,
상기 필기 이미지를 텍스트로 전환하는 단계는,
상기 필기 입력 레이어에 터치되는 포인트들의 좌표값을 입력 받는 단계
상기 포인트들의 좌표값을 스트로크로 저장하는 단계
상기 스트로크를 이용하여 스트로크 어레이리스트를 생성하는 단계 및
미리 저장된 필기 라이브러리와 상기 스트로크 어레이 리스트를 이용하여 상기 필기된 이미지를 텍스트로 전환하는 단계를 포함하는 휴대 단말기의 필기 입력 방법.The method according to claim 1,
Wherein the step of converting the handwritten image into text comprises:
Receiving coordinate values of points touching the handwriting input layer
Storing the coordinate values of the points as strokes
Generating a stroke array list using the strokes; and
And converting the handwritten image into text using a previously stored handwriting library and the stroke array list. 제1항에 있어서,
상기 입력 필드 위에서 손가락을 이용한 사용자의 터치를 입력 받는 단계
상기 손가락을 이용한 입력을 받기 위한 키패드를 제공하는 단계
상기 키패드를 통하여 텍스트를 선택 받는 단계 및
상기 선택 받은 텍스트를 상기 입력 필드 내에 삽입하여 표시하는 단계를 더 포함하는 휴대 단말기의 필기 입력 방법. The method according to claim 1,
Receiving a user's touch using a finger on the input field
Providing a keypad for receiving input using the finger
Receiving text through the keypad;
And inserting and displaying the selected text in the input field. 휴대 단말기의 필기 입력 방법에 있어서,
어플리케이션을 실행하여 상기 어플리케이션이 제공하는 적어도 하나의 입력 필드를 표시하는 단계
상기 적어도 하나의 입력 필드 위에서 사용자의 터치를 입력 받는 단계
상기 사용자의 터치가 상기 손가락을 이용한 터치인지 또는 터치용 펜을 이용한 터치인지 판단하는 단계 및
상기 터치가 손가락을 이용한 터치인 경우, 상기 손가락을 이용한 입력을 받기 위한 키패드를 제공하고, 상기 키패드를 통하여 입력 받은 텍스트를 상기 입력 필드 내에 삽입하여 표시하고, 상기 터치가 터치용 펜을 이용한 터치인 경우, 상기 터치용 펜을 이용한 입력을 받기 위한 필기 입력 레이어를 상기 입력 필드에 중첩하여 제공하고, 상기 필기 입력 레이어를 통하여 입력 받은 필기 이미지를 텍스트로 전환하여 상기 입력 필드 내에 삽입하여 표시하는 단계를 포함하는 휴대 단말기의 필기 입력 방법. A handwriting input method of a portable terminal,
Executing an application and displaying at least one input field provided by the application
Receiving a user's touch on the at least one input field
Determining whether the user's touch is the touch using the finger or the touch using the touch pen;
A keypad for receiving an input using the finger when the touch is a touch using a finger, inserting and displaying the text input through the keypad in the input field, A step of providing a handwriting input layer for receiving an input using the touch pen in a superimposed manner on the input field and switching a handwritten image input through the handwriting input layer into text and inserting and displaying the input image in the input field, A handwriting inputting method of the portable terminal including the handwriting inputting method. 터치용 펜을 이용하는 휴대 단말기에 있어서,
적어도 하나의 입력 필드를 포함하는 어플리케이션을 표시하고, 상기 적어도 하나의 입력 필드 위에서 상기 터치용 펜을 이용한 필기 이미지를 입력 받는 터치 스크린 및
상기 터치 패널부를 통해 입력된 필기 이미지를 텍스트로 전환하고, 상기 전환된 텍스트를 상기 입력 필드 내에 삽입하여 표시하는 제어부를 포함하는 것을 특징으로 하는 휴대 단말기.A portable terminal using a touch pen,
A touch screen for displaying an application including at least one input field and receiving a handwriting image using the touch pen on the at least one input field,
And a controller for converting the handwritten image inputted through the touch panel unit into text and inserting the converted text in the input field and displaying the inserted text. 제12항에 있어서,
상기 제어부는, 상기 입력 필드에 중첩하여 상기 필기 이미지를 입력 받기 위한 필기 입력 레이어를 제공하고, 상기 필기 입력 레이어를 통하여 입력된 필기 이미지를 텍스트로 전환하는 것을 특징으로 하는 휴대 단말기.13. The method of claim 12,
Wherein the control unit provides a handwriting input layer for receiving the handwriting image superimposed on the input field and switches the handwriting image input through the handwriting input layer to text. 제13항에 있어서,
상기 입력 필드가 복수 개인 경우,
상기 제어부는, 상기 복수 개의 입력 필드 각각에 대응하는 복수 개의 필기 입력 레이어를 제공하고, 상기 복수 개의 필기 입력 레이어 각각에서 입력 받은 필기 이미지를 텍스트로 전환하는 것을 특징으로 하는 휴대 단말기.14. The method of claim 13,
When there are a plurality of input fields,
Wherein the control unit provides a plurality of handwriting input layers corresponding to each of the plurality of input fields and switches handwritten images input from the plurality of handwriting input layers into text. 제14항에 있어서,
상기 복수 개의 입력 필드 중 일부 필드에 이미 텍스트가 삽입되어 있는 경우, 상기 제어부는, 상기 복수 개의 입력 필드 중 일부 필드를 제외한 입력 필드에만 필기 입력 레이어를 제공하는 것을 특징으로 하는 휴대 단말기.15. The method of claim 14,
Wherein when the text is already inserted in some of the plurality of input fields, the control unit provides a handwriting input layer only to input fields excluding some of the plurality of input fields. 제14항에 있어서,
상기 제어부는,
전환 버튼이 선택되는 경우, 상기 복수 개의 필기 입력 레이어 각각에서 입력 받은 필기 이미지 모두를 텍스트로 전환하는 것을 특징으로 하는 휴대 단말기.15. The method of claim 14,
Wherein,
Wherein the handwritten image converting unit converts all handwritten images input from each of the plurality of handwriting input layers into text when the switch button is selected. 제13항에 있어서,
상기 제어부는, 상기 필기 입력 레이어를 통하여 입력된 필기 이미지를 삭제하기 위한 삭제 버튼을 더 제공하고, 삭제 버튼이 선택되는 경우, 상기 입력 받은 필기의 적어도 일부를 삭제하는 것을 특징으로 하는 휴대 단말기.14. The method of claim 13,
Wherein the control unit further provides a delete button for deleting a handwriting image input through the handwriting input layer, and deletes at least a portion of the handwriting input when the delete button is selected. 제12항에 있어서,
상기 터치 스크린은, 상기 어플리케이션이 제공하는 복수 개의 시간을 표시하고, 상기 복수 개의 시간 중 하나가 선택 되는 경우, 상기 선택된 시간과 관련된 내용을 적기 위한 입력 필드를 표시하는 것을 특징으로 하는 휴대 단말기.13. The method of claim 12,
Wherein the touch screen displays a plurality of times provided by the application and, when one of the plurality of times is selected, displays an input field for writing contents related to the selected time. 제14항에 있어서,
상기 제어부는, 입력 받은 필기 이미지를 텍스트로 전환하는 경우, 상기 복수 개의 필기 입력 레이어 중 제1 필기 입력 레이어에서 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류로 우선하여 전환하고, 상기 복수 개의 필기 입력 레이어 중 제2 필기 입력 레이어에서 입력된 필기 이미지를 제1 언어, 제2 언어, 숫자, 특수 기호 중 제1 종류와 다른 제2 종류로 우선하여 전환하는 것을 특징으로 하는 포함하는 휴대 단말기.15. The method of claim 14,
Wherein the control unit converts the handwriting image input from the first handwriting input layer of the plurality of handwriting input layers into a first type of the first language, And the handwritten image input from the second handwriting input layer among the plurality of handwriting input layers is preferentially switched to the second type different from the first type of the first language, the second language, the number, and the special symbols Features include a handheld terminal. 제12항에 있어서,
상기 제어부는,
상기 입력된 필기 이미지를 텍스트로 전환하는 경우,
상기 필기 입력 레이어에 터치되는 포인트들의 좌표값을 입력 받고, 상기 포인트들의 좌표값을 스트로크로 저장하여, 상기 스트로크를 이용하여 스트로크 어레이리스트를 생성한 후, 미리 저장된 필기 라이브러리와 상기 스트로크 어레이 리스트를 이용하여 상기 필기된 이미지를 텍스트로 전환하는 것을 특징으로 하는 포함하는 휴대 단말기.13. The method of claim 12,
Wherein,
When the input handwritten image is converted into text,
A coordinate input unit for inputting coordinate values of points touched to the handwriting input layer, storing coordinate values of the points as strokes, generating a stroke array list using the strokes, and using the stored handwriting library and the stroke array list And converting the handwritten image into text. 제12항에 있어서,
상기 제어부는,
상기 입력 필드 위에서 손가락을 이용한 사용자의 터치를 입력 받고, 상기 손가락을 이용한 입력을 받기 위한 키패드를 제공하고, 상기 키패드를 통하여 선택 받은 텍스트를 상기 입력 필드 내에 삽입하여 표시하는 것을 특징으로 하는 휴대 단말기. 13. The method of claim 12,
Wherein,
A keypad for inputting a touch of a user using a finger on the input field and receiving an input using the finger, and inserting the selected text through the keypad in the input field for display. 터치용 펜을 이용하는 휴대 단말기에 있어서,
적어도 하나의 입력 필드를 포함하는 어플리케이션을 표시하고, 상기 적어도 하나의 입력 필드 위에서 사용자의 터치를 입력 받는 터치 스크린 및
상기 사용자의 터치가 상기 손가락을 이용한 터치인지 또는 터치용 펜을 이용한 터치인지 판단하여, 상기 터치가 손가락을 이용한 터치인 경우, 상기 손가락을 이용한 입력을 받기 위한 키패드를 제공하고, 상기 키패드를 통하여 입력 받은 텍스트를 상기 입력 필드 내에 삽입하여 표시하고, 상기 터치가 터치용 펜을 이용한 터치인 경우, 상기 터치용 펜을 이용한 입력을 받기 위한 필기 입력 레이어를 상기 입력 필드에 중첩하여 제공하고, 상기 필기 입력 레이어를 통하여 입력 받은 필기 이미지를 텍스트로 전환하여 상기 입력 필드 내에 삽입하여 표시하는 제어부를 포함하는 휴대 단말기.A portable terminal using a touch pen,
A touch screen for displaying an application including at least one input field and receiving a user's touch on the at least one input field,
And a key pad for receiving an input using the finger when the touch is determined to be a touch using the finger or a touch using the touch pen, A handwriting input layer for receiving an input using the touch pen when the touch is the touch using the touch pen, the touch pad being superimposed on the input field to provide the handwriting input, And a controller for converting the handwritten image input through the layer into text and inserting the handwritten image into the input field for display.
KR1020120141221A 2012-07-13 2012-12-06 Portable terminal using touch pen and hndwriting input method therefor KR102076539B1 (en)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020120141221A KR102076539B1 (en) 2012-12-06 2012-12-06 Portable terminal using touch pen and hndwriting input method therefor
US13/940,607 US9898186B2 (en) 2012-07-13 2013-07-12 Portable terminal using touch pen and handwriting input method using the same
AU2013287390A AU2013287390A1 (en) 2012-07-13 2013-07-15 Portable terminal using touch pen and handwriting input method using the same
MYPI2014704051A MY172719A (en) 2012-07-13 2013-07-15 Portable terminal using touch pen and handwriting input method using the same
RU2015104882A RU2640730C2 (en) 2012-07-13 2013-07-15 Portable terminal using touch handle and method of entering handwritten text using it
CA2878883A CA2878883C (en) 2012-07-13 2013-07-15 Portable terminal using touch pen and handwriting input method using the same
BR112015000735-0A BR112015000735B1 (en) 2012-07-13 2013-07-15 PORTABLE TERMINAL USING TACTILE PEN AND MANUSCRIPT ENTRY METHOD USING THE SAME
EP13817011.3A EP2872970B1 (en) 2012-07-13 2013-07-15 Portable terminal using touch pen and handwriting input method using the same
PCT/KR2013/006316 WO2014011009A1 (en) 2012-07-13 2013-07-15 Portable terminal using touch pen and handwriting input method using the same
JP2015521558A JP6328626B2 (en) 2012-07-13 2013-07-15 Mobile terminal using touch pen and handwriting input method using the same
CN201380037329.9A CN104428736B (en) 2012-07-13 2013-07-15 Using the portable terminal device for touching pen and use its hand-written inputting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120141221A KR102076539B1 (en) 2012-12-06 2012-12-06 Portable terminal using touch pen and hndwriting input method therefor

Publications (2)

Publication Number Publication Date
KR20140073225A true KR20140073225A (en) 2014-06-16
KR102076539B1 KR102076539B1 (en) 2020-04-07

Family

ID=51126826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120141221A KR102076539B1 (en) 2012-07-13 2012-12-06 Portable terminal using touch pen and hndwriting input method therefor

Country Status (1)

Country Link
KR (1) KR102076539B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170087357A (en) * 2016-01-20 2017-07-28 엘지전자 주식회사 Mobile terminal and the control method thereof
KR20190049991A (en) * 2017-11-01 2019-05-10 (주) 아이.에스.브이. Rotating angle compensation pen mouse and control method of virtual click thereof
KR20190120730A (en) * 2019-10-04 2019-10-24 (주) 아이.에스.브이. Rotating angle compensation pen mouse and control method of virtual click thereof
KR20220002658A (en) * 2019-05-06 2022-01-06 애플 인크. Handwriting on Electronic Devices

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220102263A (en) * 2021-01-13 2022-07-20 삼성전자주식회사 Electronic device, and method for processing input of stylus's pen in electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063600A (en) * 1990-05-14 1991-11-05 Norwood Donald D Hybrid information management system for handwriting and text
JP2000353049A (en) * 1999-06-11 2000-12-19 Sharp Corp Handwriting input data processor and handwriting input data processing method and storage medium used for the same
US20020080123A1 (en) * 2000-12-26 2002-06-27 International Business Machines Corporation Method for touchscreen data input
KR20040069984A (en) * 2003-01-31 2004-08-06 마이크로소프트 코포레이션 Utility object for specialized data entry
US20060071910A1 (en) * 2004-09-30 2006-04-06 Microsoft Corporation Systems and methods for handwriting to a screen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063600A (en) * 1990-05-14 1991-11-05 Norwood Donald D Hybrid information management system for handwriting and text
JP2000353049A (en) * 1999-06-11 2000-12-19 Sharp Corp Handwriting input data processor and handwriting input data processing method and storage medium used for the same
US20020080123A1 (en) * 2000-12-26 2002-06-27 International Business Machines Corporation Method for touchscreen data input
KR20040069984A (en) * 2003-01-31 2004-08-06 마이크로소프트 코포레이션 Utility object for specialized data entry
US20060071910A1 (en) * 2004-09-30 2006-04-06 Microsoft Corporation Systems and methods for handwriting to a screen

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170087357A (en) * 2016-01-20 2017-07-28 엘지전자 주식회사 Mobile terminal and the control method thereof
KR20190049991A (en) * 2017-11-01 2019-05-10 (주) 아이.에스.브이. Rotating angle compensation pen mouse and control method of virtual click thereof
KR20220002658A (en) * 2019-05-06 2022-01-06 애플 인크. Handwriting on Electronic Devices
KR20190120730A (en) * 2019-10-04 2019-10-24 (주) 아이.에스.브이. Rotating angle compensation pen mouse and control method of virtual click thereof

Also Published As

Publication number Publication date
KR102076539B1 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
JP6328626B2 (en) Mobile terminal using touch pen and handwriting input method using the same
KR20140132171A (en) Portable terminal device using touch pen and handwriting input method therefor
JP7377319B2 (en) Systems, devices, and methods for dynamically providing user interface controls on a touch-sensitive secondary display
CN105683895B (en) User terminal device for providing user interaction and method thereof
EP2701044A1 (en) Information processing device, information processing method, and computer-readable recording medium which records program
KR20140117137A (en) Portable apparatus using touch pen and mehtod for controlling application using the portable apparatus
US20150234566A1 (en) Electronic device, storage medium and method for operating electronic device
JP6439266B2 (en) Text input method and apparatus in electronic device with touch screen
KR102076539B1 (en) Portable terminal using touch pen and hndwriting input method therefor
KR20150007048A (en) Method for displaying in electronic device
KR20160055552A (en) Method and Device for displaying memo
KR20140092459A (en) Method for exchanging data between memo layer and application and electronic apparatus having the same
BR112015000735B1 (en) PORTABLE TERMINAL USING TACTILE PEN AND MANUSCRIPT ENTRY METHOD USING THE SAME
JP6341171B2 (en) Electronic terminal, and control method and program thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right