JP4148867B2

JP4148867B2 - Handwriting processor

Info

Publication number: JP4148867B2
Application number: JP2003342535A
Authority: JP
Inventors: 洋次郎登内; 龍也上原; 博松浦
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-09-30
Filing date: 2003-09-30
Publication date: 2008-09-10
Anticipated expiration: 2023-09-30
Also published as: JP2005108032A

Description

本発明は、コンピュータや携帯情報端末、ワードプロセッサ等の情報処理装置の入力手段として用いられ、操作者が入力画面上で筆記する筆跡データについて、筆記者が意図する情報に変換する手書き入力装置に関する。 The present invention relates to a handwriting input device that is used as input means of an information processing device such as a computer, a portable information terminal, or a word processor, and converts handwriting data that an operator writes on an input screen into information intended by the writer.

従来から、座標入力用タブレット等の座標入力装置を介して手書き入力される文字、あるいは文字列に関する筆跡情報から、文字コードあるいは文字コード列として認識結果を表示するオンライン文字認識装置が存在する。文字の切れ目が明示的に与えられない環境下において入力された文字列を、適宜文字を切り出しながら認識を行っている（例えば、特許文献１を参照）。また、１文字ごとの筆記情報が得られる場合に認識処理を行うこともなされている（例えば、特許文献２を参照）。 2. Description of the Related Art Conventionally, there is an on-line character recognition device that displays a recognition result as a character code or a character code string from handwritten information about characters or a character string input by handwriting via a coordinate input device such as a coordinate input tablet. A character string input in an environment in which character breaks are not explicitly given is recognized while appropriately cutting out characters (see, for example, Patent Document 1). In addition, recognition processing is also performed when writing information for each character is obtained (see, for example, Patent Document 2).

上記認識技術は、筆跡がすべて文字であるという前提である。文字だけではなく、例えば図形、コマンドを表すジェスチャなどを混在して筆記したい場合、これらの認識技術をそのまま使用することはできない。何らかの方法で、筆跡の種類を分類し、筆跡から文字の部分だけを抽出した後でこれらの手法を用いることになる。 The recognition technique is based on the premise that the handwriting is all letters. For example, when it is desired to write not only characters but also figures and gestures representing commands, for example, these recognition techniques cannot be used as they are. These methods are used after classifying the type of handwriting by some method and extracting only the character part from the handwriting.

ユーザーが文字、図形を混在して入力したい場合、従来からいくつかの方法が提案されている。まず、文字、図形、ジェスチャそれぞれに対応する入力モードを設け、入力モードを指定してから筆跡入力を行うモードを事前に切換える方法がある。ユーザーが文字を入力したい場合には、ユーザーが何らかのオペレーション（モード選択ボタンなどを押す）によって文字入力モードに指定した後で、文字を筆記することになる。その後で、図を筆記したい場合には、ユーザーは図形モードに変更するためのオペレーションを行わなければならない。この場合、ユーザーにとっては入力したい筆跡の種類が変わるたびに、入力モードを切換えるためのオペレーションを実行しなければいけないため、その操作は煩雑であった。また、筆跡を入力した後から、ユーザーが筆跡の種類を指定する事後選択方法があるが、この方法では、複数の画に対してユーザーが筆跡の種類をそれぞれ指定するオペレーションを行うため、あらかじめ入力モードを切換えてから筆記する方法に比べて作業が煩雑になってしまうことがあった。 When the user wants to input a mixture of characters and figures, several methods have been proposed. First, there is a method of providing an input mode corresponding to each of a character, a figure, and a gesture, and switching the mode for performing handwriting input after designating the input mode. When the user wants to input characters, the user writes the characters after specifying the character input mode by some operation (pressing a mode selection button or the like). After that, if the user wishes to write a figure, the user must perform an operation for changing to the graphic mode. In this case, since the user has to execute an operation for switching the input mode each time the type of handwriting to be input changes, the operation is complicated. In addition, there is a post-selection method in which the user specifies the type of handwriting after entering the handwriting, but in this method, the user performs the operation of specifying the type of handwriting for each of the multiple images, so input in advance Compared to the method of writing after switching the mode, the work may be complicated.

そこで、ユーザーが入力する筆跡が何なのかを、自動的に判別する自動判別方法があれば、入力モードを切換えるための煩雑なオペレーションを行う必要がなくなる。従来、自動的に文字と図形を判別する方法としては、筆跡形状や大きさ等から文字と図形を判別する方法や、筆跡の長さなどから文字と図形を判別する方法があった。しかし、これら方法では文字と図形を完全に区別することは困難であり、例えば、「口」という漢字なのか、四角形を表す図形なのかをユーザーの意図を的確に判断することは難しかった。ユーザーが切換える方法では、ユーザーのオペレーションを通して、ユーザーの意図を確実に反映することができるのに対して、自動判別方法では入力筆跡の判定が誤る可能性がある。判定誤りが発生するとそれを訂正する作業が発生するため、逆にユーザーの作業効率は悪くなる可能性がある。 Therefore, if there is an automatic determination method for automatically determining what handwriting is input by the user, it is not necessary to perform a complicated operation for switching the input mode. Conventionally, as a method for automatically discriminating characters and figures, there are a method for discriminating characters and figures from the handwriting shape and size, and a method for discriminating characters and figures from the length of handwriting. However, with these methods, it is difficult to completely distinguish between characters and graphics. For example, it is difficult to accurately determine the user's intention as to whether the character is “mouth” or a rectangle. In the method of switching by the user, the user's intention can be surely reflected through the user's operation, whereas in the automatic determination method, the determination of the input handwriting may be erroneous. If a determination error occurs, an operation for correcting the determination error occurs. On the contrary, the user's work efficiency may be deteriorated.

また、図形とジェスチャについても同様で、図形は図形、ジェスチャはジェスチャと、それぞれに適した処理を行うためには、まず、筆跡の種類を適切に分類する必要がある。ところが、ジェスチャと図形についても、文字と図形の場合と同様に、ジェスチャに類似した図形を入力する場合には、入力した図形をジェスチャと判別してしまう可能性があった。更に、文字とジェスチャが混在する場合については、文字とは類似しない形状の筆跡をジェスチャとして割り当てることで、判別誤りをある程度回避することができる。しかし、ユーザーは文字の形状と区別することを意識してジェスチャを筆記しなければいけないため、必ずしも使い勝手がよいわけではなかった。 The same applies to graphics and gestures. In order to perform processing suitable for graphics and graphics for gestures, it is first necessary to appropriately classify the type of handwriting. However, in the case of a gesture and a figure, as in the case of a character and a figure, when a figure similar to a gesture is input, there is a possibility that the input figure is determined as a gesture. Furthermore, in the case where characters and gestures coexist, it is possible to avoid discrimination errors to some extent by assigning handwriting having a shape not similar to characters as gestures. However, it is not always easy to use because users have to write gestures with the intention of distinguishing them from the shape of characters.

特開２００２−２０３２０８号公報（［００２８］〜［００４６］、図１）Japanese Unexamined Patent Publication No. 2002-203208 ([0028] to [0046], FIG. 1) 特開平９−２６９９７４号公報（［００１８］〜［００２４］、図１）JP-A-9-269974 ([0018] to [0024], FIG. 1) 特開平８−１８０１３５号公報JP-A-8-180135 「木マッチングによる英字署名識別に関する研究」、信学技報Ｄ−２，Ｖｏｌ．Ｊ７５−Ｄ−２，Ｎｏ．１，ｐｐ３１−３８，１９９２年１月“Research on English Signature Identification by Tree Matching”, IEICE Technical Report D-2, Vol. J75-D-2, no. 1, pp 31-38, January 1992

従来技術では、ユーザーの筆跡入力に基づいてペンコンピュータ等への文字入力、図形入力、操作を行う機器では、筆跡の属性（例えば、文字、図形、操作（コマンド）を意味するジェスチャなど）をユーザーにより設定しながら入力する場合には、作業の煩雑さがあるといった問題があった。一方、筆跡の属性を自動判定する場合でも、従来技術では誤判定される可能性があり、それに伴いユーザーは修正しなければならない問題があった。 In the prior art, on devices that perform character input, figure input, and operation to a pen computer etc. based on user handwriting input, handwriting attributes (for example, gestures meaning characters, figures, operations (commands), etc.) In the case of inputting while setting by the method, there is a problem that the work is complicated. On the other hand, even when the handwriting attribute is automatically determined, there is a possibility of erroneous determination in the prior art, and accordingly, there is a problem that the user has to correct.

本発明は、上記問題を考慮してなされたものであり、ユーザーが入力した筆跡情報の始点及び終点に位置する画面上のオブジェクトを判定し、この判定されたオブジェクトに基づいて筆跡の属性を判定することにより、属性設定の煩雑さを解消し、ユーザーの意図した筆跡を容易に入力できる筆跡処理装置を提供することを目的とする。 The present invention has been made in consideration of the above problems, and determines objects on the screen located at the start and end points of handwriting information input by the user, and determines handwriting attributes based on the determined objects. Accordingly, an object of the present invention is to provide a handwriting processing device that eliminates the complexity of attribute setting and can easily input a handwriting intended by a user.

上記目的を達成するために、本発明に係る筆跡処理装置は、座標入力部上に指示物が触れてから離れるまでの座標系列で表現される筆跡情報を取得する筆跡取得手段と、前記座標入力部に対応づけられた座標を有し、前記筆跡情報を表示する表示部と、前記筆跡情報の始点及び終点の座標を取得して、領域、アイコン、文字、文字を表す筆跡、図形、図形を表す筆跡、画像、サインを表す筆跡、これらを組み合わせたもの、のいずれかを含むオブジェクトと当該オブジェクトの位置情報とを対応付けて予め記憶させたオブジェクトデータベースに基づいて、当該始点及び終点それぞれが前記表示部のどのオブジェクト上に位置しているかを判定するオブジェクト判定手段と、前記オブジェクト判定手段で判定されたオブジェクトに基づいて、前記筆跡情報の属性が文字、図形、ジェスチャのいずれの種類であるか、または、前記筆跡情報の属性が文字、ジェスチャのいずれの種類であるか、または、前記筆跡情報の属性が図形、ジェスチャのいずれの種類であるか、または、前記筆跡情報の属性が文字、図形、ジェスチャ、サインのいずれの種類であるかを判定する筆跡判定手段と、前記筆跡判定手段で前記筆跡情報の属性がジェスチャと判定された筆跡情報に対して、前記オブジェクト判定手段で判定されたオブジェクトから当該ジェスチャの種類を判定し、当該ジェスチャの種類に対応するコマンドを前記オブジェクト判定手段で判定されたオブジェクトに対して実行するジェスチャ処理手段とを具備したことを特徴とする。
In order to achieve the above object, a handwriting processing apparatus according to the present invention includes handwriting acquisition means for acquiring handwriting information expressed by a coordinate series from when an indicator touches a coordinate input unit until it leaves, and the coordinate input A display unit for displaying the handwriting information, the coordinates of the start point and the end point of the handwriting information are obtained , and a handwriting, a figure, and a figure representing a region, an icon, a character, and a character are obtained. Each of the start point and the end point is based on an object database in which an object including any one of a handwriting representing an image, a handwriting representing a signature, and a combination of these and the position information of the object is stored in advance. An object determination unit that determines which object of the display unit is located on the basis of the object determined by the object determination unit; Attribute characters of the handwriting information, graphics, whether it is a kind of the gesture, or attributes of the handwriting information character, whether it is a kind of the gesture, or attributes of the handwriting information graphics, gesture Which type, or handwriting determination means for determining whether the attribute of the handwriting information is a character, a figure, a gesture, or a signature, and the attribute of the handwriting information in the handwriting determination means is a gesture against the determined handwriting information, it determines the type of the gesture from the determination object in said object determining unit, to execute a command corresponding to the type of the gesture to an object that is determined by the object determination unit And a gesture processing means.

また、本発明に係る筆跡処理装置は、前記ジェスチャ処理手段は、前記筆跡判定手段で前記筆跡情報の属性がジェスチャと判定された筆跡情報に対して、前記オブジェクト判定手段で判定されたオブジェクトと当該筆跡情報の形状からジェスチャ情報の種類を判定し、このジェスチャの種類に対応するコマンドを実行するジェスチャ処理手段を具備することを特徴とする。
In the handwriting processing apparatus according to the present invention, the gesture processing unit may include the object determined by the object determination unit with respect to the handwriting information in which the attribute of the handwriting information is determined as a gesture by the handwriting determination unit, and the object It determines the type of the gesture information from the shape of the handwriting information, characterized by comprising the gesture processing means for executing a command corresponding to the type of the gesture.

以上説明したように本発明によれば、筆跡の位置と画面上のオブジェクトとの位置関係に基づいて、入力された筆跡を判別することによって、ユーザーは、筆跡の属性変更の煩雑さを感じることがなく、入力したい筆跡が、文字なのか、図形なのか、ジェスチャなのかを、入力位置によって簡単に書き分けることができるため、意図の通りの入力ができる。 As described above, according to the present invention, the user feels the complexity of changing the attributes of the handwriting by determining the input handwriting based on the positional relationship between the position of the handwriting and the object on the screen. Since it is possible to easily write whether the handwriting to be input is a character, a graphic, or a gesture depending on the input position, it is possible to input as intended.

また、ユーザーは他の種類の筆跡の形状を意識することなく筆跡を入力することができる。そのため、ユーザーにとって使いやすい入力環境を提供することができる。 In addition, the user can input the handwriting without being aware of the shape of other types of handwriting. Therefore, it is possible to provide an input environment that is easy for the user to use.

以下、本発明の実施の形態について、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１は、本発明の一実施例に係る構成図である。座標入力を行うタブレット１から、ユーザが指示物（例えば、ペン、指等、図示しない）で手書きした筆跡に基づく座標点列が時系列的に筆跡取得手段２に入力される。筆跡取得手段２は、入力された筆跡を筆跡バッファ３に蓄積する。筆跡バッファ３は、図２に示すように、タブレット１から得られる筆跡の座標データの時系列（筆跡情報）を、１画（画番号）ごとに追加記憶する。筆跡表示手段４は、筆跡バッファ中の筆跡情報について表示部５に表示を行う。タブレット１の座標と表示部５の座標はそれぞれ対応しており、表示部５の画面上にタブレット１が設置された表示一体型のタブレットであってもよい。 FIG. 1 is a configuration diagram according to an embodiment of the present invention. A coordinate point sequence based on a handwriting handwritten by a user with an instruction (for example, a pen, a finger, etc., not shown) is input to the handwriting acquisition unit 2 in time series from the tablet 1 that performs coordinate input. The handwriting acquisition unit 2 stores the input handwriting in the handwriting buffer 3. As shown in FIG. 2, the handwriting buffer 3 additionally stores a time series (handwriting information) of handwriting coordinate data obtained from the tablet 1 for each stroke (stroke number). The handwriting display unit 4 displays the handwriting information in the handwriting buffer on the display unit 5. The coordinates of the tablet 1 and the coordinates of the display unit 5 correspond to each other, and the display-integrated tablet in which the tablet 1 is installed on the screen of the display unit 5 may be used.

オブジェクト判定手段６は、筆跡バッファ３中の筆跡情報について始点と終点の座標を取得し、オブジェクトＤＢ（データベース）７を用いて、それぞれの点が表示部５画面上のどのオブジェクト上に位置するか判定を行う。オブジェクトＤＢ７は図３（ａ）に示したように、多角形で表現された各オブジェクトについて、番号、種類（領域、アイコン、文字（列）、図形、画像等）及び多角形の頂点を座標とした位置が予め記録されている。図３（ｂ）に示すように、オブジェクトの種類として、文字（列）や図形の位置はそれを外接する四角形の頂点で位置を表してもよいし、図形の位置は表示される多角形の各頂点で表してもよい。 The object determination means 6 obtains the coordinates of the start point and the end point of the handwriting information in the handwriting buffer 3 and uses the object DB (database) 7 to determine which object on the display unit 5 screen each point is located on. Make a decision. As shown in FIG. 3A, the object DB 7 uses the number, type (area, icon, character (column), figure, image, etc.) and vertex of the polygon as coordinates for each object represented by a polygon. The position is recorded in advance. As shown in FIG. 3B, as the type of object, the position of a character (column) or figure may be represented by a vertex of a rectangle that circumscribes it, and the position of the figure may be a polygon of the displayed polygon. It may be represented by each vertex.

座標点が多角形内に位置するかどうかを判定する方法について、図４を参照して説明する。筆跡情報の始点又は終点をＰとし、判定対象とされる多角形の頂点をＱ_１〜Ｑ_ｎ−１としたとき、Ｑ_ｉＰＱ_ｉ＋１がなす角をα_ｉとする（但し、符号を含む）。図４（ａ）に示すように、閉曲線の外側にある場合には、Σα_ｉは３６０度よりも小さくなり、その場合には多角形の外側にあるものと判定する。一方、図４（ｂ）に示すように、閉曲線の内側にある場合には、Σα_ｉは３６０度となり、その場合には多角形の内側にあるものと判定する。 A method for determining whether a coordinate point is located within a polygon will be described with reference to FIG. When the start point or the end point of the handwriting information is P and the vertexes of the polygon to be determined are Q _{1 to} Q _n−1 , the angle formed by Q _i PQ _{i + 1} is α _i (however, including the sign) . As shown in FIG. 4 (a), when the outside of the closed curve, Shigumaarufa _i is smaller than 360 degrees, in that case determines that outside the polygon. On the other hand, as shown in FIG. 4B, when it is inside the closed curve, Σα _i is 360 degrees, and in this case, it is determined that it is inside the polygon.

オブジェクトの種類には、領域、アイコン、文字（列）（テキスト）、文字（列）を表す筆跡、図形、図形を表す筆跡、画像、サインを表す筆跡等がある。また、これらを組み合わせて1つのオブジェクトとしてもよい。 Object types include areas, icons, characters (columns) (text), handwriting representing characters (columns), figures, handwriting representing figures, images, handwriting representing signs, and the like. These may be combined into one object.

筆跡判定手段８は、図５に示したような筆跡判定ＤＢ９の中から、始点と終点がそれぞれの判定されたオブジェクト（番号、或いはその種類）をキーとして検索を行い、当てはまる筆跡の属性を判定する。筆跡判定ＤＢに基づき判定する筆跡の属性を文字、図形、ジェスチャの３種類に分類しても良いし、さらに細かく分類しても良い。図５では、文字とジェスチャをそれぞれ複数に分類している。図中の文字１、文字２は、文字種の区別（例えば、文字１はすべての文字種、文字２はひらがなのみ）、文字属性の区別（例えば、文字１は任意の文字列、文字２は日付）などに分類する。また、筆跡の属性を文字、図形、ジェスチャのうちの２つに分類しても良いし、個人認証に用いるサイン用の筆跡をその分類に加えて文字、図形、ジェスチャ、サインの４分類としても良い。 The handwriting determination means 8 searches the handwriting determination DB 9 as shown in FIG. 5 using the determined object (number or type) of the start point and the end point as keys, and determines the attribute of the handwriting to be applied. To do. The attributes of the handwriting determined based on the handwriting determination DB may be classified into three types of characters, graphics, and gestures, or may be further classified. In FIG. 5, characters and gestures are each classified into a plurality of types. Characters 1 and 2 in the figure are distinguished by character type (for example, character 1 is all character types, character 2 is only hiragana), and character attributes are distinguished (for example, character 1 is an arbitrary character string, and character 2 is a date). And so on. In addition, the handwriting attributes may be classified into two types of characters, graphics, and gestures. In addition to the classification, the signature handwriting used for personal authentication may be classified into four categories: characters, graphics, gestures, and signatures. good.

ところで、オブジェクト判定手段６は、始点か終点のどちらか一方だけについて判定を行ってもよい。例えば、図６は始点だけを用いた場合の筆跡判定ＤＢ９であり、始点が位置するオブジェクト（番号、或いはその種類）をキーとして検索する。また、オブジェクト判定手段６は、筆跡を囲む多角形の位置を判定に用いてもよい。例えば、筆跡を外接する四角形とすると、図７に示すように外接四角形は、筆跡のすべての座標点について、ｘ座標、y座標それぞれの最大値、最小値（Ｘｍｉｎ，Ｙｍｉｎ，Ｘｍａｘ，Ｙｍａｘ）を求めることで、判定できる。 By the way, the object determination means 6 may determine only one of the start point and the end point. For example, FIG. 6 shows the handwriting determination DB 9 when only the start point is used, and the object (number or type) where the start point is located is searched for as a key. Moreover, the object determination means 6 may use the position of the polygon surrounding a handwriting for determination. For example, if the handwriting is a rectangle that circumscribes the handwriting, as shown in FIG. 7, the circumscribed rectangle has the maximum value and the minimum value (Xmin, Ymin, Xmax, Ymax) of the x coordinate and the y coordinate for all coordinate points of the handwriting. It can be determined by seeking.

更に、オブジェクト判定手段６は、筆跡の始点から終点に至るすべての座標点が位置するオブジェクトを判定してもよい。そしてこれらの位置情報に基づきに筆跡判定処理を行う。筆跡判定手段８で用いる筆跡判定ＤＢ９は、例えば図８のようになる。このときには表１のキーを組み合わせて検索を行う。 Furthermore, the object determination means 6 may determine an object where all coordinate points from the start point to the end point of the handwriting are located. A handwriting determination process is performed based on the position information. The handwriting determination DB 9 used by the handwriting determination means 8 is as shown in FIG. 8, for example. At this time, a search is performed by combining the keys in Table 1.

オブジェクト判定手段６で、更に筆跡で囲まれたオブジェクトを判定してもよい。このときには、筆跡判定手段８は、表１に「筆跡で囲まれたオブジェクト」を加えて筆跡判定ＤＢ９の検索を行う。筆跡を囲むオブジェクトの検出方法は以下の通りである。 The object determination means 6 may further determine an object surrounded by handwriting. At this time, the handwriting determination unit 8 searches the handwriting determination DB 9 by adding “an object surrounded by handwriting” to Table 1. The method for detecting the object surrounding the handwriting is as follows.

１．閉曲線判定処理を行い、筆跡が閉曲線を構成しているか判定する。筆跡が複数の閉曲線から成る場合、すべての閉曲線について、それぞれ２の処理を行う。
２．表示部の画面中すべてのオブジェクトについて、オブジェクトを構成する多角形の点をオブジェクトＤＢ７から取得し、オブジェクトを構成するすべての点が、１で求められた閉曲線の内部にあるか判定を行う（上述図４の説明参照）。すべての点が内部にある場合、そのオブジェクトは筆跡が構成する閉曲線で囲まれていると判定する。 1. A closed curve determination process is performed to determine whether the handwriting forms a closed curve. When the handwriting is composed of a plurality of closed curves, the process 2 is performed for all the closed curves.
2. For all objects in the screen of the display unit, polygon points constituting the object are acquired from the object DB 7 and it is determined whether all the points constituting the object are inside the closed curve obtained in 1 (described above). (See description of FIG. 4). When all the points are inside, it is determined that the object is surrounded by the closed curve formed by the handwriting.

閉曲線判定処理とは、折れ線の各線分をＬｉ＝Ｐ_ｉＰ_ｉ＋１で表されるとき、Ｌ_ｉとＬ_ｊ（ｉ＜ｊ）が交差しているかどうかを調べ、交差している場合、Ｐ［ｉ］・・・Ｐ［ｊ＋１］が閉曲線を構成していると判定する。例えば、図９に示すように、線分Ｌ［２］とＬ［７］が交差していて、Ｐ［２］・・・Ｐ［８］が閉曲線を構成している。 Closed curve determination processing is to check whether or not L _i and L _j (i <j) intersect when each line segment of a broken line is expressed by Li = P _i P _{i + 1} . i]... P [j + 1] is determined to constitute a closed curve. For example, as shown in FIG. 9, line segments L [2] and L [7] intersect, and P [2]... P [8] form a closed curve.

本実施例では、入力された筆跡情報から、始点や終点などの位置情報を求め、その位置情報に基づいてオブジェクト判定処理を行っていたが、手書きした筆跡に対して以下のような変形処理を施した筆跡情報を用いてオブジェクト判定処理を行ってもよい。 In this embodiment, position information such as a start point and an end point is obtained from input handwriting information, and object determination processing is performed based on the position information. However, the following deformation processing is performed on handwritten handwriting. The object determination process may be performed using the handwritten information.

例えば、タブレット１上を手書きした筆跡が近似してなめらかになるようにスムージング処理で変形する。入力された筆跡情報が（Ｘ［１］，Ｙ［１］），（Ｘ［２］，Ｙ［２］），．．．（Ｘ［ｎ］，Ｙ［ｎ］）としたとき、 For example, the handwriting handwritten on the tablet 1 is deformed by the smoothing process so that the handwriting is approximated and smooth. The input handwriting information is (X [1], Y [1]), (X [2], Y [2]),. . . (X [n], Y [n])

とする。また、手書きした筆跡（図１０（ａ））の座標点をいくつか間引き（図１０（ｂ））点の数を減らした筆跡で判定してもよい。筆跡をＢ−スプライン曲線で近似した筆跡情報を用いてオブジェクト判定処理してもよい。 And Further, the handwritten handwriting (FIG. 10A) may be determined by handwriting with a reduced number of points (FIG. 10B). You may perform an object determination process using the handwriting information which approximated the handwriting with the B-spline curve.

このように、実施例１の構成により、筆跡の属性変更の煩雑さを感じることがなく、入力したい筆跡が、文字なのか、図形なのか、ジェスチャなのかを、入力位置によって簡単に書き分けることができるため、意図通りの入力ができる。 As described above, according to the configuration of the first embodiment, it is possible to easily write whether the handwriting to be input is a character, a graphic, or a gesture depending on the input position without feeling the complexity of changing the attribute of the handwriting. You can input as you want.

次に、図１１は他の実施例に係る構成図である。上記実施例１と同じ構成要素については同じ番号を付し、この後の説明を省略する。
筆跡判定手段８で判定された筆跡の属性について、筆跡分類手段１０で各属性毎に分類する。この分類された筆跡情報について、それぞれ該当する筆跡処理手段を行う。 Next, FIG. 11 is a configuration diagram according to another embodiment. The same components as those in the first embodiment are denoted by the same reference numerals, and the description thereof will be omitted.
The handwriting classification means 10 classifies the attributes of the handwriting determined by the handwriting determination means 8 for each attribute. A corresponding handwriting processing means is performed for each classified handwriting information.

文字（列）と判定された筆跡情報については、文字筆跡処理手段１１により文字筆跡処理を行う。この文字筆跡処理は、例えば、文字認識コマンドに対応するジェスチャが入力されたタイミングで文字認識を行い、文字認識した結果の文字列（テキスト）ともとの筆跡情報とを入れ換えて筆跡バッファ３に蓄積させ、蓄積された筆跡バッファ３の筆跡情報が筆跡表示手段４を介して表示部５に表示される。文字認識処理は特許文献２等を用いてもよい。 For the handwriting information determined to be a character (string), the character handwriting processing means 11 performs character handwriting processing. In this character handwriting process, for example, character recognition is performed at the timing when a gesture corresponding to a character recognition command is input, and the character string (text) as a result of character recognition is replaced with the original handwriting information and stored in the handwriting buffer 3. The accumulated handwriting information in the handwriting buffer 3 is displayed on the display unit 5 through the handwriting display means 4. For the character recognition processing, Patent Document 2 or the like may be used.

図形と判定された筆跡情報については、図形筆跡処理手段１２により図形筆跡処理を行う。この図形筆跡処理は、筆跡情報を最初に筆跡バッファ３に蓄積されたデータでもよく、或いは特許文献３等に記載された図形認識処理により、図形を整形してもよい。 For the handwriting information determined to be a graphic, the graphic handwriting processing means 12 performs graphic handwriting processing. This graphic handwriting process may be data in which handwriting information is first stored in the handwriting buffer 3 or may be shaped by a graphic recognition process described in Patent Document 3 or the like.

サインと判定された筆跡情報については、サイン筆跡処理手段１３によりサイン筆跡処理をおこなう。サイン筆跡処理では、筆跡情報をそのまま筆跡バッファ３に蓄積して後で目視による筆者確認のために用いる。あるいは筆跡情報に対してサイン照合処理（例えば、非特許文献１）を行ってもよい。 For the handwriting information determined to be a signature, the signature handwriting processing means 13 performs a signature handwriting process. In the signature handwriting process, handwriting information is stored in the handwriting buffer 3 as it is and used later for visual confirmation by the writer. Or you may perform a signature collation process (for example, nonpatent literature 1) with respect to handwriting information.

ジェスチャと判定された筆跡情報については、ジェスチャ筆跡処理手段１４によりジェスチャ筆跡処理を行う。このジェスチャ筆跡処理では、ジェスチャの種類と対応したコマンドを予め記憶しておいたジェスチャＤＢ１５に基づいて、筆跡判定手段８で判定されたジェスチャに対応するコマンドを実行する。ジェスチャは、図１２に示したように、判定結果のジェスチャの種類を対応させたコマンドを実行させてもよいし、図１３に示したように形状情報等を用いて更に細かく分類してもよい。 For the handwriting information determined to be a gesture, the gesture handwriting processing means 14 performs gesture handwriting processing. In this gesture handwriting process, a command corresponding to the gesture determined by the handwriting determination unit 8 is executed based on the gesture DB 15 in which a command corresponding to the gesture type is stored in advance. As shown in FIG. 12, the gesture may execute a command corresponding to the type of gesture of the determination result, or may be further classified using shape information or the like as shown in FIG. .

図１３ではジェスチャと判定された筆跡情報が回転（閉曲線を形成）しているかどうかで細分類している。筆跡情報が回転しているかどうかは図９で説明した閉曲線判定方法を用いてもよい。判定されたジェスチャに文字筆跡消去コマンドが割り当てられている場合には、筆跡バッファ３に蓄積されている筆跡情報に対して消去を行う。また、ジェスチャには複数のコマンドを割り当ててもよい。 In FIG. 13, the handwriting information determined as a gesture is subdivided depending on whether it is rotating (forming a closed curve). Whether the handwriting information is rotated may use the closed curve determination method described in FIG. If the character handwriting erase command is assigned to the determined gesture, the handwriting information stored in the handwriting buffer 3 is erased. A plurality of commands may be assigned to the gesture.

このように、本発明の実施例２の構成により、他の種類の筆跡の形状を意識することなく筆跡を入力することができ、意図した筆跡情報の変換を自動的に行えるので、ユーザーにとって使いやすい入力環境を提供することができる。 As described above, according to the configuration of the second embodiment of the present invention, it is possible to input handwriting without being conscious of the shape of other types of handwriting and to automatically convert intended handwriting information. An easy input environment can be provided.

更に、図１４は他の実施例に係る構成図である。上記実施例１、２と同じ構成要素については同じ番号を付し、この後の説明を省略する。
判定された筆跡情報、または判定された筆跡情報を変換した変換情報を新たなオブジェクトとしてオブジェクト追加手段１６によりオブジェクトＤＢ７に追加する。
これにより、一度手書き入力した筆跡情報、または筆跡を変換した変換情報をオブジェクトとして利用できるので、繰り返し利用するような場面では、ユーザーにとって更に使いやすい入力環境を提供することができる。 Furthermore, FIG. 14 is a configuration diagram according to another embodiment. The same components as those in the first and second embodiments are denoted by the same reference numerals, and the subsequent description is omitted.
The determined handwriting information or conversion information obtained by converting the determined handwriting information is added to the object DB 7 by the object adding means 16 as a new object.
Thereby, handwritten information once input by handwriting or converted information obtained by converting handwriting can be used as an object, so that it is possible to provide an input environment that is easier for the user to use in situations where it is used repeatedly.

上述した実施例１乃至３について、以下の通り具体的な動作を、図１５乃至図１８を用いて説明する。
例えば、画像（地図）データに対する手書きコメントを筆跡した場合について説明する。
筆跡判定ＤＢ９を図１５（ａ）のように設定する。このとき、図１５（ｂ）の（１）画像A（地図）の周りに書かれた（２）筆跡を判定すると、矢印の部分が図形で、「ここが家」という部分が文字と判定される。文字部分の筆跡について、認識処理を行うと（３）のように「ここが家」がテキスト表示に変換され、図形部分の筆跡について、認識処理（整形）を行うと（４）のように、矢印が整形された表示に変換される。 Specific operations of the above-described first to third embodiments will be described with reference to FIGS.
For example, a case where a handwritten comment on image (map) data is handwritten will be described.
The handwriting determination DB 9 is set as shown in FIG. At this time, if (1) the handwriting written around the image A (map) in FIG. 15B is determined (2) the handwriting is determined, the part of the arrow is determined to be a figure and the part “here is home” is determined to be the character. The When the recognition process is performed on the handwriting of the character part, “here is home” is converted into a text display as shown in (3), and when the recognition process (shaping) is performed on the handwriting of the graphic part, as shown in (4), Arrows are converted into a formatted display.

また、地図をはじめから手書きしたい場合、筆跡判定ＤＢを図１６（ａ）のように設定する。例えば、領域１に地図を手書きしたい場合は、図１６（ｂ）の（１）領域１が白紙の状態で、手書きにより地図を筆跡する（２）。筆跡された地図に矢印およびコメント（３）を記入し、筆跡を判定すると、地図と矢印の部分が図形で、「ここが家」という部分が文字と判定される。文字部分の筆跡について認識処理を行うと「ここが家」がテキスト表示（４）に変換され、図形部分の筆跡について。認識処理（整形）を行うと、地図と矢印が整形された表示（５）に変換される。 When it is desired to handwrite a map from the beginning, the handwriting determination DB is set as shown in FIG. For example, when it is desired to handwrite a map in the region 1, the map is handwritten by handwriting (2) in the state (1) in FIG. When an arrow and a comment (3) are entered on the handwritten map and the handwriting is determined, the map and the arrow are determined to be figures and the “here is home” is determined to be a character. When the recognition process is performed on the handwriting of the character part, “here is home” is converted into the text display (4), and the handwriting of the graphic part. When the recognition process (shaping) is performed, the map and the arrow are converted into a shaped display (5).

サイン欄の場合には、図８に示した筆跡判定ＤＢを図１７（ａ）のように条件を「筆跡の一部が領域１にある」といった設定をすれば、図１７（ｂ）に示すように筆跡がサイン欄（領域１）からはみ出しても、サインであると判定することができる。 In the case of the sign field, if the handwriting determination DB shown in FIG. 8 is set such that “a part of the handwriting is in region 1” as shown in FIG. Thus, even if the handwriting protrudes from the sign column (area 1), it can be determined that the handwriting is a sign.

ジェスチャの場合は、例えば領域から領域に直接移動をする転送ジェスチャでは、ジェスチャＤＢ１５のコマンドを「始点の位置する領域Ａ内にある筆跡及びオブジェクトを終点の位置する領域Ｂに転送する」と設定する。このため、図１８に示したように、領域A内の筆跡を領域Bへ転送したい場合、領域Aから領域Bへ線を書くという直感的な動作で実現できる。 In the case of a gesture, for example, in a transfer gesture that moves directly from region to region, the command in the gesture DB 15 is set to “transfer handwriting and objects in region A where the start point is located to region B where the end point is located”. . Therefore, as shown in FIG. 18, when the handwriting in the area A is to be transferred to the area B, it can be realized by an intuitive operation of writing a line from the area A to the area B.

アイコンを使った別のウィンドウ中の領域への移動をする転送ジェスチャでは、図１９（ａ）で示された筆跡判定ＤＢが設定されており、ジェスチャＤＢのコマンドがジェスチャ１を領域１に転送、ジェスチャ２を領域２に転送するように設定されている。そのため、始点が領域Ａ位置し、終点がアイコン１に位置するジェスチャの筆跡により、領域Ａ内にある筆跡等が領域１に転送することができる。この場合、特に別のウィンドウが直接ペンでポインティングできない場合に、有用である。（例えば、手が届かない位置にある／ペンデバイスが使えない別の画面上にある） In a transfer gesture that moves to an area in another window using an icon, the handwriting determination DB shown in FIG. 19A is set, and the command of the gesture DB transfers the gesture 1 to the area 1. The gesture 2 is set to be transferred to the area 2. Therefore, the handwriting and the like in the region A can be transferred to the region 1 by the handwriting of the gesture in which the start point is located in the region A and the end point is located in the icon 1. This is particularly useful when another window cannot be pointed directly with the pen. (For example, it is out of reach / on a different screen where the pen device cannot be used)

なお、上述してような本発明のジェスチャ判定処理を用いると、ＰＣ上でマウスを操作して実行するドラッグ＆ドロップと類似したオペレーションになる場合がある。しかし、すべて筆跡に基づいたオペレーションでありペンコンピュータなどの機器に適している点、ドラッグ＆ドロップ以外にもさまざまなオペレーションを筆跡入力に適したジェスチャ機能によって実現することができる点、文字や図形など他の筆跡入力の入力を同じモード中で実現できる点、という以上の点でマウスベースのオペレーションにはない優れた特長を持っている。 If the gesture determination process of the present invention as described above is used, there may be an operation similar to a drag and drop operation performed by operating a mouse on a PC. However, all operations based on handwriting are suitable for devices such as pen computers, various operations other than drag and drop can be realized with gesture functions suitable for handwriting input, characters, figures, etc. Other than the fact that other handwriting input can be realized in the same mode, it has an excellent feature not found in mouse-based operations.

また、本発明のジェスチャに関する判定方法を用いることで、ジェスチャの種類が、入力した筆跡の始点や終点に位置するオブジェクトと関連付けられるため、筆記者は直感的なコマンド操作を行うことができる。 In addition, by using the determination method relating to the gesture of the present invention, the type of gesture is associated with an object positioned at the start point or end point of the input handwriting, so that the writer can perform an intuitive command operation.

本発明の実施例１に係る構成を示す図。The figure which shows the structure which concerns on Example 1 of this invention. 筆跡バッファに蓄積されるデータを示す図。The figure which shows the data accumulate | stored in a handwriting buffer. オブジェクトＤＢのデータ構成の一例を示す図。The figure which shows an example of a data structure of object DB. 閉曲線の内外判定する方法を説明する図。The figure explaining the method to determine inside / outside of a closed curve. 筆跡判定ＤＢのデータ構成の一例を示す図。The figure which shows an example of a data structure of handwriting determination DB. 筆跡判定ＤＢのデータ構成の他の例を示す図。The figure which shows the other example of a data structure of handwriting determination DB. 筆跡を囲む多角形の位置を判定する方法を説明する図。The figure explaining the method of determining the position of the polygon surrounding a handwriting. 筆跡判定ＤＢのデータ構成の他の例を示す図。The figure which shows the other example of a data structure of handwriting determination DB. 閉曲線判定方法を説明する図。The figure explaining the closed curve determination method. 筆跡情報の間引き処理を説明する図。The figure explaining the thinning-out process of handwriting information. 本発明の実施例２に係る構成を示す図。The figure which shows the structure which concerns on Example 2 of this invention. ジェスチャＤＢのデータ構成の一例を示す図。The figure which shows an example of a data structure of gesture DB. ジェスチャＤＢのデータ構成の他の例を示す図。The figure which shows the other example of a data structure of gesture DB. 本発明の実施例３に係る構成を示す図。The figure which shows the structure which concerns on Example 3 of this invention. 本発明の動作の一例を示す図。The figure which shows an example of operation | movement of this invention. 本発明の動作の他の例を示す図。The figure which shows the other example of operation | movement of this invention. 本発明の動作の他の例を示す図。The figure which shows the other example of operation | movement of this invention. 本発明の動作の他の例を示す図。The figure which shows the other example of operation | movement of this invention. 本発明の動作の他の例を示す図。The figure which shows the other example of operation | movement of this invention.

Explanation of symbols

１・・・表示部
２・・・筆跡取得手段
３・・・筆跡バッファ
４・・・筆跡表示手段
５・・・表示部
６・・・オブジェクト判定手段
７・・・オブジェクトＤＢ
８・・・筆跡判定手段
９・・・筆跡判定ＤＢ
１０・・・筆跡分類手段
１１・・・文字筆跡処理手段
１２・・・図形筆跡処理手段
１３・・・サイン筆跡処理手段
１４・・・ジェスチャ筆跡処理手段
１５・・・ジェスチャＤＢ
１６・・・オブジェクト追加手段 DESCRIPTION OF SYMBOLS 1 ... Display part 2 ... Handwriting acquisition means 3 ... Handwriting buffer 4 ... Handwriting display means 5 ... Display part 6 ... Object determination means 7 ... Object DB
8 ... Handwriting determination means 9 ... Handwriting determination DB
DESCRIPTION OF SYMBOLS 10 ... Handwriting classification means 11 ... Character handwriting processing means 12 ... Graphic handwriting processing means 13 ... Sign handwriting processing means 14 ... Gesture handwriting processing means 15 ... Gesture DB
16 ... Object addition means

Claims

Handwriting acquisition means for acquiring handwriting information represented by a coordinate series until the indicator touches the coordinate input unit and then leaves;
A display unit having coordinates associated with the coordinate input unit and displaying the handwriting information;
The coordinates of the start point and the end point of the handwriting information are acquired, and the region, icon, character, handwriting representing the character, figure, handwriting representing the figure, image, handwriting representing the signature, or a combination thereof are included. An object determination means for determining on which object of the display unit each of the start point and the end point is based on an object database stored in advance in association with the object and the position information of the object ;
Based on the determined object by said object determining means, attribute characters of the handwriting information, graphics, whether it is a kind of the gesture, or, if the attribute of the handwriting information character, is any type of gesture Or handwriting determination means for determining whether the attribute of the handwriting information is a figure or a gesture, or whether the attribute of the handwriting information is a character, a figure, a gesture, or a signature ;
For the handwriting information in which the attribute of the handwriting information is determined to be a gesture by the handwriting determination unit, the type of the gesture is determined from the object determined by the object determination unit, and the command corresponding to the type of the gesture is A handwriting processing apparatus comprising gesture processing means for executing an object determined by the object determination means.

The gesture processing means determines the type of gesture information from the object determined by the object determination means and the shape of the handwriting information with respect to the handwriting information determined by the handwriting determination means as the gesture information attribute. and, handwriting processing apparatus according to claim 1, characterized by including the gesture processing means for executing a command corresponding to the type of the gesture.