JP4887788B2 - Processing device, program and electronic pen form - Google Patents
Processing device, program and electronic pen form Download PDFInfo
- Publication number
- JP4887788B2 JP4887788B2 JP2006003701A JP2006003701A JP4887788B2 JP 4887788 B2 JP4887788 B2 JP 4887788B2 JP 2006003701 A JP2006003701 A JP 2006003701A JP 2006003701 A JP2006003701 A JP 2006003701A JP 4887788 B2 JP4887788 B2 JP 4887788B2
- Authority
- JP
- Japan
- Prior art keywords
- axis
- point
- specifying
- image data
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Credit Cards Or The Like (AREA)
Description
本発明は、電子ペン用帳票に記入された情報をイメージ化するための技術に関する。 The present invention relates to a technique for imaging information entered in a form for an electronic pen.
近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており(以下、本明細書では「電子ペン」と呼ぶ。)、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている。アノトペンは、所定のドットパターンが印刷された専用紙(以下、「専用ペーパー」とも呼ぶ。)とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像をチェックしたりすると、ペンの移動に伴って小型カメラが専用紙上のドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報(「ストロークデータ」とも呼ぶ。)が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある(例えば、特許文献1)。 In recent years, pen-type input devices called “electronic pens” and “digital pens” have appeared (hereinafter referred to as “electronic pens” in this specification). The developed “Anoto pen” is known. Anotopen is used in a pair with dedicated paper (hereinafter also referred to as “dedicated paper”) on which a predetermined dot pattern is printed. In addition to the normal ink-type pen tip, the Anoto pen is equipped with a small camera for reading the dot pattern on the dedicated paper and a data communication unit. When a user writes characters on the special paper with an anotopen or checks an image that is designed on the special paper, the small camera detects the dot pattern on the special paper as the pen moves, and the user Entry information (also referred to as “stroke data”) such as written characters and images is acquired. This entry information is transmitted from the Anotopen by the data communication unit to a terminal device such as a nearby personal computer or mobile phone. The system using this anotopen can be used as an input device in place of the keyboard, and is very easy to use for users who are reluctant to use the personal computer and keyboard described above. Therefore, as a technique for digitizing data entered in various business documents, application forms, contracts, etc., a system using an electronic pen is becoming widespread (for example, Patent Document 1).
上記のようなシステムでは、利用者がアノトペンを使用して専用紙に図形を記入した場合、当該図形をイメージデータとして取得することができる。この場合、システムは、専用紙に記入された軌跡データをそのままイメージ化し、画像として保存していた。このようなシステムでは、入力が電子ペンと専用紙を使用してラフに行えるがゆえ、イメージ化されるデータがフリーハンドのデータとなる。そのため、通常、フリーハンドのデータをある程度精緻化する必要が生じていた。 In the system as described above, when the user enters a figure on the dedicated paper using the anotopen, the figure can be acquired as image data. In this case, the system images the trajectory data entered on the dedicated paper as it is and stores it as an image. In such a system, since input can be performed roughly using an electronic pen and dedicated paper, the imaged data becomes freehand data. For this reason, it is usually necessary to refine the freehand data to some extent.
本発明は、以上の点に鑑みてなされたものであり、予めグリッドが印刷されている方眼用紙にフリーハンドで記入した図形を精緻化した上でイメージ化することができる図形解析システムを提供することを課題とする。 The present invention has been made in view of the above points, and provides a graphic analysis system capable of creating an image after refining a graphic written freehand on a graph paper preliminarily printed with a grid. This is the issue.
本発明の1つの観点では、電子ペンにより認識可能なドットパターン、並びに、X軸と平行な横線及びY軸と平行な縦線から構成されるグリッドが印刷された電子ペン用帳票に記入された図形のイメージデータを生成する処理を行う処理装置において、前記電子ペン用帳票に記入された1つ以上のストロークを記入情報として取得する記入情報取得手段と、前記記入情報に含まれる時間情報に基づいて、1つの図形に対応する1つ以上のストロークをグループ化するグループ化手段と、前記記入情報に含まれるストロークから、所定の長さの線分を抽出する線分抽出手段と、前記時間情報に基づいて、前記線分から、当該線分の記入に要した時間を予め決められた一定の時間幅を有する複数の時間帯に分割し、前記複数の時間帯毎にベクトルを抽出するベクトル抽出手段と、前記ベクトルの移動方向に基づいて、前記線分の移動方向を特定する移動方向特定手段と、前記線分の移動方向に基づいて、グループ化されたストローク中における前記線分の移動方向がX軸方向及び/又はY軸方向において異なる方向に変化し始めた点と最も近い前記グリッド上の点である変化点を特定する変化点特定手段と、前記記入情報に含まれる前記時間情報及び前記位置情報に基づいて、グループ化されたストロークの中の開始点を特定する開始点特定手段と、前記記入情報に含まれる前記時間情報及び前記位置情報に基づいて、グループ化されたストロークの中の終了点を特定する終了点特定手段と、グループ化されたストローク中の変化点の数を算出する変化点数算出手段と、前記変化点の数及び前記変化点のドットパターン上の位置情報に基づいて、記入された図形を直線、三角形、四角形又は円のいずれかの図形と特定する図形特定手段と、前記図形特定手段による特定結果と、前記変化点、前記開始点及び前記終了点のドットパターン上の位置情報と、時間情報とに基づいて、前記図形特定手段による特定結果が直線、三角形、四角形のいずれかである場合には前記開始点、前記終了点及び前記変化点を時系列に基づいて直線で結んだ図形を直線、三角形、又は、四角形のイメージデータとして生成し、前記図形特定手段による特定結果が円である場合には当該円の直径を算出し、前記開始点、前記終了点及び前記変化点を円弧で結んだ図形を円のイメージデータとして生成するイメージデータ生成手段と、を備える。 In one aspect of the present invention, a dot pattern recognizable by an electronic pen, and a grid composed of horizontal lines parallel to the X axis and vertical lines parallel to the Y axis are filled in a printed electronic pen form. In a processing device that performs processing for generating graphic image data, based on time information included in the entry information, entry information acquisition means for acquiring one or more strokes entered in the electronic pen form as entry information Grouping means for grouping one or more strokes corresponding to one figure, line segment extracting means for extracting a line segment of a predetermined length from the strokes included in the entry information, and the time information Based on the line segment, dividing the time required for entry of the line segment into a plurality of time zones having a predetermined time width, and a vector for each of the plurality of time zones. A vector extracting means for extracting; a moving direction specifying means for specifying the moving direction of the line segment based on the moving direction of the vector; and the line in the grouped stroke based on the moving direction of the line segment. A change point specifying means for specifying a change point that is a point on the grid closest to a point at which the movement direction of the minute starts to change in different directions in the X-axis direction and / or the Y-axis direction, and included in the entry information Based on the time information and the position information, start point specifying means for specifying a start point in the grouped strokes, and grouped based on the time information and the position information included in the entry information. and end point specifying means for specifying the end point in the strokes, the number of change points calculating means for calculating the number of grouped change point in the stroke, the number of the transition points And based on the positional information on the dot pattern of the change point, figure specifying means for specifying the filled figure as either a straight line, a triangle, a quadrangle, or a circle, a specifying result by the figure specifying means, Based on the positional information on the dot pattern of the change point , the start point and the end point on the dot pattern, and the time information, the start point when the specifying result by the graphic specifying means is one of a straight line, a triangle and a quadrangle , A figure obtained by connecting the end point and the change point with a straight line based on a time series is generated as image data of a straight line, a triangle, or a quadrangle, and if the specific result by the graphic specifying means is a circle, the circle Image data generating means for calculating a diameter of the image and generating a figure obtained by connecting the start point, the end point, and the change point with an arc as image data of a circle .
上記のように構成された処理装置において、利用者は、電子ペンを使用して電子ペン用帳票に図形を記入する。ここで、図形とは、直線、三角形、四角形又は円のいずれかであるとする。電子ペンは、電子ペンの移動に伴って帳票上のドットパターンを読み取り、利用者が記入した記入内容、即ち図形に関するストロークやドットパターン上の位置座標に関するデータを取得する。位置情報とは、ドットパターン上の位置座標(座標データ)のことである。さらに、電子ペンは、ストロークや位置座標に関するデータを記入情報として処理装置に送信する。ここで、ストロークとは、一筆で書かれた軌跡のことである。処理装置は、電子ペンから取得した記入情報から、まず、記入時刻に関する時間情報を抽出する。さらに、処理装置は、時間情報に基づいて、記入情報に含まれるストロークのグループ化を行う。具体的には、時系列に基づいて、1つの図形に対応するストロークをひとまとめにグループ化する。これによれば、複数のストロークから構成される図形であっても、時系列に基づいて適切なグループ化を行うことで、容易に1つの図形に対応するストロークを認識して処理することができる。なお、1つの図形に対応するストロークが1つである場合、グループ化する複数のストロークは存在しないが、グループ化と呼ぶものとする。
また、上記のように構成された処理装置は、時間情報及び位置情報に基づいて、グループ化されたストローク中の開始点及び終了点を特定する。具体的には、例えば、時系列に基づいて、グループ化されたストロークの中で最も早い時刻に記入された点を開始点と特定し、最も遅い時刻に記入された点を終了点と特定することが考えられる。また、直線以外の図形の場合、開始点と終了点が一致することも多いため、位置情報に基づいて、極めて近い点を開始点及び終了点と特定することも考えられる。
In the processing apparatus configured as described above, the user enters a figure on the electronic pen form using the electronic pen. Here, it is assumed that the figure is any one of a straight line, a triangle, a quadrangle, and a circle. The electronic pen reads the dot pattern on the form with the movement of the electronic pen, and acquires the entry contents entered by the user, that is, the data relating to the stroke relating to the figure and the position coordinates on the dot pattern. The position information is position coordinates (coordinate data) on the dot pattern. Furthermore, the electronic pen transmits data relating to strokes and position coordinates as entry information to the processing device. Here, the stroke is a trajectory written with a single stroke. The processing device first extracts time information related to the entry time from the entry information acquired from the electronic pen. Further, the processing device groups strokes included in the entry information based on the time information. Specifically, the strokes corresponding to one figure are grouped together based on the time series. According to this, even if the figure is composed of a plurality of strokes, the stroke corresponding to one figure can be easily recognized and processed by performing appropriate grouping based on the time series. . In addition, when there is one stroke corresponding to one figure, there is no plurality of strokes to be grouped, but this is called grouping.
Further, the processing device configured as described above specifies a start point and an end point in the grouped strokes based on the time information and the position information. Specifically, for example, based on the time series, the point entered at the earliest time among the grouped strokes is identified as the start point, and the point entered at the latest time is identified as the end point. It is possible. In the case of a graphic other than a straight line, the start point and the end point often coincide with each other. Therefore, it is conceivable to specify extremely close points as the start point and the end point based on the position information.
また、処理装置は、記入情報に含まれるストロークから所定の長さの線分を抽出する。さらに、処理装置は、線分から、一定時刻毎のベクトルを抽出する。そして、処理装置は、複数のベクトルの移動方向に基づいて、総合的に当該線分の移動方向を特定する。特定した線分の移動方向に基づいて、処理装置は、グループ化されたストローク中に存在する変化点を特定する。具体的には、線分の移動方向に基づいて、最短距離の点を抽出しながらストローク上の各点が同一方向に移動しているかを解析する。そして、X軸方向及び/又はY軸方向の移動に変化が見られた場合、異なる方向に移動し始めた点から最短距離にあるグリッド上の点を変化点と特定する。また、処理装置は、グループ化されたストローク中の変化点の数を算出する。さらに、処理装置は、特定した変化点に基づいて、グループ化されたストロークに対応する図形を特定する。そして、処理装置は、前記変化点のドットパターン上の位置情報と、時間情報とに基づいて、記入された図形のイメージデータを生成する。具体的には、図形特定手段による特定結果が直線、三角形、四角形のいずれかである場合には開始点、終了点及び変化点を時系列に基づいて直線で結んだ図形を直線、三角形、又は、四角形のイメージデータとして生成し、図形特定手段による特定結果が円である場合には当該円の直径を算出し、開始点、終了点及び変化点を円弧で結んだ図形を円のイメージデータとして生成する。生成したイメージデータは、保存、送信等任意の処理を施すことができる。これによれば、電子ペン用帳票にフリーハンドで記入した図形の体裁を自動的に整えて、イメージ化することができる。 Further, the processing device extracts a line segment having a predetermined length from the stroke included in the entry information. Further, the processing device extracts a vector at a certain time from the line segment. Then, the processing device comprehensively specifies the movement direction of the line segment based on the movement directions of the plurality of vectors. Based on the movement direction of the identified line segment, the processing device identifies a change point existing in the grouped stroke. Specifically, based on the moving direction of the line segment, it is analyzed whether each point on the stroke is moving in the same direction while extracting the shortest distance point. When a change is observed in the movement in the X-axis direction and / or the Y-axis direction, the point on the grid at the shortest distance from the point where the movement starts in a different direction is identified as the change point. Further, the processing device calculates the number of change points in the grouped strokes. Further, the processing device specifies a graphic corresponding to the grouped strokes based on the specified change point. Then, the processing device generates image data of the filled figure based on the position information on the dot pattern of the change point and the time information. Specifically, when the result of specifying by the graphic specifying means is any one of a straight line, a triangle, and a quadrangle, a graphic connecting the start point, end point, and change point with a straight line based on a time series is a straight line, a triangle, or If the specified result by the graphic specifying means is a circle, the diameter of the circle is calculated, and the graphic with the start point, end point, and change point connected by an arc is used as the circular image data. Generate. The generated image data can be subjected to arbitrary processing such as storage and transmission. According to this, it is possible to automatically arrange and form an image of a figure entered freehand on the electronic pen form.
上記処理装置の一態様では、前記図形特定手段は、グループ化されたストローク中の変化点の数が0である場合に、記入された図形を直線であると特定し、前記イメージデータ生成手段は、記入された図形が直線であると前記図形特定手段が特定した場合に、前記直線のイメージデータを生成する。これによれば、処理装置は、グループ化されたストローク中に変化点が存在しない場合、記入された図形は直線であると特定する。よって、開始点及び終了点を直線で結ぶことで、容易にイメージデータを生成することができる。 In one aspect of the processing apparatus, the graphic specifying means specifies the written graphic as a straight line when the number of change points in the grouped stroke is 0, and the image data generating means , when filled-in shape is identified the graphic identification unit to be straight, to generate the image data before Kijika line. According to this, when there is no change point in the grouped stroke, the processing device specifies that the entered figure is a straight line. Therefore, the image data can be easily generated by connecting the start point and the end point with a straight line.
上記処理装置の他の一態様では、前記図形特定手段は、グループ化されたストローク中の変化点の数が2である場合に、記入された図形を三角形であると特定し、前記イメージデータ生成手段は、記入された図形が三角形であると前記図形特定手段が特定した場合に、前記三角形のイメージデータを生成する。これによれば、処理装置は、グループ化されたストローク中に変化点が2つ存在する場合、記入された図形は三角形であると特定する。よって、開始点又は終了点と、2つの変化点とを時系列により直線で結ぶことで、容易にイメージデータを生成することができる。 In another aspect of the processing apparatus, the graphic specifying means specifies the filled graphic as a triangle when the number of change points in the grouped stroke is 2, and generates the image data It means, when the filled-in shape is identified the graphic identification unit as a triangle, generates the image data of the previous SL triangle. According to this, when there are two change points in the grouped stroke, the processing device specifies that the entered figure is a triangle. Therefore, image data can be easily generated by connecting a start point or an end point and two change points with a straight line in time series.
上記処理装置の他の一態様では、前記処理装置は、前記前記開始点、前記終了点及び前記変化点の位置情報と、前記時間情報とに基づく線分の移動方向が、X軸又はY軸のいずれかと平行であるか否かを判定する軸判定手段をさらに備え、前記図形特定手段は、グループ化されたストローク中の変化点の数が3であって、且つ、前記軸判定手段が平行であると判定した場合に、記入された図形を正方形又は長方形であると特定し、前記イメージデータ生成手段は、記入された図形が正方形又は長方形であると前記図形特定手段が特定した場合に、前記正方形又は長方形のイメージデータを生成する。 In another mode of the processor, before Symbol processor, wherein said start point and said end point and the position information of the change point, the moving direction of the line segment based on said time information, X-axis or Y An axis determination means for determining whether or not the axis is parallel to any of the axes is further provided, wherein the figure specifying means has three change points in the grouped strokes, and the axis determination means If it is determined that the entered figure is a square or a rectangle, the image data generating means determines that the entered figure is a square or a rectangle. , to generate the image data before KiTadashi square or rectangular.
上記のように構成された処理装置は、時系列に基づいて開始点、終了点及び変化点それぞれを結んだ全ての線分が、X軸又はY軸のいずれかと平行であるか否かを判定する。そして、処理装置は、時系列に基づいて開始点、終了点及び変化点の間の線分の移動方向を特定する。換言すると、処理装置は、利用者が記入した図形の辺に対応する線分の移動方向を特定する。具体的に、変化点が3つであるということは、利用者が記入する図形としては、正方形/長方形又それら以外の四角形が考えられる。そのため、処理装置は、全ての線分がX軸又はY軸のいずれかと平行であるということは、グループ化されたストロークに対応する図形は正方形/長方形であると特定する。よって、処理装置は、グループ化されたストローク中に変化点が3つ存在し、且つ、図形の辺に対応する全ての線分の移動方向がX軸又はY軸と平行である場合、開始点又は終了点と、3つの変化点とを時系列により直線で結ぶことで、容易にイメージデータを生成することができる。 The processing apparatus configured as described above determines whether all line segments connecting the start point, the end point, and the change point are parallel to either the X axis or the Y axis based on the time series. To do. Then, the processing device specifies the movement direction of the line segment between the start point, the end point, and the change point based on the time series. In other words, the processing device specifies the movement direction of the line segment corresponding to the side of the graphic entered by the user. Specifically, the fact that the number of change points is three means that the figure to be entered by the user can be a square / rectangle or a rectangle other than these. Therefore, the processing device specifies that the graphic corresponding to the grouped stroke is a square / rectangular shape that all the line segments are parallel to either the X axis or the Y axis. Therefore, the processing device has a start point when there are three change points in the grouped stroke and the movement direction of all the line segments corresponding to the sides of the figure is parallel to the X axis or the Y axis. Alternatively, the image data can be easily generated by connecting the end point and the three change points with a straight line in time series.
上記処理装置の他の一態様では、前記図形特定手段は、グループ化されたストローク中の変化点の数が3であって、且つ、前記移動方向が平行ではないと前記軸判定手段が判定した場合に、記入された図形を、各辺がX軸及びY軸に平行ではない四角形であると特定し、前記イメージデータ生成手段は、記入された図形が前記各辺がX軸及びY軸に平行ではない四角形であると前記図形特定手段が特定した場合に、前記各辺がX軸及びY軸に平行ではない四角形のイメージデータを生成する。これによれば、処理装置は、グループ化されたストローク中に変化点が3つ存在し、且つ、図形の辺に対応する線分がX軸又はY軸と平行ではない場合、自動的に、グループ化されたストロークに対応する図形は各辺がX軸及びY軸に平行ではない四角形であると特定することができる。よって、開始点又は終了点と、3つの変化点とを時系列により直線で結ぶことで、容易にイメージデータを生成することができる。 In another aspect of the processing apparatus, the figure determining unit determines that the number of change points in the grouped strokes is three and the axis determining unit determines that the moving direction is not parallel. In this case, the entered figure is identified as a quadrangle whose sides are not parallel to the X axis and the Y axis, and the image data generating means has the entered figure on the X axis and Y axis. If it identified the figure specifying unit as the square not parallel, to generate the image data of the rectangle the sides are not parallel to the X-axis and Y-axis. According to this, when there are three change points in the grouped stroke and the line segment corresponding to the side of the graphic is not parallel to the X axis or the Y axis, the processing device automatically The figure corresponding to the grouped strokes can be specified as a quadrangle whose sides are not parallel to the X axis and the Y axis . Therefore, the image data can be easily generated by connecting the start point or the end point and the three change points with a straight line in time series.
上記処理装置の他の一態様では、前記図形特定手段は、グループ化されたストローク中の変化点の数が4以上である場合、記入された図形を円であると特定し、前記処理装置は、前記開始点、前記終了点及び前記変化点の位置情報に基づいて、前記円の直径を算出する直径算出手段をさらに備え、前記イメージデータ生成手段は、記入された図形が円であると前記図形特定手段が特定した場合、前記円のイメージデータを生成する。これによれば、処理装置は、グループ化されたストローク中に変化点が4つ以上存在している場合、自動的に、グループ化されたストロークに対応する図形は円であると特定することができる。また、処理装置は、開始点、終了点及び変化点の位置座標に基づいて円の直径を算出する。そして、処理装置は、算出した直径と、開始点又は終了点及び変化点とに基づいて、弧を描くことにより、容易にイメージデータを生成することができる。 In another aspect of the processing device, the graphic specifying means specifies the filled graphic as a circle when the number of change points in the grouped stroke is 4 or more, and the processing device , Further comprising a diameter calculating means for calculating a diameter of the circle based on positional information of the start point, the end point, and the change point, and the image data generating means is configured such that the filled figure is a circle. If a graphic specifying means specified, and generates the image data before Kien. According to this, the processing device can automatically specify that the figure corresponding to the grouped stroke is a circle when there are four or more change points in the grouped stroke. it can. Further, the processing device calculates the diameter of the circle based on the position coordinates of the start point, end point, and change point. Then, the processing device can easily generate image data by drawing an arc based on the calculated diameter, the start point or the end point, and the change point.
上記処理装置の他の一態様では、前記処理装置は、円と、各辺がX軸及びY軸に平行ではない四角形とを判別するための特定領域において、グループ化されたストロークの出現頻度が予め設定された一定の出現頻度より高いか低いかを判定する特定領域判定手段をさらに備え、前記図形特定手段は、グループ化されたストローク中の変化点の数が3であり、前記軸判定手段が前記線分の移動方向が平行でないと判定し、且つ、前記特定領域判定手段がストロークの出現頻度が前記一定の出現頻度より低いと判定した場合に、記入された図形を各辺がX軸及びY軸に平行ではない四角形であると特定し、前記イメージデータ生成手段は、記入された図形は各辺がX軸及びY軸に平行ではない四角形であると前記図形特定手段が特定した場合に、前記各辺がX軸及びY軸に平行ではない四角形のイメージデータを生成する。これによれば、グループ化されたストローク中の変化点数が3であっても、特定領域における出現頻度に基づいて、容易に対応する図形が各辺がX軸及びY軸に平行ではない四角形であることを特定することができる。よって、的確なイメージデータを生成することができる。 In another aspect of the above processing device, the processing device has an appearance frequency of grouped strokes in a specific region for discriminating a circle and a quadrangle whose sides are not parallel to the X axis and the Y axis. Specific area determining means for determining whether the frequency is higher or lower than a preset constant appearance frequency is further provided, wherein the graphic specifying means has three change points in the grouped strokes, and the axis determining means Determines that the moving direction of the line segment is not parallel, and the specific area determination means determines that the frequency of appearance of the stroke is lower than the certain frequency of appearance, each side of the filled figure is an X-axis. And the image data generating means specifies that the filled figure is a square whose sides are not parallel to the X and Y axes. In addition, Serial each side to generate image data of the rectangle that is not parallel to the X-axis and Y-axis. According to this, even if the number of change points in the grouped stroke is 3, based on the appearance frequency in the specific area, the corresponding figure is a rectangle whose sides are not parallel to the X axis and the Y axis. It can be identified. Therefore, accurate image data can be generated.
上記処理装置の他の一態様では、前記図形特定手段は、グループ化されたストローク中の変化点の数が3であり、前記軸判定手段が前記線分の移動方向が平行ではないと判定し、且つ、前記特定領域判定手段がストロークの出現頻度が前記一定の出現頻度より高いと判定した場合に、記入された図形を円であると特定し、前記イメージデータ生成手段は、記入された図形が円であると前記図形特定手段が特定した場合に、前記円のイメージデータを生成する。これによれば、グループ化されたストローク中の変化点数が3であっても、特定領域における出現頻度に基づいて、容易に対応する図形が円であることを特定することができる。よって、的確なイメージデータを生成することができる。 In another aspect of the processing apparatus, the graphic specifying unit determines that the number of change points in the grouped stroke is 3, and the axis determination unit determines that the moving direction of the line segment is not parallel. And when the specific area determining means determines that the appearance frequency of the stroke is higher than the certain appearance frequency, the specified figure is specified as a circle, and the image data generating means There when identified the graphic identification unit as a circle, to generate the image data before Kien. According to this, even if the number of change points in the grouped stroke is 3, it can be easily specified that the corresponding figure is a circle based on the appearance frequency in the specific region. Therefore, accurate image data can be generated.
上記処理装置の他の一態様では、前記帳票は、直線、三角形、四角形又は円のいずれかの図形を選択するために、前記電子ペンによってチェックマークが記入される選択エリアを有しており、前記図形特定手段は、前記選択エリアにおいて選択された図形として、記入された図形を特定する。これによれば、利用者が選択した図形の種類に基づいてイメージデータを生成することができる。よって、図形の認識率を向上させることができる。 In another aspect of the processing apparatus, the form has a selection area in which a check mark is written by the electronic pen in order to select any one of a straight line, a triangle, a quadrangle, and a circle . The graphic specifying means specifies a filled-in graphic as a graphic selected in the selection area . According to this, image data can be generated based on the type of figure selected by the user. Therefore, the figure recognition rate can be improved.
本発明の別の観点では、コンピュータにより実行され、電子ペンにより認識可能なドットパターン、並びに、X軸と平行な横線及びY軸と平行な縦線から構成されるグリッドが印刷された電子ペン用帳票に記入された図形のイメージデータを生成する処理を行うプログラムであって、前記電子ペン用帳票に記入された1つ以上のストロークを記入情報として取得する記入情報取得手段、前記記入情報に含まれる時間情報に基づいて、1つの図形に対応する1つ以上のストロークをグループ化するグループ化手段、前記記入情報に含まれるストロークから、所定の長さの線分を抽出する線分抽出手段、前記時間情報に基づいて、前記線分から、当該線分の記入に要した時間を予め決められた一定の時間幅を有する複数の時間帯に分割し、前記複数の時間帯毎にベクトルを抽出するベクトル抽出手段、前記ベクトルの移動方向に基づいて、前記線分の移動方向を特定する移動方向特定手段、前記線分の移動方向に基づいて、グループ化されたストローク中における前記線分の移動方向がX軸方向及び/又はY軸方向において異なる方向に変化し始めた点と最も近い前記グリッド上の点である変化点を特定する変化点特定手段、前記記入情報に含まれる前記時間情報及び前記位置情報に基づいて、グループ化されたストロークの中の開始点を特定する開始点特定手段、前記記入情報に含まれる前記時間情報及び前記位置情報に基づいて、グループ化されたストロークの中の終了点を特定する終了点特定手段、グループ化されたストローク中の変化点の数を算出する変化点数算出手段、前記変化点の数及び前記変化点のドットパターン上の位置情報に基づいて、記入された図形を直線、三角形、四角形又は円のいずれかの図形と特定する図形特定手段、前記図形特定手段による特定結果と、前記変化点、前記開始点及び前記終了点のドットパターン上の位置情報と、時間情報とに基づいて、前記図形特定手段による特定結果が直線、三角形、四角形のいずれかである場合には前記開始点、前記終了点及び前記変化点を時系列に基づいて直線で結んだ図形を直線、三角形、又は、四角形のイメージデータとして生成し、前記図形特定手段による特定結果が円である場合には当該円の直径を算出し、前記開始点、前記終了点及び前記変化点を円弧で結んだ図形を円のイメージデータとして生成するイメージデータ生成手段、として前記コンピュータを機能させる。 In another aspect of the present invention, for an electronic pen printed with a dot pattern that is executed by a computer and can be recognized by an electronic pen , and a horizontal line parallel to the X axis and a vertical line parallel to the Y axis . A program for performing processing for generating image data of a graphic entered in a form, the entry information obtaining means for obtaining one or more strokes entered in the electronic pen form as entry information, included in the entry information Grouping means for grouping one or more strokes corresponding to one figure based on time information to be obtained, line segment extracting means for extracting a line segment of a predetermined length from the strokes included in the entry information, Based on the time information, the time required for entry of the line segment is divided from the line segment into a plurality of time zones having a predetermined time width, and A vector extracting means for extracting a vector for each time zone, a moving direction specifying means for specifying the moving direction of the line segment based on the moving direction of the vector, and a grouping based on the moving direction of the line segment. change point specifying means for moving the direction of the line segment in the stroke identifies the in terms of a change point on the closest to the point started to change in different directions in the X-axis direction and / or Y-axis direction grid, the entry Based on the time information and the position information included in the information, based on the start point specifying means for specifying the start point in the grouped stroke, based on the time information and the position information included in the entry information, end point specifying means for specifying the end point in the stroke grouped, the number of change points calculating means for calculating the number of grouped change point in the stroke, wherein Based on the number of conversion points and the positional information on the dot pattern of the change points, figure specifying means for specifying the filled figure as either a straight line, a triangle, a quadrangle, or a circle, and a specifying result by the figure specifying means And, based on the positional information on the dot pattern of the change point , the start point, and the end point , and the time information, the specifying result by the graphic specifying means is one of a straight line, a triangle, and a quadrangle When the figure that connects the start point, the end point, and the change point with a straight line based on a time series is generated as image data of a straight line, a triangle, or a quadrangle, and the specific result by the graphic specifying means is a circle The image data generating means for calculating the diameter of the circle and generating a figure obtained by connecting the start point, the end point, and the change point with an arc as image data of the circle. Make the computer work.
上記プログラムをコンピュータにより実行することにより、上述の処理装置を実現することができる。また、上述の処理装置の各態様も同様に実現することができる。 By executing the above program by a computer, the above-described processing device can be realized. Moreover, each aspect of the processing apparatus described above can be realized in the same manner.
本発明によれば、予めグリッドが印刷されている方眼用紙にフリーハンドで記入した図形を精緻化した上でイメージ化することができる。 According to the present invention, it is possible to make an image after refining a figure that has been entered freehand on a graph paper on which a grid is printed in advance.
以下、図面を参照して本発明の好適な実施の形態について説明する。まず、本実施形態のシステムにおいて入力デバイスとして使用される電子ペンの概要について説明する。 Preferred embodiments of the present invention will be described below with reference to the drawings. First, an outline of an electronic pen used as an input device in the system of the present embodiment will be described.
[電子ペン]
図1は電子ペンの使用形態を模式的に示す図であり、図2は電子ペンの構造を示す機能ブロック図である。図1に示すように、電子ペン10は、ドットパターンが印刷された専用ペーパー20と組み合わせて使用される。電子ペン10は、通常のインクペンと同様のペン先部17を備えており、利用者は通常のインクペンと同様に専用ペーパー20上に文字などを書くことになる。
[Electronic pen]
FIG. 1 is a diagram schematically showing how the electronic pen is used, and FIG. 2 is a functional block diagram showing the structure of the electronic pen. As shown in FIG. 1, the
図2に示すように、電子ペン10は、その内部にプロセッサ11、メモリ12、データ通信ユニット13、バッテリー14、LED15、カメラ16及び圧力センサ18を備える。また、電子ペン10は通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
As shown in FIG. 2, the
電子ペン10は、ペン先部17により専用ペーパー20上に描かれたインクの軌跡をデータ化するのではなく、専用ペーパー20上で電子ペン10が移動した軌跡座標をデータ化する。LED15が専用ペーパー20上のペン先部17近傍を照明しつつ、カメラ16が専用ペーパー20に印刷されているドットパターンを読み取り、データ化する。つまり、電子ペン10は専用ペーパー20上で利用者が電子ペン10を移動させることにより生じるストロークを画像データ又はベクトルデータとして取得することができる。
The
圧力センサ18は、利用者が電子ペン10により専用ペーパー上に文字などを書く際にペン先部17に与えられる圧力、即ち筆圧を検出し、プロセッサ11へ供給する。プロセッサ11は、圧力センサ18から与えられる筆圧データに基づいて、LED15及びカメラ16のスイッチオン/オフの切換を行う。即ち、利用者が電子ペン10で専用ペーパー20上に文字などを書くと、ペン先部17には筆圧がかかる。よって、所定値以上の筆圧が検出されたときに、利用者が記述を開始したと判定して、LED15及びカメラ16を作動する。
The
カメラ16は専用ペーパー20上のドットパターンを読み取り、そのパターンデータをプロセッサ11に供給する。プロセッサ11は、供給されたドットパターンから、専用ペーパー20上でのX,Y座標を算出する。
The
プロセッサ11は、利用者の記述が行われる間に、筆圧の配列データ及びX,Y座標データを取得し、タイムスタンプ(時間情報)と関連付けてメモリ12に記憶していく。よって、メモリ12内には利用者の記述内容に対応するデータが時系列で記憶されていく。メモリ12の容量は例えば1Mバイト程度とすることができる。
The
利用者により送信指示がなされるまでは、取得された全てのデータはメモリ12内に保持される。そして、利用者が送信指示を行うと、データ通信ユニット13により、電子ペン10と所定距離内にある端末装置25へメモリ12内のデータが送信される。基本的には、一度送信指示がなされると、電子ペン10はメモリ12内に記憶していた全てのデータを端末装置25へ送信するため、メモリ12内はクリアされる。よって、送信後にもう一度同じ情報を端末装置25へ送信したい場合には、利用者は専用ペーパー20上に再度記述を行う必要がある。なお、この場合、利用者は専用ペーパー20上にインクペンで書かれた文字などをなぞればよいことになる。
All the acquired data is held in the
電子ペン10自体は、送信ボタンなどの機能ボタンを備えておらず、送信指示その他の指示は、利用者が専用ペーパー20上の所定位置に設けられた専用ボックスを電子ペン10でチェックすることにより実行される。専用ボックスの位置座標には、予め送信指示が対応付けられており、プロセッサ11は専用ボックスの位置座標を受信すると、データ通信ユニット13にメモリ12内のデータを供給し、端末装置25への送信を行わせる。なお、電子ペン10は、データの送信完了を電子ペンの振動により示すことができる。
The
バッテリー14は電子ペン10内の各要素に電源供給するためのものであり、例えば電子ペンのキャップ(図示せず)により電子ペン10自体の電源のオン/オフを行うことができる。
The
このように、電子ペン10は利用者が専用ペーパー20上に記述した文字などに対応する座標データ及び筆圧データを取得して近傍の端末装置25へ送信する機能を有するが、電子ペン10のペン先部17は通常のインクペンとなっているため、専用ペーパー20上に記述した内容はオリジナルの原本として残るという特徴がある。即ち、紙の原本に対して記述するのと同時に、その内容を座標データなどの形態でリアルタイムに電子化することができる。
As described above, the
なお、電子ペン10の標準機能によれば、電子ペン10により得られるデータは、原則として座標データ又はベクトルデータの形態であり、テキストデータではない。但し、電子ペン10は標準機能として、専用ペーパー20上に設けられた専用エリアに記述することにより、英数字に限りテキスト化する機能は備えている。
According to the standard function of the
また、電子ペン10内には、ペン自体及びその所有者に関するプロパティ情報(ペン情報及びペン所有者情報)を保持することができ、アプリケーションから参照することができる。ペン情報としては、バッテリーレベル、ペンID、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのIDなどを保持できる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、空きメモリ容量、名称、住所、ファックス/電話番号、携帯電話番号などを保持することができる。
Also, the
なお、上記の例におけるデータ通信ユニット13では、Bluetooth(登録商標)の無線伝送、USBケーブルを使用した有線伝送、端子などの接触によるデータ伝送など、各種の方法によって電子ペン10から端末装置25へのデータ送信を行うことが考えられる。
In the
次に、電子ペンにより利用者が記述した内容のX,Y座標データを取得する方法について説明する。前述のように専用ペーパー20には、所定のドットパターンが印刷されている。電子ペン10のカメラ16は、利用者が専用ペーパー20上に記述したインクの軌跡を読み取るのではなく、専用ペーパー20上のドットパターンを読み取る。実際、図1に示すように、LED15による照明エリア及びカメラ16の撮影エリア(照明エリア内に位置する)は、ペン先部17が専用ペーパー20に接触する位置とはずれている。
Next, a method for acquiring X and Y coordinate data of the contents described by the user with the electronic pen will be described. As described above, a predetermined dot pattern is printed on the
ドットパターンはカーボンを含む専用インキなどで印刷されており、カメラ16はその専用インキによるパターンのみを認識することができる。専用インキ以外のインキ(カーボンを含まない)により、専用ペーパー上に罫線や枠などを印刷しても、電子ペンはそれらを認識することはない。よって、専用ペーパーを利用して各種申込書などの帳票を作成する際は、専用インキ以外のインキで入力枠や罫線、注意書きなどを印刷する。
The dot pattern is printed with a special ink containing carbon, and the
ドットパターンは、図3に例示するように、各ドットの位置がデータに対応付けされている。図3の例では、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右にシフトすることにより、0〜3の2ビット情報を表示した例である。このようにして表現された情報の組合せにより、専用ペーパー上の位置座標が決定される。図4(a)に例示するように、縦横2mmの範囲内に36個のドットが格子状に配置され、これらのドットにより示されるデータの配列(図4(b))が、その専用ペーパー上の位置座標と対応付けされている。よって、電子ペン10のカメラ16が図4(a)に示すようなドットパターンを撮影すると、プロセッサ11はカメラ16から入力されるドットパターンのデータに基づいて図4(b)に示すデータ配列を取得し、それに対応する専用ペーパー上の位置座標(即ち、そのドットパターンがその専用ペーパー上のどの位置にあるのか)をリアルタイムで算出する。なお、ドットパターンを認識する最小単位は2mm×2mmであり、カメラ16は毎秒100回程度の撮影を行う。
In the dot pattern, as illustrated in FIG. 3, the position of each dot is associated with data. In the example of FIG. 3, the 2-bit information of 0 to 3 is displayed by shifting the dot position vertically and horizontally from the reference position (intersection of vertical and horizontal lines) of the grid. The position coordinates on the dedicated paper are determined by the combination of information expressed in this way. As illustrated in FIG. 4A, 36 dots are arranged in a grid within a range of 2 mm in length and width, and the data array (FIG. 4B) indicated by these dots is displayed on the dedicated paper. Are associated with the position coordinates. Therefore, when the
次に、専用ペーパーについて説明する。専用ペーパーの構造の一例を図5に示す。図示のように、専用ペーパー20は、台紙30上にドットパターン32が印刷され、その上に罫線などの図案34が印刷されている。台紙30は通常は紙であり、ドットパターン32は前述のようにカーボンを含んだ専用インキにより印刷される。また、通常のインキなどにより図案34が印刷される。ドットパターンと図案とは同時に印刷してもよいし、いずれかを先に印刷してもよい。
Next, the dedicated paper will be described. An example of the structure of the dedicated paper is shown in FIG. As shown in the figure, the
図案34の例を図6に示す。図6は、ある申込書36の例であり、複数の記入欄38や送信ボックス39が印刷されている。図6には明確に図示されておらず、詳細は後述するが、実際にはドットパターンが申込書36の全面に印刷されており、その上に記入欄38や送信ボックス39が通常のインキにより印刷されている。利用者は、ドットパターンを意識することなく、従来からある申込書と同様に、電子ペン10を使用して必要事項を申込書36の各記入欄38に記入すればよい。
An example of the design 34 is shown in FIG. FIG. 6 shows an example of a
専用ペーパー20上のエリアは大きく2種類のエリアに分けることができる。1つは記入エリアであり、電子ペン10による記述内容をそのまま情報として取り扱うエリアである。図6の例では複数の記入欄38がこれに該当する。もう1つは機能エレメントであり、対応するエリア内を電子ペン10でチェックした際に、予めそのエリアに対して定義されているアクション、指示などを実行するようになっている。図6の例における送信ボックス39がこれに該当する。
The area on the
送信ボックス39は前述したように電子ペン10内に記憶されているデータを近傍の端末装置25へ送信するための指示を行う際に使用される。利用者が送信ボックス39内に電子ペン10でチェックを入れると、電子ペン10が送信ボックス内のドットパターンを読み取る。当該パターンは送信指示に対応付けられており、電子ペン10内のプロセッサ11はデータ通信ユニット13にメモリ12内の記憶データの送信命令を発する。
The
ドットパターンの割り当ては、通常、アプリケーション(用紙の種類)毎に行われる。即ち、ある申込書内のドットパターンは1枚の用紙の中で重複することはないが、同一の申込書には全て同じドットパターンが印刷されている。よって、利用者が電子ペン10で必要事項を入力すると、その入力事項がその申込書のどの項目に対するものであるかを、申込書上の座標データから特定することができる。
The assignment of dot patterns is usually performed for each application (paper type). In other words, the dot patterns in a certain application form do not overlap in one sheet, but the same dot pattern is printed on the same application form. Therefore, when the user inputs necessary items with the
このように、ドットパターンを印刷した専用ペーパー上に所定の図案を印刷することにより、専用ペーパーを利用した各種申込書が作成できる。利用者は電子ペン10を使用して通常の要領で必要事項を記入すれば、その電子データが自動的に取得される。
As described above, by printing a predetermined design on the dedicated paper on which the dot pattern is printed, various application forms using the dedicated paper can be created. If the user uses the
上記の例では、ドットパターンは専用ペーパー上にカーボンを含むインキにより印刷されているが、プリンタ及びカーボンを含むインクを使用してドットパターンを通常の紙上にプリントすることも可能である。さらに、専用ペーパー上の図案も印刷ではなく、プリンタにより形成することも可能である。ドットパターンをプリンタにより紙上に形成する場合には、1枚1枚に異なるドットパターンを形成することが可能である。よって、形成されたドットパターンの違いにより、それらの用紙1枚1枚を識別し、区別することが可能となる。 In the above example, the dot pattern is printed on the dedicated paper with carbon-containing ink. However, the dot pattern can be printed on ordinary paper using a printer and carbon-containing ink. Furthermore, the design on the dedicated paper can also be formed by a printer instead of printing. When dot patterns are formed on paper by a printer, different dot patterns can be formed on each sheet. Therefore, it is possible to identify and distinguish each of these sheets by the difference in the formed dot patterns.
なお、本明細書においては、「印刷」の語は、通常の印刷のみならず、プリンタによるプリントも含む概念とする。 In the present specification, the term “printing” has a concept including not only normal printing but also printing by a printer.
次に、電子ペンにより取得したデータの送信処理について図2を参照して説明する。電子ペン10が取得したデータは、主として利用者が入力した事項のデータであるが、通常はそのデータの送信先であるサービスサーバがどこであるかの情報は含まれていない。その代わりに、その専用ペーパーに関するアプリケーションやサービスを特定する情報が専用ペーパー上のドットパターンに含まれており、利用者の入力作業中に専用ペーパーからその情報が取得されている。よって、電子ペン10から記入情報を受け取った端末装置25は、まず、問い合わせサーバ26に対して、その専用ペーパーに対して入力されたデータをどのサービスサーバ27へ送信すべきかの問い合わせを行う。問い合わせサーバ26は、専用ペーパー毎に、対応するサービスサーバの情報を有しており、端末装置25からの問い合わせに応じて、当該専用ペーパーに関するサービスなどを行うサービスサーバ27の情報(URLなど)を端末装置25へ回答する。それから、端末装置25は、電子ペンから取得した記入情報をそのサービスサーバ27へ送信することになる。
Next, transmission processing of data acquired by the electronic pen will be described with reference to FIG. The data acquired by the
なお、上記の例では端末装置25、問い合わせサーバ26及びサービスサーバ27が別個に構成されているが、これらの幾つか又は全てを1つの装置として構成することも可能である。本実施形態において後述するサーバは、問い合わせサーバ26及びサービスサーバ27を兼ねていることとしている。また、本実施形態では、記入情報には、ストロークデータや時間情報が含まれているものとする。 In the above example, the terminal device 25, the inquiry server 26, and the service server 27 are separately configured. However, some or all of them may be configured as one device. The server described later in this embodiment also serves as the inquiry server 26 and the service server 27. In this embodiment, it is assumed that the entry information includes stroke data and time information.
[図形解析システム]
次に、本実施形態の図形解析システムについて説明する。図7に図形解析システム100の概略構成を示す。図7に示す処理システム100は、電子ペン10により専用ペーパーである電子ペン用帳票に記入された情報に基づいて、特定の図形に精緻化したイメージデータを作成するシステムである。具体的に、電子ペン用帳票は方眼用紙3であり、X軸と平行する横線及びY軸と平行する縦線から構成されるグリッドエリアを有している。なお、グリッドエリアは、方眼用紙3の一部であっても、全部であっても構わない。利用者は、方眼用紙3上のグリッドエリアに、直線、三角形、四角形又は円いずれかの図形をフリーハンドでラフに記入する。サーバ5は、方眼用紙3への記入情報に基づいて、利用者が記入した図形を特定し、さらに特定した図形に精緻化したイメージデータ(以下、「精緻化データ」とも呼ぶ。)を作成する。なお、本実施形態では、便宜上、直線も図形に含まれるものとする。
[Figure analysis system]
Next, the graphic analysis system of this embodiment will be described. FIG. 7 shows a schematic configuration of the
図7に示すように、図形解析システム100は、端末装置25及びサーバ5がネットワーク2を通じて接続されることにより構成される。ここで、ネットワーク2の1つの好適な例はインターネットである。また、端末装置25とは、利用者が使用するパーソナルコンピュータ(以下、「PC」と呼ぶ。)や携帯電話といったネットワークを介してデータの授受が可能な端末である。
As shown in FIG. 7, the
ここで、図8及び図9を参照して、本システムによる図形解析方法の概要を述べておく。図8は、方眼用紙3が有するグリッドエリアの例である。一方、図9は、グリッドエリアにフリーハンドで記入されたデータと、記入情報に基づいて精緻化されたデータとを示す例である。
Here, with reference to FIG. 8 and FIG. 9, the outline of the graphic analysis method by this system is described. FIG. 8 is an example of a grid area that the
利用者は、電子ペン10を使用して、電子ペン用帳票である方眼用紙3上に設けられたグリッドエリアに、フリーハンドでラフに図形を記入する。なお、記入する図形は、直線、三角形、四角形又は円いずれかであるものとする。方眼用紙3上に設けられたグリッドエリアは、図8に示すように、X軸と平行である横線と、Y軸と平行である縦線とから構成された格子状のエリアのことである。このようなグリッドの目盛りに従って、利用者は、フリーハンドであっても容易に図形を記入することができる。
The user uses the
なお、方眼用紙3は、グリッドエリアの他に、上述の送信ボックス39を有しているものとする。
Note that the
本実施形態において、利用者が電子ペン10によりフリーハンドでグリッドエリアに記入する図形は、図9(a)に示すような、直線60a、三角形61a、正方形、長方形62a、各辺がX軸及びY軸に平行ではない四角形63a及び円64aである。電子ペン10は、記入された内容に対応する記入情報を取得し、電子ペン10内のメモリに一時的に記憶した後、当該記入情報を端末装置25へ送信する。端末装置25は、取得した記入情報を、ネットワーク2を介してサーバ5へ送信する。
In this embodiment, graphics user to fill in the grid area with freehand by the
サーバ5は、記入情報から、記入時刻に関する時間情報を抽出し、当該時間情報に基づいて1つの図形に対応する1つ以上のストロークをグループ化する。ここで、ストロークとは、一筆で書かれた軌跡のことである。長方形や、各辺がX軸及びY軸に平行ではない四角形は、複数のストロークに分けて記入されることも考えられるため、サーバ5は、時間情報に基づいて、グループ化を行っている。具体的には、所定の時間以内に記入されたストロークをグループ化する等が考えられる。なお、1つの図形に対応するストロークが1つである場合、グループ化する複数のストロークは存在しないが、グループ化と呼ぶものとする。
The
そして、サーバ5は、記入情報に含まれるドットパターン上の位置座標に基づいて、開始点及び終了点を特定する。具体的には、グループ化された各ストロークの開始点及び終了点を分析し、各々の方眼用紙3上で最も近い点を図形解析用の開始点及び終了点とする。なお、開始点及び終了点の特定はこれに限定されるものではなく、時間情報に基づいて、時系列的に最も早く記入された点を開始点、時系列的に最も遅く記入された点を終了点と特定することとしてもよい。また、位置座標及び時間情報に基づいて特定することとしてもよい。
Then, the
また、サーバ5は、各ストロークから所定の長さの線分を抽出する。さらに、サーバ5は、詳細は後述するが、ストロークの揺らぎを考慮するため、線分から一定時間又は一定頻度のベクトルを抽出する。そして、サーバ5は、ベクトルの移動方向に基づいて、線分の移動方向を特定する。
The
サーバ5は、詳細は後述するが、線分の移動方向に基づいてストローク上の点が、同一方向に移動しているか否かを解析する。そして、サーバ5は、X軸方向及び/又はY軸方向の移動に変化がみられた場合、異なる方向に移動し始めた点の方眼用紙3上の最短距離の点を変化点と特定する。さらに、サーバ5は、変化点の数を算出する。
Although details will be described later, the
そして、サーバ5は、時間情報、算出した変化点数、線分の移動方向及び特定領域による判定等に基づいて、方眼用紙3に記入された図形が直線、三角形、正方形/長方形、各辺がX軸及びY軸に平行ではない四角形又は円のいずれであるかを特定する。そして、サーバ5は、グループ化されたストローク中の変化点、開始点及び終了点に基づいて、特定した図形に精緻化した精緻化データを生成する。この精緻化データとはイメージデータであり、サーバ5に保存されたり、端末装置25に送信されたりする。端末装置25は、取得した精緻化データを画面上に出力することもできる。つまり、端末装置25は、図9(a)に示すようなフリーハンドでラフに記入されたストロークのデータを精緻化して、図9(b)に示すように表示することができる。
Then, the
このように、本実施形態のサーバ5は、方眼用紙3の目盛りに従ってフリーハンドで記入した図形の体裁を整えて、精緻化したイメージデータを自動的に生成することができる。
As described above, the
[図形]
ここで、図10乃至図14を参照して、グリッドエリアに記入された図形及び精緻化された図形について詳細に説明する。図10乃至図14は、それぞれグリッドエリアへの直線、三角形、正方形/長方形、各辺がX軸及びY軸に平行ではない四角形及び円の記入例と、精緻化された図形の例である。
[Shape]
Here, with reference to FIG. 10 to FIG. 14, the figure entered in the grid area and the refined figure will be described in detail. FIG. 10 to FIG. 14 show examples of lines, triangles, squares / rectangles, squares and circles whose sides are not parallel to the X-axis and Y-axis, and refined figures, respectively.
まず、図10を参照し、直線について説明する。利用者は、電子ペン10を使用して、図10(a)に示すように、グリッドエリアにフリーハンドで直線60aを記入する。このとき、直線の2つの端点、即ち、図10(b)に示す開始点80及び終了点81は、グリッドエリアを構成する縦線と横線が交差する交点上に位置しなければならない。換言すると、利用者は、開始点80及び終了点81が、グリッドエリアの交点に重なるように直線60aを記入する。なお、直線60aは、グリッドエリアを構成する縦線(Y軸)又は横線(X軸)と平行である必要はない。
First, a straight line will be described with reference to FIG. The user uses the
サーバ5は、グループ化されたストローク中に変化点がない場合、当該グループ化されたストロークに対応する図形は直線であると特定する。換言すると、サーバ5は、グループ化されたストローク中の線分の移動方向が全て同じ一方向である場合、当該グループ化されたストロークに対応する図形は直線であると特定する。さらに、サーバ5は、特定した開始点と終了点を結ぶことにより、直線に精緻化したイメージデータを作成する。即ち、図10(c)に示すように、開始点80及び終了点81を結んだ直線60bのイメージデータを生成する。
When there is no change point in the grouped stroke, the
次に、図11を参照し、三角形について説明する。利用者は、電子ペン10を使用して、図11(a)に示すように、グリッドエリアにフリーハンドで三角形61aを記入する。このとき、三角形61aの3つの頂点は、交点上に位置しなければならない。原則として、三角形61aを記入する場合、図11(b)に示すように、開始点82及び終了点83は一致するように記入されなければならない。換言すると、利用者は、三角形61aの3つの頂点である開始点82(終了点83)と、変化点84と、変化点85とが、グリッドエリアの交点に重なるように三角形61aを記入する。
Next, a triangle will be described with reference to FIG. The user uses the
なお、三角形61aの辺は、グリッドエリアを構成する縦線(Y軸)又は横線(X軸)と平行である必要はない。三角形61aの辺とは、開始点82(終了点83)と、変化点84と、変化点85とを時系列に沿ってそれぞれ結ぶ線分のことである。線分の移動方向についての詳細は後述する。
Note that the sides of the
サーバ5は、グループ化されたストローク中の変化点が2つの場合、当該グループ化されたストロークに対応する図形は三角形であると特定する。さらに、サーバ5は、特定した開始点82(終了点83)と、変化点84と、変化点85とを直線で結ぶことにより、三角形に精緻化したイメージデータを作成する。即ち、図11(c)に示すように、開始点82(終了点83)、変化点84及び変化点85を結んだ三角形61bのイメージデータを生成する。
When there are two change points in the grouped stroke, the
次に、図12を参照し、正方形/長方形について説明する。利用者は、電子ペン10を使用して、図12(a)に示すように、グリッドエリアにフリーハンドで正方形/長方形62aを記入する。このとき、長方形62aの4つの頂点は、交点上に位置しなければならない。原則として、長方形62aを記入する場合、図12(b)に示すように、開始点86及び終了点87は一致するように記入されなければならない。また、長方形62aの辺は、グリッドエリアを構成する縦線(Y軸)又は横線(X軸)のいずれかと平行でなければならない。長方形62aの辺とは、開始点86(終了点87)と、変化点88と、変化点89と、変化点90とをそれぞれ結ぶ線分のことである。
Next, a square / rectangular shape will be described with reference to FIG. The user uses the
サーバ5は、グループ化されたストローク中の変化点が3つであって、且つ、開始点86(終了点87)、変化点88、変化点89及び変化点90をそれぞれ結ぶ線分が縦線(Y軸)又は横線(X軸)と平行である場合、当該グループ化されたストロークに対応する図形は長方形であると特定する。さらに、サーバ5は、特定した開始点86(終了点87)と、変化点88と、変化点89と、変化点90とを時系列に沿って直線で結ぶことにより、長方形に精緻化したイメージデータを生成する。即ち、図12(c)に示すように、開始点86(終了点87)、変化点88、変化点89及び変化点90を結んだ長方形62bのイメージデータを生成する。
The
なお、図12では、長方形について説明しているが、辺の長さが全て同じである以外は正方形も同様であるため、便宜上説明は省略する。 In FIG. 12, a rectangle is described, but a square is the same except that the lengths of all sides are the same.
次に、図13を参照し、各辺がX軸及びY軸に平行ではない四角形について説明する。利用者は、電子ペン10を使用して、図13(a)に示すように、グリッドエリアにフリーハンドで各辺がX軸及びY軸に平行ではない四角形63aを記入する。このとき、各辺がX軸及びY軸に平行ではない四角形の四角形63aの4つの頂点は、交点上に位置しなければならない。原則として、各辺がX軸及びY軸に平行ではない四角形63aを記入する場合、図13(b)に示すように、開始点91及び終了点92は一致するように記入されなければならない。なお、各辺がX軸及びY軸に平行ではない四角形63aの辺は、グリッドエリアを構成する縦線(Y軸)又は横線(X軸)と平行である必要はない。各辺がX軸及びY軸に平行ではない四角形63aの辺とは、開始点91(終了点92)と、変化点93と、変化点94と、変化点95とをそれぞれ結ぶ線分のことである。
Next, a quadrangle whose sides are not parallel to the X axis and the Y axis will be described with reference to FIG. As shown in FIG. 13A, the user uses the
サーバ5は、グループ化されたストローク中の変化点が3つであって、且つ、開始点91(終了点92)、変化点93、変化点94及び変化点95をそれぞれ結ぶ線分が縦線(Y軸)又は横線(X軸)と平行ではない場合、当該グループ化されたストロークに対応する図形は正方形及び長方形以外の四角形であると特定する。さらに、サーバ5は、開始点91(終了点92)と、変化点93と、変化点94と、変化点95とをそれぞれ時系列に沿って直線で結ぶことにより、各辺がX軸及びY軸に平行ではない四角形に精緻化したイメージデータを生成する。即ち、図13(c)に示すように、開始点91(終了点92)、変化点93、変化点94及び変化点95を結んだ各辺がX軸及びY軸に平行ではない四角形63bのイメージデータを生成する。
The
次に、図14を参照し、円について説明する。利用者は、電子ペン10を使用して、図14(a)に示すように、グリッドエリアにフリーハンドで円64aを記入する。このとき、円64aの直径は1目盛り単位(例えば、1cm又は2cm)でなければならない。また、円64aは、グリッドエリアを構成する縦線又は横線と4点で接していなければならない。原則として、円64aを記入する場合、図14(b)に示すように、開始点96及び終了点97は一致するように記入される。また、各辺がX軸及びY軸に平行ではない四角形63aを構成する4つ以上の点が、縦線及び/又は横線に接するように記入される。
Next, a circle will be described with reference to FIG. The user uses the
サーバ5は、グループ化されたストローク中の変化点が4つ以上である場合、当該グループ化されたストロークに対応する図形は円であると特定する。さらに、サーバ5は、円の直径を算出すると共に、当該直径に基づいて、開始点96(終了点97)、変化点98、変化点99、変化点121及び変化点122を弧で結ぶことにより、円に精緻化したイメージデータを生成する。即ち、14(c)に示すように、開始点96(終了点97)、変化点98、変化点99、変化点121及び変化点122を結んだ円64bのイメージデータを生成する。
When there are four or more change points in the grouped stroke, the
なお、利用者は原則として図形を記入する際、上述のルールに従う必要があるが、多少のずれが生じている場合、サーバ5は、ストロークの揺らぎとして開始点、終了点及び変化点の位置座標を修正することとしてもよい。
In principle, the user needs to follow the above-mentioned rules when filling in a graphic. However, if there is a slight deviation, the
[特定領域]
次に、図15を参照して、特定領域について説明する。特定領域とは、グループ化されたストローク中の変化点が3つである場合に、各辺がX軸及びY軸に平行ではない四角形であるか円であるかを判別するための領域である。具体的には、図15(a)及び(b)に示す斜線の領域が特定領域である。
[Specific area]
Next, the specific area will be described with reference to FIG. The specific area is an area for determining whether each side is a quadrangle or a circle that is not parallel to the X-axis and the Y-axis when there are three change points in the grouped stroke. . Specifically, the hatched area shown in FIGS. 15A and 15B is the specific area.
図15(a)に示すように、特定領域上のストロークの出現頻度が低い場合、サーバ5は、グループ化されたストロークに対応する図形は各辺がX軸及びY軸に平行ではない四角形であると特定する。一方、図15(b)に示すように、特定領域上のストロークの出現頻度が高い場合、サーバ5は、グループ化されたストロークに対応する図形は円であると特定する。
As shown in FIG. 15A, when the appearance frequency of the stroke on the specific area is low, the
このように、サーバ5は、グループ化されたストローク中の変化点が3つである場合、特定領域上のストロークの出現頻度に基づいて、対応する図形が各辺がX軸及びY軸に平行ではない四角形であるか円であるかを判別している。
As described above, when there are three change points in the grouped stroke, the
[移動方向の特定]
次に、図16を参照して、ストロークの揺らぎの考慮した移動方向の特定について詳しく説明する。上述のように、サーバ5は、ストロークから、図16に示すように、所定の長さの線分を抽出する。さらに、サーバ5は、図示のように、線分から一定時間又は一定頻度のベクトルを抽出する。抽出したベクトルの移動方向は、記入情報に含まれるストロークの位置座標及び時間情報に基づいて特定することができる。そして、サーバ5は、ベクトルの移動方向のうち、最も多い移動方向を線分の移動方向であると特定する。つまり、サーバ5は、ベクトルの移動方向を総合して、線分の移動方向を特定する。具体的に、図16の例では、真下に向いているベクトルが最も多いため、総合して線分の移動方向はY軸マイナス方向であると特定する。
[Specify the direction of movement]
Next, with reference to FIG. 16, the specification of the moving direction in consideration of stroke fluctuation will be described in detail. As described above, the
このように、サーバ5は、利用者がフリーハンドでラフに記入したストロークであっても、揺らぎを考慮して、各ストローク中の線分の移動方向を適切に特定することができる。
As described above, the
[変化点の特定]
次に、図17を参照して、変化点の特定について詳しく説明する。
[Identification of change points]
Next, with reference to FIG. 17, the specification of the change point will be described in detail.
利用者は、電子ペン10を使用し、図17(a)に示すように、左上の頂点を開始点として、ワンストロークで長方形を記入したとする。この場合、サーバ5は、ストローク中の線分の移動方向に基づいて、グリッドエリア上の最短距離の点を抽出しながら各点が同一方向に移動していることを解析し、移動に変化が見られた場合、異なる方向に移動し始めた点の最短距離の点を変化点であると特定する。揺らぎを考慮した場合、最短距離の点に最も近いグリッドエリア上の交点を変化点であると特定する。具体的に、図17(b)に示すように、線分131の移動方向は、上述の揺らぎを考慮すると、真下に向かっていると特定される。即ち、線分131の移動方向は、X軸において0方向に移動、Y軸においてマイナス方向に移動となる。ここで、0方向に移動とは、移動していないことを表している。一方、線分132の移動方向は、上述の揺らぎを考慮すると、右に向かっていると特定される。即ち、線分132の移動方向は、X軸においてプラス方向に移動、Y軸において0方向に移動となる。
It is assumed that the user uses the
サーバ5は、記入情報に含まれる時間情報により、時系列に基づいて線分131と線分132の移動方向を比較することで、ストローク中の点の移動方向を解析する。上述の例では、線分131と線分132は、X軸及びY軸共に移動方向が変化していることが明らかである。よって、線分の移動方向が大きく変化した点133が変化点となる。このとき、点133がグリッドエリアの交点上にない場合、サーバ5は、点133と最も距離が近い交点を変化点と特定する。
The
このように、サーバ5は、ストロークの移動方向や近似値線を算出することで、ストロークの移動方向が大きく変化する変化点を特定する。
In this manner, the
図17は、長方形の変化点を特定する例であるが、その他の図形(三角形、正方形、各辺がX軸及びY軸に平行ではない四角形及び円)の変化点を特定する場合も同様であるため、便宜上、説明は省略する。 FIG. 17 shows an example of specifying the change point of the rectangle, but the same applies to the case of specifying the change points of other figures (triangle, square, square and circle whose sides are not parallel to the X axis and Y axis ). Therefore, the description is omitted for convenience.
なお、変化点の特定は、グループ化されたストローク中の開始点と終了点が一致するまで行われる。即ち、解析している点が終了点になるまで行われる。 The change point is specified until the start point and the end point in the grouped strokes coincide. That is, the process is performed until the point being analyzed reaches the end point.
また、サーバ5は、位置座標及び時間情報に基づいて、開始点と終了点が誤差の範囲ではなく全く別の位置に存在する場合、図形を直線であると特定することとしてもよい。
Further, the
[サーバ]
次に、サーバ5について詳しく説明する。図18は、図形解析システム100における、特にサーバ5の内部構成を示す。図示のように、サーバ5は、図形解析プログラム101、記入情報取得機能102、グループ化機能103、開始点終了点特定機能104、ベクトル抽出機能105、移動方向特定機能106、変化点特定機能107、変化点数判定機能108、直線特定機能109、三角形特定機能110、軸判定機能111、正方形/長方形特定機能112、特定領域判定機能113、各辺がX軸及びY軸に平行ではない四角形特定機能114、円特定機能115、精緻化データ生成機能116及び精緻化データ送信機能117を有する。なお、各機能は、サーバ5が有するCPUが予め用意されたプログラムを実行することにより実現される。
[server]
Next, the
図形解析プログラム101は、電子ペン10を使用してフリーハンドでグリッドエリアに記入された情報に基づいて、図形を特定すると共に、当該図形に基づいて精緻化した精緻化データを生成するプログラムである。
The
記入情報取得機能102は、図形解析プログラム101を実行することにより、利用者が電子ペン10を使用して、方眼用紙3のグリッドエリアに記入した記入情報を取得する機能である。
The entry
グループ化機能103は、記入情報取得機能102が取得した記入情報に含まれる時間情報に基づいて、1つの図形に対応する1つ以上のストロークをグループ化する機能である。
The
開始点終了点特定機能104は、記入情報取得機能102が取得した記入情報に含まれるドットパターン上の位置座標及び時間情報に基づいて、グループ化されたストローク内の開始点及び終了点を特定する機能である。
The start point / end
ベクトル抽出機能105は、記入情報から線分を抽出し、当該線分から一定時間又は一定頻度毎のベクトルを抽出する機能である。
The
移動方向特定機能106は、ベクトルの移動方向に基づいて、線分の移動方向を特定する機能である。
The moving
変化点特定機能107は、移動方向特定機能106が特定した線分の移動方向に基づいて、グループ化されたストローク内における全ての変化点を特定する機能である。また、変化点特定機能107は、グループ化されたストローク内の変化点の数を算出する機能である。
The change
変化点数判定機能108は、変化点特定機能107が算出した、グループ化されたストローク内における変化点の数を判定する機能である。
The change point
直線特定機能109は、変化点数判定機能108が、グループ化されたストローク内における変化点数が0であると判定した場合に、当該グループ化されたストロークに対応する図形が直線であると特定する機能である。
Straight
三角形特定機能110は、変化点数判定機能108が、グループ化されたストローク内における変化点数が2であると判定した場合に、当該グループ化されたストロークに対応する図形が三角形であると特定する機能である。
Triangular
軸判定機能111は、変化点数判定機能108が、グループ化されたストローク内における変化点数が3であると判定した場合に、変化点間を結ぶ線分がX軸又はY軸と平行であるか否かを判定する機能である。具体的に、グループ化されたストロークに対応する図形が正方形又は長方形の場合、変化点間を結ぶ線分のうち2本の移動方向がX軸と平行となり、他の2本の移動方向がY軸と平行となるはずである。よって、軸判定機能111は、変化点間を結ぶ線分の移動方向に基づいて、全ての線分がX軸又はY軸のいずれかと平行であるか否かを判定する機能である。
正方形/長方形判定機能112は、軸判定機能111が、変化点間を結ぶ線分の移動方向がX軸又はY軸のいずれかと平行であると判定した場合に、グループ化されたストロークに対応する図形が正方形又は長方形であると特定する機能である。
The square /
特定領域判定機能113は、変化点数判定機能108がグループ化されたストローク内における変化点数が3と判定し、且つ、軸判定機能111が変化点間を結ぶ線分の移動方向がX軸又はY軸のいずれかと平行ではないと判定した場合に、ストロークの特定領域上の出現頻度が高いか低いかを判定する機能である。具体的には、予め一定の出現頻度を設定しておき、グループ化されたストロークの出現頻度が当該一定の出現頻度より高いか否かで判定する。
The specific
各辺がX軸及びY軸に平行ではない四角形特定機能114は、特定領域判定機能113が特定領域上の出現頻度が低いと判定した場合に、グループ化されたストロークに対応する図形を各辺がX軸及びY軸に平行ではない四角形であると特定する機能である。
When the specific
円判定機能115は、特定領域判定機能113が特定領域上の出現頻度が高いと判定した場合に、グループ化されたストロークに対応する図形を円であると特定する機能である。また、円判定機能115は、変化点数判定機能108が、グループ化されたストローク内における変化点数が4以上であると判定した場合に、当該グループ化されたストロークに対応する図形が円であると特定する機能である。
The
精緻化データ生成機能116は、特定した開始点、終了点及び変化点のドットパターン上の位置座標に基づいて、特定した図形に精緻化した精緻化データを生成する機能である。
The refined
精緻化データ送信機能117は、精緻化データ生成機能116が生成した精緻化データを、ネットワーク2を通じて端末装置25へ送信する機能である。
The refined
[図形解析処理]
次に、上記の図形解析システム100により実行される図形解析処理について説明する。図19及び図20は、図形解析処理のフローチャートである。
[Figure analysis processing]
Next, a graphic analysis process executed by the
まず、利用者は、電子ペン10を使用して、方眼用紙3のグリッドエリアに任意の図形を記入する。このとき、利用者は、頂点は交点上といった上述のルールに従い、直線、三角形、正方形/長方形、各辺がX軸及びY軸に平行ではない四角形又は円を図形として記入するものとする。図形の記入が完了すると、利用者は、方眼用紙3の送信ボックス39にチェックマークを記入することにより、記入情報を、端末装置25を介してサーバ5へ送信する。
First, the user uses the
サーバ5は、電子ペン10から端末装置25を介して記入情報を取得する(ステップS1)。そして、サーバ5は、記入情報に含まれる時間情報に基づいて、1つの図形に対応する1つ以上のストロークをグループ化する(ステップS2)。さらに、サーバ5は、記入情報に含まれるドットパターン上の位置座標及び時間情報に基づいて、グループ化されたストローク中の開始点及び終了点を特定する(ステップS3)。
The
次に、サーバ5は、グループ化されたストロークから所定の長さの線分を抽出する。このとき、サーバ5は、特定した開始点から線分の抽出を行う。さらに、サーバ5は、線分から一定時間又は一定頻度毎のベクトルを抽出する(ステップS4)。そして、サーバ5は、ベクトルの移動方向を総合して、線分の移動方向を特定する(ステップS5)。
Next, the
サーバ5は、線分の移動方向に基づいて、最短距離の点を抽出しながらストローク上の各点が同一方向に移動しているか否かを判定する。即ち、移動方向が変化しているか否かを判定する(ステップS6)。変化していない場合(ステップS6;No)、サーバ5は、ステップS8に進む。一方、変化している場合(ステップS6;Yes)、サーバ5は、変化が発生したと判定し、異なる方向に移動し始めた点を変化点と特定する(ステップS7)。そして、サーバ5は、判定した点が終了点であるか否かを判定する(ステップS8)。線分の移動方向の特定及び変化点の特定は、開始点から始めて、終了点で終了することで、グループ化されたストローク全てを確認することができたといえるからである。そのため、判定した点が終了点でないと判定した場合(ステップS8;No)、サーバ5は、ステップS4乃至S8の処理を繰り返し行う。一方、判定した点が終了点であると判定した場合(ステップS8;Yes)、サーバ5は、ステップS9に進む。
The
そして、サーバ5は、グループ化されたストローク中の変化点数がいくつであるかを判定する(ステップS9)。変化点が存在しない、即ち変化点数が0である場合(ステップS9;0)、サーバ5は、グループ化されたストロークに対応する図形は直線であると特定する(ステップS10)。一方、変化点数が2の場合(ステップS9;2)、サーバ5は、グループ化されたストロークに対応する図形は三角形であると特定し(ステップS11)、ステップS19へ進む。また、変化点数が3以上である場合(ステップS9;3以上)、サーバ5は、さらに変化点数が3であるか否かを判定する(ステップS12)。なお、便宜上、図21に示すフローチャートには記載されていないが、変化点数が1の場合、サーバ5は、グループ化されたストロークに対応する図形を特定できないため、図形解析処理を終了する。
Then, the
変化点数が3以上である場合(ステップS12;No)、サーバ5は、グループ化されたストロークに対応する図形は円であると特定する(ステップS17)。一方、変化点数が3である場合(ステップS12;Yes)、サーバ5は、開始点、終了点及び変化点の位置座標に基づいて、各点を結ぶ全ての辺がX軸又はY軸のいずれかと平行であるか否かを判定する(ステップS13)。全ての辺がX軸又はY軸のいずれかと平行である場合(ステップS13;Yes)、サーバ5は、グループ化されたストロークに対応する図形は正方形/長方形であると特定し(ステップS14)、ステップS19に進む。一方、辺がX軸又はY軸のいずれかと平行ではない場合(ステップS13;No)、サーバ5は、グループ化されたストロークの特定領域における出現頻度が高いか否かを判定する(ステップS15)。
When the number of change points is 3 or more (step S12; No), the
出現頻度が低い場合(ステップS15;No)、サーバ5は、グループ化されたストロークに対応する図形は各辺がX軸及びY軸に平行ではない四角形であると特定し(ステップS16)、ステップS19へ進む。一方、出現頻度が高い場合(ステップS15;Yes)、サーバ5は、グループ化されたストロークに対応する図形は円であると特定する(ステップS17)。さらに、サーバ5は、開始点、終了点及び変化点の位置座標に基づいて、円の直径を算出する(ステップS18)。
When the appearance frequency is low (step S15; No), the
そして、サーバ5は、時間情報と、開始点、終了点及び変化点の位置座標とに基づいて、特定した図形に精緻化したイメージデータである精緻化データを生成する(ステップS19)。このとき、サーバ5は、特定した図形が円であれば、直径も考慮して精緻化データを生成する。さらに、サーバ5が、生成した精緻化データを、ネットワーク2を介して端末装置25に送信する(ステップS20)ことにより、図形解析処理は完了する。精緻化データを受信した端末装置25は、保存したり、画面上に出力したりといった所定の処理を行うことができる。
Then, the
なお、本実施形態では、端末装置25とサーバ5とは別々であって、ネットワーク2を介して接続されたものとしているが、本発明はこれに限定されるものではなく、それぞれの機能を備えた1つの端末装置であることとしてもよい。
In the present embodiment, the terminal device 25 and the
また、本実施形態では、特に記載していないが、サーバ5は、直線、三角形、正方形/長方形及び各辺がX軸及びY軸に平行ではない四角形の精緻化データを方法する場合に、開始点、終了点及び変化点の位置座標に基づいて、各図形の辺の長さを算出することとしてもよい。つまり、サーバ5は、利用者が電子ペン10を使用してフリーハンドで記入したストロークの分析を行い、グループ化されたストロークがいずれの図形であるかを特定すると共に、サイズやグリッドエリア上の位置に基づいて解析及び算出を行うことで精緻化データを生成している。
Although not particularly described in the present embodiment, the
本実施形態によれば、方眼用紙3上の目盛りに従ってフリーハンドで記入した図形の体裁を自動的に整えて、イメージ化することができる。このようなグリッドエリアを有する電子ペン用帳票は、工事現場等で図面を描く場合や、システムのフローチャート等を描く場合に特に有用である。
According to the present embodiment, it is possible to automatically arrange and form an image of a figure entered by freehand according to the scale on the
[変形例]
上記実施形態では記載していないが、図形の認識率を向上させるため、グリッドエリアに図形を記入する前に、予め図形選択ボックスにて記入する図形を選択することも可能である。この場合、電子ペン用帳票である方眼用紙3は、例えば図21に示すように、グリッドエリアの他に図形選択エリアを有している。図形選択エリアは、図示のように、各図形のイラストにチェックボックスが対応付けられている。利用者は、任意の図形に対応するチェックボックスにチェックマークを記入した後、グリッドエリアに当該図形を記入する。そして、利用者が送信ボックス39にチェックマークを記入することで、電子ペン10内に格納された記入情報が、端末装置25を介してサーバ5へ送信される。
[Modification]
Although not described in the above embodiment, in order to improve the recognition rate of the figure, it is possible to select a figure to be entered in advance in the figure selection box before entering the figure in the grid area. In this case, the
サーバ5は、予め、図形選択エリア内の各チェックボックスの内容と、各チェックボックスのドットパターン上の位置座標とを対応付けた座標テーブルを有している。そのため、サーバ5は、電子ペン10から取得した記入情報に基づいて、座標テーブルを参照することにより、利用者が選択した図形が何であるかを容易に特定することができる。よって、サーバ5は、利用者が選択した図形を考慮した上で、上記実施形態のようにグループ化されたストロークに対応する図形を特定することができる。即ち、図形の認識率を向上させることができる。
The
本発明によれば、フリーハンドで記入した図形を自動的に精緻化した上でイメージ化することが可能な方眼用紙として利用することができる。 According to the present invention, it is possible to use as a graph paper that can be imaged after automatically refining a figure entered by freehand.
2…ネットワーク
3…方眼用紙
5…サーバ
10…電子ペン
11…プロセッサ
12…メモリ
13…データ通信ユニット
14…バッテリー
25…端末装置
26…問い合わせサーバ
27…サービスサーバ
100…図形解析システム
DESCRIPTION OF
Claims (10)
前記電子ペン用帳票に記入された1つ以上のストロークを記入情報として取得する記入情報取得手段と、
前記記入情報に含まれる時間情報に基づいて、1つの図形に対応する1つ以上のストロークをグループ化するグループ化手段と、
前記記入情報に含まれるストロークから、所定の長さの線分を抽出する線分抽出手段と、
前記時間情報に基づいて、前記線分から、当該線分の記入に要した時間を予め決められた一定の時間幅を有する複数の時間帯に分割し、前記複数の時間帯毎にベクトルを抽出するベクトル抽出手段と、
前記ベクトルの移動方向に基づいて、前記線分の移動方向を特定する移動方向特定手段と、
前記線分の移動方向に基づいて、グループ化されたストローク中における前記線分の移動方向がX軸方向及び/又はY軸方向において異なる方向に変化し始めた点と最も近い前記グリッド上の点である変化点を特定する変化点特定手段と、
前記記入情報に含まれる前記時間情報及び前記位置情報に基づいて、グループ化されたストロークの中の開始点を特定する開始点特定手段と、
前記記入情報に含まれる前記時間情報及び前記位置情報に基づいて、グループ化されたストロークの中の終了点を特定する終了点特定手段と、
グループ化されたストローク中の変化点の数を算出する変化点数算出手段と、
前記変化点の数及び前記変化点のドットパターン上の位置情報に基づいて、記入された図形を直線、三角形、四角形又は円のいずれかの図形と特定する図形特定手段と、
前記図形特定手段による特定結果と、前記変化点、前記開始点及び前記終了点のドットパターン上の位置情報と、時間情報とに基づいて、前記図形特定手段による特定結果が直線、三角形、四角形のいずれかである場合には前記開始点、前記終了点及び前記変化点を時系列に基づいて直線で結んだ図形を直線、三角形、又は、四角形のイメージデータとして生成し、前記図形特定手段による特定結果が円である場合には当該円の直径を算出し、前記開始点、前記終了点及び前記変化点を円弧で結んだ図形を円のイメージデータとして生成するイメージデータ生成手段と、
を備えることを特徴とする処理装置。 A process for generating image data of a figure written on a form for an electronic pen printed with a dot pattern recognizable by the electronic pen and a grid composed of a horizontal line parallel to the X axis and a vertical line parallel to the Y axis In a processing device that performs
Entry information acquisition means for acquiring one or more strokes entered in the electronic pen form as entry information;
Grouping means for grouping one or more strokes corresponding to one graphic based on time information included in the entry information;
A line segment extracting means for extracting a line segment of a predetermined length from the stroke included in the entry information;
Based on the time information, the time required for entry of the line segment is divided from the line segment into a plurality of time zones having a predetermined time width, and a vector is extracted for each of the plurality of time zones. Vector extraction means;
A moving direction specifying means for specifying the moving direction of the line segment based on the moving direction of the vector;
Based on the moving direction of the line segment, the point on the grid closest to the point where the moving direction of the line segment in the grouped stroke starts to change in a different direction in the X-axis direction and / or the Y-axis direction a change point specifying means for specifying the change point is,
Start point specifying means for specifying a start point in the grouped strokes based on the time information and the position information included in the entry information;
End point specifying means for specifying end points in the grouped strokes based on the time information and the position information included in the entry information;
Change point calculation means for calculating the number of change points in the grouped stroke;
Based on the number of the change points and the position information on the dot pattern of the change points, figure specifying means for specifying the filled figure as any one of a straight line, a triangle, a quadrangle, and a circle;
Based on the identification result by the graphic identification unit, the positional information on the dot pattern of the change point , the start point and the end point , and the time information, the identification result by the graphic identification unit is a straight line, a triangle or a quadrangle. If it is any of them, a graphic connecting the start point, the end point, and the change point with a straight line based on a time series is generated as image data of a straight line, a triangle, or a quadrangle, and specified by the graphic specifying unit If the result is a circle, the diameter of the circle is calculated, and image data generating means for generating, as the image data of the circle, a figure formed by connecting the start point, the end point, and the change point with an arc ;
A processing apparatus comprising:
前記イメージデータ生成手段は、記入された図形が直線であると前記図形特定手段が特定した場合に、前記直線のイメージデータを生成することを特徴とする請求項1に記載の処理装置。 The graphic identifying means identifies the filled graphic as a straight line when the number of change points in the grouped stroke is zero,
Said image data generating means, the processing apparatus according to claim 1, characterized in that filled-in shape is when identified the graphic identification unit to be straight, to generate the image data before Kijika line.
前記イメージデータ生成手段は、記入された図形が三角形であると前記図形特定手段が特定した場合に、前記三角形のイメージデータを生成することを特徴とする請求項1又は2に記載の処理装置。 The graphic identifying means identifies the filled graphic as a triangle when the number of change points in the grouped stroke is two;
The image data generation unit, the process according to claim 1 or 2, characterized in that filled-in shape is when identified the graphic identification unit as a triangle, generates the image data of the previous SL triangle apparatus.
前記図形特定手段は、グループ化されたストローク中の変化点の数が3であって、且つ、前記軸判定手段が平行であると判定した場合に、記入された図形を正方形又は長方形であると特定し、
前記イメージデータ生成手段は、記入された図形が正方形又は長方形であると前記図形特定手段が特定した場合に、前記正方形又は長方形のイメージデータを生成することを特徴とする1乃至3のいずれか一項に記載の処理装置。 The processing device determines whether the movement direction of the line segment based on the position information of the start point, the end point, and the change point and the time information is parallel to either the X axis or the Y axis. An axis determining means for determining;
When the figure specifying means determines that the number of change points in the grouped strokes is 3 and the axis judging means is parallel, the filled figure is a square or a rectangle. Identify,
Said image data generating means are all filled-in shape is when identified the graphic identification unit to be square or rectangular, before KiTadashi square or rectangular to generate image data of 1 to 3, characterized in A processing apparatus according to claim 1.
前記イメージデータ生成手段は、記入された図形が前記各辺がX軸及びY軸に平行ではない四角形であると前記図形特定手段が特定した場合に、前記各辺がX軸及びY軸に平行ではない四角形のイメージデータを生成することを特徴とする請求項4に記載の処理装置。 The figure specifying means, the number of grouped change point in the stroke a 3, and, when the moving direction is determined said axis determining means and not parallel, the filled-in figure, each Specify that the side is a rectangle that is not parallel to the X and Y axes ,
The image data generating means, when the figure specifying means specifies that the filled figure is a quadrangle whose sides are not parallel to the X and Y axes, the sides are parallel to the X and Y axes. The processing apparatus according to claim 4 , wherein the image data is not quadrilateral image data.
前記処理装置は、前記開始点、前記終了点及び前記変化点の位置情報に基づいて、前記円の直径を算出する直径算出手段をさらに備え、
前記イメージデータ生成手段は、記入された図形が円であると前記図形特定手段が特定した場合、前記円のイメージデータを生成することを特徴とする請求項5に記載の処理装置。 The figure specifying means specifies the filled figure as a circle when the number of change points in the grouped stroke is 4 or more,
The processing apparatus further includes a diameter calculating unit that calculates a diameter of the circle based on position information of the start point, the end point, and the change point,
It said image data generation means, when filled-in shape is identified the graphic identification unit as a circle, the processing apparatus according to claim 5, characterized in that to generate the image data before Kien.
前記図形特定手段は、グループ化されたストローク中の変化点の数が3であり、前記軸判定手段が前記線分の移動方向が平行でないと判定し、且つ、前記特定領域判定手段がストロークの出現頻度が前記一定の出現頻度より低いと判定した場合に、記入された図形を各辺がX軸及びY軸に平行ではない四角形であると特定し、
前記イメージデータ生成手段は、記入された図形は各辺がX軸及びY軸に平行ではない四角形であると前記図形特定手段が特定した場合に、前記各辺がX軸及びY軸に平行ではない四角形のイメージデータを生成することを特徴とする請求項6に記載の処理装置。 In the specific area for discriminating between a circle and a quadrangle whose sides are not parallel to the X-axis and the Y-axis, the processing device has an appearance frequency of grouped strokes higher than a predetermined appearance frequency. Further comprising a specific area determining means for determining whether or not
The figure specifying means determines that the number of change points in the grouped stroke is 3, the axis determining means determines that the moving direction of the line segment is not parallel, and the specific area determining means is the stroke. When it is determined that the appearance frequency is lower than the certain appearance frequency, the filled figure is identified as a quadrangle whose sides are not parallel to the X axis and the Y axis ,
The image data generating means is configured such that when the figure specifying means specifies that the filled figure is a quadrangle whose sides are not parallel to the X axis and the Y axis, the sides are not parallel to the X axis and the Y axis. The processing apparatus according to claim 6 , wherein the processing unit generates non-rectangular image data.
前記イメージデータ生成手段は、記入された図形が円であると前記図形特定手段が特定した場合に、前記円のイメージデータを生成することを特徴とする請求項7に記載の処理装置。 The figure specifying means determines that the number of change points in the grouped stroke is 3, the axis determining means determines that the moving direction of the line segment is not parallel, and the specific area determining means is the stroke. If it is determined that the appearance frequency is higher than the certain appearance frequency, the filled figure is identified as a circle,
Said image data generating means, the processing apparatus according to claim 7, characterized in that filled-in shape is when identified the graphic identification unit as a circle, to generate the image data before Kien.
前記図形特定手段は、前記選択エリアにおいて選択された図形として、記入された図形を特定することを特徴とする請求項1乃至8のいずれか一項に記載の処理装置。 The form has a selection area in which a check mark is written by the electronic pen in order to select any of a straight line, a triangle, a square, or a circle.
The graphic specifying unit, as a figure selected in the selection area, the processing apparatus according to any one of claims 1 to 8, characterized in that identifying the filled-in shapes.
前記電子ペン用帳票に記入された1つ以上のストロークを記入情報として取得する記入情報取得手段、
前記記入情報に含まれる時間情報に基づいて、1つの図形に対応する1つ以上のストロークをグループ化するグループ化手段、
前記記入情報に含まれるストロークから、所定の長さの線分を抽出する線分抽出手段、
前記時間情報に基づいて、前記線分から、当該線分の記入に要した時間を予め決められた一定の時間幅を有する複数の時間帯に分割し、前記複数の時間帯毎にベクトルを抽出するベクトル抽出手段、
前記ベクトルの移動方向に基づいて、前記線分の移動方向を特定する移動方向特定手段、
前記線分の移動方向に基づいて、グループ化されたストローク中における前記線分の移動方向がX軸方向及び/又はY軸方向において異なる方向に変化し始めた点と最も近い前記グリッド上の点である変化点を特定する変化点特定手段、
前記記入情報に含まれる前記時間情報及び前記位置情報に基づいて、グループ化されたストロークの中の開始点を特定する開始点特定手段、
前記記入情報に含まれる前記時間情報及び前記位置情報に基づいて、グループ化されたストロークの中の終了点を特定する終了点特定手段、
グループ化されたストローク中の変化点の数を算出する変化点数算出手段、
前記変化点の数及び前記変化点のドットパターン上の位置情報に基づいて、記入された図形を直線、三角形、四角形又は円のいずれかの図形と特定する図形特定手段、
前記図形特定手段による特定結果と、前記変化点、前記開始点及び前記終了点のドットパターン上の位置情報と、時間情報とに基づいて、前記図形特定手段による特定結果が直線、三角形、四角形のいずれかである場合には前記開始点、前記終了点及び前記変化点を時系列に基づいて直線で結んだ図形を直線、三角形、又は、四角形のイメージデータとして生成し、前記図形特定手段による特定結果が円である場合には当該円の直径を算出し、前記開始点、前記終了点及び前記変化点を円弧で結んだ図形を円のイメージデータとして生成するイメージデータ生成手段、
として前記コンピュータを機能させることを特徴とするプログラム。 An image of a graphic entered on a form for an electronic pen printed by a dot pattern that is executed by a computer and can be recognized by an electronic pen, and a grid composed of horizontal lines parallel to the X axis and vertical lines parallel to the Y axis A program that performs processing to generate data,
Entry information acquisition means for acquiring one or more strokes entered in the electronic pen form as entry information;
Grouping means for grouping one or more strokes corresponding to one figure based on time information included in the entry information;
A line segment extracting means for extracting a line segment of a predetermined length from the stroke included in the entry information;
Based on the time information, the time required for entry of the line segment is divided from the line segment into a plurality of time zones having a predetermined time width, and a vector is extracted for each of the plurality of time zones. Vector extraction means,
A moving direction specifying means for specifying the moving direction of the line segment based on the moving direction of the vector;
Based on the moving direction of the line segment, the point on the grid closest to the point where the moving direction of the line segment in the grouped stroke starts to change in a different direction in the X-axis direction and / or the Y-axis direction change point specifying means for specifying the change point is,
Start point specifying means for specifying a start point in the grouped strokes based on the time information and the position information included in the entry information;
End point specifying means for specifying an end point in the grouped strokes based on the time information and the position information included in the entry information;
Change point number calculating means for calculating the number of change points in the grouped stroke;
Based on the number of the change points and the position information on the dot pattern of the change points, the figure specifying means for specifying the filled figure as one of a straight line, a triangle, a quadrangle, or a circle,
Based on the identification result by the graphic identification unit, the positional information on the dot pattern of the change point , the start point and the end point , and the time information, the identification result by the graphic identification unit is a straight line, a triangle or a quadrangle. If it is any of them, a graphic connecting the start point, the end point, and the change point with a straight line based on a time series is generated as image data of a straight line, a triangle, or a quadrangle, and specified by the graphic specifying unit If the result is a circle, the diameter of the circle is calculated, and image data generating means for generating a figure in which the start point, the end point, and the change point are connected by an arc as circle image data ;
A program for causing the computer to function as:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006003701A JP4887788B2 (en) | 2006-01-11 | 2006-01-11 | Processing device, program and electronic pen form |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006003701A JP4887788B2 (en) | 2006-01-11 | 2006-01-11 | Processing device, program and electronic pen form |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007188159A JP2007188159A (en) | 2007-07-26 |
JP4887788B2 true JP4887788B2 (en) | 2012-02-29 |
Family
ID=38343306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006003701A Expired - Fee Related JP4887788B2 (en) | 2006-01-11 | 2006-01-11 | Processing device, program and electronic pen form |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4887788B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4740972B2 (en) * | 2008-03-26 | 2011-08-03 | ヤフー株式会社 | Information linkage server, method and program for linking print information and print data |
JP5535585B2 (en) * | 2009-11-10 | 2014-07-02 | 株式会社ソニー・コンピュータエンタテインメント | Program, information storage medium, information input device, and control method thereof |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE520504C2 (en) * | 2001-11-30 | 2003-07-15 | Anoto Ab | Electronic pen and method for recording handwritten information |
-
2006
- 2006-01-11 JP JP2006003701A patent/JP4887788B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007188159A (en) | 2007-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007226577A (en) | Data input processing system, and terminal device using digital pen, and computer program thereof | |
JP4583232B2 (en) | Terminal device and program | |
JP4887788B2 (en) | Processing device, program and electronic pen form | |
JP2007055075A (en) | Card application for electronic pen | |
JP4220206B2 (en) | PROCEDURE SYSTEM, SERVER DEVICE THEREOF, AND COMPUTER PROGRAM | |
JP4788780B2 (en) | Information processing system, program and electronic pen form | |
JP4480974B2 (en) | Identification system, program and electronic pen form | |
JP4830651B2 (en) | Processing apparatus and program | |
JP4463664B2 (en) | Specific system and program | |
JP2007316795A (en) | Copy form for electronic pen | |
JP4717560B2 (en) | Server, control program and aggregation system | |
JP4802984B2 (en) | Processing apparatus and program | |
JP4672523B2 (en) | Specific device and program | |
JP4775246B2 (en) | Electronic pen and program | |
JP2005037990A (en) | Item specifying system and program | |
JP2009187235A (en) | Electronic pen and program used for the same | |
JP4451075B2 (en) | Correction method in correction processing system | |
JP4087204B2 (en) | Calculation system, calculation program and calculation form | |
JP2006221233A (en) | Business form for electronic pen | |
JP2005149264A (en) | Identification system and program | |
JP4957296B2 (en) | Terminal device, processing system, and program | |
JP2009015745A (en) | Electronic pen, program, and marking system | |
JP2007102403A (en) | Erasure processor, program, and business form for electronic pen | |
JP4198964B2 (en) | Form version recognition system, form version recognition processing program, and electronic pen form | |
JP2004127201A (en) | Calculation processing system, server device for calculation processing system, calculation processing program, and document for electronic pen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4887788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |