WO2016143394A1 - 電子筆記処理プログラム及び記録媒体 - Google Patents

電子筆記処理プログラム及び記録媒体 Download PDF

Info

Publication number
WO2016143394A1
WO2016143394A1 PCT/JP2016/051659 JP2016051659W WO2016143394A1 WO 2016143394 A1 WO2016143394 A1 WO 2016143394A1 JP 2016051659 W JP2016051659 W JP 2016051659W WO 2016143394 A1 WO2016143394 A1 WO 2016143394A1
Authority
WO
WIPO (PCT)
Prior art keywords
positional deviation
value
deviation correction
electronic writing
writing
Prior art date
Application number
PCT/JP2016/051659
Other languages
English (en)
French (fr)
Inventor
伊藤　千年
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2016143394A1 publication Critical patent/WO2016143394A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means

Definitions

  • the present invention relates to an electronic writing processing program and a recording medium for obtaining position data from a writing operation input by handwriting on a writing medium using a writing tool and performing electronic writing processing.
  • Patent Document 1 when desired writing is performed by handwriting input on a writing medium using a writing tool, electronic data that generates a plurality of position data of the writing tool that is moved by the writing operation as stroke data A writing device has been proposed.
  • the electronic writing apparatus transmits stroke data generated based on a plurality of position data to an external device via a communication network.
  • Patent Document 1 proposes a technique for correcting such positional deviation of position data.
  • the positional deviation correction according to Patent Document 1 described above corresponds to the positional deviation in units of pages as in the case where the paper medium is inclined with respect to the normal position.
  • the writing medium held in the electronic writing apparatus is bundled (bound) in a notebook shape in response to a request such as using text information or the like as data while using it as a normal handwritten memo. is there.
  • An object of the present invention is to correct a positional shift caused by a bundle thickness in a notebook-like writing medium held by an electronic writing apparatus, and to improve an operator's convenience and an electronic writing processing program To provide a medium.
  • the electronic writing processing program of the present invention obtains and corresponds to a plurality of position data of the writing tool that moves with a writing operation in units of pages to a writing medium using the writing tool.
  • a communication terminal connected to an electronic writing device that generates stroke data so as to be able to transmit and receive information, and is caused by a bundle thickness on the first page and the last page of the notebook-like writing medium held by the electronic writing device
  • a position deviation correction value candidate storage means for dividing the maximum deviation width of the position to be divided into an arbitrary number and storing the center value of the position deviation width at each divided position as a position deviation correction candidate value; and a predetermined position on the writing medium.
  • a notebook format storage unit that stores the coordinates of the vertical and horizontal frame lines of the predetermined area provided for the calculation unit provided in the communication terminal to generate in the electronic writing device
  • a reception procedure for receiving the stroke data received from the electronic writing device, and an index for storing a positional deviation correction index value based on a generation result of the stroke data that has been corrected for positional deviation with a positional deviation correction candidate value at each of the divided positions
  • a value comparison procedure, and a position deviation correction value determination procedure for determining, as a position deviation correction value, the position deviation correction candidate value having the best position deviation correction index value compared in the index value comparison procedure.
  • the electronic writing apparatus is equipped with a notebook writing medium made of a predetermined paper medium.
  • the electronic writing apparatus acquires a plurality of position data of the writing instrument that moves by the writing operation.
  • the electronic writing device generates stroke data corresponding to the description on the writing medium based on the plurality of position data.
  • the generated stroke data is transmitted to a communication terminal such as a smartphone or a tablet terminal.
  • the communication terminal divides the maximum deviation width of the position caused by the bundle thickness on the first page and the last page in a state in which the writing medium is bound in a notebook shape held by the electronic writing device into an arbitrary number of divisions.
  • the center value of the position deviation width at the position is stored in the position deviation correction value candidate storage means as a position deviation correction candidate value.
  • the communication terminal stores the coordinates of the vertical and horizontal frame lines of a predetermined area provided at a predetermined position of the writing medium in the note format storage means.
  • the calculation means of the communication terminal receives the stroke data generated by the electronic writing device by the receiving means, generation of stroke data in which the positional deviation correction is performed with the positional deviation correction candidate values at the respective divided positions with respect to the notebook writing medium.
  • a misalignment correction index value based on the result (for example, a character recognition result or the number of intersections between the vertical frame line and the stroke data) is stored.
  • the computing means of the communication terminal calculates a positional deviation correction index for each positional deviation correction candidate value in a state in which the positional deviation correction is performed using the positional deviation correction candidate value for the stroke data within the predetermined area frame line of the writing medium.
  • the values for example, the character recognition rate as the character recognition result, the number of intersections, etc. are compared.
  • the computing means of the communication terminal determines the position deviation correction candidate value with the best positional deviation correction index value compared (for example, the highest character recognition rate and the smallest number of intersections) as the position deviation correction value. .
  • the recognized character in a state in which the stroke data is corrected for positional deviation using the determined positional deviation correction value is displayed on the display screen or the like, so that the operator has performed appropriate positional deviation correction. Can be confirmed.
  • the position deviation correction value determination procedure is performed for each of the left and right in the state where the writing medium is opened.
  • the positional deviation correction value is determined, the positional deviation caused by the different thicknesses on the left and right can be corrected.
  • the positional deviation correction value storage means of the communication terminal may be configured to arbitrarily set the maximum deviation width of the position due to the bundle thickness on the first page and the last page of the notebook-like writing medium held by the electronic writing device. By dividing into a number and storing the center value of the positional deviation width at each equally divided position as a positional deviation correction candidate value, it is possible to contribute to the simplification of the arithmetic processing in the arithmetic means.
  • the maximum positional deviation width increases, so it is preferable to increase the number of divisions as the maximum deviation width increases.
  • the present invention it is possible to correct the positional deviation caused by the bundle thickness in the notebook writing medium held by the electronic writing apparatus, and to improve the convenience for the operator.
  • the system S of this embodiment has the smart phone 10 as a communication terminal, and the electronic writing apparatus 100 which detects an operator's writing operation and transmits stroke data to the smart phone 10, as shown in FIG.
  • the smartphone 10 and the electronic writing device 100 can transmit and receive information to and from each other through a wireless communication network NT via a wireless communication interface (for example, WiFi, WiFi Direct, BlueTooth (registered trademark), etc.).
  • a wireless communication interface for example, WiFi, WiFi Direct, BlueTooth (registered trademark), etc.
  • an electronic writing device 100 detects an operator's writing operation using an electronic pen 200 corresponding to a known electromagnetic induction type writing instrument. That is, the electronic writing device 100 uses the electronic pen 200 to write information on the paper medium 120 opened in a notebook shape attached to the supports 110L and 110R when the electronic writing device 100 is opened. At this time, the handwriting input device is thin and light, and detects and digitizes the position of the electronic pen 200 over time.
  • the electronic writing device 100 is a left-right spread type that has a thin rectangular parallelepiped shape that is long in the vertical direction in plan view. In the spread state, the left support 110L, the right support 110R, and the support 110L are supported. A hinge part 110H that holds the body 110R so as to be openable and closable in a spread state is provided.
  • the display communication unit unit 130 is provided on the upper part of the support 110R of the electronic writing apparatus 100.
  • the display communication unit unit 130 includes three LED display units 132, 134, and 136.
  • the LED display unit 132 is turned on to indicate that the power is on
  • the LED display unit 134 is turned on to indicate that the Bluetooth (registered trademark) communication is in progress
  • the LED display unit 136 is turned on. By this, it is presented that the pen touch writing is being detected by the electronic pen 200.
  • the LED display unit 132 blinks to indicate that the remaining battery capacity is small
  • the LED display unit 134 blinks to indicate that the radio wave condition is weak
  • the LED display unit 136 blinks.
  • it functions as a standby time notification unit that indicates that it is in a standby time described later.
  • the paper medium 120 as a writing medium is placed on the support 110L and the support 110R, and the coordinate detection unit 112L and the coordinate detection unit 112R (with the same range as the support 110L and the support 110R are included).
  • both the left and right sides are also referred to as a “coordinate detection unit 112” (see FIG. 2 described later).
  • the coordinate detection unit 112L and the coordinate detection unit 112R use coordinate information indicating the position of the electronic pen 200 (for example, the upper left portions of the support 110L and the support 110R are set to the origin (0, 0) of the XY coordinates). To detect.
  • the support 110L and the support 110R can be used as the left page 120L and the right page 120R when the paper medium 120 is properly placed on the support 110L and the support 110R. At this time, the left and right supports 110L and 110R hold the posture in which the upper left corner of the paper medium 120 placed on each of the supports 110L and 110R coincides with the origin (0, 0).
  • the core 202 of the electronic pen 200 is always urged in the distal direction by an elastic member (not shown).
  • the core 202 is slightly retracted into the electronic pen 200 against the urging force of the elastic member by a pressing force when the user writes a character or the like on the paper medium 120.
  • the detection switch 204 disposed at the rear end of the core 202 is turned on.
  • the battery 206 and the coil 208 are electrically connected, current flows from the battery 206 toward the coil 208, and a current flows through the coil 208 to generate a magnetic field.
  • the electronic writing apparatus 100 includes coordinate detection units 112L and 112R, a CPU 140, a ROM 142, a RAM 144, a flash memory 148, an LED display unit 132, and drive circuits 152L and 152R. And a communication control unit 154.
  • the communication control unit 154 controls information transmission / reception between the electronic writing device 100 and the smartphone 10 via the network communication line NW.
  • the coordinate detection unit 112 detects the magnetic field generated from the coil 208 based on electromagnetic induction. Since this detection is sufficient by a known method, detailed description is omitted. Based on the detection result of the coordinate detection unit 112, the CPU 140 includes a plurality of pieces of position information corresponding to the movement of the electronic pen 200 when the user performs a writing operation on the paper medium 120 using the electronic pen 200 (that is, the above-described position information). Get coordinate information).
  • the coordinate system having the upper left coordinate (X, Y) of the coordinate detection unit 112 as the origin (0, 0), the right direction as the X axis, and the lower direction as the Y axis. Is used. That is, the value of the X coordinate represents the horizontal position in the coordinate detection unit 112, and the value of the Y coordinate represents the vertical position.
  • the ROM 142, the RAM 144, and the flash memory 148 are electrically connected to the CPU 140.
  • the ROM 142 includes a program storage area 142A and an image data storage area 142B.
  • Various programs executed by the CPU 140 to control the electronic writing apparatus 100 are stored in the program storage area 142A.
  • the image data storage area 142B stores image data corresponding to the format information of the paper medium 120 described later.
  • the RAM 144 is used as a storage area for temporarily storing various data.
  • the flash memory 148 includes a coordinate information storage area 148A.
  • a coordinate information data table is stored in the coordinate information storage area 148A.
  • the smartphone 10 combines an arithmetic device (equivalent to arithmetic means) 12 such as a microcomputer, a memory device 14 (equivalent to a recording medium), a display unit, and an operation unit.
  • a touch panel 16 and a communication control unit 13 are included.
  • the arithmetic device 12 executes, for example, an electronic writing processing program (a program for executing each procedure shown in FIGS. 8 and 10 described later) stored in the memory device 14 according to the present embodiment. It has a function to do.
  • the memory device 14 may be a detachable memory (for example, micro SD-CARD).
  • the paper medium 120 is bound in a notebook shape, and predetermined frames and characters are printed on both sides so that the paper medium 120 can be used as the left page 120L and the right page 120R in a spread state.
  • the paper medium 120 includes an entry date (DATE), an entry start time (TIME), an entry title (TITLE), an entry place (PLACE), a participant (MEMBER), and the like.
  • the paper medium 120 uses, for example, all or part of the bibliographic item entry field as a predetermined area frame line for calculating the misalignment correction value.
  • the stroke data is a pen position data sequence composed of a plurality of coordinate information acquired by the CPU 140 based on the detection result of the coordinate detection unit 112. 4 and 5 show examples of two stroke data “a” and “b”.
  • the first stroke data “a” is data representing the locus of the one-stroke portion from the beginning of writing to the end of writing of the character “a” by the electronic pen 200.
  • the character “a” has 11 coordinate information (X1, Y1), (X2, Y2),..., (X11) corresponding to the pen position numbers T1, T2,. , Y11).
  • the second stroke data “b” is data representing the trajectory of the one-stroke portion from the beginning of writing of the character “b” by the electronic pen 200 to the end of writing.
  • the character “b” has ten pieces of coordinate information (X12, Y12), (X13, Y13),... (X21, corresponding to the pen position numbers T12, T13,. Y21).
  • the CPU 140 uses a plurality of pieces of coordinate information according to the detection result of the coordinate detection unit 112, and the stroke corresponding to the content written on the paper medium 120 by the user (operator) using the electronic pen 200. Generate data.
  • ⁇ Flow from handwriting input to character recognition> a schematic flow from user (operator) handwriting input to character recognition will be described.
  • the operator inputs an arbitrary character string by handwriting using the electronic pen 200 on the right page 120R supported by the support 110R.
  • the electronic writing device 100 generates stroke data for the character string handwritten on the right page 120R.
  • the electronic writing device 100 transmits the stroke data to the smartphone 10.
  • the smartphone 10 that has received the stroke data performs character recognition on the stroke data by a known method.
  • the memory device 15 of the smartphone 10 stores the center value of the positional deviation width at each division position when the maximum deviation width M is divided into an arbitrary number as a positional deviation correction candidate value, and also stores the paper medium 120.
  • the coordinates of the predetermined area frame line provided at a predetermined position are stored as a note format.
  • the arithmetic device 12 receives the stroke data generated in the electronic writing device 100 from the electronic writing device 100, and based on the generation result of the stroke data in which the position shift correction is performed with the position shift correction candidate value at each divided position. To perform the above character recognition.
  • the arithmetic unit 12 compares the character recognition result for each position shift correction candidate value in the state where the position shift correction candidate value is used for the stroke data within the predetermined area frame line with the character recognition rate.
  • the position deviation correction candidate value having the highest character recognition rate compared is determined as the position deviation correction value.
  • the maximum positional deviation amount (one-side page) due to the thickness from the first page to the last page is set as M, and for example, this M is evenly divided into a plurality.
  • the page ranges (position shift widths) M1, M2, M3, M4, and M5 are set by dividing into equal parts (in this example, 5 parts, but may be 2 to 4 parts or 6 parts or more).
  • the memory device 14 stores the positional deviation correction candidate values based on the center values corresponding to the intermediate points of the page ranges M1, M2, M3, M4, and M5 that are equally divided into five.
  • Step S1 In step S ⁇ b> 1, the arithmetic device 12 receives the stroke data corresponding to the description over a plurality of pages of the paper medium 120 from the electronic writing device 100. This procedure corresponds to the receiving procedure described in each claim. Thereafter, the process proceeds to step S2.
  • Step S2 the arithmetic device 12 acquires the note type of the paper medium 120 set in the electronic writing device 100, and proceeds to step S3.
  • This note type may be acquired based on the manufacturer name or product number input via the touch panel 16 by the operator, or based on the number of pages input by the operator in a state where an appropriate application is launched. You may make it acquire.
  • Step S3 the arithmetic unit 12 calls position shift width data from the table stored in the memory device 14 in advance according to the note type acquired in step S2, and proceeds to step S4.
  • the arithmetic unit 12 sets the maximum deviation width M as the positional deviation width of the last page in the left page 120L.
  • Step S4 the arithmetic unit 12 equally divides the maximum misalignment width M into a plurality (in this example, five divisions, the same applies hereinafter), and determines each page range M1, M2, M3, M4, and M5. For example, in the case of 200 pages (100 sheets) of notes, the arithmetic unit 12 assigns all 20 sheets as page ranges M1, M2, M3, M4, and M5. Then, the arithmetic unit 12 determines an offset amount (corresponding to a position shift correction candidate value) corresponding to the center position of each range.
  • the offset of the range M1 is M / 10
  • the offset of the range M2 is 3M / 10
  • the offset of the range M3 is 5M / 10
  • the offset of the range M4 is 7M / 10
  • the range M5 The above offset is 9M / 10 (see FIG. 7).
  • the arithmetic unit 12 sets n related to the processing target range Mn in the following procedure to 1 and clearly sets the maximum character recognition rate Rmax to 0. Thereafter, the process proceeds to step S5.
  • Step S5 the arithmetic unit 12 determines whether or not the handwritten input in the predetermined area frame is an entry on the left page 120L. If it is a handwritten input to the left page 120L, the determination is satisfied (Yes), and the routine goes to Step S6. If it is not a handwritten input to the left page 120L (a handwritten input to the right page 120R), the determination is not satisfied (No), and the process proceeds to step S7.
  • Step S6 the arithmetic unit 12 adds, to the coordinate data of the predetermined area frame line (note recognition frame), the offset amount set in step S4 with respect to the center value of the page range Mn (if the range is M1, M / 10. Add 3M / 10 for range M2, 5M / 10 for range M3, 7M / 10 for range M4, 9M / 10) for range M5, and proceed to step S8.
  • Step S7 the arithmetic unit 12 determines, for example, from the coordinate data of the predetermined area frame line (note recognition frame), the offset amount set in step S4 with respect to the center value of the page range Mn (if the range is M1). M / 10, 3M / 10 in the range M2, 5M / 10 in the range M3, 7M / 10 in the range M4, 9M / 10) in the range M5, and proceeds to step S8.
  • step S8 the arithmetic unit 12 uses the stroke data included in the virtual predetermined area frame line with the predetermined area frame line corrected as described above, that is, the virtual predetermined area frame line as a reference. Perform character recognition. Then, the arithmetic unit 12 determines the character recognition rate R (determined based on the character recognition rate of character recognition, that is, the match rate with the character shape stored as data in the internal processing of character recognition, the match rate with the word dictionary, and the like. (Corresponding to an example of a positional deviation correction index value) is stored in the memory device 14, and the process proceeds to step S9.
  • the procedure of step S8 corresponds to a character recognition result storing procedure described in each claim and also corresponds to an example of an index value storing procedure.
  • step S9 the arithmetic unit 12 compares the character recognition rate R at this time with the above Rmax (initially 0), and determines whether or not R> Rmax.
  • R> Rmax Yes
  • the process proceeds to step S10, and when R ⁇ Rmax (No), the process skips to step S11.
  • step S10 the arithmetic unit 12 sets the character recognition rate R as the maximum character recognition rate Rmax at this time, and proceeds to step S11.
  • step S9, S10 is equivalent to an example of an index value comparison procedure while being equivalent to the recognition rate comparison procedure of each claim statement.
  • Step S11 the arithmetic unit 12 adds 1 to the value of n. Thereafter, in step S12, the arithmetic unit 12 determines whether or not n ⁇ 5. If n ⁇ 5, the determination in step S12 is not satisfied, and the process returns to step S5 and the same procedure is repeated. If n ⁇ 5, the determination in step S12 is satisfied, and the process proceeds to step S13.
  • Step S13 the arithmetic unit 12 adopts the CR at this point as the official positional deviation correction value (CR), performs character recognition of the stroke data using the positional deviation correction value (CR), and executes this routine. Exit. Note that this step S13 corresponds to a position deviation correction value determination procedure described in each claim.
  • the arithmetic device 12 of the smartphone 10 holds the paper medium 120 when the paper medium 120 bound in a notebook shape by the electronic writing device 100 as described above is held in a state where both left and right pages are spread.
  • a positional deviation correction value is determined for each of the left and right sides in a spread state.
  • the cancel setting or the stroke data itself may be stored so as not to perform positional deviation correction.
  • a positional deviation amount from the first page to the last page is obtained in advance, and the difference between the first and last deviations is evenly divided into a plurality. It is stored as a basic value of the divided position deviation. That is, the arithmetic device 12 of the smartphone 10 equalizes the maximum deviation width of the position due to the bundle thickness on the first page and the last page in a state where the paper medium 120 is bound in a notebook shape held by the electronic writing device 100. Divide into any number.
  • the memory device 14 stores the center value of the positional deviation width at each of the equally divided positions (the basic value of the positional deviation) as a positional deviation correction candidate value, thereby contributing to the simplification of the arithmetic processing. it can.
  • the number of divisions may be increased as the maximum deviation width increases. Note that, as the maximum positional deviation width increases, the amount of positional deviation increases as it approaches the maximum value. Therefore, it is not always necessary to divide evenly. The closer the maximum value, the smaller the number of divisions. In the case of left and right spread, since the relationship between the left and right thicknesses is reversed in the center page, the left and right correction values can be simply reversed.
  • the arithmetic device 12 of the smartphone 10 displays (display procedure) the recognized character in a state in which the stroke data is corrected for position shift using the determined position shift correction value. It is possible to confirm whether or not the operator is performing proper positional deviation correction.
  • the smartphone 10 may display a plurality of top (for example, 2 to 3) results having a high character recognition rate and allow the operator to select which correction value to use.
  • the stroke data itself in a state where character recognition is not performed may be displayed adjacently. As a result, it is possible to recognize a factor or the like that has decreased the character recognition rate due to an operator's writing or omission, scribbled writing, or the like.
  • the character recognition rate is used as the positional deviation correction index value indicating the degree of correction of the positional deviation.
  • the present invention is not limited to this. . That is, if the above-described misalignment is correct, as shown conceptually in FIG. 9A, the “DATE”, “TIME”, “TITLE”, “PLACE”, “MEMBER”, etc. of the paper medium 120 are conceptually shown. Stroke data should be generated so as not to intersect the vertical and horizontal frame lines of each entry field (so that the number of intersections is 0).
  • a positional shift occurs as described above, for example, as shown in FIG.
  • step S4 ′ the process proceeds to step S4 ′ newly provided through step S1, step S2, and step S3 equivalent to FIG.
  • the arithmetic unit 12 equally divides the maximum misalignment width M into five to determine the page ranges M1, M2, M3, M4, and M5, and at the center position of each range, as in step S4.
  • a corresponding offset (corresponding to a positional deviation correction candidate value) is determined.
  • the minimum intersection number Smin is initially set to a predetermined value (20 in this example) that is somewhat large.
  • step S8 ′ the arithmetic unit 12 uses the predetermined area frame line corrected as described above, ie, the virtual predetermined area frame line as a reference, the stroke data included in the virtual predetermined area frame line, The number S of intersections with the vertical frame line LL (corresponding to an example of a positional deviation correction index value) is counted. Then, the count result is stored in the memory device 14, and the process proceeds to step S9 '.
  • This step S8 ' corresponds to the intersection number storing procedure described in each claim and also corresponds to an example of the index value storing procedure.
  • step S9 ′ the arithmetic unit 12 compares the number S of intersections at this time with the above Smin (initially 20), and determines whether S ⁇ Smin. If S ⁇ Smin (Yes), the determination is satisfied and the routine goes to Step S10. If S ⁇ Smin (No), the determination is not satisfied and the routine skips to Step S11.
  • step S10 ' the arithmetic unit 12 sets the above S as the minimum intersection number Smin at this point, and proceeds to step S11. Note that step S9 'and step S10' correspond to an intersection number comparison procedure described in each claim and also an example of an index value comparison procedure.
  • Step S11, Step S12, and Step S13 are performed in the same manner as in FIG. 8 on the premise of the processing contents of Step S4 ′, Step S8 ′, and Step S9 ′. That is, in step S11, the arithmetic unit 12 adds 1 to the value of n. Thereafter, in step S12, the arithmetic unit 12 determines whether or not n ⁇ 5. If n ⁇ 5, the determination in step S12 is not satisfied, and the process returns to step S5 and the same procedure is repeated. If n ⁇ 5, the determination in step S12 is satisfied, and the process proceeds to step S13.
  • step S13 the arithmetic unit 12 adopts the CR at this point as the formal positional deviation correction value (CR), performs character recognition of the stroke data using the positional deviation correction value (CR), and executes this routine. Exit. In this modification as well, this step S13 corresponds to a position deviation correction value determination procedure described in each claim.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】電子筆記装置で保持したノート状の被筆記媒体における束厚に起因する位置ズレを補正することができ、操作者の利便性を向上する。 【解決手段】ノート状の紙媒体の最初のページ及び最後のページでの束厚に起因する位置の最大ズレ幅Ｍを任意数に分割して各分割位置における位置ズレ幅の中心値を位置ズレ補正候補値として、紙媒体の所定位置に設けた所定エリア枠線の座標をノートフォーマットとして、記憶する。演算装置は、生成したストロークデータを電子筆記装置から受信し、位置ズレ補正したストロークデータの生成結果に基づいて行った文字認識結果を記憶し、所定エリア枠線内のストロークデータに対して位置ズレ補正候補値を用いて位置ズレ補正した状態における位置ズレ補正候補値ごとの文字認識結果を文字認識率で比較し、比較した文字認識率が最も高い位置ズレ補正候補値を位置ズレ補正値として決定する。

Description

電子筆記処理プログラム及び記録媒体
　本発明は、筆記具を用いて被筆記媒体に手書き入力した筆記動作から位置データを取得して電子筆記処理を行う電子筆記処理プログラム及び記録媒体に関する。
　例えば、特許文献１に記載されているように、筆記具を用いて被筆記媒体に手書き入力により所望の書き込みを行うと、その筆記動作により移動する筆記具の複数の位置データをストロークデータとして生成する電子筆記装置が提案されている。そしてこの電子筆記装置は、複数の位置データに基づいて生成したストロークデータを通信ネットワークを介して外部装置へ送信している。
　この際、被筆記媒体としての紙媒体に位置ズレが発生すると、手書き入力による複数の位置データにも位置ズレが発生してしまう。そこで、特許文献１では、このような位置データの位置ズレを補正する技術を提案している。
特開２０１４－１９１６６２号公報
　しかしながら、上記特許文献１による位置ズレ補正は、紙媒体が正規位置に対して斜めになってしまっている場合のように、ページ単位での位置ズレに対応するものであった。
　一方、電子筆記装置に保持される被筆記媒体には、通常の手書きメモとして利用しつつ文字情報等をデータとしても残しておきたい等の要望により、ノート状に束ねた（綴じた）ものがある。
　ところが、このようなノート状の被筆記媒体の場合、その厚さ（ページ数）に起因して、最初のページと最後のページとで最大となる位置ズレが発生する。
　本発明の目的は、電子筆記装置で保持したノート状の被筆記媒体における束厚に起因する位置ズレを補正することができ、操作者の利便性を向上することができる電子筆記処理プログラム及び記録媒体を提供することにある。
　上記目的を達成するために、本願発明の電子筆記処理プログラムは、筆記具を用いた被筆記媒体へのページ単位での筆記動作に伴って移動する前記筆記具の複数の位置データを取得して対応するストロークデータを生成する電子筆記装置と情報送受信可能に接続された通信端末であって、前記電子筆記装置で保持したノート状の前記被筆記媒体の最初のページ及び最後のページでの束厚に起因する位置の最大ズレ幅を任意の数に分割して各分割位置における位置ズレ幅の中心値を位置ズレ補正候補値として記憶する位置ズレ補正値候補記憶手段と、前記被筆記媒体の所定位置に設けた所定エリアの縦・横枠線の座標を記憶するノートフォーマット記憶手段と、を有する通信端末に備えられる演算手段に対し、前記電子筆記装置において生成された前記ストロークデータを当該電子筆記装置から受信する受信手順と、前記各分割位置での位置ズレ補正候補値で位置ズレ補正した前記ストロークデータの生成結果に基づく位置ズレ是正指標値を記憶する指標値記憶手順と、前記所定エリア枠線内のストロークデータに対して前記位置ズレ補正候補値を用いて位置ズレ補正した状態における前記位置ズレ補正候補値ごとの前記位置ズレ是正指標値を比較する指標値比較手順と、前記指標値比較手順で比較した位置ズレ是正指標値が最も良好な前記位置ズレ補正候補値を位置ズレ補正値として決定する位置ズレ補正値決定手順と、を実行させる。
　本願発明においては、操作者が電子筆記装置を用いてノート状の被筆記媒体に対し手書き入力を行うと、被筆記媒体へのページ単位での筆記動作に伴って移動する筆記具の複数の位置データを取得して対応するストロークデータを生成する。
　すなわち、電子筆記装置は、所定の紙媒体などからなるノート状の被筆記媒体を装着している。電子筆記装置は、操作者が被筆記媒体を見開いて所定のページに対し筆記具を用いて所望の手書き入力を行うと、その筆記動作により移動する筆記具の複数の位置データを取得する。そして、電子筆記装置は、被筆記媒体への記載に対応したストロークデータを複数の位置データに基づいて生成する。
　ここで、生成したストロークデータは、例えば、スマートフォンやタブレット端末等の通信端末に送信する。通信端末は、電子筆記装置で保持したノート状に被筆記媒体を綴じた状態における最初のページ及び最後のページでの束厚に起因する位置の最大ズレ幅を任意の数に分割して各分割位置における位置ズレ幅の中心値を位置ズレ補正候補値として位置ズレ補正値候補記憶手段に記憶している。また、通信端末は、被筆記媒体の所定位置に設けた所定エリアの縦・横枠線の座標をノートフォーマット記憶手段に記憶している。
　通信端末の演算手段は、受信手段により電子筆記装置で生成したストロークデータを受信すると、ノート状の被筆記媒体に対して各分割位置での位置ズレ補正候補値で位置ズレ補正したストロークデータの生成結果に基づく位置ズレ是正指標値（例えば、文字認識結果や縦枠線とストロークデータとの交点数など）を記憶する。
　次に、通信端末の演算手段は、被筆記媒体の所定エリア枠線内のストロークデータに対して位置ズレ補正候補値を用いて位置ズレ補正した状態における位置ズレ補正候補値ごとの位置ズレ是正指標値（例えば、文字認識結果としての文字認識率や上記交点数など）を比較する。
　そして、通信端末の演算手段は、比較した位置ズレ是正指標値が最も良好な（例えば上記文字認識率が最高な、上記交点数が最小な）位置ズレ補正候補値を位置ズレ補正値として決定する。
　これにより、束厚に起因する最大の位置ズレ量に対して、現在使用しているページの厚さに起因する位置ズレであるのかを適切に認識して位置ズレ補正を実行することができる。
　また、表示手順で、決定した位置ズレ補正値を用いてストロークデータを位置ズレ補正した状態の認識文字を表示画面等に表示することにより、操作者は、適正な位置ズレ補正を行っているか否かの確認をすることができる。
　また、電子筆記装置によりノート状に綴じた被筆記媒体を左右両ページの見開き状態で保持している場合には、位置ズレ補正値決定手順で、被筆記媒体を見開いた状態での左右各々に対して位置ズレ補正値を決定すれば、左右で異なる厚さに起因する位置ズレを補正することができる。
　さらに、通信端末の位置ズレ補正値記憶手段が、電子筆記装置で保持したノート状の被筆記媒体の最初のページ及び最後のページでの束厚に起因する位置の最大ズレ幅を均等な任意の数に分割し、各均等分割位置における位置ズレ幅の中心値を位置ズレ補正候補値として記憶することにより、演算手段における演算処理の容易化に貢献することができる。
　この際、束厚が厚くなるほど、最大の位置ズレ幅は大きくなるので、最大ズレ幅が大きいほど分割数を増やすのが好ましい。
　本発明によれば、電子筆記装置で保持したノート状の被筆記媒体における束厚に起因する位置ズレを補正することができ、操作者の利便性を向上することができる。
本発明の実施形態の電子筆記処理プログラムを実行する通信端末と電子筆記装置との関係を示すシステムの全体構成の説明図である。 電子筆記装置及び通信端末の電気的構成を表す機能ブロック図である。 本発明の実施形態の電子筆記装置に適用される１ページ分の被筆記媒体の正面図である。 ストロークデータの一例を説明する説明図である。 ストロークデータにおけるペン位置番号と座標データとの対応付けの一例を説明する説明図である。 被筆記媒体の束厚に起因する位置ズレ量の説明図である。 位置ズレ補正の一例を示す説明図である。 本発明の実施形態において通信端末が備える演算装置により実行される制御手順を示すフロー図である。 縦枠線とストロークデータとの交点数を用いる変形例における、位置ズレによって交点が生じる挙動を説明するための説明図である。 通信端末が備える演算装置により実行される制御手順を示すフロー図である。
　以下、本発明の実施形態を図面を参照しつつ説明する。
　＜システム概略＞
　本実施形態のシステムＳは、図１に示すように、通信端末としてのスマートフォン１０と、操作者の筆記動作を検出してスマートフォン１０にストロークデータを送信する電子筆記装置１００と、を有する。これらスマートフォン１０と電子筆記装置１００とは、相互に無線通信インターフェース（例えば、ＷｉＦｉ、ＷｉＦｉダイレクト、ＢｌｕｅＴｏｏｔｈ（登録商標）等）を介した無線通信ネットワークＮＴを通じて情報を送受可能となっている。
　＜電子筆記装置の概略構成＞
　次に、本実施形態の電子筆記装置１００の概略構成を説明する。以下の説明では、図１の左上側、右下側、上側、下側、右上側、及び左下側を、電子筆記装置１００の左側、右側、上側、下側、後側、及び前側として説明する。
　図１において、電子筆記装置１００は、公知の電磁誘導式の筆記具に相当する電子ペン２００を用いた操作者の筆記動作を検出する。つまり、電子筆記装置１００は、操作者が電子ペン２００を用いて、電子筆記装置１００を見開いた状態のときの支持体１１０Ｌ，１１０Ｒに装着したノート状で見開いた紙媒体１２０に情報を筆記した際に、電子ペン２００の位置を経時的に検出し電子化する、薄型軽量の手書き入力装置である。
　＜電子筆記装置＞
　電子筆記装置１００は、平面視で上下方向に長い薄型の直方体状の形状を呈する左右見開きタイプであり、その見開き状態において左側の支持体１１０Ｌと、右側の支持体１１０Ｒと、支持体１１０Ｌと支持体１１０Ｒとを見開き状態で開閉可能に保持するヒンジ部１１０Ｈと、備えている。
　電子筆記装置１００の支持体１１０Ｒの上部には、表示通信ユニット部１３０を有している。表示通信ユニット部１３０は、３つのＬＥＤ表示部１３２，１３４，１３６を備えている。ＬＥＤ表示部１３２は点灯することで電源ＯＮ状態にあることを提示し、ＬＥＤ表示部１３４は点灯することでＢｌｕｅＴｏｏｔｈ（登録商標）通信中状態にあることを提示し、ＬＥＤ表示部１３６は点灯することで電子ペン２００によるペンタッチの筆記検出中にあることを提示する。
　また、例えば、ＬＥＤ表示部１３２は点滅することでバッテリ容量が残り僅かであることを提示し、ＬＥＤ表示部１３４は点滅することで電波状態が弱いことを提示し、ＬＥＤ表示部１３６は点滅することで後述する待機時間中であることを提示する待機時間報知部として機能する。
　支持体１１０Ｌ及び支持体１１０Ｒには、被筆記媒体としての上記紙媒体１２０が載置されるとともに、支持体１１０Ｌ及び支持体１１０Ｒとほぼ同一の範囲となる座標検出部１１２Ｌ及び座標検出部１１２Ｒ（以下、左右両方を含めて「座標検出部１１２」とも称する。後述の図２参照）を有する。
　座標検出部１１２Ｌ及び座標検出部１１２Ｒは、電子ペン２００の位置を表す座標情報（例えば、支持体１１０Ｌ及び支持体１１０Ｒのそれぞれの左上部をＸＹ座標の原点（０，０）とする。）を検出する。そして、支持体１１０Ｌ及び支持体１１０Ｒは、紙媒体１２０を支持体１１０Ｌ及び支持体１１０Ｒに適正に載置したときに、左ページ１２０Ｌ及び右ページ１２０Ｒとして利用可能となる。この際、左右の各支持体１１０Ｌ，１１０Ｒは、それぞれに載置した紙媒体１２０の左上の隅部が原点（０，０）に一致する姿勢で保持する。
　＜電子ペンの座標情報の検出＞
　電子ペン２００の、芯２０２は、図示しない弾性部材により常に先端方向に付勢されている。芯２０２は、ユーザが紙媒体１２０に文字等を筆記する場合の押圧力によって、上記弾性部材の付勢力に抗して電子ペン２００の内部にやや退いれ入り込む。この入り込みによって、芯２０２の後端部に配置した検出スイッチ２０４をオン状態とする。これによって、電池２０６とコイル２０８とが導通して電池２０６からコイル２０８に向かって電流が流れ、コイル２０８に電流が流れることで磁界が発生する。
　＜電子筆記装置の電気的構成＞
　図２（ａ）を参照して、電子筆記装置１００の電気的構成について説明する。図２（ａ）に示すように、電子筆記装置１００は、座標検出部１１２Ｌ，１１２Ｒと、ＣＰＵ１４０と、ＲＯＭ１４２と、ＲＡＭ１４４と、フラッシュメモリ１４８と、ＬＥＤ表示部１３２と、駆動回路１５２Ｌ，１５２Ｒと、通信制御部１５４と、を備えている。なお、通信制御部１５４は、ネットワーク通信回線ＮＷを介した電子筆記装置１００とスマートフォン１０との情報送受信の制御を行う。
　座標検出部１１２は、コイル２０８から発生する磁界を電磁誘導に基づき検出する。なお、この検出は公知の手法で足りるので、詳細な説明は省略する。この座標検出部１１２の検出結果に基づき、ＣＰＵ１４０は、ユーザが電子ペン２００を用いて紙媒体１２０へ筆記動作を行ったときの電子ペン２００の移動に対応する、複数の位置情報（すなわち、上記座標情報）を取得する。なお、前述したように、本実施形態では、座標検出部１１２の左上部の座標（Ｘ，Ｙ）を原点（０，０）とし、右方向をＸ軸、下方向をＹ軸とする座標系を用いる。すなわち、Ｘ座標の値が座標検出部１１２における左右方向の位置を表し、Ｙ座標の値が上下方向の位置を表す。
　ＲＯＭ１４２、ＲＡＭ１４４、及びフラッシュメモリ１４８は、ＣＰＵ１４０に電気的に接続されている。ＲＯＭ１４２は、プログラム記憶領域１４２Ａと、画像データ記憶領域１４２Ｂとを備えている。プログラム記憶領域１４２Ａには、ＣＰＵ１４０が電子筆記装置１００を制御するために実行する各種プログラムが記憶されている。画像データ記憶領域１４２Ｂには、後述する紙媒体１２０のフォーマット情報に対応した画像のデータが記憶されている。
　ＲＡＭ１４４は種々のデータを一時的に記憶する記憶領域として使用される。フラッシュメモリ１４８は、座標情報記憶領域１４８Ａを備えている。座標情報記憶領域１４８Ａには、座標情報データテーブルが記憶される。
　一方、図２（ｂ）に示すように、スマートフォン１０は、マイクロコンピュータ等の演算装置（演算手段に相当）１２と、メモリ装置１４（記録媒体に相当）と、表示部及び操作部を兼用するタッチパネル１６と、通信制御部１３と、を有する。また、演算装置１２には、電話機能等の他、例えば、メモリ装置１４に格納した本実施形態にかかる電子筆記処理プログラム（後述の図８や図１０に示す各手順を実行するプログラム）を実行する機能を備えている。なお、メモリ装置１４は、内蔵メモリのほか、着脱可能（例えば、マイクロＳＤ－ＣＡＲＤ等）なメモリ等でもよい。
　＜紙媒体１２０の構成＞
　紙媒体１２０は、ノート状に綴じられており、見開き状態で左ページ１２０Ｌ及び右ページ１２０Ｒとして使用できるよう、両面に所定の枠や文字等が印刷されている。本実施の形態では、紙媒体１２０は、図３に示すように、記入日（ＤＡＴＥ）、記入開始時間（ＴＩＭＥ），記入タイトル（ＴＩＴＬＥ）、記入場所（ＰＬＡＣＥ），参加者（ＭＥＭＢＥＲ）、等の書誌的事項の記入欄と、特記事項（ＴＯ　ＤＯ）を記入する特記欄や保存指定（ＳＡＶＥ）等の操作欄と、を備える。また、紙媒体１２０は、たとえば、書誌的事項の記入欄の全部又は一部を位置ズレ補正値を算出するための所定エリア枠線として使用している。
　＜ストロークデータの生成＞
　次に、ストロークデータについて説明する。ストロークデータは、座標検出部１１２の検出結果に基づきＣＰＵ１４０で取得された複数の座標情報からなる、ペン位置データ列である。図４及び図５には、２つのストロークデータ「ａ」「ｂ」の例を示している。
　図４及び図５において、第１ストロークデータ「ａ」は、電子ペン２００による文字「ａ」の書き始めから書き終わりまでの一筆書き部分の軌跡を表すデータである。文字「ａ」は、時系列に沿って、ペン位置番号Ｔ１，Ｔ２，・・，Ｔ１１それぞれに対応した、１１個の座標情報（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），・・，（Ｘ１１，Ｙ１１）を含む。また、第２ストロークデータ「ｂ」は、電子ペン２００による文字「ｂ」の書き始めから書き終わりまでの一筆書き部分の軌跡を表すデータである。文字「ｂ」は、時系列に沿って、ペン位置番号Ｔ１２，Ｔ１３，・・，Ｔ２１それぞれに対応した、１０個の座標情報（Ｘ１２，Ｙ１２），（Ｘ１３，Ｙ１３），・・（Ｘ２１，Ｙ２１）を含む。このようにして、ＣＰＵ１４０は、座標検出部１１２の検出結果に応じた複数の座標情報を用いて、ユーザ（操作者）が電子ペン２００を用いて紙媒体１２０へ筆記した内容に対応した、ストロークデータを生成する。
　＜手書き入力から文字認識までの流れ＞
　以上説明した本実施形態のシステムにおいて、ユーザ（操作者）の手書き入力から文字認識するまでの概略的な流れを説明する。例えば、支持体１１０Ｒに支持された右ページ１２０Ｒに対して操作者が電子ペン２００を用いた筆記動作により任意の文字列を手書き入力する。そして、電子筆記装置１００が右ページ１２０Ｒに手書きした文字列に対するストロークデータを生成する。さらに、電子筆記装置１００は、このストロークデータをスマートフォン１０に送信する。このストロークデータを受信したスマートフォン１０は、ストロークデータに対し公知の手法で文字認識を行う。
　＜本実施形態の特徴＞
　ところで、例えば、多数枚の紙媒体１２０が左右見開き可能となるようにノート状に綴じられている場合、図６に示すように、その使用するページ位置によって、最初のページから最後のページまでの厚さに起因して最大で位置ズレ量Ｍの位置ズレが発生する。
　この位置ズレは、原点（０，０）の位置ズレとなるため、特に、上記所定エリア枠線内における文字認識結果に影響を及ぼしてしまう虞がある。
　そこで、スマートフォン１０の上記メモリ装置１５が、上記最大ズレ幅Ｍを任意の数に分割したときの各分割位置における位置ズレ幅の中心値を位置ズレ補正候補値として記憶するとともに、紙媒体１２０の所定位置に設けた上記所定エリア枠線の座標をノートフォーマットとして記憶する。そして、上記演算装置１２は、電子筆記装置１００において生成されたストロークデータを電子筆記装置１００から受信し、各分割位置での上記位置ズレ補正候補値で位置ズレ補正したストロークデータの生成結果に基づいて上記文字認識を行う。このとき演算装置１２は、上記所定エリア枠線内のストロークデータに対して位置ズレ補正候補値を用いて位置ズレ補正した状態における位置ズレ補正候補値ごとの文字認識結果を文字認識率で比較し、比較した文字認識率が最も高い位置ズレ補正候補値を位置ズレ補正値として決定する。
　具体的には、図７に示すように、最初のページから最後のページまでの厚さに起因する最大の位置ズレ量（片側ページ）を上記Ｍとし、例えば、このＭを均等に複数個に等分（この例では５等分。但し２～４等分あるいは６等分以上であってもよい）して、ページ範囲（位置ズレ幅）Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５を設定する。そして、均等に５等分した各ページ範囲Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５それぞれの中間地点に相当する中心値を基準とする位置ズレ補正候補値としてメモリ装置１４が記憶している。
　以下、この各ページ範囲（位置ズレ幅）Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５の中心値における位置ズレ補正候補値を用いた、演算装置１２により行われる位置ズレ補正のルーチンを図８に基づいて説明する。
　（ステップＳ１）
　ステップＳ１で、演算装置１２は、上記紙媒体１２０の複数のページにわたる記載に対応した上記ストロークデータを、電子筆記装置１００から受信する。この手順が各請求項記載の受信手順に相当する。その後、ステップＳ２に移行する。
　（ステップＳ２）
　ステップＳ２で、演算装置１２は、電子筆記装置１００にセットした紙媒体１２０のノート種別を取得し、ステップＳ３に移行する。なお、このノート種別は、操作者によりタッチパネル１６を介して入力された、メーカ名や品番に基づき取得してもよいし、適宜のアプリケーションを立ち上げた状態で操作者が入力したページ数に基づき取得するようにしてもよい。
　（ステップＳ３）
　ステップＳ３で、演算装置１２は、上記ステップＳ２で取得したノート種別に応じてあらかじめメモリ装置１４に記憶したテーブルから位置ズレ幅データを呼び出し、ステップＳ４に移行する。なお、ここで、演算装置１２は、例えば、横書き用のノートである場合、最大ズレ幅Ｍを左ページ１２０Ｌにおける最後のページの位置ズレ幅とする。
　（ステップＳ４）
　ステップＳ４で、演算装置１２は、最大ズレ幅Ｍを均等に複数個に分割（この例では５分割。以下同様）し、各ページ範囲Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５を決定する。例えば、２００頁（１００枚）のノートの場合、演算装置１２は、全各２０枚ごとをページ範囲Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５として割り当てる。そして、演算装置１２は、各範囲の中心位置に対応したオフセット分（位置ズレ補正候補値に相当）を決定する。この例では、範囲Ｍ１の上記オフセット分はＭ／１０、範囲Ｍ２の上記オフセット分は３Ｍ／１０、範囲Ｍ３の上記オフセット分は５Ｍ／１０、範囲Ｍ４の上記オフセット分は７Ｍ／１０、範囲Ｍ５の上記オフセット分は９Ｍ／１０となる（図７参照）。さらに、演算装置１２は、以降の手順における処理対象範囲Ｍｎに係るｎを１とするとともに、最高文字認識率Ｒｍａｘを０にクリア設定する。その後、ステップＳ５に移行する。
　（ステップＳ５）
　ステップＳ５で、演算装置１２は、所定のエリア枠内への手書き入力が左ページ１２０Ｌへの記入であるか否かを判定する。左ページ１２０Ｌへの手書き入力である場合は判定が満たされ（Ｙｅｓ）、ステップＳ６に移行する。左ページ１２０Ｌへの手書き入力でない場合（右ページ１２０Ｒへの手書き入力である場合）には判定が満たされず（Ｎｏ）、ステップＳ７に移行する。
　（ステップＳ６）
　ステップＳ６で、演算装置１２は、例えば、上記所定エリア枠線（ノート認識枠）の座標データに、ページ範囲Ｍｎの中心値に対して上記ステップＳ４で設定した上記オフセット分（範囲Ｍ１ならＭ／１０、範囲Ｍ２なら３Ｍ／１０、範囲Ｍ３なら５Ｍ／１０、範囲Ｍ４なら７Ｍ／１０、範囲Ｍ５なら９Ｍ／１０）をプラスし、ステップＳ８に移行する。
　（ステップＳ７）
　一方、ステップＳ７で、演算装置１２は、例えば、上記所定エリア枠線（ノート認識枠）の座標データから、ページ範囲Ｍｎの中心値に対して上記ステップＳ４で設定した上記オフセット分（範囲Ｍ１ならＭ／１０、範囲Ｍ２なら３Ｍ／１０、範囲Ｍ３なら５Ｍ／１０、範囲Ｍ４なら７Ｍ／１０、範囲Ｍ５なら９Ｍ／１０）をマイナスし、ステップＳ８に移行する。
　（ステップＳ８）
　ステップＳ８で、演算装置１２は、上記のようにして補正した上記所定エリア枠線、すなわち、仮想の所定エリア枠線を基準として、その仮想の所定エリア枠線内に含まれるストロークデータを用いて文字認識を実行する。そして、演算装置１２は、文字認識の文字認識率、すなわち、文字認識の内部処理でデータとして記憶している文字形状との合致率や単語辞書との一致率等で判断した文字認識率Ｒ（位置ズレ是正指標値の一例に相当）をメモリ装置１４に記憶し、ステップＳ９に移行する。なお、このステップＳ８の手順が各請求項記載の文字認識結果記憶手順に相当するとともに指標値記憶手順の一例にも相当する。
　（ステップＳ９）
　ステップＳ９で、演算装置１２は、この時点での文字認識率Ｒと上記Ｒｍａｘ（最初は０である）とを比較し、Ｒ＞Ｒｍａｘであるか否かを判定する。Ｒ＞Ｒｍａｘである場合（Ｙｅｓ）にはステップＳ１０に移行し、Ｒ≦Ｒｍａｘである場合（Ｎｏ）にはステップＳ１１へとスキップする。
　（ステップＳ１０）
　ステップＳ１０で、演算装置１２は、上記文字認識率Ｒをこの時点での最高文字認識率Ｒｍａｘとし、ステップＳ１１に移行する。なお、上記ステップＳ９，Ｓ１０が各請求項記載の認識率比較手順に相当するとともに指標値比較手順の一例にも相当する。
　（ステップＳ１１，ステップＳ１２）
　ステップＳ１１で、演算装置１２は、上記ｎの値に１を加える。その後、ステップＳ１２で、演算装置１２は、ｎ≧５となったか否かを判定する。ｎ＜５の場合はステップＳ１２の判定が満たされず、ステップＳ５に戻って同様の手順を繰り返す。ｎ≧５の場合はステップＳ１２の判定が満たされ、ステップＳ１３に移行する。
　（ステップＳ１３）
　ステップＳ１３で、演算装置１２は、この時点での上記ＣＲを正式な位置ズレ補正値（ＣＲ）として採用し、その位置ズレ補正値（ＣＲ）を用いてストロークデータの文字認識を行い、このルーチンを終了する。なお、このステップＳ１３が各請求項記載の位置ズレ補正値決定手順に相当する。
　以上の結果、本実施形態においては、電子筆記装置１００で保持したノート状の紙媒体１２０における束厚に起因する位置ズレを補正することができ、操作者の利便性を向上することができる。
　また、本実施形態では特に、スマートフォン１０の演算装置１２は、上記のように電子筆記装置１００によりノート状に綴じた紙媒体１２０を左右両ページの見開き状態で保持する場合に、紙媒体１２０を見開いた状態での左右各々に対して位置ズレ補正値を決定する。これにより、例えば左右で異なる厚さに起因する位置ズレを補正することもできる。なお、操作者の使用勝手により、例えば、右側のページのみを用い、左側のページは基本的に使用しない、あるいは、左側のページには地図やデザイン等の図柄を書き込むなどの特殊なページとして用いる場合などには、位置ズレ補正を行わないようにキャンセル設定やストロークデータそのもののをデータ記憶するようにしてもよい。
　また、本実施形態では特に、およその位置ズレ量を取得するために、最初のページから最後のページまでの位置ズレ量を予め取得しておき、その最初と最後のずれの差分を複数に均等分割した位置ズレの基本値として記憶しておく。すなわち、スマートフォン１０の演算装置１２は、電子筆記装置１００で保持したノート状に紙媒体１２０を綴じた状態における最初のページ及び最後のページでの束厚に起因する位置の最大ズレ幅を均等な任意の数に分割する。そして、ストロークデータを取得して認識するときに、ストロークデータに対して記憶しておいた位置ズレの基本値を加えながら文字認識を行い、文字認識率の高かった、位置ズレ補正候補値を最終的にそのページにおける位置ズレ補正値として決定する。これにより、決められた位置にある所定エリア枠線を正確に認識するため、見開きタイプのノートを紙媒体１２０として使用している場合、ノートの厚みによって、手書きストロークに位置ずれが発生しても、その位置ズレを補正することができる。その際、上記の各均等分割位置における位置ズレ幅の中心値（上記位置ズレの基本値）をメモリ装置１４が位置ズレ補正候補値として記憶することにより、演算処理の容易化に貢献することができる。
　以上の結果、本実施形態では、ノート状の紙媒体１２０を電子筆記装置１００に取り付ける際に、例えば、位置特定用の切り欠きを設けたり、所定エリア枠線内に用紙ずれを考慮した入力禁止領域を設ける、といった処理を不要とし、ページの有効利用を図ることができる。
　また、最初にノート状の被筆記媒体を電子筆記装置１００にセットしたときにキャリブレーションのためのチェック操作をしなくても済むうえ、最初のページ付近及び最後のページ付近で大きかった座標位置ズレが、ページ位置によらず少なくなり、結果として文字認識率が向上する効果もある。
　なお、上述の束厚が厚くなるほど、最大の位置ズレ幅は大きくなるので、最大ズレ幅が大きいほど上記分割数を増やしてもよい。なお、最大の位置ズレ幅が大きくなる程、その最大値に近付けば位置ズレ量も大きくなるため、必ずしも均等に分割する必要はなく、最大値に近付けくほど分割数を細かくしてもよい。また、左右見開きの場合には、中央のページで左右の厚さの関係が逆転するため、左右の補正値も単に逆転させることも可能である。
　なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を順を追って説明する。
　（１）補正後の表示
　例えば、スマートフォン１０の演算装置１２は、決定した位置ズレ補正値を用いてストロークデータを位置ズレ補正した状態の認識文字を表示部１６に表示（表示手順）することにより、操作者が適正な位置ズレ補正を行っているか否かの確認をすることができる。この際、スマートフォン１０は、例えば、文字認識率の高い上位複数（例えば、２～３）の結果を表示して、どの補正値を用いるかを操作者に選択させるようにしてもよい。また、文字認識をしていない状態でのストロークデータそのものを隣接して表示してもよい。これにより、操作者の書き癖や省略、走り書き等に起因して文字認識率が低下してしまった要因等を認識させることも可能となる。
　（２）枠線とストロークデータとの交点数を用いる場合
　上記実施形態においては、位置ズレが是正されている度合いを表す位置ズレ補正指標値として文字認識率を用いたが、これに限られない。すなわち、上記位置ズレが生じていない正しい状態であれば、図９（ａ）に概念的に示すように、紙媒体１２０の上記「ＤＡＴＥ」「ＴＩＭＥ」「ＴＩＴＬＥ」「ＰＬＡＣＥ」「ＭＥＭＢＥＲ」等の各記入欄の縦横枠線に交差しないように（交点数が０となるように）ストロークデータが生成されるはずである。これに対し、上記のようにして位置ズレが生じると、例えば図９（ｂ）に示すように、上記各記入欄の縦枠線ＬＬとストロークデータとの間に交点が生じる。上記位置ズレが大きければ大きいほど、上記交点数が増大すると考えられることから、本変形例では、上記位置ズレ補正指標値として当該交点数を用いる。
　本変形例において上記演算装置１２により実行される位置ズレ補正のルーチンを、上記図８に対応する図１０により説明する。図８と同等の手順には同一の符号を付し、適宜説明を省略又は簡略化する。
　図１０において、上記図８と同等のステップＳ１、ステップＳ２、ステップＳ３を経て、新たに設けたステップＳ４′に移行する。ステップＳ４′では、演算装置１２は、上記ステップＳ４と同様、最大ズレ幅Ｍを均等に５分割し、各ページ範囲Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５を決定するとともに、各範囲の中心位置に対応したオフセット分（位置ズレ補正候補値に相当）を決定する。また、最小交点数Ｓｍｉｎをある程度大きな所定値（この例では２０）に初期設定する。
　その後、上記図８と同等のステップＳ５、ステップＳ６（又はステップＳ７）を経て、新たに設けたステップＳ８′に移行する。ステップＳ８′では、演算装置１２は、上記のように補正した上記所定エリア枠線、すなわち、仮想の所定エリア枠線を基準として、その仮想の所定エリア枠線内に含まれるストロークデータと、上記縦枠線ＬＬとの交点の数Ｓ（位置ズレ是正指標値の一例に相当）をカウントする。そしてそのカウント結果をメモリ装置１４に記憶し、ステップＳ９′に移行する。なお、このステップＳ８′が各請求項記載の交点数記憶手順に相当するとともに指標値記憶手順の一例にも相当する。
　ステップＳ９′では、演算装置１２は、この時点での交点数Ｓと上記Ｓｍｉｎ（最初は２０である）とを比較し、Ｓ＜Ｓｍｉｎであるか否かを判定する。Ｓ＜Ｓｍｉｎである場合（Ｙｅｓ）には判定が満たされてステップＳ１０に移行し、Ｓ≧Ｓｍｉｎである場合（Ｎｏ）には判定が満たされずステップＳ１１へとスキップする。
　ステップＳ１０′では、演算装置１２は、上記Ｓをこの時点での最小交点数Ｓｍｉｎとし、ステップＳ１１に移行する。なお、上記ステップＳ９′及びステップＳ１０′が、各請求項記載の交点数比較手順に相当するとともに指標値比較手順の一例にも相当する。
　ステップＳ１１、ステップＳ１２、ステップＳ１３は、上記ステップＳ４′、ステップＳ８′、ステップＳ９′の処理内容を前提として、図８と同様の処理が行われる。すなわち、ステップＳ１１で、演算装置１２は、上記ｎの値に１を加える。その後、ステップＳ１２で、演算装置１２は、ｎ≧５となったか否かを判定する。ｎ＜５の場合はステップＳ１２の判定が満たされず、ステップＳ５に戻って同様の手順を繰り返す。ｎ≧５の場合はステップＳ１２の判定が満たされ、ステップＳ１３に移行する。ステップＳ１３では、演算装置１２は、この時点での上記ＣＲを正式な位置ズレ補正値（ＣＲ）として採用し、その位置ズレ補正値（ＣＲ）を用いてストロークデータの文字認識を行い、このルーチンを終了する。なお、本変形例においても、このステップＳ１３が各請求項記載の位置ズレ補正値決定手順に相当する。
　本変形例においても、上記実施形態と同様の効果を得ることができる。
　また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
　その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
　１０　　　　スマートフォン（通信端末）
　１２　　　　演算装置
　１００　　　電子筆記装置
　１２０　　　被筆記媒体
　２００　　　電子ペン（筆記具）

Claims (8)

  1. 　筆記具（２００）を用いた被筆記媒体（１２０）へのページ単位での筆記動作に伴って移動する前記筆記具（２００）の複数の位置データを取得して対応するストロークデータを生成する電子筆記装置（１００）と情報送受信可能に接続された通信端末であって、前記電子筆記装置（１００）で保持したノート状の前記被筆記媒体（１２０）の最初のページ及び最後のページでの束厚に起因する位置の最大ズレ幅を任意の数に分割して各分割位置における位置ズレ幅の中心値を位置ズレ補正候補値として記憶する位置ズレ補正値候補記憶手段（１５）と、前記被筆記媒体（１２０）の所定位置に設けた所定エリアの縦・横枠線の座標を記憶するノートフォーマット記憶手段（１５）と、を有する通信端末（１０）に備えられる演算手段（１２）に対し、
    　前記電子筆記装置（１００）において生成された前記ストロークデータを当該電子筆記装置（１００）から受信する受信手順（Ｓ１）と、
    　前記各分割位置での位置ズレ補正候補値で位置ズレ補正した前記ストロークデータの生成結果に基づく位置ズレ是正指標値を記憶する指標値記憶手順（Ｓ８；Ｓ８′）と、
    　前記所定エリア枠線内のストロークデータに対して前記位置ズレ補正候補値を用いて位置ズレ補正した状態における前記位置ズレ補正候補値ごとの前記位置ズレ是正指標値を比較する指標値比較手順（Ｓ９，Ｓ１０；Ｓ９′，Ｓ１０′）と、
    　前記指標値比較手順（Ｓ９，Ｓ１０；Ｓ９′，Ｓ１０′）で比較した位置ズレ是正指標値が最も良好な前記位置ズレ補正候補値を位置ズレ補正値として決定する位置ズレ補正値決定手順（Ｓ１３）と、
    　を実行させるための、電子筆記処理プログラム。
  2. 　請求項１記載の電子筆記処理プログラムにおいて、
    　前記指標値記憶手順（Ｓ８）は、
    　前記位置ズレ是正指標値として、前記各分割位置での位置ズレ補正候補値で位置ズレ補正した前記ストロークデータの生成結果に基づいて行った文字認識結果を記憶する、文字認識結果記憶手順（Ｓ８）であり、
    　前記指標値比較手順は、
    　前記所定エリア枠線内のストロークデータに対して前記位置ズレ補正候補値を用いて位置ズレ補正した状態における前記位置ズレ補正候補値ごとの前記文字認識結果を文字認識率で比較する、文字認識率比較手順（Ｓ９，Ｓ１０）であり、
    　前記位置ズレ補正値決定手順（Ｓ１３）では、
    　前記文字認識率比較手順（Ｓ９，Ｓ１０）で比較した前記文字認識率が最も高い前記位置ズレ補正候補値を位置ズレ補正値として決定する
    ことを特徴とする電子筆記処理プログラム。
  3. 　請求項１記載の電子筆記処理プログラムにおいて、
    　前記指標値記憶手順は、
    　前記位置ズレ是正指標値として、前記各分割位置での位置ズレ補正候補値で位置ズレ補正した前記ストロークデータの生成結果に基づいて行った前記縦枠線と当該ストロークデータとの交点数のカウント結果を記憶する、交点数記憶手順（Ｓ８′）であり、
    　前記指標値比較手順は、
    　前記所定エリア枠線内のストロークデータに対して前記位置ズレ補正候補値を用いて位置ズレ補正した状態における前記位置ズレ補正候補値ごとの前記交点数を比較する、交点数比較手順（Ｓ９′，Ｓ１０′）であり、
    　前記位置ズレ補正値決定手順（Ｓ１３）では、
    　前記交点数比較手順（Ｓ９′，Ｓ１０′）で比較した前記交点数が最も少ない前記位置ズレ補正候補値を位置ズレ補正値として決定する
    ことを特徴とする電子筆記処理プログラム。
  4. 　請求項１乃至請求項３のいずれか１項記載の電子筆記処理プログラムにおいて、
    　前記演算手段（１２）に対し、さらに
    　前記位置ズレ補正値決定手順（Ｓ１３）で決定した位置ズレ補正値を用いて前記ストロークデータを位置ズレ補正した状態の認識文字を表示する表示手順を実行させる
    ことを特徴とする電子筆記処理プログラム。
  5. 　請求項１乃至請求項４のいずれか１項に記載の電子筆記処理プログラムにおいて、
    　前記電子筆記装置は、
    　前記ノート状の前記被筆記媒体（１２０）を左右両ページの見開き状態で保持し、
    　前記位置ズレ補正値決定手順（Ｓ１３）では、
    　前記被筆記媒体（１２０）を見開いた状態での左右各々に対して、前記位置ズレ補正値を決定する
    　ことを特徴とする電子筆記処理プログラム。
  6. 　請求項１乃至請求項５のいずれか１の請求項記載の電子筆記処理プログラムにおいて、
    　前記電子筆記装置の前記位置ズレ補正値候補記憶手段（１５）は、
    　前記電子筆記装置で保持したノート状の前記被筆記媒体（１２０）の最初のページ及び最後のページでの束厚に起因する位置の最大ズレ幅を均等な任意の数に分割し、各均等分割位置における位置ズレ幅の中心値を位置ズレ補正候補値として記憶する
    ことを特徴とする電子筆記処理プログラム。
  7. 　請求項６記載の電子筆記処理プログラムにおいて、
    　前記電子筆記装置の前記位置ズレ補正値候補記憶手段（１５）は、
    　前記電子筆記装置で保持したノート状の前記被筆記媒体（１２０）の最初のページ及び最後のページでの束厚に起因する位置の最大ズレ幅が大きいほど分割数を増加する
    ことを特徴とする電子筆記処理プログラム。
  8. 　筆記具（２００）を用いた被筆記媒体（１２０）へのページ単位での筆記動作に伴って移動する前記筆記具（２００）の複数の位置データを取得して対応するストロークデータを生成する電子筆記装置（１００）と情報送受信可能に接続された通信端末であって、前記電子筆記装置（１００）で保持したノート状の前記被筆記媒体（１２０）の最初のページ及び最後のページでの束厚に起因する位置の最大ズレ幅を任意の数に分割して各分割位置における位置ズレ幅の中心値を位置ズレ補正候補値として記憶する位置ズレ補正値候補記憶手段（１５）と、前記被筆記媒体（１２０）の所定位置に設けた所定エリアの縦・横枠線の座標を記憶するノートフォーマット記憶手段（１５）と、を有する通信端末（１０）に備えられる演算手段（１２）に対し、
    　前記電子筆記装置（１００）において生成された前記ストロークデータを当該電子筆記装置（１００）から受信する受信手順（Ｓ１）と、
    　前記各分割位置での位置ズレ補正候補値で位置ズレ補正した前記ストロークデータの生成結果に基づく位置ズレ是正指標値を記憶する指標値記憶手順（Ｓ８；Ｓ８′）と、
    　前記所定エリア枠線内のストロークデータに対して前記位置ズレ補正候補値を用いて位置ズレ補正した状態における前記位置ズレ補正候補値ごとの前記位置ズレ是正指標値を比較する指標値比較手順（Ｓ９，Ｓ１０；Ｓ９′，Ｓ１０′）と、
    　前記指標値比較手順（Ｓ９，Ｓ１０；Ｓ９′，Ｓ１０′）で比較した位置ズレ是正指標値が最も良好な前記位置ズレ補正候補値を位置ズレ補正値として決定する位置ズレ補正値決定手順（Ｓ１３）と、
    　を実行させるための電子筆記処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記録媒体（１５）。
PCT/JP2016/051659 2015-03-06 2016-01-21 電子筆記処理プログラム及び記録媒体 WO2016143394A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015044472A JP2016164711A (ja) 2015-03-06 2015-03-06 電子筆記処理プログラム
JP2015-044472 2015-03-06

Publications (1)

Publication Number Publication Date
WO2016143394A1 true WO2016143394A1 (ja) 2016-09-15

Family

ID=56876619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/051659 WO2016143394A1 (ja) 2015-03-06 2016-01-21 電子筆記処理プログラム及び記録媒体

Country Status (2)

Country Link
JP (1) JP2016164711A (ja)
WO (1) WO2016143394A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111316206A (zh) * 2017-11-13 2020-06-19 深圳市柔宇科技有限公司 一种写字板笔迹校准方法及写字板

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020061737A1 (zh) * 2018-09-25 2020-04-02 深圳柔显系统技术有限公司 书写控制方法及手写输入装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048217A (ja) * 2005-08-12 2007-02-22 Ricoh Co Ltd 手書き情報入力装置
JP2013057989A (ja) * 2011-09-07 2013-03-28 Brother Ind Ltd 電子筆記装置
JP2014021856A (ja) * 2012-07-20 2014-02-03 Sharp Corp 情報入力装置、情報入力装置の制御方法、画像生成システム、制御プログラム、制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2014099116A (ja) * 2012-11-15 2014-05-29 Brother Ind Ltd 情報入力装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048217A (ja) * 2005-08-12 2007-02-22 Ricoh Co Ltd 手書き情報入力装置
JP2013057989A (ja) * 2011-09-07 2013-03-28 Brother Ind Ltd 電子筆記装置
JP2014021856A (ja) * 2012-07-20 2014-02-03 Sharp Corp 情報入力装置、情報入力装置の制御方法、画像生成システム、制御プログラム、制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2014099116A (ja) * 2012-11-15 2014-05-29 Brother Ind Ltd 情報入力装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111316206A (zh) * 2017-11-13 2020-06-19 深圳市柔宇科技有限公司 一种写字板笔迹校准方法及写字板

Also Published As

Publication number Publication date
JP2016164711A (ja) 2016-09-08

Similar Documents

Publication Publication Date Title
US11314943B2 (en) Typifying emotional indicators for digital messaging
EP2811373B1 (en) Method for correcting coordinates of portable electronic device using electronic pen
US8907931B2 (en) Electronic terminal, input correction method, and program
US9323454B2 (en) Electronic apparatus, handwriting display method, and storage medium
CN106502602B (zh) 一种柔性屏幕的显示装置、方法及终端
CN109815932A (zh) 一种试卷批改方法、装置、电子设备及存储介质
US8698757B2 (en) Computer-readable storage medium having calibration program, coordinate detection apparatus and calibration method
US20130050064A1 (en) Image display terminal, image display control method and recording medium recording image display control program
CN105118351B (zh) 一种练字器及练字方法
CN106845508A (zh) 一种检测图像中信息卡的方法、装置和系统
WO2016143394A1 (ja) 電子筆記処理プログラム及び記録媒体
CN111897445A (zh) 电子设备及控制方法
CN111353458A (zh) 文本框标注方法、装置和存储介质
JP6202874B2 (ja) 電子機器、キャリブレーション方法およびプログラム
CN109388759B (zh) 一种网页界面构建方法和系统、数据处理方法
CN109889325A (zh) 校验方法、装置、电子设备及介质
CN103558989A (zh) 一种内容排版的方法及移动终端
WO2019228026A1 (en) Information display method, apparatus and mobile terminal
US11853483B2 (en) Image processing method and apparatus for smart pen including pressure switches, and electronic device
JP2018510384A (ja) 非対称レンズの安息角を決定するためのシステム及び方法
US20150324020A1 (en) Electronic Writing Device
EP3309660A1 (en) Method for detecting input device, and detection device
KR20130112410A (ko) 펜 방식의 디스플레이장치에서 좌표 검출 장치 및 방법
CN110989880B (zh) 一种界面元素处理方法、装置及可读存储介质
US9459711B2 (en) Pointer control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16761366

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16761366

Country of ref document: EP

Kind code of ref document: A1