WO2016133335A1 - 공식 입력 방법 및 장치 - Google Patents

공식 입력 방법 및 장치 Download PDF

Info

Publication number
WO2016133335A1
WO2016133335A1 PCT/KR2016/001543 KR2016001543W WO2016133335A1 WO 2016133335 A1 WO2016133335 A1 WO 2016133335A1 KR 2016001543 W KR2016001543 W KR 2016001543W WO 2016133335 A1 WO2016133335 A1 WO 2016133335A1
Authority
WO
WIPO (PCT)
Prior art keywords
formula
user
input
matrix
content
Prior art date
Application number
PCT/KR2016/001543
Other languages
English (en)
French (fr)
Inventor
지앙잉잉
양슐리
첸료유신
왕보
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510959336.5A external-priority patent/CN105893338B/zh
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/551,828 priority Critical patent/US10437466B2/en
Publication of WO2016133335A1 publication Critical patent/WO2016133335A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present specification relates to a handwriting input method, and more particularly, to an official input method and apparatus based on a user input.
  • Entering formulas may be necessary for paperwork, for performing calculations in training courses, or for analyzing data in industrial sites or laboratories.
  • Formulas can be substituted into the calculation engine and processed.
  • the front end of the calculation engine eg, Mathematica
  • the front end means preprocessing or control between the host computer and the user.
  • Formulas can also be entered into a search engine.
  • the search engine may search for information related to the formula using the input formula. As such, entering a formula is the first step in applying the formula.
  • this specification includes information regarding methods and apparatus for entering more efficient formulas.
  • the formula input method can be classified into two types. Two formula input methods may be a keyboard / mouse based formula input method and a handwriting recognition based formula input method.
  • Keyboard / mouse based input methods can generally include two types.
  • Keyboard / mouse-based input methods may include string-based formula input such as LaTeX, and formula editing-based input such as a word processor formula editor.
  • string-based formula input such as LaTeX
  • formula editing-based input such as a word processor formula editor.
  • the user In order to use the string-based formula input method, the user generally needs to know how to map the relationship between a string and a two-dimensional formula.
  • formula editor-based input methods the user can use special characters and formulas provided by the word processor and / or characters entered through the keyboard to construct special characters and formulas (eg, sum symbols, integral symbols, etc.). ) Can be selected.
  • the user In order to use the above-described keyboard / mouse-based formula input method, the user must be familiar with the formula structure and directly input all the contents of the formula to be input. For example, to enter a sum symbol for calculating the total sum of values, the user must first enter the sum symbol, and then enter the lower and upper limits of the sum.
  • a user may input a formula by handwriting.
  • Another formula input method and apparatus may recognize a formula input by a user by hand writing and convert the formula into a printed font.
  • the existing formula input method has the following disadvantages.
  • the present specification provides an official input method, apparatus, and corresponding electronic device for overcoming the above-mentioned disadvantages.
  • a formula input method includes: recognizing a formula input by a user and displaying a recognized formula; Displaying recommended content based on the recognized formula; And analyzing and processing the user's interaction with the displayed content.
  • an official input method includes: receiving content input by a user during an official input procedure; Determining recommended content based on a content input of a user; And displaying the recommended content.
  • determining the recommended content based on the content input by the user includes: recognizing the official input by the user; And determining recommended content based on the recognized formula.
  • displaying the recommended content may include displaying the recommended writing position around the character in response to an operation of the writing instrument in proximity to the character in the recognized formula.
  • displaying the recommended content may include displaying the recommended writing structure associated with the predetermined character in response to an operation of the writing instrument proximate the predetermined character in the recognized formula.
  • displaying the recommended content may include obtaining a recommendation formula related to the recognized formula; And displaying the recommendation formula.
  • acquiring the recommendation formula comprises based on the recognized formula, a database that includes a user's writing data and a writing history for the formula including content such as the recognized formula.
  • Searching Predicting one or more next characters using a language model based on the current characters of the recognized formula; Obtaining a formula of content different from the recommended content, based on the recognized attribute of the formula; Based on the expression format of the recognized formula, obtaining a formula having the same content as the recognized formula but having a different format; Based on the elements of the recognized formula, obtaining a formula that is identical in form but different in formula; If the recognized formula is invalid, obtaining a valid formula associated with the recognized element based on the elements of the recognized formula; And obtaining a complete formula including the recognized formula based on the content of the recognized formula.
  • obtaining the formula of the recommended content and the other content may include: recommending the formula based on the similarity and / or structure of the content between different unitary matrices; And recommending an equilibrium chemical equation based on the equilibrium property of the chemical equation.
  • acquiring a formula having the same content but different formats may include obtaining a formula based on a formula character and formula database including formulas of different formats.
  • the formula letter is a positional relationship character such as left, right, top, bottom, right, and bundle relationships, and includes at least one or more of matrix, division, radical, sum, integration, and formula. can do.
  • a formula database including other forms of formulas includes at least one of matrix and extended matrix formulas and other forms of matrices, formulas and chemical structures, formulas and ionic formulas, chemical interactions, and descriptions of formulas. can do.
  • the recommendation formula may be arranged according to at least one of formula similarity, formula input frequency, and formula difference degree.
  • the formula input by the user may include at least one or a combination of a handwritten formula, a formula selected by the user among the recommended formulas, a formula input based on a format template, a formula in a picture, and a formula input through a scan. Can be.
  • recognizing the writing formula may include recognizing an input predefined symbol based on an associated predefined structure.
  • the predefined symbol is a repeating symbol or a symmetric symbol
  • the predefined structure associated with the repeating symbol may be displayed in the region where the same symbol is to be repeated;
  • the predefined structure associated with the symmetric symbol may be indicated in the zone located symmetrically with the currently described symbol.
  • the formula input method may further include analyzing and processing an interaction action of the user.
  • analyzing and processing the user's interaction action may include inputting all or part of recommended content for the user's predefined action.
  • analyzing and processing the user's interaction action may include switching between the handwriting mode and the editing mode in response to the user's predefined action.
  • the user can take a formula in the handwriting mode, and the user can edit the recognized formula in the editing mode.
  • the predefined action comprises: a user pressing a button of the stylus pen; A user double-clicking the touch screen; The user touches or does not touch the touch screen while the stylus pen is in operation; And an operation of selecting a system button or a menu by the user.
  • analyzing and processing the user's interaction actions may further include, in the edit mode, correcting errors in the recognized formula for the user's predefined actions.
  • correcting the error may include recognizing the written character and replacing the attributed character with the recognized character in response to a user handwriting action on the attributed character; In response to a user's motion indicating a positional relationship between the two groups of recognized symbols, modifying the positional relationship between the two groups of symbols; And modifying the unit division of the recognized characters in response to the user's division operation on the recognized character.
  • correcting the error includes modifying the dimension of the recognized matrix, and modifying the dimension of the recognized matrix comprises at least one of two parentheses surrounding the matrix elements of the required order. Dragging the parentheses of; Rewriting parentheses of at least one of the two parentheses surrounding the required order matrix elements; Adding or modifying a dimension to the required number at the bottom right of the matrix; And modifying the dimensions of the matrix dimension configuration interface.
  • displaying the recommended content may include displaying the recommended content in a manner different from the recognized formula.
  • the recognized formula may be displayed in printed font and / or handwritten form.
  • determining the recommended content based on the content input by the user includes: determining the recommended content based on the official description input by the user Including the step of, wherein the determined recommended content is a formula corresponding to the formula input; Or determining recommended content based on an incomplete formula related to the official description and an official description, and the determined recommended content may include a formula corresponding to the official description and the related incomplete formula.
  • displaying the recommendation formula list includes displaying the recommendation candidate formula in a printed font; And displaying at least one recommendation candidate formula in a handwritten form.
  • the selected formula comprises displaying the selected formula in a printed font; And displaying the selected formula in a handwritten form.
  • the official input device includes a recognition unit for recognizing a formal input by a user; A display unit configured to display the recognized formula and recommended content acquired based on the recognized formula; And a processor configured to analyze and process the user's interaction with the displayed content.
  • the formula input system may further include an apparatus for executing the steps of various embodiments of the formula input method according to the first aspect described above.
  • a formula input device recognizes a formula input by a user, obtains recommended content based on the recognized formula, controls a touch screen displaying the recognized formula and recommended content, and displays the displayed content.
  • a processor that processes the user's interaction with the user; And a touch screen that receives a formula and an operation instruction input by a user and displays corresponding content according to the control of the processor.
  • the processor may be configured to further include the steps of various embodiments of the formula input method according to the first aspect described above.
  • a formula input method includes: recognizing a formula input by a user and displaying a recognized formula; Displaying recommended content based on the recognized formula; And analyzing and processing the user's interaction with the displayed content.
  • the recommended content may include a formula that has the same content as the recognized formula but has a different format.
  • the recognized formula is a matrix
  • the representation format may be one of an extended matrix format and a shortened matrix format.
  • the recommended content may further include a recommended formula based on the similarity and / or structure of the content between different unitary matrices.
  • recognizing a formula input by a user may include recognizing a predefined symbol written in a predefined structure;
  • the predefined symbol here includes a repeating symbol and / or a symmetric symbol, and the predefined structure associated with the repeating symbol may be displayed in the region where the same symbol is to be repeated.
  • analyzing and processing the user's interaction may include correcting the user's matrix unit segment error for the recognized matrix in the edit mode.
  • analyzing and processing the user's interaction may, in the edit mode, modifying the dimension of the recognized matrix; Modifying the dimension of the recognized matrix comprises dragging at least one of the parentheses surrounding the matrix elements of the required order; Rewriting parentheses of at least one of the two parentheses surrounding the required order matrix elements; Adding or modifying a dimension to the required number at the bottom right of the matrix; It may include one of the steps of modifying the dimensions of the matrix dimension configuration interface.
  • the recognized formula is a chemical formula
  • the expression format may include any of formula description, chemical formula, chemical structure, ionic formula, and 3D structure.
  • the representation when the recognized formula is a matrix, the representation may be one of a definition of a matrix, a shortened matrix, and an extended matrix.
  • the recommended content may include a recommended chemical equilibrium equation based on the chemical equilibrium equation attribute.
  • displaying the recognized formula may include automatically adjusting the size and / or representation format of the recognized formula according to the size of the display area.
  • displaying the recognized formula may further include displaying the portion to be input of the formula in a larger size compared to the recognized portion of the formula.
  • the official input device the receiving unit for receiving the content input by the user during the official input procedure; Determining unit for determining the recommended content based on the content input by the user; And a display unit displaying recommended content.
  • the official input device recognizes official input by a user, obtains recommended content based on the recognized formula, controls a touch screen displaying the recognized formula and recommended content, and displays the displayed content. It may include a processor for handling the user's interaction with the.
  • the formula input method may recognize a formula input by a user, display a recognized formula, and display recommended content based on the recognized formula. Since the user uses the recommended content, the accuracy of the official recognition of the official input method and the input speed of the user may be further improved.
  • a matrix input method is provided.
  • various types of matrix input methods may be provided, such as symmetric matrix input, input of elements of a specific region into repeated numbers, segmentation error correction, and dimension correction of the matrix.
  • a formula input method for a chemical formula may be provided.
  • formula recommendations in different representations can be provided, such as chemical equilibrium equations, ionic equations.
  • FIG. 1 is a flowchart illustrating a formula input method according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating a formula input method according to another exemplary embodiment.
  • FIG. 3 illustrates a process of recommending a writing position based on a user input by an official input device according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating an example of a recommending formula structure corresponding to a user input (eg, handwriting) according to another embodiment.
  • FIG. 5 is a diagram illustrating a prediction formula corresponding to an input formula, according to an exemplary embodiment.
  • FIG. 6 illustrates an embodiment in which a formula input device recommends a formula.
  • FIG. 7 illustrates another embodiment in which a formula input device recommends a formula.
  • FIG. 8 is a flowchart illustrating a process of acquiring a recommendation formula by a formula input device according to an embodiment.
  • FIG. 10 illustrates an embodiment in which a formula input device recommends a formula.
  • 11 illustrates an embodiment of recommending a formula based on an input formula.
  • FIG. 13 is a flowchart illustrating a process of acquiring a recommendation formula by a formula input device according to an embodiment.
  • FIG. 14 is a schematic diagram illustrating an embodiment in which a formula input device recommends a formula.
  • 15 is a schematic diagram illustrating four switching methods between a writing mode and an editing mode, according to an exemplary embodiment.
  • 16 is a schematic diagram illustrating an embodiment in which a user accepts or excludes a recommended element.
  • 17 is a schematic diagram illustrating an example of correcting a character recognition error.
  • 19 is a schematic diagram illustrating an embodiment of correcting a position relationship error.
  • 21 is a schematic diagram illustrating an embodiment of correcting a matrix combining error.
  • FIG. 23 is a schematic diagram illustrating a matrix input according to an embodiment.
  • 24 is a schematic diagram illustrating modification of a matrix dimension according to an embodiment.
  • 25 is a schematic diagram illustrating an official input device according to an embodiment.
  • 26 is a schematic diagram illustrating a structure of a formula input device according to an embodiment.
  • 27 is a schematic diagram illustrating an official input device according to an embodiment.
  • the user's handwriting input may be referred to as an analog handwriting input of the user.
  • the user's handwriting input may be input through a pressure sensitive or capacitive user interface.
  • the user's handwriting input may be input using an external device such as a stylus pen as well as a user's finger.
  • 1 and 2 are flowcharts illustrating a formula input method according to an exemplary embodiment.
  • the official input device including the touch screen may perform the official input method.
  • Official input devices may include smart phones, tablet PCs, interactive computers, desktop computers, and the like.
  • an official input device receives content input by a user.
  • the content input by the user may be a handwriting input.
  • a user may input a formula with a formula input device using various handwriting input methods.
  • the handwriting input method includes a method of inputting a formula by hand, a method of inputting a formula using a template, a method of inputting a formula by scanning a picture or photo including an image of the formula, or selecting a formula from among the input formulas. can do.
  • Formulas entered by the user's handwriting input may be definitions of formulas, descriptions of formulas or combinations of formulas and incomplete forms of formulas.
  • Formula according to an embodiment may include a mathematical formula, chemical formula, physical formula and the like. Incomplete forms of formulas may include, for example, chemical balance equations that do not include coefficients, addition symbols that do not specify lower and upper limits, determinants that are missing elements of some matrices, and the like.
  • the official input device may acquire handwritten content by recognizing a user's handwriting input. Based on the obtained handwritten content, the formula input device may edit and correct the formula. The user may write a formula on the touch screen of the formula input device by using a stylus pen, a finger, or another electronic writing instrument that may be recognized by the touch screen.
  • the user may take some predefined symbols.
  • the predefined symbol may include a fraction symbol (/ or a), a square root symbol ( ⁇ ), an integral symbol ( ⁇ ), and the like. Specific examples of predefined symbols are as shown in the diagram of FIG. 4.
  • the formula input apparatus may recognize the handwritten input predefined symbol as being associated with a structure of a formula including the corresponding predefined symbol. Accordingly, the user can easily and quickly enter a formula by using the structure of the associated formula recommended by the formula input device.
  • the structure of the formula corresponding to the predefined symbol may include a repeat input structure or a symmetric matrix structure.
  • matrix input the user can easily create a large array by repeating the same matrix using an iterative input structure.
  • the repeated input structure can be used to input elements that are repeated with the same value in a matrix.
  • the symmetric matrix is a matrix in which both components are completely coincident with the main diagonal. Therefore, using the symmetric matrix structure, the user can input elements located in the upper region based on the main diagonal and the main diagonal. Thereafter, the official input device may input elements of the region located in the lower region based on the main diagonal.
  • the predefined symbol may be defined in various forms.
  • the symmetry symbol corresponding to the symmetry matrix structure may be defined as a double arrow.
  • the repetition symbol corresponding to the repetition input structure may be defined as a unidirectional arrow.
  • the predefined symbol may be defined as a string.
  • a continuous input of 'rep' represents a repeating symbol and a continuous input of 'sym' represents a symmetric symbol.
  • the handwriting input may use an official template.
  • the official input device may display the official template.
  • the user may select the displayed formula template and then complete the formula by inputting a value of the specific formula.
  • the handwriting input may be recognized based on the selected official template. For example, when using an official template including a sum sign ( ⁇ ), the user may input a lower limit value and an upper limit value by hand above and below the sum symbol.
  • the official input device may recognize the input user's handwriting input and obtain the handwriting content.
  • the official input device may adjust and display the size of the acquired handwritten content based on the size of the sum symbol.
  • the writing input method may include scanning and inputting a photo or a picture including an image of a formula.
  • the official input device may recognize an input picture or a picture, recognize a formula, and obtain and display official content based on the recognized formula.
  • the handwriting input method may include inputting a voice.
  • the official input device may receive a user's voice input, recognize a formula included in the user's voice input, and obtain and display official content based on the recognized formula.
  • the official input device may determine one or more recommended content based on the content input by the user. (102 steps)
  • step 102 may include steps 1021 to 1022.
  • step 1021 the formula entered by the user is recognized.
  • the user may input a formula into the formula input device by using any one of the above-described handwriting input methods.
  • the official input device may perform an operation of recognizing the writing input as a formula.
  • the official input device may include a user clicking on the recognition button on the screen, the user lifting the stylus pen for a specific time, placing the stylus pen farther away from the writing screen, and starting the recognition operation. Based on drawing a symbol, a voice command, or the like, an operation of officially recognizing a handwriting input may be started.
  • the formula input device may perform an operation of recognizing handwriting input as a formula to obtain handwritten content including formula information (for example, a string, that is, LaTeX or MathML (math formula) / CML (chemical formula)). have.
  • the official input device may display the handwritten content obtained by performing a recognition operation.
  • the obtained handwritten content may be displayed on a user interface in a print font.
  • the handwriting input directly input by the user may no longer be displayed. That is, the handwriting input and displayed on the user interface may be replaced with the acquired handwritten content.
  • the official input device may determine one or more recommended content based on the recognized formula.
  • the official input device may display the recommended content on the screen.
  • the official input device may further include step 104 of analyzing and processing a user's interaction corresponding to the displayed content.
  • the recommended content may include a writing position, a formula input structure, and a formula.
  • the official input device may determine the recommended content based on the obtained handwritten content or the user's motion.
  • the official input device may recommend the writing position to the user.
  • the user may additionally input handwriting to the obtained handwritten content.
  • the official input device may recommend a writing position based on a distance between a character included in the acquired writing content and the writing instrument.
  • the handwriting position may include a superscript position of a character, a subscript position of a character, a left or right position of a character, a position of a new line or a next line, and the like.
  • the recommended writing position may be displayed around the character. The distance between the character and the writing instrument can be detected using a distance sensor or the like.
  • the writing position may be recommended depending on the positional relationship between the writing instrument and the character. Specifically, if the writing instrument is close to the upper right corner of the character, the superscript position of the character may be recommended. If the writing instrument is close to the lower right corner of the character, the subscript position of the character may be recommended. If the writing instrument is close to the right side of the character, the writing position may be recommended on the right side of the character. If the user's stylus pen is close to the position of a new line of handwritten content on the touch screen, a new line of handwritten position may be recommended.
  • the writing position according to an embodiment may be displayed in various ways, such as a line and a rectangular frame.
  • the handwriting position may be displayed in various types of lines (dashed lines, ruled lines, etc.) or various colors or color depths (blur, dark, etc.) different from the handwritten content.
  • FIG. 3 illustrates a process of recommending a writing position based on a user input by an official input device according to an exemplary embodiment. Specifically, according to the position of the stylus pen used by the user for official input, two examples in which the official input device recommends a writing position will be described.
  • the position of the new line may be recommended.
  • the position of the new line may be indicated by a dotted line.
  • the formula may be recognized and displayed in a print font. (205) On the next line of the existing formula, the newly recognized formula may be displayed (206).
  • the official input device may recommend all writing positions including the superscript, subscript, and right side of "a”.
  • the official input device may display the recommended writing position as a dotted line.
  • the user may write the number “2” at the superscript position among the recommended writing positions.
  • the above-described writing position recommendation operation of the official input device may reduce an error occurrence rate of the official recognition of the writing input.
  • the formula recognition problem may include errors in the determination of the positional relationship of the plurality of formula divisions and subscripts or coefficients described.
  • the formula input device may recommend a writing structure of a formula to a user.
  • the official input device may recommend a writing structure of the formula based on the recognized symbol.
  • the formula input device may recommend a writing structure of a general formula including a recognized symbol.
  • the predefined symbol may include at least one of a fractional line, a radical symbol, a sum symbol, an inner product or an outer product symbol, an integral symbol, and other special symbols.
  • a writing structure associated with the letter is recommended and displayed.
  • the recommended handwriting structure may be displayed in various ways to distinguish it from the recognized formula.
  • the recommended handwriting structure may be displayed in a color different from the recognized formula and a rectangle having a different line type. According to the above-described exemplary embodiment, the user may easily distinguish the input part based on the direct writing input formula and the recommended writing structure.
  • FIG. 4 is a diagram illustrating an example of a recommending formula structure corresponding to a user input (eg, handwriting) according to another embodiment.
  • a user may input a special symbol by handwriting.
  • the user's handwriting input may include /,-, ⁇ , ⁇ , and ⁇ as shown in FIG. 4.
  • the official input device may recognize the writing content as the writing content.
  • the official input device may determine the recognized handwritten content as an equation.
  • the formula input device may determine a recommendation formula structure corresponding to the determined mathematical handwritten content.
  • the recommendation formula structure according to an embodiment may be stored in a database inside or outside the formula input device.
  • the recommendation formula structure stored in the database may be a predefined structure.
  • the recommendation formula structure stored in the database may be obtained based on the user's handwriting input history.
  • the recommendation formula structure may include a dotted rectangle image.
  • an image of a position of a constituent element to be additionally input by a user may be displayed as a dotted rectangle image.
  • the user can write a number or letters in the dotted rectangle image. Specifically, the user can write numbers or letters corresponding to the base and base of the logarithm. .
  • the structure of a formula including special symbols is generally complicated. Therefore, errors are likely to occur in the process of recognizing a user's handwriting input.
  • the recognition rate of a complicated writing formula input by a user may be improved.
  • the formula input device may recognize a writing formula input by the user and recommend the formula to the user.
  • the formula input device may obtain a recommendation formula associated with the recognized formula and display the obtained recommendation formula.
  • the recommendation formula can be predicted based on the search of the input formula, the expression format of the input formula, the formula that is equivalent to and different from the input formula, and the unique attributes of the input formula.
  • FIG. 5 is a diagram illustrating a prediction formula corresponding to an input formula, according to an exemplary embodiment.
  • the formula input device may predict the formula to recommend to the user by searching the input formula.
  • the formula input apparatus may search for a formula related to an input formula by using a database inside or outside the formula input apparatus.
  • the database may include a form of a formula, a structure of a formula, and handwritten record data of a user.
  • the formula input device may search for a formula that is the same as or similar to the recognized formula.
  • the official input device may search for Taylor development of sinx using a database.
  • the official input device may recommend and display the retrieved Taylor evolution.
  • the formula input apparatus may recommend a representation format based on the input formula.
  • the entered formula may be part of the formula.
  • the formula input device can predict the expression format of the formula to complete the complete behavior after some input formula. Specifically, referring to FIG. 5, when the user inputs “sin”, the formula input device may predict that the formula to be input is a trigonometric function and recommend “sinA”.
  • the formula input device may predict that the formula to be input is a function, and may recommend "f (x)".
  • the formula input device may predict and recommend a formula that is equivalent to the input formula and has a different format. Specifically, the formula input device may recommend a formula having the same meaning or different format as the recognized formula, or recommend a formula having the same members as the recognized formula but having a different format to the user. For example, when a user writes a formula in a particular form of expression, the formula input device automatically recommends a formula with the same content but different format to the user.
  • the formula input device may include H 2 0 and Search and recommend.
  • H 2 0 Is a chemical formula that has the same form of other representations.
  • the official input device may predict and recommend another representation form of the matrix, that is, an extended form of the matrix. According to the embodiments described above, the content of the formula input by the user can be simplified.
  • the formula input device may predict and recommend a formula according to an inherent property of the input formula.
  • the recommended formula based on the unique property of the formula may be different from the input formula.
  • the official input device may predict some elements and recommend a complete form of the matrix.
  • the formula input device may predict and recommend the chemical formula according to the attributes of the chemical formula. Specifically, as shown in FIG. 5, a user may enter a chemical equilibrium equation. The formula input device may determine whether the input chemical equilibrium equation is balanced. Then, if the entered chemical equilibrium equation is unbalanced, the formula input device may recommend an appropriate coefficient value.
  • the formula input apparatus may determine whether the chemical equation is balanced using a database.
  • FIG. 6 illustrates an embodiment in which a formula input device recommends a formula.
  • the user may want to enter the following molecular structure of the alcohol molecule.
  • the formula input apparatus may recognize the input formula and display the recognized results as a list of recommended formulas.
  • the formula input device may recommend formulas of various types such as molecular formula, molecular structure, and 3D molecular structure according to the recognized result.
  • the recommended formulas may be displayed in a list form at the bottom of the recognized result.
  • the user can select the molecular formula displayed in the third line of the list of recommended formulas.
  • the formula input device may detect a user's selection operation of selecting the molecular formula displayed in the third line. Thereafter, the formula input device may display the selected formula based on the detected selection operation of the user.
  • FIG. 6 show a screen on which a formula input device displays a formula selected in two representation formats. As shown in Fig. 6, each figure shows a selected formula represented in a printed font and a selected formula represented in a handwritten form, respectively.
  • the formula input device may predict and display formulas that are equivalent to the input formula. Therefore, a complex formula can be easily obtained only by inputting a formula that is equivalent to the complex formula.
  • the official input device may recommend an extended form of the matrix based on the matrix input in the abbreviated form. If the user enters all the elements of the matrix directly, it can take a long time to enter the formula. In order to solve this problem, the user may handwriting the abbreviated form of the matrix.
  • the formula input device may display (a ij ) mxn which is an abbreviation formula. Thereafter, the formal input device may recommend an extension matrix, which is a homogeneous relationship but in another format.
  • the extension matrix is:
  • the official input device may detect a user's selection operation of selecting an extension matrix. Thereafter, the formula input device may display the selected extension matrix.
  • FIG. 8 is a flowchart illustrating a process of acquiring a recommendation formula by a formula input device according to an embodiment.
  • the official input device may receive a user's handwriting input.
  • the received handwriting input may be an official handwriting input.
  • the official writing input received is It is assumed that it is.
  • the formula input device may recognize a formula input by a user.
  • the official input device may recognize a handwritten formula input by the user as (a ij ) mxn .
  • the LaTeX representation of (a ij ) mxn is " ⁇ left (a_ ⁇ ij ⁇ ⁇ right) _ ⁇ mxn ⁇ ".
  • the formula input device may perform a formula matching operation on the recognized formula (a ij ) mxn .
  • the formula matching operation may include searching the database to obtain a formula below that matches the recognized formula.
  • the formula input device may search a database based on formula characteristics.
  • the formula characteristic may include the positional relationship of characters in the formula and the type of formula.
  • the positional relationship of official letters is among left-right, top-bottom, top-right, bottom-right, and enclosing. At least one.
  • the formula type may include at least one of a matrix, a fraction line, a sum, an integral, and a chemical equation.
  • the database may include various forms of equations of equivalence relations, formulas corresponding to explanations of formulas.
  • various forms of equivalence formulas are shown in FIG. 8, and various forms of equivalence formulas may include abbreviated matrices and expansion matrices, molecular formulas and molecular structures, and 3D molecular structures, chemical equilibrium equations, and ion equilibrium equations.
  • the formula input device may recommend a formula that matches the recognized formula.
  • the selected recommendation formula may be displayed. Referring to FIG. 8, the following matrix may be displayed.
  • the official input device is a handwriting input by the user Can be received.
  • the official input device is a handwriting input by the user Can be received.
  • Input Is an unbalanced chemical formula.
  • the official input device may input handwriting by a user. Can be received. Input Is the short form of the matrix.
  • the determinant that the official input device can display as a result of the matrix calculation is as follows.
  • the official input device is a handwriting input by the user Can be received.
  • the formula entered is a determinant with missing elements of some matrix. That is, the input determinant includes a blank matrix. Specifically, the element of the left matrix on the right side of the formula is missing.
  • the official input device recognizes handwriting input, Can be obtained. Full formula based on recognized results Can be recommended.
  • a formula input apparatus may display a recognized formula and one or more recommended formulas on one screen.
  • FIG. 10 illustrates an embodiment in which a formula input device recommends a formula.
  • the official input device may include a user's handwriting input. Can be received.
  • Official input device is handwriting input Can be recognized as "NaCO 3 ".
  • the formula input device may determine that the recognized formula is invalid.
  • the formula input device may then recommend a valid formula "Na 2 CO 3 ".
  • the handwriting input, the recognized formula, and the recommended formula may be displayed on the screen.
  • the official input device may input a user's handwriting. Can be received.
  • the user's handwriting input is trigonometric.
  • Official input device the user's handwriting input of Can be recognized.
  • Official input device Can be judged as invalid.
  • the official input device may recommend a valid trigonometric equation.
  • the recommended valid trigonometric equations are:
  • the formula input device may determine whether the recognized formula is an impossible chemical reaction. If the formula input device determines that the recognized formula is an impossible chemical reaction, it may inform the user that it is an impossible chemical reaction in the form of a message displayed on the screen. The formula input device cannot recommend a complete formula because the input formula is a impossible chemical reaction.
  • the formula input device may display recognized formulas “Na 2 CO 3 ”, “C 2 H 6 O”, and “CuSO 4 ⁇ 5H 2 O”. Recognized formulas may be obtained based on a user's handwriting input or retrieved from a database. In one embodiment, the user may want to modify "C 2 H 6 O" of the displayed formulas.
  • the official input device may receive a user action of selecting “C 2 H 6 O”.
  • the formula input device recommends formulas of other representational forms (ie, chemical formulas, structures, 3D structures) of the selected "C 2 H 6 O” based on user actions.
  • the user can select “CH 3 OCH 3 ” from the recommended formulas.
  • the official input device may update "C 2 H 6 O” to "CH 3 OCH 3 " at the user's option. Accordingly, the official input device may change and display “C 2 H 6 O” displayed on the screen as “CH 3 OCH 3 ”.
  • the writing input received by the official input device may be recognized as the official description.
  • the formula description may include the name of the formula and the definition of the formula.
  • the formula input device may recommend a formula corresponding to the description of the recognized formula.
  • 12 (a) to 12 (c) show an embodiment of recommending a formula by recognizing a description (or name of a formula) of the formula.
  • 12 (d) to 12 (e) illustrate an embodiment of recommending a formula based on a formula and a method of expressing the formula.
  • the official input device is a user's handwriting input Can be received.
  • the official input device may recognize the received handwriting input as "oxygen production”.
  • the official input device can display "oxygen production”.
  • the formula input device can recommend three formulas that represent oxygen production: , , And .
  • the formula input device may display three formulas on the screen. The user can select one of the displayed formulas.
  • the official input device inputs a user's handwriting. Can be received and recognized as "alumen".
  • the chemical name KAl (SO 4 ) 2 ⁇ 12H 2 O corresponding to the alumn may be recommended.
  • the official input device is a user's handwriting input Can be recognized as a "4-order identity matrix". Thereafter, the official input device may recommend the following fourth-order unit matrix.
  • the user can select the recommended matrix.
  • 12 (d) to 12 (e) illustrate an example of recommending a formula based on a user's handwriting input.
  • the user's handwriting input may be a name of an incomplete formula and an expression form of the formula.
  • the official input device is a user's handwriting input Can be received.
  • the official input device inputs the user's handwriting And Can be received.
  • the official input device allows the user's handwriting input to be " symmetrix ".
  • the official input device can recommend the following symmetry matrix according to the recognition result.
  • FIG. 13 is a flowchart illustrating a process of acquiring a recommendation formula by a formula input device according to an embodiment.
  • the official input device may receive a user input.
  • the formula input device may classify formulas and descriptions from user input. Thereafter, the official input device may recognize a user input.
  • the recognized formula is an incomplete matrix, and the description of the formula is symmetric. Incomplete formulas and formula descriptions can be recognized as complementary. Therefore, the official input device 'user input' 'Symmetric matrix of'. Then, through formula matching, the following formula can be finally recommended.
  • the formula recommended by the formula input device may be sorted according to a predefined rule.
  • Predefined rules may include formulas that are formula similarity, formula entry frequency, and equivalence relationships. Equivalent formulas can be displayed on the screen as much as possible. The details of obtaining the equivalent recommendation formula are described above.
  • Formula similarity refers to the similarity between a recognized formula and a recommended formula.
  • the recommendation formula may be ordered based on one or a combination of the above rules.
  • FIG. 14 is a schematic diagram illustrating an embodiment in which a formula input device recommends a formula.
  • the official input device may receive a user's handwriting input 501.
  • the user's handwriting input is a molecular formula.
  • the official input device may recognize the received handwriting input.
  • the formula input device may recommend and display molecular formulas, molecular structures, and 3D molecular structures in equivalence based on the recognized formula.
  • the user can select a molecular structure from the formulas recommended and displayed in the list. In this embodiment, the user may obtain a complicated molecular structure by writing a simple molecular formula.
  • 15 is a schematic diagram illustrating four switching methods between an input mode and an editing mode, according to an exemplary embodiment.
  • the input mode may include a writing mode.
  • the user interface of the official input device may provide a plurality of modes to enable the user to implement different operations.
  • the official input device may receive a user action and perform a corresponding response, that is, a mode switch.
  • the mode may include an input mode and an edit mode.
  • the input mode allows the user to take a formula. That is, it allows the user to enter a formula.
  • the edit mode allows the user to perform various editing operations on the recognized formula, i.e., select the formula, drag the formula, draw a pen gesture, and so on.
  • the official input device may switch between the writing mode and the editing mode in response to a user's predefined operation.
  • the predefined operation may be any one of 1 pressing a button with a stylus pen, 2 double-clicking a touch screen, 3 clicking a system button, and 4 selecting a system menu.
  • the mode of the official input device may be converted into an input mode or an edit mode.
  • the predefined operation may be any one of 5 contacting the finger with the touch screen while the stylus pen is in operation and 6 contacting the finger with the touch screen while the stylus pen is in operation. Can be.
  • the mode of the official input device When the mode of the official input device detects the predefined operation 5, it may be converted from the input mode to the edit mode. When the mode of the official input device detects the predefined operation 6, it can be switched from the edit mode to the input mode.
  • FIG. 16 is a schematic diagram illustrating an embodiment in which a user accepts or excludes a recommended element.
  • " ⁇ " may be defined as an acceptance gesture and "x" may be defined as a rejection gesture.
  • input from the user (some elements of the matrix, that is, in the figure a 11, a 12, a 13 , a 21, a 31, a 41) is to be recognized and displayed in a matrix of print fonts Can be.
  • the formula input device may recommend a formula based on the intrinsic attribute of the recognized matrix.
  • the elements of the matrix recommended by the official input device are light (or light) It can be represented in the matrix recognized as).
  • the user can then perform an operation to accept the elements of the recommended matrix.
  • the user can draw " ⁇ " on the bottom right element a 43 of the matrix to accommodate the elements of all the recommended matrices to obtain the matrix 704.
  • the user may switch to the edit mode (705) and operate to individually accept the elements of some recommended matrix. For example, the user can accept or exclude the element "a 23 " of the recommended matrix. The user can select "a 23 ". The selected "a 23 " may be displayed in a darker color than the elements of the existing recommended matrix. (706) The user may accept or exclude the selected elements by drawing a specific gesture on the selected "a 23 ". If the user accepts the selected element, the remaining non-selected other recommendation matrix elements may be excluded. If the user excludes the selected symbol, other recommendation matrix elements may be accepted.
  • the user can draw an acceptance gesture " ⁇ " to accept the selected element to obtain the matrix 708.
  • the user may draw an exclusion gesture “x” to exclude the selected element to obtain the matrix 710.
  • the formula input device may correct an error of the formula recognized in the edit mode.
  • the formula input device in response to the user's predefined actions, the formula input device may recognize errors in the formulas displayed on the recognition and user interface. Errors in formulas can generally be classified into three types: recognition errors, structure errors, and segmentation errors.
  • the formula input device may correct a character recognition error in the formula.
  • the character recognition error means that when a user inputs a character, the official input device incorrectly recognizes a character input with another character having a similar structure and displays another character.
  • the predefined operation for correcting the character recognition error may be an operation in which the user writes the correction content to overlap the recognized character.
  • the official input device may recognize the superimposed handwritten characters and replace the previously recognized character with the currently recognized character to display the character.
  • FIG. 17 is a schematic diagram illustrating an example of correcting a character recognition error.
  • the user tries to input "3a", but the official input device incorrectly recognizes the user's input as "3 ⁇ ”. (801)
  • the user tries to correct this error.
  • the user switches the electronic device to the edit mode. After operation 802, the user can rewrite “a” over the misidentified “ ⁇ ”. 803)
  • the official input device may recognize "a", which the user rewrote over " ⁇ ”. Thereafter, the official input device automatically deletes " ⁇ ” or moves " ⁇ ” to the candidate list. The official input device then provides the newly recognized result "3a".
  • FIG. 18 illustrates another embodiment of correcting a character recognition error.
  • the user wants to enter “CaCO 3 ”.
  • the official input device incorrectly recognizes the user's input as "CuCO 3 ".
  • the user wants to correct this error.
  • the user switches the electronic device to the edit mode by using one of the switching methods described with reference to FIG. 15.
  • the user can then rewrite "a” over the misrecognized character "u”.
  • the official input device may recognize "a” rewritten by the user over "u”.
  • the official input device deletes "u” or moves "u” to the candidate list using the recognized result.
  • the official input device may display the newly recognized result “CaCO 3 ”.
  • the formula input device may correct a structural error of the formula in response to a user's predefined action.
  • Structural errors indicate errors in determining the positional relationship between symbols.
  • the positional relationship between two groups of recognized characters may be modified in response to a user's motion indicating the positional relationship between two groups of recognized symbols.
  • the positional relationship between the two groups of symbols may include left, right, top right, bottom right, top left, bottom left, top, bottom, inside, and outside.
  • the user can select the group associated with the structural error and drag and fix the error.
  • the user can select two groups of symbols with incorrect positional relationships and correct the error with a pen gesture.
  • Pen gestures can be designed in a variety of ways. Various methods use positional orientation (ie right-to-left line means left, left-to-right line means right, etc.), or character gestures that indicate other directions (i.e., l means left, r means right). Meaning, etc.).
  • FIG. 19 is a schematic diagram illustrating an embodiment of correcting a position relationship error. As shown in Fig. 19, “ab” may be misrecognized as “a b ". (901) The user wants to correct this error. First, the user may switch the official input device to the edit mode by using one of the switching methods described with reference to FIG. 15. In operation 902, the user may correct this error in two ways.
  • the user can select "a” and "b".
  • a pen gesture that means a left-right relationship.
  • the gesture of drawing a horizontal line from left to right may be defined as a user's action of converting the format of the right character into the format of the left character.
  • the official input device sets “ab” according to the user's operation. Recognize it.
  • the official input device may display "ab” (907).
  • edit mode 902 the user can select the symbol " b " The user can then draw a pen gesture that drags the symbol “b” to the right side 906 of the symbol "a”.
  • the official input device may recognize “ab” again and display “ab” (907).
  • the official input device may incorrectly recognize “a 3 ” as “a3”.
  • the user wants to correct this error.
  • the user may switch the official input device to the edit mode by using one of the switching methods described with reference to FIG. 15. Thereafter, recognition errors can be corrected in two ways.
  • the user can select the symbols "a” and "3". As illustrated in FIG. 20, the user may draw a line in the upper right direction.
  • the official input device may obtain "a 3" through official recognition based on the user's gesture.
  • Formula input device may re-recognize the "a3" by "a 3".
  • the formula input device may correct a segmentation error of the formula in response to a user's predefined operation.
  • the recognized formula may be modified in response to the user's segmentation of the recognized formula.
  • Segmentation errors can occur mainly in matrices. When one element of the matrix is divided into two or more elements and recognized, it may be referred to as excessive division. Recognition of two or more elements of a matrix as one element may be referred to as a transient coupling. The two types of segmentation errors can be corrected using the segmentation line. The rows and columns of the matrix may be error corrected (or rearranged) based on the user's dividing line.
  • matrix 1001 is a transient coupling matrix.
  • the user can correct the overcombination error in the following way.
  • the user may switch the formula input device to the edit mode by using one of the switching methods described with reference to FIG. 15. (1002)
  • the user may draw two lines from the top to the bottom to rearrange the columns of the matrix.
  • the official input device may obtain a matrix 1004 that the user intends to input.
  • FIG. 22 illustrates another embodiment of correcting a matrix combining error. As shown in FIG. 22, this embodiment shows an interface of a terminal. You want to enter the following matrix, which is a 3x2 matrix:
  • the user may perform a gesture of drawing two dividing lines in the edit mode. Thereafter, the official input device may display a 3x2 matrix desired by the user.
  • the formula input device may provide special support for matrix input.
  • the matrix may include a special type of matrix such as a unit matrix or a symmetric matrix.
  • the official input device may support the input of a special type of matrix.
  • the matrix may be input by one or a combination of the methods described in step 101 of FIG. 1.
  • the user may directly write a matrix (1101) or input a matrix using a matrix template (1102) or photograph an image of the matrix (1103). May recognize a user's input to obtain a matrix, and display the recognized matrix in a printed font.
  • the official input device When the official input device recognizes a matrix directly written by the user, the official input device first starts the user. The presence of a handwriting input may be detected and subsequent recognition may be performed.
  • the formal input device may perform formal recognition within a limited range based on the matrix template. In theory, the recognition rate of the written matrix after selecting the matrix type template may be higher than other methods.
  • the official input device may recommend one or more complete matrices 1105 or a matrix 1107 including some recommended matrix elements according to the official recommendation rule of step 102 of FIG. 1.
  • the recommendation matrix element may be displayed in a manner different from that of the input and recognized element (for example, in bright colors).
  • the user may select one matrix from the recommendation matrices 1105 to obtain the matrix 1106.
  • the user may make various gestures to the incomplete matrix 1107 including the recommended elements.
  • the gesture taken on the incomplete matrix 1107 includes a gesture that draws on the recommended matrix element an acceptable gesture ⁇ for obtaining the matrix 1109; A gesture 1110 for directly writing and inputting elements of the matrix to obtain the matrix 1111; A gesture 1112 that draws a bidirectional arrow shape to obtain a symmetric matrix 1113; It may include drawing a large symbol "0" used for fast repetitive input in the matrix to obtain a matrix 1115 filled with the remaining elements with '0'. For example, as shown in FIG. 23, the user may draw a large "0" to fill the area with "0". (1114)
  • the official input device may modify the matrix according to a predefined operation of the user.
  • the formula input device may modify the dimension of the matrix.
  • the predefined operation for modifying the dimension of the matrix includes dragging and dropping parentheses of the matrix to modify the dimension (1202); Rewriting at least one parenthesis of the matrix such that the parenthesis includes a matrix element of a desired dimension; Adding or modifying 1204 a number representing a dimension in the lower right corner of the matrix with the desired number;
  • the method may include modifying a number of interface dimensions constituting the matrix dimension.
  • FIG. 24 is a schematic diagram illustrating modification of a matrix dimension according to an embodiment.
  • the user wants to modify the 2x3 matrix 1201 to a 3x3 matrix 1209.
  • the user can modify the dimension of the matrix by using one of the following three methods. (Note: The method of modifying the number of the interface dimension constituting the matrix dimension is not shown in FIG.
  • the user can drag the right parenthesis of the 2x3 matrix 1201 down to modify the 2x3 matrix 1201 to the 3x3 matrix 1209 (1202); Alternatively, the user can rewrite left and right parentheses to modify matrix 1201 to 3x3 matrix 1209.
  • the user may directly input '3x3' to the bottom right of the matrix as shown in 1204 to modify the 2x3 matrix 1201 to a 3x3 matrix 1209.
  • the formula input device may automatically recommend the matrix 1205 and / or the matrix 1207 according to the formula recommendation rule described in step 102 of FIG. 1.
  • the user can then select the matrix 1205 to obtain a matrix 1206 of modified dimensions.
  • the user can accept an element of the recommended matrix by drawing a predefined gesture (eg, “ ⁇ ” shown in 1208) to obtain a matrix of modified dimensions 1209.
  • the formula input method may include adjusting and displaying a formula.
  • the recognized result may be automatically adjusted according to the size of the display unit provided.
  • input and recognized formulas can be automatically displayed in abbreviated form or reduced size. For example, if a user If you enter a matrix of extended form, such as You can automatically display matrices in the short form (a ij ) mxn .
  • a portion of the formula to be entered may be recommended and displayed in a larger size compared to the portion of the recognized formula. For example, when the formula input by the user is incomplete, the portion input by the user may be displayed in a reduced size, and the area to be additionally input may be displayed large. For example, if the user enters only a portion of the matrix, the elements of the matrix entered by the user are displayed in reduced size, while the elements of the matrix recommended by the official input device are displayed in relatively large sizes. Can be.
  • the formula input method provided by the present disclosure may first recognize a formula input by a user, display a recognized formula, and then display recommended content based on the recognized formula.
  • the formula input method may use a writing method as a main input method for easier formula input.
  • the user may write a formula to be input directly.
  • the user may not be limited to the order of the symbols (or numbers) and the structure of the formula in the handwriting input. Since the writing formula is in 2D form, the formula input method according to an embodiment may not require a process of converting a string into a 2D form formula.
  • a formula since a formula is input by handwriting input, it may not be necessary to select a special symbol or a formula by using an existing special character list.
  • Formula input method greatly increases the recognition accuracy and input speed of the formula through the content recommended to the user.
  • the formula input device may recommend various types of formulas such as elements of a matrix, mathematical symbols required for formulas, chemical formulas, chemical structures, and chemical equilibrium equations.
  • all forms of a formula recommended by the official input device may be collectively referred to as contents. That is, all elements of the formula or the formula itself may be collectively referred to as contents.
  • the user may write the formula in a more appropriate position that improves handwriting recognition accuracy. Accordingly, input efficiency can be improved by using the recommended writing position and / or writing structure.
  • the formula input device may recommend a formula frequently used by the user.
  • the user can select a formula recommended by the formula input device with only a partial input of the formula.
  • simple input of predefined symbols such as repeating symbols and symmetric symbols may be supported. For example, certain symbols may be used as predefined symbols that support quick entry of a writing formula. Specifically, certain symbols may be used when complex input and / or repeated input is required.
  • error correction of handwritten formula recognition may be supported.
  • Errors can include recognition errors, structure errors, segmentation errors, and the like.
  • the user can conveniently correct the error of the formula.
  • the formula input method may provide fast and efficient matrix input.
  • Input of the matrix may include inputting a symmetric matrix, inputting elements to a region, correcting matrix dimensions, correcting segmentation errors, and the like.
  • the official input method according to an embodiment may be applied to a computer device that supports handwriting input, such as a cell phone and a tablet PC.
  • the official input device 1300 may include a recognition unit 1301, a display unit 1302, and a processing unit 1303.
  • the recognition unit 1301 may recognize a formula input by a user.
  • the formula recognized by the user may include any one or a combination of a writing formula, a formula input using a format template format call, a formula included in a photo, or a formula input through a scan.
  • the recognizer 1301 may analyze the predefined symbol of the handwriting input into a corresponding associated predefined formula structure.
  • the predefined symbol may include a repeating symbol, a symmetric symbol, and the like.
  • the display unit 1302 may display the recognized formula and display the recommended content based on the recognized formula.
  • the display unit 1302 may display a recommended writing position around the letter in response to a writing instrument operation that is close to the letter (or number) of the displayed formula.
  • the display unit 1302 may display a recommended writing structure associated with the letter in response to a writing instrument operation that is close to the letter (or number) of the displayed formula.
  • the display unit 1302 may display a recommendation formula associated with the recognized formula.
  • the recommendation formula can be retrieved from the formula database and contains formulas that contain the same content as the recognized formula, the user's handwriting record, one or more consecutive characters predicted based on the characters of the recognized formula, and attributes of the recognized formula.
  • the display unit 1302 may display the recommended content (formula) in a format different from the recognized formula.
  • the processor 1303 may analyze and process a user's interaction with the displayed content. According to an embodiment, the processor 1303 may switch to the writing mode or the editing mode in response to a predefined user's operation.
  • the user may be allowed to enter a formula in the handwriting mode, and the user may be allowed to edit the recognized formula in the editing mode.
  • Predefined user actions include any one of pressing a button on the stylus pen, double-clicking the touch screen, touching or not touching the touchscreen while the stylus pen is operating, or selecting a system button or menu. can do.
  • the processor 1303 may process some or all of the recommended content in response to a predefined user action.
  • the processor 1303 may correct an error of a recognized formula corresponding to a predefined user's operation.
  • the processor 1303 may recognize the written character corresponding to the user's writing operation on the recognized character and replace the recognized character with the written character.
  • the processor 1303 may modify a positional relationship between two groups of characters based on a user's action corresponding to a positional relationship between two groups of recognized characters.
  • the processor 1303 may modify the recognized matrix based on the segmentation operation of the user.
  • each formula input device 1300 corresponding to each step of the formula input method has been described with reference to FIGS. 1 to 12. Therefore, the operation and configuration described in the above-described method is applicable to the module included in the device 1300 and thus will not be repeated.
  • the official input device 1300 may further be executed in an electronic device or an electronic device using a download method. Components corresponding to the official input device 1300 may cooperate with other components in the official input device to implement the official input method.
  • the display unit 1302 may cooperate with the screen of the official input device to display the recognized official and recommended content on the screen.
  • the official input device 1400 of the present embodiment may include a receiver 1401, a determiner 1402, and a display 1403.
  • the receiver 1401 may receive content input by the user.
  • the determiner 1402 may determine the recommended content based on the received content.
  • the display unit 1403 may display the recommended content.
  • the determiner 1402 may perform operations of the recognizer 1301 and the processor 1303 described with reference to FIG. 25.
  • the display unit 1403 may perform an operation of the display unit 1302 described with reference to FIG. 25.
  • the official input device 1500 may include a user interface 1501 and a controller 1502.
  • the user interface 1501 may receive content input by a user.
  • the controller 1502 may determine one or more recommended content based on the input content.
  • the user interface 1501 may display the determined one or more recommended content.
  • the user interface 1501 may receive a user's handwriting input.
  • the controller 1502 may acquire handwritten content based on a user's handwriting input, and determine at least one or more recommended content based on the handwritten content.
  • the user interface 1501 may display the obtained handwritten content and one or more recommended content.
  • the obtained handwriting content may include a shape of the handwriting input itself and / or a handwriting input converted from a printed font.
  • the user interface 1501 may display one or more recommended content based on coordinate values on the user interface corresponding to the user's handwriting input. That is, the recommended content may be displayed according to the location of the handwriting input on the user interface.
  • the user interface 1501 may receive a user input for selecting one of the displayed recommended content, and display the selected recommended content.
  • the handwritten content obtained through a user's handwriting input may include at least one of a formula, a matrix, a formula, and a name of a formula (explanation of a formula).
  • the one or more recommended content may include at least one of formula information, subscript position information, equation, and equivalence relationship information.
  • the one or more recommended content may include at least one of structural information and coefficient information of the molecule.
  • the one or more recommended content may include at least one of a condensation matrix, an extension matrix, a unit matrix, and a symmetry matrix.
  • the one or more pieces of recommended content may include remaining element information of the matrix, and the user interface 1501 may display the remaining element information with lower brightness than the elements of the input matrix. have.
  • the user interface may display a matrix of dimensions modified according to a user's input for moving a parenthesis position of the matrix or a user's handwriting input indicating the dimension of the matrix.
  • the user interface 1501 may receive a user input for the displayed handwritten content or the selected recommended content.
  • the user input may be a handwriting input.
  • the controller 1502 may change the displayed handwritten content or the selected recommended content according to the received user input. Specific details have been described with reference to FIGS. 8 to 10.
  • the user interface 1501 may perform operations of the display unit 1302 described with reference to FIG. 25 and the receiver 1401 described with reference to FIG. 26.
  • the controller 1502 may perform operations of the recognizer 1301 and the processor 1303 described with reference to FIG. 25.
  • the official input device may receive a user's handwriting input.
  • the official input device may obtain handwritten content based on a user's handwriting input. Thereafter, the official input device may determine at least one recommendation content based on the handwritten content. Thereafter, the official input device may display the handwritten content and the one or more recommended content. (S1604)
  • the official input device may receive a user input for selecting one of the displayed recommended content. Thereafter, the official input device may display the selected recommended content.
  • the handwritten content obtained by the user's handwriting input may include at least one of a name of an equation, a matrix, a formula, and a formula.
  • the official input device may receive a user input for the displayed handwritten content or the selected recommended content. Thereafter, the official input device may change the displayed handwritten content or the selected recommended content according to the received user input.
  • the user input may be a handwriting input.
  • the above-described method for managing the content of the device can be written in a program that can be executed in a computer, it can be implemented in a general-purpose digital computer to operate such a program using a computer-readable recording medium.
  • Such computer-readable recording media include storage media such as magnetic storage media (eg, ROMs, floppy disks, hard disks, etc.) and optical reading media (eg, CD-ROMs, DVDs, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 필기 입력을 수신하는 단계, 상기 사용자의 필기 입력을 기반으로 필기 컨텐트를 획득하고, 상기 필기 컨텐트를 기반으로 적어도 하나 이상의 추천 컨텐트를 결정하는 단계, 상기 사용자 인터페이스는 상기 필기 컨텐트 및 상기 하나 이상(one or more)의 추천 컨텐트를 표시하는 단계를 포함하는 공식 입력 방법을 제공한다.

Description

공식 입력 방법 및 장치
본 명세서는 필기 입력 방식에 관련된 것으로, 보다 구체적으로 사용자 입력 기반의 공식 입력 방법 및 장치에 관한 것이다.
수학식, 화학식 등을 포함하는 공식(formula)를 입력하는 것은 문서 작업을 하거나, 교육 과정에서 계산을 수행하거나, 산업 현장 또는 실험실에서 데이터를 분석하기 위해 필요할 수 있다. 공식은 계산 엔진에 대입되어 처리될 수 있다. 구체적으로, 계산 엔진(예를 들어, 매스메티카(Mathematica))의 프론트 엔드(front end)는 입력된 공식을 기반으로 수치 계산 및 그래프 도면을 구현할 수 있다. 프론트 엔드란, 호스트 컴퓨터와 사용자 사이의 전처리 또는 제어를 의미한다. 또한, 공식은 검색 엔진에 입력될 수 있다. 검색 엔진은 입력된 공식을 이용하여 공식과 관련된 정보를 검색할 수 있다. 이와 같이, 공식의 입력은 공식을 응용하기 위한 첫 번째 단계이다.
따라서, 본 명세서는 보다 효율적인 공식을 입력하는 방법 및 장치에 관한 내용을 포함한다.
일반적으로 공식 입력 방법은 두 가지로 분류될 수 있다. 두 가지 공식 입력 방법은 키보드/마우스 기반 공식 입력 방법 및 필기 인식 기반 공식 입력 방법일 수 있다.
키보드/마우스 기반 입력 방법은 일반적으로 두 가지 종류를 포함할 수 있다. 키보드/마우스 기반 입력 방법은 LaTeX와 같은 문자열 기반 공식 입력, 그리고 워드 프로세서의 공식 편집기와 같은 공식 편집 기반 입력을 포함할 수 있다. 문자열 기반 공식 입력 방법을 사용하기 위해서, 사용자는 일반적으로 문자열 및 이차원 공식 간의 관계를 매핑하는 방법을 숙지해야 한다. 공식 편집기 기반의 입력 방법을 사용하기 위해서, 사용자는 워드 프로세서가 제공하는 특정 문자 리스트 및/또는 키보드를 통해 입력된 문자를 이용하여 특수 문자 및 공식의 구조(예를 들어, 합산 기호, 적분 기호 등)를 선택할 수 있다.
상술한 키보드/마우스 기반 공식 입력 방법을 사용하기 위해서는, 사용자가 공식 구조에 대해 숙지하고 있어야 하고, 입력하고자 하는 공식의 모든 내용을 직접 입력해야 한다. 예를 들어, 값들의 총 합을 계산하기 위한 합산 기호(∑)를 입력하려면, 사용자는 먼저 합산 기호를 입력하고, 이후, 합산의 하한값과 상한값을 입력해야 한다.
이후 상술할 필기 기반 입력 방법에 따르면, 사용자는 공식을 직접 손으로 필기(handwriting)하는 방식으로 입력할 수 있다. 본 명세서의 일 실시 예에 다른 공식 입력 방법 및 장치는 사용자가 직접 필기하여 입력한 공식을 인식하고, 인쇄 글꼴의 형태로 변환할 수 있다.
필기 기반 공식 입력 방법 및 장치를 제공한다.
기존의 공식 입력 방법은 다음과 같은 단점이 있다. 첫째, 키보드/마우스 기반의 공식 입력 방법은 비효율적이다. 구체적으로, 키보드/마우스 기반의 공식 입력 방법의 인식률은 낮을 수 있다. 또한, 사용자가 입력하고자 하는 공식에 대한 지식을 갖고 있어야 한다. 둘째, 필기 인식 기반의 공식 입력 방법은 사용자의 공식에 대한 지식을 필요로 하지 않는 반면, 키보드/마우스 기반의 공식 입력 방법과 마찬가지로 인식 오류가 발생하기 쉽다. 또한, 오류를 정정하는 과정이 복잡할 수 있다. 예를 들어, 행렬 공식에 대한 입력 효율 및 인식률이 낮을 수 있다.
본 명세서는 상술한 약점들을 극복하기 위한 공식 입력 방법, 기구 및 이에 해당하는 전자 장치를 제공한다.
제 1 관점에 따른 공식 입력 방법은, 사용자에 의한 공식 입력을 인식하고 인식된 공식을 표시하는 단계; 인식된 공식을 기반으로 추천 컨텐츠를 표시하는 단계; 및 표시된 컨텐츠에 대한 사용자의 상호 동작을 분석하고 처리하는 단계를 포함할 수 있다.
다른 관점에 따른 공식 입력 방법은, 공식 입력 절차 동안 사용자에 의한 컨텐츠 입력을 수신하는 단계; 사용자의 컨텐츠 입력을 기반으로 추천 컨텐츠를 결정하는 단계; 및 추천 컨텐츠를 표시하는 단계를 포함할 수 있다.
일부 실시 예에서, 만약 사용자에 의한 컨텐츠 입력이 공식을 포함하면, 사용자에 의해 입력된 컨텐츠를 기반으로 추천 컨텐츠를 결정하는 단계는, 사용자에 의한 공식 입력을 인식하는 단계; 및 상기 인식된 공식을 기반으로 추천 컨텐츠를 결정하는 단계를 포함할 수 있다.
일부 실시 예에서, 추천 컨텐츠를 표시하는 단계는, 인식된 공식 내의 문자와 근접한 필기 기구의 동작에 대응하여, 추천 필기 위치를 문자 주변으로 표시하는 단계를 포함할 수 있다.
일부 실시 예에서, 추천 컨텐츠를 표시하는 단계는, 인식된 공식 내의 기설정된(predefined) 문자에 근접한 필기 기구의 동작에 대응하여 기설정된 문자와 관련된 추천 필기 구조를 표시하는 단계를 포함할 수 있다.
일부 실시 예에서, 추천 컨텐츠를 표시하는 단계는 인식된 공식과 관련된 추천 공식을 획득하는 단계; 및 추천 공식을 표시하는 단계를 포함할 수 있다.
일부 실시 예에서, 추천 공식을 획득하는 단계는 인식된 공식을 기반으로, 인식된 공식과 같은 컨텐츠를 포함하는 공식에 대한 사용자의 필기(writing) 데이터 및 필기 히스토리(history)를 포함하는 데이터 베이스를 검색하는 단계; 인식된 공식의 현재 문자를 기반으로, 언어 모델(language model)을 이용하는 하나 이상의 다음 문자를 예측하는 단계; 인식된 공식의 속성을 기반으로, 추천 컨텐츠와 다른 컨텐츠의 공식을 획득하는 단계; 인식된 공식의 표현 형식을 기반으로, 인식된 공식과 컨텐츠는 같지만 형식은 다른 공식을 획득하는 단계; 인식된 공식의 원소를 기반으로, 인식된 공식과 원소는 같지만 형식은 다른 공식을 획득하는 단계; 인식된 공식이 무효(invalid)인 경우, 인식된 공식의 원소를 기반으로 인식된 원소와 관련된 유효한 공식을 획득하는 단계; 및 인식된 공식의 컨텐츠를 기반으로, 인식된 공식을 포함하는 완전한 공식을 획득하는 단계 중 적어도 하나를 포함할 수 있다.
일부 실시 예에서, 인식된 공식의 속성을 기반으로, 추천 컨텐츠와 다른 컨텐츠의 공식을 획득하는 단계는, 다른 단위 행렬 간의 컨텐트의 유사도 및/또는 구조를 기반으로 공식을 추천하는 단계; 및 화학 방정식의 평형 속성을 기반으로 평형 화학 방정식을 추천하는 단계 중 적어도 하나를 포함할 수 있다.
일부 실시 예에서, 인식된 공식과 컨텐츠는 같지만 형식은 다른 공식을 획득하는 단계는 다른 형식의 공식들을 포함하는 공식 문자 및 공식 데이터 베이스를 기반으로 공식을 획득하는 단계를 포함할 수 있다.
일부 실시 예에서, 공식 문자는 좌우 관계, 상하 관계, 상단 우측 관계, 하단 우측 관계 및 묶음 관계와 같은 위치 관계 문자로서 행렬, 나눗셈, 라디칼(radical), 합산, 적분 및 화학식 중 적어도 하나 이상을 포함할 수 있다.
일부 실시 예에서, 다른 형태의 공식들을 포함하는 공식 데이터 베이스는 행렬 및 확장 행렬 공식 및 행렬의 다른 형태, 화학식 및 화학 구조, 화학식 및 이온 화학식, 화학 상호 작용 및 화학식에 대한 설명 중 적어도 하나를 포함할 수 있다.
일부 실시 예에서, 추천 공식은 공식 유사도, 공식 입력 주파수 및 공식 차이 정도 중 적어도 하나에 따라 정렬될 수 있다.
일부 실시 예에서, 사용자에 의한 공식 입력은 필기 공식, 추천된 공식 중 사용자에 의해 선택된 공식, 포맷 템플릿을 기반으로 입력된 공식, 그림 내 공식 및 스캔을 통한 공식 입력 중 적어도 하나 또는 조합을 포함할 수 있다.
일부 실시 예에서, 필기 공식을 인식하는 단계는 관련 사전 정의된 구조를 기반으로 입력된 사전 정의된 기호를 인식하는 단계를 포함할 수 있다.
일부 실시 예에서, 사전 정의된 기호는 반복 기호 또는 대칭 기호이고, 반복 기호와 관련된 사전 정의된 구조는 동일한 기호가 반복될 구역에 표시될 수 있고; 대칭 기호와 관련된 사전 정의된 구조는 현재 기재된 기호와 대칭하여 위치하는 구역에 표시될 수 있다.
일부 실시 예에서, 공식 입력 방법은 사용자의 상호 작용 동작을 분석 및 처리하는 단계를 더 포함할 수 있다.
일부 실시 예에서, 사용자의 상호 작용 동작을 분석 및 처리하는 단계는, 사용자의 사전 정의된 동작에 대한 추천 컨텐츠의 전부 또는 일부를 입력하는 단계를 포함할 수 있다.
일부 실시 예에서, 사용자의 상호 작용 동작을 분석 및 처리하는 단계는 사용자의 사전 정의된 동작에 대응하여 필기 모드 및 편집 모드 간 전환하는 단계를 포함할 수 있다. 사용자는 필기 모드에서 공식을 필기할 수 있고, 사용자는 편집 모드에서 인식된 공식을 편집할 수 있다.
일부 실시 예에서, 사전 정의된 동작은 사용자가 스타일러스 펜의 버튼을 누르는 동작; 사용자가 터치 스크린을 더블 클릭하는 동작; 스타일러스 펜이 동작하는 동안 사용자가 터치스크린을 터치하거나 터치하지 않는 동작; 및 사용자가 시스템 버튼 또는 메뉴를 선택하는 동작 중 하나를 포함할 수 있다.
일부 실시 예에서, 사용자의 상호 작용동작을 분석 및 처리하는 단계는, 편집 모드에서, 사용자의 사전 정의된 동작에 대해, 인식된 공식의 오류를 수정하는 단계를 더 포함할 수 있다.
일부 실시 예에서, 오류를 수정하는 단계는, 기인식된 문자 상의 사용자 필기 동작에 대응하여, 필기된 문자를 재인식하고, 기인식된 문자를 재인식된 문자로 교체하는 단계; 인식된 기호들의 두 그룹간 위치 관계를 나타내는 사용자의 동작에 대응하여, 기호의 두 그룹 간의 위치 관계를 수정하는 단계; 및 인식된 문자에 대한 사용자의 분할 동작에 대응하여, 인식된 문자들의 단위 분할을 수정하는 단계 중 적어도 하나 이상의 단계를 포함할 수 있다.
일부 실시 예에서, 오류를 수정하는 단계는 인식된 행렬의 차원을 수정하는 단계를 포함하고, 인식된 행렬의 차원을 수정하는 단계는, 필수 차수의 행렬 구성 원소를 둘러싸는 두 개 괄호 중 적어도 하나의 괄호를 드래깅하는 단계; 필수 차수의 매트릭스 구성 원소를 둘러싸는 두 개 괄호 중 적어도 하나의 괄호를 재작성하는 단계; 행렬의 우측 하단의 필수 숫자로 차원을 추가 또는 수정하는 단계; 및 행렬 차원 구성 인터페이스의 차원을 수정하는 단계 중 하나를 포함할 수 있다.
일부 실시 예에서, 추천 컨텐츠를 표시하는 단계는, 인식된 공식과 다른 방식으로 추천 컨텐츠를 표시하는 단계를 포함할 수 있다.
일부 실시 예에서, 인식된 공식은 인쇄 글꼴 및/또는 필기 형태로 표시될 수 있다.
일부 실시 예에서, 만약 사용자에 의해 입력된 컨텐츠가 공식 설명을 포함하면, 사용자에 의해 입력된 컨텐츠를 기반으로 추천 컨텐츠를 결정하는 단계는: 사용자에 의해 입력된 공식 설명을 기반으로 추천 컨텐츠를 결정하는 단계를 포함하고, 결정된 추천 컨텐츠는 공식 입력에 해당하는 공식; 또는 공식 설명과 관련된 불완전한 공식 및 공식 설명을 기반으로 추천 컨텐츠를 결정하는 단계를 포함하고, 결정된 추천 컨텐츠는 공식 설명 및 관련된 불완전한 공식에 해당하는 공식을 포함할 수 있다.
일부 실시 예에서, 추천 공식 리스트를 표시하는 단계는 인쇄 글꼴로 추천 후보 공식을 표시하는 단계; 및 필기 형태로 추천 후보 공식을 표시하는 단계 중 적어도 하나의 단계를 포함할 수 있다.
일부 실시 예에서, 선택된 공식은 인쇄 글꼴로 선택된 공식을 표시하는 단계; 및 필기 형태로 선택된 공식을 표시하는 단계 중 적어도 하나의 방식으로 표시될 수 있다.
제 2 관점에 따른, 공식 입력 장치는 사용자에 의한 공식 입력을 인식하는 인식부; 인식된 공식을 기반으로 획득된 인식된 공식 및 추천 컨텐츠를 표시하는 디스플레이부; 및 표시된 컨텐츠에 대한 사용자의 상호 동작을 분석 및 처리하는 처리부를 포함할 수 있다. 공식 입력 시스템은 상술한 제 1 관점에 따른 공식 입력 방법의 다양한 실시 예의 단계들을 실행하기 위한 장치를 더 포함할 수 있다.
제 3 관점에 따른, 공식 입력 장치는 사용자에 의한 공식 입력을 인식하고, 인식된 공식을 기반으로 추천 컨텐츠를 획득하고, 인식된 공식 및 추천 컨텐츠를 표시하는 터치 스크린을 제어하고, 및 표시된 컨텐트에 대한 사용자의 상호 동작을 처리하는 프로세서; 및 사용자에 의한 공식 및 동작 지시 입력을 수신하고, 프로세서의 제어에 따라 대응되는 컨텐츠를 표시하는 터치 스크린을 포함할 수 있다. 프로세서는 상술한 제 1 관점에 따른 공식 입력 방법의 다양한 실시 예의 단계들을 더 포함하기 위해 구성될 수 있다.
제 4 관점에 따른 공식 입력 방법은, 사용자에 의해 입력된 공식을 인식하고 인식된 공식을 표시하는 단계; 인식된 공식을 기반으로 추천 컨텐츠를 표시하는 단계; 및 표시된 컨텐츠에 대한 사용자의 상호 동작을 분석 및 처리하는 단계를 포함할 수 있다. 추천 컨텐츠는 인식된 공식과 내용은 동일하지만 표현 형식은 다른 공식을 포함할 수 있다.
일부 실시 예에서, 인식된 공식은 행렬이고, 표현 형식은 확장 행렬 형식 및 단축 행렬 형식 중 하나일 수 있다.
일부 실시 예에서, 추천 컨텐츠는 다른 단위 행렬간의 컨텐트의 유사도 및/또는 구조를 기반으로 추천된 공식을 더 포함할 수 있다.
일부 실시 예에서, 사용자에 의해 입력된 공식을 인식하는 단계는, 사전 정의된 구조로 작성된 사전 정의된 기호를 인식하는 단계를 포함할 수 있다; 여기서 사전 정의된 기호는 반복 기호 및/또는 대칭 기호를 포함하고, 반복 기호와 관련된 사전 정의된 구조는 동일한 기호가 반복될 구역에 표시될 수 있다.
일부 실시 예에서, 사용자의 상호 동작에 대한 분석 및 처리는, 편집 모드에서, 인식된 행렬에 대한 사용자의 행렬 단위 세그먼트 에러를 수정하는 단계를 포함할 수 있다.
일부 실시 예에서, 사용자의 상호 동작을 분석 및 처리하는 단계는, 편집 모드에서, 인식된 행렬의 차원을 수정하는 단계를 포함할 수 있다; 인식된 행렬의 차원을 수정하는 단계는 필수 차수의 행렬 구성 원소를 둘러싸는 두 개 괄호 중 적어도 하나의 괄호를 드래깅하는 단계; 필수 차수의 행렬 구성 원소를 둘러싸는 두 개 괄호 중 적어도 하나의 괄호를 재작성하는 단계; 행렬의 우측 하단의 필수 숫자로 차원을 추가 또는 수정하는 단계; 행렬 차원 구성 인터페이스의 차원을 수정하는 단계 중 하나를 포함할 수 있다.
일부 실시 예에서, 인식된 공식은 화학 공식이고; 표현 형식은 공식 설명, 화학 공식, 화학 구조, 이온 공식 및 3D 구조 중 어느 하나를 포함할 수 있다.
일부 실시 예에서, 인식된 공식이 행렬인 경우, 표현 방식은 행렬의 정의, 단축 행렬, 확장 행렬 중 하나일 수 있다.
일부 실시 예에서, 추천 컨텐츠는 화학 평형 방정식 속성을 기반으로 추천된 화학 평형 방정식을 포함할 수 있다.
일부 실시 예에서, 인식된 공식을 표시하는 단계는 디스플레이 영역의 사이즈에 따라, 인식된 공식의 사이즈 및/또는 표현 형식을 자동으로 조절하는 단계를 포함할 수 있다.
일부 실시 예에서, 인식된 공식을 표시하는 단계는 공식의 인식된 부분과 비교하여, 공식의 입력될 부분을 더 큰 사이즈로 표시하는 단계를 더 포함할 수 있다.
다른 관점에 따라, 공식 입력 장치는, 공식 입력 절차 동안 사용자에 의해 입력된 컨텐츠를 수신하는 수신부; 사용자에 의해 입력된 컨텐츠를 기반으로 추천 컨텐츠를 결정하는 결정부; 및 추천된 컨텐츠를 표시하는 디스플레이부를 포함할 수 있다.
또 다른 관점에 따라, 공식 입력 장치는, 사용자에 의한 공식 입력을 인식하고, 인식된 공식을 기반으로 추천 컨텐츠를 획득하고, 인식된 공식 및 추천 컨텐츠를 표시하는 터치 스크린을 제어하고, 및 표시된 컨텐트에 대한 사용자의 상호 동작을 처리하는 프로세서를 포함할 수 있다.
본 명세서는 간편하고 효율적인 공식 입력 방법을 제공할 수 있다. 먼저, 공식 입력 방법은 사용자에 의해 입력된 공식을 인식하고, 인식된 공식을 표시하고, 인식된 공식을 기반으로 추천 컨텐츠를 표시할 수 있다. 사용자는 추천된 컨텐츠를 이용하므로, 일 실시 예에 따른 공식 입력 방법의 공식 인식의 정확도 및 사용자의 입력 속도는 보다 향상될 수 있다.
일부 실시 예에서, 행렬 입력 방법을 제공한다. 예를 들어, 대칭 행렬 입력, 특정 영역의 원소들을 반복 되는 숫자로 입력, 분할 오류 수정 및 행렬의 차원 수정과 같은 다양한 형식의 행렬 입력 방법이 제공될 수 있다.
다른 실시 예에서, 화학 공식에 대한 공식 입력 방법이 제공될 수 있다. 예를 들어, 화학 평형 방정식, 이온 방정식과 같이 서로 다른 표현 방식의 화학식 추천이 제공될 수 있다.
도 1는 일 실시 예에 따른 공식 입력 방법을 도시하는 흐름도이다.
도 2는 다른 실시 예에 따른 공식 입력 방법을 도시하는 흐름도이다.
도 3는 일 실시 예에 따른 공식 입력 장치가 사용자 입력을 기반으로 필기 위치를 추천하는 과정을 도시한다.
도 4은 다른 실시 예에 따른 사용자 입력(예를 들어, 핸드라이팅, handwriting)에 대응하는 추천 공식 구조(recommending formula structure)의 예시를 나타내는 도표이다.
도 5는 일 실시 예에 따른 입력된 공식에 대응하는 예측 공식을 나타내는 도표이다.
도 6는 공식 입력 장치가 공식을 추천하는 일 실시 예를 도시한다.
도 7는 공식 입력 장치가 공식을 추천하는 다른 실시 예를 도시한다.
도 8는 일 실시 예에 따른 공식 입력 장치가 추천 공식을 획득하는 과정을 나타내는 흐름도이다.
도 9는 불완전 공식을 기반으로 완전 공식을 추천하는 일 실시 예를 도시한다.
도 10는 공식 입력 장치가 공식을 추천하는 일 실시 예를 도시한다.
도 11는 입력 공식을 기반으로 공식을 추천하는 일 실시 예를 도시한다.
도 12는 공식 설명을 기반으로 공식을 추천하는 일 실시 예를 도시한다.
도 13는 일 실시 예에 따른 공식 입력 장치가 추천 공식을 획득하는 과정을 나타내는 흐름도이다.
도 14는 공식 입력 장치가 공식을 추천하는 일 실시 예를 나타내는 개략도이다.
도 15은 일 실시 예에 따른 필기 모드 및 편집 모드 간 네가지 전환 방법을 나타내는 개략도이다.
도 16은 사용자가 추천된 원소를 수용 또는 제외하는 일 실시 예를 나타내는 개략도이다.
도 17는 문자 인식 에러를 수정하는 일 실시 예를 나타내는 개략도이다.
도 18는 문자 인식 에러를 수정하는 다른 실시 예를 도시한다.
도 19는 위치 관계 에러를 수정하는 일 실시 예를 나타내는 개략도이다.
도 20는 위치 관계 에러를 수정하는 다른 실시 예를 나타낸다.
도 21는 행렬 결합 에러를 수정하는 일 실시 예를 나타내는 개략도이다.
도 22는 행렬 결합 에러를 수정하는 다른 실시 예를 도시한다.
도 23은 일 실시 예에 따른 행렬 입력을 나타내는 개략도이다.
도 24는 일 실시 예에 따른 행렬 차원의 수정을 나타내는 개략도이다.
도 25은 일 실시 예에 따른 공식 입력 장치를 나타내는 개략도이다.
도 26는 일 실시 예에 따른 공식 입력 장치의 구조를 나타내는 개략도이다.
도 27는 일 실시 예에 따른 공식 입력 장치를 나타내는 개략도이다.
도 28은 일 실시예 에 따른 공식 입력 방법의 흐름도이다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시 예를 상세히 설명하기로 한다. 하기 실시 예는 기술적 내용을 구체화하기 위한 것일 뿐 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시 예로부터 해당 기술분야의 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 '구성된다' 또는 '포함한다' 등의 용어는 명세서 상에 기재된 여러 구성 원소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 원소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 원소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 원소들을 설명하는데 사용할 수 있지만, 상기 구성 원소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 원소를 다른 구성 원소로부터 구별하는 목적으로만 사용된다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성원소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성원소를 제외하는 것이 아니라 다른 구성원소를 더 포함할 수 있는 것을 의미한다.
본 명세서의 실시 예 및 실시 예들의 구성 원소들은 서로 충돌되지 않는 범위 내에서 결합될 수 있다. 이하, 도면 및 실시 예들을 참조하여 보다 자세히 설명한다.
본 명세서에서 사용자의 필기 입력은 사용자의 아날로그 필기 입력으로 호칭될 수 있다. 또한 사용자의 필기 입력은 감압식 또는 정전식 사용자 인터페이스를 통해 입력될 수 있다. 또한 사용자 필기 입력은 사용자의 손가락 뿐만 아니라 스타일러스 펜과 같은 외부 장치를 이용하여 입력될 수 있다.
도 1 및 도 2는 일 실시 예에 따른 공식 입력 방법을 도시하는 흐름도이다. 본 실시 예에 따라, 터치 스크린을 포함하는 공식 입력 장치가 공식 입력 방법을 수행할 수 있다. 공식 입력 장치는 스마트 폰, 태블릿 PC, 대화형 컴퓨터(interactive computer), 데스크 탑 컴퓨터 등을 포함할 수 있다.
도 1에 도시된 바와 같이, 일 실시 예에 따른 공식 입력 장치는 사용자에 의해 입력된 컨텐츠를 수신한다. (101 단계) 일 실시 예에서, 사용자에 의해 입력된 컨텐츠는 필기 입력일 수 있다.
사용자는 다양한 필기 입력 방법으로 공식 입력 장치로 공식을 입력할 수 있다. 필기 입력 방법은 손으로 공식을 입력하는 방법, 템플릿을 이용한 공식 입력 방법, 공식의 이미지를 포함하는 그림 또는 사진을 스캔하여 공식을 입력하는 방법, 또는 입력된 공식들 중에서 공식을 선택하는 방법을 포함할 수 있다. 사용자의 필기 입력에 의해 입력된 공식들은 공식에 대한 정의, 공식에 대한 설명 또는 공식들의 조합 및 불완전한 형태의 공식일 수 있다. 일 실시 예에 따른 공식은 수학 공식, 화학 공식, 물리 공식 등을 포함할 수 있다. 불완전한 형태의 공식은, 예를 들어, 계수를 포함하지 않는 화학 균형 방정식, 하한값과 상한값이 기재되지 않은 합산 기호, 일부 행렬의 원소가 누락된 행렬식 등을 포함할 수 있다.
일 실시 예에서, 공식 입력 장치는 사용자의 필기 입력을 인식하여 필기 컨텐트를 획득할 수 있다. 획득된 필기 컨텐트를 기반으로 공식 입력 장치는 공식의 편집 및 공식의 수정을 할 수 있다. 사용자는 터치 스크린에 인식될 수 있는 스타일러스 펜, 손가락, 또는 다른 전자 필기구 등을 이용하여 공식 입력 장치의 터치 스크린 상에 공식을 필기할 수 있다.
다른 일 실시 예에서, 사용자는 일부 사전 정의된(predefined) 기호를 필기할 수 있다. 사전 정의된 기호는 분수 기호(/ 또는 ㅡ), 제곱근 기호(√), 적분 기호(∫)등을 포함할 수 있다. 구체적으로 사전 정의된 기호의 예시는 도 4의 도표에 도시된 바와 같다.
일 실시 예에 따른 공식 입력 장치는 필기 입력된 사전 정의된 기호를 해당 사전 정의된 기호를 포함하는 공식의 구조와 관련된 것으로 인식할 수 있다. 이에 따라, 사용자는 공식 입력 장치에 의해 추천된 관련 공식의 구조를 이용하여, 공식을 쉽고 빠르게 입력할 수 있다. 사전 정의된 기호에 대응하는 공식의 구조에는 반복(repeat) 입력 구조 또는 대칭(symmetric) 행렬 구조가 포함될 수 있다. 행렬 입력에 있어서, 사용자는 반복 입력 구조를 사용하면 같은 행렬을 반복하여 큰 배열을 쉽게 만들 수 있다. 또한 반복 입력 구조를 이용하여 행렬 내의 같은 값으로 반복되는 원소들을 입력할 수 있다. 대칭 행렬이란 주대각선을 중신으로 양 쪽의 성분들이 완전히 일치하는 행렬이다. 따라서 대칭 행렬 구조를 이용하면, 사용자는 주대각선 및 주대각선을 기준으로 상단 영역에 위치하는 원소들을 입력할 수 있다. 이후, 공식 입력 장치는 주대각선을 기준으로 하단 영역에 위치하는 영역의 원소들을 입력할 수 있다.
일 실시 예에 따른 사전 정의된 기호는 다양한 형식으로 정의될 수 있다. 예를 들어, 대칭 행렬 구조에 대응하는 대칭 기호는 양방향 화살표로 정의될 수 있다. 또한 반복 입력 구조에 대응하는 반복 기호는 단방향 화살표로 정의될 수 있다.
일 실시 예에 따른 사전 정의된 기호는 문자열로 정의될 수 있다. 예를 들어, 'rep'의 연속 입력은 반복 기호를 나타내고, 'sym'의 연속 입력은 대칭 기호를 나타낸다.
일 실시 예에 따른 필기 입력은 공식 템플릿을 이용할 수 있다. 구체적으로, 사용자의 필기 입력으로 획득된 필기 컨텐트에 대응되는 공식 템플릿이 공식 입력 장치의 데이터 베이스에 존재하는 경우, 공식 입력 장치는 공식 템플릿을 표시할 수 있다. 사용자는 표시된 공식 템플릿을 선택한 후, 구체적인 공식의 값을 입력하여 공식을 완성할 수 있다. 공식 템플릿이 이용되는 경우, 필기 입력은 선택된 공식 템플릿을 기반으로 인식될 수 있다. 예를 들어, 합산 기호(∑)를 포함하는 공식 템플릿을 이용하는 경우, 사용자는 하한값과 상한값을 합산 기호의 위아래에 필기 입력할 수 있다. 공식 입력 장치는 입력된 사용자의 필기 입력을 인식하고 필기 컨텐트로 획득할 수 있다. 공식 입력 장치는 획득된 필기 컨텐트의 사이즈를 합산 기호의 크기를 기반으로 조절하여 표시할 수 있다.
일 실시 예에서, 필기 입력 방법은 공식의 이미지를 포함하는 사진 또는 그림을 스캔하여 입력하는 단계를 포함할 수 있다. 공식 입력 장치는 입력된 사진 또는 그림을 인식하여, 공식을 인식할 수 있고 인식된 공식을 기반으로 공식 컨텐트를 획득하여 표시할 수 있다.
일 실시 예에서, 필기 입력 방법은 음성을 입력하는 단계를 포함할 수 있다. 공식 입력 장치는 사용자의 음성 입력을 수신하여, 사용자의 음성 입력에 포함된 공식을 인식할 수 있고, 인식된 공식을 기반으로 공식 컨텐트를 획득하여 표시할 수 있다.
이후, 공식 입력 장치는 사용자가 입력한 컨텐츠를 기반으로 하나 이상의 추천 컨텐츠를 결정할 수 있다. (102 단계)
도 2에 도시된 바와 같이, 사용자에 의해 입력된 컨텐츠가 공식인 경우, 102 단계는 1021 단계 내지 1022 단계를 포함할 수 있다.
1021 단계에서, 사용자에 의해 입력된 공식이 인식된다.
사용자는 상술한 필기 입력 방법 중 어느 하나를 이용하여 공식 입력 장치로 공식을 입력할 수 있다. 이후, 공식 입력 장치는 필기 입력을 공식으로 인식하는 동작을 수행할 수 있다. 공식 입력 장치는, 사용자가 스크린 상의 인식 버튼을 클릭하는 것, 사용자가 특정 시간 동안 스타일러스 펜을 들어올리는 것, 필기 화면으로부터 특정 거리보다 먼 거리에 스타일러스 펜을 위치시키는 것, 인식 동작을 시작하는 특정 기호를 그리는 것, 음성 명령 등을 기반으로, 필기 입력을 공식으로 인식하는 동작을 시작할 수 있다. 공식 입력 장치는 필기 입력을 공식으로 인식하는 동작을 수행하여 공식 정보를 포함하는 필기 컨텐트, (예를 들어 문자열, 즉, LaTeX 또는 MathML(수학 공식)/CML(화학 공식)), 를 획득할 수 있다.
일 실시 예에서, 공식 입력 장치는 인식 동작을 수행하여 획득된 필기 컨텐트를 표시할 수 있다. 획득된 필기 컨텐트는 인쇄 글꼴(print font)로 사용자 인터페이스 상에 표시될 수 있다. 일부 실시 예에서, 사용자가 직접 입력한 필기 입력은 더 이상 표시되지 않을 수 있다. 즉, 사용자 인터페이스 상에 필기 입력되어 표시된 필체는 획득된 필기 컨텐트로 교체될 수 있다.
1022 단계에서, 공식 입력 장치는 인식된 공식을 기반으로 하나 이상의 추천 컨텐츠를 결정할 수 있다.
이후, 공식 입력 장치는 추천된 컨텐츠를 화면에 표시할 수 있다.
이후, 103 단계 이후, 공식 입력 장치는 표시된 컨텐츠에 대응하는 사용자의 상호 동작을 분석하고 처리하는 104단계를 더 포함할 수 있다.
일부 실시 예에서, 추천 컨텐츠는 필기 위치, 공식 입력 구조 및 공식을 포함할 수 있다. 본 실시 예에서, 사용자에 의해 입력된 공식이 인식되고 획득된 필기 컨텐트가 표시된 이후, 공식 입력 장치는 획득된 필기 컨텐트 또는 사용자의 동작을 기반으로 추천 컨텐트를 결정할 수 있다.
이하에서는, 일 실시 예에 따른 추천 컨텐츠의 다양한 유형이 설명된다.
1. 필기 위치 추천
일 실시 예에서, 공식 입력 장치는 사용자에게 필기 위치를 추천할 수 있다. 구체적으로 사용자는 획득된 필기 컨텐트에 추가적으로 필기 입력을 할 수 있다. 이 때, 공식 입력 장치는 획득된 필기 컨텐트에 포함된 문자와 필기 기구 사이의 거리를 기반으로 필기 위치를 추천할 수 있다. 필기 위치는 문자의 위 첨자 위치, 문자의 아래첨자 위치, 문자의 왼쪽 또는 오른쪽 위치, 새로운 줄 또는 다음 줄의 위치 등을 포함할 수 있다. 일 실시 예에서, 만일 필기 기구와 문자간의 거리가 사전 정의된 값 이내이면, 문자 주변으로 추천 필기 위치가 표시될 수 있다. 문자와 필기 기구 간의 거리는 거리 센서 등을 이용하여 검출될 수 있다. 또한, 필기 기구와 문자 간 위치 관계에 따라, 필기 위치가 추천될 수 있다. 구체적으로, 필기 기구가 문자의 상단 우측 코너에 가까운 경우, 문자의 위 첨자 위치가 추천될 수 있다. 만약 필기 기구가 문자의 하단 우측 코너에 가까운 경우, 문자의 아래첨자 위치가 추천될 수 있다. 필기 기구가 문자의 우측 면에 가까운 경우, 문자의 우측 면에 필기 위치가 추천될 수 있다. 사용자의 스타일러스 펜이 터치 스크린 상의 필기 컨텐트의 새로운 줄의 위치에 가까운 경우, 새로운 줄의 필기 위치가 추천될 수 있다.
일 실시 예에 따른 필기 위치는 줄, 사각형 틀과 같이, 다양한 방법으로 표시될 수 있다. 가시성을 향상시키기 위해, 필기 위치는 필기 컨텐트와 다른 다양한 유형의 선(점선, 괘선 등) 또는 다양한 색깔 또는 색농도(흐림, 진함 등)로 표시될 수 있다.
도 3는 일 실시 예에 따른 공식 입력 장치가 사용자 입력을 기반으로 필기 위치를 추천하는 과정을 도시한다. 구체적으로 사용자가 공식 입력을 위해 사용하는 스타일러스 펜의 위치에 따라, 공식 입력 장치가 필기 위치를 추천하는 두 가지 예시를 설명한다.
도 3에 도시된 바와 같이, 사용자는 "y=3+a" 공식을 스타일러스 펜으로 입력할 수 있다.(201)
필기 입력된 "y=3+a" 공식은 인쇄 글꼴로 인식 및 표시될 수 있다.(202) 이후, 펜이 공식의 하단에 가까울 때, 즉, y의 하단, 새로운 줄의 위치가 추천될 수 있다.(203) 새로운 줄의 위치는 점선으로 표시될 수 있다.(204) 표시된 점선은 기 입력된 공식 "y=3+a" 와 새롭게 입력될 공식의 영역을 분리할 목적으로 사용될 수 있다. 필기가 완료된 이후, 공식은 인쇄 글꼴로 인식 및 표시될 수 있다.(205) 기존 공식의 다음 선에, 새롭게 인식된 공식이 표시될 수 있다.(206)
다른 일 실시 예에 따라, 펜이 인식된 문자에 가까울 때, 구체적으로 "a"에 가까울 때, 공식 입력 장치는 "a"의 위 첨자, 아래 첨자, 우측 면을 포함하는 필기 위치를 모두 추천할 수 있다.(207) 공식 입력 장치는 점선으로 추천 필기 위치를 표시할 수 있다.(208) 이후, 사용자는 추천된 필기 위치 중 위 첨자 위치에 숫자 "2"를 필기할 수 있다.(209) 필기가 완료된 이후, 상술한 공식 입력 및 인식 동작과 마찬가지로, 필기체로 표시된 "2"는 인쇄 글꼴로 인식 및 표시될 수 있다. (210) 따라서 필기 입력된 숫자 "2"는 "a"의 위 첨자로 표시될 수 있다.
상술한 공식 입력 장치의 필기 위치 추천 동작은 필기 입력되는 공식 인식의 오류 발생률을 감소시킬 수 있다. 공식 인식 문제는 기재된 복수의 공식 구분 및 첨자 또는 계수의 위치 관계의 판단 오류를 포함할 수 있다.
2. 공식의 필기 구조 추천
다른 일 실시 예에서, 공식 입력 장치는 사용자에게 공식의 필기 구조를 추천할 수 있다. 사용자가 사전 정의된 기호를 입력하는 경우, 공식 입력 장치는 이러한 사전 정의된 기호를 인식한 이후, 공식 입력 장치는 인식된 기호를 기반으로 공식의 필기 구조를 추천할 수 있다. 구체적으로, 공식 입력 장치는 인식된 기호를 포함하는 일반적인 공식의 필기 구조를 추천할 수 있다. 일 실시 예에 따른 사전 정의된 기호는 분수 선, 라디칼 기호, 합산 기호, 내적(inner product) 또는 외적(outer product) 기호, 적분 기호, 기타 특수 기호 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 인식된 공식의 사전 정의된 문자에 필기 기구가 가까워 지는 것을 결정하는 것에 대응하여, 문자와 관련된 필기 구조가 추천 및 표시된다. 추천 필기 구조는 인식된 공식과 구분하기 위해 다양한 방법으로 표시될 수 있다. 구체적으로 추천 필기 구조는 인식된 공식과 다른 색, 다른 선 유형의 사각형 등으로 표시될 수 있다. 상술한 일 실시 예에 따라, 사용자는 직접 필기 입력된 공식과 추천 필기 구조를 기반으로 입력된 부분을 용이하게 구분할 수 있다.
도 4은 다른 실시 예에 따른 사용자 입력(예를 들어, 핸드라이팅, handwriting)에 대응하는 추천 공식 구조(recommending formula structure)의 예시를 나타내는 도표이다.
도 4을 참조하면, 사용자는 특수 기호를 필기 입력 할 수 있다. 구체적으로 사용자의 필기 입력은 도 4에 도시된 바와 같이 /, -, √, ∫, ∮ 등을 포함할 수 있다. 공식 입력 장치는 사용자로부터 특수 기호의 필기 입력을 수신하면, 필기 컨텐트로 인식할 수 있다. 일 실시 예에서, 공식 입력 장치는 인식된 필기 컨텐트를 수학식으로 판단할 수 있다. 이후, 공식 입력 장치는 판단된 수학식 필기 컨텐트에 대응하는 추천 공식 구조를 결정할 수 있다. 일 실시 예에 따른 추천 공식 구조는 공식 입력 장치 내부 또는 외부의 데이터 베이스에 저장될 수 있다. 데이터 베이스에 저장된 추천 공식 구조는 미리 정의된 구조일 수 있다. 또한, 데이터 베이스에 저장된 추천 공식 구조는 사용자의 필기 입력 이력을 기반으로 획득될 수 있다.
일 실시 예에 따른 추천 공식 구조는 점선 사각형 이미지를 포함할 수 있다. 구체적으로, 도 4에 도시된 바와 같이 사용자가 추가로 입력할 구성 원소의 위치의 이미지가 점선 사각형 이미지로 표시될 수 있다. 예를 들어, 사용자가 특수 기호 "log"를 필기하면, 공식 입력 장치는 특수 기호 "log"를 인식하고, 특수 기호와 연관된 구조"
Figure PCTKR2016001543-appb-I000001
"를 추천할 수 있다. 사용자는 추천 공식 구조를 선택한 후, 점선 사각형 이미지에 숫자 또는 문자를 필기할 수 있다. 구체적으로, 사용자는 로그의 밑과 진수에 해당하는 숫자 또는 문자를 필기할 수 있다.
도 4에 도시된 바와 같이, 특수 기호를 포함하는 공식의 구조는 일반적으로 복잡하다. 그러므로 사용자의 필기 입력을 인식하는 과정에서 오류가 발생하기 쉽다. 상술한 추천 공식 구조를 이용하는 공식 입력 장치를 이용하면, 사용자가 입력한 복잡한 필기 공식의 인식률이 향상될 수 있다.
3. 공식의 추천
일 실시 예에서, 공식 입력 장치는, 사용자에 의해 입력된 필기 공식을 인식하여, 사용자에게 공식을 추천할 수 있다. 먼저, 공식 입력 장치는 인식된 공식과 연관된 추천 공식을 획득하고, 획득된 추천 공식을 표시할 수 있다. 추천 공식은, 입력 공식의 검색, 입력 공식의 표현 형식, 입력 공식과 동치 관계(equivalent)이면서 다른 표현 형식을 갖는 공식, 및 입력 공식의 고유 속성을 기반으로 예측될 수 있다.
3.1 공식 검색 기반의 공식 추천
도 5는 일 실시 예에 따른 입력된 공식에 대응하는 예측 공식을 나타내는 도표이다.
일 실시 예에서, 공식 입력 장치는 입력된 공식을 검색하여 사용자에게 추천할 공식을 예측할 수 있다. 구체적으로 공식 입력 장치는 공식 입력 장치 내부 또는 외부의 데이터 베이스를 이용하여 입력된 공식과 관련된 공식을 검색할 수 있다. 일 실시 예에 따른 데이터 베이스는 공식의 형태, 공식의 구조, 사용자의 필기 기록 데이터 등을 포함할 수 있다. 공식 입력 장치는 인식된 공식과 동일 또는 유사한 공식을 검색할 수 있다.
도 5를 참조하면, 사용자가 "sinx"를 입력한 경우, 공식 입력 장치는 데이터 베이스를 이용하여 sinx의 테일러 전개식을 검색할 수 있다. 공식 입력 장치는 검색된 테일러 전개식을 추천 및 표시할 수 있다.
3.2 입력 공식의 표현 형식 추천
일 실시 예에 따른 공식 입력 장치는 입력된 공식을 기반으로 표현 형식을 추천할 수 있다. 입력된 공식은 공식의 일부일 수 있다. 따라서 공식 입력 장치는 일부 입력된 공식 이후에 완전한 행태를 완성하기 위한 공식의 표현 형식을 예측할 수 있다. 구체적으로, 도 5를 참조하면, 사용자가 "sin"을 입력하는 경우, 공식 입력 장치는 입력될 공식이 삼각함수임을 예측하고, "sinA"를 추천할 수 있다.
또한, 사용자가 "f"를 입력하는 경우, 공식 입력 장치는 입력될 공식이 함수라는 것을 예측하고, "f(x)" 를 추천할 수 있다.
3.3 다른 표현 형식의 공식 추천
일부 실시 예에서, 공식 입력 장치는 입력된 공식과 동치 관계(equivalent)이면서 다른 표현 형식을 갖는 공식을 예측하고 추천할 수 있다. 구체적으로, 공식 입력 장치는 인식된 공식과 같은 의미이나 다른 형식의 공식을 추천하거나 또는 인식된 공식과 동일한 구성원소를 갖지만 다른 형식인 공식을 사용자에게 추천할 수 있다. 예를 들어, 사용자가 특정 표현 양식으로 공식을 쓸 때, 공식 입력 장치는 자동으로 사용자에게 내용을 동일하지만 형식은 다른 공식을 추천한다.
도 5를 참조하면, 입력된 공식이 H20인 경우, 공식 입력 장치는 H20 및
Figure PCTKR2016001543-appb-I000002
을 검색 및 추천할 수 있다. H20와
Figure PCTKR2016001543-appb-I000003
는 동치 관계에 있는 다른 표현 형식을 같는 화학식이다.
도 5를 참조하면, 축약 형식의 (m, n)형 행렬이 입력된 경우, 공식 입력 장치는 행렬의 다른 표현 형태, 즉 행렬의 확장 형태를 예측하여 추천할 수 있다. 상술한 실시 예들에 따르면, 사용자에 의해 입력되는 공식의 내용은 간소화될 수 있다.
도 5에서 설명된 다른 표현 형식의 공식 추천 방법의 구체적인 내용은 도 6에서 후술한다.
3.4 공식의 고유 속성을 기반으로 공식을 추천
공식 입력 장치는 입력된 공식의 고유 속성에 따라서 공식을 예측하고 추천할 수 있다. 일부 실시 예에서, 공식의 고유 속성을 기반으로 추천된 공식은 입력된 공식과 내용이 다를 수 있다.
구체적으로, 도 5를 참조하면, 사용자가 행렬의 일부 원소를 기재하지 않은 채로 입력을 완료하면, 공식 입력 장치는 일부 원소를 예측하여 완전한 형태의 행렬을 추천할 수 있다.
또한, 사용자가 화학 공식을 입력한 경우, 공식 입력 장치는 화학 공식의 속성에 따라 화학 공식을 예측 및 추천할 수 있다. 구체적으로, 도 5에 도시된 바와 같이, 사용자는 화학 평형 방정식을 입력할 수 있다. 공식 입력 장치는 입력된 화학 평형 방정식이 균형인지 여부를 판단할 수 있다. 이후, 입력된 화학 평형 방적식이 불균형이면, 공식 입력 장치는 적절한 계수 값을 추천할 수 있다.
일 실시 예에 따른, 공식 입력 장치가 데이터 베이스를 이용하여 화학 방정식의 균형 여부를 판단할 수 있다.
도 6는 공식 입력 장치가 공식을 추천하는 일 실시 예를 도시한다.
사용자는 다음과 같은 알코올 분자의 구조(molecular structure)를 입력하기를 원할 수 있다.
[알코올의 분자 구조]
*
Figure PCTKR2016001543-appb-I000004
이 때, 사용자는 알코올의 분자식(molecular formula) "C2H6O" 을 필기 입력할 수 있다. 공식 입력 장치는 입력된 공식을 인식하고, 인식된 결과들을 추천 공식 리스트로 표시할 수 있다. 구체적으로, 공식 입력 장치는 인식된 결과에 따라서 분자식, 분자 구조 및 3D 분자 구조 등의 다양한 형식의 공식을 추천할 수 있다. 그리고, 추천된 공식들을 인식된 결과의 하단에 리스트 형태로 추천 공식들을 표시할 수 있다. 사용자는 추천된 공식의 리스트의 셋째 줄에 표시된 분자식을 선택할 수 있다. 공식 입력 장치는 셋째 줄에 표시된 분자식을 선택하는 사용자의 선택 동작을 검출할 수 있다. 이후, 검출된 사용자의 선택 동작을 기반으로, 공식 입력 장치는 선택된 공식을 표시할 수 있다.
이하, 도 6 내지 도 13에서 도 5에서 설명한 방법이 실제 동작하는 구체적인 과정을 자세히 설명한다.
도 6의 하단 우측의 두 개의 도면은, 공식 입력 장치가 두 가지 표현 형식으로 선택된 공식을 표시하는 화면을 도시한다. 도 6에 도시된 바와 같이, 각 도면은 각각 인쇄 글꼴로 표시된 선택된 공식 및 필기 형태로 표시된 선택된 공식을 도시한다.
화학식과 같이 다양한 형태로 공식을 표현할 수 있는 경우, 공식 입력 장치는 입력된 공식과 동치 관계인 공식들을 예측하여 표시할 수 있다. 그러므로 복잡한 공식과 동치 관계인 공식의 입력만으로 복잡한 공식을 쉽게 획득할 수 있다.
도 7는 공식 입력 장치가 공식을 추천하는 다른 실시 예를 도시한다. 일 실시 예에서, 공식 입력 장치는 축약 형태로 입력된 행렬을 기반으로 확장 형태의 행렬을 추천할 수 있다. 만약 사용자가 행렬의 모든 원소를 직접 입력한다면, 공식 입력에 많은 시간이 소요될 수 있다. 이를 해결하기 위해, 사용자는 행렬의 축약 형식을 필기 입력할 수 있다. 도 7에 도시된 바와 같이, 공식 입력 장치는 축약 공식인 (aij)mxn 을 표시할 수 있다. 이후, 공식 입력 장치는 동치 관계이지만 다른 형식인 확장 행렬을 추천할 수 있다. 확장 행렬은 다음과 같다:
Figure PCTKR2016001543-appb-I000005
공식 입력 장치는 확장 행렬을 선택하는 사용자의 선택 동작을 검출할 수 있다. 이후, 공식 입력 장치는 선택된 확장 행렬을 표시할 수 있다.
도 8는 일 실시 예에 따른 공식 입력 장치가 추천 공식을 획득하는 과정을 나타내는 흐름도이다.
이하 도 8를 참조하여 설명한다.
일 실시 예에 따른 공식 입력 장치는 사용자의 필기 입력을 수신할 수 있다. 구체적으로 수신된 필기 입력은 공식 필기 입력일 수 있다. 이하, 수신된 공식 필기 입력은
Figure PCTKR2016001543-appb-I000006
인 것을 가정하여 설명한다.
공식 입력 장치는 사용자에 의해 입력된 공식을 인식할 수 있다. 공식 입력 장치는 사용자에 의한 필기 공식 입력을 (aij)mxn로 인식할 수 있다. (aij)mxn의 LaTeX 표현은 "\left(a_{ij}\right)_{mxn}" 이다.
공식 입력 장치는 인식된 공식 (aij)mxn에 대해 공식 매칭 동작을 수행할 수 있다. 공식 매칭 동작은, 인식된 공식과 일치하는 아래의 공식을 획득하기 위해, 데이터 베이스를 검색하는 과정을 포함할 수 있다.
Figure PCTKR2016001543-appb-I000007
공식 입력 장치는 공식 특성을 기반으로 데이터 베이스를 검색할 수 있다. 구체적으로 공식 특성은 공식 내 문자의 위치관계, 공식의 유형을 포함할 수 있다.
보다 구체적으로 공식 문자의 위치 관계는 좌-우(left-right), 상-하(top-bottom), 상-우(top-right), 하-우(bottom-right), 동봉(enclosing) 중 적어도 하나를 포함한다. 공식 유형은 행렬, 분수 선, 합산, 적분, 화학 방정식 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 데이터 베이스는 동치 관계의 공식들의 다양한 형태, 공식의 설명에 대응하는 공식을 포함할 수 있다. 구체적으로 동치 관계의 공식들의 다양한 형태는 도 8에 도시된 바와 같이, 동치 관계의 공식들의 다양한 형태에는 축약 행렬 및 확장 행렬, 분자식과 분자 구조 및 3D 분자 구조, 화학 평형 방정식 및 이온 평형 방정식이 포함될 수 있다. 공식의 설명에 대응하는 공식의 예시로, 산소 생성 반응 및 산소 생성을 나타내는 화학 균형 방정식이 있을 수 있다.
공식 입력 장치는 인식된 공식과 매칭되는 공식을 추천할 수 있다.
이후, 사용자의 선택에 따라, 선택된 추천 공식이 표시될 수 있다. 도 8를 참조하면, 아래의 행렬이 표시될 수 있다.
Figure PCTKR2016001543-appb-I000008
3.5 불완전 공식을 기반으로 완전 공식을 추천
도 9는 불완전 공식을 기반으로 완전 공식을 추천하는 일 실시 예를 도시한다. 이하 4E (a) 내지 (e)도면을 참조하여 설명한다.
도 9 (a)를 참조하면, 공식 입력 장치는 사용자에 의한 필기 입력
Figure PCTKR2016001543-appb-I000009
을 수신할 수 있다. 이후, 공식 입력 장치는 수신된 필기 입력을 "Cl3 + H2O ="로 인식할 수 있다. 인식된 결과를 기반으로, 공식 입력 장치는 완전 공식을 추천할 수 있다. 구체적으로 공식 입력 장치는 입력된 공식의 우변에 들어갈 내용을 포함하는 완전 공식을 추천할 수 있다. 추천된 완전 공식은 화학 방정식 "Cl2 + H2O = HCl + HClO" 또는 이온 방정식 "Cl2 + H2O = H++Cl- + HClO" 일 수 있다. 사용자는 추천된 완전 공식 및 인식된 공식 중 하나를 선택할 수 있다.
도 9 (b)를 참조하면, 공식 입력 장치는 사용자에 의한 필기 입력
Figure PCTKR2016001543-appb-I000010
을 수신할 수 있다. 공식 입력 장치는 수신된 필기 입력을 "C=CO"로 인식할 수 있다. 인식된 결과를 기반으로, 공식 입력 장치는 인식된 "C=CO"을 포함하는 복수의 화학 방정식을 추천할 수 있다. 구체적으로 공식 입력 장치는 화학 방정식의 좌변에 포함된 원소를 포함하는 복수의 화학 방정식을 추천할 수 있다. 추천된 화학 방정식은 "2C + O2 = 2CO" 및 "C + H2O = CO + H2" 일 수 있다.
도 9 (c)를 참조하면, 공식 입력 장치는 사용자에 의한 필기 입력
Figure PCTKR2016001543-appb-I000011
을 수신할 수 있다. 입력된
Figure PCTKR2016001543-appb-I000012
는 불균형 화학식이다. 공식 입력 장치는 입력된 화학식을 "C+O2=CO"로 인식할 수 있다. 인식된 결과를 기반으로, 공식 입력 장치는 "C+O2=CO"에 대응하는 균형 화학 방정식을 추천할 수 있다. 구체적으로 공식 입력 장치는 계수를 포함하는 균형 화학 방정식을 추천할 수 있다. 공식 입력 장치는 계수를 포함하는 "2C+O2=2CO" 를 추천할 수 있다.
도 9 (d)를 참조하면, 공식 입력 장치는 사용자에 의한 필기 입력
Figure PCTKR2016001543-appb-I000013
을 수신할 수 있다. 입력된
Figure PCTKR2016001543-appb-I000014
는 행렬의 축약형이다.
공식 입력 장치는 입력된
Figure PCTKR2016001543-appb-I000015
을 인식하여 '(aij)2x2 T='를 추천할 수 있다. 또한 공식 입력 장치는 '(aij)2x2 T='와 동치이고 표현 형식만 다른 확장 행렬
Figure PCTKR2016001543-appb-I000016
를 추천할 수 있다. 또한 공식 입력 장치는 '(aij)2x2 T='의 우변에 해당하는 행렬의 계산 결과를 추천할 수 있다. 최종적으로 공식 입력 장치가 행렬의 계산 결과로서 표시할 수 있는 행렬식은 다음과 같다.
Figure PCTKR2016001543-appb-I000017
도 9 (e)를 참조하면, 공식 입력 장치는 사용자에 의한 필기 입력
Figure PCTKR2016001543-appb-I000018
을 수신할 수 있다. 입력된 공식은 일부 행렬의 원소가 누락된 행렬식이다. 즉, 입력된 행렬식은 빈 행렬(blank matrix)를 포함한다. 구체적으로 공식의 우변의 좌측 행렬의 원소가 누락되어 있다.
공식 입력 장치는 필기 입력을 인식하여,
Figure PCTKR2016001543-appb-I000019
을 획득할 수 있다. 인식된 결과를 기반으로 완전 공식
Figure PCTKR2016001543-appb-I000020
을 추천할 수 있다.
도 9 (a) 내지 도 9 (e)에 도시된 바와 같이, 일 실시 예에 따른 공식 입력 장치는 인식된 공식, 추천된 하나 이상의 공식을 한 화면에 표시할 수 있다.
3.6 유효 공식을 기반으로 공식을 추천
도 10는 공식 입력 장치가 공식을 추천하는 일 실시 예를 도시한다.
도 10(a)를 참조하면, 일 실시 예에 따른 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000021
을 수신할 수 있다.
공식 입력 장치는 필기 입력된
Figure PCTKR2016001543-appb-I000022
을 "NaCO3"로 인식할 수 있다. 공식 입력 장치는 인식된 공식이 무효(invalid)한 것으로 판단할 수 있다. 이후, 공식 입력 장치는 유효 공식 "Na2CO3"을 추천할 수 있다. 도면에 도시된 바와 같이, 필기 입력, 인식된 공식, 추천 공식은 화면에 표시될 수 있다.
도 10(b)를 참조하면, 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000023
을 수신할 수 있다. 사용자의 필기 입력은 삼각함수식이다. 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000024
을
Figure PCTKR2016001543-appb-I000025
로 인식할 수 있다. 공식 입력 장치는,
Figure PCTKR2016001543-appb-I000026
를 유효하지 않은 것(invalid)으로 판단 할 수 있다. 이후, 공식 입력 장치는 유효한 삼각함수식을 추천할 수 있다. 추천된 유효한 삼각함수식은 다음과 같다:
Figure PCTKR2016001543-appb-I000027
및
Figure PCTKR2016001543-appb-I000028
.
도 10 (c)를 참조하면, 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000029
을 수신할 수 있다. 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000030
을 "HNO3+NaCl="로 인식할 수 있다. 공식 입력 장치는 인식된 공식이 불가능 화학 반응인지 여부를 판단할 수 있다. 공식 입력 장치는 인식된 공식을 불가능 화학 반응으로 판단하면, 화면에 표시되는 메시지의 형태로 사용자에게 불가능 화학 반응임을 알릴 수 있다. 공식 입력 장치는, 입력된 공식이 불가능 화학 반응이므로, 완전 공식을 추천할 수 없다.
3.7 기 입력된 공식을 기반으로 공식 추천
도 11를 참조하면, 일 실시 예에 따른 공식 입력 장치는 인식된 공식 "Na2CO3", "C2H6O" 및 "CuSO4·5H2O"를 표시할 수 있다. 인식된 공식들은 사용자의 필기 입력을 기반으로 획득되거나 데이터 베이스로부터 검색된 것일 수 있다. 일 실시 예에서, 사용자는 표시된 공식 중 "C2H6O" 을 수정하기를 원할 수 있다.
도 11(a) 및 도 11(b)를 참조하면, 공식 입력 장치는 "C2H6O" 를 선택하는 사용자 동작을 수신할 수 있다. 공식 입력 장치는 사용자 동작을 기반으로 선택된 "C2H6O" 의 다른 표현 형식의 공식(즉, 화학 공식, 구조, 3D 구조)을 추천한다. 도 11(b)에 도시된 바와 같이, 사용자는 추천된 공식들 중 "CH3OCH3"을 선택할 수 있다. 공식 입력 장치는 사용자의 선택에 따라 "C2H6O"를 "CH3OCH3"로 업데이트할 수 있다. 이에 따라 공식 입력 장치는 화면에 표시된 "C2H6O" 를 "CH3OCH3" 로 변경하여 표시할 수 있다.
도 12는 공식 설명을 기반으로 공식을 추천하는 일 실시 예를 도시한다.
일 실시 예에서, 공식 입력 장치가 수신한 필기 입력을 공식 설명으로 인식할 수 있다. 공식 설명은 공식의 명칭, 공식의 정의를 포함할 수 있다. 공식 입력 장치는 인식된 공식의 설명에 해당하는 공식을 추천할 수 있다.
도 12 (a) 내지 도 12 (c)는 공식의 설명(또는 공식의 명칭)을 인식하여 공식을 추천하는 실시 예를 나타낸다.
도 12 (d) 내지 도 12 (e)는 수학식과 수학식의 표현하는 방식을 기반으로 공식을 추천하는 실시 예를 나타낸다.
도 12 (a)를 참조하면, 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000031
을 수신할 수 있다. 공식 입력 장치는 수신된 필기 입력을 "oxygen production"으로 인식할 수 있다. 공식 입력 장치는 "oxygen production"를 화면에 표시할 수 있다. 공식 입력 장치는 산소 생성(oxygen production)을 표현하는 세 개의 공식을 추천할 수 있다:
Figure PCTKR2016001543-appb-I000032
, , 및
Figure PCTKR2016001543-appb-I000034
. 공식 입력 장치는 세 개의 공식을 화면에 표시할 수 있다. 사용자는 표시된 공식 중 하나를 선택할 수 있다.
도 12(b)를 참조하면, 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000035
을 수신하고 "alumen"으로 인식할 수 있다. 그리고 화학 명칭, 알루멘에 해당하는 분자식 KAl(SO4)2·12H2O을 추천할 수 있다.
도 12 (c)를 참조하면, 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000036
을 수신하고, "4-order identity matrix"로 인식할 수 있다. 이후, 공식 입력 장치는 다음의 4차 단위 행렬을 추천할 수 있다.
Figure PCTKR2016001543-appb-I000037
사용자는 추천된 행렬을 선택할 수 있다.
도 12 (d) 내지 도 12 (e)는 사용자의 필기 입력을 기반으로 공식을 추천하는 실시 예를 나타낸다. 사용자의 필기 입력은 불완전 공식과 공식의 표현 형식의 명칭일 수 있다. 구체적인 실시 예를 이하 도면을 참조하여 설명한다.
도 12 (d)를 참조하면, 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000038
을 수신할 수 있다. 사용자의 필기 입력은 불완전 공식 "sinx=x" 및 공식의 표현 형식 "Taylor"를 포함한다. 공식 입력 장치는 사용자의 필기 입력을 "sinx=x Taylor"로 인식하고, 아래의 sin x의 테일러 확장 공식을 추천할 수 있다.
Figure PCTKR2016001543-appb-I000039
도 12 (e)를 참조하면, 공식 입력 장치는 사용자의 필기 입력
Figure PCTKR2016001543-appb-I000040
및
Figure PCTKR2016001543-appb-I000041
을 수신할 수 있다. 공식 입력 장치는 사용자의 필기 입력을 "
Figure PCTKR2016001543-appb-I000042
symmetrix" 로 인식할 수 있다. 공식 입력 장치는 인식 결과에 따라 해당하는 아래의 대칭 행렬을 추천할 수 있다.
Figure PCTKR2016001543-appb-I000043
이후, 공식 설명을 기반으로 추천 공식을 획득하는 방법을 설명한다.
도 13는 일 실시 예에 따른 공식 입력 장치가 추천 공식을 획득하는 과정을 나타내는 흐름도이다.
도 13에 도시된 바와 같이, 공식 입력 장치는 사용자 입력을 수신할 수 있다. 공식 입력 장치는 사용자 입력으로부터 공식과 설명을 분류할 수 있다. 이후, 공식 입력 장치는 사용자 입력을 인식할 수 있다. 일 실시 예에서 인식된 공식은 불완전한 행렬이고, 공식의 설명은 대칭(symmetric)이다. 불완전 공식 및 공식 설명은 상호 보완되어 인식될 수 있다. 따라서, 공식 입력 장치는 사용자 입력을 '
Figure PCTKR2016001543-appb-I000044
의 대칭행렬'로 인식할 수 있다. 이후, 공식 매칭을 통해, 다음 공식이 최종적으로 추천될 수 있다.
Figure PCTKR2016001543-appb-I000045
일 실시 예에서, 공식 입력 장치에 의해 추천된 공식은 사전 정의된 규칙에 따라 정렬될 수 있다. 사전 정의된 규칙은 공식 유사도, 공식 입력 빈도, 동치 관계인 공식을 포함할 수 있다. 동치 관계인 공식들은 가능한 한 화면에 표시될 수 있다. 동치 관계인 추천 공식을 획득하는 구체적인 내용을 상술하였다. 공식 유사도는 인식된 공식 및 추천된 공식 간 유사도를 의미한다. 상술한 규칙 중 하나 또는 조합을 기반으로 추천 공식이 정렬될 수 있다.
도 14는 공식 입력 장치가 공식을 추천하는 일 실시 예를 나타내는 개략도이다. 도 14에 도시된 바와 같이, 공식 입력 장치는 사용자의 필기 입력 501을 수신할 수 있다. 사용자의 필기 입력은 분자식이다. 공식 입력 장치는 수신된 필기 입력을 인식할 수 있다. 503에 도시된 바와 같이, 공식 입력 장치는 인식된 공식을 기반으로 동치 관계에 있는 분자식, 분자 구조, 3D 분자 구조를 추천하고 화면에 표시할 수 있다. 사용자는 상기 리스트에 추천 및 표시된 공식들 중 ② 분자 구조를 선택할 수 있다. 본 실시 예에서, 사용자는 간략한 분자식을 필기 입력하여 복잡한 분자 구조를 획득할 수 있다.
도 15은 일 실시 예에 따른 입력 모드(input mode) 및 편집 모드 간 네가지 전환 방법을 나타내는 개략도이다.
입력 모드는 필기 모드(writing mode)를 포함할 수 있다.
일 실시 예에서, 공식 입력 장치의 사용자 인터페이스는 사용자가 다른 동작을 구현하는 것을 가능하도록 복수의 모드를 제공할 수 있다. 공식 입력 장치는 사용자 동작을 수신하여, 해당하는 응답, 즉 모드 전환을 할 수 있다. 일부 실시 예에서, 모드는 입력 모드 및 편집 모드를 포함할 수 있다. 입력 모드는 사용자가 공식을 필기하는 것을 허용한다. 즉, 사용자가 공식을 입력하는 것을 허용한다. 편집 모드는 사용자가 인식된 공식에 다양한 편집 동작, 즉, 공식을 선택, 공식을 드래깅, 펜 제스쳐 그리기 등의 편집 동작을 수행하는 것을 허용한다. 공식 입력 장치는 필기 모드와 편집 모드를 사용자의 기정의된 동작에 대응하여 전환할 수 있다.
도 15 (a) 를 참조하면, 일 실시 예에 따른 기정의된 동작은 ①스타일러스 펜으로 버튼 누르기, ②터치 스크린 더블 클릭, ③시스템 버튼 클릭, ④시스템 메뉴 선택 중 어느 하나일 수 있다.
공식 입력 장치가 사용자의 기정의된 동작 ① 내지 ④ 중 어느 하나를 감지한 경우, 공식 입력 장치의 모드는 입력 모드 또는 편집 모드로 상호 변환될 수 있다.
도 15 (b) 를 참조하면, 일 실시 예에 따른 기정의된 동작은 ⑤스타일러스 펜이 동작하는 동안 손가락을 터치스크린에 접촉, ⑥스타일러스 펜의 동작하는 동안 손가락을 터치스크린에 비접촉 중 어느 하나일 수 있다.
공식 입력 장치의 모드가 기정의된 동작 ⑤를 감지한 경우, 입력 모드에서 편집 모드로 변환될 수 있다. 공식 입력 장치의 모드가 기정의된 동작 ⑥ 을 감지한 경우, 편집 모드에서 입력 모드로 변환될 수 있다.
도 16은 사용자가 추천된 원소를 수용 또는 제외하는 일 실시 예를 나타내는 개략도이다. 본 실시 예에서, "√"는 수용 제스쳐로, "x"는 거부 제스쳐로 정의될 수 있다. 도 16의 701에 도시된 바와 같이, 사용자의 입력(행렬의 일부 원소, 즉 도면에서 a11, a12, a13, a21, a31, a41)은 인쇄 글꼴의 행렬로 인식 및 표시될 수 있다. 이후, 공식 입력 장치는 인식된 행렬의 고유 속성을 기반으로 공식을 추천할 수 있다. 702에 도시된 바와 같이, 공식 입력 장치에 의해 추천된 행렬의 원소(입력되지 않은 행렬의 원소, a22, a23, a32, a33, a42, a43)은 밝은 색(또는 연한 색)으로 인식된 행렬 내에 표시될 수 있다. 이후, 사용자는 추천된 행렬의 원소를 수용하는 동작을 수행할 수 있다.
일 실시 예에서, 703에 도시된 바와 같이, 사용자는 모든 추천된 행렬의 원소를 수용하여 행렬 704를 획득하기 위해 행렬의 하단 우측 원소(a43)상에 "√"를 그릴 수 있다.
다른 일 실시 예에서, 사용자는 편집 모드로 전환할 수 있고(705), 일부 추천 된 행렬의 원소를 개별적으로 수용하는 동작을 할 수 있다. 예를 들어, 사용자가 추천된 행렬의 원소 "a23"을 수용하거나 제외할 수 있다. 사용자는 "a23" 를 선택할 수 있다. 선택된 "a23" 은 기존의 추천된 행렬의 원소보다 어두운 색으로 표시될 수 있다.(706) 사용자는 선택된 "a23" 상으로 특정 제스처를 그려 선택된 원소를 수용 또는 제외할 수 있다. 만약 사용자가 선택된 원소를 수용하면, 나머지 선택되지 않은 다른 추천 행렬 원소들은 제외될 수 있다. 만약 사용자가 선택된 기호를 제외하면, 다른 추천 행렬 원소들이 수용될 수 있다.
구체적으로, 사용자는 행렬 708을 획득하기 위해서, 선택된 원소를 수용하는 수용 제스쳐 "√"을 그릴 수 있다. (707) 사용자는 행렬 710을 획득하기 위해서, 선택된 원소를 제외하는 제외 제스쳐 "x"를 그릴 수도 있다.(709)
일부 실시 예에서, 공식 입력 장치는 편집 모드에서 인식된 공식의 오류를 수정할 수 있다. 편집 모드에서, 사용자의 사전 정의된 동작에 대응하여, 공식 입력 장치는 인식 및 사용자 인터페이스 상에 표시된 공식의 오류를 수정할 수 있다. 공식의 오류는 일반적으로 세 가지 타입, 인식 오류, 구조 오류 및 분할(segmentation) 오류로 분류될 수 있다.
일 실시 예에서, 사용자의 사전 정의된 동작에 대응하여, 공식 입력 장치는 공식 내의 문자 인식 오류를 수정할 수 있다. 문자 인식 오류는, 사용자가 문자를 입력할 때, 공식 입력 장치가 유사한 구조를 갖는 다른 문자로 입력된 문자를 잘못 인식하여 다른 문자를 표시하는 것을 의미한다. 문자 인식 오류의 수정을 위한 사전 정의된 동작은 인식된 문자 위로 겹치게 사용자가 수정 내용을 필기하는 동작일 수 있다. 공식 입력 장치는 겹치게 필기된 문자를 인식하고, 이전에 인식된 문자를 현재 인식된 문자로 교체하여 표시할 수 있다.
도 17는 문자 인식 에러를 수정하는 일 실시 예를 나타내는 개략도이다. 도 17에 도시된 바와 같이, 사용자는 "3a"를 입력하고자 했지만, 공식 입력 장치는 사용자의 입력을 "3α" 로 잘못 인식한다.(801) 사용자는 이 오류를 수정하고자 한다. 먼저, 도 15에서 설명한 전환 방법 중 하나를 이용하여, 사용자는 전자 디바이스를 편집 모드로 전환한다.(802) 이후, 사용자는 잘못 인식된 "α" 위에 "a"를 재 필기할 수 있다.(803) 공식 입력 장치는, 사용자가 "α" 위로 재필기한 "a"를, 인식할 수 있다. 이후, 공식 입력 장치는 자동으로 "α"를 삭제하거나 또는 "α"를 후보 리스트로 이동시킨다. 그리고 공식 입력 장치는 새롭게 인식된 결과 "3a" 를 제공한다.(804)
도 18는 문자 인식 에러를 수정하는 다른 실시 예를 도시한다. 도 18에 도시된 바와 같이, 사용자는 "CaCO3"를 입력하기를 원한다. 그러나, 공식 입력 장치는 사용자의 입력을 "CuCO3"로 잘못 인식한다. 사용자는 이 오류를 수정하기를 원한다. 먼저, 도 15에서 설명한 전환 방법 중 하나를 이용하여 사용자는 전자 디바이스를 편집 모드로 전환한다. 이후, 사용자는 잘못 인식된 문자 "u" 위에 "a"를 재 필기할 수 있다. 공식 입력 장치는 사용자가 "u" 위에 재필기한 "a"를 인식할 수 있다. 따라서, 공식 입력 장치는 인식된 결과를 이용하여 "u"를 삭제하거나 또는 "u"를 후보 리스트로 이동시킨다. 그리고 공식 입력 장치는 새롭게 인식된 결과 "CaCO3"를 표시할 수 있다.
일 실시 예에서, 공식 입력 장치는 사용자의 사전 정의된 동작에 대응하여 공식의 구조 오류를 수정할 수 있다. 구조 오류는 기호간의 위치 관계의 결정 오류를 나타낸다. 예를 들어, 인식된 문자들의 두 그룹 간 위치 관계는 인식된 기호의 두 그룹간 위치 관계를 나타내는 사용자의 동작에 대응하여 수정될 수 있다. 기호의 두 그룹간 위치 관계는 왼쪽, 오른쪽, 상단 우측, 하단 우측, 상단 좌측, 하단 좌측, 상단, 하단, 안쪽, 바깥쪽 등을 포함할 수 있다. 사용자는 구조 오류와 관련된 그룹을 선택할 수 있고, 드래깅하여 오류를 수정할 수 있다. 또는 사용자는 위치 관계가 잘못된 기호의 두 그룹을 선택하고, 펜 제스쳐를 통해 오류를 수정할 수 있다. 펜 제스쳐는 다양한 방법으로 설계될 수 있다. 다양한 방법은 선의 방향을 이용한 위치 관계(즉, 오른쪽에서 왼쪽 선은 왼쪽을 의미, 왼쪽에서 오른쪽 선은 오른쪽을 의미 등), 또는 다른 방향을 나타내는 문자 제스쳐(즉, l은 왼쪽, r은 오른쪽을 의미 등)를 포함할 수 있다.
도 19는 위치 관계 에러를 수정하는 일 실시 예를 나타내는 개략도이다. 도 19에 도시된 바와 같이, "ab"가 "ab"로 잘못 인식될 수 있다.(901) 사용자는 이 오류를 수정하기를 원한다. 먼저, 사용자는 도 15에서 설명한 전환 방법 중 하나를 이용하여 공식 입력 장치를 편집 모드로 전환할 수 있다.(902) 그리고 사용자는 다음 두 가지의 방법으로 이 오류를 수정할 수 있다.
첫 번째로, 사용자는 "a" 및 "b" 을 선택할 수 있다. (903) 그리고 좌우 관계를 의미하는 펜 제스쳐를 그릴 수 있다. 본 예시에서, 왼쪽에서 오른쪽으로 수평선을 그리는 제스쳐는 왼쪽 문자의 형식으로 오른쪽 문자의 형식을 변환하는 사용자의 동작으로 정의될 수 있다.(904) 공식 입력 장치는 사용자의 동작에 따라 "ab"를 재 인식할 수 있다. 그리고 공식 입력 장치는 "ab" 를 표시할 수 있다.(907)
두 번째로, 편집 모드에서(902), 사용자는 기호 "b" 905를 선택할 수 있다. 이후, 사용자는 기호 "b"를 기호 "a"의 오른편 906에 끌어다 내려놓는 펜 제스쳐를 그릴 수 있다. 공식 입력 장치는 "ab"를 재 인식하고, "ab" 을 표시할 수 있다.(907)
도 20는 위치 관계 에러를 수정하는 다른 실시 예를 나타낸다. 도 20에 도시된 바와 같이, 공식 입력 장치는 "a3" 를 "a3"로 잘못 인식할 수 있다. 사용자는 이 오류를 수정하기를 원한다. 먼저, 사용자는 도 15에서 설명한 전환 방법 중 하나를 이용하여 공식 입력 장치를 편집 모드로 전환할 수 있다. 이후, 두 가지의 방법으로 인식 오류를 수정할 수 있다.
첫째로, 사용자는 기호 "a" 및 "3"을 선택할 수 있다. 그리고, 도 20에 도시된 바와 같이 사용자는 상단 우측 방향으로 선을 그릴 수 있다. 공식 입력 장치는 사용자의 제스쳐를 기반으로 하는 공식 재인식을 통해 "a3 "를 획득할 수 있다.
둘째로, 사용자는, 도면에 도시되지는 않았지만, 기호 "3"을 선택하고, 기호 "3"을 기호 "a"의 상단 우측 코너로 끌어다 놓을 수 있다. 공식 입력 장치는 "a3" 을 "a3"로 재 인식할 수 있다.
일 실시 예에서, 공식 입력 장치는 사용자의 사전 정의된 동작에 대응하여 공식의 분할 오류를 수정할 수 있다. 예를 들어, 인식된 공식에 대한 사용자의 분할 동작에 대응하여 인식된 공식은 수정될 수 있다. 분할 오류는 주로 행렬 내에서 발생할 수 있다. 행렬의 하나의 원소가 둘 이상의 원소로 분할되어 인식된 것을 과도 분할이라고 호칭할 수 있다. 행렬의 둘 이상의 원소가 하나의 원소로 인식된 것을 과도 결합이라고 호칭할 수 있다. 두 종류의 분할 오류는 분할 선을 이용하여 수정될 수 있다. 행렬의 행 및 열은 사용자의 분할 선을 기반으로 오류 수정(또는 재정렬)될 수 있다.
도 21는 행렬 결합 에러를 수정하는 일 실시 예를 나타내는 개략도이다. 도 21를 참조하면, 행렬 1001은 과도 결합 행렬이다. 사용자는 다음 설명하는 방법으로 과도 결합 오류를 수정할 수 있다. 먼저, 사용자는 도 15에서 설명한 전환 방법 중 하나를 이용하여 공식 입력 장치를 편집 모드로 전환할 수 있다.(1002) 사용자는 행렬의 열을 재 정렬하기 위한 두 개의 선을 상단에서 하단으로 그릴 수 있다.(1003) 공식 입력 장치는 사용자가 입력하려던 행렬(1004)를 획득할 수 있다.
도 22는 행렬 결합 에러를 수정하는 다른 실시 예를 도시한다. 도 22에 도시된 바와 같이, 본 실시 예는 단말기의 인터페이스를 도시한다. 사용자는 3x2 행렬인 다음 행렬을 입력하기를 원한다:
Figure PCTKR2016001543-appb-I000046
그러나 공식 입력 장치는 사용자의 필기 입력을 다음과 같은 1x2행렬로 잘못 인식한다:
Figure PCTKR2016001543-appb-I000047
도 22에 도시된 바와 같이, 사용자는 편집모드에서 두 개의 분할 선을 그리는 제스쳐를 수행할 수 있다. 이후, 공식 입력 장치는, 사용자가 원하는 3x2 행렬을, 표시할 수 있다.
일부 실시 예에서, 공식 입력 장치는 행렬 입력을 위한 특별 지원을 제공할 수 있다. 행렬은, 단위 행렬, 대칭 행렬 등 특수한 형태의 행렬을 포함할 수 있다. 공식 입력 장치는 특수한 형태의 행렬의 입력을 지원할 수 있다.
도 23은 일 실시 예에 따른 행렬 입력을 나타내는 개략도이다. 도 23에 도시된 바와 같이, 도 1의 101 단계에서 설명된 방법 중 하나 또는 조합에 의해 행렬은 입력될 수 있다. 예를 들어, 사용자는 행렬을 직접 필기할 수 있다.(1101) 또는 행렬 템플릿을 이용하여 행렬을 입력할 수 있다.(1102) 또는 행렬의 이미지를 촬영할 수 있다.(1103) 이후, 공식 입력 장치는 행렬을 획득하기 위해 사용자의 입력을 인식하고, 인식된 행렬을 인쇄 글꼴로 표시할 수 있다.(1104) 공식 입력 장치가 사용자에 의해 직접 필기된 행렬을 인식할 때, 공식 입력 장치는 먼저 사용자의 필기 입력의 존재를 검출하고, 이후 인식을 수행할 수 있다.
공식 입력 장치가 행렬 템플릿을 이용하여 입력된 행렬을 인식할 때, 공식 입력 장치는 행렬 템플릿을 기반으로 제한된 범위 내에서 공식 인식을 수행할 수 있다. 이론적으로, 행렬 유형 템플릿을 선택한 이후 필기된 행렬의 인식률은 다른 방법에 비해 높을 수 있다. 행렬 1104를 인식한 이후, 공식 입력 장치는 도 1 의 102 단계의 공식 추천 규칙에 따라 하나 이상의 완전한 행렬 (1105) 또는 일부 추천 행렬 원소를 포함하는 행렬(1107)을 추천할 수 있다. 여기서 추천 행렬 원소는 입력되어 인식된 원소와 다른 방식(예를 들어, 밝은 색으로)으로 표시될 수 있다.
일 실시 예에서, 사용자는 행렬(1106)을 획득하기 위해 추천 행렬들(1105)로부터 하나의 행렬을 선택할 수 있다.
다른 일 실시 예에서, 추천 원소를 포함하는 불완전 행렬(1107)에 대해 사용자는 다양한 제스쳐를 취할 수 있다. 불완전 행렬(1107)에 취해지는 제스쳐는 행렬(1109)을 획득하기 위한 수용 제스쳐 √를 추천 행렬 원소 상에 그리는 제스쳐; 행렬(1111)을 획득하기 위해 행렬의 원소를 직접 필기 입력하는 제스쳐(1110); 대칭 행렬(1113)을 획득하기 위해 양방향 화살표 모양을 그리는 제스쳐(1112); '0'으로 나머지 원소가 채워진 행렬 1115를 획득하기 위해 행렬 내에서 빠른 반복 입력을 위해 사용되는 큰 기호 "0"를 그리는 것을 포함할 수 있다. 예를 들어, 도 23에 도시된 바와 같이 사용자는 "0"으로 영역을 채우기 위해 큰 "0"를 그릴 수 있다.(1114)
도 24를 참조하면, 사용자에 의한 행렬 입력이 인식된 이후에, 공식 입력 장치는 사용자의 사전 정의된 동작에 따라서 행렬을 수정할 수 있다. 예를 들어, 공식 입력 장치는 행렬의 차원을 수정할 수 있다. 행렬의 차원을 수정하기 위한 사전 정의된 동작은, 행렬의 괄호를 차원을 수정하기 위해 끌어다(dragging) 놓는 단계(1202); 괄호가 원하는 차원의 행렬 원소를 포함하도록 행렬의 적어도 하나의 괄호를 재 필기(rewrite)하는 단계(1203); 원하는 숫자로 행렬의 우측 하단 코너에 차원을 나타내는 숫자를 추가 또는 수정하는 단계(1204); 또는 행렬 차원을 구성하는 인터페이스 차원의 숫자를 수정하는 단계를 포함할 수 있다.
구체적으로, 도 24는 일 실시 예에 따른 행렬 차원의 수정을 나타내는 개략도이다. 사용자는 2x3 행렬(1201)을 3x3 행렬(1209)로 수정하기를 원한다. 도 24에 도시된 바와 같이, 사용자는 다음 세 가지 방법 중 하나를 이용하여, 행렬의 차원을 수정할 수 있다.(참고: 행렬 차원을 구성하는 인터페이스 차원의 숫자 수정의 방법은 도 24에 도시되지 않는다) 사용자는 2x3행렬(1201)을 3x3 행렬(1209)로 수정하기 위해 2x3행렬(1201)의 우측 괄호를 아래로 끌어다 놓을 수 있다(1202); 또는, 사용자는 행렬(1201)을 3x3 행렬(1209)로 수정하기 위해, 좌우 괄호를 재 필기할 수 있다. 또는, 사용자는 2x3 행렬(1201)을 3x3행렬(1209)로 수정하기 위해, 1204에 도시된 바와 같이 행렬의 우측 하단에 '3x3'을 직접 입력할 수 있다. 행렬의 차원이 수정된 이후, 공식 입력 장치는 도 1의 102 단계에서 설명한 공식 추천 규칙에 따라 자동으로 행렬(1205) 및/또는 행렬(1207)를 추천할 수 있다.
이후, 사용자는 수정된 차원의 행렬(1206)을 획득하기 위해 행렬(1205) 를 선택할 수 있다. 또는 사용자는 수정된 차원의 행렬(1209)를 획득하기 위해 사전 정의된 제스쳐 (예를 들어 1208에 도시된 "√")를 그림으로써, 추천된 행렬의 원소를 수용(accept)할 수 있다.
*일부 실시 예에서, 공식 입력 방법은 공식을 조절하여 표시하는 단계를 포함할 수 있다. 일부 실시 예에서, 만약 필기된 공식이 제공되는 디스플레이부에 비해 상대적으로 크다면, 인식된 결과는 제공되는 디스플레이부의 크기에 따라 자동으로 조절될 수 있다. 또한, 입력 및 인식된 공식은 자동으로 축약 형태 또는 축소된 크기로 표시될 수 있다. 예를 들어, 사용자가
Figure PCTKR2016001543-appb-I000048
과 같은 확장 형식의 행렬을 입력한 경우, 공식 입력 장치는 입력 및 인식된
Figure PCTKR2016001543-appb-I000049
행렬을 축약 형식인 (aij)mxn로 자동으로 표시할 수 있다.
일부 실시 예에서, 만약 공식의 필기가 불완전한 경우, 입력될 공식의 일부가 인식된 공식의 일부와 비교하여 더 큰 크기로 추천 및 표시될 수 있다. 예를 들어, 사용자에 의해 입력된 공식이 불완전한 경우, 사용자가 입력한 부분은 축소된 크기로 표시되고, 추가 입력되어야 할 영역이 크게 표시될 수 있다. 예를 들어, 만약 사용자가 행렬의 일부만을 입력한 경우, 사용자에 의해 입력된 행렬의 원소는 축소된 사이즈로 표시되는 반면, 공식 입력 장치에 의해 추천된 행렬의 원소는 상대적으로 큰 크기로 표시될 수 있다.
공식 입력 방법 및 공식 입력 장치의 다양한 실시 예들을 상술하였다. 본 명세서에 의해 제공되는 공식 입력 방법은 먼저 사용자에 의해 입력된 공식을 인식하고, 인식된 공식을 표시하고, 이후 인식된 공식을 기반으로 추천 컨텐츠를 표시할 수 있다. 일 실시 예에 따른, 공식 입력 방법은 보다 간편한 공식 입력을 위해 주 입력 방법으로 필기 방식을 이용할 수 있다. 일 실시 예에서, 사용자는 직접 입력하고자 하는 공식을 필기하여 입력할 수 있다. 또한, 사용자는 필기 입력에 있어 기호(또는 숫자)의 입력 순서 및 공식의 구조에 제한 받지 않을 수 있다. 필기 공식이 2D 형태이기 때문에, 일 실시 예에 따른 공식 입력 방법은 문자열을 2D 형태의 공식으로 변환하는 과정이 요구되지 않을 수 있다. 또한, 필기 입력으로 공식을 입력하기 때문에, 기존의 특수 문자 리스트를 이용하여 특수 기호 또는 수식을 선택할 필요가 없을 수 있다.
일 실시 예에 따른 공식 입력 방법은 사용자에게 추천한 컨텐츠를 통해 공식의 인식 정확도 및 입력 속도를 크게 증가시킨다. 본 명세서에서 공식 입력 장치는 행렬의 원소, 공식에 필요한 수식 기호, 화학식, 화학 구조, 화학 평형 방정식 등 다양한 형태의 공식을 추천할 수 있다. 본 명세서에서 공식 입력 장치가 추천하는 공식의 모든 형태를 컨텐츠로 통칭할 수 있다. 즉, 공식의 일부 요소 또는 공식 그 자체를 모두 컨텐츠로 통칭할 수 있다.
일 실시 예에서, 추천 필기 위치 및/또는 필기 구조를 기반으로, 사용자는 필기 인식 정확도를 향상시키는 보다 적절한 위치에 공식을 필기할 수 있다. 이에 따라, 입력 효율은 추천 필기 위치 및/또는 필기 구조를 이용함으로써 향상될 수 있다. 예를 들어, 자주 사용되는 공식의 입력 속도를 향상시키기 위해, 자주 사용되는 공식의 일부가 입력된 경우, 공식 입력 장치는 사용자가 자주 사용한 공식을 추천할 할 수 있다. 따라서, 사용자는 공식의 일부 입력만으로 공식 입력 장치에 의해 추천된 공식을 선택할 수 있다. 일부 실시 예에서, 반복 기호 및 대칭 기호와 같은 사전 정의된 기호의 간략 입력이 지원될 수 있다. 예를 들어, 특정 기호는 필기 공식의 빠른 입력을 지원하는 사전 정의된 기호로 사용될 수 있다. 구체적으로, 복잡한 입력 및/또는 반복된 입력이 필요한 경우, 특정 기호가 사용될 수 있다.
일부 실시 예에서, 필기 공식 인식의 오류 수정이 지원될 수 있다. 오류는 인식 오류, 구조 오류, 분할 오류 등을 포함할 수 있다. 공식의 인식의 오류 수정 방법을 통해, 사용자는 공식의 오류를 편리하게 수정할 수 있다.
일 실시 예에 따른 공식 입력 방법은, 신속하고 효율적인 행렬의 입력을 제공할 수 있다. 행렬의 입력은 대칭 행렬 입력, 영역에 원소를 입력, 행렬 차원 수정, 분할 오류 수정 등을 포함할 수 있다.
일 실시 예에 따른 공식 입력 방법은 셀 폰, 태블릿 PC 등과 같은 필기 입력을 지원하는 컴퓨터 디바이스에 적용될 수 있다.
도 25은 일 실시 예에 따른 공식 입력 장치를 나타내는 개략도이다. 도 25에 도시된 바와 같이, 본 실시 예에 따른 공식 입력 장치 1300는 인식부 1301, 표시부 1302 및 처리부 1303을 포함할 수 있다.
인식부 1301은 사용자에 의해 입력된 공식을 인식할 수 있다. 사용자에 의해 인식된 공식은 필기 공식, 형식 템플릿 포맷 호출을 이용한 공식 입력, 사진에 포함된 공식 또는 스캔을 통한 공식 입력 중 어느 하나 또는 이들의 조합을 포함할 수 있다. 사용자에 의해 입력된 공식의 인식 동안, 인식부 1301 은 필기 입력의 사전 정의된 기호를 대응되는 관련 사전 정의된 공식 구조로 분석할 수 있다. 사전 정의된 기호는 반복 기호, 대칭 기호 등을 포함할 수 있다.
표시부 1302는 인식된 공식을 표시하고, 인식된 공식을 기반으로 추천 컨텐츠를 표시할 수 있다. 일부 실시 예에서, 표시부 1302는 표시된 공식의 문자(또는 숫자)에 근접하는 필기 기구 동작에 대응하여 문자 주변에 추천 필기 위치를 표시할 수 있다. 다른 실시 예에서, 표시부 1302는 표시된 공식의 문자(또는 숫자)에 근접하는 필기 기구 동작에 대응하여 문자와 관련 있는 추천 필기 구조를 표시할 수 있다. 다른 실시 예에서, 표시부 1302는 인식된 공식과 연관 있는 추천 공식을 표시할 수 있다. 추천 공식은 공식 데이터 베이스에서 검색될 수 있고, 인식된 공식과 동일한 컨텐츠를 포함하는 공식 및 사용자의 필기 기록, 인식된 공식의 문자를 기반으로 예측된 하나 이상의 연속된 문자, 인식된 공식의 속성을 기반으로 획득된 공식 및 추천된 컨텐츠와 다른 공식, 인식된 공식의 표현 형태를 기반으로 획득된 공식, 인식된 공식과 동일한 내용을 갖지만 표현 형식은 다른 공식 중 적어도 하나를 포함할 수 있다. 또한, 표시부 1302는 인식된 공식과 다른 형식으로 추천 컨텐츠(공식)를 표시할 수 있다.
처리부 1303은 표시된 컨텐츠에 대한 사용자의 상호 동작을 분석 및 처리할 수 있다. 일 실시 예에서, 처리부 1303은 사전 정의된 사용자의 동작에 대응하여 필기 모드 또는 편집 모드로 전환할 수 있다. 필기 모드에서 사용자에게 공식을 입력하는 것이 허용되고, 편집 모드에서 사용자에게 인식된 공식을 편집하는 것이 허용될 수 있다. 사전 정의된 사용자의 동작은 스타일러스 펜 상의 버튼을 누르는 동작, 터치 스크린을 더블 클릭, 스타일러스 펜이 동작하는 동안 터치스크린을 터치하거나 터치하지 않는 동작 또는 시스템 버튼 또는 메뉴를 선택하는 동작 중 어느 하나를 포함할 수 있다.
처리부 1303은 사전 정의된 사용자의 동작에 대응하여 추천 컨텐츠의 일부 또는 모든 컨텐츠를 처리할 수 있다. 처리부 1303은, 편집 모드인 경우, 사전 정의된 사용자의 동작에 대응하여 인식된 공식의 오류를 수정할 수 있다. 일 실시 예에서, 인식 오류를 수정하기 위해, 처리부 1303은 인식된 문자 상의 사용자의 필기 동작에 대응되는 필기된 문자를 인식하고 인식된 문자를 필기된 문자로 교체할 수 있다. 다른 일 실시 예에서, 구조 오류를 수정하기 위해, 처리부 1303은 인식된 문자의 두 그룹 간 위치 관계에 해당하는 사용자의 동작을 기반으로 문자의 두 그룹 간 위치 관계를 수정할 수 있다. 또 다른 일 실시 예에서, 분할 오류를 수정하기 위해, 처리부 1303은 사용자의 분할 동작을 기반으로 인식된 행렬을 수정할 수 있다.
공식 입력 방법의 각 단계에 대응하는 각 공식 입력 장치 1300의 구성 또는 모듈은 도 1 내지 12를 참조하여 설명되었다. 따라서, 상술한 방법에서 설명된 동작 및 구성은 장치 1300에 포함된 모듈에 적용 가능하므로 반복하여 설명하지 않는다. 공식 입력 장치 1300는 나아가 전자 장치 또는 다운로드 방식을 이용한 전자 장치에서 실행될 수 있다. 공식 입력 장치 1300에 해당하는 구성들은 공식 입력 방법의 구현을 위해 공식 입력 장치 내의 다른 구성들과 협력할 수 있다. 예를 들어, 표시부 1302는 인식된 공식 및 추천 컨텐츠를 스크린 상에 표시하기 위해 공식 입력 장치의 스크린과 협력할 수 있다.
도 26는 일 실시 예에 따른 공식 입력 장치의 구조를 나타내는 개략도이다. 도 26에 도시된 바와 같이, 본 실시 예의 공식 입력 장치 1400는 수신부 1401, 결정부 1402 및 표시부 1403을 포함할 수 있다.
수신부 1401은 사용자에 의해 입력된 컨텐츠를 수신할 수 있다. 결정부 1402는 수신된 컨텐츠를 기반으로 추천 컨텐츠를 결정할 수 있다. 표시부 1403은 추천 컨텐츠를 표시할 수 있다.
결정부 1402은 도 25에서 설명한 인식부 1301 및 처리부 1303의 동작을 수행할 수 있다. 표시부 1403은 도 25에서 설명한 표시부 1302의 동작을 수행할 수 있다.
도 27는 일 실시 예에 따른 공식 입력 장치를 나타내는 개략도이다. 도 27에 도시된 바와 같이, 공식 입력 장치 1500 은 사용자 인터페이스 1501 및 제어부 1502를 포함할 수 있다.
사용자 인터페이스 1501은 사용자에 의해 입력된 컨텐트를 수신할 수 있다. 제어부 1502는 입력된 컨텐트를 기반으로 하나 이상의 추천 컨텐트를 결정할 수 있다. 사용자 인터페이스 1501은 결정된 하나 이상의 추천 컨텐트를 표시할 수 있다.
구체적으로, 사용자 인터페이스 1501은 사용자의 필기 입력을 수신할 수 있다. 제어부 1502는 사용자의 필기 입력을 기반으로 필기 컨텐트를 획득하고, 필기 컨텐트를 기반으로 적어도 하나 이상의 추천 컨텐트를 결정할 수 있다. 사용자 인터페이스 1501은 획득된 필기 컨텐트 및 하나 이상의 추천 컨텐트를 표시할 수 있다. 획득된 필기 컨텐트는 필기 입력의 형상 그 자체 및/또는 필기 입력을 인식하여 인쇄 글꼴 변환한 것을 포함할 수 있다.
보다 구체적으로, 사용자 인터페이스 1501은 사용자의 필기 입력에 대응하는 사용자 인터페이스 상의 좌표 값들을 기반으로 하나 이상의 추천 컨텐트를 표시할 수 있다. 즉, 사용자 인터페이스 상의 필기 입력의 위치에 따라 추천 컨텐트가 표시될 수 있다. 또한, 사용자 인터페이스 1501은 표시된 하나 이상의 추천 컨텐트 중 하나를 선택하는 사용자 입력을 수신하고, 선택된 추천 컨텐트를 표시할 수 있다. 도 1 내지 도 26에서 상술한 바와 같이, 사용자의 필기 입력으로 획득된 필기 컨텐트는 수학식, 행렬, 화학식, 공식의 명칭(공식의 설명) 중 적어도 하나를 포함할 수 있다.
일 실시 예에서 필기 컨텐트가 수학식인 경우, 하나 이상의 추천 컨텐트는 공식의 구조 정보, 첨자 위치 정보, 수학식과 동치 관계 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에서 필기 컨텐트가 화학식인 경우, 하나 이상의 추천 컨텐트는 분자의 구조 정보, 계수(coefficient) 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에서 필기 컨텐트가 행렬인 경우, 하나 이상의 추천 컨텐트는 축약 행렬, 확장 행렬, 단위 행렬, 대칭 행렬 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 행렬의 원소 중 일부만 입력된 경우, 하나 이상의 추천 컨텐트는 상기 행렬의 나머지 원소 정보를 포함하고, 사용자 인터페이스 1501은 나머지 원소 정보를 상기 입력된 행렬의 원소보다 낮은 명도로 표시할 수 있다.
일 실시 예에서, 사용자 인터페이스는 행렬의 괄호 위치를 이동시키는 사용자의 입력 또는 행렬의 차원을 나타내는 사용자의 필기 입력에 따라 수정된 차원의 행렬을 표시할 수 있다.
일 실시 예에서 사용자 인터페이스 1501은 표시된 필기 컨텐트 또는 선택된 추천 컨텐트에 대한 사용자의 입력을 수신할 수 있다. 일 실시 예에 따른 사용자의 입력은 필기 입력일 수 있다. 제어부 1502는 수신된 사용자의 입력에 따라 표시된 필기 컨텐트 또는 선택된 추천 컨텐트를 변경할 수 있다. 구체적인 내용은 도 8 내지 도 10에서 설명하였다.
사용자 인터페이스 1501은 도 25에서 설명한 표시부 1302 및 도 26에서 설명한 수신부 1401의 동작을 수행할 수 있다. 제어부 1502는 도 25에서 설명한 인식부 1301 및 처리부 1303의 동작을 수행할 수 있다.
도 28은 일 실시 예에 따른 공식 입력 방법의 흐름도이다.
일 실시 예에 따른 공식 입력 장치는 사용자의 필기 입력을 수신할 수 있다. (S1601) 이후, 공식 입력 장치는 사용자의 필기 입력을 기반으로 필기 컨텐트를 획득할 수 있다. (S1602) 이후, 공식 입력 장치는 필기 컨텐트를 기반으로 적어도 하나 이상의 추천 컨텐트를 결정할 수 있다. (S1603) 이후, 공식 입력 장치는 필기 컨텐트 및 상기 하나 이상(one or more)의 추천 컨텐트를 표시할 수 있다. (S1604)
일 실시 예에 따른, 공식 입력 장치는 표시된 하나 이상의 추천 컨텐트 중 하나를 선택하는 사용자 입력을 수신할 수 있다. 이후, 공식 입력 장치는 선택된 추천 컨텐트를 표시할 수 있다.
일 실시 예에서, 사용자의 필기 입력으로 획득된 필기 컨텐트는 수학식, 행렬, 화학식, 공식의 명칭 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 공식 입력 장치는 표시된 필기 컨텐트 또는 선택된 추천 컨텐트에 대한 사용자의 입력을 수신할 수 있다. 이후, 공식 입력 장치는 수신된 사용자의 입력에 따라 표시된 필기 컨텐트 또는 선택된 추천 컨텐트를 변경할 수 있다. 일 실시 예에 따른 사용자의 입력은 필기 입력일 수 있다.
한편, 상술한 디바이스의 컨텐트를 관리하는 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 이와 같은 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 이와 같은 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 실시 예들을 중심으로 살펴보았다. 개시된 실시 예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시 예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 실시 예들의 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 사용자의 필기 입력을 수신하는 사용자 인터페이스; 및
    상기 사용자의 필기 입력을 기반으로 필기 컨텐트를 획득하고, 상기 필기 컨텐트를 기반으로 적어도 하나 이상의 추천 컨텐트를 결정하는 제어부;
    를 포함하고, 상기 사용자 인터페이스는 상기 필기 컨텐트 및 상기 하나 이상(one or more)의 추천 컨텐트를 표시하는 공식 입력 (formula inputting) 장치.
  2. 제 1 항에 있어서,
    상기 사용자 인터페이스는,
    상기 사용자의 필기 입력에 대응하는 상기 사용자 인터페이스 상의 좌표 값들을 기반으로 상기 하나 이상의 추천 컨텐트를 표시하는 공식 입력 장치.
  3. 제 1 항에 있어서,
    상기 사용자 인터페이스는,
    상기 표시된 하나 이상의 추천 컨텐트 중 하나를 선택하는 사용자 입력을 수신하고, 상기 선택된 추천 컨텐트를 표시하는 공식 입력 장치.
  4. 제 1항에 있어서,
    상기 사용자의 필기 입력으로 획득된 상기 필기 컨텐트는 수학식, 행렬, 화학식, 공식의 명칭 중 적어도 하나를 포함하는 공식 입력 장치.
  5. 제 4항에 있어서,
    상기 필기 컨텐트가 수학식인 경우, 상기 하나 이상의 추천 컨텐트는 공식의 구조 정보, 첨자 위치 정보, 상기 수학식과 동치 관계 정보 중 적어도 하나를 포함하는 공식 입력 장치.
  6. 제 4 항에 있어서,
    상기 필기 컨텐트가 화학식인 경우, 상기 하나 이상의 추천 컨텐트는 분자의 구조 정보, 계수(coefficient) 정보 중 적어도 하나를 포함하는 공식 입력 장치.
  7. 제 4 항에 있어서,
    상기 필기 컨텐트가 행렬인 경우, 상기 하나 이상의 추천 컨텐트는 축약 행렬, 확장 행렬, 단위 행렬, 대칭 행렬 중 적어도 하나를 포함하는 공식 입력 장치.
  8. 제 7 항에 있어서,
    상기 사용자 인터페이스는 상기 행렬의 괄호 위치를 이동시키는 사용자의 입력 또는 행렬의 차원을 나타내는 사용자의 필기 입력에 따라 수정된 차원의 행렬을 표시하는 공식 입력 장치.
  9. 제 7 항에 있어서,
    상기 행렬의 원소 중 일부만 입력된 경우,
    상기 하나 이상의 추천 컨텐트는 상기 행렬의 나머지 원소 정보를 포함하고,
    상기 사용자 인터페이스는 상기 나머지 원소 정보를 상기 입력된 행렬의 원소보다 낮은 명도로 표시하는 공식 입력 장치.
  10. 제 3 항에 있어서,
    상기 사용자 인터페이스는,
    상기 표시된 필기 컨텐트 또는 상기 선택된 추천 컨텐트에 대한 사용자의 필기 입력을 수신하고,
    상기 제어부는,
    상기 수신된 사용자의 필기 입력에 따라 상기 표시된 필기 컨텐트 또는 상기 선택된 추천 컨텐트를 변경하는 공식 입력 장치.
  11. 사용자의 필기 입력을 수신하는 단계;
    상기 사용자의 필기 입력을 기반으로 필기 컨텐트를 획득하는 단계;
    상기 필기 컨텐트를 기반으로 적어도 하나 이상의 추천 컨텐트를 결정하는 단계; 및
    상기 필기 컨텐트 및 상기 하나 이상(one or more)의 추천 컨텐트를 표시하는 단계를 포함하는 공식 입력 방법.
  12. 제 11 항에 있어서,
    상기 표시된 하나 이상의 추천 컨텐트 중 하나를 선택하는 사용자 입력을 수신하는 단계; 및
    상기 선택된 추천 컨텐트를 표시하는 단계를 포함하는 공식 입력 방법.
  13. 제 11항에 있어서,
    상기 사용자의 필기 입력으로 획득된 상기 필기 컨텐트는 수학식, 행렬, 화학식, 공식의 명칭 중 적어도 하나를 포함하는 공식 입력 방법.
  14. 제 12 항에 있어서,
    상기 표시된 필기 컨텐트 또는 상기 선택된 추천 컨텐트에 대한 사용자의 필기 입력을 수신하는 단계; 및
    상기 수신된 사용자의 필기 입력에 따라 상기 표시된 필기 컨텐트 또는 상기 선택된 추천 컨텐트를 변경하는 단계를 포함하는 공식 입력 방법.
  15. 제 11항 내지 제 14항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2016/001543 2015-02-17 2016-02-16 공식 입력 방법 및 장치 WO2016133335A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/551,828 US10437466B2 (en) 2015-02-17 2016-02-16 Formula inputting method and apparatus

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN201510086434.2 2015-02-17
CN201510086434 2015-02-17
CN201510959336.5A CN105893338B (zh) 2015-02-17 2015-12-18 用于输入公式的方法、装置和电子设备
CN201510959336.5 2015-12-18
KR10-2016-0017777 2016-02-16
KR1020160017777A KR102489578B1 (ko) 2015-02-17 2016-02-16 공식 입력 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2016133335A1 true WO2016133335A1 (ko) 2016-08-25

Family

ID=56692309

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/001543 WO2016133335A1 (ko) 2015-02-17 2016-02-16 공식 입력 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2016133335A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360073A (zh) * 2021-06-01 2021-09-07 维沃移动通信有限公司 信息输入方法和信息输入装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561737B2 (en) * 2004-09-22 2009-07-14 Microsoft Corporation Mathematical expression recognition
US20090304283A1 (en) * 2008-06-06 2009-12-10 Microsoft Corporation Corrections for recognizers
KR20120009505A (ko) * 2009-04-29 2012-01-31 노키아 코포레이션 필기된 수학식 분석 방법, 장치, 및 컴퓨터 프로그램 제품
US20120162107A1 (en) * 2010-12-22 2012-06-28 Casio Computer Co., Ltd. Electronic device having handwritten mathematical formula recognition function
KR20120075587A (ko) * 2010-12-16 2012-07-09 한국전자통신연구원 필기 수식 인식을 이용한 학습 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561737B2 (en) * 2004-09-22 2009-07-14 Microsoft Corporation Mathematical expression recognition
US20090304283A1 (en) * 2008-06-06 2009-12-10 Microsoft Corporation Corrections for recognizers
KR20120009505A (ko) * 2009-04-29 2012-01-31 노키아 코포레이션 필기된 수학식 분석 방법, 장치, 및 컴퓨터 프로그램 제품
KR20120075587A (ko) * 2010-12-16 2012-07-09 한국전자통신연구원 필기 수식 인식을 이용한 학습 시스템 및 방법
US20120162107A1 (en) * 2010-12-22 2012-06-28 Casio Computer Co., Ltd. Electronic device having handwritten mathematical formula recognition function

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360073A (zh) * 2021-06-01 2021-09-07 维沃移动通信有限公司 信息输入方法和信息输入装置

Similar Documents

Publication Publication Date Title
WO2013151347A1 (ko) 입력 장치 및 문자 입력 방법
WO2018174603A1 (ko) 인공 지능 기술 기반의 머신 러닝을 사용하는 특허 도면 이미지에 도면 부호의 설명이 표시되도록 처리하는 방법 및 장치
WO2017095040A1 (en) User terminal device and displaying method thereof
WO2014010974A1 (en) User interface apparatus and method for user terminal
WO2016085234A1 (en) Method and device for amending handwritten characters
WO2016093518A1 (en) Method and apparatus for arranging objects according to content of background image
WO2011102689A4 (en) Multilingual key input apparatus and method thereof
WO2016064137A1 (en) Apparatus and method of drawing and solving figure content
WO2014011000A1 (en) Method and apparatus for controlling application by handwriting image recognition
WO2016111584A1 (en) User terminal for displaying image and image display method thereof
WO2011025200A9 (ko) 확장키를 이용한 정보입력시스템 및 정보입력방법
WO2015030461A1 (en) User device and method for creating handwriting content
WO2011096702A2 (ko) 문자 입력 장치 및 방법
WO2016085173A1 (en) Device and method of providing handwritten content in the same
WO2021054589A1 (en) Electronic apparatus and controlling method thereof
EP3087752A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
WO2019160238A1 (en) Electronic apparatus and operating method of the same
WO2019139367A1 (en) Display device and method for touch interface
WO2012173378A2 (ko) 키보드 레이아웃을 제공하는 유저 인터페이스 제공 장치 및 방법
WO2018056729A1 (ko) 문자입력 장치
WO2014126412A1 (en) Method for generating writing data and an electronic device thereof
WO2015178716A1 (en) Search method and device
WO2017159931A1 (en) Electronic device including touch panel and method of controlling the electronic device
WO2016076593A1 (en) Method of displaying memo and device therefor
WO2015142031A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16752665

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15551828

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16752665

Country of ref document: EP

Kind code of ref document: A1