WO2016117854A1 - 음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법 - Google Patents

음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법 Download PDF

Info

Publication number
WO2016117854A1
WO2016117854A1 PCT/KR2016/000114 KR2016000114W WO2016117854A1 WO 2016117854 A1 WO2016117854 A1 WO 2016117854A1 KR 2016000114 W KR2016000114 W KR 2016000114W WO 2016117854 A1 WO2016117854 A1 WO 2016117854A1
Authority
WO
WIPO (PCT)
Prior art keywords
editing
text
type
edit
character
Prior art date
Application number
PCT/KR2016/000114
Other languages
English (en)
French (fr)
Inventor
쥬오씨앙
쥬쉬엔
수텅롱
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510034325.6A external-priority patent/CN105869632A/zh
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP16740327.8A priority Critical patent/EP3249643A4/en
Priority to US15/545,842 priority patent/US20180018308A1/en
Publication of WO2016117854A1 publication Critical patent/WO2016117854A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present disclosure relates to a text editing apparatus and a text editing method based on a speech signal.
  • a text editing device is a device having a function of allowing a user to edit text displayed on a screen.
  • the text editing apparatus may insert a character into a specific text or delete a character. You can also replace the characters in the text with a replacement string or change the attributes of the text.
  • Such text editing apparatuses are becoming more and more diversified in the form of mobile devices, wearable equipments, and e-books as intelligent devices have recently evolved.
  • text editing methods are also diversified.
  • the mobile device and the wearable device may receive a voice signal from a user as well as input by handwriting and edit text based thereon.
  • the display unit for displaying text;
  • a user input unit for receiving a voice signal for editing the text; And analyzing meanings of words included in the voice signal to determine an editing target and an editing type, and to edit the text based on the editing target and the editing type, and to display the edited text on the display unit.
  • It may include a control unit for controlling.
  • a text editing method includes: receiving a voice signal for editing the text; Analyzing a meaning of a word included in the voice signal to determine an editing target and an edit type; And editing and displaying the text based on the determined editing target and the type of editing.
  • a recording medium having recorded thereon a program for execution on a computer records a method for editing text as a program for executing on a computer.
  • FIG. 1 is a diagram illustrating a text editing apparatus according to an exemplary embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of a text editing apparatus according to an embodiment.
  • FIG. 3 is a detailed block diagram illustrating a configuration of a text editing apparatus according to an embodiment.
  • FIG. 4 is a diagram for describing examples of a text editing apparatus determining an editing type and an editing target, according to an exemplary embodiment.
  • FIG. 5 is a diagram for describing an example of obtaining, by a text editing apparatus, a replacement character string when an editing range and an editing type are character substitutions.
  • 6A and 6B are diagrams for describing examples in which a text editing apparatus determines a touch signal according to an exemplary embodiment.
  • 7A and 7B are diagrams for describing examples in which a text editing apparatus edits text at a time according to an embodiment.
  • FIGS. 8A and 8B are diagrams for describing examples in which a text editing apparatus edits text when an editing type is attribute change, according to an exemplary embodiment.
  • FIG. 9 is a diagram for describing an example in which a text editing apparatus replaces a plurality of editing objects when an editing type is character substitution.
  • FIGS. 10A and 10B are diagrams for describing examples in which a text editing apparatus edits text when an editing type is a character substitution, according to an exemplary embodiment.
  • FIG. 11 is a diagram for describing examples of editing a text according to a calculated reliability by a text editing apparatus, according to an exemplary embodiment.
  • FIG. 12 is a flowchart illustrating a method of editing text according to an embodiment.
  • the display unit for displaying text;
  • a user input unit for receiving a voice signal for editing the text; And analyzing meanings of words included in the voice signal to determine an editing target and an editing type, and to edit the text based on the editing target and the editing type, and to display the edited text on the display unit.
  • It may include a control unit for controlling.
  • first and second may be used to describe various components, but the components should not be limited by these terms. These terms are used to distinguish one component from another.
  • connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, the connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • FIG. 1 is a diagram illustrating a text editing apparatus according to an exemplary embodiment.
  • the text editing apparatus 100 refers to a device capable of displaying text on a screen and editing text based on a voice signal received from a user.
  • the text editing device 100 may include not only a TV but also a mobile phone, a laptop computer, a tablet computer, an onboard computer, a personal digital assistant (PDA) device, navigation, an MP3 player, a wearable device, and the like.
  • PDA personal digital assistant
  • the present invention is not limited thereto, and the text editing apparatus 100 may be implemented in various forms.
  • the text editing apparatus 100 may include a microphone 110.
  • the microphone 110 receives the uttered voice of the user.
  • the microphone 110 may convert the received voice into an electrical signal and output the converted audio signal to the text editing apparatus 100.
  • the user voice may include, for example, a voice corresponding to an object to be edited and an edit type of the text.
  • the recognition range of the microphone 110 may vary according to the size of the user's voice and the surrounding environment (eg, speaker sound and ambient noise).
  • the microphone 110 may be implemented as a single body or a separate body from the text editing apparatus 100.
  • the separated microphone 110 may be electrically connected to the text editing apparatus 100 through the communication unit 1500, the A / V input unit 1600, or the output unit 1200 of the text editing apparatus 100.
  • FIG. 2 is a block diagram illustrating a configuration of a text editing apparatus according to an embodiment.
  • the text editing apparatus 200 may include a user input unit 210, a control unit 220, and a display unit 230.
  • the user input unit 210 may receive a signal received from a user.
  • the user input unit 210 may include a microphone 110 for receiving a voice signal, and may include a touch screen module for receiving a touch signal, but a signal that may be received by the user input unit 210.
  • the type of is not limited to this.
  • the controller 220 analyzes the meaning of the words included in the voice signal, determines the editing target and the type of editing, edits the text based on the editing target and the type of editing, and displays the edited text on the display 230. You can control the display.
  • Semantic analysis is one of analysis techniques for processing natural language used by a person, and may be defined as analyzing a meaning of a sentence based on a result of syntax analysis. Therefore, in the meaning analysis, even if the sentence includes the same word, the analysis result may vary depending on the context.
  • the editing type may include at least one of deleting a character, inserting a character, replacing a character, and changing an attribute
  • changing the attribute may include at least one of changing a punctuation mark, adding and deleting a paragraph number, and adding and deleting a space before a paragraph.
  • the editing target is defined as a character string that the text editing apparatus 200 should edit in text corresponding to the type of editing.
  • the controller 220 may obtain a replacement string of a section determined from the voice signal received by the user input unit 210.
  • the controller 220 may replace the editing object with a replacement character string and check whether there is an error in the replaced text. If there is an error in the replaced text as a result of the checking, the controller 220 may restore the errored portion before replacing the defective part.
  • the controller 220 may replace the plurality of editing objects with at least two pseudo-synonyms, respectively, when there are a plurality of editing objects.
  • the controller 220 may determine the editing range of the text by analyzing a meaning of a word included in at least one of a voice signal and a touch signal. In this case, the controller 220 may divide the string included in the editing range into two or more words, and edit a word matching the edit target among the divided words.
  • the controller 220 may edit two or more edit targets at one time.
  • controller 220 may calculate the reliability of the edit type and the edit target information and edit the text based on the reliability.
  • the display 230 may display information and content processed by the text editing apparatus 200 under the control of the controller 220.
  • the display 230 may display text.
  • the display unit 230 may be used as an input device in addition to the output device.
  • the display unit 230 may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. 3D display, an electrophoretic display.
  • the present invention is not limited thereto, and the display 230 may be implemented in various forms.
  • FIG. 3 is a detailed block diagram illustrating a configuration of a text editing apparatus according to an embodiment.
  • the text editing apparatus 1111 may include a sensing unit 1400, an A / V input unit 1600, and a memory in addition to the user input unit 1101, the output unit 1200, the control unit 1300, and the communication unit 1500. 1700.
  • the user input unit 1101 and the A / V input unit 1600 correspond to the user input unit 210 of FIG. 2, a detailed description thereof will be omitted.
  • control unit 1300 and the display unit 1211 correspond to the control unit 220 and the display unit 230 of FIG. 2, detailed descriptions thereof will be omitted.
  • the microphone 1620 corresponds to the microphone 110 of FIG. 1, a detailed description thereof will be omitted.
  • the output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1211, an audio output unit 1221, and a vibration motor 1231. have.
  • the sound output unit 1221 outputs audio data received from the communication unit 1500 or stored in the memory 1700.
  • the sound output unit 1221 may include a speaker, a buzzer, and the like.
  • the vibration motor 1231 may output a vibration signal.
  • the vibration motor 1231 may output a vibration signal corresponding to an output of audio data or video data (eg, a call signal reception sound, a message reception sound, and the like).
  • the sensing unit 1400 may detect a state of the text editing apparatus 1111 or a state around the text editing apparatus 1111 and transmit the detected information to the controller 1300.
  • the sensing unit 1400 may include a geomagnetic sensor 1410, an acceleration sensor 1420, a temperature / humidity sensor 1430, an infrared sensor 1440, a gyroscope sensor 1450, and a position sensor. (Eg, GPS) 1460, barometric pressure sensor 1470, proximity sensor 1480, and RGB sensor (illuminance sensor) 1490, but are not limited thereto. Since functions of the respective sensors can be intuitively deduced by those skilled in the art from the names, detailed descriptions thereof will be omitted.
  • the communicator 1500 may include a short range communicator 1510, a mobile communicator 1520, and a broadcast receiver 1530.
  • the short-range wireless communication unit 1510 includes a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, an infrared ray ( IrDA (Infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant + communication unit and the like, but may not be limited thereto.
  • the mobile communication unit 1520 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the text editing device 1111 may not include the mobile communication unit 1520.
  • the broadcast receiving unit 1530 receives a broadcast signal and / or broadcast related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the A / V input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 and a microphone 1620.
  • the memory 1700 may store a program for processing and controlling the controller 1300, and may store data input to the text editing apparatus 1111 or output from the text editing apparatus 1111.
  • the memory 1700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • Magnetic Memory Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • Programs stored in the memory 1700 may be classified into a plurality of modules according to their functions.
  • the programs stored in the memory 1700 may be classified into a UI module 1710, a touch screen module 1720, a notification module 1730, and the like. .
  • the UI module 1710 may provide a specialized UI, GUI, or the like that is linked to the text editing device 1111 for each application.
  • the touch screen module 1720 may detect a touch signal on the user's touch screen and transmit information about the touch signal to the controller 1300.
  • the touch screen module 1720 may recognize and analyze a touch code.
  • the touch screen module 1720 may be configured as separate hardware including a controller.
  • the notification module 1730 may generate a signal for notifying the occurrence of an event of the text editing device 1111. Examples of events occurring in the text editing device 1111 include call signal reception, message reception, key signal input, and schedule notification.
  • FIG. 4 is a diagram for describing examples of a text editing apparatus determining an editing type and an editing target, according to an exemplary embodiment.
  • the text editing apparatus 400 may display the text 410.
  • the text 410 may be text stored in the text editing apparatus 400 or text downloaded through the Internet. That is, the text 410 may be existing specific text that is not obtained by the voice signal.
  • the text editing apparatus 400 may receive a voice signal 430 for editing the text 410 from the user through the microphone 420.
  • the text editing apparatus 400 may perform a semantic analysis on the syntax included in the voice signal to determine the type of editing and the editing target.
  • the text editing apparatus 400 recognizes text information including a word sequence based on a hidden Markov model or a vector space model, and performs a semantic analysis on the recognized text information. Although it may be performed, the semantic analysis method is not limited thereto.
  • the text editing apparatus 400 has an edit type 431 of "delete text” and an edit target 432 of the word "final”. Can decide.
  • the text editing apparatus 400 may determine an editing target by using a word segmentation technique.
  • the text editing apparatus 400 may divide the text into two or more words, and if the text editing apparatus 400 matches the edit target determined by the divided word and the voice signal, the text editing apparatus 400 may determine the edited word to be edited in the text.
  • the text editing apparatus 400 may calculate a reliability corresponding to the character information included in the voice signal 430. A method of calculating the reliability will be described in more detail with reference to the following drawings.
  • the text editing apparatus 400 may edit the text 410 based on the edit type 432 and the edit target 431 determined from the voice signal 430. have. Referring to FIG. 4, it can be seen that the word “final” 411 has been deleted from the edited text 440.
  • FIG. 5 is a diagram for describing an example of obtaining, by a text editing apparatus, a replacement character string when an editing range and an editing type are character substitutions.
  • the text editing apparatus 500 may determine not only an edit type and an editing target, but also an editing range, based on a signal input from a user.
  • the editing range may be defined as an area in which text is to be edited.
  • the editing range may be part or all of the text.
  • the text editing apparatus 500 may set the editing range to the entire text, but this may vary according to the user's setting.
  • the editing range determined from the user's touch signal may match the editing target. For example, when the editing range determined from the touch signal is the word "previous", the text editing apparatus 500 replaces "previous” with "this time” with only the voice signal of "substitute this time” and replaces the replaced text ( 540 may be displayed.
  • the text editing apparatus 500 may determine a editing range by receiving a touch signal or a voice signal from a user.
  • the touch signal may include a click, a double click, a long press, a linear slide, a circular slide, but is not limited thereto.
  • the text editing apparatus 500 may receive a gesture signal as well as a touch signal to determine an editing range.
  • the text editing apparatus 500 may determine an editing range based on a gesture signal of a user who draws a circle in front of the screen.
  • the gesture signal may include an operation of drawing an area, a linear slide, or the like, but is not limited thereto.
  • the text editing apparatus 500 may receive a circular slide 511 of a region included in text from a user. In this case, the text editing apparatus 500 may determine a region of the text included in the circular slide 511 as the editing range 541.
  • the text editing apparatus 500 may obtain a replacement character string from the voice signal.
  • the text editing apparatus 500 may substitute a voice string 532 with a replacement string 532 to replace the editing target 531. Can be obtained within. Accordingly, the edit target 531 in the edit range 541 in the text 540 may be replaced with the replacement character string 533.
  • 6A and 6B are diagrams for describing examples in which a text editing apparatus determines a touch signal according to an exemplary embodiment.
  • FIG. 6A is a diagram for describing an example in which an editing range is determined from a touch signal. Referring to FIG. 6A, it can be seen that the editing range 621 is determined by receiving the slide 611 from the user.
  • the text editing apparatus 600 may determine the type of editing from the touch signal.
  • the touch signal that may be determined as the edit type may include a delete symbol, an insertion symbol, a position adjusting symbol, and the like, but is not limited thereto.
  • 6B is a diagram for describing an example in which an editing type is determined from a touch signal.
  • the text editing apparatus 600 when the text editing apparatus 600 receives a preset insertion symbol 631 from a user and receives a character to be inserted through a voice signal, the text editing apparatus 600 places the edit target 651 at the insertion symbol 631. Can be inserted.
  • 7A and 7B are diagrams for describing examples in which a text editing apparatus edits text at a time according to an embodiment.
  • the text editing apparatus 700 may edit the text 710 at a time when two or more types of editing and editing targets are included in the voice signal 720.
  • edit types included in the voice signal 720 received from the user are character substitution, character deletion, and character insertion.
  • the text editing apparatus 700 may edit the text 710 at a time based on the determined plurality of types of editing and corresponding editing targets.
  • the text editing apparatus 700 may edit two or more edit targets at a time when there are two or more edit targets for the same edit type within the edit range.
  • the editing range 754 included in the voice signal 750 is the entire text.
  • the text editing apparatus 700 may edit the plurality of editing objects 751 at a time.
  • the editing type 753 is character substitution
  • the text editing apparatus 700 may determine the replacement character string 752 from the voice signal 750 and edit the text 760.
  • FIGS. 8A and 8B are diagrams for describing examples in which a text editing apparatus edits text when an editing type is attribute change, according to an exemplary embodiment.
  • the text editing apparatus 800 may change an attribute of the text.
  • Property change means that general properties of the text are changed.
  • the attribute change may include, but is not limited to, adding / deleting paragraph numbers, adding / deleting spaces before paragraphs, and changing paragraph marks.
  • the text editing apparatus 800 may determine that a period and an exclamation point are paragraph marks through semantic analysis, and may determine that the edit type is a change of a paragraph code during property change. have. Accordingly, the text editing apparatus 800 may change the period included in the text into an exclamation point.
  • FIG. 8B is a diagram for explaining an example in which the text editing apparatus edits text when the editing type is adding paragraph numbers and adding blanks before paragraphs during attribute change.
  • the text editing apparatus 800 may receive a voice signal 850 and may determine, through semantic analysis, that the editing type is “add paragraph number” or “add space before paragraph” during attribute change. Accordingly, the text editing apparatus 800 may edit the paragraph number 861 and add the space 862 before the paragraph.
  • FIG. 9 is a diagram for describing an example in which a text editing apparatus replaces a plurality of editing objects when an editing type is character substitution.
  • the text editing apparatus 900 may receive a voice signal 920, recognize each word in the voice signal, and then perform semantic analysis. As a result of semantic analysis, if the edit type 923 is character substitution and the edit target 921 and the replacement string 922 are determined to be "good” and "good", respectively, according to the voice signal 920, the text is included in the text.
  • the plurality of editing objects 921 may be replaced with the replacement character string 922.
  • the context of the text may be awkward due to character substitution, such as the intermediate text 930.
  • the text editing apparatus 900 may replace all of the plurality of editing objects 921 with the replacement character string 922 and then check whether there is an error in the replaced text. In this case, the text editing apparatus 900 may determine whether there is an error in the text by performing a semantic analysis.
  • the text editing apparatus 900 may restore the errored portion back to the replacement.
  • the text editing apparatus 900 may restore (942) the second editing object 932 included in the intermediate text 930 to the original state according to the semantic analysis result.
  • FIGS. 10A and 10B are diagrams for describing examples in which a text editing apparatus edits text when an editing type is a character substitution, according to an exemplary embodiment.
  • the text editing apparatus 1000 may substitute characters included in the text, and specifically, may perform pseudo-synonym substitution, antonym substitution, stem replacement, and the like.
  • Pseudo-synonymous substitution means that the same word in the text is replaced with several other words having the same meaning.
  • the text editing apparatus 1000 replaces the editing object with various synonyms such as "match”, “competition”, “contest”, and “tournament”. It can be substituted.
  • the information about the synonym may be pre-stored in the text editing apparatus 1000 or may be downloaded by the text editing apparatus 1000 through the server. Referring to FIG.
  • the text editing apparatus 1000 analyzes the word “good” that is not awkward in a text context through semantic analysis.
  • the synonyms "joy” and “clear” can be substituted for each.
  • the opposite substitution means to replace a specific word in the text with a word having the opposite meaning of the word.
  • the word "easy” in the text can be replaced with the opposite word “difficult.”
  • the text editing apparatus 1000 may replace the character by using the antonym affix.
  • the antonym suffix may be an antonym prefix such as "dis-" or "un-”, or an antonym suffix such as "-less”. For example, if it is determined that the object to be edited is 'disable', the counterpart “able” from which the antonym affix “dis” is removed is determined as the replacement string. Thereafter, the text editing apparatus 1000 may replace “disable”, which is an editing target, with “able”, which is a replacement string.
  • the stem replacement means that when the stem which is a part which does not change when the utilization word is utilized is an editing target, the plurality of utilization words are replaced at a time.
  • the text editing apparatus 1000 may replace the plural words to be edited at a time even if the editing target is a singular noun.
  • comparative and superlative adjectives in English may be substituted at the same time through stem substitutions.
  • all comparative or superlative adjectives such as the words “big” and “bigger” and “biggest” included in the text may be substituted.
  • the voice signal 1050 replacing tall 1051 with short 1052, both the comparative and superlative words of tall included in the text 1040 are replaced with the comparative and superlative values of the replacement string short. Can be.
  • FIG. 11 is a diagram for describing examples of editing a text according to a calculated reliability by a text editing apparatus, according to an exemplary embodiment.
  • the text editing apparatus 1100 may calculate the edit type determined from the voice signal 1050 and the touch signal and the reliability of the edit target, and perform the edit according to the calculation result. For example, when the calculated reliability is equal to or lower than the preset threshold, the text editing apparatus 1100 may receive a control signal regarding whether to edit the text from the user before editing the text. In this case, when confirmation information is received by the user, the text editing apparatus 1100 may edit the text, and when the cancellation information is received, the text editing apparatus 1100 may stop the editing procedure. .
  • the text editing apparatus 1100 may edit the text without receiving a control signal from the user. At this time, since the threshold value can be set by the user, the accuracy of text editing can be guaranteed according to the threshold value.
  • the text editing apparatus 1100 may calculate the type of editing determined from the voice signal and the reliability of the editing target based on the logistic regression analysis.
  • Logistic regression analysis is a representative statistical algorithm used to analyze which groups of observations can be classified when the objects to be analyzed are divided into two or more groups.
  • the text editing apparatus 1100 may calculate a conditional probability of the edit type corresponding to each edit target.
  • the condition may include a word sequence and a touch sequence recognized from the voice signal and the touch signal.
  • W, G) of the j th edit type E j among the K edit types may be calculated according to Equation 1 below.
  • Equation 1 j is an integer from 1 to K, and W is a word sequence recognized from a negative signal.
  • G is the touch sequence recognized from the touch signal, e is the base of the natural logarithm, and ⁇ j is a parameter of the softmax model that can be calculated according to a conventional Expectation-Maximization (EM) algorithm.
  • W) represents the conditional probability of edit type E j in the word sequence W
  • G) is conditional of edit type E j in the touch sequence G Indicates probability.
  • the text editing apparatus 1100 may calculate a conditional probability corresponding to the word sequence or the touch sequence, and then determine the editing target and the type of editing by comparing with the threshold value.
  • conditional probability of the editing object within the editing range under a specific condition may be specifically calculated as follows.
  • conditional probability of the candidates to be edited under a specific condition may be calculated according to the conditional probability of the candidates to be edited under the first condition and the conditional probability of the candidates to be edited under the second condition.
  • the first condition includes a word sequence recognized from the voice signal
  • the second condition includes a touch sequence recognized from the touch signal.
  • C n ; W, G) of the n-th word C n as an editing target candidate within the editing range may be calculated according to Equation 2 below.
  • Equation 2 e is the base of the exponential log, and ⁇ 0 , ⁇ 1 , ⁇ 2 are model parameters that can be obtained through a conventional EM algorithm.
  • C n ; W) is a conditional probability of the word C n among candidates to be edited when the word sequence determined from the speech signal is W, and P (Error
  • C n ; W, G) is a conditional probability of the word C n among candidates to be edited when the word sequence and the touch sequence recognized from the voice signal and the touch signal are W and G, respectively.
  • P Error
  • C n ; W may be calculated by the reliability of the word C n .
  • C n ; G) may be calculated by a Gaussian hybrid model, where the input variable of the Gaussian hybrid model may be for an area of the word C n that is within the edit range determined from the touch signal. have.
  • the conditional probability of the editing operation O opt may be calculated according to Equation 3 below.
  • Equation 3 ⁇ 0 , ⁇ 1 , ⁇ 2 , ⁇ 3 are model parameters, P (C m
  • FIG. 12 is a flowchart illustrating a method of editing text according to an embodiment.
  • the text editing apparatus may receive a voice signal for editing text.
  • the text editing apparatus may analyze the meaning of a word included in the voice signal to determine an editing target and an edit type.
  • the text editing apparatus may receive a touch signal, and may analyze an meaning of a word included in at least one of a voice signal and a touch signal to determine an editing range of the text.
  • the editing type may include at least one of character deletion, character insertion, character substitution, and attribute change.
  • the character substitution may include at least one of pseudo-synonym substitution, antonym substitution, and stem substitution
  • the attribute change may include at least one of changing a punctuation mark, adding and deleting a paragraph number, and adding and deleting a space before a paragraph. May be, but is not limited thereto.
  • the text editing apparatus may obtain a replacement character string to be edited when the editing type is character substitution.
  • the editing object when the editing type is character substitution, the editing object may be replaced with a replacement string, and the replaced text may be checked for errors. If there is an error in the replaced text as a result of the checking, the text editing apparatus may restore the defective part before replacing the defective part.
  • the text editing apparatus may edit and display text based on the determined editing target and the type of editing.
  • the text editing apparatus may edit and display two or more edit targets at a time when there are two or more edit targets in the edit range.
  • the text editing apparatus may replace the plurality of edit targets with at least two similar-synonyms, respectively, and display the same.
  • the text editing apparatus may calculate the reliability of the type of editing and the information to be edited, and edit and display the text based on the reliability.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal, or other transmission mechanism, and includes any information delivery media.

Abstract

텍스트를 표시하는 디스플레이부, 텍스트를 편집하기 위한 음성 신호를 수신하는, 사용자 입력부 및 음성 신호에 포함되는 단어의 의미를 분석하여, 편집 대상 및 편집 종류를 결정하고, 편집 대상 및 편집 종류에 기초하여, 텍스트를 편집하고, 편집된 텍스트를 디스플레이부에 표시하도록 제어하는 제어부를 포함하는 텍스트 편집 장치가 개시된다.

Description

음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법
본 개시는 음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법에 관한 것이다.
텍스트 편집 장치는 사용자가 화면에 표시된 텍스트를 편집할 수 있는 기능을 갖춘 장치이다. 구체적으로 텍스트 편집 장치는 특정 텍스트에 문자를 삽입하거나, 문자를 삭제할 수 있다. 또한, 텍스트에 포함된 문자를 대체 문자열로 치환하거나, 텍스트의 속성을 변경할 수도 있다. 이러한 텍스트 편집 장치는 최근 지능형 기기가 발전함에 따라, 모바일 디바이스(mobile device), 웨어러블 기기(wearable equipment) 및 전자책(e-book)과 같은 형태로 점점 다양해지고 있다.
한편, 텍스트 편집 장치가 다양한 형태로 발전함에 따라 텍스트의 편집 방법도 다양해지고 있다. 예를 들어, 모바일 디바이스 및 웨어러블 기기는 화면이 작기 때문에, 수기(handwriting)에 의한 입력뿐 아니라 사용자로부터 음성 신호를 수신하여 이를 기초로 텍스트를 편집할 수 있다.
본 개시는 음성 신호를 기초로 하여, 텍스트를 편집하는 방법을 제공하는 것을 목적으로 한다.
일 실시예에 따른 텍스트 편집 장치는, 텍스트를 표시하는 디스플레이부; 상기 텍스트를 편집하기 위한 음성 신호를 수신하는, 사용자 입력부; 및 상기 음성 신호에 포함되는 단어의 의미를 분석하여, 편집 대상 및 편집 종류를 결정하고, 상기 편집 대상 및 편집 종류에 기초하여, 상기 텍스트를 편집하고, 편집된 상기 텍스트를 상기 디스플레이부에 표시하도록 제어하는 제어부;를 포함할 수 있다.
일 실시예에 따른 텍스트 편집 방법은, 상기 텍스트를 편집하기 위한 음성 신호를 수신하는 단계; 상기 음성 신호에 포함되는 단어의 의미를 분석하여, 편집 대상 및 편집 종류를 결정하는 단계; 및 상기 결정된 편집 대상 및 편집 종류에 기초하여, 상기 텍스트를 편집하여 표시하는 단계를 포함할 수 있다.
일 실시예에 따른 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체는 텍스트를 편집하는 방법을 컴퓨터에서 실행시키기 위한 프로그램으로 기록한다.
도 1은 일 실시예에 따른 텍스트 편집 장치를 나타내는 도면이다.
도 2는 일 실시예에 따른 텍스트 편집 장치의 구성을 나타내는 블록도이다.
도 3은 일 실시예에 따른 텍스트 편집 장치의 구성을 나타내는 상세 블록도이다.
도 4는 일 실시예에 따른, 텍스트 편집 장치가 편집 종류 및 편집 대상을 결정하는 예들을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른, 텍스트 편집 장치가 편집 범위 및 편집 종류가 문자 치환일 때, 대체 문자열을 획득하는 예들을 설명하기 위한 도면이다.
도 6a 및 도 6b는 일 실시예에 따라, 텍스트 편집 장치가 터치 신호를 결정하는 예들을 설명하기 위한 도면이다.
도 7a 및 도 7b는 일 실시예에 따라, 텍스트 편집 장치가 텍스트를 일시에 편집하는 예들을 설명하기 위한 도면이다.
도 8a 및 도 8b는 일 실시예에 따라, 편집 종류가 속성 변경인 경우 텍스트 편집 장치가 텍스트를 편집하는 예들을 설명하기 위한 도면이다.
도 9는 일 실시예에 따라, 편집 종류가 문자 치환인 경우, 텍스트 편집 장치가 복수의 편집 대상을 치환하는 예들을 설명하기 위한 도면이다.
도 10a 및 도 10b는 일 실시예에 따라, 편집 종류가 문자 치환인 경우 텍스트 편집 장치가 텍스트를 편집하는 예들을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른, 텍스트 편집 장치가 계산된 신뢰도에 따라 텍스트를 편집하는 예들을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른, 텍스트를 편집하는 방법을 나타내는 흐름도이다.
일 실시예에 따른 텍스트 편집 장치는, 텍스트를 표시하는 디스플레이부; 상기 텍스트를 편집하기 위한 음성 신호를 수신하는, 사용자 입력부; 및 상기 음성 신호에 포함되는 단어의 의미를 분석하여, 편집 대상 및 편집 종류를 결정하고, 상기 편집 대상 및 편집 종류에 기초하여, 상기 텍스트를 편집하고, 편집된 상기 텍스트를 상기 디스플레이부에 표시하도록 제어하는 제어부;를 포함할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 텍스트 편집 장치를 나타내는 도면이다.
일 실시예에 따른 텍스트 편집 장치(100)는 텍스트를 화면에 표시하고, 사용자로부터 수신된 음성 신호에 기초하여, 텍스트를 편집할 수 있는 장치를 의미한다. 텍스트 편집 장치(100)는 TV 뿐 아니라, 휴대폰, 랩톱 컴퓨터, 타블렛 컴퓨터, 온보드 컴퓨터, PDA(personal digital assistant) 장치, 네비게이션, MP3 플레이어, 착용형 기기(wearable device) 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 텍스트 편집 장치(100)는 다양한 형태로 구현될 수 있다.
텍스트 편집 장치(100)는 마이크로폰(110)을 포함할 수 있다.
마이크로폰(110)은 사용자의 발화(utterance)된 음성을 수신한다. 마이크로폰 (110)은 수신된 음성을 전기 신호로 변환하여 텍스트 편집 장치(100)로 출력할 수 있다. 사용자 음성은 예를 들어, 텍스트의 편집 대상 및 편집 종류에 대응되는 음성을 포함할 수 있다. 마이크로폰(110)의 인식 범위는 사용자 목소리의 크기와 주변 환경(예를 들어, 스피커 소리, 주변 소음)에 대응하여 달라질 수 있다.
마이크로폰(110)은 텍스트 편집 장치(100)와 일체형 또는 분리형으로 구현될 수 있다. 이때 분리된 마이크로폰(110)은 텍스트 편집 장치(100)의 통신부(1500), A/V 입력부(1600) 또는 출력부(1200)를 통해 텍스트 편집 장치(100)와 전기적으로 연결될 수 있다.
도 2는 일 실시예에 따른 텍스트 편집 장치의 구성을 나타내는 블록도이다.
일 실시예에 따른 텍스트 편집 장치(200)는 사용자 입력부(210), 제어부(220) 및 디스플레이부(230)를 포함할 수 있다.
사용자 입력부(210)는 사용자로부터 수신되는 신호를 입력 받을 수 있다. 예를 들어, 사용자 입력부(210)는 음성 신호 수신을 위해 마이크로폰(110)을 포함할 수 있고, 터치 신호 수신을 위해 터치 스크린 모듈을 포함할 수 있으나, 사용자 입력부(210)가 수신할 수 있는 신호의 종류는 이에 제한되지 않는다.
제어부(220)는 음성 신호에 포함되는 단어의 의미를 분석하여, 편집 대상 및 편집 종류를 결정하고, 편집 대상 및 편집 종류에 기초하여, 텍스트를 편집하고, 편집된 텍스트를 디스플레이부(230)에 표시하도록 제어할 수 있다.
의미 분석(semantic analysis)은 사람이 사용하는 자연어를 처리하는 분석 기법 중 하나로서, 구문 분석의 결과에 기초하여 문장이 갖는 의미를 분석하는 것으로 정의될 수 있다. 따라서, 의미 분석은 동일한 단어가 포함된 문장이더라도 문맥에 따라 분석 결과가 달라질 수 있다.
편집 종류는 문자 삭제, 문자 삽입, 문자 치환 및 속성 변경 중 적어도 하나를 포함하고, 속성 변경은 문장 부호의 변경, 문단 번호 추가 및 삭제, 문단 이전에 공백 추가 및 삭제 중 적어도 하나를 포함할 수 있으나, 이에 제한되지 않는다. 편집 대상은 텍스트 편집 장치(200)가 편집 종류에 대응하여 텍스트에서 편집해야 하는 문자열로 정의된다.
또한, 제어부(220)는 편집 종류가 문자 치환일 때, 사용자 입력부(210)에 수신된 음성 신호에서 결정된 구간의 대체 문자열을 획득할 수 있다.
또한, 제어부(220)는 편집 종류가 문자 치환일 때, 편집 대상을 대체 문자열로 치환하고, 치환된 텍스트에 오류가 있는지 확인할 수 있다. 만약, 확인 결과 치환된 텍스트에 오류가 있는 경우, 제어부(220)는 오류가 있는 부분을 치환하기 이전으로 복원할 수 있다.
한편, 제어부(220)는 편집 종류가 문자 치환 중 유사-동의어 치환일 때, 편집 대상이 복수이면 복수의 편집 대상을 적어도 2 이상의 유사-동의어로 각각 치환할 수 있다.
또한, 제어부(220)는 음성 신호 및 터치 신호 중 적어도 하나에 포함되는 단어의 의미를 분석하여, 텍스트의 편집 범위를 결정할 수 있다. 이때, 제어부(220)는 편집 범위에 포함된 문자열을 둘 이상의 단어들로 분할하고, 분할된 단어들 중 편집 대상과 일치하는 단어를 편집할 수 있다.
또한, 제어부(220)는 편집 범위에 편집 대상이 둘 이상 포함된 경우, 둘 이상의 편집 대상을 일시에 편집할 수 있다.
또한, 제어부(220)는 편집 종류 및 편집 대상 정보에 관한 신뢰도를 계산하고, 신뢰도에 기초하여, 텍스트를 편집할 수 있다.
디스플레이부(230)는 제어부(220)의 제어에 따라, 텍스트 편집 장치(200)에서 처리되는 정보 및 컨텐츠를 표시할 수 있다. 예를 들어, 디스플레이부(230)는 텍스트를 표시할 수 있다.
한편, 디스플레이부(230)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(230)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(230)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 디스플레이부(230)는 다양한 형태로 구현될 수 있다.
도 3은 일 실시예에 따른 텍스트 편집 장치의 구성을 나타내는 상세 블록도이다.
도 3을 참조하면, 텍스트 편집 장치(1111)는 사용자 입력부(1101), 출력부(1200), 제어부(1300) 및 통신부(1500) 이외에 센싱부(1400), A/V 입력부(1600) 및 메모리(1700)를 포함할 수 있다.
사용자 입력부(1101) 및 A/V 입력부(1600)는 도 2의 사용자 입력부(210)와 대응되므로 구체적인 설명은 생략하기로 한다.
또한, 제어부(1300) 및 디스플레이부(1211)는 도 2의 제어부(220) 및 디스플레이부(230)와 각각 대응되므로 구체적인 설명은 생략하기로 한다.
또한, 마이크로폰(1620)은 도 1의 마이크로폰(110)과 대응되므로 구체적인 설명은 생략하기로 한다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1211), 음향 출력부(1221), 및 진동 모터(1231)를 포함할 수 있다.
음향 출력부(1221)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 이러한 음향 출력부(1221)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(1231)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1231)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다.
센싱부(1400)는, 텍스트 편집 장치(1111)의 상태 또는 텍스트 편집 장치(1111) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 구현 예에 따라서 텍스트 편집 장치(1111)는 이동 통신부(1520)를 포함하지 않을 수도 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 텍스트 편집 장치(1111)로 입력되거나 텍스트 편집 장치(1111)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 텍스트 편집 장치(1111)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 신호를 감지하고, 터치 신호에 관한 정보를 제어부(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다. 알림 모듈(1730)은 텍스트 편집 장치(1111)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 텍스트 편집 장치(1111)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다.
도 4는 일 실시예에 따른, 텍스트 편집 장치가 편집 종류 및 편집 대상을 결정하는 예들을 설명하기 위한 도면이다.
텍스트 편집 장치(400)는 텍스트(410)를 표시할 수 있다. 이때 텍스트(410)는 텍스트 편집 장치(400)에 저장되어 있던 텍스트이거나, 인터넷을 통해 다운로드된 텍스트일 수 있다. 즉, 텍스트(410)는 음성 신호에 의해 획득되지 않은 기존의 특정 텍스트일 수 있다.
텍스트 편집 장치(400)는 마이크로폰(420)를 통해서 사용자로부터 텍스트(410) 편집을 위한 음성 신호(430)을 수신할 수 있다. 이때 텍스트 편집 장치(400)는 음성 신호에 포함된 구문에 대하여, 의미 분석을 수행하여 편집 종류 및 편집 대상을 결정할 수 있다. 구체적으로, 텍스트 편집 장치(400)는 은닉 마르코프 모델(hidden Markov model) 또는 벡터 공간 모델(vector space model)에 기초하여 단어 서열을 포함하는 문자 정보를 인식하고, 인식된 문자 정보에 대하여 의미 분석을 수행할 수 있으나, 의미 분석 방법은 이에 제한되지 않는다.
도 4를 참조하면, 음성 신호(430)가 “최종을 삭제”일 때, 텍스트 편집 장치(400)는 편집 종류(431)가 “문자 삭제”이고, 편집 대상(432)이 단어 “최종”인 것을 결정할 수 있다.
한편, 텍스트 편집 장치(400)는 단어 분할(word segmentation) 기법을 이용하여, 편집 대상을 결정할 수 있다. 구체적으로, 텍스트 편집 장치(400)는 텍스트를 둘 이상의 단어로 분할한 후, 분할된 단어와 음성 신호에서 결정된 편집 대상과 일치하면, 분할된 단어를 텍스트에서 편집해야 하는 편집 대상으로 결정할 수 있다.
또한, 텍스트 편집 장치(400)는 음성 신호(430)에 포함된 문자 정보에 대응하는 신뢰도를 계산할 수 있다. 신뢰도를 계산하는 방법에 대해서는 이하의 해당 도면들에서 보다 상세히 설명하도록 한다.
텍스트 편집 장치(400)는 음성 신호(430)에 대한 의미 분석을 수행한 후, 음성 신호(430)로부터 결정된 편집 종류(432) 및 편집 대상(431)에 기초하여 텍스트(410)를 편집할 수 있다. 도 4를 참조하면, 편집된 텍스트(440)에는 “최종”(411)이라는 단어가 삭제된 것을 알 수 있다.
도 5는 일 실시예에 따른, 텍스트 편집 장치가 편집 범위 및 편집 종류가 문자 치환일 때, 대체 문자열을 획득하는 예들을 설명하기 위한 도면이다.
텍스트 편집 장치(500)는 사용자로부터 입력된 신호에 기초하여, 편집 종류 및 편집 대상뿐 아니라, 편집 범위를 결정할 수 있다. 이때 편집 범위는 텍스트에서 편집을 수행하게 되는 영역으로 정의될 수 있다. 따라서, 편집 범위는 텍스트의 일부 또는 전체가 될 수 있다. 또한, 편집 범위에 대한 신호가 수신되지 않은 경우, 텍스트 편집 장치(500)는 편집 범위를 텍스트 전체로 설정할 수 있으나, 이는 사용자의 설정에 따라 달라질 수 있다. 또한, 사용자의 터치 신호로부터 결정된 편집 범위는 편집 대상과 일치할 수 있다. 예를 들어, 터치 신호로부터 결정된 편집 범위가 "이전"이라는 단어일 때, 텍스트 편집 장치(500)는 "이번으로 치환"이라는 음성 신호만으로 "이전"을 "이번"으로 치환하고, 치환된 텍스트(540)를 표시할 수 있다.
한편, 텍스트 편집 장치(500)는 사용자로부터 터치 신호 또는 음성 신호를 입력 받아 편집 범위를 결정할 수 있다. 이때 터치 신호는 클릭, 더블 클릭, 길게 누름(long press), 선형 슬라이드, 원형 슬라이드 등을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 텍스트 편집 장치(500)는 터치 신호뿐 아니라, 제스쳐 신호를 입력 받아 편집 범위를 결정할 수 있다. 예를 들어, 텍스트 편집 장치(500)는 화면 앞에서 원형을 그리는 사용자의 제스쳐 신호에 기초하여, 편집 범위를 결정할 수 있다. 제스쳐 신호는 영역을 그리는 동작, 선형 슬라이드 등을 포함할 수 있으나, 이에 제한되지 않는다.
예를 들어 도 5를 참조하면, 텍스트 편집 장치(500)는 사용자로부터 텍스트에 포함된 일 영역에 대한 원형 슬라이드(511)를 수신할 수 있다. 이때, 텍스트 편집 장치(500)는 원형 슬라이드(511)에 포함된 텍스트의 일 영역을 편집 범위(541)로 결정할 수 있다.
또한, 텍스트 편집 장치(500)는 음성 신호로부터 대체 문자열을 획득할 수 있다. 도 5를 참조하면, 음성 신호(530)에 포함된 편집 종류(532)가 문자 치환이므로, 텍스트 편집 장치(500)는 편집 대상(531)을 치환시킬 대체 문자열(532)을 음성 신호(530)내에서 획득할 수 있다. 이에 따라, 텍스트(540)에서 편집 범위(541)내 편집 대상(531)은 대체 문자열(533)로 치환될 수 있다.
도 6a 및 도 6b는 일 실시예에 따라, 텍스트 편집 장치가 터치 신호를 결정하는 예들을 설명하기 위한 도면이다.
도 6a는 터치 신호로부터 편집 범위를 결정되는 일 예를 설명하기 위한 도면이다. 도 6a를 참조하면, 사용자로부터 슬라이드(611)를 입력 받아 편집 범위(621)가 결정된 것을 알 수 있다.
또한, 텍스트 편집 장치(600)는 터치 신호로부터 편집 종류를 결정할 수 있다. 이때, 편집 종류로 결정될 수 있는 터치 신호로는 삭제 심볼, 삽입 심볼 및 위치 조정 심볼 등이 포함될 수 있으나, 이에 제한되지 않는다.
도 6b는 터치 신호로부터 편집 종류를 결정되는 일 예를 설명하기 위한 도면이다.
도 6b를 참조하면, 텍스트 편집 장치(600)는 사용자로부터 기 설정된 삽입 심볼(631)을 수신하고, 음성 신호를 통해 삽입할 문자를 수신하면, 삽입 심볼(631) 위치에 편집 대상(651)을 삽입할 수 있다.
도 7a 및 도 7b는 일 실시예에 따라, 텍스트 편집 장치가 텍스트를 일시에 편집하는 예들을 설명하기 위한 도면이다.
텍스트 편집 장치(700)는 음성 신호(720)에 둘 이상의 편집 종류 및 편집 대상이 포함되어 있는 경우, 텍스트(710)를 일시에 편집할 수 있다.
도 7a를 참조하면, 사용자로부터 수신된 음성 신호(720)에 포함된 편집 종류는 문자 치환, 문자 삭제 및 문자 삽입이다. 이때 텍스트 편집 장치(700)는 결정된 복수의 편집 종류 및 그에 대응하는 편집 대상에 기초하여, 텍스트(710)를 일시에 편집할 수 있다.
또한, 텍스트 편집 장치(700)는 편집 범위 내에서 동일한 편집 종류에 대한 편집 대상이 둘 이상일 때, 둘 이상의 편집 대상을 일시에 편집할 수 있다.
도 7b를 참조하면, 음성 신호(750)에 포함된 편집 범위(754)는 텍스트 전체이다. 이때, 전체 텍스트(740)에 포함된 편집 대상(751)이 복수이므로, 텍스트 편집 장치(700)는 복수의 편집 대상(751)을 일시에 편집할 수 있다. 구체적으로, 편집 종류(753)는 문자 치환이므로, 텍스트 편집 장치(700)는 음성 신호(750)로부터 대체 문자열(752)을 결정하고, 텍스트를 편집(760)할 수 있다.
도 8a 및 도 8b는 일 실시예에 따라, 편집 종류가 속성 변경인 경우 텍스트 편집 장치가 텍스트를 편집하는 예들을 설명하기 위한 도면이다.
텍스트 편집 장치(800)는 텍스트의 속성을 변경할 수 있다. 속성 변경이란 텍스트의 일반적인 속성들이 변경되는 것을 의미한다. 구체적으로, 속성 변경은 단락 번호의 추가/삭제, 단락 이전에 공간의 추가/삭제 및 문단 부호의 변경 등을 포함할 수 있으나, 이에 제한되지 않는다.
도 8a는 편집 종류가 속성 변경 중 문단 부호의 변경일 때, 텍스트 편집 장치가 텍스트를 편집하는 예를 설명하기 위한 도면이다. 도 8a를 참조하면, 음성 신호(820)에 기초하여, 텍스트 편집 장치(800)는 의미 분석을 통해 마침표와 느낌표가 각각 문단 부호임을 결정하고, 편집 종류가 속성 변경 중 문단부호의 변경임을 결정할 수 있다. 이에 따라 텍스트 편집 장치(800)는 텍스트에 포함된 마침표를 느낌표로 변경할 수 있다.
도 8b는 편집 종류가 속성 변경 중 단락 번호의 추가 및 문단 이전에 공백 추가일 때, 텍스트 편집 장치가 텍스트를 편집하는 예를 설명하기 위한 도면이다. 도 8b를 참조하면, 텍스트 편집 장치(800)는 음성 신호(850)를 수신하고, 의미 분석을 통해 편집 종류가 속성 변경 중 “문단 번호 추가”, “문단 이전에 공백 추가”임을 결정할 수 있다. 이에 따라 텍스트 편집 장치(800)는 문단 번호(861)를 추가하고, 문단 이전에 공백(862)을 추가하는 편집을 수행할 수 있다.
도 9는 일 실시예에 따라, 편집 종류가 문자 치환인 경우, 텍스트 편집 장치가 복수의 편집 대상을 치환하는 예들을 설명하기 위한 도면이다.
도 9를 참조하면, 텍스트 편집 장치(900)는 음성 신호(920)를 수신하고, 음성 신호에서 각 단어를 인식한 후, 의미 분석을 수행할 수 있다. 의미 분석 결과, 편집 종류(923)가 문자 치환이고, 편집 대상(921) 및 대체 문자열(922)이 각각 “좋다”와 “기쁘다”로 결정되면, 음성 신호(920)에 따라, 텍스트에 포함된 복수의 편집 대상(921)을 대체 문자열(922)로 치환할 수 있다. 그러나 편집 대상(921)이 텍스트에 포함된 복수의 문맥에서 각각 다른 의미로 사용된 경우, 중간 텍스트(930)와 같이 문자 치환으로 인해 텍스트의 문맥이 어색해질 수 있다. 따라서, 텍스트 편집 장치(900)는 복수의 편집 대상(921)을 대체 문자열(922)로 모두 치환한 후, 치환된 텍스트에 오류가 있는지 확인할 수 있다. 이때, 텍스트 편집 장치(900)는 의미 분석을 수행하여 텍스트에 오류가 있는지 확인할 수 있다.
텍스트에 오류가 있는 경우, 텍스트 편집 장치(900)는 오류가 있는 부분을 치환 이전으로 다시 복원할 수 있다. 도 9를 참조하면, 텍스트(900)에서 두 번째 편집 대상(912)은 대체 문자열(922)로 치환하면, 문맥상 오류가 발생한다. 따라서, 텍스트 편집 장치(900)는 의미 분석 결과에 따라 중간 텍스트(930)에 포함된 두 번째 편집 대상(932)을 다시 원래대로 복원(942)할 수 있다.
도 10a 및 도 10b는 일 실시예에 따라, 편집 종류가 문자 치환인 경우 텍스트 편집 장치가 텍스트를 편집하는 예들을 설명하기 위한 도면이다.
텍스트 편집 장치(1000)는 텍스트에 포함된 문자를 치환할 수 있으며, 구체적으로 유사-동의어 치환, 반의어 치환, 어간 치환 등을 수행할 수 있다. 유사-동의어 치환이란 텍스트에서 동일한 단어가 동일한 의미를 가지는 여러 다른 단어들로 치환되는 것을 의미한다. 예를 들어, 텍스트에 포함된 “게임”을 유사-동의어 치환하는 경우, 텍스트 편집 장치(1000)는 편집 대상을 “매치”, “경쟁”, “컨테스트”, “토너먼트” 와 같은 여러 유사 동의어로 치환할 수 있다. 이때 유사 동의어에 관한 정보는 텍스트 편집 장치(1000)에 기 저장되어 있거나, 서버를 통해 텍스트 편집 장치(1000)가 다운로드 받을 수 있다. 도 10a를 참조하면, 텍스트(1010)에 포함된 단어 “좋다”를 유사-동의어로 치환하는 경우, 텍스트 편집 장치(1000)는 의미 분석을 통해 단어 “좋다”를 텍스트 문맥에서 어색하지 않은 유사-동의어인 “기쁘다”와 “맑다”로 각각 치환할 수 있다.
한편, 반의어 치환이란 텍스트에서 특정 단어를 단어의 반대되는 의미를 가진 단어로 치환하는 것을 의미한다. 예를 들어 텍스트에 있는 단어 “쉬운”을 반의어인 단어 “어려운”으로 치환될 수 있다.
또한, 편집 대상이 반의어 접사(antonymous affix)를 포함하는 단어인 경우, 텍스트 편집 장치(1000)는 반의어 접사를 이용해서 문자를 치환할 수 있다. 이때, 반의어 접사는 “dis-“ 또는 “un-“과 같은 반의어 접두사 일 수 있고, “-less”와 같은 반의어 접미사 일 수 있다. 예를 들어, 편집 대상이 ‘disable’인 것으로 결정된 경우, 반의어 접사인 “dis”가 제거된 반의어 “able”이 대체 문자열로 결정된다. 그 후, 텍스트 편집 장치(1000)는 편집 대상인 “disable”을 대체 문자열인 “able”로 치환활 수 있다.
한편, 어간 치환은 활용어가 활용할 때에 변하지 않는 부분인 어간이 편집 대상인 경우, 복수의 활용어들이 일시에 치환되는 것을 의미한다. 예를 들어, 영문 텍스트에서 문자 치환이 수행되는 경우, 텍스트 편집 장치(1000)는 편집 대상이 단수형 명사더라도 편집 대상의 복수형 단어도 일시에 치환할 수 있다. 또한, 영어의 비교급 및 최상급 형용사도 어간 치환을 통해 일시에 치환될 수 있다. 예를 들어, 사용자가 단어 “big”의 어간 치환을 수행할 때, 텍스트에 포함된 단어 “big” 및 “bigger” 및 “biggest”와 같은 비교급 또는 최상급 형용사들은 모두 치환될 수 있다. 도 10b를 참조하면, tall(1051)을 short(1052)으로 치환하는 음성 신호(1050)에 따라, 텍스트(1040)에 포함된 tall의 비교급 및 최상급 단어는 모두 대체 문자열 short의 비교급 및 최상급으로 치환될 수 있다.
도 11은 일 실시예에 따른, 텍스트 편집 장치가 계산된 신뢰도에 따라 텍스트를 편집하는 예들을 설명하기 위한 도면이다.
텍스트 편집 장치(1100)는 음성 신호(1050) 및 터치 신호로부터 결정된 편집 종류와 편집 대상에 관한 신뢰도를 계산하여 계산 결과에 따라 편집을 수행할 수 있다. 예를 들어, 계산된 신뢰도가 기 설정된 임계값과 같거나 낮은 경우, 텍스트 편집 장치(1100)는 텍스트를 편집하기 이전에 사용자로부터 편집여부에 관한 제어신호를 수신할 수 있다. 이때 사용자에 의해 확인 정보(confirmation information)가 수신되면, 텍스트 편집 장치(1100)는 텍스트를 편집하고, 철회 정보(cancellation information)가 수신되면, 텍스트 편집 장치(1100)는 편집 절차를 중단할 수 있다.
만약, 계산된 신뢰도가 기 설정된 임계값보다 큰 경우, 텍스트 편집 장치(1100)는 사용자로부터 제어신호를 수신하지 않고, 텍스트를 편집할 수 있다. 이때 임계값은 사용자가 설정할 수 있기 때문에, 임계값에 따라 텍스트 편집의 정확도가 보장될 수 있다.
한편, 텍스트 편집 장치(1100)는 음성 신호로부터 결정된 편집 종류와 편집 대상에 대한 신뢰도를 로지스틱 회귀(logistic regression) 분석에 기초하여, 계산할 수 있다. 로지스틱 회귀분석은, 분석하고자 하는 대상들이 두 집단 또는 그 이상의 집단으로 나누어진 경우에 개별 관측치들이 어느 집단으로 분류될 수 있는가를 분석하는데 사용되는 대표적인 통계 알고리즘이다.
한편, 편집 범위 내에 복수 개의 편집 대상이 존재할 때, 텍스트 편집 장치(1100)는 각 편집 대상에 대응하는 편집 종류의 조건부 확률을 계산할 수 있다. 이때 조건에는 음성 신호 및 터치 신호로부터 인식된 단어 서열 및 터치 서열을 포함한다.
K개 편집 종류 중에서 j 번째 편집 종류 Ej의 조건부 확률 P(Ej|W, G)은 다음의 수학식 1에 따라 계산될 수 있다.
수학식 1
Figure PCTKR2016000114-appb-M000001
수학식 1에서, j는 1 부터 K까지 정수이고, W는 음성 신호로부터 인식된 단어 서열이다. 또한, G는 터치 신호로부터 인식된 터치 서열이고, e는 자연 로그의 밑이고, θj는 종래의 EM(Expectation-Maximization) 알고리즘에 따라 계산될 수 있는 소프트맥스 모델(softmax model)의 파라미터이다. EM 알고리즘이란 관측되지 않는 잠재변수에 의존하는 확률 모델을 추정하기 위한 반복 알고리즘이다. 만약, xi가 문자 값(character value)일 때, xi= P(E1|W), P(E2|W), … , P(Ek|W), P(E1|G), P(E2|G), … , P(Ek|G)일 수 있다. 이때 i는 1-2K 부터 정수이고, P(Ej|W)는 단어 서열 W에서 편집 종류 Ej의 조건부 확률을 나타내고, P(Ej|G)는 터치 서열 G에서 편집 종류 Ej의 조건부 확률을 나타낸다.
텍스트 편집 장치(1100)는 단어 서열 또는 터치 서열에 대응하는 조건부 확률을 계산한 후, 임계값과 비교하여 편집 대상 및 편집 종류를 결정할 수 있다.
또한, 특정 조건에서 편집 범위 이내에 있는 편집 대상의 조건부 확률은 구체적으로 다음과 같이 계산할 수 있다.
먼저, 편집 범위 이내에 있는 각 단어를 위해, 제 1 조건에서 편집 대상 후보들의 조건부 확률 및 제 2 조건에서 편집 대상 후보들의 조건부 확률에 따라, 특정 조건에서 편집 대상 후보들의 조건부 확률을 계산할 수 있다. 이때 제 1 조건은 음성 신호로부터 인식된 단어 서열을 포함하고, 제 2 조건은 터치 신호로부터 인식된 터치 서열을 포함한다.
이때, 어느 조건에서, 편집 범위 이내에 있는 편집 대상 후보로서, n번째 단어 Cn의 조건부 확률 P(Error|Cn;W, G)은 다음의 수학식 2에 따라 계산될 수 있다.
수학식 2
Figure PCTKR2016000114-appb-M000002
수학식 2에서, e는 지수로그의 밑이고, α0, α1, α2은 종래의 EM 알고리즘을 통해 획득될 수 있는 모델 파라미터들이다. 또한, P(Error|Cn;W)는 음성 신호로부터 결정된 단어 서열이 W인 경우, 편집 대상 후보들 중 단어 Cn의 조건부 확률이고, P(Error|Cn;G)는 터치 신호로부터 인식된 터치 서열이 G인 경우, 편집 대상 후보들 중 단어 Cn의 조건부 확률이다.
또한, P(Error|Cn;W, G)는 음성 신호 및 터치 신호로부터 인식된 단어 서열 및 터치 서열이 각각 W 및 G인 경우, 편집 대상 후보들 중 단어 Cn의 조건부 확률이다.
한편, P(Error|Cn;W)는 단어 Cn의 신뢰도에 의해 계산될 수 있다.
P(Error|Cn;G)는 가우시안 하이브리드 모델(Gaussian hybrid model)에 의해 계산될 수 있고, 이때 가우시안 하이브리드 모델의 입력 변수는 터치 신호로부터 결정된 편집 범위 이내에 있는 단어 Cn 의 영역에 관한 것일 수 있다.
한편, 터치 신호로부터 결정된 편집을 위한 동작(Oopt)을 위해, 편집 동작(Oopt)의 조건부 확률은 아래 수학식 3에 따라 계산될 수 있다.
수학식 3
Figure PCTKR2016000114-appb-M000003
수학식 3에서, β0, β1, β2, β3은 모델 파라미터들이고, P(Cm|W, G)은 편집 대상(Cm)과 일치하는 텍스트에 포함된 문자의 조건부 확률이고, P(Error|Cm;W, G)은 편집 동작(Oopt)에 대응하는, 편집 대상(Cm)의 조건부 확률이고, P(E|W, G)은 편집 대상(Cm)에 대응하는 편집 종류 T의 조건부 확률이다.
도 12는 일 실시예에 따른, 텍스트를 편집하는 방법을 나타내는 흐름도이다.
1210단계에서, 텍스트 편집 장치는 텍스트를 편집하기 위한 음성 신호를 수신할 수 있다.
1220단계에서, 텍스트 편집 장치는 음성 신호에 포함되는 단어의 의미를 분석하여, 편집 대상 및 편집 종류를 결정할 수 있다. 또한, 텍스트 편집 장치는 터치 신호를 수신할 수 있고, 음성 신호 및 터치 신호 중 적어도 하나에 포함되는 단어의 의미를 분석하여, 텍스트의 편집 범위를 결정할 수 있다. 이때, 편집 종류는 문자 삭제, 문자 삽입, 문자 치환 및 속성 변경 중 적어도 하나를 포함할 수 있다. 이때 문자 치환은 유사-동의어 치환, 반의어 치환, 어간 치환 중 적어도 하나를 포함할 수 있고, 속성 변경은 문장 부호의 변경, 문단 번호 추가 및 삭제, 문단 이전에 공백 추가 및 삭제 중 적어도 하나를 포함할 수 있으나, 이에 제한되지 않는다.
한편, 텍스트 편집 장치는 편집 종류가 문자 치환일 때, 편집 대상의 대체 문자열을 획득할 수 있다. 또한, 편집 종류가 문자 치환일 때, 편집 대상을 대체 문자열로 치환하고, 치환된 텍스트에 오류가 있는지 확인할 수 있다. 만약, 확인 결과 치환된 텍스트에 오류가 있는 경우, 텍스트 편집 장치는 오류가 있는 부분을 치환하기 이전으로 복원할 수 있다.
1230단계에서, 텍스트 편집 장치는 결정된 편집 대상 및 편집 종류에 기초하여, 텍스트를 편집하여 표시할 수 있다. 또한, 텍스트 편집 장치는 편집 범위에서 편집 대상이 둘 이상일 때, 둘 이상의 편집 대상을 일시에 편집하여 표시할 수 있다. 한편, 편집 종류가 유사-동의어 치환일 때 편집 대상이 복수이면, 텍스트 편집 장치는 복수의 편집 대상을 적어도 2 이상의 유사-동의어로 각각 치환하여 표시할 수 있다.
한편, 텍스트 편집 장치는 편집 종류 및 편집 대상 정보에 관한 신뢰도를 계산하고, 신뢰도에 기초하여 텍스트를 편집하여 표시할 수 있다.
본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 실시예의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 텍스트를 표시하는 디스플레이부;
    상기 텍스트를 편집하기 위한 음성 신호를 수신하는, 사용자 입력부; 및
    상기 음성 신호에 포함되는 단어의 의미를 분석하여, 편집 대상 및 편집 종류를 결정하고, 상기 편집 대상 및 편집 종류에 기초하여, 상기 텍스트를 편집하고, 편집된 상기 텍스트를 상기 디스플레이부에 표시하도록 제어하는 제어부;를 포함하는 텍스트 편집 장치.
  2. 제 1 항에 있어서,
    상기 사용자 입력부는 터치 신호를 더 수신하고,
    상기 제어부는,
    상기 음성 신호 및 상기 터치 신호 중 적어도 하나에 포함되는 단어의 의미를 분석하여, 상기 텍스트의 편집 범위를 결정하는, 텍스트 편집 장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 편집 범위에 포함된 문자열을 둘 이상의 단어들로 분할하고,
    분할된 상기 단어들 중 상기 편집 대상과 일치하는 단어를 편집하는, 텍스트 편집 장치.
  4. 제 2 항에 있어서,
    상기 제어부는,
    상기 편집 범위에 상기 편집 대상이 둘 이상 포함된 경우, 상기 둘 이상의 편집 대상을 일시에 편집하는, 텍스트 편집 장치.
  5. 제 1 항에 있어서,
    상기 편집 종류는 문자 삭제, 문자 삽입, 문자 치환 및 속성 변경 중 적어도 하나를 포함하고,
    상기 속성 변경은 문장 부호의 변경, 문단 번호 추가 및 삭제, 문단 이전에 공백 추가 및 삭제 중 적어도 하나를 포함하는, 텍스트 편집 장치.
  6. 제 5 항에 있어서,
    상기 제어부는,
    상기 편집 종류가 상기 문자 치환일 때, 상기 사용자 입력부에 수신된 상기 음성 신호에서 상기 편집 대상을 치환할 대체 문자열을 획득하는, 텍스트 편집 장치.
  7. 제 6 항에 있어서,
    상기 문자 치환은 유사-동의어 치환을 포함하고,
    상기 제어부는,
    상기 편집 종류가 유사-동의어 치환일 때, 상기 편집 대상이 복수이면 상기 복수의 편집 대상을 적어도 2 이상의 유사-동의어로 각각 치환하는, 텍스트 편집 장치.
  8. 제 5 항에 있어서,
    상기 제어부는,
    상기 편집 종류가 상기 문자 치환일 때, 상기 편집 대상을 대체 문자열로 치환하고, 치환된 텍스트에 오류가 있는지 확인하는, 텍스트 편지 장치.
  9. 제 8 항에 있어서,
    상기 제어부는,
    상기 확인 결과, 상기 치환된 텍스트에 오류가 있는 경우, 오류가 있는 부분을 치환하기 이전으로 복원하는, 텍스트 편집 장치.
  10. 제 1 항에 있어서,
    상기 제어부는,
    상기 편집 종류 및 편집 대상 정보에 관한 신뢰도를 계산하고, 상기 신뢰도에 기초하여, 상기 텍스트를 편집하는 텍스트 편집 장치.
  11. 텍스트를 편집하기 위한 음성 신호를 수신하는 단계;
    상기 음성 신호에 포함되는 단어의 의미를 분석하여, 편집 대상 및 편집 종류를 결정하는 단계; 및
    상기 결정된 편집 대상 및 편집 종류에 기초하여, 상기 텍스트를 편집하여 표시하는 단계를 포함하는 텍스트 편집 방법.
  12. 제 11 항에 있어서,
    터치 신호를 수신하는 단계를 더 포함하고,
    상기 편집 대상 및 편집 종류를 결정하는 단계는,
    상기 음성 신호 및 상기 터치 신호 중 적어도 하나에 포함되는 단어의 의미를 분석하여, 상기 텍스트의 편집 범위를 결정하는 단계를 포함하는, 텍스트 편집 방법.
  13. 제 12 항에 있어서,
    상기 텍스트를 편집하여 표시하는 단계는,
    상기 편집 범위에 상기 편집 대상이 둘 이상 포함된 경우, 상기 둘 이상의 편집 대상을 일시에 편집하여 표시하는 단계를 포함하는, 텍스트 편집 방법.
  14. 제 11 항에 있어서,
    상기 편집 종류는 문자 삭제, 문자 삽입, 문자 치환 및 속성 변경 중 적어도 하나를 포함하고,
    상기 속성 변경은 문장 부호의 변경, 문단 번호 추가 및 삭제, 문단 이전에 공백 추가 및 삭제 중 적어도 하나를 포함하는, 텍스트 편집 방법.
  15. 제 14 항에 있어서,
    상기 편집 대상 및 편집 종류를 결정하는 단계는,
    상기 편집 종류가 상기 문자 치환일 때, 상기 수신된 음성 신호에서 상기 편집 대상을 치환할 대체 문자열을 획득하는 단계를 더 포함하는, 텍스트 편집 방법.
  16. 제 14 항에 있어서,
    상기 문자 치환은 유사-동의어 치환을 포함하고,
    상기 텍스트를 편집하여 표시하는 단계는,
    상기 편집 종류가 유사-동의어 치환일 때, 상기 편집 대상이 복수이면 상기 복수의 편집 대상을 적어도 2 이상의 유사-동의어로 각각 치환하는 단계를 포함하는, 텍스트 편집 방법.
  17. 제 14 항에 있어서,
    상기 텍스트를 편집하여 표시하는 단계는,
    상기 편집 종류가 상기 문자 치환일 때, 상기 편집 대상을 대체 문자열로 치환하는 단계; 및
    치환된 텍스트에 오류가 있는지 확인하는 단계를 포함하는, 텍스트 편집 방법.
  18. 제 17 항에 있어서,
    상기 확인 결과, 상기 치환된 텍스트에 오류가 있는 경우, 오류가 있는 부분을 치환하기 이전으로 복원하는 단계를 더 포함하는, 텍스트 편집 방법.
  19. 제 11 항에 있어서,
    상기 텍스트를 편집하여 표시하는 단계는,
    상기 편집 종류 및 편집 대상 정보에 관한 신뢰도를 계산하고, 상기 신뢰도에 기초하여, 상기 텍스트를 편집하여 표시하는 단계인, 텍스트 편집 방법.
  20. 제 11 항 내지 제 19 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2016/000114 2015-01-22 2016-01-07 음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법 WO2016117854A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16740327.8A EP3249643A4 (en) 2015-01-22 2016-01-07 Text editing apparatus and text editing method based on speech signal
US15/545,842 US20180018308A1 (en) 2015-01-22 2016-01-07 Text editing apparatus and text editing method based on speech signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201510034325.6A CN105869632A (zh) 2015-01-22 2015-01-22 基于语音识别的文本修订方法和装置
CN201510034325.6 2015-01-22
KR1020160001051A KR102628036B1 (ko) 2015-01-22 2016-01-05 음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법
KR10-2016-0001051 2016-01-05

Publications (1)

Publication Number Publication Date
WO2016117854A1 true WO2016117854A1 (ko) 2016-07-28

Family

ID=56417334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/000114 WO2016117854A1 (ko) 2015-01-22 2016-01-07 음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법

Country Status (1)

Country Link
WO (1) WO2016117854A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490538A (zh) * 2019-07-04 2019-11-22 平安科技（深圳）有限公司 信息链生成方法、装置、计算机设备和存储介质
CN111105028A (zh) * 2018-10-26 2020-05-05 杭州海康威视数字技术股份有限公司 一种神经网络的训练方法、装置及序列预测方法
CN113591441A (zh) * 2021-07-30 2021-11-02 交互未来(北京)科技有限公司 语音编辑方法及装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011248A (ja) * 1996-06-20 1998-01-16 Hitachi Ltd 対話制御機能を具備した情報処理装置
US6604078B1 (en) * 1999-08-23 2003-08-05 Nec Corporation Voice edit device and mechanically readable recording medium in which program is recorded
US20130311179A1 (en) * 2010-09-27 2013-11-21 Apple Inc. Electronic Device with Text Error Correction Based on Voice Recognition Data
KR101418163B1 (ko) * 2011-09-28 2014-07-09 애플 인크. 컨텍스트 정보를 이용한 음성 인식 복구
KR20140094744A (ko) * 2013-01-22 2014-07-31 한국전자통신연구원 휴대 단말의 음성 인식 결과 편집 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011248A (ja) * 1996-06-20 1998-01-16 Hitachi Ltd 対話制御機能を具備した情報処理装置
US6604078B1 (en) * 1999-08-23 2003-08-05 Nec Corporation Voice edit device and mechanically readable recording medium in which program is recorded
US20130311179A1 (en) * 2010-09-27 2013-11-21 Apple Inc. Electronic Device with Text Error Correction Based on Voice Recognition Data
KR101418163B1 (ko) * 2011-09-28 2014-07-09 애플 인크. 컨텍스트 정보를 이용한 음성 인식 복구
KR20140094744A (ko) * 2013-01-22 2014-07-31 한국전자통신연구원 휴대 단말의 음성 인식 결과 편집 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3249643A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105028A (zh) * 2018-10-26 2020-05-05 杭州海康威视数字技术股份有限公司 一种神经网络的训练方法、装置及序列预测方法
CN111105028B (zh) * 2018-10-26 2023-10-24 杭州海康威视数字技术股份有限公司 一种神经网络的训练方法、装置及序列预测方法
CN110490538A (zh) * 2019-07-04 2019-11-22 平安科技（深圳）有限公司 信息链生成方法、装置、计算机设备和存储介质
CN110490538B (zh) * 2019-07-04 2023-08-22 平安科技（深圳）有限公司 信息链生成方法、装置、计算机设备和存储介质
CN113591441A (zh) * 2021-07-30 2021-11-02 交互未来(北京)科技有限公司 语音编辑方法及装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US11900069B2 (en) Translation model training method, sentence translation method, device, and storage medium
KR102628036B1 (ko) 음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법
CN110580290A (zh) 用于文本分类的训练集的优化方法及装置
WO2016093552A2 (en) Terminal device and data processing method thereof
CN111144101B (zh) 错别字处理方法和装置
WO2021141419A1 (en) Method and apparatus for generating customized content based on user intent
CN108959274B (zh) 一种应用程序的翻译方法及服务器
EP2940683A1 (en) Information processing device, information processing method and program
EP3031213A1 (en) Apparatus, server, and method for providing conversation topic
CN110781813B (zh) 图像识别方法及装置、电子设备和存储介质
EP3230902A2 (en) Terminal device and data processing method thereof
CN111832315B (zh) 语义识别的方法、装置、电子设备和存储介质
WO2016117854A1 (ko) 음성 신호를 기초로 한 텍스트 편집 장치 및 텍스트 편집 방법
WO2020159140A1 (ko) 전자 장치 및 이의 제어 방법
CN111523532A (zh) 一种矫正ocr文字识别错误的方法及终端设备
WO2015102125A1 (ko) 문자형 대화 시스템 및 방법
CN111813932B (zh) 文本数据的处理方法、分类方法、装置及可读存储介质
CN112149403A (zh) 一种确定涉密文本的方法和装置
WO2014148784A1 (en) Linguistic model database for linguistic recognition, linguistic recognition device and linguistic recognition method, and linguistic recognition system
CN109887492B (zh) 一种数据处理方法、装置和电子设备
WO2023063718A1 (en) Method and system for device feature analysis to improve user experience
CN111079421A (zh) 一种文本信息分词处理的方法、装置、终端及存储介质
WO2017043715A1 (en) Server, user terminal, and method for controlling server and user terminal
CN113221514A (zh) 文本处理方法、装置、电子设备和存储介质
CN111414766B (zh) 一种翻译方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16740327

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016740327

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15545842

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE