WO2016208941A1 - 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템 - Google Patents

텍스트 전처리 방법 및 이를 수행하는 전처리 시스템 Download PDF

Info

Publication number
WO2016208941A1
WO2016208941A1 PCT/KR2016/006576 KR2016006576W WO2016208941A1 WO 2016208941 A1 WO2016208941 A1 WO 2016208941A1 KR 2016006576 W KR2016006576 W KR 2016006576W WO 2016208941 A1 WO2016208941 A1 WO 2016208941A1
Authority
WO
WIPO (PCT)
Prior art keywords
term
text
substitute
preprocessing
alternative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/006576
Other languages
English (en)
French (fr)
Inventor
문연국
이동현
채승훈
윤희화
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Priority to CN201680001271.6A priority Critical patent/CN107148624A/zh
Publication of WO2016208941A1 publication Critical patent/WO2016208941A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/49—Data-driven translation using very large corpora, e.g. the web
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language

Definitions

  • the present invention relates to a text translation technology, and more particularly, to a text preprocessing method and a preprocessing system for performing the same, which can improve the accuracy of machine translation through preprocessing by replacing the terms contained in the text to be translated into standard words.
  • Webtoon is a compound word of Web and Cartoon, which collectively refers to the web comic platform. Webtoons, combined with mobile device technology, have emerged as one of the world's most popular media content. With the worldwide popularity of webtoons, webtoons are being translated into various languages.
  • the conventional machine translation engine the translation accuracy of non-standard languages such as new words, Korean destructive words, colloquial words, onomatopoeia, diaphragms, dialects is significantly lowered, and the accuracy is greatly influenced by the translation method, terms built in the engine-specific DB, etc. There is a problem.
  • Korean Patent No. 10-1099177 relates to a method and system for training a machine translator, and discloses a machine translator trained with text inputs generated by other machine translators.
  • Text input in a first language is provided by a user or other source, which is then translated by the first machine translator to produce a translated version of the text input in a second language.
  • the text input and translated versions are parsed and passed through a training architecture to develop transfer mappings and bilingual dictionaries. These components are then used when translating other text inputs by a second machine translator.
  • Korean Patent No. 10-0961717 relates to a method and apparatus for detecting a machine translation error using a parallel corpus.
  • the automatic translation and detection of an error in a rule-based machine translation system using a parallel corpus it is found in machine translation. It is possible not only to correct the errors using the parallel language corpus' target language sentence, that is, the correct answer sentence, but also to classify the error types and provide the error information with a certain frequency or more, so that the time required to detect errors in machine translation Efforts can be drastically reduced, and system engineers can easily improve the performance of the machine translation system through detected and tracked error information, thereby maximizing the performance improvement efficiency of the machine translation system.
  • An embodiment of the present invention is to provide a text preprocessing method for performing a preprocessing to replace the terms contained in the text to be translated into a standard language, and a preprocessing system for performing the same.
  • An embodiment of the present invention is to provide a text preprocessing method and a preprocessing system for performing the same, which can improve translation accuracy by performing preprocessing on the text to be translated prior to machine translation.
  • One embodiment of the present invention to provide a text preprocessing method and a preprocessing system that can improve the translation accuracy of webtoon text including non-standard languages, such as new words, destructive Hangul, colloquialism, onomatopoeia, diametics, dialect do.
  • the text preprocessing system includes an alternative term database for storing alternative terms and a processor for preprocessing the input text to output a text of the same language as the input text, wherein the preprocessing engine Identifies a substitute target term in the input text and outputs a text in which the identified substitute target term is replaced with the substitute term.
  • the preprocessing engine is a morpheme analysis unit for separating the input text into morpheme units and determine parts of speech of the separated morphemes, a term identification unit for identifying whether the separated morphemes correspond to the replacement target term And when the separated morpheme corresponds to a substitute target term, the substitute term search unit searching for a substitute term corresponding to the substitute target term in the substitute term database based on whether the terms match.
  • the preprocessing engine may further include a text generation unit configured to generate a text in which the substitute target term is replaced with the searched substitute term.
  • the preprocessing engine analyzes the syntax of the input text to estimate the meaning of the term without the alternative term.
  • the apparatus may further include a syntax analyzer, and the alternative term search unit may search for an alternative term corresponding to an estimated meaning based on the syntax analysis result.
  • the syntax analyzer may estimate the meaning of the term by generating a syntax tree structure by analyzing the separated morphemes according to grammar.
  • the preprocessing engine may further include an alternative term register configured to associate the term with an alternative term corresponding to an estimated meaning of the term and store the term in the substitute term database.
  • the text preprocessing system further includes a substitute target term database storing a substitute target term, and the preprocessing engine is configured to input the text based on whether or not the substitute target term is stored in the substitute target term database.
  • the replacement target term can be identified from.
  • the text preprocessing system further comprises a translation terminology database for storing machine translation terms, wherein the preprocessing engine replaces terms in the input text based on whether the terminology is included in the translation terminology database. Can be identified.
  • the processor may execute a machine translation engine that translates the input text into text of another language, and the machine translation engine may machine translate the text output from the preprocessing engine into a set language.
  • the text preprocessing method may include (a) separating the input text into morphological units and determining a part-of-speech of the separated morphemes, and (b) identifying whether the separated morphemes correspond to replacement terms. (C) if the isolated morpheme corresponds to a substitute target term, searching for a substitute term corresponding to the substitute target term in the substitute term database based on whether the terms match; and (d) the substitute. Generating text replacing a target term with the searched substitute term.
  • a text preprocessing method and a preprocessing system for performing the same may perform preprocessing for replacing a term included in a text to be translated with a standard word.
  • the text preprocessing method and the preprocessing system performing the same according to an embodiment of the present invention may improve the translation accuracy by performing preprocessing on the text to be translated before the machine translation.
  • a text preprocessing method and a preprocessing system for performing the same can improve the translation accuracy of webtoon text including non-standard languages such as new words, Korean destructive words, spoken words, onomatopoeia, phrasal verbs, dialects, and dialect.
  • FIG. 1 is a diagram illustrating a text preprocessing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a text preprocessing server in FIG. 1.
  • FIG. 3 is a block diagram illustrating a preprocessing engine in FIG. 2.
  • FIG. 4 is a block diagram illustrating a parsing process.
  • FIG. 5 is a flowchart illustrating a text translation method performed in the text preprocessing system of FIG. 1.
  • first and second are intended to distinguish one component from another component, and the scope of rights should not be limited by these terms.
  • first component may be named a second component, and similarly, the second component may also be named a first component.
  • an identification code (e.g., a, b, c, etc.) is used for convenience of description, and the identification code does not describe the order of the steps, and each step clearly indicates a specific order in context. Unless stated otherwise, they may occur out of the order noted. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the present invention can be embodied as computer readable code on a computer readable recording medium
  • the computer readable recording medium includes all kinds of recording devices in which data can be read by a computer system.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and are also implemented in the form of a carrier wave (for example, transmission over the Internet). It also includes.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • FIG. 1 is a diagram illustrating a text preprocessing system according to an embodiment of the present invention.
  • the text preprocessing system 100 includes a user terminal 110, a text preprocessing server 120, a first database 130, and a second database 140, which may be connected through a network. .
  • the user terminal 110 may correspond to a computing device connected to the text preprocessing server 120 and may be implemented as, for example, a desktop, a notebook, a tablet PC, or a smartphone. In one embodiment, the user terminal 110 may correspond to a desktop and may be connected to the text preprocessing server 120 via a LAN.
  • the text preprocessing server 120 may preprocess the text before outputting the input text into text of another language.
  • the text preprocessing server 120 may be associated with a text translation server (not shown) that includes a preprocessing engine for preprocessing the input text and a machine translation engine for machine translation of the preprocessed text.
  • the preprocessing engine may identify a substitute target term in the input text, and output the text in which the identified substitute target term is replaced with the substitute term.
  • the machine translation engine machine translates and outputs the text output from the preprocessing engine in a set language.
  • text preprocessing server 120 may be associated with a crowd sourcing server (not shown) that includes a crowd sourcing translation engine.
  • Crowd sourcing Translation engines can use a database built through crowd sourcing to modify machine translated text to suit the language's representation.
  • the text preprocessing server, translation server, and crowd sourcing server may be provided in one system and implemented, or may be implemented in different systems and connected in the order of processing.
  • the first database 130 may correspond to a substitute target term database that stores the substitute target term.
  • the preprocessing engine may identify the substitute target term included in the text by determining whether the substitute target term stored in the first database 130 is included in the text.
  • the first database 130 may correspond to a translation term database that stores translation terms.
  • the preprocessing engine may determine whether the term included in the text is included in the first database to identify a substitute target term. For example, if a term included in the text is not included in the first database 130, the preprocessing engine may identify the term to be replaced.
  • the second database 140 may correspond to an alternative term database that stores alternative terms.
  • the preprocessing engine may search for a substitute term corresponding to the substitute target term in the second database 140.
  • FIG. 2 is a block diagram illustrating a text preprocessing server in FIG. 1.
  • the text preprocessing server 110 may include a processor 210, a memory 220, a storage device 230, a network interface 240, a user interface input device 250, and a user interface output device 260. It includes.
  • Processor 210 executes preprocessing engine 212 and memory manager 216.
  • the preprocessing engine 212 identifies a substitute target term in the input text, and outputs text in which the identified substitute target term is replaced with the substitute term.
  • the memory manager 216 manages data in the memory 220 that is read or written by the preprocessing engine 212.
  • the memory 220 may be implemented as a volatile or nonvolatile memory.
  • the storage device 230 may be implemented as a nonvolatile memory such as a solid state disk (SSD) or a hard disk drive (HDD), and is used to store data necessary for the text preprocessing server 120.
  • SSD solid state disk
  • HDD hard disk drive
  • the network interface 240 may include a device for connecting with a network and may include, for example, an adapter for local area network (LAN) communication.
  • LAN local area network
  • the user interface input device 250 includes a device for receiving user input, and may include, for example, an adapter such as a mouse, trackball, touch pad, graphics tablet, scanner, touch screen, keyboard or pointing device.
  • the user interface output device 260 includes a device for outputting specific information (eg, translated text) to a user, and may include an adapter such as a monitor or a touch screen, for example.
  • FIG. 3 is a block diagram illustrating a preprocessing engine in FIG. 2.
  • the preprocessing engine 212 includes a morpheme analysis unit 310, a term identification unit 320, an alternative term search unit 330, a text generation unit 340, and a syntax analysis unit 350. .
  • the preprocessing engine 212 receives the text (hereinafter, referred to as webtoon text) included in the web morpheme analysis unit 310. For example, all the texts included in the webtoon, such as speech bubbles, commentary, onomatopoeia, and idioms, may be input to the preprocessing engine 212. In one embodiment, the preprocessing engine 212 may receive webtoon text from a text recognition engine that recognizes text included in an image, or may receive webtoon text read and organized by a human.
  • the morpheme analyzer 310 separates the input text into morpheme units and determines the parts of speech of the separated morphemes.
  • the morpheme analyzer 310 may restore each of the separated morphemes to a circular shape and determine the part-of-speech based on the restored morphemes.
  • a morpheme is the smallest unit of speech with a certain meaning, the smallest significant unit, and is also called an associate. For example, 'clear sky' can be divided into four morphemes, such as 'sky', 'yi', 'clear-', and '-da', and when they are no longer separated, their meanings change or disappear. .
  • the morpheme analyzer 310 may refer to the word 'ni' (NP, pronoun), 's' (XSN, noun-derived suffix), 'where' ( NP, pronoun), 'school' (NNG, general noun), 'ya' (JKV, thorough investigation) can be divided into morphemes and parts of speech can be determined.
  • the term identification unit 320 identifies whether the morpheme separated from the morpheme analyzer 310 corresponds to a term to be replaced.
  • the term identification unit 320 may be a webtoon term included in the text based on whether or not the corresponding webtoon term (substituted term) stored in the webtoon term database (substituted term database) matches the morpheme. Term) can be identified.
  • the webtoon terminology database (substituted terminology) may be stored in advance.
  • the term identification unit 320 may be a webtoon term included in the text based on whether or not the corresponding morpheme is included in the machine translation term (translation term) stored in the machine translation term database (translation term database). Subject terms) can be identified. For example, when the separated morphemes are not included in the machine translation terminology, the term identification unit 320 may identify the morphemes as webtoon terms (substituted terms).
  • the substitute term search unit 330 searches for the alternative term in the substitute term database 140 based on whether the terms match. For example, the substitute term search unit 330 may search for an alternative term having a match rate equal to or greater than a preset value by comparing the substitute term and the substitute term stored in the substitute term database 140. In one embodiment, the alternate term may correspond to a standard word.
  • the alternative term search unit 330 may search for 'you' as an alternative term.
  • the alternative term search unit 330 may determine a plurality of alternative terms based on a relationship with other morphemes around the parts of the substitute target term or the morpheme identified as the substitute target term.
  • One alternative term can be determined from among two alternative terms. For example, when there are a plurality of alternative terms corresponding to 'ni', the alternative term search unit 330 refers to a coupling relationship (eg, a plurality of others) of other morphs ('s') around 'ni'. 'You' can be determined as an alternative term.
  • the substitute term search unit 330 may search for substitute terms for each substitute target term.
  • the text generation unit 340 replaces the substitute target term with the substitute term searched by the substitute term search unit 330 to generate text in which the webtoon term is replaced with the standard language.
  • the preprocessing engine 212 may output the webtoon text before the preprocessing and the text replacing the webtoon term in the standard language by the text generation unit 340 together.
  • the parser 350 analyzes the syntax of the input text and estimates the meaning of the term without the substitute term.
  • the syntax analysis unit 350 analyzes the morphemes separated by the morpheme analysis unit 310 according to the grammar to generate a syntax tree structure and estimate the meaning of the terms.
  • FIG. 4 is a block diagram illustrating a parsing process.
  • the parser 350 may analyze the separated morphemes in parallel and analyze the morphemes according to grammar to generate a syntax tree structure. For example, as shown in FIG. If the webtoon text ' ⁇ ⁇ ' is input, the parser 350 generates a syntax tree structure as shown in FIG.
  • the webtoon text of FIG. 4 (a) is the first object according to the Korean grammar (for example, the form of a sentence, a rule for the subject to be at the beginning of the sentence, a rule for the verb to be at the end of the sentence, etc.). It can be classified into an 'ex generation,' a second object, 'fantage', a verb 'morsam', and a modifier ' ⁇ ⁇ '.
  • the parser 350 may generate a syntax tree structure as shown in FIG. 4B by adding a subject 'you' indicating a third party.
  • the syntax tree of FIG. 4B is an example in which verbs are arranged in an upper node, and subjects, objects, modifiers, etc. are arranged in the same lower node.
  • the syntax analyzer 350 estimates the meaning of the term based on the generated syntax tree structure. For example, in the case of 'morsam', the verb is located at the end of the sentence and is located before the question mark (?), So it can be inferred that the verb is expressed in question form. In addition, since 'morsam' is most similar to 'mordan', the parser 350 may infer a questionable expression of 'mordan' in case of 'morsam'.
  • the alternative term search unit 330 searches for an alternative term corresponding to the meaning estimated based on the result of the syntax analysis of the syntax analyzer 350 in the alternative term database 140.
  • the alternative term search unit 330 may search for 'don't know' or 'morni' corresponding to the questionable expression of 'not know'.
  • the text generation unit 340 replaces the substitute target term with the substitute term searched by the substitute term search unit 330 to generate text in which the webtoon term is replaced with the standard language.
  • the alternative term search unit 330 substitutes for the term 'X', the alternative terms' X ',' fantasy ', and the alternative terms' Fantasy', ' ⁇
  • the text generator 340 based on the found alternative term ' Do you not know X-Gen Fantasy ?” Hahahaha.
  • the preprocessing engine 212 may further include a substitute term register (not shown) that stores the substitute term corresponding to the substitute target term and the estimated meaning in the substitute term database 140.
  • the preprocessing engine 212 may receive an alternative term corresponding to the term from an operator.
  • FIG. 5 is a flowchart illustrating a text preprocessing method performed in the text preprocessing system of FIG. 1.
  • the text preprocessing server 120 preprocesses an input text before translating it into text of another language.
  • the text preprocessing server 120 may output the preprocessed text in the same language as the input text.
  • the preprocessing engine 212 receives input of text to be translated (step S510).
  • the preprocessing engine 212 may receive webtoon text from a text recognition engine that recognizes text included in an image, or may receive webtoon text read and organized by a human.
  • the preprocessing engine 212 separates the input text into morpheme units and determines the parts of speech of the separated morphemes (step S520). The preprocessing engine 212 identifies whether the separated morphemes correspond to replacement target terms (step S530).
  • the preprocessing engine 212 may identify the replacement target term based on whether the replacement target term is stored in the replacement target term database. In another embodiment, the preprocessing engine 212 may identify the replacement target term based on whether the term is included in the translation term database.
  • the preprocessing engine 212 determines whether the identified substitute target term and the substitute term stored in the substitute term database 140 match (step S540), and searches for the substitute term corresponding to the substitute target term.
  • the preprocessing engine 212 When the substitution target term is compared with the substitution term stored in the substitution term database 140, when the match ratio is equal to or greater than a preset value, the preprocessing engine 212 generates text in which the substitution term is replaced with the substitution term (step S570).
  • the preprocessing engine 212 analyzes the syntax of the input text to estimate the meaning of the term without the alternative term (step S550). In one embodiment, the preprocessing engine 212 may parse the input text to generate a syntax tree structure.
  • the preprocessing engine 212 searches for an alternative term corresponding to the estimated meaning based on the result of the parsing (step S560), and generates text in which the substitute target term is replaced with the alternative term (step S570).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 번역 대상 텍스트에 포함된 용어를 표준어로 대체하는 전처리를 통해 기계 번역의 정확도를 높일 수 있는 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템에 관한 것으로, 텍스트 전처리 시스템은 대체 용어를 저장하는 대체 용어 데이터베이스 및 상기 입력된 텍스트를 전처리하여 상기 입력된 텍스트와 동일한 언어의 텍스트를 출력하는 전처리 엔진을 실행하는 프로세서를 포함하되, 상기 전처리 엔진은 상기 입력된 텍스트에서 대체 대상 용어를 식별하고, 상기 식별된 대체 대상 용어를 대체 용어로 대체한 텍스트를 출력한다.

Description

텍스트 전처리 방법 및 이를 수행하는 전처리 시스템
본 발명은 텍스트 번역 기술에 관한 것으로, 보다 상세하게는 번역 대상 텍스트에 포함된 용어를 표준어로 대체하는 전처리를 통해 기계 번역의 정확도를 높일 수 있는 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템에 관한 것이다.
웹툰(Webtoon)은 웹(Web)과 카툰(Cartoon)의 합성어로 웹 코믹 플랫폼을 통칭한다. 웹툰은 모바일 디바이스 기술과 결합하여 전세계적으로 인기 있는 하나의 미디어 컨텐츠로 부상하였다. 웹툰의 세계적인 인기와 함께 다양한 언어로 웹툰의 번역이 진행되고 있다.
현재 웹툰 번역은 사람이 직접 웹툰을 읽고 번역하는 수준에 머물러 있다. 체계적인 번역 과정 없이 개인의 능력에 의존하여 번역하는 경우가 대부분이어서 번역의 정확성 측면이나 문화적 차이를 고려한 표현의 측면에서 한계가 여실히 드러나고 있다.
또한, 종래 기계 번역 엔진은 신조어, 한글 파괴어, 구어체, 의성어, 의태어, 사투리 등 표준어가 아닌 언어들의 번역 정확도가 확연히 떨어지고, 번역 방식, 엔진 별 DB내 구축된 용어 등에 의해 정확도가 크게 영향을 받는 문제점 있다.
한국등록특허 제10-1099177호는 기계 번역기를 훈련하기 위한 방법 및 시스템에 관한 것으로, 다른 기계 번역기들에 의해 생성된 텍스트 입력들을 가지고 훈련되는 기계 번역기가 개시된다. 사용자 또는 다른 소스(source)에 의해 제1 언어로 된 텍스트 입력이 제공되고, 그 후 이러한 텍스트 입력이 제1 기계 번역기에 의해 번역되어 그 텍스트 입력의 제2 언어로 번역된 버전이 생성된다. 그 텍스트 입력 및 번역된 버전이 파싱되고(parsed) 훈련 아키텍처를 통과하여 전송 매핑(transfer mapping) 및 이중언어 사전(bilingual dictionary)이 개발된다. 이러한 컴포넌트들은 그 후 제2 기계 번역기에 의해 다른 텍스트 입력들을 번역할 때 사용된다.
한국등록특허 제10-0961717호는 병렬 코퍼스를 이용한 기계번역 오류 탐지 방법 및 장치에 관한 것으로, 병렬 코퍼스를 이용하여 규칙기반의 기계번역시스템의 오류를 자동으로 탐지하고 추적함에 있어, 기계 번역상 발견된 오류를 병렬 코퍼스의 목적언어 문장 즉, 정답 문장을 이용하여 오류 수정이 가능할 뿐만 아니라, 오류 유형을 분류하여 일정한 빈도수 이상의 오류들을 오류 정보로 제공함으로써, 기계번역상 오류를 탐지하는데 소요되는 시간과 노력을 획기적으로 줄일 수 있으며, 시스템 엔지니어가 탐지, 추적된 오류 정보를 통해 기계번역시스템의 성능을 쉽게 개선할 수 있도록 함으로써, 기계번역시스템의 성능 향상 효율을 극대화할 수 있다.
본 발명의 일 실시예는 번역 대상 텍스트에 포함된 용어를 표준어로 대체하는 전처리를 수행하는 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템을 제공하고자 한다.
본 발명의 일 실시예는 기계 번역에 앞서 번역 대상 텍스트에 대한 전처리를 수행하여 번역 정확도를 향상시킬 수 있는 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템을 제공하고자 한다.
본 발명의 일 실시예는 신조어, 한글 파괴어, 구어체, 의성어, 의태어, 사투리 등 표준어가 아닌 언어들을 포함하는 웹툰 텍스트의 번역 정확도를 향상시킬 수 있는 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템을 제공하고자 한다.
실시예들 중에서, 텍스트 전처리 시스템은 대체 용어를 저장하는 대체 용어 데이터베이스 및 상기 입력된 텍스트를 전처리하여 상기 입력된 텍스트와 동일한 언어의 텍스트를 출력하는 전처리 엔진을 실행하는 프로세서를 포함하되, 상기 전처리 엔진은 상기 입력된 텍스트에서 대체 대상 용어를 식별하고, 상기 식별된 대체 대상 용어를 대체 용어로 대체한 텍스트를 출력한다.
일 실시예에서, 상기 전처리 엔진은 상기 입력된 텍스트를 형태소 단위로 분리하고 분리된 형태소의 품사를 결정하는 형태소 분석부, 상기 분리된 형태소가 대체 대상 용어에 해당하는 지 여부를 식별하는 용어 식별부 및 상기 분리된 형태소가 대체 대상 용어에 해당하는 경우, 용어의 일치 여부를 기초로 상기 대체 용어 데이터베이스에서 상기 대체 대상 용어에 대응되는 대체 용어를 검색하는 대체 용어 검색부를 포함할 수 있다.
일 실시예에서, 상기 전처리 엔진은 상기 대체 대상 용어를 상기 검색된 대체 용어로 대체한 텍스트를 생성하는 텍스트 생성부를 더 포함할 수 있다.
일 실시예에서, 상기 전처리 엔진은 용어의 일치 여부를 기초로 상기 대체 용어 데이터베이스에 대응되는 대체 용어가 없는 경우, 상기 입력된 텍스트의 구문을 분석하여 상기 대체 용어가 없는 용어에 대한 의미를 추정하는 구문 분석부를 더 포함하고, 상기 대체 용어 검색부는 상기 구문 분석 결과를 기초로 추정된 의미에 대응되는 대체 용어를 검색할 수 있다.
일 실시예에서, 상기 구문 분석부는 상기 분리된 형태소를 문법에 따라 분석하여 구문 트리 구조를 생성하여 상기 용어에 대한 의미를 추정할 수 있다.
일 실시예에서, 상기 전처리 엔진은 상기 용어와 해당 용어에 대해 추정된 의미에 대응되는 대체 용어를 연계하여 상기 대체 용어 데이터베이스에 저장하는 대체 용어 등록부를 더 포함할 수 있다.
일 실시예에서, 상기 텍스트 전처리 시스템은 대체 대상 용어를 저장하는 대체 대상 용어 데이터베이스를 더 포함하고, 상기 전처리 엔진은 상기 대체 대상 용어 데이터베이스에 저장된 대체 대상 용어와의 일치 여부를 기초로 상기 입력된 텍스트에서 대체 대상 용어를 식별할 수 있다.
일 실시예에서, 상기 텍스트 전처리 시스템은 기계 번역 용어를 저장하는 번역 용어 데이터베이스를 더 포함하고, 상기 전처리 엔진은 상기 번역 용어 데이터베이스에 용어가 포함되어 있는지 여부를 기초로 상기 입력된 텍스트에서 대체 대상 용어를 식별할 수 있다.
일 실시예에서, 상기 프로세서는 입력된 텍스트를 다른 언어의 텍스트로 번역하는 기계 번역 엔진을 실행하고, 상기 기계 번역 엔진은 상기 전처리 엔진에서 출력된 텍스트를 설정된 언어로 기계 번역할 수 있다.
실시예들 중에서, 텍스트 전처리 방법은 (a) 상기 입력된 텍스트를 형태소 단위로 분리하고 분리된 형태소의 품사를 결정하는 단계, (b) 상기 분리된 형태소가 대체 대상 용어에 해당하는 지 여부를 식별하는 단계, (c) 상기 분리된 형태소가 대체 대상 용어에 해당하는 경우, 용어의 일치 여부를 기초로 상기 대체 용어 데이터베이스에서 상기 대체 대상 용어에 대응되는 대체 용어를 검색하는 단계 및 (d) 상기 대체 대상 용어를 상기 검색된 대체 용어로 대체한 텍스트를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따른 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템은 번역 대상 텍스트에 포함된 용어를 표준어로 대체하는 전처리를 수행할 수 있다.
본 발명의 일 실시예에 따른 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템은 기계 번역에 앞서 번역 대상 텍스트에 대한 전처리를 수행하여 번역 정확도를 향상시킬 수 있다.
본 발명의 일 실시예에 따른 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템은 신조어, 한글 파괴어, 구어체, 의성어, 의태어, 사투리 등 표준어가 아닌 언어들을 포함하는 웹툰 텍스트의 번역 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 텍스트 전처리 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 텍스트 전처리 서버를 나타내는 블록도이다.
도 3은 도 2에 있는 전처리 엔진을 나타내는 블록도이다.
도 4는 구문 분석 과정을 나타내는 블록도이다.
도 5는 도 1에 있는 텍스트 전처리 시스템에서 수행되는 텍스트 번역 방법을 설명하는 흐름도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
*여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 텍스트 전처리 시스템을 설명하는 도면이다.
도 1을 참조하면, 텍스트 전처리 시스템(100)은 사용자 단말(110), 텍스트 전처리 서버(120), 제1 데이터베이스(130) 및 제2 데이터베이스(140)를 포함하고, 이들은 네트워크를 통해 연결될 수 있다.
사용자 단말(110)은 텍스트 전처리 서버(120)와 연결된 컴퓨팅 장치에 해당하고, 예를 들어, 데스크톱, 노트북, 태블릿 PC 또는 스마트폰으로 구현될 수 있다. 일 실시예에서, 사용자 단말(110)은 데스크톱에 해당할 수 있고, 텍스트 전처리 서버(120)와 LAN을 통해 연결될 수 있다.
텍스트 전처리 서버(120)는 입력된 텍스트를 다른 언어의 텍스트로 번역하기 전에 텍스트를 전처리하여 출력할 수 있다. 일 실시예에서, 텍스트 전처리 서버(120)는 입력된 텍스트를 전처리하는 전처리 엔진을 포함하고, 전처리된 텍스트를 기계 번역하는 기계 번역 엔진을 포함하는 텍스트 번역 서버(미도시)와 연계될 수 있다. 일 실시예에서, 전처리 엔진은 입력된 텍스트에서 대체 대상 용어를 식별하고, 식별된 대체 대상 용어를 대체 용어로 대체한 텍스트를 출력할 수 있다. 기계 번역 엔진은 전처리 엔진에서 출력된 텍스트를 설정된 언어로 기계 번역하여 출력한다.
일 실시예에서, 텍스트 전처리 서버(120)는 크라우드 소싱(crowd sourcing) 번역 엔진을 포함하는 크라우드 소싱 서버(미도시)와 연계될 수 있다. 크라우드 소싱(crowd sourcing) 번역 엔진은 크라우드 소싱을 통해 구축된 데이터베이스를 이용하여 기계 번역된 텍스트를 해당 언어의 표현에 적합하도록 수정할 수 있다. 일 실시예에서, 텍스트 전처리 서버, 번역 서버 및 크라우드 소싱 서버는 하나의 시스템 내에 구비되어 구현될 수도 있고, 각각 다른 시스템으로 구현되어 처리 순서에 따라 연결될 수도 있다.
일 실시예에서, 제1 데이터베이스(130)는 대체 대상 용어를 저장하는 대체 대상 용어 데이터베이스에 해당할 수 있다. 전처리 엔진은 제1 데이터베이스(130)에 저장된 대체 대상 용어가 텍스트에 포함되어 있는 지 여부를 판단하여 텍스트에 포함된 대체 대상 용어를 식별할 수 있다.
다른 실시예에서, 제1 데이터베이스(130)는 번역 용어를 저장하는 번역 용어 데이터베이스에 해당할 수 있다. 전처리 엔진은 텍스트에 포함된 용어가 제1 데이터베이스에 포함되어 있는지 여부를 판단하여 대체 대상 용어를 식별할 수 있다. 예를 들어, 텍스트에 포함된 용어가 제1 데이터베이스(130)에 포함되어 있지 않으면, 전처리 엔진은 대체 대상 용어로 식별할 수 있다.
제2 데이터베이스(140)는 대체 용어를 저장하는 대체 용어 데이터베이스에 해당할 수 있다. 전처리 엔진은 제2 데이터베이스(140)에서 대체 대상 용어에 대응되는 대체 용어를 검색할 수 있다.
도 2는 도 1에 있는 텍스트 전처리 서버를 나타내는 블록도이다.
도 2를 참조하면, 텍스트 전처리 서버(110)는 프로세서(210), 메모리(220), 저장장치(230), 네트워크 인터페이스(240), 사용자 인터페이스 입력 장치(250) 및 사용자 인터페이스 출력 장치(260)를 포함한다.
프로세서(210)는 전처리 엔진(212) 및 메모리 관리자(216)를 실행한다. 전처리 엔진(212)은 입력된 텍스트에서 대체 대상 용어를 식별하고, 식별된 대체 대상 용어를 대체 용어로 대체한 텍스트를 출력한다.
메모리 관리자(216)는 전처리 엔진(212) 에 의하여 읽혀지거나 또는 기록되는 메모리(220)에 있는 데이터를 관리한다. 메모리(220)는 휘발성 또는 비휘발성 메모리로 구현될 수 있다.
저장장치(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현될 수 있고, 텍스트 전처리 서버(120)에 필요한 데이터를 저장하는데 사용된다.
네트워크 인터페이스(240)는 네트워크와 연결하기 위한 장치를 포함하고, 예를 들어, LAN(Local Area Network) 통신을 위한 어댑터를 포함할 수 있다.
사용자 인터페이스 입력 장치(250)는 사용자 입력을 수신하기 위한 장치를 포함하고, 예를 들어, 마우스, 트랙볼, 터치 패드, 그래픽 태블릿, 스캐너, 터치 스크린, 키보드 또는 포인팅 장치와 같은 어댑터를 포함할 수 있다. 사용자 인터페이스 출력 장치(260)는 사용자에게 특정 정보(예를 들어, 번역된 텍스트)를 출력하기 위한 장치를 포함하고, 예를 들어, 모니터 또는 터치스크린과 같은 어댑터를 포함할 수 있다.
이하에서는 해당 시스템을 통해 웹툰의 텍스트를 전처리하는 경우를 예로 해당 시스템의 동작을 자세히 설명하기로 한다. 해당 시스템을 통해 신조어, 한글 파괴어, 구어체, 의성어, 의태어, 사투리 등 표준어가 아닌 언어들을 포함하는 웹툰 텍스트의 번역 정확도를 크게 향상시킬 수 있다.
도 3은 도 2에 있는 전처리 엔진을 나타내는 블록도이다.
도 3을 참조하면, 전처리 엔진(212)은 형태소 분석부(310), 용어 식별부(320), 대체 용어 검색부(330), 텍스트 생성부(340) 및 구문 분석부(350)를 포함한다.
전처리 엔진(212)은 형태소 분석부(310)는 웹툰에 포함된 텍스트(이하, 웹툰 텍스트)를 입력받는다. 예를 들어, 말풍선, 해설, 의성어, 의태어 등과 같이 웹툰에 포함된 모든 텍스트가 전처리 엔진(212)에 입력될 수 있다. 일 실시예에서, 전처리 엔진(212)은 이미지에 포함된 텍스트를 인식하는 텍스트 인식 엔진으로부터 웹툰 텍스트를 입력받을 수도 있고, 사람이 읽어서 정리한 웹툰 텍스트를 입력받을 수도 있다.
형태소 분석부(310)는 입력된 텍스트를 형태소 단위로 분리하고 분리된 형태소의 품사를 결정한다. 일 실시예에서, 형태소 분석부(310)는 분리된 각 형태소를 원형으로 복원하고 복원된 형태소를 기초로 품사를 결정할 수 있다. 형태소는 일정한 뜻을 가진 가장 작은 말의 단위로서, 최소의 유의적 단위이며, 어소라고도 한다. 예를 들어, '하늘이 맑다'는 '하늘', '이', '맑-', '-다'와 같이 4개의 형태소로 분리될 수 있으며, 해당 형태소들은 더 이상 분리되면 의미가 달라지거나 사라진다.
예를 들어, '늬들 어디 학교야!?라는 웹툰 텍스트가 입력된 경우, 형태소 분석부(310)는 '늬'(NP, 대명사), '들'(XSN, 명사 파생 접미사), '어디'(NP, 대명사), '학교'(NNG, 일반명사), '야'(JKV, 호격조사)로 형태소를 분리하고 품사를 결정할 수 있다.
용어 식별부(320)는 형태소 분석부(310)에서 분리된 형태소가 대체 대상 용어에 해당하는 지 여부를 식별한다. 일 실시예에서, 용어 식별부(320)는 웹툰 용어 데이터베이스(대체 대상 용어 데이터베이스)에 저장된 웹툰 용어(대체 대상 용어)와 해당 형태소가 일치하는 지 여부를 기초로 텍스트에 포함된 웹툰 용어(대체 대상 용어)를 식별할 수 있다. 웹툰 용어 데이터베이스(대체 대상 용어 데이터베이스)에는 미리 구축된 웹툰 용어(대체 대상 용어)가 저장될 수 있다.
다른 실시예에서, 용어 식별부(320)는 기계 번역 용어 데이터베이스(번역 용어 데이터베이스)에 저장된 기계 번역 용어(번역 용어)에 해당 형태소가 포함되어 있는 지 여부를 기초로 텍스트에 포함된 웹툰 용어(대체 대상 용어)를 식별할 수 있다. 예를 들어, 분리된 형태소가 기계 번역 용어에 포함되어 있지 않은 경우, 용어 식별부(320)는 해당 형태소를 웹툰 용어(대체 대상 용어)로 식별할 수 있다.
대체 용어 검색부(330)는 형태소 분석부(310)에서 분리된 형태소가 대체 대상 용어에 해당하는 경우, 용어의 일치 여부를 기초로 대체 용어 데이터베이스(140)에서 대체 용어를 검색한다. 예를 들어, 대체 용어 검색부(330)는 대체 대상 용어와 대체 용어 데이터베이스(140)에 저장된 대체 용어를 비교하여 일치율이 기 설정된 값(threshold) 이상인 대체 용어를 검색할 수 있다. 일 실시예에서, 대체 용어는 표준어에 해당할 수 있다.
예를 들어, 대체 용어인 '너희'에 대응되는 웹툰 용어로 '늬', '니', '너' 등이 연계되어 대체 용어 데이터베이스(140)에 저장되어 있는 경우, 형태소 분석부(310)에서 분리된 '늬'와 대체 용어인 '너희'에 연계된 '늬'가 100% 일치하므로, 대체 용어 검색부(330)는 '너희'를 대체 용어로 검색할 수 있다.
일 실시예에서, 일치율이 기설정된 값 이상인 대체 용어가 복수개 있는 경우, 대체 용어 검색부(330)는 대체 대상 용어의 품사 또는 대체 대상 용어로 식별된 형태소 주위의 다른 형태소와의 관계를 기초로 복수개의 대체 용어 가운데 하나의 대체 용어를 결정할 수 있다. 예를 들어, '늬'와 대응되는 대체 용어가 복수개 있는 경우, 대체 용어 검색부(330)는 '늬' 주위의 다른 형태소('들')의 결합관계(예를 들어, 복수의 타인을 지칭하는 결합 구조)를 고려하여 '너희'를 대체 용어로 결정할 수 있다.
식별된 대체 대상 용어가 복수 개 있는 경우, 대체 용어 검색부(330)는 각 대체 대상 용어에 대해 대체 용어를 검색할 수 있다.
텍스트 생성부(340)는 대체 대상 용어를 대체 용어 검색부(330)에서 검색된 대체 용어로 대체하여, 웹툰 용어를 표준어로 대체한 텍스트를 생성한다. 일 실시예에서, 전처리 엔진(212)는 전처리 되기 전의 웹툰 텍스트와 텍스트 생성부(340)에서 웹툰 용어를 표준어로 대체한 텍스트를 함께 출력할 수 있다.
용어의 일치 여부를 기초로 대체 용어 데이터베이스(140)에 대응되는 대체 용어가 없는 경우, 구문 분석부(350)는 입력된 텍스트의 구문을 분석하여 대체 용어가 없는 용어에 대한 의미를 추정한다. 구문 분석부(350)는 형태소 분석부(310)에서 분리된 형태소를 문법에 따라 분석하여 구문 트리 구조를 생성하고, 용어에 대한 의미를 추정한다.
도 4는 구문 분석 과정을 나타내는 블록도이다.
구문 분석부(350)는 분리된 형태소를 병렬 해석하고, 이를 문법에 따라 분석하여 구문 트리 구조를 생성할 수 있다. 예를 들어, 도 4의 (a)와 같은 '엑쓰세대 뽠타지 모르삼! ㅋㅋㅋㅋ'이라는 웹툰 텍스트가 입력된 경우, 구문 분석부(350)는 도 4의 (b)와 같은 구문 트리 구조를 생성한다. 예를 들어, 도 4의 (a)의 웹툰 텍스트는 한글 문법(예를 들어, 문장의 형식, 주어가 문장의 가장 앞에 오도록 하는 규칙, 동사가 문장의 끝에 오도록 하는 규칙 등)에 따라 제1 목적어 '엑쓰세대', 제2 목적어 '뽠타지', 동사 '모르삼' 및 수식어 'ㅋㅋㅋㅋ'로 분류될 수 있다. 한글 문법 상 주어가 생략되어 있으므로, 구문 분석부(350)는 제3자를 지칭하는 주어 '너'를 추가하여 도 4의 (b)와 같은 구문 트리 구조를 생성할 수 있다. 도 4의 (b)의 구문 트리는 동사를 상위 노드에 배치하고, 주어, 목적어, 수식어 등을 동일한 하위 노드에 배치한 경우의 예이다.
구문 분석부(350)는 생성된 구문 트리 구조를 기초로 용어에 대한 의미를 추정한다. 예를 들어, '모르삼'의 경우 문장의 끝에 위치하는 동사로서 의문부호(?) 앞에 위치하므로 동사가 의문형으로 표현된 것으로 추론될 수 있다. 또한, '모르삼'의 경우 '모르다'와 가장 유사하므로, 구문 분석부(350)는 '모르삼'의 경우 '모르다'의 의문형 표현으로 추론할 수 있다.
대체 용어 검색부(330)는 구문 분석부(350)의 구문 분석 결과를 기초로 추정된 의미에 대응되는 대체 용어를 대체 용어 데이터베이스(140)에서 검색한다. 예를 들어, 대체 용어 검색부(330)는 '모르다'의 의문형 표현에 대응되는 '몰라', '모르니' 등을 검색할 수 있다.
텍스트 생성부(340)는 대체 대상 용어를 대체 용어 검색부(330)에서 검색된 대체 용어로 대체하여, 웹툰 용어를 표준어로 대체한 텍스트를 생성한다. 예를 들어, 도 4의 (a)의 웹툰 텍스트에 대해 대체 용어 검색부(330)가 '엑쓰'와 일치하는 대체 용어 'X', '뽠타지'와 일치하는 대체 용어 '판타지', 'ㅋㅋㅋㅋ'와 일치하는 대체 용어 '하하하하'를 검색하고, '모르삼'의 추정된 의미에 대응되는 대체 용어 '몰라'를 검색한 경우, 텍스트 생성부(340)는 검색된 대체 용어를 기초로 '너 엑스세대 판타지 몰라?! 하하하하'와 같은 텍스트를 생성할 수 있다.
일 실시예에서, 전처리 엔진(212)은 대체 대상 용어와 추정된 의미에 대응되는 대체 용어를 연계하여 대체 용어 데이터베이스(140)에 저장하는 대체 용어 등록부(미도시)를 더 포함할 수 있다.
*일 실시예에서, 용어의 일치 여부를 기초로 대체 용어 데이터베이스(140)에 대응되는 대체 용어가 없거나, 구문 분석 결과를 기초로 대체 용어 데이터베이스(140)에 대응되는 대체 용어가 없는 경우, 전처리 엔진(212)은 해당 용어에 대응되는 대체 용어를 운영자로부터 입력받을 수도 있다.
도 5는 도 1에 있는 텍스트 전처리 시스템에서 수행되는 텍스트 전처리 방법을 설명하는 흐름도이다.
도 5를 참조하면, 텍스트 전처리 서버(120)는 입력된 텍스트를 다른 언어의 텍스트로 번역하기 전에 전처리한다. 텍스트 전처리 서버(120)는 입력된 텍스트와 동일한 언어로 전처리된 텍스트를 출력할 수 있다. 전처리 엔진(212)은 번역할 텍스트를 입력 받는다(단계 S510). 일 실시예에서, 전처리 엔진(212)은 이미지에 포함된 텍스트를 인식하는 텍스트 인식 엔진으로부터 웹툰 텍스트를 입력받을 수도 있고, 사람이 읽어서 정리한 웹툰 텍스트를 입력받을 수도 있다.
전처리 엔진(212)은 입력된 텍스트를 형태소 단위로 분리하고 분리된 형태소의 품사를 결정한다(단계 S520). 전처리 엔진(212)은 분리된 형태소가 대체 대상 용어에 해당하는 지 여부를 식별한다(단계 S530).
일 실시예에서, 전처리 엔진(212)은 대체 대상 용어 데이터베이스에 저장된 대체 대상 용어와의 일치 여부를 기초로 대체 대상 용어를 식별할 수 있다. 다른 실시예에서, 전처리 엔진(212)은 번역 용어 데이터베이스에 용어가 포함되어 있는지 여부를 기초로 대체 대상 용어를 식별할 수 있다.
전처리 엔진(212)은 식별된 대체 대상 용어와 대체 용어 데이터 베이스(140)에 저장된 대체 용어의 일치 여부를 판단하여(단계 S540), 대체 대상 용어에 대응되는 대체 용어를 검색한다.
대체 대상 용어와 대체 용어 데이터베이스(140)에 저장된 대체 용어를 비교하여 일치율이 기 설정된 값 이상인 경우, 전처리 엔진(212)은 대체 대상 용어를 대체 용어로 대체한 텍스트를 생성한다(단계 S570).
일치율이 기 설정된 값 이상인 대체 용어가 없는 경우, 전처리 엔진(212)은 입력된 텍스트의 구문을 분석하여 대체 용어가 없는 용어에 대한 의미를 추정한다(단계 S550). 일 실시예에서, 전처리 엔진(212)은 입력된 텍스트의 구문을 분석하여 구문 트리 구조를 생성할 수 있다.
전처리 엔진(212)은 구문 분석 결과를 기초로 추정된 의미에 대응되는 대체 용어를 검색하고(단계 S560), 대체 대상 용어를 대체 용어로 대체한 텍스트를 생성한다(단계 S570).
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

  1. 입력된 텍스트를 다른 언어의 텍스트로 번역하기 전에 전처리하는 텍스트 전처리 시스템에 있어서,
    대체 용어를 저장하는 대체 용어 데이터베이스; 및
    상기 입력된 텍스트를 전처리하여 상기 입력된 텍스트와 동일한 언어의 텍스트를 출력하는 전처리 엔진을 실행하는 프로세서를 포함하되,
    상기 전처리 엔진은
    상기 입력된 텍스트를 형태소 단위로 분리하고 분리된 형태소의 품사를 결정하는 형태소 분석부;
    상기 분리된 형태소가 대체 대상 용어에 해당하는지 여부를 식별하는 용어 식별부;
    상기 분리된 형태소가 대체 대상 용어에 해당하는 경우, 용어의 일치 여부를 기초로 상기 대체 용어 데이터베이스에서 상기 대체 대상 용어에 대응되는 대체 용어를 검색하는 대체 용어 검색부; 및
    용어의 일치 여부를 기초로 상기 대체 용어 데이터베이스에 대응되는 대체 용어가 없는 경우, 상기 입력된 텍스트의 구문을 분석하여 상기 대체 용어가 없는 용어에 대한 의미를 추정하는 구문 분석부를 포함하고,
    상기 대체 용어 검색부는 상기 구문 분석 결과를 기초로 추정된 의미에 대응되는 대체 용어를 검색하는 텍스트 전처리 시스템.
  2. 제1항에 있어서, 상기 전처리 엔진은
    상기 대체 대상 용어를 상기 검색된 대체 용어로 대체한 텍스트를 생성하는 텍스트 생성부를 더 포함하는 것을 특징으로 하는 텍스트 전처리 시스템.
  3. 제1항에 있어서, 상기 구문 분석부는
    상기 분리된 형태소를 문법에 따라 분석하여 구문 트리 구조를 생성하여 상기 대체 용어가 없는 용어에 대한 의미를 추정하는 것을 특징으로 하는 텍스트 전처리 시스템.
  4. 제1항에 있어서, 상기 전처리 엔진은
    상기 용어와 해당 용어에 대해 추정된 의미에 대응되는 대체 용어를 연계하여 상기 대체 용어 데이터베이스에 저장하는 대체 용어 등록부를 더 포함하는 것을 특징으로 하는 텍스트 전처리 시스템.
  5. 제1항에 있어서,
    상기 대체 대상 용어를 저장하는 대체 대상 용어 데이터베이스를 더 포함하고,
    상기 전처리 엔진은 상기 대체 대상 용어 데이터베이스에 저장된 대체 대상 용어와의 일치 여부를 기초로 상기 입력된 텍스트에서 대체 대상 용어를 식별하는 것을 특징으로 하는 텍스트 전처리 시스템.
  6. 제1항에 있어서,
    기계 번역 용어를 저장하는 번역 용어 데이터베이스를 더 포함하고,
    상기 전처리 엔진은 상기 번역 용어 데이터베이스에 용어가 포함되어 있는지 여부를 기초로 상기 입력된 텍스트에서 대체 대상 용어를 식별하는 것을 특징으로 하는 텍스트 전처리 시스템.
  7. 입력된 텍스트를 다른 언어의 텍스트로 번역하기 전에 전처리하고, 대체 용어를 저장하는 대체 용어 데이터베이스와 상기 입력된 텍스트를 전처리하여 상기 입력된 텍스트와 동일한 언어의 텍스트를 출력하는 전처리 엔진을 실행하는 프로세서를 포함하며, 상기 프로세서에 의해서 수행되는 텍스트 전처리 방법에 있어서,
    (a) 상기 입력된 텍스트를 형태소 단위로 분리하고 분리된 형태소의 품사를 결정하는 단계;
    (b) 상기 분리된 형태소가 대체 대상 용어에 해당하는 지 여부를 식별하는 단계;
    (c) 상기 분리된 형태소가 대체 대상 용어에 해당하는 경우, 용어의 일치 여부를 기초로 상기 대체 용어 데이터베이스에서 상기 대체 대상 용어에 대응되는 대체 용어를 검색하는 단계; 및
    (d) 용어의 일치 여부를 기초로 상기 대체 용어 데이터베이스에 대응되는 대체 용어가 없는 경우, 상기 입력된 텍스트의 구문을 분석하여 상기 대체 용어가 없는 용어에 대한 의미를 추정하는 단계를 포함하고,
    상기 (c) 단계는 상기 구문 분석 결과를 기초로 추정된 의미에 대응되는 대체 용어를 검색하는 단계를 포함하는 텍스트 전처리 방법.
PCT/KR2016/006576 2015-06-22 2016-06-21 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템 Ceased WO2016208941A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201680001271.6A CN107148624A (zh) 2015-06-22 2016-06-21 预处理文本的方法以及用于执行该方法的预处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150088695A KR101664258B1 (ko) 2015-06-22 2015-06-22 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템
KR10-2015-0088695 2015-06-22

Publications (1)

Publication Number Publication Date
WO2016208941A1 true WO2016208941A1 (ko) 2016-12-29

Family

ID=57162178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006576 Ceased WO2016208941A1 (ko) 2015-06-22 2016-06-21 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템

Country Status (3)

Country Link
KR (1) KR101664258B1 (ko)
CN (1) CN107148624A (ko)
WO (1) WO2016208941A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019147804A1 (en) * 2018-01-26 2019-08-01 Ge Inspection Technologies, Lp Generating natural language recommendations based on an industrial language model
CN116306695A (zh) * 2023-01-17 2023-06-23 传神语联网网络科技股份有限公司 译文术语词形自适应替换方法、装置及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038160A (zh) * 2017-03-30 2017-08-11 唐亮 多语言智能预处理实时统计机器翻译系统的预处理模块
KR102516364B1 (ko) 2018-02-12 2023-03-31 삼성전자주식회사 기계 번역 방법 및 장치
KR102041935B1 (ko) * 2018-07-18 2019-12-02 주식회사 토리웍스 웹툰체 사전 서비스 제공 방법
CN111460836B (zh) * 2019-01-18 2024-04-19 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
US12056437B2 (en) 2020-06-23 2024-08-06 Samsung Electronics Co., Ltd. Electronic device and method for converting sentence based on a newly coined word
CN112597779B (zh) * 2020-12-24 2024-10-01 语联网（武汉）信息技术有限公司 文档翻译方法及装置
CN114220436A (zh) * 2021-12-16 2022-03-22 游密科技(深圳)有限公司 语音处理方法、装置、计算机设备和存储介质
CN115359797A (zh) * 2022-08-18 2022-11-18 北京有竹居网络技术有限公司 语音识别的方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100322743B1 (ko) * 1999-09-28 2002-02-07 윤종용 음성합성기의 문서해석기에서 사용되는 형태소 해석방법 및 그 장치
KR100837358B1 (ko) * 2006-08-25 2008-06-12 한국전자통신연구원 동적 번역자원을 이용한 분야 적응형 휴대용 방송자막기계번역 장치 및 방법
KR100911372B1 (ko) * 2006-12-05 2009-08-10 한국전자통신연구원 통계적 기계번역 시스템에서 단어 및 구문들간의 번역관계를 자율적으로 학습하기 위한 장치 및 그 방법
US20100088085A1 (en) * 2008-10-02 2010-04-08 Jae-Hun Jeon Statistical machine translation apparatus and method
KR20120035077A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 하이브리드 자동 번역 방법 및 이를 수행하는 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040030540A1 (en) * 2002-08-07 2004-02-12 Joel Ovil Method and apparatus for language processing
US7319949B2 (en) 2003-05-27 2008-01-15 Microsoft Corporation Unilingual translator
KR100961717B1 (ko) 2008-09-16 2010-06-10 한국전자통신연구원 병렬 코퍼스를 이용한 기계번역 오류 탐지 방법 및 장치
KR101777421B1 (ko) * 2010-04-06 2017-09-11 삼성전자주식회사 구문 분석 및 계층적 어구 모델 기반 기계 번역 시스템 및 방법
KR20120122894A (ko) * 2011-04-30 2012-11-07 삼성전자주식회사 수익 분배 방법 및 이를 이용한 수익 분배 시스템
KR20130047471A (ko) * 2011-10-31 2013-05-08 한국전자통신연구원 자동번역 시스템의 패러프레이징 데이터 구축방법
CN103914444B (zh) * 2012-12-29 2018-07-24 高德软件有限公司 一种纠错方法及其装置
CN104484374B (zh) * 2014-12-08 2018-11-16 百度在线网络技术（北京）有限公司 一种创建网络百科词条的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100322743B1 (ko) * 1999-09-28 2002-02-07 윤종용 음성합성기의 문서해석기에서 사용되는 형태소 해석방법 및 그 장치
KR100837358B1 (ko) * 2006-08-25 2008-06-12 한국전자통신연구원 동적 번역자원을 이용한 분야 적응형 휴대용 방송자막기계번역 장치 및 방법
KR100911372B1 (ko) * 2006-12-05 2009-08-10 한국전자통신연구원 통계적 기계번역 시스템에서 단어 및 구문들간의 번역관계를 자율적으로 학습하기 위한 장치 및 그 방법
US20100088085A1 (en) * 2008-10-02 2010-04-08 Jae-Hun Jeon Statistical machine translation apparatus and method
KR20120035077A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 하이브리드 자동 번역 방법 및 이를 수행하는 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019147804A1 (en) * 2018-01-26 2019-08-01 Ge Inspection Technologies, Lp Generating natural language recommendations based on an industrial language model
CN116306695A (zh) * 2023-01-17 2023-06-23 传神语联网网络科技股份有限公司 译文术语词形自适应替换方法、装置及电子设备

Also Published As

Publication number Publication date
KR101664258B1 (ko) 2016-10-11
CN107148624A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
WO2016208941A1 (ko) 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템
US10169703B2 (en) System and method for analogy detection and analysis in a natural language question and answering system
WO2014069779A1 (ko) 구문 전처리 기반의 구문 분석 장치 및 그 방법
WO2014025135A1 (ko) 문법 오류 검출 방법, 이를 위한 오류검출장치 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록매체
WO2013081301A1 (ko) 작문 자동 평가를 위해 샬로우 파서를 이용한 문장 자동 평가 장치, 이를 위한 오류 검출 장치 및 이를 위한 방법
CN109460552B (zh) 基于规则和语料库的汉语语病自动检测方法及设备
WO2017010652A1 (ko) 자동질의응답 방법 및 그 장치
WO2012026667A2 (ko) 토큰 분리 및 번역 과정을 통합한 통합 디코딩 장치 및 그 방법
Li et al. A survey on out-of-distribution evaluation of neural nlp models
JP5646792B2 (ja) 単語分割装置、単語分割方法、及び単語分割プログラム
WO2012026668A2 (ko) 의존관계 포레스트를 이용한 통계적 기계 번역 방법
WO2014030834A1 (ko) 문법의 오류 검출 방법, 이를 위한 오류검출장치 및 이 방법이 기록된 컴퓨터로 판독 가능한 기록매체
WO2022060060A1 (ko) 지문의 난이도 조정을 통하여 교육용 외국어 지문을 생성하는 방법, 그 컴퓨터 프로그램 및 그 장치
WO2015050321A1 (ko) 자율학습 정렬 기반의 정렬 코퍼스 생성 장치 및 그 방법과, 정렬 코퍼스를 사용한 파괴 표현 형태소 분석 장치 및 그 형태소 분석 방법
US10740570B2 (en) Contextual analogy representation
US10055400B2 (en) Multilingual analogy detection and resolution
WO2018088664A1 (ko) 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법
KR20230009564A (ko) 앙상블 스코어를 이용한 학습 데이터 교정 방법 및 그 장치
WO2024136377A1 (ko) 번역 품질 평가 장치 및 방법
JPWO2012081386A1 (ja) 自然言語処理装置、方法、及びプログラム
Bassam et al. Formal description of Arabic syntactic structure in the framework of the government and binding theory
WO2022060061A1 (ko) 딥러닝 기반의 단어 의미 명확화 모델을 이용한 어휘 문제 자동 생성 방법, 그 컴퓨터 프로그램 및 그 서버 장치
WO2012060534A1 (ko) 병렬 말뭉치를 이용한 동사구 번역 패턴 구축 장치 및 그 방법
WO2012030053A2 (ko) 병렬 말뭉치의 구 정렬을 이용한 숙어 표현 인식 장치 및 그 방법
US10133736B2 (en) Contextual analogy resolution

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814654

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16814654

Country of ref document: EP

Kind code of ref document: A1