KR20240022732A

KR20240022732A - Text translation system embedded in images

Info

Publication number: KR20240022732A
Application number: KR1020220101142A
Authority: KR
Inventors: 이충걸
Original assignee: 주식회사 쿠자피에이에스
Priority date: 2022-08-12
Filing date: 2022-08-12
Publication date: 2024-02-20

Abstract

본 발명은 이미지에 포함된 텍스트 번역 시스템에 관한 것으로서, 더욱 상세하게는 이미지에 포함된 텍스트를 번역하되, 번역이 필요하다고 판단된 텍스트만 번역하는 이미지에 포함된 텍스트 번역 시스템을 제공한다.The present invention relates to a text translation system included in an image. More specifically, it provides a text translation system included in an image that translates text included in an image, but only translates text that is determined to require translation.

Description

TEXT TRANSLATION SYSTEM EMBEDDED IN IMAGES}

본 발명은 이미지에 포함된 텍스트 번역 시스템에 관한 것으로서, 더욱 상세하게는 이미지에 포함된 텍스트를 번역하되, 번역이 필요하다고 판단된 텍스트만 번역하는 이미지에 포함된 텍스트 번역 시스템에 관한 것이다.The present invention relates to a text translation system included in an image, and more specifically, to a text translation system included in an image that translates text included in an image, but only translates text that is determined to require translation.

근래에 들어, 인터넷 사용이 보편화되면서 사용자들은 인터넷 검색을 통하여 다양한 정보를 획득할 수 있게 되었다.　즉, 사용자들은 인터넷에의 접속이 가능한 웹 브라우저를 통해 각종 사이트에 접속하여 정보를 확인할 수 있게 되었다.In recent years, as Internet use has become widespread, users have been able to obtain various information through Internet searches. In other words, users can access various sites and check information through a web browser that can access the Internet.

또한, 사용자들은 해외 사이트를 통해서도 원하는 컨텐츠를 얻을 수 있는데, 해당 컨텐츠에 포함되는 텍스트 정보가 자신이 모르는 외국어라면 원하는 정보를 얻는 데에 어려움을 겪는 것이 보통이다.　Additionally, users can obtain desired content through overseas sites, but if the text information included in the content is in a foreign language they do not know, they usually have difficulty obtaining the desired information.

이러한 사용자들의 인터넷 검색 활용도를 높이고, 수많은 컨텐츠들로부터 원하는 정보를 얻을 수 있도록 하기 위해, 많은 웹 사이트의 운영자들은 웹 번역 서비스를 제공하고 있다.In order to increase the utilization of Internet searches by these users and enable them to obtain desired information from numerous contents, many website operators provide web translation services.

그런데, 이렇게 제공되는 웹 페이지에는 이미지가 포함되어 있을 수 있고, 그 이미지에는 하나 이상의 문자 또는 기호가 포함되어 있을 수 있다. 그러나, 사용자가 해당 이미지에 포함된 문자 또는 기호를 바로 편집 가능한 형태로 판독하여 이를 이용할 수 없다는 문제점이 있다.However, the web page provided in this way may include an image, and the image may include one or more characters or symbols. However, there is a problem that the user cannot immediately read and use the characters or symbols included in the image in an editable form.

따라서, 이미지 상의 텍스트를 번역하여 제공하는 기술이 필요한 실정이다.Therefore, there is a need for technology to translate and provide text on images.

이상의 문제점을 해결하기 위하여, 근래에 널리 이용되고 있는 OCR(Optical Character Recognition) 등과 같은 문자 판독 기술이 고려될 수 있다. 문자 판독 기술은 이미지에 포함된 문자 또는 기호를 기계로 판독 가능한 형태로 (예를 들면, 편집 가능한 형태로) 변환하는 기술이다. 그러나, 현재 존재하는 문자 판독 기술을 이용하는 경우에도, 앞서 설명한 바와 같은 이미지로부터의 문자, 기호의 판독이나 이미지 상의 텍스트의 번역 등과 같은 서비스를 위해서는, 문자 판독 장치나 번역 장치 등과 같은 고가의 장치가 각각 구비되어 있어야 하며, 이에 따른 시스템의 구축 및 유지/보수와 같은 관리 부담 역시 적지 않은 문제가 있다.In order to solve the above problems, text reading technology such as OCR (Optical Character Recognition), which has been widely used in recent years, can be considered. Character reading technology is a technology that converts characters or symbols included in an image into a machine-readable form (for example, into an editable form). However, even when using currently existing text reading technology, for services such as reading characters and symbols from images or translating text on images as described above, expensive devices such as text reading devices and translation devices are required, respectively. It must be equipped, and there are quite a few management burdens such as building and maintaining the system accordingly.

최근에는 해외직구에 대한 니즈가 높아지고 있으며, 이에 따라 중국어, 불어, 영어 등 외국어 원문이 그대로 담긴 이미지 파일이 대중적으로 활용되고 있는 사례가 많다.Recently, the need for overseas direct purchases has been increasing, and accordingly, there are many cases where image files containing the original text in foreign languages such as Chinese, French, and English are being widely used.

이는 단순 구매자의 입장에서도 정확한 정보전달이 이루어지기 어려워 불편함이 있으며, 또한 한국어 편집(번역)을 하더라도 원본 이미지(배경이미지)의 손실이 불가피해지는 문제가 있다.This is inconvenient even for simple purchasers as it is difficult to convey accurate information, and there is also the problem that loss of the original image (background image) is inevitable even if it is edited (translated) into Korean.

이미지 편집에 대한 니즈는 다양하다. 일 예로, 어떤 사용자는 이미지에 포함된 텍스트를 다른 텍스트로 변경하고자 하고, 어떤 사용자는 이미지에 포함된 소정 언어의 텍스트를 다른 언어의 텍스트로 번역하고자 한다. 또한, 인공지능 모델을 훈련시키기 위해서는 수많은 학습용 이미지가 필요한데, 일부 학습용 이미지에는 민감한 개인 정보가 포함되어 있어 학습용 이미지의 확보를 위해 개인 정보를 삭제하여야 할 필요성도 있다.The needs for image editing are diverse. For example, some users want to change text included in an image to another text, and some users want to translate text in a certain language included in the image into text in another language. In addition, numerous training images are required to train an artificial intelligence model, and some training images contain sensitive personal information, so there is a need to delete personal information to secure training images.

이미지에 포함된 텍스트는 일반적인 문서 편집 프로그램, 예를 들어, 마이크로소프트사의 워드프로세서 등으로 편집이 불가능하므로, 이미지 편집 프로그램을 이용하여야 한다. 그러나, 전문적인 이미지 편집 프로그램에 대한 지식없이 이미지를 자연스럽게 편집하는 것은 쉽지 않다. 특히, 이미지 편집 과정에서 주변 배경이 훼손되는 경우가 많다. 전문적인 이미지 편집 프로그램의 높은 가격으로 인해 무료의 또는 저렴한 이미지 편집 프로그램으로 이미지를 편집할 때에는 상당한 시간이 소요되기도 하는 등 많은 문제가 있다.The text included in the image cannot be edited with a general document editing program, such as Microsoft's word processor, so an image editing program must be used. However, it is not easy to edit images naturally without knowledge of a professional image editing program. In particular, the surrounding background is often damaged during the image editing process. Due to the high prices of professional image editing programs, there are many problems with editing images with free or inexpensive image editing programs, such as the considerable time it takes.

한국등록특허 [10-1856119]에서는 분산 광학 문자 인식 및 분산 기계 언어번역을 위한 기법들이 개시되어 있다.Korean registered patent [10-1856119] discloses techniques for distributed optical character recognition and distributed machine language translation.

한국등록특허 [10-1856119](등록일자: 2018.05.02)Korean registered patent [10-1856119] (registration date: 2018.05.02)

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 이미지에 포함된 텍스트를 번역하되, 번역이 필요하다고 판단된 텍스트만 번역하는 이미지에 포함된 텍스트 번역 시스템을 제공하는 것이다.Therefore, the present invention was created to solve the problems described above, and the purpose of the present invention is to provide a text translation system included in the image that translates the text included in the image, but only translates the text judged to require translation. It is provided.

본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The purposes of the embodiments of the present invention are not limited to the purposes mentioned above, and other purposes not mentioned will be clearly understood by those skilled in the art from the description below. .

상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템은, 이미지 상 텍스트 위치를 감지하고, 텍스트 번역이 필요하다고 판단되는 번역영역을 설정하는 번역영역설정부(200); 상기 번역영역에 위치한 텍스트를 번역하는 번역부(300); 상기 번역영역에 위치한 배경을 복원하는 배경처리부(400); 및 상기 배경처리부(400)에서 복원한 배경에 상기 번역부(300)로부터 번역된 텍스트를 합성시키는 재구성부(500);를 포함하는 것을 특징으로 한다.A text translation system included in an image according to an embodiment of the present invention to achieve the above-described purpose includes a translation area setting unit that detects the position of the text on the image and sets a translation area that is determined to require text translation. (200); a translation unit 300 that translates the text located in the translation area; a background processing unit 400 that restores the background located in the translation area; and a reconstruction unit 500 that synthesizes the text translated by the translation unit 300 with the background restored by the background processing unit 400.

또한, 상기 번역영역설정부(200)는 상표를 인식하고, 인식된 상표에 포함된 텍스트를 상기 번역영역에서 제외하는 것을 특징으로 한다.Additionally, the translation area setting unit 200 recognizes a trademark and excludes text included in the recognized trademark from the translation area.

또, 상기 번역영역설정부(200)는 왜곡된 텍스트를 상기 번역영역에서 제외하는 것을 특징으로 한다.In addition, the translation area setting unit 200 is characterized in that distorted text is excluded from the translation area.

또한, 상기 번역영역설정부(200)는 하나의 군 단위로 인식된 텍스트의 한 영역에서 각 글자의 사이즈가 설정된 비율을 초과하여 차이가 발생될 경우, 왜곡된 텍스트로 판단하는 것을 특징으로 한다.In addition, the translation area setting unit 200 is characterized in that if a difference occurs in the size of each letter in one area of the text recognized as a group by exceeding a set ratio, it is characterized as a distorted text.

또, 상기 번역영역설정부(200)는 객체(제품)를 인식하고 객체에 포함된 텍스트를 상기 번역영역에서 제외하는 것을 특징으로 한다.In addition, the translation area setting unit 200 recognizes an object (product) and excludes text included in the object from the translation area.

또한, 상기 번역영역설정부(200)는 텍스트가 포함된 영역과 겹쳐진 객체만 객체인식을 수행하는 것을 특징으로 한다.In addition, the translation area setting unit 200 is characterized in that it performs object recognition only on objects that overlap the area containing the text.

또, 상기 번역영역설정부(200)는 이미지를 흑백으로 변환하거나, 경계선을 추출하여 객체를 분석(인식)하는 것을 특징으로 한다.In addition, the translation area setting unit 200 converts the image to black and white or extracts the boundary line and analyzes (recognizes) the object.

또한, 상기 재구성부(500)는 상기 배경처리부(400)에서 복원한 배경에 상기 번역된 텍스트를 레이어 형태로 제공하여, 상기 번역된 텍스트의 수정이 가능하도록 하는 것을 특징으로 한다.In addition, the reconstruction unit 500 provides the translated text in the form of a layer on the background restored by the background processing unit 400, allowing modification of the translated text.

또, 상기 이미지에 포함된 텍스트 번역 시스템은 원문 텍스트, 번역된 텍스트 및 상기 번역된 텍스트의 수정된 내용을 포함한 텍스트 번역 정보를 가공하여 번역에 대한 기계학습을 수행하는 학습부(600);를 포함하며, 상기 번역부(300)는 상기 학습부(600)의 학습을 바탕으로, 번역 알고리즘을 보완하는 것을 특징으로 한다.In addition, the text translation system included in the image includes a learning unit 600 that processes text translation information including the original text, translated text, and modified content of the translated text to perform machine learning on translation. In addition, the translation unit 300 is characterized in that it complements the translation algorithm based on the learning of the learning unit 600.

또한, 상기 이미지에 포함된 텍스트 번역 시스템은 원문 텍스트, 번역된 텍스트 및 상기 번역된 텍스트의 수정된 내용을 포함한 텍스트 번역 정보를 빅데이터로 수집 및 관리하는 빅데이터관리부(700);를 포함하며, 상기 번역부(300)는 상기 빅데이터관리부(700)에 수집된 빅데이터에 근거하여, 텍스트의 동일한 수정된 내용 수가 일정 비율 이상인 수정된 내용을 번역추천으로 제시하거나 번역에 반영되도록 하는 것을 특징으로 한다.In addition, the text translation system included in the image includes a big data management unit 700 that collects and manages text translation information including the original text, translated text, and modified contents of the translated text as big data, The translation unit 300 is characterized in that, based on the big data collected in the big data management unit 700, the revised content in which the number of identical revised contents of the text is greater than a certain percentage is presented as a translation recommendation or reflected in the translation. do.

본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템에 의하면, 이미지에 포함된 텍스트를 번역하되, 번역이 필요하다고 판단된 텍스트만 번역함에 따라, 번역에 필요한 연산량을 줄여 연산 효율을 높일 수 있음과 동시에 번역이 불필요한 텍스트는 번역하지 않아 번역을 되돌리는 과정을 생략할 수 있음으로써 사람이 수행해야 할 수작업을 줄여 작업 효율을 올리는 효과가 있다.According to the text translation system included in the image according to an embodiment of the present invention, the text included in the image is translated, but only the text judged to require translation is translated, thereby reducing the amount of calculation required for translation and increasing computational efficiency. At the same time, text that does not require translation is not translated, so the process of reverting the translation can be omitted, which has the effect of increasing work efficiency by reducing the amount of manual work that must be performed by people.

또한, 상표에 포함된 텍스트를 번역에서 제외함으로써, 번역을 되돌리는 과정을 생략할 수 있어, 사람이 수행해야 할 수작업을 줄여 작업 효율을 올리는 효과가 있다.Additionally, by excluding the text included in the trademark from translation, the process of reverting the translation can be omitted, which has the effect of increasing work efficiency by reducing the manual work that must be performed by people.

또, 왜곡된 텍스트를 번역에서 제외함으로써, 번역을 되돌리는 과정을 생략할 수 있어, 사람이 수행해야 할 수작업을 줄여 작업 효율을 올리는 효과가 있다.Additionally, by excluding distorted text from translation, the process of reversing translation can be omitted, which has the effect of increasing work efficiency by reducing the manual work that people must perform.

또한, 하나의 군에 포함된 글자간의 비교를 통해 왜곡된 텍스트를 판단함으로써, 수만은 폰트를 저장하지 않고도 왜곡된 텍스트를 판단할 수 있어 판단에 필요한 데이터 용량을 줄이는 효과가 있음과 동시에 저장되지 않은 폰트의 왜곡을 판단할 수 있는 효과가 있다.In addition, by determining distorted text through comparison between letters included in one group, tens of thousands of letters can be judged on distorted text without storing the font, which has the effect of reducing the amount of data required for judgment and at the same time does not save unsaved text. It has the effect of determining the distortion of the font.

또, 객체에 포함된 텍스트를 번역에서 제외함으로써, 번역을 되돌리는 과정을 생략할 수 있어, 사람이 수행해야 할 수작업을 줄여 작업 효율을 올리는 효과가 있다.Additionally, by excluding the text included in the object from translation, the process of reverting the translation can be omitted, which has the effect of increasing work efficiency by reducing the manual work that must be performed by people.

또한, 텍스트가 포함된 영역의 객체에만 객체인식을 수행함으로써, 객체인식에 소모되는 부하를 줄일 수 있는 효과가 있다.Additionally, by performing object recognition only on objects in the area containing text, there is an effect of reducing the load consumed in object recognition.

또, 이미지를 흑백으로 변환하거나 경계선을 추출하여 객체를 분석함으로써, 객체인식에 소모되는 부하를 줄일 수 있는 효과가 있다.In addition, there is an effect of reducing the load consumed in object recognition by converting the image to black and white or extracting the boundary line and analyzing the object.

또한, 번역된 텍스트를 레이어 형태로 제공함으로써, 수작업의 효율을 향상시키는 효과가 있다.Additionally, by providing the translated text in the form of layers, it has the effect of improving the efficiency of manual work.

또, 기계학습을 통해 번역 알고리즘을 보완함으로써, 보다 완벽한 번역을 수행할 수 있는 효과가 있다.In addition, by supplementing the translation algorithm through machine learning, there is an effect of performing a more perfect translation.

아울러, 빅데이터를 활용하여 번역을 수행하거나 번역추천을 제시함으로써, 보다 완벽한 번역을 수행할 수 있도록 도움을 주는 효과가 있다.In addition, it has the effect of helping to perform a more perfect translation by utilizing big data to perform translation or provide translation recommendations.

도 1은 본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 개념도.
도 2는 기계학습 기술이 적용된 본 발명의 다른 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 개념도.
도 3은 빅데이터 활용 기술이 적용된 본 발명의 또 다른 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 개념도.1 is a conceptual diagram of a text translation system included in an image according to an embodiment of the present invention.
Figure 2 is a conceptual diagram of a text translation system included in an image according to another embodiment of the present invention to which machine learning technology is applied.
Figure 3 is a conceptual diagram of a text translation system included in an image according to another embodiment of the present invention to which big data utilization technology is applied.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are merely used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, processes, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, processes, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as having an ideal or excessively formal meaning unless explicitly defined in the present application. No.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. Hereinafter, the present invention will be described in more detail with reference to the attached drawings. Prior to this, the terms or words used in this specification and claims should not be construed as limited to their usual or dictionary meanings, and the inventor should appropriately define the concept of terms in order to explain his or her invention in the best way. Based on the principle of definability, it must be interpreted with meaning and concept consistent with the technical idea of the present invention. In addition, if there is no other definition in the technical and scientific terms used, they have meanings commonly understood by those skilled in the art to which this invention pertains, and the gist of the present invention is summarized in the following description and accompanying drawings. Descriptions of known functions and configurations that may be unnecessarily obscure are omitted. The drawings introduced below are provided as examples so that the idea of the present invention can be sufficiently conveyed to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms. Additionally, like reference numerals refer to like elements throughout the specification. It should be noted that like elements in the drawings are represented by like symbols wherever possible.

도 1은 본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 개념도이고, 도 2는 기계학습 기술이 적용된 본 발명의 다른 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 개념도이며, 도 3은 빅데이터 활용 기술이 적용된 본 발명의 또 다른 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 개념도이다.1 is a conceptual diagram of a text translation system included in an image according to an embodiment of the present invention, and FIG. 2 is a conceptual diagram of a text translation system included in an image according to another embodiment of the present invention to which machine learning technology is applied. 3 is a conceptual diagram of a text translation system included in an image according to another embodiment of the present invention to which big data utilization technology is applied.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템은 번역영역설정부(200), 번역부(300), 배경처리부(400) 및 재구성부(500)를 포함한다.As shown in Figure 1, the text translation system included in the image according to an embodiment of the present invention includes a translation area setting unit 200, a translation unit 300, a background processing unit 400, and a reconstruction unit 500. Includes.

번역영역설정부(200)는 이미지 상 텍스트 위치를 감지하고, 텍스트 번역이 필요하다고 판단되는 번역영역을 설정한다.The translation area setting unit 200 detects the position of the text on the image and sets the translation area where it is determined that text translation is necessary.

상기 번역영역설정부(200)는 텍스트 위치를 근거로 번역영역을 설정한다.The translation area setting unit 200 sets the translation area based on the text position.

이때, 상기 번역영역은 사각형 박스 형태로 설정되는 것이 일반적이나, 텍스트의 모양 또는 군집 형상에 따라 가변적인 테두리 영역의 형태로 설정되는 등 텍스트가 영역 내부에 위치할 수만 있다면 다양한 실시가 가능함은 물론이다.At this time, the translation area is generally set in the form of a rectangular box, but of course, various implementations are possible as long as the text can be located inside the area, such as setting it in the form of a variable border area depending on the shape of the text or the shape of the group. .

또한, 번영영역은 각각의 텍스트를 특정한 기준에 따른 텍스트 집합 단위로 군집화시켜 관리할 수 있다. Additionally, the prosperity area can be managed by clustering each text into text sets according to specific criteria.

예를 들어, 단어 단위, 라인 단위, 문장 단위, 문단 단위, 시각적 군집 단위 등 특정한 기준에 따라 번역영역을 각각 설정할 수 있다.For example, each translation area can be set according to specific criteria such as word unit, line unit, sentence unit, paragraph unit, visual group unit, etc.

이러한 번역영역은 기계학습을 통한 인공지능 기술을 적용하여 자동화 시킬 수 있다.This translation area can be automated by applying artificial intelligence technology through machine learning.

번역부(300)는 상기 번역영역에 위치한 텍스트를 번역한다.The translation unit 300 translates the text located in the translation area.

상기 번역부(300)는 기계학습을 통한 인공지능 기술을 적용하여 자동화시킨 기계번역을 통해 번역될 수 있다.The translation unit 300 can translate through automated machine translation by applying artificial intelligence technology through machine learning.

상기 번역부(300)는 번역을 의뢰한 의뢰인의 정보 확인이 가능하다면 해당 의뢰인의 국적, 거주지, 이전에 수행했던 번역어 등의 정보를 기반으로 번역어를 자동 인식 되도록 할 수 있다. If the translation unit 300 can confirm the information of the client who requested the translation, it can automatically recognize the translation language based on information such as the client's nationality, residence, and previously performed translation language.

즉, 상기 번역부(300)는 원어와 번역어를 자동으로 결정하여 기계번역을 수행할 수 있다.That is, the translation unit 300 can automatically determine the original language and the translated language and perform machine translation.

여기서, 원어는 원본 이미지에 포함된 텍스트의 언어를 말하는 것이고, 번역어는 번역에 사용될 언어를 말하는 것이다.Here, the original word refers to the language of the text included in the original image, and the translated word refers to the language to be used for translation.

배경처리부(400)는 상기 번역영역에 위치한 배경을 복원한다.The background processing unit 400 restores the background located in the translation area.

상기 배경처리부(400)는 텍스트를 추출(삭제)하고 텍스트 추출로 삭제(공백)된 부분의 배경을 복원하거나, 텍스트 삭제 과정을 생략하고 텍스트가 있는 부분을 배경으로 덮어 배경을 복원하는 등 번역을 수행하는 원어 텍스트가 배경 이미지에서 보이지 않도록 할 수 있다면 다양한 실시가 가능하다.The background processing unit 400 performs translation by extracting (deleting) the text and restoring the background of the part deleted (blank) by text extraction, or omitting the text deletion process and restoring the background by covering the part with the text with the background. Various implementations are possible if the original text being performed can be prevented from being visible in the background image.

상기 배경처리부(400)가 복원하는 시기는 상기 번역부(300)가 번역을 위한 준비를 마친 이후이다.The time when the background processing unit 400 restores is after the translation unit 300 has completed preparations for translation.

재구성부(500)는 상기 배경처리부(400)에서 복원한 배경에 상기 번역부(300)로부터 번역된 텍스트를 합성시킨다.The reconstruction unit 500 synthesizes the text translated from the translation unit 300 with the background restored by the background processing unit 400.

상기 재구성부(500)는 복원된 배경에 번역된 텍스트를 입혀 이미지 상에 포함된 원어 텍스트가 번역어 텍스트로 대체되도록 한다.The reconstruction unit 500 applies the translated text to the restored background so that the original text included in the image is replaced with the translated text.

이미지 상에서 인식된 모든 텍스트를 번역하게 된다면, 상표나 제품에 인쇄된 번역을 하면 안 되는 텍스트 까지도 번역하게 되어, 번역 과정을 되돌리는 추가작업을 수행해야 하는 불편한 문제가 있다. 이러한 불편한 문제를 해결하고자 본 발명은 다음과 같은 과정이 자동으로 수행되도록 할 수 있다.If all text recognized in the image is translated, even text printed on trademarks or products that should not be translated will be translated, causing the inconvenient problem of having to perform additional work to reverse the translation process. In order to solve this inconvenient problem, the present invention can automatically perform the following process.

본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 번역영역설정부(200)는 상표를 인식하고, 인식된 상표에 포함된 텍스트를 상기 번역영역에서 제외하는 것을 특징으로 할 수 있다.The translation area setting unit 200 of the text translation system included in an image according to an embodiment of the present invention may recognize a trademark and exclude text included in the recognized trademark from the translation area.

즉, 상표는 번역되지 않도록, 상표에 포함된 텍스트를 번역영역에서 제외시킬 수 있다.In other words, the text included in the trademark can be excluded from the translation area so that the trademark is not translated.

이러한 상표 인식은 기계학습을 통한 인공지능 기술을 적용하여 자동화 시킬 수 있다.This brand recognition can be automated by applying artificial intelligence technology through machine learning.

본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 번역영역설정부(200)는 왜곡된 텍스트를 상기 번역영역에서 제외하는 것을 특징으로 할 수 있다.The translation area setting unit 200 of the text translation system included in the image according to an embodiment of the present invention may be characterized in that it excludes distorted text from the translation area.

즉, 왜곡된 텍스트는 번역되지 않도록, 왜곡된 텍스트를 포함하는 텍스트 집합을 번역영역에서 제외시킬 수 있다.In other words, the text set containing the distorted text can be excluded from the translation area so that the distorted text is not translated.

이러한 되곡된 텍스트 인식은 기계학습을 통한 인공지능 기술을 적용하여 자동화 시킬 수 있다.This distorted text recognition can be automated by applying artificial intelligence technology through machine learning.

여기서 왜곡된 텍스트는 텍스트 사라짐으로 온전한 단어 완성이 안 되는 텍스트, 텍스트의 일부가 사라져 불완전한 형태의 텍스트(텍스트 깨짐), 텍스트가 한쪽 방향으로 갈수록 커지거나 작아지는 형태의 텍스트(텍스트 기울어짐), 텍스트가 굴곡진 형태로 인식되는 텍스트(텍스트 휘어짐) 등 다양한 형태를 취할 수 있다.Here, the distorted text is text in which complete words cannot be completed due to text disappearance, text in an incomplete form due to loss of part of the text (broken text), text in a form where the text becomes larger or smaller in one direction (text slant), text It can take various forms, such as text that is recognized as curved (text bending).

왜곡된 텍스트를 포함하는 텍스트 집함은 일반적으로 배경에 포함된 텍스트로 판단할 수 있다. 배경에 포함된 텍스트는 이미지 상의 객체 자체에 인쇄된 텍스트를 의미한다.A text set containing distorted text can generally be judged by the text included in the background. Text included in the background refers to text printed on the object itself in the image.

예를 들어, 컵에 인쇄된 텍스트나, 옷에 인쇄된 텍스트 등 제품(객체)에 인쇄된 텍스트는 번역이 필요하지 않은 텍스트들이다.For example, text printed on products (objects), such as text printed on a cup or text printed on clothes, are texts that do not require translation.

옷이 부분적으로 접힌 상태로 사진을 찍었다면 텍스트 중 일부가 사라지거나, 텍스트가 사라져 온전한 단어로 인식이 어려울 수 있다.If a photo is taken with clothes partially folded, some of the text may disappear or the text may disappear, making it difficult to recognize it as a complete word.

본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 번역영역설정부(200)는 하나의 군 단위로 인식된 텍스트의 한 영역에서 각 글자의 사이즈가 설정된 비율을 초과하여 차이가 발생될 경우, 왜곡된 텍스트로 판단하는 것을 특징으로 할 수 있다.The translation area setting unit 200 of the text translation system included in the image according to an embodiment of the present invention may cause a difference if the size of each letter exceeds the set ratio in one area of the text recognized as a group. In this case, it may be characterized as being judged as a distorted text.

글자 깨짐, 기울어짐, 휘어짐 등 왜곡된 텍스트를 판단하기 위해서는 같은 군에 해당되는 텍스트 각 글자의 사이즈를 비교하는 방법을 사용할 수 있다.In order to determine distorted text such as broken, slanted, or curved letters, a method of comparing the size of each letter of text belonging to the same group can be used.

즉, 텍스트 집합 단위로 군집화된 하나의 군에 속한 각 글자의 사이즈를 비교할 수 있다.In other words, the size of each letter belonging to one group clustered in text set units can be compared.

이때, 사이즈의 비교는, 각각의 문자 간 가로*세로 길이의 비교를 통해 진행하는 것도 가능하고, 문자 획의 두께 비교를 통해 진행하는 것도 가능하며, 텍스트가 왜곡되었다는 것을 확인할 수 있는 기준을 세울 수 있다면 다양한 실시가 가능함은 물론이다.At this time, the size comparison can be done by comparing the width*height length between each character, and it can also be done by comparing the thickness of the character strokes, and a standard can be established to confirm that the text has been distorted. Of course, various implementations are possible.

여기서, 문자 획의 두께 비교를 통해 진행하고자 한다면, 폰트에 따라 가로획의 두께와 세로획의 두께가 달리 설정될 수 있으므로, 가로획은 가로획 끼리 비교하고, 세로획은 세로획 끼리 비교하는 것이 바람직하다.Here, if you want to proceed by comparing the thickness of character strokes, since the thickness of horizontal strokes and vertical strokes may be set differently depending on the font, it is desirable to compare horizontal strokes with each other and vertical strokes with each other.

상기에서 텍스트 군 내부에서 각각의 텍스트를 비교하는 예를 들었으나, 본 발명이 이에 한정된 것은 아니며, 텍스트를 한 글자씩 인식하여 미리 저장된 폰트와 비교하는 것도 가능하며, 텍스트의 왜곡이 발생된 것을 확인할 수 있다면 다양한 실시가 가능함은 물론이다.In the above, an example of comparing each text within a text group is given, but the present invention is not limited to this, and it is also possible to recognize the text one by one and compare it with a pre-stored font, and to check if any distortion of the text has occurred. Of course, if possible, various implementations are possible.

상표나 왜곡된 텍스트를 번역에서 제외 시키더라도 제품에 인쇄된 텍스트가 번역영역에 포함될 수 있어, 번역 과정을 되돌리는 추가작업을 수행해야 하는 불편한 문제가 있다. 이러한 불편한 문제를 해결하고자 본 발명은 다음과 같은 과정이 자동으로 수행되도록 할 수 있다.Even if trademarks or distorted text are excluded from translation, text printed on the product may be included in the translation area, creating the inconvenient problem of having to perform additional work to reverse the translation process. In order to solve this inconvenient problem, the present invention can automatically perform the following process.

본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 번역영역설정부(200)는 객체(제품)를 인식하고 객체에 포함된 텍스트를 상기 번역영역에서 제외하는 것을 특징으로 할 수 있다.The translation area setting unit 200 of the text translation system included in an image according to an embodiment of the present invention may recognize an object (product) and exclude text included in the object from the translation area.

객체에 인쇄(포함)된 텍스트도 배경이라 할 수 있다. 따라서 객체에 인쇄된 텍스트는 번역영역에서 제외시키는 것이 바람직하다.Text printed (embedded) in an object can also be considered a background. Therefore, it is desirable to exclude text printed on objects from the translation area.

이러한 객체 인식은 기계학습을 통한 인공지능 기술을 적용하여 자동화 시킬 수 있다.This object recognition can be automated by applying artificial intelligence technology through machine learning.

객체 인식 기술을 사용하여 불필요한 번역 작업을 줄이는 것도 중요하나, 불필요한 객체 인식으로 연산장치에 부하가 걸릴 수 있는 문제가 있다. 이러한 문제를 해결하고자 본 발명은 다음과 같은 과정이 자동으로 수행되도록 할 수 있다.Although it is important to reduce unnecessary translation work by using object recognition technology, there is a problem that unnecessary object recognition may place a load on the computing device. To solve this problem, the present invention can automatically perform the following processes.

본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 번역영역설정부(200)는 텍스트가 포함된 영역과 겹쳐진 객체만 객체인식을 수행하는 것을 특징으로 할 수 있다.The translation area setting unit 200 of the text translation system included in the image according to an embodiment of the present invention may be characterized in that it performs object recognition only on objects that overlap with the area containing the text.

본 발명에서 객체를 인식하는 것은 번역이 불필요한 텍스트를 번역영역에서 제거하기 위함이다.In the present invention, recognizing objects is to remove text that does not require translation from the translation area.

그런데, 텍스트가 인식되지 않은 객체에 객체인식을 수행하는 것은 연산장치에 부하만 올릴 뿐 의미없는 작업이다.However, performing object recognition on an object whose text is not recognized is a meaningless task that only increases the load on the computing device.

따라서, 텍스트가 포함된 영역과 겹쳐진 객체만 객체인식을 수행하는 것이 바람직하다.Therefore, it is desirable to perform object recognition only on objects that overlap the area containing the text.

본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 번역영역설정부(200)는 이미지를 흑백으로 변환하거나, 경계선을 추출하여 객체를 분석하는 것을 특징으로 할 수 있다.The translation area setting unit 200 of the text translation system included in the image according to an embodiment of the present invention may be characterized by converting the image to black and white or extracting the boundary line and analyzing the object.

객체 인식 수행 시 원본 이미지를 그대로 비교하는 것은 연산장치의 연산량을 증가시킬 수 있기 때문에, 원본 이미지를 흑백으로 변환하여 분석하거나, 원본 이미지에서 경계선을 추출하여 분석하는 것이 연산장치의 연산량을 감소시킬 수 있다.When performing object recognition, comparing the original image as is can increase the computational amount of the computing device. Therefore, converting the original image to black and white and analyzing it or extracting and analyzing the boundary line from the original image can reduce the computational amount of the processing device. there is.

여기서, 분석은 객체에 해당되는 원본(답안 이미지)와의 비교를 통해 어떤 객체에 해당하는지 판단하여 객체를 인식하는 것을 말한다.Here, analysis refers to recognizing an object by determining which object it corresponds to through comparison with the original (answer image) corresponding to the object.

기계번역은 사람이 수행해야 하는 일을 줄여주기는 하나, 불완전한 부분이 존재할 수 있는 문제가 있다. 때문에, 사람의 수작업이 필요할 수 있으며, 수작업이 필요한 경우 편리하게 작업을 수행할 수 있도록 본 발명은 다음과 같은 과정이 자동으로 수행되도록 할 수 있다.Although machine translation reduces the work that must be done by humans, it has the problem that imperfections may exist. Therefore, human manual work may be necessary, and the present invention can automatically perform the following processes so that the work can be performed conveniently when manual work is necessary.

본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템의 재구성부(500)는 상기 배경처리부(400)에서 복원한 배경에 상기 번역된 텍스트를 레이어 형태로 제공하여, 상기 번역된 텍스트의 수정이 가능하도록 하는 것을 특징으로 할 수 있다.The reconstruction unit 500 of the text translation system included in the image according to an embodiment of the present invention provides the translated text in the form of a layer on the background restored by the background processing unit 400, thereby correcting the translated text. It can be characterized as making this possible.

텍스트의 수정 작업은 텍스트의 내용 변경, 텍스트의 위치 변경, 텍스트의 크기 변경, 텍스트의 폰트 변경, 텍스트의 서식(디자인) 변경 등 다양한 작업이 존재한다.There are various tasks to modify text, such as changing the content of the text, changing the position of the text, changing the size of the text, changing the font of the text, and changing the format (design) of the text.

상기 재구성부(500)는 이러한 텍스트의 수정 작업을 편리하게 수행할 수 있도록 번역된 텍스트를 레이어 형태로 제공할 수 있다.The reconstruction unit 500 may provide the translated text in the form of a layer so that text modification can be conveniently performed.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템은 원문 텍스트, 번역된 텍스트 및 상기 번역된 텍스트의 수정된 내용을 포함한 텍스트 번역 정보를 가공하여 번역에 대한 기계학습을 수행하는 학습부(600)를 포함하며, 상기 번역부(300)는 상기 학습부(600)의 학습을 바탕으로, 번역 알고리즘을 보완하는 것을 특징으로 할 수 있다.As shown in FIG. 2, the text translation system included in the image according to an embodiment of the present invention processes text translation information including the original text, the translated text, and the modified content of the translated text to provide information about the translation. It includes a learning unit 600 that performs machine learning, and the translation unit 300 may be characterized in that it complements the translation algorithm based on the learning of the learning unit 600.

기계번역은 불완전할 수 있기 때문에 불완전한 부분을 수정할 필요성이 있다. 이를 위해, 상기 학습부(600)를 포함하는 것이 바람직하며, 이를 통해 반복되는 번역 오류를 수정할 수 있다.Because machine translation can be imperfect, there is a need to correct imperfections. For this purpose, it is desirable to include the learning unit 600, through which repeated translation errors can be corrected.

즉, 상기 학습부(600)의 기계학습을 통한 인공지능 기술을 적용하여 번역 알고리즘을 보완함으로써, 반복되는 번역 오류가 되풀이 되지 않도록 할 수 있다.In other words, by applying artificial intelligence technology through machine learning of the learning unit 600 to supplement the translation algorithm, repeated translation errors can be prevented from recurring.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지에 포함된 텍스트 번역 시스템은 원문 텍스트, 번역된 텍스트 및 상기 번역된 텍스트의 수정된 내용을 포함한 텍스트 번역 정보를 빅데이터로 수집 및 관리하는 빅데이터관리부(700)를 포함하며, 상기 번역부(300)는 상기 빅데이터관리부(700)에 수집된 빅데이터에 근거하여, 텍스트의 동일한 수정된 내용 수가 일정 비율 이상인 수정된 내용을 번역추천으로 제시하거나 번역에 반영되도록 하는 것을 특징으로 할 수 있다.As shown in FIG. 3, the text translation system included in the image according to an embodiment of the present invention collects text translation information including the original text, translated text, and modified content of the translated text as big data, and It includes a big data management unit 700 that manages the text, and the translation unit 300 translates the revised content in which the number of identical revised contents of the text is more than a certain percentage based on the big data collected in the big data management unit 700. It may be presented as a recommendation or reflected in the translation.

기계번역은 불완전할 수 있기 때문에 불완전한 부분을 수정할 필요성이 있다. 이를 위해, 상기 데이터관리부(600)를 포함하는 것이 바람직하며, 이를 통해 반복되는 번역 오류를 수정할 수 있다.Because machine translation can be imperfect, there is a need to correct imperfections. For this purpose, it is desirable to include the data management unit 600, through which repeated translation errors can be corrected.

즉, 상기 데이터관리부(600)의 통계자료를 적용하여 번역에 반영되도록 하여 번역오류가 되풀이 되지 않도록 하거나, 번역추천으로 수정할 번역내용을 추천하여, 번역 오류를 수정 할 수 있도록 도와줄 수 있다.In other words, the statistical data of the data management unit 600 can be applied and reflected in the translation to prevent translation errors from recurring, or translation errors can be recommended to help correct translation errors by recommending translation content to be corrected.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다. The present invention is not limited to the above-described embodiments, and the scope of application is diverse. Of course, various modifications and implementations are possible without departing from the gist of the present invention as claimed in the claims.

200: 번역영역설정부
300: 번역부
400: 배경처리부
500: 재구성부
600: 학습부
700: 빅데이터관리부200: Translation area setting unit
300: Translation Department
400: Background processing unit
500: reconstruction unit
600: Learning Department
700: Big data management department

Claims

A translation area setting unit 200 that detects the position of the text on the image and sets a translation area determined to require text translation;
a translation unit 300 that translates the text located in the translation area;
a background processing unit 400 that restores the background located in the translation area; and
a reconstruction unit 500 that synthesizes the text translated from the translation unit 300 with the background restored by the background processing unit 400;
A system for translating text embedded in images containing .

According to paragraph 1,
The translation area setting unit 200
A text translation system included in an image, characterized in that it recognizes a trademark and excludes text included in the recognized trademark from the translation area.

According to paragraph 1,
The translation area setting unit 200
A text translation system included in an image, characterized in that distorted text is excluded from the translation area.

According to paragraph 3,
The translation area setting unit 200
In one area of text recognized as a group
A text translation system included in an image, characterized in that it is judged as distorted text when the size of each letter exceeds a set ratio and a difference occurs.

According to paragraph 1,
The translation area setting unit 200
A text translation system included in an image, characterized in that it recognizes an object (product) and excludes text included in the object from the translation area.

According to clause 5,
The translation area setting unit 200
A text translation system included in an image, characterized in that object recognition is performed only on objects that overlap the area containing the text.

According to clause 5,
The translation area setting unit 200
A text translation system included in an image that converts the image to black and white or extracts the boundary line and analyzes (recognizes) the object.

According to paragraph 1,
The reconstruction unit 500 is
A text translation system included in an image, characterized in that the translated text is provided in the form of a layer on the background restored by the background processing unit 400, allowing the translated text to be modified.

According to paragraph 1,
The text translation system included in the image above is
A learning unit 600 that performs machine learning on translation by processing text translation information including the original text, the translated text, and modified content of the translated text;
Includes,
A text translation system included in an image, wherein the translation unit 300 complements the translation algorithm based on learning from the learning unit 600.

According to paragraph 1,
The text translation system included in the image above is
A big data management unit 700 that collects and manages text translation information, including the original text, translated text, and modified content of the translated text, as big data;
Includes,
The translation unit 300 is characterized in that, based on the big data collected in the big data management unit 700, the revised content in which the number of identical revised contents of the text is greater than a certain percentage is presented as a translation recommendation or reflected in the translation. A text translation system embedded in images.