KR102279164B1 - Image editting method and apparatus using artificial intelligence model - Google Patents

Image editting method and apparatus using artificial intelligence model Download PDF

Info

Publication number
KR102279164B1
KR102279164B1 KR1020190035117A KR20190035117A KR102279164B1 KR 102279164 B1 KR102279164 B1 KR 102279164B1 KR 1020190035117 A KR1020190035117 A KR 1020190035117A KR 20190035117 A KR20190035117 A KR 20190035117A KR 102279164 B1 KR102279164 B1 KR 102279164B1
Authority
KR
South Korea
Prior art keywords
image
text
model
image editing
alternative
Prior art date
Application number
KR1020190035117A
Other languages
Korean (ko)
Other versions
KR20200114034A (en
Inventor
이활석
백영민
신승
이영무
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020190035117A priority Critical patent/KR102279164B1/en
Priority to JP2020054014A priority patent/JP6975281B2/en
Publication of KR20200114034A publication Critical patent/KR20200114034A/en
Application granted granted Critical
Publication of KR102279164B1 publication Critical patent/KR102279164B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Abstract

이미지 편집 장치에 의한 이미지 편집 방법에 있어서, 대체 텍스트에 대응하는 텍스트 데이터, 및 제 1 이미지를 이미지 편집 모델에 입력하는 단계; 및 대체 텍스트가 포함된 제 2 이미지를 이미지 편집 모델로부터 획득하는 단계를 포함하되, 이미지 편집 모델은, 제 1 이미지의 일부 영역에 대체 텍스트를 합성하여 제 2 이미지를 생성하는 것을 특징으로 하는 일 실시예에 따른 이미지 편집 방법이 개시된다.An image editing method by an image editing apparatus, comprising: inputting text data corresponding to an alternative text and a first image into an image editing model; and obtaining a second image including the alternative text from the image editing model, wherein the image editing model generates a second image by synthesizing the alternative text in a partial region of the first image. An image editing method according to an example is disclosed.

Description

인공지능 모델을 이용한 이미지 편집 방법 및 장치{IMAGE EDITTING METHOD AND APPARATUS USING ARTIFICIAL INTELLIGENCE MODEL}Image editing method and apparatus using artificial intelligence model {IMAGE EDITTING METHOD AND APPARATUS USING ARTIFICIAL INTELLIGENCE MODEL}

본 개시는 이미지 처리 분야에 관한 것이다. 보다 구체적으로, 본 개시는 인공지능 모델을 이용하여 이미지를 편집하는 장치 및 방법에 관한 것이다.The present disclosure relates to the field of image processing. More specifically, the present disclosure relates to an apparatus and method for editing an image using an artificial intelligence model.

이미지 편집에 대한 니즈는 다양하다. 일 예로, 어떤 사용자는 이미지에 포함된 텍스트를 다른 텍스트로 변경하고자 하고, 어떤 사용자는 이미지에 포함된 소정 언어의 텍스트를 다른 언어의 텍스트로 번역하고자 한다. 또한, 인공지능 모델을 훈련시키기 위해서는 수많은 학습용 이미지가 필요한데, 일부 학습용 이미지에는 민감한 개인 정보가 포함되어 있어 학습용 이미지의 확보를 위해 개인 정보를 삭제하여야 할 필요성도 있다.The needs of image editing vary. For example, a certain user wants to change text included in an image to another text, and a certain user wants to translate text in a predetermined language included in an image into text in another language. In addition, in order to train an artificial intelligence model, numerous learning images are required, and some of the learning images contain sensitive personal information, so there is a need to delete personal information to secure the learning image.

이미지에 포함된 텍스트는 일반적인 문서 편집 프로그램, 예를 들어, 마이크로소프트사의 워드프로세서 등으로 편집이 불가능하므로, 이미지 편집 프로그램을 이용하여야 한다. 그러나, 전문적인 이미지 편집 프로그램에 대한 지식없이 이미지를 자연스럽게 편집하는 것은 쉽지 않다. 특히, 이미지 편집 과정에서 주변 배경이 훼손되는 경우가 많다. 전문적인 이미지 편집 프로그램의 높은 가격으로 인해 무료의 또는 저렴한 이미지 편집 프로그램으로 이미지를 편집할 때에는 상당한 시간이 소요되기도 한다.Since the text included in the image cannot be edited with a general document editing program, for example, a Microsoft word processor, an image editing program must be used. However, it is not easy to edit an image naturally without knowledge of a professional image editing program. In particular, the surrounding background is often damaged during the image editing process. Due to the high cost of professional image editing programs, it takes a considerable amount of time to edit images with free or inexpensive image editing programs.

따라서, 전문적인 지식이 없는 사용자라도 간단한 방법으로 이미지를 편집할 수 있는 방안이 요구된다.Accordingly, there is a need for a method capable of editing images in a simple way even for users without professional knowledge.

일 실시예에 따른 이미지 편집 방법 및 장치는 인공지능 모델을 이용하여 간단하게 이미지를 편집하는 것을 기술적 과제로 한다.An image editing method and apparatus according to an embodiment has a technical task of simply editing an image using an artificial intelligence model.

또한, 일 실시예에 따른 이미지 편집 방법 및 장치는 이미지에 포함된 텍스트 번역을 지원하는 것을 기술적 과제로 한다.In addition, an image editing method and apparatus according to an embodiment has a technical task to support text translation included in an image.

또한, 일 실시예에 따른 이미지 편집 방법 및 장치는 이미지에 포함된 개인 정보의 유출을 방지하는 것을 기술적 과제로 한다.In addition, the image editing method and apparatus according to an embodiment has a technical task of preventing leakage of personal information included in an image.

일 실시예에 따른 이미지 편집 방법은, 대체 텍스트에 대응하는 텍스트 데이터, 및 제 1 이미지를 이미지 편집 모델에 입력하는 단계; 및 상기 대체 텍스트가 포함된 제 2 이미지를 상기 이미지 편집 모델로부터 획득하는 단계를 포함하되, 상기 이미지 편집 모델은, 상기 제 1 이미지의 일부 영역에 상기 대체 텍스트를 합성하여 상기 제 2 이미지를 생성할 수 있다.An image editing method according to an embodiment includes: inputting text data corresponding to an alternative text and a first image into an image editing model; and obtaining a second image including the alternative text from the image editing model, wherein the image editing model generates the second image by synthesizing the alternative text in a partial region of the first image. can

다른 실시예에 따른 이미지 편집 장치는, 프로세서; 및 적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되, 상기 프로세서는 상기 적어도 하나의 인스트럭션에 따라, 대체 텍스트에 대응하는 텍스트 데이터, 및 제 1 이미지를 이미지 편집 모델에 입력하고, 상기 대체 텍스트가 포함된 제 2 이미지를 상기 이미지 편집 모델로부터 획득하고, 상기 이미지 편집 모델은, 상기 제 1 이미지의 일부 영역에 상기 대체 텍스트를 합성하여 상기 제 2 이미지를 생성할 수 있다.An image editing apparatus according to another embodiment includes a processor; and a memory for storing at least one instruction, wherein the processor inputs, according to the at least one instruction, text data corresponding to the alternative text, and a first image, into the image editing model, and the alternative text is included. A second image may be obtained from the image editing model, and the image editing model may generate the second image by synthesizing the alternative text in a partial region of the first image.

일 실시예에 따른 이미지 편집 방법 및 장치는 인공지능 모델을 이용하여 간단하게 이미지를 편집할 수 있다.An image editing method and apparatus according to an embodiment may simply edit an image using an artificial intelligence model.

또한, 일 실시예에 따른 이미지 편집 방법 및 장치는 이미지에 포함된 텍스트 번역을 지원할 수 있다.Also, the image editing method and apparatus according to an embodiment may support text translation included in an image.

또한, 일 실시예에 따른 이미지 편집 방법 및 장치는 이미지에 포함된 개인 정보의 유출을 방지할 수 있다.In addition, the image editing method and apparatus according to an embodiment may prevent leakage of personal information included in an image.

다만, 일 실시예에 따른 이미지 편집 방법 및 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, effects that can be achieved by the image editing method and apparatus according to an embodiment are not limited to those mentioned above, and other effects not mentioned are common knowledge in the art to which the present disclosure belongs from the description below. It can be clearly understood by those who have

본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일 실시예에 따른 이미지 편집 장치를 도시하는 도면이다.
도 2는 일 실시예에 따른 이미지 편집 장치에 의한 이미지 편집 방법을 나타내는 순서도이다.
도 3은 일 실시예에 따른 이미지 편집 모델을 나타내는 도면이다.
도 4는 도 3에 도시된 순환 모델을 나타내는 도면이다.
도 5는 일 실시예에 따른 제 1 이미지를 나타내는 도면이다.
도 6은 일 실시예에 따른 제 2 이미지를 나타내는 도면이다.
도 7은 다른 실시예에 따른 제 1 이미지를 나타내는 도면이다.
도 8은 다른 실시예에 따른 제 2 이미지를 나타내는 도면이다.
도 9는 일 실시예에 따른 이미지 편집 모델의 훈련 방법을 설명하기 위한 도면이다.
도 10은 다른 실시예에 따른 이미지 편집 방법을 나타내는 순서도이다.
도 11은 이미지 편집을 위한 사용자 단말의 UI 화면을 나타내는 예시적인 도면이다.
도 12는 일 실시예에 따른 이미지 편집 장치의 구성을 도시하는 블록도이다.
도 13은 일 실시예에 따른 이미지 편집 장치가 적용 가능한 서버 장치 및 클라이언트 장치를 도시하는 도면이다.In order to more fully understand the drawings cited herein, a brief description of each drawing is provided.
1 is a diagram illustrating an image editing apparatus according to an exemplary embodiment.
2 is a flowchart illustrating an image editing method by an image editing apparatus according to an exemplary embodiment.
3 is a diagram illustrating an image editing model according to an exemplary embodiment.
FIG. 4 is a diagram illustrating the circulation model shown in FIG. 3 .
5 is a diagram illustrating a first image according to an exemplary embodiment.
6 is a diagram illustrating a second image according to an exemplary embodiment.
7 is a diagram illustrating a first image according to another exemplary embodiment.
8 is a diagram illustrating a second image according to another exemplary embodiment.
9 is a diagram for explaining a method of training an image editing model according to an exemplary embodiment.
10 is a flowchart illustrating an image editing method according to another exemplary embodiment.
11 is an exemplary diagram illustrating a UI screen of a user terminal for image editing.
12 is a block diagram illustrating a configuration of an image editing apparatus according to an exemplary embodiment.
13 is a diagram illustrating a server device and a client device to which an image editing apparatus according to an exemplary embodiment is applicable.

본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present disclosure can make various changes and can have various embodiments, specific embodiments are illustrated in the drawings, and this will be described through detailed description. However, this is not intended to limit the present disclosure to specific embodiments, and should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present disclosure.

실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the embodiment are only identification symbols for distinguishing one component from other components.

또한, 본 명세서에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.In addition, when a component is referred to as “connected” or “connected” to another component in this specification, the component may be directly connected to or directly connected to the other component, but in particular the opposite is true. Unless there is a description to be used, it will be understood that it may be connected or connected through another element in the middle.

또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.In addition, in the present specification, components expressed as '~ unit (unit)', 'module', etc. are two or more components combined into one component, or two or more components for each more subdivided function. may be differentiated into In addition, each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions that each component is responsible for, and some of the main functions of each of the components may have different functions. It goes without saying that it may be performed exclusively by the component.

또한, 본 명세서에서, '이미지'는 정지 영상을 포함할 수 있다. 또한, 본 명세서에서, '텍스트'는 이미지에 포함된 문자, 숫자 및 기호를 포함할 수 있다.Also, in this specification, an 'image' may include a still image. Also, in this specification, 'text' may include letters, numbers, and symbols included in an image.

이하, 본 개시의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.Hereinafter, embodiments according to the technical spirit of the present disclosure will be described in detail in turn.

도 1은 일 실시예에 따른 이미지 편집 장치(100)를 도시하는 도면이다.1 is a diagram illustrating an image editing apparatus 100 according to an exemplary embodiment.

일 실시예에 따른 이미지 편집 장치(100)는 대체 텍스트에 대응하는 텍스트 데이터(30)와 제 1 이미지(10)를 획득하고, 미리 저장된 이미지 편집 모델(300)을 통해 제 1 이미지(10)에 포함되어 있던 텍스트가 대체 텍스트로 변경된 제 2 이미지(50)를 생성할 수 있다. The image editing apparatus 100 according to an embodiment acquires the text data 30 and the first image 10 corresponding to the alternative text, and stores the text data 30 and the first image 10 in the first image 10 through the pre-stored image editing model 300 . The second image 50 in which the included text is changed to the alternative text may be generated.

제 1 이미지(10)의 일부 영역(예를 들어, 텍스트를 포함하는 영역)에 대체 텍스트가 합성됨으로써 제 2 이미지(50)가 생성될 수 있다.The second image 50 may be generated by synthesizing the alternative text in a partial area (eg, an area including text) of the first image 10 .

제 1 이미지(10)는 체크카드, 신용카드 등의 실물 카드를 촬영한 이미지, 동영상을 구성하는 적어도 하나의 이미지 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.The first image 10 may include, but is not limited to, an image obtained by photographing a real card such as a debit card or a credit card, and at least one image constituting a video.

실물 카드를 촬영한 이미지에 포함된 개인 정보(예를 들어, 카드 번호, 유효 기간 등)가 대체 정보로 변경됨으로써 개인 정보의 유출이 차단될 수 있다. 또한, 영화를 구성하는 프레임에 포함된 특정 언어의 자막이 다른 언어의 자막으로 변경될 수도 있다.Personal information (eg, card number, expiration date, etc.) included in the photographed image of the real card is changed to alternative information, so that leakage of personal information may be blocked. Also, subtitles in a specific language included in frames constituting a movie may be changed to subtitles in another language.

후술하는 바와 같이, 이미지 편집 장치(100)는 서버 장치 또는 클라이언트 장치에 적용될 수 있다. 이미지 편집 장치(100)가 서버 장치로 구현되는 경우, 이미지 편집 장치(100)는 클라이언트 장치로부터 수신된 제 1 이미지(10), 내부 저장 장치에 저장된 제 1 이미지(10) 및/또는 네트워크를 통해 연결된 외부 장치로부터 수신한 제 1 이미지(10)를 편집하여 제 2 이미지(50)를 생성할 수 있다.As will be described later, the image editing apparatus 100 may be applied to a server device or a client device. When the image editing device 100 is implemented as a server device, the image editing device 100 is a first image 10 received from the client device, the first image 10 stored in the internal storage device, and / or through a network The second image 50 may be created by editing the first image 10 received from the connected external device.

이미지 편집 장치(100)가 클라이언트 장치로 구현된 경우, 이미지 편집 장치(100)는 카메라에 의해 촬영된 제 1 이미지(10), 내부 저장 장치에 저장된 제 1 이미지(10) 및/또는 네트워크를 통해 외부 장치로부터 수신한 제 1 이미지(10)를 편집하여 제 2 이미지(50)를 생성할 수도 있다.When the image editing apparatus 100 is implemented as a client device, the image editing apparatus 100 may be configured to perform a first image 10 photographed by a camera, a first image 10 stored in an internal storage device, and/or a network through a network. The second image 50 may be created by editing the first image 10 received from the external device.

도 2는 일 실시예에 따른 이미지 편집 장치(100)에 의한 이미지 편집 방법을 나타내는 순서도이다.2 is a flowchart illustrating an image editing method by the image editing apparatus 100 according to an exemplary embodiment.

S210 단계에서, 이미지 편집 장치(100)는 대체 텍스트에 대응하는 텍스트 데이터(30), 및 제 1 이미지(10)를 이미지 편집 모델(300)에 입력한다. 일 예시에서, 제 1 이미지(10) 중 편집이 필요한 일부 영역의 위치 정보가 이미지 편집 모델(300)에 더 입력될 수 있다.In step S210 , the image editing apparatus 100 inputs the text data 30 corresponding to the alternative text and the first image 10 to the image editing model 300 . In one example, location information of a partial region that needs to be edited among the first image 10 may be further input to the image editing model 300 .

대체 텍스트는 제 2 이미지(50)에 포함시키고자 하는 텍스트로서, 사용자로부터 입력될 수도 있고, 또는 이미지 편집 장치(100)가 무작위로 결정하거나 소정 규칙에 따라 직접 결정할 수도 있다.The alternative text is text to be included in the second image 50 and may be input from a user, or may be randomly determined by the image editing apparatus 100 or directly determined according to a predetermined rule.

일 실시예에서, 이미지 편집 장치(100)는 제 1 이미지(10)를 이미지 편집 모델(300)에 입력하기 전에, 편집이 필요한 제 1 이미지(10)의 일부 영역(예를 들어, 텍스트를 포함하는 영역)을 식별하고, 해당 영역을 제거하는 전처리를 할 수 있다. 여기서, 제 1 이미지(10)의 일부 영역을 제거한다는 것은, 제 1 이미지(10)의 일부 영역에 포함된 값(예를 들어, 픽셀 값)들을 미리 결정된 값으로 변경하는 것을 의미할 수 있다.In an embodiment, the image editing apparatus 100 includes a partial area (eg, text) of the first image 10 that needs to be edited before the first image 10 is input to the image editing model 300 . area) can be identified and pre-processing to remove the area can be performed. Here, removing the partial region of the first image 10 may mean changing values (eg, pixel values) included in the partial region of the first image 10 into predetermined values.

S220 단계에서, 이미지 편집 장치(100)는 대체 텍스트가 포함된 제 2 이미지(50)를 이미지 편집 모델(300)로부터 획득한다. 제 1 이미지(10) 내 일부 영역이 대체 텍스트로 치환됨으로써 제 2 이미지(50)가 생성될 수 있다.In step S220 , the image editing apparatus 100 acquires the second image 50 including the alternative text from the image editing model 300 . The second image 50 may be generated by replacing a partial region in the first image 10 with the alternative text.

이미지 편집 모델(300)은 신경망 모델로서, 학습용 데이터들에 기초하여 훈련된 내부 파라미터를 이용하여 제 2 이미지(50)를 생성할 수 있다. 내부 파라미터는 신경망을 이루는 각 레이어의 연산 과정에서 이용되는 값으로서 예를 들어, 입력 값을 소정 연산식에 적용할 때 이용되는 가중치를 포함할 수 있다. The image editing model 300 is a neural network model, and may generate the second image 50 using internal parameters trained based on training data. The internal parameter is a value used in the calculation process of each layer constituting the neural network, and may include, for example, a weight used when an input value is applied to a predetermined calculation expression.

이미지 편집 모델(300)은 제 1 이미지(10)의 일부 영역에 대체 텍스트를 합성하여 제 2 이미지(50)를 생성할 수 있다.The image editing model 300 may generate the second image 50 by synthesizing the alternative text in a partial region of the first image 10 .

이미지 편집 모델(300)의 구조에 대해서는 도 3을 참조하여 설명한다.The structure of the image editing model 300 will be described with reference to FIG. 3 .

도 3은 일 실시예에 따른 이미지 편집 모델(300)을 나타내는 도면이다.3 is a diagram illustrating an image editing model 300 according to an exemplary embodiment.

이미지 편집 모델(300)은 제 1 인코더(310), 제 1 디코더(320), 제 2 인코더(330) 및 제 2 디코더(340)를 포함할 수 있다. 제 1 인코더(310), 제 1 디코더(320), 제 2 인코더(330) 및 제 2 디코더(340) 각각은 적어도 하나의 컨볼루션 레이어(convolution layer)를 포함할 수 있다. 컨볼루션 레이어는 데이터에서 원하는 특성을 추출하기 위해 컨볼루션 연산을 수행할 수 있다.The image editing model 300 may include a first encoder 310 , a first decoder 320 , a second encoder 330 , and a second decoder 340 . Each of the first encoder 310 , the first decoder 320 , the second encoder 330 , and the second decoder 340 may include at least one convolution layer. The convolution layer may perform a convolution operation to extract desired features from data.

제 1 인코더(310)는 제 1 이미지(10)에 대해 컨볼루션 연산을 적용하여 특징 맵(feature map)을 출력한다.The first encoder 310 applies a convolution operation to the first image 10 to output a feature map.

제 1 디코더(320)는 제 1 인코더(310)로부터 출력되는 특징 맵과 텍스트 데이터(30)를 입력받고, 그에 대응하는 이미지를 생성하여 출력한다. 제 1 인코더(310)로부터 출력되는 특징 맵과 텍스트 데이터(30)는 접합(concatenation)되어 제 1 디코더(320)로 입력될 수 있다.The first decoder 320 receives the feature map and text data 30 output from the first encoder 310 , and generates and outputs a corresponding image. The feature map output from the first encoder 310 and the text data 30 may be concatenated and input to the first decoder 320 .

제 2 인코더(330)는 제 1 디코더(320)의 출력 이미지를 입력받고, 그에 대응하는 특징 맵을 출력한다.The second encoder 330 receives the output image of the first decoder 320 and outputs a feature map corresponding thereto.

제 2 디코더(340)는 제 2 인코더(330)의 특징 맵 및 텍스트 데이터(30)를 입력받고, 그에 대응하는 제 2 이미지(50)를 출력한다. 제 2 인코더(330)로부터 출력되는 특징 맵과, 텍스트 데이터(30)는 접합(concatenation)되어 제 2 디코더(340)로 입력될 수 있다.The second decoder 340 receives the feature map and text data 30 of the second encoder 330 , and outputs a second image 50 corresponding thereto. The feature map output from the second encoder 330 and the text data 30 may be concatenated and input to the second decoder 340 .

도 3은 이미지 편집 모델(300)이 두 개의 인코더와 두 개의 디코더를 포함하는 것으로 도시하고 있는데, 이는 하나의 예시이며, 인코더 및 디코더 각각의 개수는 다양하게 변경될 수 있다.3 illustrates that the image editing model 300 includes two encoders and two decoders, which is an example, and the number of each of the encoders and decoders may be variously changed.

제 1 디코더(320) 및 제 2 디코더(340)에는 텍스트 데이터(30)가 입력되는데, 이 텍스트 데이터(30)는 대체 텍스트를 입력받은 순환 모델(400)로부터 출력되는 텍스트 벡터를 포함할 수 있다.Text data 30 is input to the first decoder 320 and the second decoder 340 , and the text data 30 may include a text vector output from the circular model 400 to which the alternative text is input. .

도 4를 참조하면, 순환 모델(400)은 대체 텍스트를 순차적으로 입력받고, 그에 대응하는 벡터, 예를 들어, 임베딩 벡터를 출력할 수 있다. 예를 들어, 1048 이라는 대체 텍스트에 대응하는 임베딩 벡터를 획득하고자 할 때, 우선 숫자 8이 순환 모델(400)의 레이어(A)로 입력된다. 다음으로 숫자 4가 레이어(A)로 입력된다. 이때, 숫자 8에 대응하는 임베딩 벡터가 숫자 4와 함께 레이어(A)로 입력된다. 즉, 이전 단계에서의 출력이 다음 단계에서 이용될 수 있는 것이다. 마지막 숫자 1까지 레이어(A)로 입력되면, 최종적으로 ht라는 임베딩 벡터가 획득되는데, 이 최종 임베딩 벡터가 이미지 편집 모델(300)로 입력될 수 있다.Referring to FIG. 4 , the circulation model 400 may sequentially receive alternative texts and output a vector corresponding thereto, for example, an embedding vector. For example, when trying to obtain an embedding vector corresponding to the alternative text of 1048 , first, the number 8 is input to the layer A of the cyclic model 400 . Next, the number 4 is input to the layer (A). At this time, the embedding vector corresponding to the number 8 is input to the layer A together with the number 4. That is, the output from the previous step can be used in the next step. When the last number 1 is input to the layer A, an embedding vector called ht is finally obtained, and this final embedding vector may be input to the image editing model 300 .

도 5는 일 실시예에 따른 제 1 이미지(10)를 나타내는 도면이고, 도 6은 일 실시예에 따른 제 2 이미지(50)를 나타내는 도면이다.5 is a diagram illustrating a first image 10 according to an embodiment, and FIG. 6 is a diagram illustrating a second image 50 according to an embodiment.

도 5에 도시된 바와 같이, 제 1 이미지(10)는 카드를 촬영한 이미지로서, 개인 정보에 해당하는 카드 번호 등을 포함하고 있다. 제 1 이미지(10)에 포함되어 있던 텍스트인 3456을 대체 텍스트로 변경하고자 할 때, 이미지 편집 장치(100)는 제 1 이미지(10)(또는 전처리된 제 1 이미지) 및 대체 텍스트에 대응하는 텍스트 데이터(30)를 이미지 편집 모델(300)로 입력할 수 있다. 3456을 포함하는 영역(11)의 위치 정보가 이미지 편집 모델(300)로 더 입력될 수도 있다.As shown in FIG. 5 , the first image 10 is a photographed image of a card, and includes a card number corresponding to personal information. When it is desired to change the text 3456 included in the first image 10 to the alternative text, the image editing apparatus 100 provides the text corresponding to the first image 10 (or the preprocessed first image) and the alternative text. The data 30 may be input into the image editing model 300 . Location information of the area 11 including 3456 may be further input to the image editing model 300 .

이미지 편집 모델(300)은 3456의 텍스트가 대체 텍스트로 변경된 제 2 이미지(50)를 생성하는데, 도 6에 도시된 바와 같이, 제 2 이미지(50)에는 3456의 텍스트 대신 0125(51)의 텍스트가 포함될 수 있다.The image editing model 300 generates a second image 50 in which the text of 3456 is changed to the alt text, and as shown in FIG. 6 , the text of 0125 (51) instead of the text of 3456 in the second image 50 is generated. may be included.

도 7은 다른 실시예에 따른 제 1 이미지(10)를 나타내는 도면이고, 도 8은 다른 실시예에 따른 제 2 이미지(50)를 나타내는 도면이다.7 is a diagram illustrating a first image 10 according to another embodiment, and FIG. 8 is a diagram illustrating a second image 50 according to another embodiment.

도 7에 도시된 바와 같이, 제 1 이미지(10)는 동영상을 구성하는 하나의 프레임으로서, 영어의 자막을 포함하고 있다. 영어 자막을 한글 자막으로 변경하고자 할 때, 이미지 편집 장치(100)는 제 1 이미지(10)(또는 전처리된 제 1 이미지) 및 한글 자막에 대응하는 텍스트 데이터(30)를 이미지 편집 모델(300)로 입력할 수 있다. 이미지 편집 장치(100)는 영어 자막을 포함하는 영역(11)의 위치 정보를 이미지 편집 모델(300)로 더 입력할 수도 있다.As shown in FIG. 7 , the first image 10 is one frame constituting a moving picture, and includes English subtitles. When changing the English subtitle to the Korean subtitle, the image editing apparatus 100 converts the first image 10 (or the pre-processed first image) and the text data 30 corresponding to the Korean subtitle to the image editing model 300 . can be entered as The image editing apparatus 100 may further input location information of the area 11 including English subtitles into the image editing model 300 .

도 8에 도시된 바와 같이, 이미지 편집 모델(300)은 영어 자막이 한글 자막(51)으로 변경된 제 2 이미지(50)를 생성할 수 있다.As shown in FIG. 8 , the image editing model 300 may generate a second image 50 in which English subtitles are changed to Korean subtitles 51 .

도 9는 일 실시예에 따른 이미지 편집 모델(300)의 훈련 방법을 설명하기 위한 도면이다.9 is a diagram for explaining a training method of the image editing model 300 according to an embodiment.

일 실시예에 따른 이미지 편집 장치(100)는 이미지 편집 모델(300)의 훈련을 위한 구별 모델(900)을 저장할 수 있다. 구별 모델(900)은 이미지 편집 모델(300)에서 출력되는 제 2 이미지(50)의 진위 여부를 판단한다. 구별 모델(900)은 편집되지 않은 학습용 이미지에 기초하여 훈련될 수 있다.The image editing apparatus 100 according to an embodiment may store the discrimination model 900 for training the image editing model 300 . The discrimination model 900 determines whether the second image 50 output from the image editing model 300 is authentic. The discrimination model 900 may be trained based on the unedited training image.

구별 모델(900)은 제 2 이미지(50)가 편집되지 않은 리얼(real) 이미지에 해당하는 경우, 리얼 이미지라는 판단 결과를 출력하고, 제 2 이미지(50)가 편집된 페이크(fake) 이미지에 해당하는 경우, 페이크 이미지라는 판단 결과를 출력할 수 있다. When the second image 50 corresponds to an unedited real image, the discrimination model 900 outputs a determination result that the second image 50 is a real image, and the second image 50 is an edited fake image. If applicable, a determination result of a fake image may be output.

이미지 편집 모델(300)은 구별 모델(900)에서 출력되는 판단 결과에 기초하여 내부 파라미터를 갱신할 수 있다. 이미지 편집 모델(300)은 구별 모델(900)이 제 2 이미지(50)를 리얼 이미지라고 판단할 수 있도록 내부 파라미터를 갱신할 수 있다. 즉, 이미지 편집 모델(300)은 구별 모델(900)을 속이기 위해 보다 정교한 제 2 이미지(50)를 생성할 수 있는 것이다.The image editing model 300 may update internal parameters based on the determination result output from the discrimination model 900 . The image editing model 300 may update internal parameters so that the discrimination model 900 may determine that the second image 50 is a real image. That is, the image editing model 300 may generate a more sophisticated second image 50 to deceive the discrimination model 900 .

일 실시예에서, 구별 모델(900)은 제 1 구별 모델(910) 및 제 2 구별 모델(930)을 포함할 수 있다. 제 1 구별 모델(910)은 제 2 이미지(50) 전체 영역에 대해 진위 여부를 판단하고, 제 2 구별 모델(930)은 제 2 이미지(50) 내 일부 영역, 예를 들어, 편집된 영역에 대해 진위 여부를 판단할 수 있다.In one embodiment, the distinct model 900 may include a first distinct model 910 and a second distinct model 930 . The first discrimination model 910 determines whether the entire region of the second image 50 is authentic or not, and the second discrimination model 930 is applied to a partial region in the second image 50, for example, an edited region. authenticity can be determined.

제 1 구별 모델(910) 및 제 2 구별 모델(930)의 판단 결과에 기초하여, 이미지 편집 모델(300)은 이미지 편집이 적용되는 일부 영역 및 전체 영역에 대해 리얼 이미지 대비 차이가 없는 제 2 이미지(50)가 생성되도록 내부 파라미터를 갱신할 수 있다.Based on the determination result of the first discrimination model 910 and the second discrimination model 930 , the image editing model 300 shows a second image having no difference compared to the real image in some regions and all regions to which image editing is applied. You can update the internal parameter so that 50 is created.

도 10은 일 실시예에 따른 이미지 편집 방법을 나타내는 순서도이다.10 is a flowchart illustrating an image editing method according to an exemplary embodiment.

S1010 단계에서, 이미지 편집 장치(100)는 제 1 이미지(10)를 획득한다. 이미지 편집 장치(100)는 네트워크를 통해 외부 장치로부터 제 1 이미지(10)를 수신하거나, 내부 저장 장치에 저장된 제 1 이미지(10)를 획득할 수 있다.In step S1010 , the image editing apparatus 100 acquires the first image 10 . The image editing apparatus 100 may receive the first image 10 from an external device through a network or acquire the first image 10 stored in an internal storage device.

제 1 이미지(10)에는 제 1 언어의 텍스트가 포함되어 있을 수 있다.The first image 10 may include text in the first language.

S1020 단계에서, 이미지 편집 장치(100)는 편집이 필요한 제 1 이미지(10) 내 일부 영역을 선택한다. In step S1020 , the image editing apparatus 100 selects a partial region in the first image 10 that needs to be edited.

이미지 편집 장치(100)는 제 1 이미지(10) 내 텍스트를 포함하는 영역을 직접 선택할 수 있다. 일 예로, 이미지 편집 장치(100)는 제 1 이미지(10)를 딥러닝 기반의 공지의 단어 영역 식별 모델에 입력하여, 제 1 이미지(10) 내 텍스트 영역을 식별할 수 있다.The image editing apparatus 100 may directly select an area including text in the first image 10 . As an example, the image editing apparatus 100 may input the first image 10 into a well-known deep learning-based word region identification model to identify a text region in the first image 10 .

다른 예로, 이미지 편집 장치(100)는 사용자로부터 제 1 이미지(10) 내 일부 영역을 선택받을 수도 있다. As another example, the image editing apparatus 100 may receive a selection of a partial region in the first image 10 from the user.

S1030 단계에서, 이미지 편집 장치(100)는 대체 텍스트를 위한 제 2 언어를 선택한다. 이미지 편집 장치(100)는 미리 결정된 제 2 언어를 선택하거나, 또는, 사용자로부터 대체 텍스트를 위한 제 2 언어를 선택받을 수 있다.In step S1030 , the image editing apparatus 100 selects a second language for the alternative text. The image editing apparatus 100 may select a predetermined second language or may receive a selection of a second language for the alternative text from the user.

S1040 단계에서, 이미지 편집 장치(100)는 제 1 이미지(10) 내 일부 영역에 포함된 텍스트에 기초하여 대체 텍스트를 결정한다.In operation S1040 , the image editing apparatus 100 determines an alternative text based on the text included in the partial region of the first image 10 .

이미지 편집 장치(100)는 제 1 이미지(10) 내 일부 영역에 포함된 제 1 언어의 텍스트를 OCR(optical character recognition)을 통해 인식하고, 인식된 텍스트에 기초하여 S1030 단계에서 선택된 제 2 언어의 텍스트를 결정할 수 있다. 예를 들어, 제 1 이미지(10)에 영어의 텍스트가 포함되어 있는 경우, 이미지 편집 장치(100)는 제 2 언어에 해당하는 한국어의 텍스트를 결정할 수 있는 것이다.The image editing apparatus 100 recognizes the text of the first language included in the partial region in the first image 10 through optical character recognition (OCR), and the second language selected in step S1030 based on the recognized text. text can be determined. For example, when the first image 10 includes English text, the image editing apparatus 100 may determine the Korean text corresponding to the second language.

이미지 편집 장치(100)는 제 1 이미지(10) 내 일부 영역에 포함된 제 1 언어의 텍스트를 인식하기 위해 딥러닝 기반의 공지의 텍스트 식별 모델을 이용할 수 있다.The image editing apparatus 100 may use a well-known deep learning-based text identification model to recognize text in the first language included in a partial region in the first image 10 .

S1050 단계에서, 이미지 편집 장치(100)는 제 1 이미지(10)(또는 전처리된 제 1 이미지), 대체 텍스트를 이미지 편집 모델(300)로 입력하고, 이미지 편집 모델(300)에서 출력되는 제 2 이미지(50)를 획득할 수 있다.In step S1050 , the image editing apparatus 100 inputs the first image 10 (or the preprocessed first image) and the alternative text to the image editing model 300 , and the second outputted from the image editing model 300 . An image 50 may be acquired.

도 10에 도시된 실시예는, 동영상에 포함된 제 1 언어의 자막을 제 2 언어의 자막으로 변경하는데 유용할 수 있다. 일 예에서, 사용자가 이미지 편집 장치(100)로 동영상을 구성하는 복수의 이미지들을 이미지 편집 장치(100)로 제공하면, 이미지 편집 장치(100)는 복수의 이미지 각각에서 텍스트 영역들을 식별하고, 복수의 이미지들에 포함된 제 1 언어의 텍스트를 제 2 언어의 텍스트로 변경할 수 있다. 다른 예에서, 사용자가 이미지 편집 장치(100)로 동영상을 제공한 경우, 이미지 편집 장치(100)는 해당 동영상을 복수의 이미지들로 분할하고, 복수의 이미지들에 포함된 제 1 언어의 텍스트를 제 2 언어의 텍스트로 변경할 수도 있다.The embodiment shown in FIG. 10 may be useful for changing a subtitle of a first language included in a video to a subtitle of a second language. In one example, when a user provides a plurality of images constituting a moving picture to the image editing apparatus 100 by using the image editing apparatus 100 , the image editing apparatus 100 identifies text areas in each of the plurality of images, The text of the first language included in the images of may be changed to the text of the second language. In another example, when the user provides a video to the image editing apparatus 100 , the image editing apparatus 100 divides the video into a plurality of images and displays the text of the first language included in the plurality of images. It can also be changed to text in a second language.

일 실시예에서, 자막 번역을 원하는 사용자가 제 1 이미지(10)를 이미지 편집 장치(100)로 제공하면, 이미지 편집 장치(100)는 딥러닝 기반의 공지의 단어 영역 식별 모델 및/또는 텍스트 식별 모델을 통해 편집이 필요한 제 1 이미지(10) 내 일부 영역을 식별하고, 식별된 일부 영역에 포함된 제 1 언어(예를 들어, 영어)의 텍스트를 확인할 수 있다. 그리고, 이미지 편집 장치(100)는 제 1 언어의 텍스트에 대응하는 제 2 언어(예를 들어, 한국어)의 텍스트를 결정한 후, 이미지 편집 모델(300)을 통해 제 2 이미지(50)를 생성할 수도 있다. 즉, 이 경우, 사용자는 제 1 이미지(10)를 이미지 편집 장치(100)로 제공하는 것만으로 번역 서비스를 제공받을 수 있는 것이다.In an embodiment, when a user who wants to translate subtitles provides the first image 10 to the image editing apparatus 100 , the image editing apparatus 100 identifies a deep learning-based well-known word region identification model and/or text identification A partial region in the first image 10 requiring editing may be identified through the model, and text in the first language (eg, English) included in the identified partial region may be identified. And, after determining the text in the second language (eg, Korean) corresponding to the text in the first language, the image editing apparatus 100 generates the second image 50 through the image editing model 300 . may be That is, in this case, the user can receive the translation service only by providing the first image 10 to the image editing apparatus 100 .

도 11은 이미지 편집을 위한 사용자 단말의 UI 화면을 나타내는 예시적인 도면이다.11 is an exemplary diagram illustrating a UI screen of a user terminal for image editing.

사용자(5)는 사용자 단말의 화면에 표시된 제 1 이미지(10)에서 편집이 필요한 영역(1110)을 선택할 수 있고, 선택된 영역(1110) 내 텍스트를 변경하기 위한 언어 종류를 '언어' 메뉴(1120)를 통해 선택할 수 있다. 또한, 사용자가 '대체 텍스트' 메뉴에서 자동 버튼(1130)을 선택하면, 이미지 편집 장치(100)는 사용자가 선택한 영역(1110) 내 텍스트를 인식하고, 인식된 텍스트에 대응하는 다른 언어의 대체 텍스트를 결정할 수 있다.The user 5 may select an area 1110 that needs to be edited from the first image 10 displayed on the screen of the user terminal, and select a language type for changing text in the selected area 1110 in the 'Language' menu 1120 ) can be selected. Also, when the user selects the automatic button 1130 from the 'alternative text' menu, the image editing apparatus 100 recognizes text in the area 1110 selected by the user, and replaces text in another language corresponding to the recognized text. can be decided

사용자가 '대체 텍스트' 메뉴에서 직접 입력 버튼(1140)을 선택하고, 도시되지 않은 텍스트 입력 박스를 통해 대체 텍스트를 직접 입력한 경우, 이미지 편집 장치(100)는 언어 종류와 관계 없이 제 1 이미지(10) 내 일부 영역(1110)에 포함된 텍스트를 사용자가 입력한 대체 텍스트로 변경할 수 있다.When the user selects the direct input button 1140 from the 'alternative text' menu and directly inputs the alt text through a text input box (not shown), the image editing apparatus 100 displays the first image ( 10) The text included in the partial region 1110 may be changed to an alternative text input by the user.

도 12는 일 실시예에 따른 이미지 편집 장치(100)의 구성을 도시하는 블록도이다.12 is a block diagram illustrating the configuration of the image editing apparatus 100 according to an exemplary embodiment.

도 12를 참조하면, 이미지 편집 장치(100)는 메모리(1210), 통신 모듈(1230) 및 프로세서(1250)를 포함할 수 있다. 메모리(1210)에는 적어도 하나의 인스트럭션이 저장될 수 있고, 프로세서(1250)는 적어도 하나의 인스트럭션에 따라 이미지 편집 모델(300), 순환 모델(400) 및 구별 모델(900) 중 적어도 하나의 훈련을 제어할 수 있다.Referring to FIG. 12 , the image editing apparatus 100 may include a memory 1210 , a communication module 1230 , and a processor 1250 . At least one instruction may be stored in the memory 1210, and the processor 1250 trains at least one of the image editing model 300, the cyclic model 400, and the discrimination model 900 according to the at least one instruction. can be controlled

도 12는 하나의 메모리(1210)와 하나의 프로세서(1250)만을 도시하고 있으나, 이미지 편집 장치(100)는 복수의 메모리 및/또는 복수의 프로세서를 포함할 수도 있다.12 illustrates only one memory 1210 and one processor 1250 , the image editing apparatus 100 may include a plurality of memories and/or a plurality of processors.

메모리(1210)는 이미지 편집 모델(300), 순환 모델(400) 및 구별 모델(900)을 저장할 수 있다.The memory 1210 may store the image editing model 300 , the cyclic model 400 , and the discrimination model 900 .

프로세서(1250)는 이미지 편집 모델(300)로 제 1 이미지(10) 및 텍스트 데이터(30)를 입력하고, 이미지 편집 모델(300)에서 출력되는 제 2 이미지(50)를 획득할 수 있다. The processor 1250 may input the first image 10 and the text data 30 into the image editing model 300 , and obtain a second image 50 output from the image editing model 300 .

일 실시예에서, 프로세서(1250)는 학습용 데이터에 기초하여 이미지 편집 모델(300), 순환 모델(400) 및 구별 모델(900) 중 적어도 하나를 훈련시킬 수 있다.In an embodiment, the processor 1250 may train at least one of the image editing model 300 , the recursive model 400 , and the discrimination model 900 based on the training data.

통신 모듈(1230)은 네트워크를 통해 외부 장치와 데이터를 송수신한다. 예를 들어, 통신 모듈(1230)은 외부 장치와 이미지를 송수신할 수 있다.The communication module 1230 transmits/receives data to and from an external device through a network. For example, the communication module 1230 may transmit/receive an image to/from an external device.

도 13은 일 실시예에 따른 이미지 편집 장치(100)가 적용될 수 있는 서버 장치(1310) 및 클라이언트 장치(1320)를 도시하는 도면이다.13 is a diagram illustrating a server device 1310 and a client device 1320 to which the image editing device 100 according to an embodiment can be applied.

이미지 편집 장치(100)는 서버 장치(1310)로 구현되거나 또는 클라이언트 장치(1320)로 구현될 수 있다.The image editing apparatus 100 may be implemented as a server device 1310 or as a client device 1320 .

이미지 편집 장치(100)가 서버 장치(1310)로 구현되는 경우, 서버 장치(1310)는 클라이언트 장치(1320)로부터 제 1 이미지(10)를 수신하고, 대체 텍스트가 합성된 제 2 이미지(50)를 생성할 수 있다. 일 예에서, 서버 장치(1310)는 네트워크를 통해 외부 장치로부터 제 1 이미지(10)를 수신하거나, 내부 저장 장치에 저장된 제 1 이미지(10)를 편집하여 제 2 이미지(50)를 생성할 수 있다.When the image editing apparatus 100 is implemented as the server apparatus 1310, the server apparatus 1310 receives the first image 10 from the client apparatus 1320, and the second image 50 in which the alternative text is synthesized. can create In one example, the server device 1310 may receive the first image 10 from an external device through a network, or edit the first image 10 stored in the internal storage device to generate the second image 50 . have.

서버 장치(1310) 제 2 이미지(50)를 내부 저장 장치에 저장한 후, 인공지능 모델의 훈련에 이용하거나, 제 2 이미지(50)를 클라이언트 장치(1320)로 전송할 수 있다. After the server device 1310 stores the second image 50 in the internal storage device, it may be used for training an artificial intelligence model or may transmit the second image 50 to the client device 1320 .

또한, 서버 장치(1310)는 클라이언트 장치(1320)를 포함한 외부 장치로부터 학습용 데이터를 수신하거나, 또는 내부에 저장된 학습용 데이터를 이용하여 이미지 편집 모델(300), 순환 모델(400) 및 구별 모델(900) 중 적어도 하나의 훈련을 제어할 수도 있다.In addition, the server device 1310 receives training data from an external device including the client device 1320 , or using the training data stored therein, the image editing model 300 , the cyclic model 400 , and the discrimination model 900 . ) may control at least one of the training.

이미지 편집 장치(100)가 클라이언트 장치(1320)로 구현되는 경우, 클라이언트 장치(1320)는 클라이언트 장치(1320)의 카메라에 의해 촬영된 이미지 또는 클라이언트 장치(1320)에 저장된 제 1 이미지(10)를 편집하여 제 2 이미지(50)를 생성할 수 있다. When the image editing device 100 is implemented as the client device 1320 , the client device 1320 may use an image captured by the camera of the client device 1320 or a first image 10 stored in the client device 1320 . The second image 50 may be created by editing.

일 실시예에서, 클라이언트 장치(1320)는 이미지 편집 모델(300), 순환 모델(400) 및 구별 모델(900) 중 적어도 하나의 실행을 위한 데이터를 서버 장치(1310)로부터 수신할 수 있다. 클라이언트 장치(1320)는 카메라 모듈을 통해 촬영된 이미지, 내부 메모리에 저장된 이미지 또는 외부 장치로부터 수신된 이미지를 이미지 편집 모델(300)에 입력시켜 해당 이미지를 편집할 수 있다.In an embodiment, the client device 1320 may receive data for executing at least one of the image editing model 300 , the cyclic model 400 , and the discrimination model 900 from the server device 1310 . The client device 1320 may edit the image by inputting an image captured through the camera module, an image stored in the internal memory, or an image received from an external device into the image editing model 300 .

클라이언트 장치(1320)는 외부 장치로부터 학습용 데이터를 수신하거나, 또는 내부에 저장된 학습용 데이터를 이용하여 이미지 편집 모델(300), 순환 모델(400) 및 구별 모델(900) 중 적어도 하나의 훈련을 제어할 수도 있다. 구현예에 따라, 클라이언트 장치(1320)는 이미지 편집 모델(300), 순환 모델(400) 및 구별 모델(900) 중 적어도 하나의 실행을 위한 데이터를 서버 장치(1310)로부터 수신하여 설치하고, 서버 장치(1310)는 학습용 데이터에 기초하여 이미지 편집 모델(300), 순환 모델(400) 및 구별 모델(900) 중 적어도 하나의 훈련을 제어할 수도 있다. 이 경우, 서버 장치(1310)는 훈련 결과 갱신된 가중치 정보만을 클라이언트 장치(1320)로 전송하고, 클라이언트 장치(1320)는 수신된 정보에 따라 이미지 편집 모델(300), 순환 모델(400) 및 구별 모델(900) 중 적어도 하나를 갱신할 수 있다.The client device 1320 may receive training data from an external device, or control training of at least one of the image editing model 300 , the cyclic model 400 , and the discrimination model 900 using the training data stored therein. may be According to the implementation, the client device 1320 receives and installs data for the execution of at least one of the image editing model 300 , the cyclic model 400 , and the discrimination model 900 from the server device 1310 , and the server The apparatus 1310 may control training of at least one of the image editing model 300 , the cyclic model 400 , and the discrimination model 900 based on the training data. In this case, the server device 1310 transmits only the weight information updated as a result of training to the client device 1320 , and the client device 1320 determines the image editing model 300 , the cyclic model 400 and the discrimination according to the received information. At least one of the models 900 may be updated.

도 13은 클라이언트 장치(1320)로서, 데스크탑 PC를 도시하고 있으나, 이에 한정되는 것은 아니고 클라이언트 장치(1320)는 노트북, 스마트폰, 태블릿 PC, AI(artificial intelligence) 로봇, AI 스피커, 웨어러블 기기 등을 포함할 수 있다.13 illustrates a desktop PC as a client device 1320, but is not limited thereto, and the client device 1320 includes a laptop computer, a smartphone, a tablet PC, an artificial intelligence (AI) robot, an AI speaker, a wearable device, and the like. may include

한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.Meanwhile, the above-described embodiments of the present disclosure can be written as a program that can be executed on a computer, and the written program can be stored in a medium.

매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The medium may continuously store a computer executable program, or may be a temporary storage for execution or download. In addition, the medium may be various recording means or storage means in the form of a single or several hardware combined, it is not limited to a medium directly connected to any computer system, and may exist distributed on a network. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like. In addition, examples of other media may include recording media or storage media managed by an app store that distributes applications, sites that supply or distribute other various software, and servers.

이상, 본 개시의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 개시의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 개시의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.Above, the technical idea of the present disclosure has been described in detail with reference to preferred embodiments, but the technical idea of the present disclosure is not limited to the above embodiments, and those of ordinary skill in the art within the scope of the technical spirit of the present disclosure Various modifications and changes are possible by the person.

100: 이미지 편집 장치
1210: 메모리
1230: 통신 모듈
1250: 프로세서
1310: 서버 장치
1320: 클라이언트 장치100: image editing device
1210: memory
1230: communication module
1250: Processor
1310: server device
1320: client device

Claims (13)

이미지 편집 장치에 의한 이미지 편집 방법에 있어서,
제 1 이미지를 딥러닝 모델에 입력하여 상기 제 1 이미지에 포함된 텍스트 영역을 식별하는 단계;
대체 텍스트에 대응하는 텍스트 데이터, 및 상기 제 1 이미지를 이미지 편집 모델에 입력하는 단계;
상기 대체 텍스트가 포함된 제 2 이미지를 상기 이미지 편집 모델로부터 획득하는 단계; 및
상기 제 2 이미지를 구별 모델에 입력하는 단계를 포함하고,
상기 이미지 편집 모델은, 상기 제 1 이미지에서 식별된 텍스트 영역 내 텍스트가 상기 대체 텍스트로 치환된 상기 제 2 이미지를 생성하고,
상기 구별 모델에서의 상기 제 2 이미지의 진위 판단 결과에 기초하여 상기 이미지 편집 모델의 내부 파라미터가 갱신되는 것을 특징으로 하는 이미지 편집 방법.
An image editing method by an image editing device, comprising:
inputting a first image into a deep learning model to identify a text area included in the first image;
inputting text data corresponding to the alternative text and the first image into an image editing model;
obtaining a second image including the alternative text from the image editing model; and
inputting the second image into a discriminative model;
The image editing model generates the second image in which text in the text area identified in the first image is replaced with the alternative text;
An internal parameter of the image editing model is updated based on a result of determining the authenticity of the second image in the discrimination model.
 제1항에 있어서,
상기 이미지 편집 모델은,
상기 제 1 이미지에 대응하는 특징 맵을 출력하는 제 1 인코더;
상기 제 1 인코더의 특징 맵 및 상기 텍스트 데이터를 입력받고, 그에 대응하는 이미지를 출력하는 제 1 디코더;
상기 제 1 디코더의 출력 이미지를 입력받고, 그에 대응하는 특징 맵을 출력하는 제 2 인코더; 및
상기 제 2 인코더의 특징 맵 및 상기 텍스트 데이터를 입력받고, 그에 대응하는 상기 제 2 이미지를 출력하는 제 2 디코더를 포함하는 것을 특징으로 하는 이미지 편집 방법.
According to claim 1,
The image editing model is
a first encoder for outputting a feature map corresponding to the first image;
a first decoder for receiving the feature map and the text data of the first encoder and outputting an image corresponding thereto;
a second encoder that receives the output image of the first decoder and outputs a feature map corresponding thereto; and
and a second decoder for receiving the feature map and the text data of the second encoder and outputting the second image corresponding thereto.
 제1항에 있어서,
상기 이미지 편집 모델은,
상기 제 1 이미지 내에서 식별된 텍스트 영역의 위치 정보를 더 입력받고, 상기 제 1 이미지의 상기 식별된 텍스트 영역에 상기 대체 텍스트를 합성하는 것을 특징으로 하는 이미지 편집 방법.
According to claim 1,
The image editing model is
The image editing method of claim 1 , further receiving positional information of the identified text area within the first image, and synthesizing the alternative text into the identified text area of the first image.
 삭제delete 제1항에 있어서,
상기 구별 모델은,
상기 제 2 이미지의 전체 영역에 대한 진위 여부를 판단하는 제 1 구별 모델; 및
상기 제 2 이미지의 일부 영역에 대한 진위 여부를 판단하는 제 2 구별 모델을 포함하는 것을 특징으로 하는 이미지 편집 방법.
According to claim 1,
The distinction model is
a first discrimination model for determining the authenticity of the entire region of the second image; and
and a second discrimination model for determining whether the partial region of the second image is authentic or not.
 제1항에 있어서,
상기 텍스트 데이터는,
대체 텍스트에 기초하여 순환 모델로부터 출력되는 텍스트 벡터를 포함하는 것을 특징으로 하는 이미지 편집 방법.
According to claim 1,
The text data is
An image editing method comprising a text vector output from a circular model based on the alternative text.
 제1항에 있어서,
상기 제 1 이미지는, 카드 이미지를 포함하고,
상기 대체 텍스트는, 복수의 숫자를 포함하되,
상기 이미지 편집 모델은, 상기 카드 이미지에서 식별된 텍스트 영역 내 숫자들이 상기 복수의 숫자로 치환된 상기 제 2 이미지를 생성하는 것을 특징으로 하는 이미지 편집 방법.
According to claim 1,
The first image includes a card image,
The alternative text includes a plurality of numbers,
The image editing model generates the second image in which numbers in the text area identified in the card image are replaced with the plurality of numbers.
 제1항에 있어서,
상기 이미지 편집 방법은,
상기 제 1 이미지를 상기 이미지 편집 모델에 입력하기 전에, 상기 제 1 이미지에서 식별된 텍스트 영역을 제거하는 전처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 편집 방법.
According to claim 1,
The image editing method is
and performing pre-processing of removing the identified text area from the first image before inputting the first image into the image editing model.
 제1항에 있어서,
상기 제 1 이미지 내에서 식별된 텍스트 영역에는 제 1 언어의 텍스트가 포함되며,
상기 이미지 편집 모델은,
상기 제 1 이미지에서 식별된 텍스트 영역 내 상기 제 1 언어의 텍스트가 제 2 언어의 대체 텍스트로 치환된 상기 제 2 이미지를 생성하는 것을 특징으로 하는 이미지 편집 방법.
According to claim 1,
the text area identified in the first image includes text in a first language;
The image editing model is
and generating the second image in which text in the first language in the text area identified in the first image is replaced with alternative text in a second language.
 제9항에 있어서,
상기 이미지 편집 방법은,
상기 제 1 이미지에서 식별된 텍스트 영역에 포함된 상기 제 1 언어의 텍스트를 식별하는 단계;
식별된 상기 제 1 언어의 텍스트에 대응하는 상기 제 2 언어의 대체 텍스트를 결정하는 단계; 및
상기 결정된 제 2 언어의 대체 텍스트에 대응하는 텍스트 데이터 및 상기 제 1 이미지를 상기 이미지 편집 모델에 입력하는 단계를 더 포함하는 것을 특징으로 하는 이미지 편집 방법.
10. The method of claim 9,
The image editing method is
identifying text in the first language included in the identified text area in the first image;
determining an alternative text in the second language that corresponds to the identified text in the first language; and
and inputting text data corresponding to the determined alternative text of the second language and the first image into the image editing model.
 하드웨어와 결합하여 제1항 내지 제3항, 및 제5항 내지 제10항 중 어느 하나의 항의 이미지 편집 방법을 실행하기 위하여 매체에 저장된 프로그램.
A program stored in a medium to execute the image editing method of any one of claims 1 to 3 and claim 5 to 10 in combination with hardware.
 프로세서; 및
적어도 하나의 인스트럭션을 저장하는 메모리를 포함하되,
상기 프로세서는 상기 적어도 하나의 인스트럭션에 따라,
제 1 이미지를 딥러닝 모델에 입력하여 상기 제 1 이미지에 포함된 텍스트 영역을 식별하고,
대체 텍스트에 대응하는 텍스트 데이터, 및 상기 제 1 이미지를 이미지 편집 모델에 입력하고,
상기 대체 텍스트가 포함된 제 2 이미지를 상기 이미지 편집 모델로부터 획득하고,
상기 제 2 이미지를 구별 모델에 입력하되,
상기 이미지 편집 모델은, 상기 제 1 이미지에서 식별된 텍스트 영역 내 텍스트가 상기 대체 텍스트로 치환된 상기 제 2 이미지를 생성하며,
상기 구별 모델에서의 상기 제 2 이미지의 진위 판단 결과에 기초하여 상기 이미지 편집 모델의 내부 파라미터가 갱신되는 것을 특징으로 하는 이미지 편집 장치.
processor; and
a memory for storing at least one instruction;
The processor according to the at least one instruction,
Input the first image to the deep learning model to identify the text area included in the first image,
inputting text data corresponding to the alternative text, and the first image, into an image editing model;
obtaining a second image including the alternative text from the image editing model;
Input the second image to the discrimination model,
The image editing model generates the second image in which text in the text area identified in the first image is replaced with the alternative text,
An internal parameter of the image editing model is updated based on a result of determining the authenticity of the second image in the discrimination model.
 이미지 편집 장치에 의한 이미지 편집 방법에 있어서,
제 1 이미지를 딥러닝 모델에 입력하여 상기 제 1 이미지에 포함된 텍스트 영역을 식별하는 단계;
대체 텍스트에 대응하는 텍스트 데이터, 및 상기 제 1 이미지를 이미지 편집 모델에 입력하는 단계; 및
상기 대체 텍스트가 포함된 제 2 이미지를 상기 이미지 편집 모델로부터 획득하는 단계를 포함하되,
상기 이미지 편집 모델은, 상기 제 1 이미지에서 식별된 텍스트 영역 내 텍스트가 상기 대체 텍스트로 치환된 상기 제 2 이미지를 생성하며,
상기 이미지 편집 모델은,
상기 제 1 이미지에 대응하는 특징 맵을 출력하는 제 1 인코더;
상기 제 1 인코더의 특징 맵 및 상기 텍스트 데이터를 입력받고, 그에 대응하는 이미지를 출력하는 제 1 디코더;
상기 제 1 디코더의 출력 이미지를 입력받고, 그에 대응하는 특징 맵을 출력하는 제 2 인코더; 및
상기 제 2 인코더의 특징 맵 및 상기 텍스트 데이터를 입력받고, 그에 대응하는 상기 제 2 이미지를 출력하는 제 2 디코더를 포함하는 것을 특징으로 하는 이미지 편집 방법.An image editing method by an image editing device, comprising:
inputting a first image into a deep learning model to identify a text area included in the first image;
inputting text data corresponding to the alternative text and the first image into an image editing model; and
Comprising the step of obtaining a second image including the alternative text from the image editing model,
The image editing model generates the second image in which text in the text area identified in the first image is replaced with the alternative text,
The image editing model is
a first encoder for outputting a feature map corresponding to the first image;
a first decoder for receiving the feature map and the text data of the first encoder and outputting an image corresponding thereto;
a second encoder that receives the output image of the first decoder and outputs a feature map corresponding thereto; and
and a second decoder for receiving the feature map and the text data of the second encoder and outputting the second image corresponding thereto.
KR1020190035117A 2019-03-27 2019-03-27 Image editting method and apparatus using artificial intelligence model KR102279164B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190035117A KR102279164B1 (en) 2019-03-27 2019-03-27 Image editting method and apparatus using artificial intelligence model
JP2020054014A JP6975281B2 (en) 2019-03-27 2020-03-25 Image editing method using artificial intelligence model and its device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190035117A KR102279164B1 (en) 2019-03-27 2019-03-27 Image editting method and apparatus using artificial intelligence model

Publications (2)

Publication Number Publication Date
KR20200114034A KR20200114034A (en) 2020-10-07
KR102279164B1 true KR102279164B1 (en) 2021-07-19

Family

ID=72643601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190035117A KR102279164B1 (en) 2019-03-27 2019-03-27 Image editting method and apparatus using artificial intelligence model

Country Status (2)

Country Link
JP (1) JP6975281B2 (en)
KR (1) KR102279164B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288835A (en) * 2020-10-29 2021-01-29 维沃移动通信有限公司 Image text extraction method and device and electronic equipment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008506166A (en) * 2004-06-22 2008-02-28 ジェイ２・グローバル・コミュニケーションズ Image content changes in electronic messaging protocol messages
WO2009154484A2 (en) 2008-06-20 2009-12-23 Business Intelligence Solutions Safe B.V. Methods, apparatus and systems for data visualization and related applications
KR101377601B1 (en) * 2012-09-20 2014-03-25 주식회사 인지소프트 System and method for providing recognition and translation of multiple language in natural scene image using mobile camera
WO2016059505A1 (en) 2014-10-14 2016-04-21 Uab "Locatory.Com" A system and a method for recognition of aerospace parts in unstructured text
JP6081984B2 (en) * 2012-03-14 2017-02-15 パナソニック株式会社 Receiving device, broadcast communication cooperation system, and broadcast communication cooperation method
US20190043246A1 (en) 2017-07-13 2019-02-07 Cambrian Tech, LLC Pattern recognition systems and methods for performing segmentation on surfaces and objects

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0230565A (en) * 1988-07-20 1990-01-31 Toshiba Corp Small set printing system
JPH04260987A (en) * 1990-10-09 1992-09-16 Nec Corp Character recognizing device
MXPA02004015A (en) * 1999-10-22 2003-09-25 Activesky Inc An object oriented video system.
KR101263332B1 (en) * 2009-09-11 2013-05-20 한국전자통신연구원 Automatic translation apparatus by using user interaction in mobile device and its method
JP2012133663A (en) * 2010-12-22 2012-07-12 Fujifilm Corp Viewer device, browsing system, viewer program and recording medium
KR101883178B1 (en) * 2011-10-12 2018-07-30 엘지전자 주식회사 Image display apparatus, and method for operating the same
KR101456183B1 (en) * 2013-12-13 2014-10-31 성균관대학교산학협력단 Method of selective removal of text in video and apparatus for performing the same
US10416868B2 (en) * 2016-02-29 2019-09-17 Myscript Method and system for character insertion in a character string
KR102630668B1 (en) * 2016-12-06 2024-01-30 한국전자통신연구원 System and method for expanding input text automatically

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008506166A (en) * 2004-06-22 2008-02-28 ジェイ２・グローバル・コミュニケーションズ Image content changes in electronic messaging protocol messages
WO2009154484A2 (en) 2008-06-20 2009-12-23 Business Intelligence Solutions Safe B.V. Methods, apparatus and systems for data visualization and related applications
JP6081984B2 (en) * 2012-03-14 2017-02-15 パナソニック株式会社 Receiving device, broadcast communication cooperation system, and broadcast communication cooperation method
KR101377601B1 (en) * 2012-09-20 2014-03-25 주식회사 인지소프트 System and method for providing recognition and translation of multiple language in natural scene image using mobile camera
WO2016059505A1 (en) 2014-10-14 2016-04-21 Uab "Locatory.Com" A system and a method for recognition of aerospace parts in unstructured text
US20190043246A1 (en) 2017-07-13 2019-02-07 Cambrian Tech, LLC Pattern recognition systems and methods for performing segmentation on surfaces and objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Joo, Donggyu, et al. "Generating a fusion image: One's identity and another's shape." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2018)*

Also Published As

Publication number Publication date
JP2020161140A (en) 2020-10-01
JP6975281B2 (en) 2021-12-01
KR20200114034A (en) 2020-10-07

Similar Documents

Publication Publication Date Title
CN110414519B (en) Picture character recognition method and device and storage medium
US11330342B2 (en) Method and apparatus for generating caption
CN111260545B (en) Method and device for generating image
CN108924599A (en) Video caption display methods and device
US20120196260A1 (en) Electronic Comic (E-Comic) Metadata Processing
US20100013836A1 (en) Method and apparatus for producing animation
CN110505498B (en) Video processing method, video playing method, video processing device, video playing device and computer readable medium
CN111754267B (en) Data processing method and system based on block chain
US11037267B2 (en) Systems and methods for multimedia processing
CN112995749B (en) Video subtitle processing method, device, equipment and storage medium
CN112866776B (en) Video generation method and device
KR101457377B1 (en) User authetication method based on mission gesture recognition, and computer-readable recording medium with user authetication program based on mission gesture recognition
KR102279164B1 (en) Image editting method and apparatus using artificial intelligence model
CN113727039B (en) Video generation method and device, electronic equipment and storage medium
KR102550305B1 (en) Video automatic editing method and syste based on machine learning
KR20200022225A (en) Method, apparatus and computer program for generating cartoon data
KR102281298B1 (en) System and method for video synthesis based on artificial intelligence
KR102576977B1 (en) Electronic device for providing interactive education service, and operating method thereof
KR20220113906A (en) Stand type smart reading device and control method thereof
KR102367581B1 (en) Automatic tool for video composing and a computer-readable medium storing a program that can execute it
KR20140134844A (en) Method and device for photographing based on objects
CN113886477B (en) Face recognition method and device
KR20210059195A (en) Apparatus and method for providing focusing image of an objent
CN116167372A (en) Subtitle processing method and device, electronic equipment and storage medium
CN114511909A (en) Face brushing payment intention identification method, device and equipment

Legal Events

Date Code Title Description
E601 Decision to refuse application
E902 Notification of reason for refusal
GRNT Written decision to grant