KR102354681B1 - A neural network model-based image augmentation method, server, and computer program - Google Patents

A neural network model-based image augmentation method, server, and computer program Download PDF

Info

Publication number
KR102354681B1
KR102354681B1 KR1020210152397A KR20210152397A KR102354681B1 KR 102354681 B1 KR102354681 B1 KR 102354681B1 KR 1020210152397 A KR1020210152397 A KR 1020210152397A KR 20210152397 A KR20210152397 A KR 20210152397A KR 102354681 B1 KR102354681 B1 KR 102354681B1
Authority
KR
South Korea
Prior art keywords
image
original image
similar
neural network
original
Prior art date
Application number
KR1020210152397A
Other languages
Korean (ko)
Other versions
KR102354681B9 (en
Inventor
김형복
박예성
이진석
윤석원
Original Assignee
주식회사 테스트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테스트웍스 filed Critical 주식회사 테스트웍스
Priority to KR1020210152397A priority Critical patent/KR102354681B1/en
Application granted granted Critical
Publication of KR102354681B1 publication Critical patent/KR102354681B1/en
Publication of KR102354681B9 publication Critical patent/KR102354681B9/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0056—Geometric image transformation in the plane of the image the transformation method being selected according to the characteristics of the input image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

A neural network model-based image augmentation method of the present invention includes the steps of: obtaining an original image for image augmentation; obtaining a similar image based on the obtained original image; transforming the original image based on a predetermined transformation function; and generating a composite image by synthesizing a virtual image with the transformed original image using a neural network model pre-trained based on similar images. The neural network model may be pre-trained to synthesize the virtual image in an extended region located outside the transformed original image.

Description

신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램{A neural network model-based image augmentation method, server, and computer program}A neural network model-based image augmentation method, server, and computer program {A neural network model-based image augmentation method, server, and computer program}

본 발명은 신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램에 관한 것이다.The present invention relates to an image augmentation method based on a neural network model, a server, and a computer program.

딥러닝 알고리즘은 인간 뇌의 뉴런들이 모여 신호를 전달하는 프로세스를 모델링하여 만든 알고리즘으로 인간의 뇌에서 진행되는 의사결정 과정을 모방한 인공 신경망(Artificial Neural Network)구조를 통해 학습을 한다.The deep learning algorithm is an algorithm created by modeling the process in which neurons in the human brain gather and transmit signals. It learns through an artificial neural network structure that mimics the decision-making process in the human brain.

딥러닝은 수집된 수많은 데이터를 사용하여 주어진 입력에 대해 올바른 출력을 위해 데이터 자체의 중요한 특징을 기계 스스로 학습을 한다. 따라서, 딥러닝은 성능 향상을 위해서 풍부한 학습 데이터를 확보하는 것이 중요한 목적 중 하나다.Deep learning uses a large number of collected data to learn important characteristics of the data itself in order to produce the correct output for a given input. Therefore, one of the important purposes of deep learning is to secure rich learning data to improve performance.

종래에는 많은 학습데이터를 확보하기 위해 하나의 이미지를 이동(Shift), 이미지 확대/축소(Zooming), 이미지 좌우반전(Vertical flip), 이미지 상하반전(Horizontal flip), 이미지 회전(Rotate), 이미지 밝기 조절(brightness) 등의 방식으로 이미지 내 컨텐츠(Content)는 변형하지 않고, 단순히 이미지의 영역 및 범위를 조절하는 형태의 학습 데이터 증강 방식을 이용하였다.Conventionally, in order to secure a lot of learning data, one image is moved (Shift), an image is enlarged/reduced (Zooming), an image is reversed horizontally (Vertical flip), an image is vertically reversed (Horizontal flip), an image rotation (Rotate), an image brightness The learning data augmentation method in the form of simply adjusting the area and range of the image was used without changing the content in the image in a manner such as brightness.

종래의 학습 데이터 증강 방식은 학습 데이터의 다양성을 확보에 제약이 있다는 단점이 있으며, 특히 종래의 학습 데이터 증강 방식은 기존 이미지에서 새로운 각도에서 촬영된 이미지를 증강하는 것은 불가능하다는 단점이 있다.The conventional method of augmenting learning data has a disadvantage in that there is a limitation in securing the diversity of the learning data, and in particular, the method of augmenting learning data in the prior art has a disadvantage that it is impossible to augment an image taken from a new angle in an existing image.

또한, 증강의 과정에서 이미지 내 공백의 처리를 위해 단순 패딩(Padding) 방법을 이용할 경우, 주변 환경의 특징을 반영하지 못해 생성된 이미지의 품질이 낮아진다는 단점이 있다.In addition, when a simple padding method is used to process spaces in the image in the process of augmentation, there is a disadvantage in that the quality of the generated image is lowered because the characteristics of the surrounding environment are not reflected.

이러한 종래의 학습 데이터 증강 방식의 단점으로 인하여 종래의 학습 데이터 증강 방식으로 생성된 학습 데이터로 딥러닝을 학습하는 경우, 딥러닝의 성능 향상의 한계에 부딪히게 된다Due to the disadvantages of the conventional learning data augmentation method, when deep learning is learned with the learning data generated by the conventional learning data augmentation method, the performance improvement of deep learning is encountered.

따라서, 딥러닝의 성능 향상을 위해서 고품질의 다양한 각도에서 촬영된 이미지를 증강하는 방법이 요구되고 있다.Therefore, in order to improve the performance of deep learning, there is a demand for a method of augmenting images taken from various angles of high quality.

본 발명은 인공지능 모델의 학습을 위해서 다양한 상황의 많은 양의 데이터 확보가 요구됨에 따라 다양한 학습 데이터 확보를 위한 신경망 모델 기반의 이미지 증강 방법, 장치 및 컴퓨터 프로그램을 제공함에 있다.An object of the present invention is to provide an image augmentation method, apparatus, and computer program based on a neural network model for securing various learning data as it is required to secure a large amount of data in various situations for learning an artificial intelligence model.

구체적으로, 본 발명은 고품질의 다양한 촬영 각도를 가지는 이미지를 증강하기 위한 이미지 증강 방법, 장치 및 컴퓨터 프로그램을 제공함에 있다.Specifically, an object of the present invention is to provide an image augmentation method, apparatus, and computer program for enhancing high-quality images having various shooting angles.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 신경망 모델 기반의 이미지 증강 방법은 이미지 증강을 위한 원본 이미지를 획득하는 단계, 획득된 상기 원본 이미지를 기초로 유사 이미지를 획득하는 단계, 기 결정된 변형 함수를 기초로 상기 원본 이미지를 변형하는 단계 및 상기 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성하는 단계를 포함하고 상기 신경망 모델은 가상 이미지를 상기 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습될 수 있다.An image augmentation method based on a neural network model according to an embodiment of the present invention for achieving the above object includes: acquiring an original image for image augmentation; acquiring a similar image based on the acquired original image; Transforming the original image based on the determined transformation function and generating a composite image by synthesizing a virtual image with the transformed original image using a neural network model previously learned based on the similar image, wherein the neural network model may be pre-learned so that the virtual image is synthesized in an extended area located outside the transformed original image.

또한, 상기 신경망 모델은 상기 변형된 원본 이미지를 기초로 상기 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 상기 유사 이미지를 기초로 상기 거친 가상 이미지를 정제하여 상기 합성 이미지를 출력하는 제2 네트워크로 구성될 수 있다.In addition, the neural network model is a first network for synthesizing a rough virtual image in an extended region of the deformed original image based on the transformed original image and refining the coarse virtual image based on the similar image to generate the synthesized image. It may be configured as a second network that outputs.

또한, 상기 원본 이미지에서 이미지 특징 정보를 추출하는 단계, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하는 단계, 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득하는 단계를 더 포함할 수 있다.The method may further include extracting image characteristic information from the original image, determining a search parameter based on the extracted image characteristic information, and obtaining a similar image by searching for a similar image based on the determined search parameter. can

또한, 상기 원본 이미지를 변형하기 위한 변형 함수를 결정하는 단계를 더 포함하고, 상기 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수일 수 있다.The method may further include determining a transform function for transforming the original image, wherein the transform function may be a function for changing a photographing angle of the original image.

한편, 신경망 모델 기반의 이미지 증강 서버는 이미지 증강을 위한 원본 이미지를 획득하는 원본 이미지 획득부, 획득된 상기 원본 이미지를 기초로 유사 이미지를 획득하는 유사 이미지 획득부, 기 결정된 변형 함수를 기초로 상기 원본 이미지를 변형하는 이미지 변형부 및 상기 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성하는 이미지 합성부를 포함하고 상기 신경망 모델은 상기 유사 이미지를 기초로 가상 이미지를 상기 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습될 수 있다.On the other hand, the neural network model-based image augmentation server includes an original image acquisition unit that acquires an original image for image augmentation, a similarity image acquisition unit that acquires a similar image based on the acquired original image, and a predetermined transformation function based on the An image transforming unit that transforms an original image and an image synthesizing unit that generates a synthesized image by synthesizing a virtual image with a transformed original image using a neural network model previously learned based on the similar image, wherein the neural network model includes the similar image Based on , the virtual image may be pre-learned to be synthesized in an extended area located outside the transformed original image.

또한, 상기 신경망 모델은 상기 변형된 원본 이미지를 기초로 상기 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 상기 유사 이미지를 기초로 상기 거친 가상 이미지를 정제하여 상기 합성 이미지를 출력하는 제2 네트워크로 구성될 수 있다.In addition, the neural network model is a first network for synthesizing a rough virtual image in an extended region of the deformed original image based on the transformed original image and refining the coarse virtual image based on the similar image to generate the synthesized image. It may be configured as a second network that outputs.

또한, 상기 유사 이미지 획득부는 상기 원본 이미지에서 이미지 특징 정보를 추출하고, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하며, 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득할 수 있다.In addition, the similar image obtaining unit may obtain a similar image by extracting image characteristic information from the original image, determining a search parameter based on the extracted image characteristic information, and searching for a similar image based on the determined search parameter. .

또한, 상기 이미지 변형부는 상기 원본 이미지를 변형하기 위한 변형 함수를 결정하며, 상기 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수일 수 있다.Also, the image transforming unit may determine a transform function for transforming the original image, and the transform function may be a function for changing a photographing angle of the original image.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 기록 매체에 저장된 프로그램은 상술한 이미지 증강 방법을 실행하기 위한 프로그램 코드를 포함할 수 있다.Meanwhile, a program stored in a recording medium according to an embodiment of the present invention for achieving the above object may include a program code for executing the above-described image augmentation method.

본 발명에 따르면, 하나의 시점을 가지는 원본 이미지로부터 다양한 시점을 가지는 합성 이미지를 생성할 수 있다.According to the present invention, a composite image having various viewpoints can be generated from an original image having one viewpoint.

또한, 본 발명은 원본 이미지와 다른 촬영 각도를 가지는 합성 이미지를 생성하여 다양한 학습 데이터를 확보할 수 있다.In addition, the present invention can secure a variety of learning data by generating a composite image having a different shooting angle from the original image.

또한, 본 발명은 원본 이미지와 유사한 유사 이미지를 이용하여 합성 이미지를 생성함으로써 보다 고품질의 합성 이미지를 생성할 수 있다.In addition, according to the present invention, a composite image of higher quality can be generated by generating a composite image using a similar image similar to the original image.

도 1은 본 발명의 일 실시예에 따른 신경망 모델 기반의 이미지 증강 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 신경망 모델 기반의 이미지 증강 방법을 보다 구체적으로 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 유사 이미지를 획득하는 과정을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 신경망 모델의 학습 방법을 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 신경망 모델을 이용한 합성 이미지를 생성 방법을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 AI 모델의 에러율을 나타낸 예시도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 증강 서버의 구성을 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 VR 영상을 나타낸 예시도이다.1 is a flowchart illustrating an image augmentation method based on a neural network model according to an embodiment of the present invention.
2 is a flowchart illustrating in more detail an image augmentation method based on a neural network model according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a process of acquiring a similar image according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a method of learning a neural network model according to an embodiment of the present invention.
5 is an exemplary diagram illustrating a method for generating a composite image using a neural network model according to an embodiment of the present invention.
6 is an exemplary diagram illustrating an error rate of an AI model according to an embodiment of the present invention.
7 is a block diagram illustrating the configuration of an image augmentation server according to an embodiment of the present invention.
8 is an exemplary view illustrating a VR image according to an embodiment of the present invention.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following is merely illustrative of the principles of the invention. Therefore, those skilled in the art will be able to devise various devices that, although not explicitly described or shown herein, embody the principles of the present invention and are included within the spirit and scope of the present invention. In addition, all conditional terms and examples listed herein are, in principle, expressly intended only for the purpose of understanding the concept of the present invention, and it should be understood that they are not limited to the specifically enumerated embodiments and states as such. do.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. The above objects, features and advantages will become more apparent through the following detailed description in relation to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. There will be.

또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. In addition, in the description of the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

이하에는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 대하여 상세하게 설명한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 신경망 모델 기반의 이미지 증강 방법을 나타낸 흐름도이다.1 is a flowchart illustrating an image augmentation method based on a neural network model according to an embodiment of the present invention.

도 1을 참조하면, 신경망 모델 기반의 이미지 증강 서버(100)는 이미지 증강을 위한 원본 이미지를 획득할 수 있다(S100).Referring to FIG. 1 , the neural network model-based image augmentation server 100 may acquire an original image for image augmentation ( S100 ).

구체적으로, 이미지 증강 서버(100)는 관리자로부터 이미지 증강의 대상이 되는 원본 이미지를 입력 받아 원본 이미지를 획득할 수 있다. 여기서, 관리자는 이미지 증강을 위해 이미지 증강 서버(100)를 관리하는 자로써, 이미지 증강을 위해 해당 이미지 증강 서버(100)를 이용하는 사용자를 포함하는 개념일 수 있다.Specifically, the image augmentation server 100 may acquire an original image by receiving an original image to be image augmented from an administrator. Here, the manager is a person who manages the image augmentation server 100 for image augmentation, and may be a concept including a user who uses the corresponding image augmentation server 100 for image augmentation.

또한, 이미지 증강 서버(100)는 관리자의 이미지 증강 명령을 기초로 데이터베이스로부터 원본 이미지를 획득할 수 있다. 이때, 이미지 증강 서버(100)는 이미지 증강 서버(100)의 리소스를 고려하여 원본 이미지를 소정 간격으로 획득할 수 있다. 여기서, 이미지 증강 명령에는 이미지 증강의 대상인 원본 이미지에 대한 정보가 포함될 수 있다.Also, the image augmentation server 100 may acquire the original image from the database based on the image augmentation command of the administrator. In this case, the image augmentation server 100 may acquire the original image at predetermined intervals in consideration of the resource of the image augmentation server 100 . Here, the image augmentation command may include information on an original image that is an image augmentation target.

또한, 이미지 증강 서버(100)는 획득된 원본 이미지를 기초로 유사 이미지를 획득할 수 있다(S200). 이와 관련하여 도 2를 추가로 참조하여 설명한다.Also, the image augmentation server 100 may acquire a similar image based on the acquired original image (S200). In this regard, it will be further described with reference to FIG. 2 .

도 2는 본 발명의 일 실시예에 따른 신경망 모델 기반의 이미지 증강 방법을 보다 구체적으로 나타낸 흐름도이다.2 is a flowchart illustrating in more detail an image augmentation method based on a neural network model according to an embodiment of the present invention.

도 2를 참조하면, 이미지 증강 서버(100)는 원본 이미지에서 이미지 특징 정보를 추출할 수 있다(S210). 여기서, 이미지 특징 정보에는 원본 이미지의 색감, 질감, 카메라 세팅, 날짜와 시간, 셔터 스피드, 노출, 사이즈, 압축, 카메라 이름, 색 정보 및 촬영 구도 등과 같은 원본 이미지의 특징을 나타내는 정보들이 포함될 수 있다.Referring to FIG. 2 , the image augmentation server 100 may extract image feature information from the original image ( S210 ). Here, the image characteristic information may include information indicating characteristics of the original image, such as color, texture, camera settings, date and time, shutter speed, exposure, size, compression, camera name, color information, and shooting composition of the original image. .

구체적으로, 이미지 증강 서버(100)는 원본 이미지의 메타데이터(metadata)에서 이미지 특징 정보를 추출할 수 있다.Specifically, the image augmentation server 100 may extract image feature information from metadata of the original image.

또한, 이미지 증강 서버(100)는 원본 이미지를 영상 분석(analysis of images)하여 이미지 특징 정보를 추출할 수 있다. 이때, 원본 이미지에서 이미지 특징 정보를 추출하도록 학습된 신경망 모델이 이용될 수도 있다.Also, the image augmentation server 100 may extract image feature information by analyzing the original image. In this case, a neural network model trained to extract image feature information from the original image may be used.

즉, 이미지 증강 서버(100)는 메타데이터(metadata) 및 영상 분석(analysis of images) 중 적어도 하나 이상을 이용하여 이미지 특징 정보를 추출할 수 있다.That is, the image augmentation server 100 may extract image feature information by using at least one of metadata and analysis of images.

다음, 이미지 증강 서버(100)는 원본 이미지에서 추출된 이미지 특징 정보를 기초로 유사 이미지를 검색하기 위한 검색 파라미터를 결정할 수 있다(S220).Next, the image augmentation server 100 may determine a search parameter for searching a similar image based on the image feature information extracted from the original image (S220).

구체적으로, 이미지 증강 서버(100)는 추출된 이미지 특징 정보 내 특징 정보 값을 기준으로 소정 범위의 값을 검색 파라미터로 결정할 수 있다.Specifically, the image augmentation server 100 may determine a value within a predetermined range as a search parameter based on the characteristic information value in the extracted image characteristic information.

추출된 이미지 특징 정보 내 노출, 플래시 사용 여부, 해상도 및 위치 정보, 또는 셔터 스피드를 이용할 수 있으며 예로 셔터 스피드가 1/2000초인 경우, 이미지 증강 서버(100)는 셔터 스피드 1/1500초 내지 1/2500초 범위의 셔터 스피드 값을 검색 파라미터 중 하나로 결정할 수 있다.Exposure in the extracted image feature information, whether flash is used, resolution and location information, or shutter speed can be used. For example, when the shutter speed is 1/2000 second, the image augmentation server 100 provides a shutter speed of 1/1500 second to 1/ A shutter speed value in the range of 2500 seconds can be determined as one of the search parameters.

한편, 이미지 증강 서버(100)는 신경망 모델 내 제2 네트워크의 제2 가중치에 따라 검색 파라미터 내 소정 범위의 값을 가변적으로 결정할 수 있으며, 검색되는 유사 이미지의 개수에 따라 검색 파라미터 내 소정 범위의 값을 가변적으로 결정할 수도 있다.Meanwhile, the image augmentation server 100 may variably determine a value within a predetermined range in the search parameter according to the second weight of the second network in the neural network model, and a value within a predetermined range in the search parameter according to the number of similar images to be searched for. may be variably determined.

또는 신경망 모델의 출력으로 이미지 내 객체의 분류 값을 이용하여 검색 파라미터로 이용하는 것이 가능하다. 이를 통해 동일하거나 유사한 객체를 포함하도록 유사 이미지의 검색 기준을 설정할 수 있다.Alternatively, it is possible to use the classification value of the object in the image as the output of the neural network model as a search parameter. Through this, it is possible to set search criteria for similar images to include the same or similar objects.

그리고, 이미지 증강 서버(100)는 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득할 수 있다(S230).Then, the image augmentation server 100 may obtain a similar image by searching for a similar image based on the determined search parameter ( S230 ).

구체적으로, 이미지 증강 서버(100)는 결정된 검색 파라미터를 기초로 이미지 증강 서버(100)의 데이터베이스(150) 또는 외부 저장 장치 내 유사 이미지를 검색하고, 검색된 유사 이미지들 중 일부를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.Specifically, the image augmentation server 100 searches for similar images in the database 150 or an external storage device of the image augmentation server 100 based on the determined search parameter, and uses some of the searched similar images for image enhancement. It can be obtained as an image.

또한, 이미지 증강 서버(100)는 검색된 유사 이미지들과 원본 이미지 사이의 유사도를 산출하고, 산출된 유사도와 유사도 기준값을 비교하여 검색된 유사 이미지 중 하나의 유사 이미지만을 획득하거나 복수의 유사 이미지를 획득할 수 있다. 이때, 유사도는 원본 이미지와 유사 이미지 간의 이미지 특징 정보의 유사한 정도를 나타내는 값이며, 유사도 기준값은 검색된 유사 이미지를 선택하기 위한 기준이 되는 값을 의미하며, 100% ~ 95% : 1장, 94% ~ 90% : 2장 및 89% ~ 85% : 3장 등과 같이 각 구간별로 획득할 유사 이미지 개수가 매핑된 값일 수 있다.In addition, the image augmentation server 100 calculates the similarity between the searched similar images and the original image, and compares the calculated similarity with a similarity reference value to obtain only one similar image among the searched similar images or to obtain a plurality of similar images. can At this time, the similarity is a value indicating the degree of similarity of image characteristic information between the original image and the similar image, and the similarity reference value means a standard value for selecting the searched similar image, 100% ~ 95%: 1 sheet, 94% ~90%: 2 pictures, 89% ~ 85%: 3 pictures, etc., may be a value mapped to the number of similar images to be acquired for each section.

즉, 이미지 증강 서버(100)는 검색된 유사 이미지들의 유사도에 따라 가변적으로 유사 이미지를 획득할 수 있다.That is, the image augmentation server 100 may variably acquire similar images according to the similarity of the searched similar images.

이와 관련하여 도 3을 참조하여 설명한다.In this regard, it will be described with reference to FIG. 3 .

도 3은 본 발명의 일 실시예에 따른 유사 이미지를 획득하는 과정을 나타낸 예시도이다.3 is an exemplary diagram illustrating a process of acquiring a similar image according to an embodiment of the present invention.

도 3을 참조하면, 이미지 증강 서버(100)는 원본 이미지(31)에서 이미지 특징 정보를 추출하고, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하고, 검색 파라미터를 기초로 데이터베이스(data base)에서 적어도 하나 이상의 유사 이미지(33a, 33b, 33c, 34d : 33)를 검색할 수 있다.Referring to FIG. 3 , the image augmentation server 100 extracts image characteristic information from the original image 31 , determines a search parameter based on the extracted image characteristic information, and performs a database (data base) based on the search parameter. at least one or more similar images 33a, 33b, 33c, 34d: 33 may be searched for.

그리고, 검색된 제1 유사 이미지(33a), 제2 유사 이미지(33b), 제3 유사 이미지(33c) 및 제4 유사 이미지(34d)의 각각의 유사도를 판단할 수 있다.Also, it is possible to determine the degree of similarity of each of the searched first similarity image 33a, second similarity image 33b, third similarity image 33c, and fourth similarity image 34d.

예를 들어, 검색된 유사 이미지들(33a, 33b, 33c, 34d : 33)의 유사도가 각각 99%, 98%, 97% 및 96%인 경우, 이미지 증강 서버(100)는 검색된 유사 이미지들 중 제1 유사 이미지(33a)를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.For example, when the similarities of the searched similar images 33a, 33b, 33c, and 34d: 33 are 99%, 98%, 97%, and 96%, respectively, the image augmentation server 100 may 1 A similar image 33a may be acquired as a similar image for image enhancement.

다른 예로, 검색된 유사 이미지들(33a, 33b, 33c, 34d : 33)의 유사도가 각각 94%, 93%, 92% 및 91%인 경우, 이미지 증강 서버(100)는 제1 유사 이미지(33a)와 제2 유사 이미지(33b)를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.As another example, when the similarity of the searched similar images 33a, 33b, 33c, and 34d: 33 is 94%, 93%, 92%, and 91%, respectively, the image augmentation server 100 configures the first similar image 33a and the second similar image 33b may be acquired as a similar image for image enhancement.

즉, 이미지 증강 서버(100)는 검색된 유사 이미지들의 유사도가 높을수록 적은 수의 유사 이미지를 이미지 증강을 위한 유사 이미지로 획득하고, 검색된 유사 이미지들의 유사도가 낮을수록 많은 유사 이미지를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.That is, the image augmentation server 100 acquires a small number of similar images as similar images for image enhancement as the similarity of the searched similar images is higher, and as the similarity between the searched similar images is lower, it acquires more similar images for image enhancement. It can be obtained as an image.

이를 통해, 검색된 유사 이미지의 유사도가 떨어지는 경우, 이미지 증강 서버(100)는 복수의 유사 이미지를 이미지 증강에 이용함으로써, 보다 정확한 합성 이미지를 생성할 수 있다.Through this, when the similarity of the found similar images is low, the image augmentation server 100 may generate a more accurate composite image by using a plurality of similar images for image augmentation.

다시, 도 1을 참조하면, 이미지 증강 서버(100)는 원본 이미지를 변형하기 위한 변형 함수를 결정할 수 있다(S300). 여기서, 변형 함수는 원본 이미지를 왜곡시켜 원본 이미지의 촬영 각도를 변경하기 위한 함수를 의미한다. Referring again to FIG. 1 , the image augmentation server 100 may determine a transform function for transforming the original image ( S300 ). Here, the transformation function refers to a function for changing the shooting angle of the original image by distorting the original image.

구체적으로, 이미지 증강 서버(100)는 이미지 특징 정보를 기초로 원본 이미지를 변형하기 위한 변형 함수를 결정할 수 있다.Specifically, the image augmentation server 100 may determine a transform function for transforming the original image based on the image feature information.

또한, 이미지 증강 서버(100)는 추가적으로 획득된 유사 이미지와 원본 이미지 간의 유사도를 기초로 원본 이미지를 변형하기 위한 변형 함수를 결정할 수 있다.Also, the image augmentation server 100 may determine a transform function for transforming the original image based on the degree of similarity between the additionally acquired similarity image and the original image.

예를 들어, 이미지 증강 서버(100)는 유사 이미지와 원본 이미지 간의 유사도가 높을수록 왜곡도가 높은 변형 함수를 결정하고, 유사 이미지와 원본 이미지 간의 유사도가 낮을수록 왜곡도가 낮은 변형 함수를 결정할 수 있다. 여기서, 왜곡도가 높을수록 변형 함수는 원본 이미지의 구도를 많이 변경하는 함수일 수 있다.For example, the image augmentation server 100 may determine a transformation function with a high degree of distortion as the similarity between the similar image and the original image is high, and determine a transformation function with a low degree of distortion as the similarity between the similar image and the original image is low. have. Here, as the degree of distortion increases, the transformation function may be a function that changes the composition of the original image much.

다음, 이미지 증강 서버(100)는 기 결정된 변형 함수를 기초로 원본 이미지를 변형할 수 있다(S400).Next, the image augmentation server 100 may transform the original image based on a predetermined transformation function (S400).

구체적으로, 이미지 증강 서버(100)는 결정된 변형 함수를 기초로 원본 이미지의 각 픽셀의 위치를 변형하여 변형된 원본 이미지를 생성할 수 있다.Specifically, the image augmentation server 100 may generate a transformed original image by transforming the position of each pixel of the original image based on the determined transformation function.

즉, 이미지 증강 서버(100)는 변형 함수를 기초로 원본 이미지의 촬영 구도를 변경할 수 있다.That is, the image augmentation server 100 may change the shooting composition of the original image based on the transformation function.

그리고, 이미지 증강 서버(100)는 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성할 수 있다(S500). 여기서, 신경망 모델은 GAN(Generative Adversarial Network) 기반으로 변형된 원본 이미지의 외곽에 위치한 확장 영역에 가상 이미지가 합성되도록 학습된 모델일 수 있다. 이와 관련하여 도 4를 참조하여 설명한다.In addition, the image augmentation server 100 may generate a composite image by synthesizing a virtual image with a transformed original image using a neural network model previously learned based on a similar image (S500). Here, the neural network model may be a model trained to synthesize a virtual image in an extended region located outside the original image transformed based on a Generative Adversarial Network (GAN). In this regard, it will be described with reference to FIG. 4 .

도 4는 본 발명의 일 실시예에 따른 신경망 모델의 학습 방법을 나타낸 예시도이다.4 is an exemplary diagram illustrating a method of learning a neural network model according to an embodiment of the present invention.

도 4를 참조하면, 신경망 모델의 학습을 위해 신경망 모델의 제1 네트워크로 학습 이미지(43)가 입력될 수 있다. 여기서, 학습 이미지(43)는 원본 이미지(41)에서 외곽 영역(41a)이 제거된 이미지일 수 있다.Referring to FIG. 4 , a training image 43 may be input to the first network of the neural network model for learning the neural network model. Here, the training image 43 may be an image from which the outer region 41a is removed from the original image 41 .

그리고, 제1 네트워크로 입력된 학습 이미지(43)는 팽창된 콘벌루션(Dilated Convolution) 연산을 거치고, 다시 디콘벌루션(deconvolution) 연산을 거치며 재구성(reconstruction)되어 거친 합성 이미지(45)로 출력될 수 있다. 여기서, 거친 합성 이미지(45)는 학습 이미지(43)의 외곽에 위치한 확장 영역(45a)에 거친 가상 이미지가 합성된 이미지일 수 있다. 이때, 제1 네트워크는 원본 이미지(41)와 거친 합성 이미지(45)를 기초로 산출된 재구성 손실(reconstruction loss)이 최소화되도록 오차역전파(Backpropagation)를 통해 제1 네트워크 내 제1 가중치를 업데이트할 수 있으며, 반복적인 제1 가중치의 업데이트를 통해 제1 네트워크를 학습시킬 수 있다.Then, the training image 43 input to the first network is subjected to a dilated convolution operation, and is reconstructed through a deconvolution operation to be output as a coarse synthetic image 45. can Here, the coarse synthetic image 45 may be an image in which a coarse virtual image is synthesized in the extended area 45a located outside the training image 43 . At this time, the first network updates the first weights in the first network through error backpropagation so that the reconstruction loss calculated based on the original image 41 and the coarse composite image 45 is minimized. In this case, the first network may be trained through iteratively updating the first weight.

다음, 거친 합성 이미지(45)는 제2 네트워크로 입력되고, 입력된 거친 합성 이미지(45)는 병렬로 팽창된 콘벌루션(Dilated Convolution) 연산을 수행하되 하나의 연산에는 주변의 주요 특징들에 집중하는 상황별 주의 레이어(Contextual Attention layer)를 반영하여 연산을 수행하며, 병렬로 각각 연산된 레이어의 출력을 병합(Concatenate)한 후, 디콘벌루션(deconvolution) 연산을 거치며 확장 영역(45a)에 가상 이미지를 재구성(reconstruction)하여 정제된 합성 이미지(47)로 출력될 수 있다. 여기서, 상황별 주의 레이어(Contextual Attention layer)는 원본 이미지(41)를 기초로 획득된 유사 이미지를 기초로 생성된 특징 맵을 의미할 수 있다.Next, the coarse composite image 45 is input to the second network, and the input coarse composite image 45 performs a dilated convolution operation in parallel, but one operation focuses on surrounding main features. The calculation is performed by reflecting the contextual attention layer that The image may be reconstructed and output as a refined composite image 47 . Here, the contextual attention layer may mean a feature map generated based on a similar image obtained based on the original image 41 .

구체적으로, 원본 이미지(41)를 기초로 획득된 유사 이미지를 패치(patch)로 잘라 컨볼루션 커널(convolutional kernel)로 재형성(reshape)하고, 코사인 유사도(cosine similarity)를 기초로 확장 영역(45a)에 위치한 거친 가상 이미지의 패치와 유사도를 구한 후, 소프트맥스(softmax)로 정규화(normalization)하여 상황별(contextual) 반영된 특징 맵(feature map)인 상황별 주의 레이어(Contextual Attention layer)를 생성할 수 있다.Specifically, a similar image obtained based on the original image 41 is cut into patches and reshaped into a convolutional kernel, and the extension region 45a is based on cosine similarity. After obtaining the patch and similarity of the rough virtual image located in can

그리고, 제2 네트워크는 상황별 주의 레이어(Contextual Attention layer)를 기초로 확장 영역(45a)에 거친 가상 이미지를 디콘벌루션(deconvolution) 연산을 거치며 재구성(reconstruction)할 수 있다.In addition, the second network may reconstruct the rough virtual image in the extended area 45a through a deconvolution operation based on a contextual attention layer.

또한, 제2 네트워크는 원본 이미지(41)와 거친 합성 이미지(45)를 기초로 산출된 재구성 손실(reconstruction loss)와 글로벌 비평자(global critic)와 로컬 비평자(local critic)를 통한 글로벌(global)과 로컬(local) 적대적 손실(adversarial loss)를 이용하여 제2 네트워크 내 제2 가중치를 업데이트할 수 있으며, 반복적인 제2 가중치의 업데이트를 통해 제2 네트워크를 학습시킬 수 있다. 여기서, 글로벌 비평자는 정제된 합성 이미지(47) 전체를 입력으로 사용하는 판별자(Discriminator)를 의미하고, 로컬 비평자는 합성 이미지(47) 중 확장 영역(47b)에 생성된 가상 이미지만을 입력으로 사용하는 판별자(Discriminator)를 의미한다.In addition, the second network is a global (global) through a reconstruction loss (reconstruction loss) calculated on the basis of the original image 41 and the coarse composite image 45, a global critic (global critic) and a local critic (local critic) ) and a local adversarial loss may be used to update the second weight in the second network, and the second network may be trained through iteratively updating the second weight. Here, the global critic means a discriminator that uses the entire refined composite image 47 as an input, and the local critic uses only the virtual image generated in the extended area 47b among the composite image 47 as an input. It means a discriminator.

한편, 상술한 신경망 모델의 학습 방법은 본 발명의 일 실시예에 따른 하나의 예시이며, 신경망 모델의 학습 방법은 필요에 따라 변형되어 이용될 수 있다.Meanwhile, the above-described method for learning a neural network model is an example according to an embodiment of the present invention, and the method for learning a neural network model may be modified and used as necessary.

또한, 상술한 신경망 모델의 제1 네트워크는 생산자(generator)로써, 하나의 인코더(encoder)와 하나의 디코더(decoder)로 구성된 거친 네트워크(coarse network)일 수 있다.In addition, the first network of the above-described neural network model is a generator, and may be a coarse network composed of one encoder and one decoder.

또한, 상술한 신경망 모델의 제2 네트워크는 생산자(generator)로써, 두개의 병렬 인코더(parallel encoder)와 하나의 디코더(decoder)로 구성된 정제 네트워크(refinement network)일 수 있다.In addition, the second network of the above-described neural network model is a generator, and may be a refinement network composed of two parallel encoders and one decoder.

다시 도 3을 참조하면, 합성 이미지를 생성하는 단계(S500)에서 이미지 증강 서버(100)는 상술한 신경망 모델에 변형된 원본 이미지를 입력하여 변형된 원본 이미지의 외곽의 확장 영역에 가상 이미지가 합성된 합성 이미지를 생성할 수 있다.Referring back to FIG. 3 , in the step of generating the composite image ( S500 ), the image augmentation server 100 inputs the transformed original image to the above-described neural network model, and the virtual image is synthesized in the extended area outside the transformed original image. A composite image can be created.

이와 관련하여 도 5를 참조하여 보다 구체적으로 설명한다. In this regard, it will be described in more detail with reference to FIG. 5 .

도 5는 본 발명의 일 실시예에 따른 신경망 모델을 이용한 합성 이미지를 생성 방법을 나타낸 예시도이다.5 is an exemplary diagram illustrating a method for generating a composite image using a neural network model according to an embodiment of the present invention.

도 5를 참조하면, 이미지 증강 서버(100)는 원본 이미지(51)를 기초로 변형된 원본 이미지(53)를 신경망에 입력하면, 변형된 원본 이미지(53)는 신경망의 제1 네트워크를 통해 확장 영역(55a)에 거친 가상 이미지가 합성된 거친 합성 이미지(55)로 출력되고, 거친 합성 이미지(55)는 제2 네트워크를 통해 기존의 확장 영역(55a)에 거친 가상 이미지가 정제되어 정제된 합성 이미지(57)로 출력될 수 있다. Referring to FIG. 5 , when the image augmentation server 100 inputs an original image 53 transformed based on the original image 51 into the neural network, the transformed original image 53 is expanded through the first network of the neural network. A rough synthetic image 55 is output in which the rough virtual image is synthesized in the region 55a, and the coarse synthetic image 55 is synthesized by refining the coarse virtual image in the existing extended region 55a through a second network. It may be output as an image 57 .

즉, 이미지 증강 서버(100)는 변형된 원본 이미지를 기초로 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 유사 이미지를 기초로 거친 가상 이미지를 정제하여 정제된 합성 이미지를 출력하는 제2 네트워크로 구성된 신경망 모델을 통해 합성 이미지를 생성할 수 있다. 여기서, 합성 이미지는 원본 이미지를 기초로 생성된 증강 이미지로써, 원본 이미지를 기준으로 새로운 촬영 시점에서 촬영된 이미지일 수 있다.That is, the image augmentation server 100 refines the rough virtual image based on a similar image with the first network for synthesizing the rough virtual image in the extended area of the deformed original image based on the deformed original image to obtain a refined synthetic image. A synthetic image may be generated through a neural network model composed of the output second network. Here, the composite image is an augmented image generated based on the original image, and may be an image captured at a new shooting point based on the original image.

이와 같이 본 발명은 원본 이미지만을 이용하여 합성 이미지를 생성하는 것이 아니라 원본 이미지와 유사한 유사 이미지를 함께 이용함으로써, 보다 고품질의 합성 이미지를 생성할 수 있다.As described above, according to the present invention, a composite image of higher quality can be generated by using similar images similar to the original image, rather than generating a composite image using only the original image.

한편, 상술한 본 발명의 이미지 증강 방법으로 생성된 합성 이미지를 인공지능(artificial intelligence, AI) 모델의 학습 데이터로 이용함으로써, 종래의 증강 이미지를 기초로 학습된 인공지능 모델 보다 강인한 인공지능 모델로 학습시킬 수 있다.On the other hand, by using the synthetic image generated by the above-described image augmentation method of the present invention as training data of an artificial intelligence (AI) model, an artificial intelligence model that is stronger than an artificial intelligence model learned based on a conventional augmented image can learn

이와 관련하여 도 6을 참조하여 설명한다.In this regard, it will be described with reference to FIG. 6 .

도 6은 본 발명의 일 실시예에 따른 인공지능 모델의 에러율을 나타낸 예시도이다.6 is an exemplary diagram illustrating an error rate of an artificial intelligence model according to an embodiment of the present invention.

도 6의 (a)를 참조하면, 종래의 이미지 증강 방법으로 이미지를 증강하는 경우, 학습 데이터의 분포가 특정 시점(본 예시에서는 정면 시점)의 집중되게 된다. 이렇게 특정 시점으로 집중된 학습 데이터를 기초로 학습된 인공지능 모델은 여러 시점의 이미지가 입력되는 와일드한 환경(in the wild)에서 정면 시점을 제외한 상측, 하측, 우측 및 좌측 시점의 이미지를 판별하는데 높은 에러율이 발생할 수 있다.Referring to (a) of FIG. 6 , when an image is augmented by a conventional image augmentation method, the distribution of learning data is concentrated at a specific time point (a front view in this example). The artificial intelligence model trained based on the learning data focused on a specific point in this way is highly effective in discriminating images of upper, lower, right, and left views excluding the front view in a wild environment where images of multiple views are input. Error rates may occur.

도 6의 (b)를 참조하면, 본 발명의 이미지 증강 방법으로 이미지를 증강하는 경우, 다양한 시점(상측, 하측, 정면, 우측 및 좌측 시점)의 학습 데이터를 확보할 수 있다. 이렇게 다양한 시점의 학습 데이터를 기초로 학습된 인공지능 모델은 여러 시점의 이미지가 입력되는 와일드한 환경(in the wild)에서 낮은 에러율을 유지할 수 있다.Referring to FIG. 6B , when an image is augmented by the image augmentation method of the present invention, learning data of various viewpoints (upper, lower, front, right, and left viewpoints) may be secured. An artificial intelligence model trained based on the learning data from various viewpoints can maintain a low error rate in a wild environment where images from multiple viewpoints are input.

즉, 본 발명의 이미지 증강 방법을 통해 다양한 시점의 이미지를 생성하여 학습 데이터로 이용하는 경우, 종래의 이미지의 영역 및 범위를 조절하는 형태로 생성된 이미지를 학습 데이터로 이용한 인공지능 모델 보다 강인한 인공지능 모델을 만들 수 있다.That is, when images of various viewpoints are generated through the image augmentation method of the present invention and used as learning data, artificial intelligence that is stronger than the artificial intelligence model using the image generated in the form of adjusting the area and range of the conventional image as the learning data model can be created.

이어서, 도 7을 참조하여 이미지 증강 서버(100)의 구성에 대해 설명한다.Next, the configuration of the image augmentation server 100 will be described with reference to FIG. 7 .

도 7은 본 발명의 일 실시예에 따른 이미지 증강 서버(100)의 구성을 나타낸 블록도이다.7 is a block diagram showing the configuration of the image augmentation server 100 according to an embodiment of the present invention.

도 7을 참조하면, 이미지 증강 서버(100)는 원본 이미지 획득부(110), 유사 이미지 획득부(120), 이미지 변형부(130), 이미지 합성부(140) 및 데이터베이스(150)로 구성될 수 있다.Referring to FIG. 7 , the image augmentation server 100 is to be composed of an original image acquisition unit 110 , a similar image acquisition unit 120 , an image transformation unit 130 , an image synthesis unit 140 , and a database 150 . can

원본 이미지 획득부(110)는 이미지 증강을 위한 원본 이미지를 획득할 수 있다.The original image acquisition unit 110 may acquire an original image for image enhancement.

구체적으로, 이미지 획득부(110)는 관리자로부터 이미지 증강의 대상이 되는 원본 이미지를 입력 받아 원본 이미지를 획득하거나 관리자의 이미지 증강 명령을 기초로 데이터베이스(150) 또는 외부 저장 장치로부터 원본 이미지를 획득할 수 있다. Specifically, the image acquisition unit 110 acquires the original image by receiving the original image as the target of image augmentation from the manager, or acquires the original image from the database 150 or an external storage device based on the manager's image augmentation command. can

유사 이미지 획득부(120)는 획득된 원본 이미지로부터 이미지 특징 정보를 추출할 수 있다.The similar image acquisition unit 120 may extract image characteristic information from the acquired original image.

구체적으로 유사 이미지 획득부(120)는 원본 이미지의 메타데이터(metadata)에서 이미지 특징 정보를 추출하거나, 원본 이미지를 영상 분석(analysis of images)하여 이미지 특징 정보를 추출할 수 있다.Specifically, the similarity image acquisition unit 120 may extract image characteristic information from metadata of the original image or may extract image characteristic information by analyzing the original image.

또한, 유사 이미지 획득부(120)는 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정할 수 있다.Also, the similar image acquisition unit 120 may determine a search parameter based on the extracted image feature information.

구체적으로, 유사 이미지 획득부(120)는 추출된 이미지 특징 정보 내 특징 정보 값을 기준으로 소정 범위의 값을 검색 파라미터로 결정할 수 있다. 이때, 유사 이미지 획득부(120)는 신경망 모델 내 제2 네트워크의 제2 가중치에 따라 검색 파라미터 내 소정 범위의 값을 가변적으로 결정할 수 있다.Specifically, the similarity image acquisition unit 120 may determine a value within a predetermined range as the search parameter based on the characteristic information value in the extracted image characteristic information. In this case, the similarity image acquisition unit 120 may variably determine a value within a predetermined range in the search parameter according to the second weight of the second network in the neural network model.

또한, 유사 이미지 획득부(120)는 결정된 검색 파라미터를 기초로 데이터베이스(150) 또는 외부 저장 장치로부터 유사 이미지를 검색하여 유사 이미지를 획득할 수 있다.Also, the similarity image acquisition unit 120 may acquire the similarity image by searching for the similarity image from the database 150 or an external storage device based on the determined search parameter.

구체적으로, 유사 이미지 획득부(120)는 결정된 검색 파라미터를 기초로 데이터베이스(150) 또는 외부 저장 장치 내 유사 이미지를 검색하고, 검색된 유사 이미지들 중 일부를 이미지 증강을 위한 유사 이미지로 획득할 수 있다.Specifically, the similar image acquisition unit 120 may search for similar images in the database 150 or an external storage device based on the determined search parameter, and acquire some of the searched similar images as similar images for image enhancement. .

즉, 유사 이미지 획득부(120)는 원본 이미지에서 이미지 특징 정보를 추출하고, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하며, 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득할 수 있다.That is, the similar image obtaining unit 120 extracts image characteristic information from the original image, determines a search parameter based on the extracted image characteristic information, and searches for a similar image based on the determined search parameter to obtain a similar image. can

이미지 변형부(130)는 기 결정된 변형 함수를 기초로 원본 이미지를 변형할 수 있다.The image transforming unit 130 may transform the original image based on a predetermined transform function.

구체적으로, 이미지 변형부(130)는 원본 이미지를 변형하기 위한 변형 함수를 결정하고, 결정된 변형 함수를 기초로 원본 이미지를 변형할 수 있다. 여기서, 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수일 수 있다.Specifically, the image transforming unit 130 may determine a transform function for transforming the original image, and transform the original image based on the determined transform function. Here, the transformation function may be a function for changing the photographing angle of the original image.

이미지 합성부(140)는 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성할 수 있다. 여기서, 신경망 모델은 가상 이미지를 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습된 것으로, 신경망 모델에 대해 상술한 바 설명을 생략한다.The image synthesizing unit 140 may generate a composite image by synthesizing a virtual image with a transformed original image using a neural network model previously learned based on the similar image. Here, the neural network model is pre-trained to synthesize a virtual image in an extended region located outside the transformed original image, and the description of the neural network model will be omitted.

데이터베이스(150)에는 이미지 증강 서버(100)의 동작에 필요한 여러 데이터가 저장될 수 있다.Various data necessary for the operation of the image augmentation server 100 may be stored in the database 150 .

구체적으로, 데이터베이스(150)에는 이미지 증강이 필요한 원본 이미지가 저장될 수 있으며, 이미지 증강에 이용될 유사 이미지들이 저장될 수 있다.Specifically, an original image requiring image enhancement may be stored in the database 150 , and similar images to be used for image enhancement may be stored.

또한, 데이터베이스(150)에는 상술한 이미지 증강 방법으로 생성된 합성 이미지가 학습데이터로 저장될 수 있다.In addition, the composite image generated by the above-described image augmentation method may be stored as learning data in the database 150 .

또한, 데이터베이스(150)에는 상술한 이미지 증강 방법에 이용되는 여러 신경망 모델들이 저장될 수 있으며, 신경망 모델 기반의 이미지 증강 방법을 실행하기 위한 프로그램 코드가 기록된 컴퓨터가 판독 가능한 기록 매체에 기록된 프로그램이 저장될 수도 있다.In addition, the database 150 may store various neural network models used in the image augmentation method described above, and a program recorded in a computer-readable recording medium in which a program code for executing the image augmentation method based on the neural network model is recorded. This may be saved.

한편, 상술한 본 발명의 이미지 증강 방법은 학습 데이터를 증강하기 위한 방법 이외에도 다른 기술에도 응용될 수 있다.On the other hand, the image augmentation method of the present invention described above can be applied to other technologies in addition to the method for augmenting learning data.

예를 들어, 본 발명의 이미지 증강 방법은 VR 영상, 360도 영상, 파노라마 뷰 영상을 생성하는데 응용될 수 있다.For example, the image augmentation method of the present invention may be applied to generate a VR image, a 360-degree image, and a panoramic view image.

이와 관련하여 도 8을 참조하여 설명한다.In this regard, it will be described with reference to FIG. 8 .

도 8은 본 발명의 일 실시예에 따른 VR 영상을 나타낸 예시도이다.8 is an exemplary view illustrating a VR image according to an embodiment of the present invention.

도 8을 참조하면, 일반적으로 VR 영상은 사용자의 시선이 머무르는 영역(81)에만 이미지(81a)를 표시하고, 이외 영역(83, 85)에는 블랙 마스킹(Black masking)처리하는 것이 일반적이다.Referring to FIG. 8 , in general, in the VR image, the image 81a is displayed only in the area 81 where the user's gaze stays, and black masking is generally performed in the other areas 83 and 85 .

이러한 경우, 사용자의 시선에 블랙 마스킹이 인지되면서 사용자의 VR 영상 감상을 하는데 방해가 될 수 있다.In this case, as the black masking is perceived by the user's gaze, it may interfere with the user's VR image viewing.

이때, 본 발명의 이미지 증강 방법을 이용하는 경우, 기존 영역(81)에 표시된 이미지(81a)를 기초로 이미지 증강을 통해 주변 영역(83, 85)에 합성 이미지(83a, 85a)를 표시할 수 있다.In this case, when the image augmentation method of the present invention is used, the composite images 83a and 85a may be displayed in the peripheral regions 83 and 85 through image augmentation based on the image 81a displayed in the existing region 81 . .

이와 같이 블랙 마스킹 처리하는 대신 합성 이미지를 표시함으로써, 사용자에게 보다 실감나는 VR 영상을 제공할 수 있다.By displaying a composite image instead of black masking in this way, it is possible to provide a more realistic VR image to the user.

또한, 전방향의 3차원 공간을 모델링 하지 않고, 일부만을 모델링 하고 주변 영역은 시야에 따라 실시간으로 생성함으로써 보다 효율적으로 VR 영상 및 가상 환경을 제공할 수 있다.In addition, it is possible to provide VR images and virtual environments more efficiently by modeling only a part of the three-dimensional space without modeling the omnidirectional space and generating the surrounding area in real time according to the field of view.

한편, 상술한 본 발명에 따르면, 하나의 시점을 가지는 원본 이미지로부터 다양한 시점을 가지는 합성 이미지를 생성할 수 있다.Meanwhile, according to the present invention described above, it is possible to generate a composite image having various viewpoints from the original image having one viewpoint.

또한, 본 발명은 원본 이미지와 다른 촬영 각도를 가지는 합성 이미지를 생성하여 다양한 학습 데이터를 확보할 수 있으며, 원본 이미지와 유사한 유사 이미지를 이용하여 합성 이미지를 생성함으로써 보다 고품질의 합성 이미지를 생성할 수 있다.In addition, the present invention can secure a variety of learning data by generating a composite image having a shooting angle different from the original image, and can generate a higher-quality composite image by creating a composite image using similar images similar to the original image. have.

나아가, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Furthermore, various embodiments described herein may be implemented in a computer-readable recording medium using, for example, software, hardware, or a combination thereof.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.According to the hardware implementation, the embodiments described herein include ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions. The described embodiments may be implemented in the control module itself.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 씌여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.According to the software implementation, embodiments such as the procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein. The software code may be implemented as a software application written in a suitable programming language. The software code may be stored in the memory module and executed by the control module.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains may make various modifications, changes and substitutions within the scope without departing from the essential characteristics of the present invention. will be.

따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are for explaining, not limiting, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings . The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

Claims (10)

신경망 모델 기반의 이미지 증강 서버에서 수행되는 이미지 증강 방법에 있어서,
이미지 증강을 위한 원본 이미지를 획득하는 단계;
획득된 상기 원본 이미지를 기초로 유사 이미지를 획득하는 단계;
기 결정된 변형 함수를 기초로 상기 원본 이미지를 변형하는 단계; 및
상기 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성하는 단계;를 포함하고
상기 신경망 모델은 가상 이미지를 상기 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습되며
상기 신경망 모델은 상기 변형된 원본 이미지를 기초로 상기 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 상기 유사 이미지를 기초로 상기 거친 가상 이미지를 정제하여 상기 합성 이미지를 출력하는 제2 네트워크로 구성되는 것을 특징으로 하는 이미지 증강 방법.In the image augmentation method performed in the image augmentation server based on a neural network model,
acquiring an original image for image augmentation;
acquiring a similar image based on the acquired original image;
transforming the original image based on a predetermined transformation function; and
and generating a composite image by synthesizing a virtual image with the original transformed image using a neural network model learned in advance based on the similar image.
The neural network model is pre-trained to synthesize a virtual image in an extended area located outside the transformed original image,
The neural network model outputs the synthesized image by refining the coarse virtual image based on a first network and the similar image for synthesizing a rough virtual image in an extended region of the transformed original image based on the transformed original image. An image augmentation method comprising a second network. 삭제delete 제 1 항에 있어서,
상기 원본 이미지에서 이미지 특징 정보를 추출하는 단계;
추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하는 단계;
결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 증강 방법.The method of claim 1,
extracting image feature information from the original image;
determining a search parameter based on the extracted image feature information;
The image augmentation method further comprising: searching for a similar image based on the determined search parameter to obtain a similar image. 제 1 항에 있어서,
상기 원본 이미지를 변형하기 위한 변형 함수를 결정하는 단계를 더 포함하고,
상기 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수인 것을 특징으로 하는 이미지 증강 방법.The method of claim 1,
determining a transform function for transforming the original image;
The transformation function is an image augmentation method, characterized in that it is a function for changing the shooting angle of the original image. 신경망 모델 기반의 이미지 증강 서버에 있어서,
이미지 증강을 위한 원본 이미지를 획득하는 원본 이미지 획득부;
획득된 상기 원본 이미지를 기초로 유사 이미지를 획득하는 유사 이미지 획득부;
기 결정된 변형 함수를 기초로 상기 원본 이미지를 변형하는 이미지 변형부; 및
상기 유사 이미지를 기초로 기 학습된 신경망 모델을 이용하여 변형된 원본 이미지에 가상 이미지를 합성하여 합성 이미지를 생성하는 이미지 합성부;를 포함하고
상기 신경망 모델은 상기 유사 이미지를 기초로 가상 이미지를 상기 변형된 원본 이미지의 외곽에 위치한 확장 영역에 합성되도록 기 학습되며
상기 신경망 모델은 상기 변형된 원본 이미지를 기초로 상기 변형된 원본 이미지의 확장 영역에 거친 가상 이미지를 합성하는 제1 네트워크와 상기 유사 이미지를 기초로 상기 거친 가상 이미지를 정제하여 상기 합성 이미지를 출력하는 제2 네트워크로 구성되는 것을 특징으로 하는 이미지 증강 서버.In an image augmentation server based on a neural network model,
an original image acquisition unit for acquiring an original image for image augmentation;
a similarity image acquisition unit configured to acquire a similarity image based on the acquired original image;
an image transforming unit that transforms the original image based on a predetermined transform function; and
and an image synthesizing unit for generating a composite image by synthesizing a virtual image with a transformed original image using a neural network model previously learned based on the similar image.
The neural network model is pre-trained to synthesize a virtual image based on the similar image in an extended area located outside the transformed original image,
The neural network model outputs the synthesized image by refining the coarse virtual image based on a first network and the similar image for synthesizing a rough virtual image in an extended region of the transformed original image based on the transformed original image. An image augmentation server, characterized in that it consists of a second network. 삭제delete 제 5 항에 있어서,
상기 유사 이미지 획득부는 상기 원본 이미지에서 이미지 특징 정보를 추출하고, 추출된 이미지 특징 정보를 기초로 검색 파라미터를 결정하며, 결정된 검색 파라미터를 기초로 유사 이미지를 검색하여 유사 이미지를 획득하는 것을 특징으로 하는 이미지 증강 서버.6. The method of claim 5,
The similar image obtaining unit extracts image characteristic information from the original image, determines a search parameter based on the extracted image characteristic information, and obtains a similar image by searching for a similar image based on the determined search parameter Image augmentation server. 제 5 항에 있어서,
상기 이미지 변형부는 상기 원본 이미지를 변형하기 위한 변형 함수를 결정하며, 상기 변형 함수는 상기 원본 이미지의 촬영 각도를 변경하기 위한 함수인 것을 특징으로 하는 이미지 증강 서버.6. The method of claim 5,
The image transformation unit determines a transformation function for transforming the original image, wherein the transformation function is a function for changing a shooting angle of the original image. 제 1 항, 제 3 항 및 제 4 항 중 어느 한 항에 따른 이미지 증강 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.[Claim 5] A computer-readable recording medium storing a program for performing the image augmentation method according to any one of claims 1, 3 and 4. 제 1 항, 제 3 항 및 제 4 항 중 어느 한 항에 따른 이미지 증강 방법을 실행하기 위한 프로그램 코드를 포함하는 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램.[Claim 5] A program stored in a computer-readable recording medium comprising a program code for executing the image augmentation method according to any one of claims 1, 3 and 4.
KR1020210152397A 2021-11-08 2021-11-08 A neural network model-based image augmentation method, server, and computer program KR102354681B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210152397A KR102354681B1 (en) 2021-11-08 2021-11-08 A neural network model-based image augmentation method, server, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210152397A KR102354681B1 (en) 2021-11-08 2021-11-08 A neural network model-based image augmentation method, server, and computer program

Publications (2)

Publication Number Publication Date
KR102354681B1 true KR102354681B1 (en) 2022-01-24
KR102354681B9 KR102354681B9 (en) 2023-05-11

Family

ID=80049750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210152397A KR102354681B1 (en) 2021-11-08 2021-11-08 A neural network model-based image augmentation method, server, and computer program

Country Status (1)

Country Link
KR (1) KR102354681B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102533091B1 (en) * 2022-03-04 2023-05-26 주식회사 한국공간데이터 Method and device for pperson re-identification
KR20230171237A (en) * 2022-06-13 2023-12-20 태나다 주식회사 Method and Apparatus for generating 360 degree image including 3-dimensional virtual object based on 2-dimensional image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190085159A (en) * 2016-12-07 2019-07-17 케이엘에이-텐코 코포레이션 Data Enhancement for Convolution Neural Network-Based Defect Inspection
KR20200027425A (en) * 2018-09-04 2020-03-12 주식회사 스트라드비젼 Method and computing device for generating image data set for learning to be used for detection of obstruction in autonomous driving circumstances and learning method and learning device using the same
KR20200027885A (en) * 2018-09-05 2020-03-13 주식회사 스트라드비젼 Method and device for generating image data set to be used for learning cnn capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same
KR20210072048A (en) * 2018-10-11 2021-06-16 테슬라, 인크. Systems and methods for training machine models with augmented data
KR20210094456A (en) * 2020-01-21 2021-07-29 삼성전자주식회사 Image processing method and apparatus using neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190085159A (en) * 2016-12-07 2019-07-17 케이엘에이-텐코 코포레이션 Data Enhancement for Convolution Neural Network-Based Defect Inspection
KR20200027425A (en) * 2018-09-04 2020-03-12 주식회사 스트라드비젼 Method and computing device for generating image data set for learning to be used for detection of obstruction in autonomous driving circumstances and learning method and learning device using the same
KR20200027885A (en) * 2018-09-05 2020-03-13 주식회사 스트라드비젼 Method and device for generating image data set to be used for learning cnn capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same
KR20210072048A (en) * 2018-10-11 2021-06-16 테슬라, 인크. Systems and methods for training machine models with augmented data
KR20210094456A (en) * 2020-01-21 2021-07-29 삼성전자주식회사 Image processing method and apparatus using neural network

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102533091B1 (en) * 2022-03-04 2023-05-26 주식회사 한국공간데이터 Method and device for pperson re-identification
KR20230171237A (en) * 2022-06-13 2023-12-20 태나다 주식회사 Method and Apparatus for generating 360 degree image including 3-dimensional virtual object based on 2-dimensional image
KR102622709B1 (en) * 2022-06-13 2024-01-08 태나다 주식회사 Method and Apparatus for generating 360 degree image including 3-dimensional virtual object based on 2-dimensional image

Also Published As

Publication number Publication date
KR102354681B9 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
CN111047548B (en) Attitude transformation data processing method and device, computer equipment and storage medium
CN106778928B (en) Image processing method and device
KR102354681B1 (en) A neural network model-based image augmentation method, server, and computer program
US11640690B2 (en) High resolution neural rendering
CN109376603A (en) A kind of video frequency identifying method, device, computer equipment and storage medium
WO2022165809A1 (en) Method and apparatus for training deep learning model
US10282898B1 (en) Three-dimensional scene reconstruction
CN113343878A (en) High-fidelity face privacy protection method and system based on generation countermeasure network
CN112242002B (en) Object identification and panoramic roaming method based on deep learning
US20210150679A1 (en) Using imager with on-purpose controlled distortion for inference or training of an artificial intelligence neural network
CN111862278B (en) Animation obtaining method and device, electronic equipment and storage medium
CN114463230A (en) Image processing method and related equipment
KR20200061478A (en) Apparatus and method on generating synthetic data for training real-time object detection system
CN116958362A (en) Image rendering method, device, equipment and storage medium
CN111260687A (en) Aerial video target tracking method based on semantic perception network and related filtering
CN116912148A (en) Image enhancement method, device, computer equipment and computer readable storage medium
KR20200058295A (en) Method and Device of High Magnetic Field Magnetic Resonance Image Synthesis
CN116580151A (en) Human body three-dimensional model construction method, electronic equipment and storage medium
CN110490950A (en) Image pattern generation method, device, computer equipment and storage medium
Duplevska et al. The synthetic data application in the UAV recognition systems development
CN116012932B (en) Driver self-adaptive gazing direction estimation method
KR20230046802A (en) Image processing method and image processing device based on neural network
CN117651134A (en) Video processing method and device
CN116343019A (en) Target detection method for remote sensing image
CN114565872A (en) Video data processing method, device, equipment and computer readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]