WO2022019590A1 - 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템 - Google Patents

인공지능을 이용한 편집된 이미지 검출 방법 및 시스템 Download PDF

Info

Publication number
WO2022019590A1
WO2022019590A1 PCT/KR2021/009248 KR2021009248W WO2022019590A1 WO 2022019590 A1 WO2022019590 A1 WO 2022019590A1 KR 2021009248 W KR2021009248 W KR 2021009248W WO 2022019590 A1 WO2022019590 A1 WO 2022019590A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
area
regions
setting
Prior art date
Application number
PCT/KR2021/009248
Other languages
English (en)
French (fr)
Inventor
박지은
이진호
Original Assignee
펄스나인 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 펄스나인 주식회사 filed Critical 펄스나인 주식회사
Priority claimed from KR1020210093967A external-priority patent/KR20220011099A/ko
Publication of WO2022019590A1 publication Critical patent/WO2022019590A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method and system for detecting edited images using artificial intelligence, and more particularly, in image detection using artificial intelligence, whether each image is an edited image or an unedited original image when there are multiple images. It relates to a method and system for detecting an edited image using artificial intelligence capable of detecting recognition and finding an edited position when it is determined as an edited image.
  • deep learning is defined as a set of machine learning algorithms that attempt high-level abstraction through a combination of several nonlinear transformation methods. .
  • DNN deep neural networks
  • CNN convolutional neural network
  • RNN recurrent neural network
  • neural style transfer is to restore an image (or create a new image) from a feature map extracted using the CNN 110 by receiving an image source source. , to create new image content C by synthesizing image A and image B.
  • the conventional digital forensic and image forgery detection technology of the general interpolation change amount measurement method has a problem in use that requires expert eye verification due to poor performance in detection rate and area setting.
  • Patent Document 1 discloses "a system and method for visualization and characterization of an object in an image", thereby visualizing and characterizing features in an image.
  • a method of visualizing and characterizing features in an image comprising applying a first local micro-contrast convergence algorithm to the first image to produce a second image that is different and distinct from the first image wherein the second image includes the feature, and further comprising applying to the first image a second local micro-contrast convergence algorithm that is different and distinct from the first local micro-contrast convergence algorithm; and generating a third image that is different and distinct from the image and the second image.
  • the present invention was created in consideration of the above, and in image detection using artificial intelligence, when there are a number of images, each image is an edited image or an unedited original image, while detecting and editing
  • An object of the present invention is to provide a method and system for detecting an edited image using artificial intelligence that can find the edited position when it is determined as an edited image.
  • the set The first area is converted to a specific color
  • a second area different from the first area is set
  • the set second area is converted to a specific color
  • a third area different from the first and second areas is formed.
  • the set third area is converted to a specific color
  • the Nth region by repeatedly performing a series of operations N times in a manner that converts the set Nth region into a specific color, the first to Nth regions are respectively set, and the set first to Nth regions are set
  • Each area can be converted to a specific color.
  • step a when the image of the detection target is a rectangle, the horizontal is divided into A and the vertical is divided into B, and the first to Nth regions are divided into an A ⁇ B grid. A total of N areas of the -Nth area can be set.
  • each area is set in a manner of setting the areas one at a time, rather than setting N types of areas at once to set a total of N areas over a total of N times.
  • step b in restoring the images of the removed first to N-th regions, respectively, after removing the first region, an image inpainting algorithm is performed.
  • the image of the first region is restored by performing a filling operation in the removed first region using the to restore the image of the second region, and after removing the third region, fill in the removed third region using an image restoration algorithm to restore the image of the third region, ... , after removing the N-th region, the first to Each image of the N-th region may be reconstructed.
  • step e in order to find the edited position in the edited image in step e),
  • step f) dividing the image determined as the edited image in step e) into K regions;
  • step g) applying step g) to the area determined to be the edited area again to divide the area into a plurality of subdivided areas, and then calculating a deviation of each divided area;
  • step k) Repeat the method of dividing the image of the region determined to be the edited region in step j) into a plurality of more subdivided regions, calculating the deviation of each divided region, and determining whether to edit the region based on it By doing so, it may further include the step of finding the edited position in the finally edited image.
  • a region setting/converting unit for respectively setting first to N-th regions of a specific shape in the image to be detected and converting the set first to N-th regions into specific colors
  • an image restoration unit for removing the first to Nth regions in which the regions are set and each converted to a specific color, and then reconstructing images of the removed first to Nth regions, respectively;
  • a deviation calculator for calculating a deviation between the images of the restored first to Nth regions and determining whether the calculated deviation is equal to or greater than a preset reference value
  • the region setting/conversion unit respectively setting the first to Nth regions and converting the set first to Nth regions into a specific color, respectively, after setting the first region in the image to be detected, A set first area is converted to a specific color, a second area different from the first area is set, and the set second area is converted to a specific color, and a third area different from the first and second areas After setting, the set third area is converted to a specific color, ... , after setting the Nth region, by repeatedly performing a series of operations N times in a manner that converts the set Nth region into a specific color, the first to Nth regions are respectively set, and the set first to Nth regions are set Each area can be converted to a specific color.
  • the region setting/conversion unit sets the first to Nth regions
  • the horizontal is divided into A and the vertical is divided into B, and the A total of N areas of the 1st to Nth areas can be set.
  • each area is set in a manner of setting the areas one at a time, rather than setting N types of areas at once to set a total of N areas over a total of N times.
  • an image inpainting algorithm is used. to restore the image of the first area by performing a filling operation in the removed first area, and after removing the second area, filling the removed second area using an image restoration algorithm is performed.
  • the image of the second region is restored, the third region is removed, and the image of the third region is restored by filling in the removed third region using an image restoration algorithm, ... , after removing the N-th region, the first to Each image of the N-th region may be reconstructed.
  • the image restoration unit may be composed of an artificial intelligence that has previously learned an image restoration algorithm.
  • it may further include a communication unit for data transmission/reception with an external device.
  • the image to be detected is divided into N regions, each divided region is removed, and the process of restoring the removed region using an image inpainting algorithm is repeatedly performed N times.
  • 1 is a diagram illustrating generation of a new image from a feature map generated by using a CNN for an original image based on neural style transition.
  • FIG. 2 is a diagram schematically illustrating an outline of restoring a damaged area in an arbitrary image using an image restoration algorithm.
  • FIG. 3 is a diagram schematically showing the configuration of an edited image detection system using artificial intelligence according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an execution process of an edited image detection method using artificial intelligence according to an embodiment of the present invention.
  • 5 is a flowchart illustrating a process of finding an edited position in an edited image.
  • FIG. 6 is a diagram illustrating a process of restoring an image using an image restoration algorithm after setting and converting a rectangular region in an image to be detected to a black color.
  • FIG. 7 is a diagram illustrating a state in which an image to be detected is divided into a total of N rectangular regions in the process of finding an edited image.
  • FIG. 8 is a diagram illustrating a process of setting four rectangular areas in a detection target image, removing the rectangular areas four times, and then restoring them using an image restoration algorithm.
  • FIG. 9 is a diagram for explaining a method of calculating the L1 and L2 distances of images restored using an image restoration algorithm after the image is damaged in a rectangular shape in the image.
  • FIG. 10 is a diagram for explaining a method of calculating the L1 and L2 distances of images restored using an image restoration algorithm after the image is damaged in a free form rather than a rectangle.
  • FIG. 2 is a diagram schematically illustrating an outline of restoring a damaged area in an arbitrary image using an image restoration algorithm.
  • image inpainting is a technique for restoring and creating an empty area to match the surrounding area when there is an empty area inside an image. That is, as in the example, when some areas are damaged as in (a) in the original image, using the image restoration algorithm (model) as in (b), fill in the damaged and empty areas ( Finally, as in c), the original image is restored.
  • a context encoder is an image learning algorithm that is unsupervised through context-based pixel prediction.
  • Context encoders Feature learning by inpainting.
  • CVPR Computer Vision and Pattern Recognition
  • FIG. 3 is a diagram schematically showing the configuration of an edited image detection system using artificial intelligence according to an embodiment of the present invention.
  • the edited image detection system 300 using artificial intelligence includes a region setting/conversion unit 310 , an image restoration unit 320 , a deviation calculation unit 330 , and a control unit 340 . is comprised of
  • the region setting/conversion unit 310 sets first to Nth regions of a specific shape (eg, a rectangular shape, see FIG. 5 ) in the image to be detected, and sets the first to Nth regions to a specific color. (eg, black, see FIG. 5), respectively.
  • a specific shape e.g, a rectangular shape, see FIG. 5
  • a specific color e.g, black, see FIG. 5
  • the region setting/conversion unit 310 sets the first to Nth regions, respectively, and converts the set first to Nth regions into specific colors
  • the first region in the image to be detected After setting , the set first area is converted to a specific color, a second area different from the first area is set, and then the set second area is converted to a specific color, and the first and second areas are sets another third area, then converts the set third area into a specific color, ...
  • the first to Nth regions are respectively set, and the set first to Nth regions are set Each area can be converted to a specific color.
  • the area setting/conversion unit 310 sets the first to Nth areas
  • the horizontal is divided into A and the vertical is B. It is possible to set a total of N regions of the first to Nth regions by dividing into equal parts in an A ⁇ B lattice form.
  • each area is set in a manner of setting the areas one at a time, rather than setting N types of areas at once to set a total of N areas over a total of N times.
  • the image restoration unit 320 removes the first to Nth regions in which the regions are set as described above, respectively converted to a specific color, and then restores the images of the removed first to Nth regions, respectively.
  • the image restoration unit 320 removes the first to N-th regions and restores the images of the removed first to N-th regions, respectively, after the first region is removed, the image is restored.
  • the image restoration unit 320 as described above may be composed of an artificial intelligence that has previously learned an image restoration algorithm.
  • the deviation calculating unit 330 calculates a deviation between the respective images of the first to Nth regions restored by the image restoration unit 320 , and determines whether the calculated deviation is equal to or greater than a preset reference value. Here, the calculation of the deviation will be described again later.
  • the control unit 340 controls the state check and operation of the region setting/conversion unit 310 , the image restoration unit 320 , and the deviation calculation unit 330 , and returns the result determined by the deviation calculation unit 330 .
  • the detection target image is determined as an unedited image
  • the deviation between the reconstructed images is greater than or equal to the preset reference value
  • the An image to be detected is determined as an edited image.
  • the edited image detection system 300 using artificial intelligence according to the present invention having the above configuration may further include a communication unit 350 for data transmission/reception with an external device.
  • the edited image detection system 300 using artificial intelligence as described above may be configured as a whole by being integrated into one computer system.
  • FIG. 4 is a flowchart illustrating an execution process of an edited image detection method using artificial intelligence according to an embodiment of the present invention.
  • first to first to thirds of a specific shape eg, square or rectangular
  • a specific shape eg, square or rectangular
  • the first to Nth areas set as shown in (b) are set to a specific color (eg, black). , respectively (step S401).
  • the set first region is specified After converting to a color, setting a second region different from the first region, converting the set second region to a specific color, setting a third region different from the first and second regions, Converting the third area to a specific color, ... , after setting the Nth region, by repeatedly performing a series of operations N times in a manner that converts the set Nth region into a specific color, the first to Nth regions are respectively set, and the set first to Nth regions are set Each area can be converted to a specific color.
  • the horizontal is divided into A and the vertical is divided into B and divided into an A ⁇ B grid.
  • a total of N areas of the 1st to Nth areas can be set.
  • each area is set in a manner of setting areas one at a time, and a total of N areas are set over a total of N times. can be set.
  • the images of the removed first to Nth regions are restored respectively (step S402).
  • the removed images are restored using an image inpainting algorithm.
  • the image of the first area is restored by performing a filling operation in the first area, and after the second area is removed, the operation of filling in the removed second area is performed using an image restoration algorithm to restore the image of the second area.
  • the image is restored, the third region is removed, and the image of the third region is restored by filling in the removed third region using an image restoration algorithm, ... , after removing the N-th region, the first to Each image of the N-th region may be reconstructed.
  • step S403 a deviation between the images of the restored first to Nth regions is calculated (step S403), and whether the calculated deviation is greater than or equal to a preset reference value It is determined (step S404).
  • the detection target image is determined as an unedited image (step S405).
  • the detection target image is determined as the edited image (step S406).
  • FIG. 8 is a diagram illustrating a process of setting four rectangular areas in a detection target image, removing the rectangular areas four times, and then restoring them using an image restoration algorithm.
  • L 1 error distance can be calculated using the Manhattan distance (see Wikipedia), which is the sum of the lengths of the line segments between d 1 and the vectors p, q projected on the point of a constant coordinate axis in the Cartesian coordinate system.
  • SSIM Structuretural Similarity Index Map
  • PSNR Peak Signal-to-Noise Ratio
  • step S406 of FIG. 4 if the image to be detected is determined to be an edited image, in order to find the edited position in the edited image, the method of the present invention performs a series of processes for finding the edited position. may include more. This will be described with reference to FIG. 5 .
  • 5 is a flowchart illustrating a process of finding an edited position in an edited image.
  • step S501 the image determined as the edited image in step S406 of FIG. 4 is first divided into K areas. division (step S501).
  • each image of each area divided into K is viewed as one whole image, and the images of each area are restored by performing steps S401 to S402 of FIG. 4 respectively (step S502).
  • a region having a large deviation among regions corresponding to each of the restored images is determined as an edited region (step S503).
  • step S502 is applied again to the area determined to be the edited area to divide the area into a plurality of subdivided areas, and then, the deviation of each divided area is calculated (step S504).
  • step S505 it is determined as an unedited area for an area where the deviation is not large, and as an edited area for an area with a large deviation.
  • step S505 the image of the area determined as the edited area in step S505 is divided into a plurality of further subdivided areas, and the method of determining whether to edit the corresponding area based on the deviation of each divided area is repeatedly performed By doing so, the edited position in the finally edited image is found (step S506).
  • This is a method of checking errors in a different way from the "Rectangular mask L 1 , L 2 error” described above, and the "Free-form mask L 1 , L 2 error “There is a way.
  • This method can be used to detect the edited image as above.
  • This method is a method of calculating the L 1 , L 2 distances of the reconstructed images using an image restoration model after the image is damaged in an arbitrary shape other than a rectangle in the original image, as shown in FIG. 10 .
  • the edited image detection method and system using artificial intelligence divides an image of a detection target into N regions, removes each divided region, and then restores the removed region image (image inpainting) ) by repeatedly performing the restoration process using the algorithm N times to determine whether the detection target image is an edited image or an unedited original image, while editing the edited image when it is determined as an edited image It has the advantage of being able to find the location where it is located.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 방법은, 검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 단계와; 제1∼제N 영역의 설정 및 특정 색으로의 변환을 완료한 후, 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 이후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 단계와; 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 단계와; 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 검출 대상의 이미지를 편집되지 않은 이미지로 판정하는 단계; 및 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 검출 대상의 이미지를 편집된 이미지로 판정하는 단계를 포함한다.

Description

인공지능을 이용한 편집된 이미지 검출 방법 및 시스템
본 발명은 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템에 관한 것으로서, 더 상세하게는 인공지능을 이용한 이미지 검출에 있어서, 다수의 이미지가 있을 때 각 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 검출하는 한편 편집된 이미지로 판정되었을 시 편집된 위치를 찾아낼 수 있는 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템에 관한 것이다.
일반적으로 딥러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고 방식을 컴퓨터에게 가르치는 기계학습의 한 분야이다.
어떠한 데이터가 있을 때 이를 컴퓨터가 인식할 수 있는 형태(예를 들면, 이미지의 경우 픽셀 정보를 열 벡터로 표현하는 툴)로 표현하고, 이를 학습에 적용하기 위해 많은 연구가 진행되고 있다.
DNN(deep neural networks), CNN(convolutional neural network), RNN(recurrent neural network) 등과 같은 다양한 딥러닝 기법들이 음성 신호 처리, 자연 언어 처리, 이미지(영상) 처리 등의 분야에 적용되어 우수한 성능의 응용프로그램들이 개발되고 있다.
신경 스타일 전이(neural style transfer)는 도 1에 도시된 바와 같이, 이미지 원천 소스를 입력받아 CNN(110)을 이용하여 추출한 특성 맵(feature map)으로부터 이미지를 복원(또는 새로운 이미지를 생성)하는 것으로, 이미지 A와 이미지 B을 합성해서 새로운 이미지 콘텐츠 C를 만들어낸다.
이상과 같은 일련의 과정에서, 입력 이미지에 인위적 효과가 불규칙하게 섞여 있을 경우, 이미지 특성 추출 성능이 떨어지는 문제가 있다. 또한, 이미지에 인위적 편집을 2차로 가했을 경우, 미세한 불규칙 편집 흔적이 이미지의 지엽적 부분에 특정하여 남는데, 이는 CNN으로 특성을 추출할 때 주요 특징 중 하나로 정의되기도 한다.
또한, 기존의 일반적 보간(interpolation) 변화량 측정 방식의 디지털 포렌식(forensic) 및 이미지 위변조 탐색 기술은 탐지율과 그 영역 설정면에서 성능이 떨어져 전문가의 안목 검증을 필요로 하는 사용상의 문제가 있다.
한편, 한국 공개특허공보 제10-2018-0115725호(특허문헌 1)에는 "이미지 내의 대상의 시각화와 특징화를 위한 시스템 및 방법"이 개시되어 있는바, 이에 따른 이미지 내의 특징부를 시각화 및 특징화하는 방법은, 이미지 내의 특징부를 시각화 및 특징화하는 방법에 있어서, 제1 로컬 마이크로-콘트라스트 컨버젼스 알고리즘을 제1 이미지에 적용하는 단계를 포함하여, 제1 이미지와 상이하고 구별되는 제2 이미지를 생성하되, 상기 제2 이미지는 상기 특징부를 포함하고, 상기 제1 로컬 마이크로-콘트라스트 컨버젼스 알고리즘과 상이하고 구별되는 제2 로컬 마이크로-콘트라스트 컨버젼스 알고리즘을 제1 이미지에 적용하는 단계를 더 포함하여, 제1 이미지 및 제2 이미지와 상이하고 구별되는 제3 이미지를 생성하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 로컬 마이크로-콘트라스트 컨버젼스 알고리즘 접근법을 사용함으로써 프로세스는 마모그램과 같은 이미지 내의 이러한 조직 타입이 특징적인 컬러와 그레이스케일 특성을 가정하도록 야기하고, 이는 조직과 조직의 경계를 고유하게 특징화하며, 특징 식별과 추출을 정확한 식별에 대해 매우 효과적이도록 하는 장점이 있기는 하나, 이 또한 기존의 일반적 보간 변화량 측정 방식의 디지털 포렌식 및 이미지 위변조 탐색 기술을 기반으로 하고 있어, 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 정확하게 검출하기 어렵고, 편집된 이미지로 판정했다 하더라도 편집된 위치를 찾아내기 어려운 문제점을 내포하고 있다.
본 발명은 이상과 같은 사항을 종합적으로 감안하여 창출된 것으로서, 인공지능을 이용한 이미지 검출에 있어서, 다수의 이미지가 있을 때 각 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 검출하는 한편 편집된 이미지로 판정되었을 시 편집된 위치를 찾아낼 수 있는 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 방법은,
a) 검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 단계와;
b) 상기 제1∼제N 영역의 설정 및 특정 색으로의 변환을 완료한 후, 상기 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 이후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 단계와;
c) 상기 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 단계와;
d) 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하는 단계; 및
e) 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 a)에서 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환할 수 있다.
또한, 상기 단계 a)에서 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정할 수 있다.
이때, 상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정할 수 있다.
또한, 상기 단계 b)에서 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원할 수 있다.
여기서, 또한 바람직하게는 상기 단계 e) 이후에, 상기 단계 e)에서의 편집된 이미지에서 편집된 위치를 찾기 위해,
f) 상기 단계 e)에서 상기 편집된 이미지로 판정된 이미지를 K개의 영역으로 분할하는 단계와;
g) 상기 K개로 분할된 각 영역의 이미지를 각각 하나의 전체 이미지로 보고, 각 영역의 이미지에 대해 상기 단계 a)∼b)를 각각 수행하여 이미지를 각각 복원하는 단계와;
h) 상기 복원된 각 이미지에 대응하는 영역 중에서 편차가 큰 영역을 편집된 영역으로 판정하는 단계와;
i) 상기 편집된 영역으로 판정된 영역에 다시 상기 단계 g)를 적용하여 해당 영역을 세분화된 다수의 영역으로 분할한 후, 분할된 각 영역의 편차를 구하는 단계와;
j) 상기 구해진 편차 중 편차가 크지 않은 영역에 대해서는 편집되지 않은 영역으로 판정하고, 편차가 큰 영역에 대해서는 편집된 영역으로 판정하는 단계; 및
k) 상기 단계 j)에서 편집된 영역으로 판정된 영역의 이미지를 다시 더 세분화된 다수의 영역으로 분할하고, 분할된 각 영역의 편차를 구하여 그를 바탕으로 해당 영역의 편집 여부를 판정하는 방식을 반복 수행함으로써, 최종적으로 편집된 이미지에서의 편집된 위치를 찾아내는 단계를 더 포함할 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 시스템은,
검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 영역 설정/변환부와;
상기 영역이 설정되고, 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 이미지 복원부와;
상기 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 편차 계산부; 및
상기 영역 설정/변환부, 이미지 복원부 및 편차 계산부의 상태 체크 및 동작을 제어하고, 상기 편차 계산부에 의해 판별된 결과를 수신하여, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하고, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정하는 제어부를 포함하는 점에 그 특징이 있다.
여기서, 상기 영역 설정/변환부가 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환할 수 있다.
또한, 상기 영역 설정/변환부가 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정할 수 있다.
이때, 상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정할 수 있다.
또한, 상기 이미지 복원부가 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원할 수 있다.
이때, 상기 이미지 복원부는 이미지 복원 알고리즘을 사전에 학습한 인공지능으로 구성될 수 있다.
또한, 바람직하게는 외부 기기와의 데이터 송/수신을 위한 통신부를 더 포함할 수 있다.
이와 같은 본 발명에 의하면, 검출 대상의 이미지를 N개의 영역으로 분할하고, 분할된 각 영역을 제거한 후, 제거된 영역을 이미지 복원(image inpainting) 알고리즘을 이용하여 복원하는 과정을 N회 반복 수행함으로써, 검출 대상의 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 판정하는 한편 편집된 이미지로 판정되었을 시, 그 편집된 이미지에서의 편집된 위치를 찾아낼 수 있는 장점이 있다.
도 1은 신경 스타일 전이에 기반하여 원천 이미지에 대해 CNN을 이용하여 생성한 특성 맵으로부터 새로운 이미지를 생성하는 것을 나타낸 도면이다.
도 2는 임의의 이미지에서 손상된 영역을 이미지 복원 알고리즘을 이용하여 복원하는 개요를 도식적으로 설명하는 도면이다.
도 3은 본 발명의 실시예에 따른 인공지능을 이용한 편집된 이미지 검출 시스템의 구성을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능을 이용한 편집된 이미지 검출 방법의 실행 과정을 나타낸 흐름도이다.
도 5는 편집된 이미지에서 편집된 위치를 찾는 과정을 나타낸 흐름도이다.
도 6은 검출 대상의 이미지에서 직사각형 영역을 설정 및 검은색으로 변환한 후, 이미지 복원 알고리즘을 이용하여 이미지를 복원하는 과정을 나타낸 도면이다.
도 7은 편집된 이미지를 찾는 과정에서, 검출 대상의 이미지를 총 N개의 직사각형 영역으로 분할한 상태를 나타낸 도면이다.
도 8은 검출 대상 이미지에서 4개의 직사각형 영역을 설정하여 4회에 걸쳐 직사각형 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 복원하는 과정을 나타낸 도면이다.
도 9는 이미지에서 직사각형 형태로 이미지를 손상시킨 이후, 이미지 복원 알고리즘을 이용하여 복원시킨 이미지들의 L1, L2 거리를 계산하는 방법을 설명하기 위한 도면이다.
도 10은 이미지에서 직사각형이 아닌 자유 형태로 이미지를 손상시킨 이후, 이미지 복원 알고리즘을 이용하여 복원시킨 이미지들의 L1, L2 거리를 계산하는 방법을 설명하기 위한 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
여기서, 본 발명의 실시예에 대하여 본격적으로 설명하기에 앞서, 본 발명에 대한 이해를 돕기 위해 본 발명에 도입되는 이미지 복원 알고리즘과 관련하여 먼저 설명해 보기로 한다.
도 2는 임의의 이미지에서 손상된 영역을 이미지 복원 알고리즘을 이용하여 복원하는 개요를 도식적으로 설명하는 도면이다.
도 2를 참조하면, 이미지 복원(image inpainting)이란 이미지 내부에 빈 영역이 있을 때, 그 빈 영역을 주변 영역과 잘 어울리게 복원, 생성하는 기술이다. 즉, 예시와 같이, 원본 이미지에서 (a)와 같이 일부 영역이 손상되었을 때, (b)와 같이 이미지 복원 알고리즘(모델)을 이용하여, 훼손되어 빈 영역 부분에 채워 넣기 작업을 수행하여, (c)와 같이 최종적으로 원본 이미지를 복원하는 것이다.
이상과 같은 이미지 복원 알고리즘과 관련한 이미지 복원 딥러닝 모델로서, 컨텍스트 엔코더(Context Encoder)가 있다. 컨텍스트 엔코더는 컨텍스트 기반의 픽셀 예측을 통해 비지도 학습된 이미지 학습 알고리즘이다. 이와 같은 컨텍스트 엔코더에 대해서는 논문 "D. Pathak, P. Krahenbuhl, J. Donahue, T. Darrell, and A. A. Efros. Context encoders: Feature learning by inpainting. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 2, 3"에 자세히 설명되어 있으므로, 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
또한, 이미지 복원 딥러닝 모델로서 "Image Inpainting for Irregular Holes Using Partial Convolutions"알고리즘이 있다. 이는 부분적인 컨벌루션 연산과 마스크 업데이트 스템을 결합한 부분적인 컨벌루션을 이미지 복원에 적용한 알고리즘이다. 이 알고리즘에 대해서는 논문 "Guilin Liu, Fitsum A Reda, Kevin J Shih, Ting-Chun Wang, Andrew Tao, and Bryan Catanzaro. Image inpainting for irregular holes using partial convolutions. In Proceedings of the European Conference on Computer Vision (ECCV), pages 85-100, 2018."에 상세히 설명되어 있으므로, 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
또한, 이미지 복원 딥러닝 모델로서 "Free-Form Image Inpainting with Gated Convolution” 알고리즘이 있다. 이는 데이터로부터 자동적으로 소프트 마스크를 학습하는 게이티드 컨벌루션(gated convolution)을 이미지 복원에 적용한 알고리즘이다. 이 알고리즘에 대해서는 논문 "Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, and Thomas S Huang. Free-form image inpainting with gated convolution. In Proceedings of the IEEE International Conference on Computer Vision, pages 4471-4480, 2019."에 자세히 설명되어 있으므로, 마찬가지로 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
그러면, 이하에서는 이상을 바탕으로 본 발명의 실시예에 대하여 상세히 설명해 보기로 한다.
도 3은 본 발명의 실시예에 따른 인공지능을 이용한 편집된 이미지 검출 시스템의 구성을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 시스템(300)은 영역 설정/변환부(310), 이미지 복원부(320), 편차 계산부(330), 제어부(340)를 포함하여 구성된다.
영역 설정/변환부(310)는 검출 대상의 이미지에서 특정 형태(예를 들면, 직사각형 형태, 도 5 참조)의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색(예를 들면, 검은 색, 도 5 참조)으로 각각 변환한다. 여기서, 이와 같은 영역 설정/변환부(310)가 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환할 수 있다.
또한, 상기 영역 설정/변환부(310)가 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 도 6에 도시된 바와 같이, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정할 수 있다.
이때, 상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정할 수 있다.
이미지 복원부(320)는 이상과 같이 상기 영역이 설정되고, 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원한다. 여기서, 이와 같은 이미지 복원부(320)가 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원할 수 있다.
또한, 이상과 같은 이미지 복원부(320)는 이미지 복원 알고리즘을 사전에 학습한 인공지능으로 구성될 수 있다.
편차 계산부(330)는 상기 이미지 복원부(320)에 의해 복원된 상기 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별한다. 여기서, 이와 같은 편차 계산과 관련해서는 뒤에서 다시 설명하기로 한다.
제어부(340)는 상기 영역 설정/변환부(310), 이미지 복원부(320) 및 편차 계산부(330)의 상태 체크 및 동작을 제어하고, 상기 편차 계산부(330)에 의해 판별된 결과를 수신하여, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하고, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정한다.
이상과 같은 구성을 가지는 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 시스템(300)은 바람직하게는 외부 기기와의 데이터 송/수신을 위한 통신부(350)를 더 포함할 수 있다.
또한, 이상과 같은 인공지능을 이용한 편집된 이미지 검출 시스템(300)은 전체적으로 하나의 컴퓨터 시스템으로 통합되어 구성될 수도 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 시스템에 기반한 인공지능을 이용한 편집된 이미지 검출 방법에 대하여 설명해 보기로 한다.
도 4는 본 발명의 실시예에 따른 인공지능을 이용한 편집된 이미지 검출 방법의 실행 과정을 나타낸 흐름도이다.
도 4를 참조하면, 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 방법에 따라, 먼저 도 6의 (a)와 같은 검출 대상의 이미지에서 특정 형태(예컨대, 정사각형 또는 직사각형)의 제1∼제N 영역을 각각 설정하고(도 6에서는 편의상 하나의 영역을 도시하고 있으나, 실제로는 다수의 영역이 설정됨), (b)와 같이 설정된 제1∼제N 영역을 특정 색(예컨대, 검은 색)으로 각각 변환한다(단계 S401). 여기서, 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환할 수 있다. 또한, 여기서 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 도 7과 같이, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정할 수 있다. 이때, 이와 같이 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정할 수 있다.
한편, 이상과 같이 상기 제1∼제N 영역의 설정 및 특정 색으로의 변환을 완료한 후, 상기 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 이후, 도 6의 (c)와 같이, 제거된 제1∼제N 영역의 이미지를 각각 복원한다(단계 S402). 여기서, 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원할 수 있다.
이렇게 하여 제1∼제N 영역에 대한 이미지가 각각 복원되면, 그 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고(단계 S403), 계산된 편차가 미리 설정된 기준치 이상인지를 판별한다(단계 S404).
상기 판별에서, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정한다(단계 S405).
그리고 상기 판별에서, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정한다(단계 S406).
여기서, 이상과 같은 제1∼제N 영역에 대한 이미지 복원과 복원된 이미지들 간의 편차 여부에 따라 편집되지 않은 이미지 혹은 편집된 이미지로 판정하는 것과 관련하여 도 8을 참조하여 조금 더 설명을 부가해 보기로 한다.
도 8은 검출 대상 이미지에서 4개의 직사각형 영역을 설정하여 4회에 걸쳐 직사각형 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 복원하는 과정을 나타낸 도면이다.
도 8을 참조하면, 예를 들어, (a)와 같은 "사진1.jpg"라는 이미지 파일이 있다고 가정할 때, (b)와 같이 서로 다른 직사각형 형태의 영역을 제거한 후, (c)와 같이 제거된 영역을 이미지 복원 알고리즘을 이용하여 다시 복원하는 작업을 총 4회 반복하여 수행했다고 가정한다. 즉, "사진1.jpg"는 총 4회 직사각형 영역을 제거하고, 이미지 복원 알고리즘으로 복원하였다. 이때, (c)와 같이 복원된 4장의 이미지의 편차가 특정 수치(즉, 미리 설정된 기준치) 이상이면, "사진1.jpg"는 편집된 사진으로 판정하고, 복원된 4장의 이미지의 편차가 특정 수치(즉, 미리 설정된 기준치) 미만이면, "사진1.jpg"는 편집되지 않은 사진으로 판정하는 것이다.
이상과 같은 일련의 과정에서 사용되는 "편차"는 다양한 개념이 될 수 있는데, 가장 많이 사용되는 개념은 "Rectangular mask L1 error", "Rectangular mask L2 error"가 있다.
도 9와 같이, (a)의 원본 이미지에서, (b)와 같이 직사각형 형태로 이미지를 손상시킨 이후, 이미지 복원(Image inpainting) 모델을 이용하여 (c)와 같이 복원시킨 이미지들의 L1, L2 거리를 계산하는 방법에 있어서, L1 error 거리는 d1과 벡터 p, q 사이에 차원 실수를 직교 좌표계에 일정한 좌표축의 점 위에 투영한 선분 길이의 합인 맨해튼 거리(위키백과 참조)를 이용하여 계산할 수 있고, L2 error 거리는 직교 좌표계로 나타낸 점 p =　(p1,　p2,...,　pn)와 q　=　(q1,　q2,...,　qn)가 있을 때, 두 유클리드 노름을 이용하여 두 점 p, q 사이의 거리를 계산할 때 사용되는 유클리드 거리(위키백과 참조)를 이용하여 계산할 수 있다.
이상과 같은 일련의 이미지 복원에 있어서, 이미지 복원은 이미지에서 훼손된 부분을 생성하는 기술이기 때문에 결과가 좋지 못할 경우가 있다. 따라서, 이런 경우를 대비하여 SSIM(Structural Similarity Index Map), PSNR(Peak Signal-to-Noise Ratio) 등의 지표를 활용하여 SSIM, PSNR이 특정 수치 이상인 경우만 이미지 복원의 결과물을 적용하여 편차를 계산할 수 있다. 여기서, SSIM은 이미지 품질 평가를 하기 위해 사용하는 방법으로 시각적 화질 차이 및 유사도를 평가하기 위한 것이다. 이를 비교하기 위해서 이미지의 휘도(luminance), 대조(contrast), 구조(structure)를 비교한다. SSIM의 최대치는 1이고, 이 값이 높을수록 이미지 품질이 좋다는 것을 의미한다.
한편, 상기 도 4의 단계 S406과 같이, 검출 대상의 이미지가 편집된 이미지로 판정되면, 그 편집된 이미지에서 편집된 위치를 찾기 위해, 본 발명의 방법은 편집된 위치를 찾기 위한 일련의 과정들을 더 포함할 수 있다. 이에 대해 도 5를 참조하여 설명해 보기로 한다.
도 5는 편집된 이미지에서 편집된 위치를 찾는 과정을 나타낸 흐름도이다.
도 5를 참조하면, 상기 도 4의 단계 S406 이후에, 단계 S406에서의 편집된 이미지에서 편집된 위치를 찾기 위해, 먼저 도 4의 단계 S406에서 상기 편집된 이미지로 판정된 이미지를 K개의 영역으로 분할한다(단계 S501).
그런 후, 상기 K개로 분할된 각 영역의 이미지를 각각 하나의 전체 이미지로 보고, 각 영역의 이미지에 대해 상기 도 4의 단계 S401∼S402를 각각 수행하여 이미지를 각각 복원한다(단계 S502).
그리고 상기 복원된 각 이미지에 대응하는 영역 중에서 편차가 큰 영역을 편집된 영역으로 판정한다(단계 S503).
그런 다음, 상기 편집된 영역으로 판정된 영역에 다시 상기 단계 S502를 적용하여 해당 영역을 세분화된 다수의 영역으로 분할한 후, 분할된 각 영역의 편차를 구한다(단계 S504).
그런 후, 상기 구해진 편차 중 편차가 크지 않은 영역에 대해서는 편집되지 않은 영역으로 판정하고, 편차가 큰 영역에 대해서는 편집된 영역으로 판정한다(단계 S505).
이후, 상기 단계 S505에서 편집된 영역으로 판정된 영역의 이미지를 다시 더 세분화된 다수의 영역으로 분할하고, 분할된 각 영역의 편차를 구하여 그를 바탕으로 해당 영역의 편집 여부를 판정하는 방식을 반복 수행함으로써, 최종적으로 편집된 이미지에서의 편집된 위치를 찾아낸다(단계 S506).
위에서 설명한 "Rectangular mask L1, L2 error"와는 다른 방식으로 에러를 체크하는 방법으로, 직사각형의 영역이 아닌, 임의의 형태의 영역을 지우고 다시 복원하는 "Free-form mask L1, L2 error" 방법이 있다. 이 방법은 위와 같이 편집된 이미지를 검출하는데 사용할 수 있다. 이 방법은 도 10과 같이, 원본 이미지에서 직사각형이 아닌 임의의 형태로 이미지를 손상시킨 후, 이미지 복원 모델을 이용하여 복원시킨 이미지들의 L1, L2 거리를 계산하는 방법이다.
이상의 설명과 같이, 본 발명에 따른 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템은 검출 대상의 이미지를 N개의 영역으로 분할하고, 분할된 각 영역을 제거한 후, 제거된 영역을 이미지 복원(image inpainting) 알고리즘을 이용하여 복원하는 과정을 N회 반복 수행함으로써, 검출 대상의 이미지가 편집된 이미지인지, 편집되지 않은 원본 이미지인지를 판정하는 한편 편집된 이미지로 판정되었을 시, 그 편집된 이미지에서의 편집된 위치를 찾아낼 수 있는 장점이 있다.
이상, 바람직한 실시 예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

  1. a) 검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 단계와;
    b) 상기 제1∼제N 영역의 설정 및 특정 색으로의 변환을 완료한 후, 상기 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 이후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 단계와;
    c) 상기 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 단계와;
    d) 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하는 단계; 및
    e) 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정하는 단계를 포함하는 인공지능을 이용한 편집된 이미지 검출 방법.
  2. 제1항에 있어서,
    상기 단계 a)에서 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 인공지능을 이용한 편집된 이미지 검출 방법.
  3. 제1항에 있어서,
    상기 단계 a)에서 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정하는 인공지능을 이용한 편집된 이미지 검출 방법.
  4. 제3항에 있어서,
    상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정하는 인공지능을 이용한 편집된 이미지 검출 방법.
  5. 제1항에 있어서,
    상기 단계 b)에서 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원하는 인공지능을 이용한 편집된 이미지 검출 방법.
  6. 제1항에 있어서,
    상기 단계 e) 이후에, 상기 단계 e)에서의 편집된 이미지에서 편집된 위치를 찾기 위해,
    f) 상기 단계 e)에서 상기 편집된 이미지로 판정된 이미지를 K개의 영역으로 분할하는 단계와;
    g) 상기 K개로 분할된 각 영역의 이미지를 각각 하나의 전체 이미지로 보고, 각 영역의 이미지에 대해 상기 단계 a)∼b)를 각각 수행하여 이미지를 각각 복원하는 단계와;
    h) 상기 복원된 각 이미지에 대응하는 영역 중에서 편차가 큰 영역을 편집된 영역으로 판정하는 단계와;
    i) 상기 편집된 영역으로 판정된 영역에 다시 상기 단계 g)를 적용하여 해당 영역을 세분화된 다수의 영역으로 분할한 후, 분할된 각 영역의 편차를 구하는 단계와;
    j) 상기 구해진 편차 중 편차가 크지 않은 영역에 대해서는 편집되지 않은 영역으로 판정하고, 편차가 큰 영역에 대해서는 편집된 영역으로 판정하는 단계; 및
    k) 상기 단계 j)에서 편집된 영역으로 판정된 영역의 이미지를 다시 더 세분화된 다수의 영역으로 분할하고, 분할된 각 영역의 편차를 구하여 그를 바탕으로 해당 영역의 편집 여부를 판정하는 방식을 반복 수행함으로써, 최종적으로 편집된 이미지에서의 편집된 위치를 찾아내는 단계를 더 포함하는 인공지능을 이용한 편집된 이미지 검출 방법.
  7. 검출 대상의 이미지에서 특정 형태의 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 영역 설정/변환부와;
    상기 영역이 설정되고, 특정 색으로 각각 변환된 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원하는 이미지 복원부와;
    상기 복원된 제1∼제N 영역의 각각의 이미지들 간의 편차를 계산하고, 계산된 편차가 미리 설정된 기준치 이상인지를 판별하는 편차 계산부; 및
    상기 영역 설정/변환부, 이미지 복원부 및 편차 계산부의 상태 체크 및 동작을 제어하고, 상기 편차 계산부에 의해 판별된 결과를 수신하여, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 미만이면, 상기 검출 대상의 이미지를 편집되지 않은 이미지로 판정하고, 상기 복원된 각각의 이미지들 간의 편차가 미리 설정된 기준치 이상이면, 상기 검출 대상의 이미지를 편집된 이미지로 판정하는 제어부를 포함하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  8. 제7항에 있어서,
    상기 영역 설정/변환부가 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환함에 있어서, 상기 검출 대상의 이미지에서 제1 영역을 설정한 후, 설정된 제1 영역을 특정 색으로 변환하고, 상기 제1 영역과는 다른 제2 영역을 설정한 후, 설정된 제2 영역을 특정 색으로 변환하며, 상기 제1, 제2 영역과는 다른 제3 영역을 설정한 후, 설정된 제3 영역을 특정 색으로 변환하고, …, 제N 영역을 설정한 후, 설정된 제N 영역을 특정 색으로 변환하는 방식으로 일련의 작업을 N번 반복적으로 수행함에 의해 상기 제1∼제N 영역을 각각 설정하고, 설정된 제1∼제N 영역을 특정 색으로 각각 변환하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  9. 제7항에 있어서,
    상기 영역 설정/변환부가 상기 제1∼제N 영역을 설정함에 있어서, 상기 검출 대상의 이미지가 사각형일 경우, 가로를 A등분, 세로를 B등분하여 A×B의 격자 형태로 분할하여 제1∼제N 영역의 총 N개의 영역을 설정하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  10. 제9항에 있어서,
    상기 총 N개의 영역을 설정함에 있어서, 한꺼번에 종 N개의 영역을 설정하는 것이 아니라, 한 번에 한 개씩 영역을 설정하는 방식으로 각 영역을 설정하여 총 N회에 걸쳐 총 N개의 영역을 설정하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  11. 제7항에 있어서,
    상기 이미지 복원부가 상기 제1∼제N 영역을 제거한 후, 제거된 제1∼제N 영역의 이미지를 각각 복원함에 있어서, 상기 제1 영역을 제거한 후, 이미지 복원(image inpainting) 알고리즘을 이용하여 상기 제거된 제1 영역에 채워 넣는 작업을 수행하여 제1 영역의 이미지를 복원하고, 상기 제2 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제2 영역에 채워 넣은 작업을 수행하여 제2 영역의 이미지를 복원하며, 상기 제3 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제3 영역에 채워 넣는 작업을 수행하여 제3 영역의 이미지를 복원하고, …, 상기 제N 영역을 제거한 후, 이미지 복원 알고리즘을 이용하여 상기 제거된 제N 영역에 채워 넣는 작업을 수행하여 제N 영역의 이미지를 복원하는 방식으로 총 N번의 반복 작업을 수행하여 상기 제1∼제N 영역의 이미지를 각각 복원하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  12. 제7항에 있어서,
    상기 이미지 복원부는 이미지 복원 알고리즘을 사전에 학습한 인공지능으로 구성된 것을 특징으로 하는 인공지능을 이용한 편집된 이미지 검출 시스템.
  13. 제7항에 있어서,
    외부 기기와의 데이터 송/수신을 위한 통신부를 더 포함하는 인공지능을 이용한 편집된 이미지 검출 시스템.
PCT/KR2021/009248 2020-07-20 2021-07-19 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템 WO2022019590A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0089538 2020-07-20
KR20200089538 2020-07-20
KR10-2021-0093967 2021-07-19
KR1020210093967A KR20220011099A (ko) 2020-07-20 2021-07-19 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2022019590A1 true WO2022019590A1 (ko) 2022-01-27

Family

ID=79728878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/009248 WO2022019590A1 (ko) 2020-07-20 2021-07-19 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템

Country Status (1)

Country Link
WO (1) WO2022019590A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129857A1 (en) * 2016-11-10 2018-05-10 Synaptics Incorporated Systems and methods for spoof detection based on gradient distribution
US20180157899A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. Method and apparatus detecting a target
US20180349567A1 (en) * 2016-10-13 2018-12-06 Markany Inc. Apparatus, system, and method of preventing forgery or falsification of electronic document based on content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180349567A1 (en) * 2016-10-13 2018-12-06 Markany Inc. Apparatus, system, and method of preventing forgery or falsification of electronic document based on content
US20180129857A1 (en) * 2016-11-10 2018-05-10 Synaptics Incorporated Systems and methods for spoof detection based on gradient distribution
US20180157899A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. Method and apparatus detecting a target

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ATOUM YOUSEF; LIU YAOJIE; JOURABLOO AMIN; LIU XIAOMING: "Face anti-spoofing using patch and depth-based CNNs", 2017 IEEE INTERNATIONAL JOINT CONFERENCE ON BIOMETRICS (IJCB), IEEE, 1 October 2017 (2017-10-01), pages 319 - 328, XP033308629, DOI: 10.1109/BTAS.2017.8272713 *
PATHAK DEEPAK; KRAHENBUHL PHILIPP; DONAHUE JEFF; DARRELL TREVOR; EFROS ALEXEI A.: "Context Encoders: Feature Learning by Inpainting", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 27 June 2016 (2016-06-27), pages 2536 - 2544, XP033021434, DOI: 10.1109/CVPR.2016.278 *

Similar Documents

Publication Publication Date Title
WO2020197239A1 (ko) 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치
JP4049831B2 (ja) 客体の輪郭映像検知／細線化装置及びその方法
WO2021080145A1 (ko) 이미지 채움 장치 및 방법
WO2021133001A1 (ko) 시멘틱 이미지 추론 방법 및 장치
WO2020231226A1 (en) Method of performing, by electronic device, convolution operation at certain layer in neural network, and electronic device therefor
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2021080233A1 (ko) 이미지 복원 방법 및 장치
WO2019039757A1 (ko) 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
WO2021095991A1 (ko) 불량 이미지 생성 장치 및 방법
EP0851389B1 (en) Contour tracing method
WO2021241804A1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
WO2023080266A1 (ko) 딥러닝 네트워크를 이용한 얼굴 변환 방법 및 장치
WO2019117393A1 (ko) 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체
CN115270184A (zh) 视频脱敏、车辆的视频脱敏方法、车载处理系统
WO2022154523A1 (ko) 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치
WO2021246821A1 (ko) 얼굴 이미지 개선 방법 및 장치
WO2022019590A1 (ko) 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템
CN106845555A (zh) 基于Bayer格式的图像匹配方法及图像匹配装置
WO2024019337A1 (en) Video enhancement method and apparatus
WO2022255523A1 (ko) 멀티 스케일 객체 이미지 복원 방법 및 장치
WO2022080680A1 (ko) 인공지능 기반 이미지 인페인팅 방법 및 디바이스
WO2019135625A1 (ko) 영상 디스플레이 장치 및 그 제어 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
KR20220011099A (ko) 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21847091

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13.06.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21847091

Country of ref document: EP

Kind code of ref document: A1