KR102260335B1 - Apparatus and method for classifying image change type based on artificial intelligence technology - Google Patents
Apparatus and method for classifying image change type based on artificial intelligence technology Download PDFInfo
- Publication number
- KR102260335B1 KR102260335B1 KR1020190128197A KR20190128197A KR102260335B1 KR 102260335 B1 KR102260335 B1 KR 102260335B1 KR 1020190128197 A KR1020190128197 A KR 1020190128197A KR 20190128197 A KR20190128197 A KR 20190128197A KR 102260335 B1 KR102260335 B1 KR 102260335B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- data
- modulation
- comparison result
- image comparison
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 27
- 238000005516 engineering process Methods 0.000 title abstract description 7
- 230000008859 change Effects 0.000 title description 3
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000013135 deep learning Methods 0.000 claims abstract description 18
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 7
- 239000004984 smart glass Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G06K9/481—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 이미지 비교 기술에 관한 것으로서, 상세하게는 딥 러닝(deep-learning) 기반으로 학습된 모델을 이용해 원본 이미지의 변조가 인위적 변조인지 비정상적 변조인지를 분류할 수 있는 인공지능 기반 이미지 변조 분류 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 인공지능 기반 이미지 변조 분류 장치는 이미지 편집 과정에서 발생하는 로그기록 데이터를 입력받아 패턴 데이터를 생성하는 패턴 데이터 생성부와, 원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 이미지 비교부와, 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 상기 패턴 데이터와 이미지 비교결과 데이터를 입력받아 이미지의 변조 종류를 분류하는 분류부를 포함한다.The present invention relates to image comparison technology, and in particular, an artificial intelligence-based image modulation classification device that can classify whether the modulation of the original image is artificial modulation or abnormal modulation using a model trained based on deep-learning and methods. To this end, the artificial intelligence-based image modulation classification apparatus according to the present invention includes a pattern data generation unit that receives log record data generated in an image editing process and generates pattern data, and image comparison result data by analyzing the original image and the edited image It includes an image comparison unit that outputs , and a classification unit that receives the pattern data and image comparison result data according to a model learned based on deep-learning and classifies the modulation type of the image.
Description
본 발명은 이미지 비교 기술에 관한 것으로서, 상세하게는 딥 러닝(deep-learning) 기반으로 학습된 모델을 이용해 원본 이미지의 변조가 인위적 변조인지 비정상적 변조인지를 분류할 수 있는 인공지능 기반 이미지 변조 분류 장치 및 방법에 관한 것이다. The present invention relates to image comparison technology, and in particular, an artificial intelligence-based image modulation classification device that can classify whether the modulation of the original image is artificial modulation or abnormal modulation using a model trained based on deep-learning and methods.
기존의 이미지 분석 기술로는 히스토그램 비교기술, 특이점 분석 기술 등이 존재한다. Existing image analysis techniques include a histogram comparison technique, a singular point analysis technique, and the like.
히스토그램 비교기술은 히스토그램 각각의 색 농도를 비교하여 유사 정도를 분석하는 것이다. 히스토그램이란 픽셀의 색 농도 기준으로 구분한 것이다. 히스토그램 비교기술은 픽셀의 색 비교 분석과 유사하다고 말할 수 있다. 색을 기준으로 분석하기 때문에 이미지 형태가 같더라도 색이 변조될 경우 이를 감지할 수 있다. The histogram comparison technique analyzes the degree of similarity by comparing the color intensity of each histogram. A histogram is a division based on the color depth of a pixel. The histogram comparison technique can be said to be similar to the color comparison analysis of pixels. Because it analyzes based on color, even if the image shape is the same, if the color is modulated, it can be detected.
특이점 분석 기술은 이미지의 특이한 형태를 각각 선정하여 그 위치를 계산 및 비교하는 이미지 비교 방식이다. 특정 모서리나 이미지 부분의 위치가 다르면 다른 그림으로 인식하는 방법이다. 이는 이미지의 형태를 분석함으로써 모양이 달라지는 경우를 찾을 수 있도록 한다. Singularity analysis technology is an image comparison method that selects each specific shape of an image and calculates and compares its location. It is a method of recognizing a different picture if the position of a certain corner or image part is different. This makes it possible to find cases where the shape changes by analyzing the shape of the image.
히스토그램비교 기술은 기본적으로 픽셀 단위의 수치 비교를 기반으로 한다. 컴퓨터에서 픽셀 단위의 수치가 다르면 이미지가 다른 것으로 인식한다. 이는 상당히 큰 민감도로 표출할 수 있다. 즉, 픽셀 값에서 미세한 차이가 나더라도 이미지 비교 결과에 영향을 줄 수 있다는 것이다. Histogram comparison technology is basically based on pixel-wise numerical comparison. If the number of pixels is different on the computer, the image is recognized as different. This can be expressed with a fairly large sensitivity. That is, even a slight difference in pixel values can affect the image comparison result.
특이점 분석 기술 또한 특이 지점의 위치를 수치 비교분석하는 기술이다. 이 또한 민감한 결과를 도출할 가능성이 있다. The singular point analysis technique is also a technique for numerical comparison and analysis of the position of the singular point. This also has the potential to lead to sensitive results.
하지만 기본적으로 위의 두 기술 모두 인위적인 이미지의 변조를 구분하는 것은 불가능하다. 즉, 픽셀 단위의 수치나 특지 지점의 위치가 다르면 이미지가 변경되었다고 인식할 수 있으나, 그 변경이 편집 작업의 결과로 인한 것인지 어떤 비정상적인 원인에 의한 것인지를 전혀 알 수 없다. However, it is basically impossible to distinguish the artificial image modulation in both of the above techniques. That is, if the numerical value in units of pixels or the position of the special point is different, it can be recognized that the image has been changed, but it is impossible to know at all whether the change is due to the result of the editing operation or any abnormal cause.
인위적인 이미지 변조를 구분하기 위해서는 사람의 생각을 알아야 하는데 종래의 이미지 비교 분석 기술로는 사람의 생각이나 의도를 알 수 없으며 그에 따라 인위적 변조와 비정상적인 변조를 분류할 수 없다는 문제점이 있다. In order to distinguish the artificial image modulation, it is necessary to know the human thought. However, there is a problem that the human thought or intention cannot be known with the conventional image comparison and analysis technology, and accordingly, the artificial modulation and the abnormal modulation cannot be classified.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 원본 이미지에 변경이 발생했을 때 그 이미지 변조가 인위적 변조인지 비정상적 변조인지를 구분할 수 있도록 하는 것이다. The present invention was devised to solve the above problems, and an object of the present invention is to distinguish whether the image modulation is artificial modulation or abnormal modulation when an original image is changed.
이를 위해, 본 발명에 따른 인공지능 기반 이미지 변조 분류 장치는 이미지 편집 과정에서 발생하는 로그기록 데이터를 입력받아 패턴 데이터를 생성하는 패턴 데이터 생성부와, 원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 이미지 비교부와, 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 상기 패턴 데이터와 이미지 비교결과 데이터를 입력받아 이미지의 변조 종류를 분류하는 분류부를 포함한다.To this end, the artificial intelligence-based image modulation classification apparatus according to the present invention includes a pattern data generation unit that receives log record data generated in an image editing process and generates pattern data, and image comparison result data by analyzing the original image and the edited image It includes an image comparison unit that outputs , and a classification unit that receives the pattern data and image comparison result data according to a model learned based on deep-learning and classifies the modulation type of the image.
또한, 본 발명에 따른 인공지능 기반 이미지 변조 분류 장치는 이미지 편집 과정에서 발생하는 로그기록 데이터를 입력받아 패턴 데이터를 생성하는 패턴 데이터 생성부와, 원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 이미지 비교부와, 작업자의 눈이 편집 작업 화면의 어느 지점을 보고 있는지를 나타내는 초점 데이터를 생성하는 초점 데이터 생성부와, 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 패턴 데이터, 초점 데이터 및 이미지 비교결과 데이터를 입력받아 원본 이미지의 변조 종류를 분류하는 분류부를 포함한다. In addition, the artificial intelligence-based image modulation classification apparatus according to the present invention includes a pattern data generation unit that receives log record data generated in an image editing process and generates pattern data, and analyzes the original image and the edited image to generate image comparison result data. An image comparison unit to output, a focus data generation unit that generates focus data indicating which point on the editing screen the operator’s eyes are looking at, pattern data according to a model learned based on deep-learning, and a classification unit that receives focus data and image comparison result data and classifies modulation types of the original image.
또한, 본 발명에 따른 인공지능 기반 이미지 변조 분류 방법은 인공지능 기반 이미지 변조 분류 장치에서 이미지의 변조 종류를 분류하는 방법으로서, 이미지 편집 과정에서 발생하는 로그기록 데이터를 입력받아 패턴 데이터를 생성하는 패턴 데이터 생성 단계와, 원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 이미지 비교 단계와, 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 상기 패턴 데이터와 이미지 비교결과 데이터를 입력받아 이미지의 변조 종류를 분류하는 이미지 변조 분류 단계를 포함한다.In addition, the artificial intelligence-based image modulation classification method according to the present invention is a method for classifying the modulation type of an image in an artificial intelligence-based image modulation classification apparatus, and a pattern for generating pattern data by receiving log record data generated in the image editing process A data generation step, an image comparison step of analyzing the original image and the edited image to output image comparison result data, and receiving the pattern data and image comparison result data according to a model learned based on deep-learning and an image modulation classification step of classifying a modulation type of the image.
또한, 본 발명에 따른 인공지능 기반 이미지 변조 분류 방법은 인공지능 기반 이미지 변조 분류 장치에서 이미지의 변조 종류를 분류하는 방법으로서, 이미지 편집 과정에서 발생하는 로그기록 데이터를 입력받아 패턴 데이터를 생성하는 패턴 데이터 생성 단계와, 원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 이미지 비교 단계와, 작업자의 눈이 편집 작업 화면의 어느 지점을 보고 있는지를 나타내는 초점 데이터를 생성하는 초점 데이터 생성 단계와, 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 상기 패턴 데이터, 초점 데이터 및 이미지 비교결과 데이터를 입력받아 이미지의 변조 종류를 분류하는 이미지 변조 분류 단계를 포함한다. In addition, the artificial intelligence-based image modulation classification method according to the present invention is a method for classifying the modulation type of an image in an artificial intelligence-based image modulation classification apparatus, and a pattern for generating pattern data by receiving log record data generated in the image editing process A data generation step, an image comparison step of analyzing the original image and the edited image to output image comparison result data, a focus data generation step of generating focus data indicating which point on the editing screen the operator’s eyes are looking at; , an image modulation classification step of classifying a modulation type of an image by receiving the pattern data, focus data, and image comparison result data according to a model learned based on deep-learning.
상술한 바와 같이, 본 발명은 딥 러닝(deep-learning) 기반으로 학습된 모델을 이용해 원본 이미지의 변조가 인위적 변조인지 비정상적 변조인지를 분류할 수 있는 효과가 있다. As described above, the present invention has the effect of classifying whether the modulation of the original image is artificial modulation or abnormal modulation using a model trained based on deep-learning.
종래의 이미지 비교 기술은 컴퓨터가 어느 정도의 다름을 수치적으로 파악하여 결과를 도출하였지만 사람이 원하는 변조의 종류를 구분하는데 적용할 수 없었다. 그러나 본 발명에 따른 이미지 변조 분류 기술을 이용하게 되면, 작업자 혹은 디자이너가 원하는 방식의 이미지 비교를 수행할 수 있는 효과를 거둘 수 있다. In the conventional image comparison technique, a computer numerically grasps the degree of difference and derives the result, but it cannot be applied to distinguish the type of modulation desired by a person. However, if the image modulation classification technique according to the present invention is used, an effect that an operator or a designer can perform image comparison in a desired manner can be achieved.
도 1은 본 발명에 따른 인공지능 기반 이미지 변조 분류 장치의 내부 구성을 나타낸 도면.
도 2는 본 발명의 다른 실시예에 따른 인공지능 기반 이미지 변조 분류 장치의 내부 구성을 나타낸 도면.
도 3은 본 발명에 따른 분류부의 내부 구성을 나타낸 도면.
도 4는 본 발명에 따른 인공지능 기반 이미지 변조 분류 과정을 나타낸 도면.
도 5는 본 발명의 다른 실시예에 따른 인공지능 기반 이미지 변조 분류 과정을 나타낸 도면.1 is a diagram showing the internal configuration of an artificial intelligence-based image modulation classification device according to the present invention.
2 is a diagram showing the internal configuration of an artificial intelligence-based image modulation classification apparatus according to another embodiment of the present invention.
3 is a view showing the internal configuration of a classification unit according to the present invention.
4 is a diagram illustrating an AI-based image modulation classification process according to the present invention.
5 is a diagram illustrating an AI-based image modulation classification process according to another embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the effects thereof will be clearly understood through the following detailed description.
도 1은 본 발명에 따른 인공지능 기반 이미지 변조 분류 장치의 내부 구성을 나타낸 것이다. 1 shows the internal configuration of an artificial intelligence-based image modulation classification apparatus according to the present invention.
도 1을 참조하면, 인공지능 기반 이미지 비교 장치는 패턴 데이터 생성부(10), 이미지 비교부(20), 분류부(30) 등을 포함한다. Referring to FIG. 1 , the artificial intelligence-based image comparison apparatus includes a pattern
패턴 데이터 생성부(10)는 이미지 편집 과정에서 발생하는 로그기록 데이터를 입력받아 패턴 데이터를 생성한다. 로그기록 데이터는 이미지 편집 과정 중에 발생하는 마우스의 클릭, 드래그, 속도나 키보드 입력값을 말한다. The pattern
이미지 비교부(20)는 원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력한다. 편집 이미지는 디자이너가 원본 이미지의 디자인을 편집한 후 다른 파일 형태로 변환하여 얻게 된다. The
본 발명의 실시예에서 원본 이미지는 일러스트레이터(Adobe Illustrator)에서 작업한 AI 파일이며, 편집 이미지는 프린터가 인식할 수 있는 TIF 파일이다. In an embodiment of the present invention, the original image is an AI file worked in Adobe Illustrator, and the edited image is a TIF file that can be recognized by the printer.
분류부(30)는 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 패턴 데이터와 이미지 비교결과 데이터를 입력받아 원본 이미지의 변조 종류를 분류한다. The
원본 이미지의 변조는 인위적 변조와 비정상적 변조로 구분된다. 분류부(30)는 원본 이미지의 변조가 인위적 변조인지 비정상적 변조인지에 대해 확률 값으로 출력한다. The modulation of the original image is divided into artificial modulation and abnormal modulation. The
분류부(30)에 딥 러닝 모델이 적용되기 때문에, 학습 데이터로서 패턴 데이터, 이미지 비교결과 데이터 및 디자이너의 실제 이미지 비교결과(인위적 변조, 비정상적 변조)를 준비하여 딥 러닝 기반으로 분류부(30)를 사전 학습시킨다. Since the deep learning model is applied to the
도 2는 본 발명의 다른 실시예에 따른 인공지능 기반 이미지 변조 분류 장치의 내부 구성을 나타낸 것이다. 2 shows the internal configuration of an artificial intelligence-based image modulation classification apparatus according to another embodiment of the present invention.
도 2를 참조하면, 다른 실시예에 따른 인공지능 기반 이미지 비교장치는 패턴 데이터 생성부(10), 이미지 비교부(20), 분류부(30'), 초점 데이터 생성부(40) 등을 포함한다. Referring to FIG. 2 , an artificial intelligence-based image comparison device according to another embodiment includes a
도 2에 도시된 이미지 비교장치의 구성은 도 1에 도시된 구성과 유사하나, 분류부(30')에 적용되는 딥 러닝 모델이 일부 다르고, 초점 데이터 생성부(40)를 더 포함하고 있는 것이 다르다. The configuration of the image comparison apparatus shown in FIG. 2 is similar to that shown in FIG. 1 , but the deep learning model applied to the
초점 데이터 생성부(40)는 작업자(디자이너) 눈이 편집 작업 화면의 어느 지점을 보고 있는지를 나타내는 초점 데이터를 생성한다. The focus
초점 데이터를 생성하기 위해서는 작업자가 스마트 글라스(smart glass)를 착용하여 편집 작업을 수행할 수 있다. 스마트 글라스에는 머리의 움직임을 파악하는 동작인식센서, 안구의 움직임을 추적하는 아이트랙커(eye tracker) 또는 카메라가 장착되어 있어서, 초점 데이터 생성부(40)는 스마트 글라스의 각종 센서로부터 센서신호를 입력받아 초점 데이터를 생성하게 된다. In order to generate focus data, an operator may wear smart glasses to perform an editing operation. The smart glass is equipped with a motion recognition sensor that detects the movement of the head, an eye tracker or a camera that tracks the movement of the eye, so that the focus
분류부(30')는 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 패턴 데이터, 초점 데이터 및 이미지 비교결과 데이터를 입력받아 원본 이미지의 변조 종류를 분류한다. The classification unit 30' receives pattern data, focus data, and image comparison result data according to a model learned based on deep-learning and classifies the modulation type of the original image.
분류부(30')도 딥 러닝 모델이 적용되기 때문에, 학습 데이터로서 패턴 데이터, 초점 데이터, 이미지 비교결과 데이터 및 디자이너의 실제 이미지 비교결과(인위적 변조, 비정상적 변조)를 준비하여 딥 러닝 기반으로 분류부(30')를 사전 학습시킨다. Since the classification unit 30' also applies a deep learning model, it prepares pattern data, focus data, image comparison result data, and designer's actual image comparison result (artificial modulation, abnormal modulation) as training data and classifies it based on deep learning The unit 30' is pre-trained.
도 3은 본 발명에 따른 분류부의 내부 구성을 나타낸 것이다.3 shows the internal configuration of a classification unit according to the present invention.
도 3을 참조하면, 분류부(30')는 크게 특징벡터 변환모듈(32)과 신경망(34)으로 구성된다. Referring to FIG. 3 , the
도 3에서 분류부(30')에 대한 설명은 도 1에 도시된 분류부(30)에도 동일하게 적용되나, 입력 값이 일부 다르고 그에 따라 신경망(34)의 구조가 다름에 유의한다. Note that the description of the
특징벡터 변환모듈(32)은 패턴 데이터, 초점 데이터, 이미지 비교결과 데이터등을 입력받아 신경망(Deep Neural Network)(34)에 적용 가능한 특징벡터(feature vector)로 변환한다. 특징벡터는 각 정보가 정규화되어 N-차원으로 구성된 값이다. The feature
N-차원의 특징벡터는 신경망(34)의 입력층(input layer)에 입력되고 학습과정을 통해 결정된 가중치(weight) 및 바이어스(bias) 값과 활성함수(activation function)를 이용해 복수의 은닉층(hidden layer)을 거쳐 출력층(output layer)으로 출력된다. 출력층으로 출력된 값이 이미지 변조 분류 결과를 구성한다. The N-dimensional feature vector is input to the input layer of the
본 발명에 따른 인공지능 기반 신경망(34)을 구현하기 위해, 패턴 데이터, 초점 데이터, 이미지 비교결과 데이터 등을 정규화한 값을 입력 데이터로 하고, 실제 이미지 비교결과 값(인위적 변조, 비정상적 변조)을 출력 데이터로 하는 학습 데이터(training data)를 사용하여 기계학습(machine learning)을 통해 신경망(34)을 학습시킨다. In order to implement the artificial intelligence-based
도 4는 본 발명에 따른 인공지능 기반 이미지 변조 분류 과정을 나타낸 것이다. 4 shows an AI-based image modulation classification process according to the present invention.
도 4를 참조하면, 각 단계는 인공지능 기반 이미지 변조 분류 장치에서 수행되며, 크게 패턴 데이터 생성 단계(S10), 이미지 비교 단계(S20), 이미지 변조 분류 단계(S30)로 구성된다. Referring to FIG. 4 , each step is performed in an artificial intelligence-based image modulation classification device, and is largely composed of a pattern data generation step (S10), an image comparison step (S20), and an image modulation classification step (S30).
패턴 데이터 생성 단계(S10)는 이미지 편집 과정에서 발생하는 로그기록 데이터를 입력받아 패턴 데이터를 생성하는 과정이다. 즉, 디자이너가 이미지를 가공, 처리, 변환하는 과정에서 발생하는 각종 로그기록을 패턴화하는 과정이다. The pattern data generation step S10 is a process of generating pattern data by receiving log record data generated in the image editing process. In other words, it is a process of patterning various log records that occur in the process of the designer processing, processing, and converting images.
이미지 비교 단계(S20)는 원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 과정이다. 이미지 비교 단계는 종래의 이미지 비교 기술을 이용하여 이미지의 변경을 수치적으로 계산한다. The image comparison step (S20) is a process of outputting image comparison result data by analyzing the original image and the edited image. The image comparison step numerically calculates the change in the image using conventional image comparison techniques.
이미지 변조 분류 단계(S30)는 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 패턴 데이터와 이미지 비교결과 데이터를 입력받아 이미지의 변조 종류를 분류하는 과정이다. The image modulation classification step S30 is a process of classifying the modulation type of an image by receiving pattern data and image comparison result data according to a model learned based on deep-learning.
이미지 변조 분류 단계는 패턴 데이터와 이미지 비교결과 데이터를 입력받아 특징 벡터를 출력하고, 특징 벡터를 입력 층을 통해 입력 받아 인공신경망을 통해 분석하여 이미지 변조의 종류에 대한 확률 값을 출력하게 된다. The image modulation classification step receives pattern data and image comparison result data, outputs a feature vector, receives the feature vector through an input layer, analyzes it through an artificial neural network, and outputs a probability value for the type of image modulation.
이미지 변조 종류에 대한 확률 값을 통해 이미지의 변조가 인위적인 변조인지 아니면 비정상적인 변조인지를 확인할 수 있다. Through the probability value for the type of image modulation, it is possible to determine whether the modulation of the image is artificial or abnormal.
도 5는 본 발명의 다른 실시예에 따른 인공지능 기반 이미지 변조 분류 과정을 나타낸 것이다. 5 shows an AI-based image modulation classification process according to another embodiment of the present invention.
도 5를 참조하면, 도 4의 과정과 동일하나 초점 데이터 생성 단계(S12)가 추가되어 있음을 알 수 있다. Referring to FIG. 5 , it can be seen that the process of FIG. 4 is the same, but the focus data generation step S12 is added.
초점 데이터 생성 단계(S12)는 작업자가 착용한 스마트 글라스에 구비된 동작인식센서, 아이트랙커(eye tracker) 또는 카메라로부터 센서신호를 입력받아 초점 데이터를 생성하는 과정이다. The focus data generation step (S12) is a process of generating focus data by receiving a sensor signal from a motion recognition sensor, an eye tracker, or a camera provided in the smart glasses worn by the operator.
이에 따라 이미지 변조 분류 단계(S30)는 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 패턴 데이터, 초점 데이터 및 이미지 비교결과 데이터를 입력받아 이미지의 변조 종류를 분류하게 된다. Accordingly, the image modulation classification step S30 receives pattern data, focus data, and image comparison result data according to a model learned based on deep-learning, and classifies the modulation type of the image.
또한, 이미지 변조 분류 단계(S30)는 패턴 데이터 및 이미지 비교결과 데이터 외에 초점 데이터를 입력받아 더 많은 특징 벡터를 출력하고, 이 특징 벡터를 입력 층을 통해 입력 받아 인공신경망을 통해 분석하여 이미지 변조의 종류에 대한 확률 값을 출력하게 된다. 이와 같이, 입력 벡터로서 초점 데이터가 추가됨으로써 더욱 정확한 이미지 변조 분류 결과를 출력할 수 있게 된다. In addition, the image modulation classification step (S30) receives focus data in addition to the pattern data and image comparison result data to output more feature vectors, and receives this feature vector through an input layer and analyzes it through an artificial neural network to determine image modulation. It outputs the probability value for the type. As described above, by adding focus data as an input vector, it is possible to output a more accurate image modulation classification result.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. The above description is merely illustrative of the present invention, and various modifications may be made by those of ordinary skill in the art to which the present invention pertains without departing from the technical spirit of the present invention.
따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다. Accordingly, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed by the following claims, and all technologies within the scope equivalent thereto should be construed as being included in the scope of the present invention.
10: 패턴 데이터 생성부 20: 이미지 비교부
30, 30': 분류부 32: 특징벡터 변환모듈
34: 신경망 40: 초점 데이터 생성부 10: pattern data generation unit 20: image comparison unit
30, 30': classification unit 32: feature vector conversion module
34: neural network 40: focus data generator
Claims (14)
원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 이미지 비교부와,
학습 데이터로서 패턴 데이터, 이미지 비교결과 데이터 및 디자이너의 실제 이미지 비교결과를 이용해 지도학습의 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 상기 패턴 데이터와 이미지 비교결과 데이터를 입력받아 편집 작업의 결과에 의한 인위적 변조인지 편집 작업 이외의 결과에 의한 비정상적인 변조인지를 분류하는 분류부를 포함하는 인공지능 기반 이미지 변조 분류 장치.a pattern data generating unit that receives log record data generated in the image editing process and generates pattern data;
An image comparison unit that analyzes the original image and the edited image and outputs image comparison result data;
Using the pattern data, image comparison result data, and designer's actual image comparison result as training data, the pattern data and image comparison result data are input according to the model learned based on deep-learning of supervised learning, and the editing operation is performed. An artificial intelligence-based image modulation classification device including a classification unit for classifying whether artificial modulation is caused by a result or abnormal modulation by a result other than an editing operation.
상기 분류부는 상기 패턴 데이터와 이미지 비교결과 데이터를 입력받아 특징 벡터를 출력하는 특징벡터 변환 모듈과,
상기 특징 벡터를 입력 층을 통해 입력 받아 복수의 은닉층을 거쳐 출력층을 통해 이미지 변조의 종류 값을 출력하는 신경망을 포함하는 것을 특징으로 하는 인공지능 기반 이미지 변조 분류 장치.According to claim 1,
The classification unit includes a feature vector conversion module that receives the pattern data and image comparison result data and outputs a feature vector;
and a neural network that receives the feature vector through an input layer and outputs a value of the type of image modulation through an output layer through a plurality of hidden layers.
상기 로그기록 데이터는 마우스의 클릭, 드래그, 속도나 키보드 입력값을 포함하는 것을 특징으로 하는 인공지능 기반 이미지 변조 분류 장치.According to claim 1,
The log record data is an artificial intelligence-based image modulation classification device, characterized in that it includes a mouse click, drag, speed, or keyboard input value.
원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 이미지 비교부와,
작업자의 눈이 편집 작업 화면의 어느 지점을 보고 있는지를 나타내는 초점 데이터를 생성하는 초점 데이터 생성부와,
학습 데이터로서 패턴 데이터, 이미지 비교결과 데이터, 초점 데이터 및 디자이너의 실제 이미지 비교결과를 이용해 지도학습의 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 패턴 데이터, 초점 데이터 및 이미지 비교결과 데이터를 입력받아 편집 작업의 결과에 의한 인위적 변조인지 편집 작업 이외의 결과에 의한 비정상적인 변조인지를 분류하는 분류부를 포함하는 인공지능 기반 이미지 변조 분류 장치.a pattern data generating unit that receives log record data generated in the image editing process and generates pattern data;
An image comparison unit that analyzes the original image and the edited image and outputs image comparison result data;
a focus data generating unit that generates focus data indicating which point on the editing screen the operator's eyes are looking at;
Pattern data, focus data, and image comparison result data according to a model learned based on deep-learning of supervised learning using pattern data, image comparison result data, focus data, and designer's actual image comparison result as training data. An artificial intelligence-based image modulation classification device comprising a classification unit that receives input and classifies whether it is artificial modulation due to the result of editing work or abnormal modulation due to a result other than editing work
상기 분류부는 상기 패턴 데이터, 초점 데이터 및 이미지 비교결과 데이터를 입력받아 특징 벡터를 출력하는 특징벡터 변환 모듈과,
상기 특징 벡터를 입력 층을 통해 입력 받아 복수의 은닉층을 거쳐 출력층을 통해 이미지 변조의 종류 값을 출력하는 신경망을 포함하는 것을 특징으로 하는 인공지능 기반 이미지 변조 분류 장치.6. The method of claim 5,
The classification unit includes a feature vector conversion module that receives the pattern data, focus data, and image comparison result data and outputs a feature vector;
and a neural network that receives the feature vector through an input layer and outputs a value of the type of image modulation through an output layer through a plurality of hidden layers.
상기 초점 데이터 생성부는 작업자가 착용한 스마트 글라스에 구비된 동작인식센서, 아이트랙커(eye tracker) 또는 카메라로부터 센서신호를 입력받아 초점 데이터를 생성하는 것을 특징으로 하는 인공지능 기반 이미지 변조 분류 장치.6. The method of claim 5,
The focus data generator receives a sensor signal from a motion recognition sensor, an eye tracker, or a camera provided in the smart glasses worn by the worker, and generates focus data.
이미지 편집 과정에서 발생하는 로그기록 데이터를 입력받아 패턴 데이터를 생성하는 패턴 데이터 생성 단계와,
원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 이미지 비교 단계와,
학습 데이터로서 패턴 데이터, 이미지 비교결과 데이터 및 디자이너의 실제 이미지 비교결과를 이용해 지도학습의 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 상기 패턴 데이터와 이미지 비교결과 데이터를 입력받아 편집 작업의 결과에 의한 인위적 변조인지 편집 작업 이외의 결과에 의한 비정상적인 변조인지를 분류하는 이미지 변조 분류 단계를 포함하는 인공지능 기반 이미지 변조 분류 방법.A method of classifying an image modulation type in an artificial intelligence-based image modulation classification apparatus, the method comprising:
A pattern data generation step of generating pattern data by receiving log record data generated in the image editing process;
An image comparison step of analyzing the original image and the edited image and outputting image comparison result data;
Using the pattern data, image comparison result data, and designer's actual image comparison result as training data, the pattern data and image comparison result data are input according to the model learned based on deep-learning of supervised learning, and the editing operation is performed. An artificial intelligence-based image modulation classification method comprising an image modulation classification step of classifying whether it is artificial modulation based on the result or abnormal modulation due to a result other than editing.
상기 이미지 변조 분류 단계는 상기 패턴 데이터와 이미지 비교결과 데이터를 입력받아 특징 벡터를 출력하는 과정과,
상기 특징 벡터를 입력 층을 통해 입력 받아 인공신경망을 통해 분석하여 이미지 변조의 종류에 대한 확률 값을 출력하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반 이미지 변조 분류 방법.9. The method of claim 8,
The image modulation and classification step includes the process of receiving the pattern data and image comparison result data and outputting a feature vector;
and outputting a probability value for a type of image modulation by receiving the feature vector as an input through an input layer and analyzing it through an artificial neural network.
상기 로그기록 데이터는 마우스의 클릭, 드래그, 속도나 키보드 입력값을 포함하는 것을 특징으로 하는 인공지능 기반 이미지 변조 분류 방법.9. The method of claim 8,
The log record data is an artificial intelligence-based image modulation classification method, characterized in that it includes a mouse click, drag, speed, or keyboard input value.
이미지 편집 과정에서 발생하는 로그기록 데이터를 입력받아 패턴 데이터를 생성하는 패턴 데이터 생성 단계와,
원본 이미지와 편집 이미지를 분석하여 이미지 비교결과 데이터를 출력하는 이미지 비교 단계와,
작업자의 눈이 편집 작업 화면의 어느 지점을 보고 있는지를 나타내는 초점 데이터를 생성하는 초점 데이터 생성 단계와,
학습 데이터로서 패턴 데이터, 이미지 비교결과 데이터, 초점 데이터 및 디자이너의 실제 이미지 비교결과를 이용해 지도학습의 딥 러닝(deep-learning) 기반으로 학습된 모델에 따라 패턴 데이터, 초점 데이터 및 이미지 비교결과 데이터를 입력받아 편집 작업의 결과에 의한 인위적 변조인지 편집 작업 이외의 결과에 의한 비정상적인 변조인지를 분류하는 이미지 변조 분류 단계를 포함하는 인공지능 기반 이미지 변조 분류 방법.A method of classifying an image modulation type in an artificial intelligence-based image modulation classification apparatus, the method comprising:
A pattern data generation step of generating pattern data by receiving log record data generated in the image editing process;
An image comparison step of analyzing the original image and the edited image and outputting image comparison result data;
a focus data generation step of generating focus data indicating at which point on the editing screen the operator's eyes are looking;
Pattern data, focus data, and image comparison result data according to a model learned based on deep-learning of supervised learning using pattern data, image comparison result data, focus data, and designer's actual image comparison result as training data. An artificial intelligence-based image modulation classification method comprising an image modulation classification step of receiving input and classifying whether it is artificial modulation due to the result of the editing operation or abnormal modulation due to a result other than the editing operation.
상기 이미지 변조 분류 단계는 상기 패턴 데이터, 초점 데이터 및 이미지 비교결과 데이터를 입력받아 특징 벡터를 출력하는 특징 벡터를 출력하는 과정과,
상기 특징 벡터를 입력 층을 통해 입력 받아 인공신경망을 통해 분석하여 이미지 변조의 종류에 대한 확률 값을 출력하는 과정을 포함하는 것을 특징으로 하는 인공지능 기반 이미지 변조 분류 방법.13. The method of claim 12,
The image modulation and classification step includes the process of receiving the pattern data, focus data, and image comparison result data and outputting a feature vector for outputting a feature vector;
and outputting a probability value for a type of image modulation by receiving the feature vector as an input through an input layer and analyzing it through an artificial neural network.
상기 초점 데이터 생성 단계는 작업자가 착용한 스마트 글라스에 구비된 동작인식센서, 아이트랙커(eye tracker) 또는 카메라로부터 센서신호를 입력받아 초점 데이터를 생성하는 것을 특징으로 하는 인공지능 기반 이미지 변조 분류 방법. 13. The method of claim 12,
The focus data generation step is an artificial intelligence-based image modulation classification method, characterized in that the focus data is generated by receiving a sensor signal from a motion recognition sensor, an eye tracker, or a camera provided in the smart glasses worn by the worker.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190128197A KR102260335B1 (en) | 2019-10-16 | 2019-10-16 | Apparatus and method for classifying image change type based on artificial intelligence technology |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190128197A KR102260335B1 (en) | 2019-10-16 | 2019-10-16 | Apparatus and method for classifying image change type based on artificial intelligence technology |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210045011A KR20210045011A (en) | 2021-04-26 |
| KR102260335B1 true KR102260335B1 (en) | 2021-06-03 |
Family
ID=75733523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190128197A KR102260335B1 (en) | 2019-10-16 | 2019-10-16 | Apparatus and method for classifying image change type based on artificial intelligence technology |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102260335B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102662335B1 (en) * | 2021-10-27 | 2024-05-03 | 경북대학교 산학협력단 | System of detecting software abnormal operation using Comparative Neural Network Learning and method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018028727A (en) * | 2016-08-15 | 2018-02-22 | 株式会社日立製作所 | Video file management system and video file management method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1722331B1 (en) | 2004-03-03 | 2010-12-01 | NEC Corporation | Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program |
| KR101541158B1 (en) * | 2013-11-18 | 2015-08-04 | 한국전자통신연구원 | Homepage modulation detection apparatus and method |
-
2019
- 2019-10-16 KR KR1020190128197A patent/KR102260335B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018028727A (en) * | 2016-08-15 | 2018-02-22 | 株式会社日立製作所 | Video file management system and video file management method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210045011A (en) | 2021-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210089895A1 (en) | Device and method for generating a counterfactual data sample for a neural network | |
| US8306327B2 (en) | Adaptive partial character recognition | |
| KR102036963B1 (en) | Method and system for robust face dectection in wild environment based on cnn | |
| KR20220150868A (en) | Method of motion vector and feature vector based fake face detection and apparatus for the same | |
| KR100608595B1 (en) | Face identifying method and apparatus | |
| Deng et al. | Amae: Adaptive motion-agnostic encoder for event-based object classification | |
| Patil et al. | Indian sign language recognition using convolutional neural network | |
| Jacoby et al. | Context-sensitive human activity classification in collaborative learning environments | |
| KR102260335B1 (en) | Apparatus and method for classifying image change type based on artificial intelligence technology | |
| US20210390419A1 (en) | Device and Method for Training and Testing a Classifier | |
| Hamda et al. | Hand gesture recognition using kinect's geometric and hog features | |
| Patel et al. | Deep leaning based static Indian-Gujarati Sign language gesture recognition | |
| Foong et al. | Hand gesture recognition: sign to voice system (S2V) | |
| Mihalache et al. | Hand pose estimation using HOG features from RGB-D data | |
| Yan et al. | Iris segmentation using watershed and region merging | |
| Pawar et al. | Sign Language Recognition Using Keypoints Through DTW | |
| Harini et al. | A novel static and dynamic hand gesture recognition using self organizing map with deep convolutional neural network | |
| Badi et al. | Feature extraction technique for static hand gesture recognition | |
| KR20190008036A (en) | System and method for generating facial expression of android robot | |
| Kaur et al. | Performance Analysis of Sign Language Recognition System Using Hybrid Feature Descriptor | |
| Gilorkar et al. | A review on feature extraction for Indian and American sign language | |
| Suthar et al. | A literature survey on facial expression recognition techniques using appearance based features | |
| Mohmmad et al. | Extended informative local binary patterns (eilbp): A model for image feature extraction | |
| Mishra et al. | Face detection for video summary using enhancement based fusion strategy | |
| Bergboer et al. | A context-based model of attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |