KR102420199B1 - Image copyright identification system using deep learning and method thereof - Google Patents
Image copyright identification system using deep learning and method thereof Download PDFInfo
- Publication number
- KR102420199B1 KR102420199B1 KR1020210159961A KR20210159961A KR102420199B1 KR 102420199 B1 KR102420199 B1 KR 102420199B1 KR 1020210159961 A KR1020210159961 A KR 1020210159961A KR 20210159961 A KR20210159961 A KR 20210159961A KR 102420199 B1 KR102420199 B1 KR 102420199B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- window
- unit
- array
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims description 40
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 45
- 239000000284 extract Substances 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 33
- 238000004891 communication Methods 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 210000004027 cell Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 210000004725 window cell Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
- G06Q50/184—Intellectual property management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Technology Law (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Mathematical Physics (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 이미지 저작권 판별 시스템 및 방법에 관한 것으로, 더욱 상세하게는 저작권을 가지는 이미지(이하 "저작권 이미지"라 함)에 대한 이미지 특징정보를 추출하고, 추출된 이미지 특징정보를 저작권 판별 인공지능모델에 적용하여 저작권 이미지에 대한 특징을 학습하고, 저작권 판별 대상인 이미지(이하 "저작권 판별 대상 이미지"라 함)에 대한 이미지 특징정보를 상기 저작권 판별 인공지능모델에 적용하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지 비저작권 이미지인지를 판별하는 딥러닝을 이용한 이미지 저작권 판별 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for determining image copyright, and more particularly, extracting image characteristic information for an image having a copyright (hereinafter referred to as "copyright image"), and using the extracted image characteristic information as a copyright identification AI model is applied to learn the characteristics of the copyright image, and the image characteristic information for the image subject to copyright determination (hereinafter referred to as "copyright determination target image") is applied to the copyright determination artificial intelligence model so that the copyright determination target image is a copyright image It relates to an image copyright determination system and method using deep learning to determine whether it is a recognized non-copyright image.
현재 스마트폰과 인터넷의 급속한 발전으로, 페이스북, 트위터, 라인, 인스타그램 등과 같은 사회관계망서비스(Social Network Service: SNS)가 급속도로 발전하고 있다. 이제는 사람들에게 있어 SNS는 자신들의 일상과도 같은 삶의 일부분이 되고 있다.Currently, with the rapid development of smartphones and the Internet, social network services (SNS) such as Facebook, Twitter, Line, and Instagram are rapidly developing. Now, for people, SNS is becoming a part of their daily life.
이처럼 SNS는 다양한 사람들이 상호 간 교류 및 소통을 할 수 있도록 만들며, 새로운 미디어를 발전시키고 문화공유에도 이바지하고 있어 많은 부분에서 다양한 장점을 제공하고 있다.As such, SNS provides various advantages in many areas by making it possible for various people to exchange and communicate with each other, develop new media and contribute to cultural sharing.
그러나, SNS 및 인터넷의 활성화로 인한 다양한 문제점들도 생겨나고 있는데 다름 아닌 다른 사람이 촬영한 저작권이 있는 이미지를 쉽게 획득하고, 이를 쉽게 도용하여 사용하거나 제3자에게 제공하는 일들이 빈번하게 발생하고 있다.However, various problems are also arising due to the activation of SNS and the Internet. have.
통상적으로 사용자는 저작권이 있는 이미지임을 알고 사용하는 경우도 있으나, 일반인 사용자 대부분은 인터넷 및 SNS에 게시되어 있는 이미지가 저작권 이미지 저작권이 없는 이미지(이하 "비저작권 이미지"라 함)인지 파악하기 어렵다.In general, users know that images are copyrighted and sometimes use them, but it is difficult for most general users to determine whether images posted on the Internet and SNS are images without copyright images (hereinafter referred to as "non-copyright images").
그나마 개인적인 사적 이용이라면 모를까, 일반 사용자가 저작권 이미지를 상업적으로 이용하거나, 교육자가 저작권 이미지를 교육적으로 이용하는 경우도 빈번하게 발생하고 있어 사회적으로 큰 문제가 되고 있다.However, if it is for personal use, it is a big social problem because general users use copyright images commercially or educators frequently use copyright images for educational purposes.
특히, 선생님과 같은 교육자는 교육자료를 만들 때 이해를 돕기 위해 다양한 이미지들을 사용하고 있고, 발표자도 다양한 컨퍼런스에서 청중의 이해를 쉽게 하려고 발표자료에 다양한 이미지들을 사용하고 있고, 이러한 교육자료 및 발표자료들도 상업적 이용에 포함되어 처벌에 대상이 될 수 있으나, 이미지가 저작권 이미지인지 비저작권 이미지인지 빠르고 쉽게 알 수 없어 추후 법적 문제로 번질 수 있는 문제점이 있다.In particular, educators such as teachers use various images to help understanding when making educational materials, and presenters use various images in presentation materials to make it easier for audiences to understand at various conferences. They are also included in commercial use and can be subject to punishment, but there is a problem that it is difficult to quickly and easily determine whether an image is a copyright image or a non-copyright image, which can lead to legal problems in the future.
또한, 대한민국 공개특허 제10-2021-0072610, [보도 사진의 저작권 침해 방지를 위한 모니터링 서비스 장치 및 방법](이하 "선행특허"라 함)은 이미지 자체를 비교하여 저작권 위반 이미지인지를 판단하는 기술을 개시하고 있다.In addition, Korean Patent Laid-Open Patent No. 10-2021-0072610, [Monitoring service device and method for preventing copyright infringement of press photos] (hereinafter referred to as "prior patent") is a technology for determining whether an image is a copyright violation image by comparing the image itself. is starting.
그러나, 선행특허는 사용할 이미지를 수집된 많은 저작권 이미지들 각각과 일일이 이미지 자체 비교를 수행하여 특정 저작권 이미지를 침해하는지를 판단하므로 사용할 이미지가 저작권 이미지인지를 판단하는 데 많은 시간이 소요되는 문제점이 있다.However, the prior patent has a problem in that it takes a lot of time to determine whether the image to be used is a copyright image because it is determined whether a specific copyright image is infringed by comparing the images to be used with each of the many copyright images collected one by one.
따라서 본 발명의 목적은 다수의 저작권 이미지에 대한 이미지 특징정보를 추출하고, 추출된 이미지 특징정보를 저작권 판별 인공지능모델에 적용하여 저작권 이미지에 대한 특징을 학습하고, 저작권 판별 대상 이미지에 대한 이미지 특징정보를 상기 저작권 판별 인공지능모델에 적용하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지 비저작권 이미지인지를 판별하는 딥러닝을 이용한 이미지 저작권 판별 시스템 및 방법을 제공함에 있다.Therefore, an object of the present invention is to extract image characteristic information for a plurality of copyright images, apply the extracted image characteristic information to a copyright identification artificial intelligence model to learn characteristics of a copyright image, and image characteristics for a copyright determination target image To provide an image copyright determination system and method using deep learning for applying information to the copyright determination artificial intelligence model to determine whether the copyright determination target image is a copyright image or a non-copyright image.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 인공지능을 이용한 이미지 저작권 판별 시스템은: 다수의 저작권 이미지 및 상기 저작권 이미지 각각에 대해 추출된 이미지 특징정보를 저장하는 저작권 학습데이터 DB를 포함하는 저장부; 유무선 데이터통신망에 유선 및 무선 중 어느 하나로 연결되어 상기 유무선 데이터통신망에 접속한 장치들과 데이터통신을 수행할 수 있도록 하는 통신부; 및 상기 학습데이터 DB의 저작권 이미지들 각각에 대한 이미지 특징정보를 추출하여 상기 학습데이터 DB에 저장하고, 추출된 이미지 특징정보 및 상기 이미지 특징정보가 저작권 이미지임을 나타내는 라벨링 정보를 미리 구성된 저작권 판별 인공지능모델에 적용하여 상기 저작권 이미지를 학습시키고, 상기 통신부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하여 상기 저작권 판별 대상 이미지로부터 이미지 특징정보를 추출하고, 이미지 특징정보를 상기 저작권 판별 인공지능모델에 적용하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지를 판별한 후 저작권 판별 정보를 상기 사용자 단말부로 제공하는 저작권 판별 제어부를 포함하는 것을 특징으로 한다.Image copyright determination system using artificial intelligence using deep learning according to the present invention for achieving the above object: A copyright learning data DB that stores a plurality of copyright images and image characteristic information extracted for each of the copyright images a storage unit comprising; a communication unit connected to a wired/wireless data communication network either by wire or wirelessly to perform data communication with devices connected to the wired/wireless data communication network; and extracting image characteristic information for each of the copyright images of the learning data DB and storing the extracted image characteristic information in the learning data DB, and pre-configured copyright determination artificial intelligence with extracted image characteristic information and labeling information indicating that the image characteristic information is a copyright image The copyright image is learned by applying to the model, and the copyright determination target image to be used by the user is obtained from the user terminal through the communication unit, image characteristic information is extracted from the copyright determination target image, and the image characteristic information is the copyright determination artificial It is characterized in that it comprises a copyright determination control unit for providing the copyright determination information to the user terminal after determining whether the copyright determination target image is a copyright image by applying to the intelligent model.
상기 제어부는, 상기 학습데이터 DB로부터 저작권 이미지들 각각에 대한 이미지 특징정보를 로딩하고, 로딩된 이미지 특징정보 및 상기 이미지 특징정보가 저작권 이미지임을 나타내는 라벨링 정보를 상기 저작권 판별 인공지능모델에 적용하여 상기 저작권 이미지를 학습시키는 학습부; 상기 통신부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하여 출력하는 이미지 획득부; 상기 학습데이터 DB에 저작권 이미지들 각각에 대한 이미지 특징정보를 추출하여 상기 학습데이터 DB에 저장하고, 상기 이미지 획득부로부터 입력되는 저작권 판별 대상 이미지에 대한 이미지 특징정보를 추출하여 출력하는 이미지 특징 추출부; 상기 학습된 저작권 판별 인공지능모델을 포함하며, 상기 저작권 판별 인공지능모델에 상기 저작권 판별 대상 이미지에 대한 이미지 특징정보를 적용하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지 비저작권 이미지인지를 판별하고 그에 따른 결과정보를 출력하는 저작권 유무 판별부; 및 상기 결과정보를 입력받고 상기 결과정보를 통신부를 통해 상기 사용자 단말부로 전송하는 저작권 판별 정보 제공부를 포함하는 것을 특징으로 한다.The control unit loads the image characteristic information for each of the copyright images from the learning data DB, and applies the loaded image characteristic information and the labeling information indicating that the image characteristic information is a copyright image to the copyright determination artificial intelligence model. Learning unit for learning copyright images; an image acquisition unit for obtaining and outputting a copyright determination target image to be used by the user from the user terminal unit through the communication unit; Image feature extraction unit for extracting image characteristic information for each copyright image in the learning data DB, storing it in the learning data DB, and extracting and outputting image characteristic information for the copyright determination target image input from the image acquisition unit ; Including the learned copyright determination artificial intelligence model, by applying the image feature information for the copyright determination target image to the copyright determination artificial intelligence model to determine whether the copyright determination target image is a copyright image or a non-copyright image, and a copyright determination unit for outputting result information; and a copyright determination information providing unit receiving the result information and transmitting the result information to the user terminal unit through a communication unit.
상기 이미지 특징 추출부는, 상기 저작권 이미지 및 저작권 판별 대상 이미지를 포함하는 이미지를 미리 설정된 크기의 이미지로 조절하여 출력하는 크기 조절부; 미리 설정된 크기의 윈도우를 상기 크기 조절된 이미지의 픽셀 단위로 이동시키면서 상기 윈도우 크기에 대응하는 픽셀 인덱스에 이미지의 해당 픽셀값을 맵핑한 윈도우 픽셀 어레이 정보를 생성하는 윈도우 픽셀 어레이 생성부; 상기 윈도우 픽셀 어레이 정보의 각 픽셀값에 대해 확률 인덱스에 대응하는 픽셀값이 발생할 확률값을 계산 및 맵핑하여 윈도우 확률 어레이 정보를 생성하는 윈도우 확률 어레이 생성부; 상기 윈도우 확률 어레이 정보의 각 확률 인덱스의 확률값에 대한 엔트로피를 계산하여 엔트로피 인덱스에 맵핑한 윈도우 엔트로피 어레이 정보를 생성하는 윈도우 엔트로피 어레이 생성부; 및 상기 이미지 크기에 대응하는 다수의 윈도우별 윈도우 엔트로피 어레이 정보를 미리 설정된 L개의 레벨로 나누고 상기 윈도우 크기에 대응하는 레벨 인덱스를 가지는 L개의 레벨 윈도우 어레이 정보를 생성하되, 엔트로피값의 범위를 L개로 나누어 상기 L개의 레벨 어레이 정보에 지정한 후, L개의 레벨 윈도우 어레이 정보의 동일 엔트로피 인덱스에서 해당 레벨 어레이 정보에 지정된 엔트로피값의 범위에 속하는 엔트로피값들을 합산하여 해당 레벨 인덱스에 맵핑한 상기 레벨 윈도우 어레이 정보를 상기 이미지 특징정보로서 생성하여 저장하는 레벨링부를 포함하는 것을 특징으로 한다.The image feature extracting unit may include: a size adjusting unit for adjusting and outputting an image including the copyright image and the copyright determination target image into an image of a preset size; a window pixel array generating unit generating window pixel array information in which a corresponding pixel value of an image is mapped to a pixel index corresponding to the window size while moving a window of a preset size in units of pixels of the resized image; a window probability array generating unit generating window probability array information by calculating and mapping a probability value of occurrence of a pixel value corresponding to a probability index for each pixel value of the window pixel array information; a window entropy array generator generating window entropy array information mapped to the entropy index by calculating an entropy of a probability value of each probability index of the window probability array information; and dividing the window entropy array information for each window corresponding to the image size into L preset levels and generating L level window array information having a level index corresponding to the window size, but the entropy value range is L After dividing and assigning to the L level array information, the level window array information mapped to the corresponding level index by summing entropy values belonging to the range of entropy values specified in the corresponding level array information from the same entropy index of the L level window array information and a leveling unit for generating and storing as the image characteristic information.
크기 조절된 상기 이미지의 크기는 256*256이고, 상기 윈도우의 크기는 8*8이며, 상기 픽셀 어레이 정보, 확률 어레이 정보, 엔트로피 어레이 정보 및 레벨 어레이 정보의 인덱스는 0~127인 것을 특징으로 한다.The size of the scaled image is 256*256, the size of the window is 8*8, and the indexes of the pixel array information, probability array information, entropy array information, and level array information are 0 to 127. .
상기 픽셀값은 상기 이미지의 색값이되, R, G, B, 3 채널 중 어느 하나의 값일 수 있으며, 상기 이미지 특징정보는 상기 R, G, B 3채널 모두에 대한 정보를 포함하는 것을 특징으로 한다.The pixel value is the color value of the image, and may be any one of R, G, B, and 3 channels, and the image characteristic information includes information on all of the R, G, and B channels. do.
상기 저작권 판별 인공지능모델은 딥러닝 인공지능모델로, VGG-C 알고리즘의 각 합성곱 계층 후단에 배치 정규화 계층을 구비하여 합성곱 계층의 출력을 배치 정규화(Batch Normalization)하는 인공지능모델인 것을 특징으로 한다.The copyright determination artificial intelligence model is a deep learning artificial intelligence model, characterized in that it is an artificial intelligence model that batch normalizes the output of the convolutional layer by providing a batch normalization layer at the end of each convolutional layer of the VGG-C algorithm. do it with
상기와 같은 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 인공지능을 이용한 이미지 저작권 판별 방법은: 제어부가 이미지 특징 추출부를 통해 학습데이터 DB에 저작권 이미지들 각각에 대한 이미지 특징정보를 추출하고, 학습부를 통해 상기 이미지 특징정보 및 상기 이미지 특징정보가 저작권 이미지임을 나타내는 라벨링 정보를 상기 저작권 판별 인공지능모델에 적용하여 상기 저작권 이미지를 학습시키는 학습 과정; 상기 제어부가 이미지 획득부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하여 출력하는 이미지 획득 과정; 상기 제어부가 이미지 특징 추출부를 통해 상기 이미지 획득부로부터 입력되는 저작권 판별 대상 이미지에 대한 이미지 특징정보를 추출하여 출력하는 이미지 특징 추출 과정; 상기 제어부가 상기 학습된 저작권 판별 인공지능모델을 포함하는 저작권 유무 판별부를 통해 상기 저작권 판별 인공지능모델에 상기 저작권 판별 대상 이미지에 대한 이미지 특징정보를 적용하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지 비저작권 이미지인지를 판별하고 그에 따른 결과정보를 출력하는 저작권 유무 판별 과정; 및 상기 제어부가 저작권 판별 정보 제공부를 통해 상기 결과정보를 입력받고 상기 결과정보를 통신부를 통해 상기 사용자 단말부로 전송하는 저작권 판별 정보 제공 과정을 포함하는 것을 특징으로 한다.Image copyright determination method using artificial intelligence using deep learning according to the present invention for achieving the above object: the control unit extracts image characteristic information for each copyright image in the learning data DB through the image feature extraction unit, a learning process of learning the copyright image by applying the image characteristic information and labeling information indicating that the image characteristic information is a copyright image to the copyright identification AI model through a learning unit; an image acquisition process in which the control unit acquires and outputs a copyright determination target image to be used by the user from the user terminal through the image acquisition unit; an image feature extraction process in which the control unit extracts and outputs image feature information for the copyright determination target image input from the image acquisition unit through the image feature extraction unit; The control unit applies the image characteristic information for the copyright determination target image to the copyright determination artificial intelligence model through the copyright determination unit including the learned copyright determination artificial intelligence model to determine whether the copyright determination target image is a copyright image or non-copyright A copyright determination process of determining whether the image is an image and outputting result information according thereto; and a copyright determination information providing process in which the control unit receives the result information through the copyright determination information providing unit and transmits the result information to the user terminal unit through a communication unit.
상기 학습 과정은, 제어부가 이미지 특징 추출부를 통해 학습데이터 DB에 저작권 이미지들 각각에 대한 이미지 특징정보를 추출하여 학습데이터 DB에 저장하는 이미지 특징정보 추출 단계; 및 상기 제어부가 학습부를 통해 상기 학습데이터 DB로부터 저작권 이미지들 각각에 대한 이미지 특징정보를 로딩하고, 로딩된 이미지 특징정보 및 상기 이미지 특징정보가 저작권 이미지임을 나타내는 라벨링 정보를 상기 저작권 판별 인공지능모델에 적용하여 상기 저작권 이미지를 학습시키는 특징정보 학습 단계를 포함하는 것을 특징으로 한다.The learning process includes: an image feature information extraction step of the controller extracting image feature information for each copyright image in the learning data DB through the image feature extracting unit and storing it in the learning data DB; And the control unit loads the image characteristic information for each of the copyright images from the learning data DB through the learning unit, and the loaded image characteristic information and labeling information indicating that the image characteristic information is a copyright image to the copyright determination artificial intelligence model It characterized in that it comprises a feature information learning step of learning the copyright image by applying.
상기 이미지 특징정보 추출 단계는, 상기 제어부가 크기 조절부를 통해 상기 저작권 이미지 및 저작권 판별 대상 이미지를 포함하는 이미지를 미리 설정된 크기의 이미지로 조절하여 출력하는 크기 조절 단계; 상기 제어부가 윈도우 픽셀 어레이 생성부를 통해 미리 설정된 크기의 윈도우를 상기 크기 조절된 이미지의 픽셀 단위로 이동시키면서 상기 윈도우 크기에 대응하는 픽셀 인덱스에 이미지의 해당 픽셀값을 맵핑한 윈도우 픽셀 어레이 정보를 생성하는 윈도우 픽셀 어레이 생성 단계; 상기 제어부가 윈도우 확률 어레이 생성부를 통해 상기 윈도우 픽셀 어레이 정보의 각 픽셀값에 대해 확률 인덱스에 대응하는 픽셀값이 발생할 확률값을 계산한 후 해당 확률 인덱스에 맵핑하여 윈도우 확률 어레이 정보를 생성하는 윈도우 확률 어레이 생성 단계; 상기 제어부가 윈도우 엔트로피 어레이 생성부를 통해 상기 윈도우 확률 어레이 정보의 각 확률 인덱스의 확률값에 대한 엔트로피를 계산하여 엔트로피 인덱스에 맵핑한 윈도우 엔트로피 어레이 정보를 생성하는 윈도우 엔트로피 어레이 생성 단계; 및 상기 제어부가 레벨링부를 통해 상기 이미지 크기에 대응하는 다수의 윈도우별 윈도우 엔트로피 어레이 정보를 미리 설정된 L개의 레벨로 나누고 상기 윈도우 크기에 대응하는 레벨 인덱스를 가지는 L개의 레벨 윈도우 어레이 정보를 생성하되, 엔트로피값의 범위를 L개로 나누어 상기 L개의 레벨 어레이 정보에 지정한 후, L개의 레벨링 윈도우 어레이 정보의 동일 엔트로피 인덱스에서 해당 레벨 어레이 정보에 지정된 엔트로피값의 범위에 속하는 엔트로피값들을 합산하여 해당 레벨 인덱스에 맵핑하여 저장하는 레벨링 단계를 포함하는 것을 특징으로 한다.The image feature information extraction step may include: a size adjustment step of outputting, by the control unit, the image including the copyright image and the copyright determination target image through the size adjustment unit to an image of a preset size; The control unit moves a window of a preset size through the window pixel array generating unit in units of pixels of the resized image and generates window pixel array information in which a corresponding pixel value of the image is mapped to a pixel index corresponding to the window size. creating a window pixel array; a window probability array in which the control unit calculates a probability value of occurrence of a pixel value corresponding to a probability index for each pixel value of the window pixel array information through a window probability array generator and maps the pixel value to the corresponding probability index to generate window probability array information generating step; a window entropy array generation step in which the control unit calculates entropy for a probability value of each probability index of the window probability array information through a window entropy array generation unit and generates window entropy array information mapped to the entropy index; and the control unit divides window entropy array information for each window corresponding to the image size through the leveling unit into L preset levels and generates L level window array information having a level index corresponding to the window size, entropy After dividing the range of values into L pieces and assigning them to the L level array information, the entropy values belonging to the range of entropy values specified in the corresponding level array information are added up from the same entropy index of the L leveling window array information and mapped to the corresponding level index. It is characterized in that it comprises a leveling step of storing.
상기 L은 6인 것을 특징으로 한다.The L is characterized in that 6.
크기 조절된 상기 이미지의 크기는 256*256이고, 상기 윈도우의 크기는 8*8이며, 상기 픽셀 어레이 정보, 확률 어레이 정보, 엔트로피 어레이 정보 및 레벨 어레이 정보의 인덱스는 0~127인 것을 특징으로 한다.The size of the scaled image is 256*256, the size of the window is 8*8, and the indexes of the pixel array information, probability array information, entropy array information, and level array information are 0 to 127. .
상기 픽셀값은 상기 이미지의 색값이되, R, G, B, 3 채널 중 어느 하나의 값일 수 있으며, 상기 이미지 특징정보는 상기 R, G, B 3채널 모두에 대한 정보를 포함하는 것을 특징으로 한다.The pixel value is the color value of the image, and may be any one of R, G, B, and 3 channels, and the image characteristic information includes information on all of the R, G, and B channels. do.
본 발명은 저작권 이미지와 저작권 판별 대상 이미지 자체를 비교하거나 학습시키지 않고, 저작권 이미지들로부터 이미지 특징을 추출한 후 추출된 이미지 특징정보를 딥러닝 인공지능모델에 적용하여 딥러닝 인공지능모델을 저작권 이미지에 대해 학습시키고, 저작권 판별 대상인 이미지의 이미지 특징정보를 학습된 딥러닝 인공지능모델에 적용하여 저작권 판별 대상 이미지가 저작권 이미지인지 아닌지를 판별하므로 저작권 판별 정확도를 높이면서도 더 빠르게 저작권 이미지인지 아닌지를 판별할 수 있는 효과가 있다.The present invention does not compare or learn the copyright image and the copyright determination target image itself, but extract image features from copyright images and apply the extracted image feature information to the deep learning artificial intelligence model to apply the deep learning artificial intelligence model to the copyright image. By applying the image characteristic information of the image subject to copyright determination to the learned deep learning artificial intelligence model to determine whether the image subject to copyright determination is a copyright image or not, it is possible to determine whether the image is a copyright image more quickly while increasing the accuracy of copyright determination. can have an effect.
도 1은 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템을 포함하는 통신시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템의 이미지 특징 추출부의 구성을 나타낸 도면이다.
도 4 및 도 5는 본 발명의 일실시 예에 따른 이미지로부터 제1특징정보인 윈도우 픽셀 어레이 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 제1특징정보인 윈도우 픽셀 어레이 정보로부터 제2특징정보인 윈도우 확률 어레이 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 제2특징정보인 윈도우 확률 어레이 정보로부터 제3특징정보인 윈도우 엔트로피 어레이 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 윈도우별 윈도우 엔트로피 어레이 정보 중 미리 설정된 레벨에 따른 일정 개수의 레벨 윈도우 어레이 정보를 구성하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템의 이미지 특징 추출부에서 출력되는 이미지 특징정보를 시각화한 도면이다.
도 10은 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템의 저작권 유무 판별부에 적용되는 딥러닝 인공지능모델의 구성을 나타낸 도면이다.
도 11은 본 발명에 따른 윈도우 사이즈별 딥러닝 인공지능모델들의 정확도 및 F1 스코어를 나타낸 그래프이다.
도 12는 본 발명에 따른 윈도우 엔트로피 어레이의 크기 및 인공지능모델별 정확도 및 F1 스코어를 나타낸 그래프이다.
도 13은 본 발명에 따른 딥러닝 인공지능모델의 최소 자승 손실 변화 그래프를 나타낸 그래프이다.
도 14는 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 방법을 나타낸 흐름도이다.
도 15는 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 방법 중 이미지 특징 생성 방법을 나타낸 흐름도이다.1 is a diagram showing the configuration of a communication system including an image copyright determination system using deep learning according to the present invention.
2 is a diagram showing the configuration of an image copyright determination system using deep learning according to the present invention.
3 is a diagram showing the configuration of the image feature extraction unit of the image copyright determination system using deep learning according to the present invention.
4 and 5 are diagrams for explaining a method of extracting window pixel array information, which is first characteristic information, from an image according to an embodiment of the present invention.
6 is a diagram for explaining a method of generating window probability array information, which is second characteristic information, from window pixel array information, which is first characteristic information, according to the present invention.
7 is a diagram for explaining a method of generating window entropy array information, which is third characteristic information, from window probability array information, which is second characteristic information, according to the present invention.
8 is a view for explaining a method of configuring a predetermined number of level window array information according to a preset level among window entropy array information for each window according to the present invention.
9 is a diagram visualized image feature information output from the image feature extraction unit of the image copyright determination system using deep learning according to the present invention.
10 is a diagram showing the configuration of a deep learning artificial intelligence model applied to the copyright determination unit of the image copyright determination system using deep learning according to the present invention.
11 is a graph showing the accuracy and F1 score of the deep learning AI models for each window size according to the present invention.
12 is a graph showing the size of the window entropy array and the accuracy and F1 score for each AI model according to the present invention.
13 is a graph showing a change graph of the least squares loss of the deep learning artificial intelligence model according to the present invention.
14 is a flowchart illustrating an image copyright determination method using deep learning according to the present invention.
15 is a flowchart illustrating an image feature generation method among the image copyright determination methods using deep learning according to the present invention.
이하 첨부된 도면을 참조하여 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템에서의 이미지 저작권 판별 방법을 설명한다.Hereinafter, the configuration and operation of an image copyright determination system using deep learning according to the present invention will be described in detail with reference to the accompanying drawings, and an image copyright determination method in the system will be described.
도 1은 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템을 포함하는 통신시스템의 구성을 나타낸 도면이고, 도 2는 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템의 구성을 나타낸 도면이다. 이하 도 1 및 도 2를 참조하여 설명한다. 1 is a diagram showing the configuration of a communication system including an image copyright discrimination system using deep learning according to the present invention, Figure 2 is a diagram showing the configuration of an image copyright discrimination system using deep learning according to the present invention. Hereinafter, it will be described with reference to FIGS. 1 and 2 .
본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템(30)은 유무선 데이터통신망(1)을 통해 다수의 사용자 단말부(20)와 상호 데이터통신을 수행한다.The image
상기 유무선 데이터통신망(1)은 와이파이(WiFi)망을 포함하는 인터넷망, 3세대(3 Generation: 3G), 4G, 5G 등을 포함하는 이동통신망, 와이브로망 등 중 어느 하나 이상을 포함하는 데이터통신망일 수 있을 것이다.The wired/wireless
사용자 단말부(20)는 이미지를 사용하고자 하는 사용자가 사용하는 단말부로 데스크톱 컴퓨터, 개인용 컴퓨터, 노트북 등을 포함하는 컴퓨터 단말기(21), 스마트폰, 스마트패드 등과 같은 모바일 단말기(22) 등이 될 수 있을 것이다. 상기 사용자는 이미지를 사용할 수 있는 사람으로, 교육자, 언론가, 학생 등이 될 수 있을 것이다.The
상기 이미지 저작권 판별 시스템(30)은 유무선 데이터통신망(1)을 통해 사용자 단말부(20)로부터 저작권 판별 대상 이미지를 획득하고, 상기 저작권 판별 대상 이미지가 저작권 이미지인지 비저작권 이미지인지를 판단하고, 그 판단결과를 상기 사용자 단말부(20)로 제공하여, 사용자가 저작권 이미지를 사용하는 것을 방지하고, 저작권 이미지가 아닌 이미지의 확인에 따른 해당 이미지를 마음 편하게 사용할 수 있도록 한다.The image
상기 이미지 저작권 판별 시스템(30)은 실시예에 따라 이미지 저작권 판별 서버(31)만으로 구성될 수도 있고, 이미지 저작권 판별 서버(31), 데이터베이스 서버(32), 사용자 인터페이스 제공 서버(33) 등을 포함하여 구성될 수도 있을 것이다.The image
상기 데이터베이스 서버(32)는 상기 이미지 저작권 판별 서버(31)에서 학습할 저작권 이미지 및 상기 저작권 이미지에 대한 이미지 특징정보를 포함하는 학습데이터를 저장하는 학습데이터 DB를 포함하고, 상기 이미지 저작권 판별 서버(31)에서 요청하는 데이터를 제공하거나 이미지 저작권 판별 서버(31)로부터 수신되는 데이터를 저장하여 관리한다.The
상기 사용자 인터페이스 제공 서버(33)는 유무선 데이터통신망(1)을 통해 사용자 단말부(20)로 본 발명에 따른 저작권 판별 대상 이미지를 획득하기 위한 사용자 인터페이스 수단을 제공하고, 상기 인터페이스 수단을 통해 획득된 저작권 판별 대상 이미지를 이미지 저작권 판별 서버(31)로 제공하고, 그에 따른 판별 결과를 상기 이미지 저작권 판별 서버(31)로부터 수신받아 사용자 단말부(20)로 제공한다. 상기 사용자 인터페이스 제공 서버(33)는 웹서버일 수도 있고, 어플리케이션 서버일 수도 있을 것이다.The user
이미지 저작권 판별 서버(31) 또는 이미지 저작권 판별 서버(31)만으로 구성되는 이미지 저작권 판별 시스템(30)은 도 2에서 보이는 바와 같이 저장부(110), 통신부(120) 및 저작권 판별 제어부(130)를 포함한다.The image
저장부(110)는 본 발명에 따른 이미지 저작권 판별 시스템(30)의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램 수행에 필요한 데이터 및 상기 제어프로그램 수행 중에 발생되는 데이터를 반영구적으로 저장하는 데이터영역을 포함한다.The
상기 데이터베이스 서버(32)가 구성되지 않는 경우, 상기 저장부(110)에는 저작권 학습데이터 DB(111)가 구성될 것이다.If the
통신부(120)는 상기 유무선 데이터통신망(1)에 유선 및 무선 중 어느 하나로 연결되어, 상기 유무선 데이터통신망(1)에 접속한 사용자 단말부(20), 실시예에 따라 구성되는 데이터베이스 서버(32) 및 사용자 인터페이스 제공 서버(33)와 상기 저작권 판별 제어부(130)가 상호 데이터통신을 수행할 수 있도록 한다.The
저작권 판별 제어부(130)는 학습부(131), 인터페이스부(132), 이미지 획득부(133), 이미지 특징 추출부(134), 저작권 유무 판별부(135) 및 저작권 판별정보 제공부(136)를 포함하여, 본 발명에 따른 이미지 저작권 판별 시스템(30) 또는 이미지 저작권 판별 서버(31)의 전반적인 동작을 제어한다.The copyright
학습부(131)는 이미지 특징 추출부(134)를 통해 저작권 학습데이터 DB(111)에 저장된 저작권 이미지 각각에 대한 이미지 특징정보를 추출하고, 이미지 특징정보 및 상기 이미지 특징정보가 저작권 이미지의 이미지 특징정보임을 나타내는 라벨링 정보를 미리 가지고 있는 저작권 판별 인공지능모델에 적용하여, 저작권 이미지들에 대한 학습을 수행한다.The
상기 학습부(131)는 상기 학습된 저작권 판별 인공지능모델을 저작권 유무 판별부(235)로 제공한다.The
상기 저작권 판별 인공지능모델은 서포트 벡터 머신(Support Vector Machine: SVM), K-최근접 이웃(K-Nearest Neighbor: K-NN), 랜덤 포레스트(Random Forest), VGG-C+Normalization 등의 알고리즘이 적용될 수 있으며, 하기 표 1과 같이 VCC-C+Normalization 알고리즘의 적용 시 최상의 성능을 나타내므로 VGG-C+(batch) Normalization이 적용되는 것이 바람직할 것이다.The copyright determination artificial intelligence model includes algorithms such as Support Vector Machine (SVM), K-Nearest Neighbor (K-NN), Random Forest, and VGG-C+Normalization. It can be applied, and it would be preferable to apply VGG-C+(batch) normalization because it shows the best performance when applying the VCC-C+Normalization algorithm as shown in Table 1 below.
인터페이스부(132)는 실시예에 따라 사용자 인터페이스 제공 서버(23)와 연동하거나 직접 사용자 단말부(20)로 사용자 인터페이스 수단을 제공하고, 상기 사용자 인터페이스 수단을 통해 저작권 이미지인지를 판단하기 위한 저작권 판별 대상 이미지를 포함하는 저작권 판별 요청 정보를 수신하여 이미지 획득부(133)로 출력한다. 상기 저작권 판별 요청 정보는 상기 저작권 판별 대상 이미지를 포함하는 학습자료, 교육자료 등을 포함할 수 있을 것이다.The
이미지 획득부(133)는 상기 인터페이스부(132)를 통해 사용자 단말부(20)로부터 수신된 저작권 판별 요청 정보로부터 저작권 판별 대상 이미지를 획득하여 이미지 특징 추출부(134)로 제공한다.The
이미지 특징 추출부(134)는 학습모드와 저작권 판별모드로 동작한다.The image
학습모드에서 이미지 특징 추출부(134)는 상기 학습부(131)로부터 제공되는 학습데이터의 저작권 이미지를 입력받고 저작권 이미지로부터 이미지 특징정보를 추출하여 학습부(131)로 제공한다. In the learning mode, the image
저작권 판별모드에서 이미지 특징 추출부(134)는 이미지 획득부(133)로부터 입력되는 저작권 판별 대상 이미지를 입력받고, 상기 저작권 판별 대상 이미지로부터 이미지 특징정보를 추출하여 저작권 유무 판별부(135)로 출력한다.In the copyright determination mode, the image
상기 이미지 특징 추출부(134)의 구성 및 동작은 다음의 도 3 내지 도 9를 참조하여 상세히 설명한다.The configuration and operation of the image
저작권 유무 판별부(135)는 학습부(131)에서 학습된 저작권 판별 인공지능모델이 적용되어 있으며, 상기 이미지 특징 추출부(134)로부터 입력되는 이미지 특징정보를 상기 저작권 판별 인공지능모델에 적용하고, 그 출력인 저작권 판별 대상 이미지가 저작권 이미지인지를 나타내는 결과정보를 저작권 판별 정보 제공부(136)로 출력한다. 상기 결과정보는 상기 저작권 판별 대상 이미지가 저작권 이미지인지를 나타낸 저작권 판별 정보가 될 수 있을 것이다.The
저작권 판별 정보 제공부(136)는 상기 저작권 유무 판별부(135)에서 입력되는 결과정보를 인터페이스부(132)를 통해 사용자 단말부(20)로 제공한다.The copyright determination
도 3은 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템의 이미지 특징 추출부의 구성을 나타낸 도면이고, 도 4 및 도 5는 본 발명의 일실시 예에 따른 이미지로부터 제1특징정보인 윈도우 픽셀 어레이 정보를 추출하는 방법을 설명하기 위한 도면이고, 도 6은 본 발명에 따른 제1특징정보인 윈도우 픽셀 어레이 정보로부터 제2특징정보인 윈도우 확률 어레이 정보를 생성하는 방법을 설명하기 위한 도면이며, 도 7은 본 발명에 따른 제2특징정보인 윈도우 확률 어레이 정보로부터 제3특징정보인 윈도우 엔트로피 어레이 정보를 생성하는 방법을 설명하기 위한 도면이고, 도 8은 본 발명에 따른 윈도우별 윈도우 엔트로피 어레이 정보 중 미리 설정된 레벨에 따른 일정 개수의 레벨 윈도우 어레이 정보를 구성하는 방법을 설명하기 위한 도면이며, 도 9는 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템의 이미지 특징 추출부에서 출력되는 이미지 특징정보를 시각화한 도면이다. 이하 도 3 내지 도 9를 참조하여 설명한다.3 is a diagram showing the configuration of an image feature extraction unit of an image copyright determination system using deep learning according to the present invention, and FIGS. 4 and 5 are window pixel arrays that are first characteristic information from an image according to an embodiment of the present invention. It is a diagram for explaining a method of extracting information, and FIG. 6 is a diagram for explaining a method of generating window probability array information, which is second characteristic information, from window pixel array information, which is first characteristic information, according to the present invention, FIG. 7 is a diagram for explaining a method of generating window entropy array information, which is the third characteristic information, from window probability array information, which is the second characteristic information, according to the present invention, and FIG. 8 is a view for explaining the window entropy array information for each window according to the present invention It is a view for explaining a method of configuring a certain number of level window array information according to a preset level, and FIG. 9 is an image feature information output from the image feature extraction unit of the image copyright determination system using deep learning according to the present invention. It is a visualization drawing. Hereinafter, it will be described with reference to FIGS. 3 to 9 .
이미지 특징정보 추출부(134)는 이미지 크기 조절부(141), 윈도우 픽셀 어레이 생성부(142), 윈도우 확률 어레이 생성부(143), 윈도우 엔트로피 어레이 생성부(144) 및 레벨링부(145)를 포함한다.The image feature
이미지 크기 조절부(141)는 도 4에서 나타낸 바와 같이 입력되는 원본 이미지인 저작권 판별 대상 이미지(2-1)를 미리 설정된 크기로 조절하여, 크기가 조절된 저작권 판별 대상 이미지(2-2)를 출력한다. 상기 조절되는 크기는 256*256인 것이 바람직할 것이다. The image
윈도우 픽셀 어레이 생성부(142)는 도 4 및 도 5에서 보이는 바와 같이 미리 설정된 크기의 윈도우(4)를 상기 크기 조절된 이미지의 픽셀 단위(3)로 이동시키면서 상기 윈도우 크기에 대응하는 픽셀 인덱스(1,2,3....m,,,,m*n)에 이미지의 해당 픽셀값을 맵핑한 윈도우 픽셀 어레이 정보(6)를 생성한다. 상기 픽셀값은 색값일 수 있으며, R(Red), G(Green), B(Blue) 중 어느 하나의 값일 수 있을 것이다. 상기 윈도우 픽셀 어레이 정보(6)는 크기 조절된 저작권 판별 대상 이미지의 크기에 대응하는 수로 생성되며, R, G, B, 3개 채널 각각에 대해 생성될 수 있을 것이다. 상기 R, G, B 3채널 각각의 색값은 0~255의 값을 가지는 것이 바람직할 것이다.As shown in FIGS. 4 and 5 , the window pixel
도 5에서 i 및 k는 윈도우(4)의 크기를 나타내는 것으로, 8, 16, 32, 64 등이 될 수 있으며, 8인 것이 바람직할 것이다. 즉, 도 5의 부호 5는 윈도우의 셀을 나타낸 것이고, i*k는 윈도우 셀의 픽셀 인덱스를 나타내 것이다.In FIG. 5, i and k indicate the size of the
따라서 도 6의 윈도우 픽셀 어레이 정보(6)의 픽셀 인덱스에 대응하는 메모리 영역인 윈도우 셀(5)에는 해당 윈도우(4)의 해당 윈도우 셀의 픽셀값, 즉 색값이 저장될 것이다.Accordingly, in the
윈도우 확률 어레이 생성부(143)는 상기 윈도우 픽셀 어레이 정보(6)의 픽셀 인덱스에 저장된 픽셀값 중 확률 인덱스(9-j)에 대응하는 픽셀값이 나올 확률을 하기 수학식 1에 적용하여 계산한 후, 도 6에서 보이는 바와 같이 상기 확률 인덱스(9-j)에 대응하는 메모리 영역인 확률셀에 저장하여 윈도우 확률 어레이 정보(7)를 생성한다. 상기 확률 인덱스(9-j)의 j는 원소값, 즉 색값에 따라 0~255인 것이 바람직할 것이다.The window probability
여기서 i는 확률 인덱스이고, fi는 윈도우 픽셀어레이 정보(6)의 픽셀값들 중 픽셀값이 i인 픽셀 수를 나타낸다. Here, i is a probability index, and f i represents the number of pixels whose pixel value is i among the pixel values of the window pixel array information (6).
예를 들면, 윈도우 확률 어레이 정보(7)의 인덱스 9-0인 메모리 영역에는 상기 윈도우 픽셀 어레이 정보(6)에서 0이 나올 확률값(Pi)이 저장된다. For example, the probability value Pi of getting 0 from the window
윈도우 엔트로피 어레이 생성부(144)는 도 7에서 나타낸 바와 같이 상기 윈도우 확률 어레이 정보(7)의 각 확률 인덱스(9-i), 즉 확률셀(9-i)의 확률값에 대한 엔트로피를 하기 수학식 2에 의해 계산하여 엔트로피 인덱스(13-i)를 가지는 엔트로피셀에 맵핑한 윈도우 엔트로피 어레이 정보(8)를 생성한다.The window
레벨링부(145)는 미리 설정된 레벨링값(ℓ)에 따라 엔트로피값을 레벨링값에 대응하는 구간으로 구분한다. 즉, 엔트로피는 0~1 사이의 값을 가지므로 0~1사이의 구간을 레벨링값에 대응하는 수의 레벨링 구간으로 나눈다.The leveling
예를 들어, 레빌링값, ℓ이 6이면 상기 레벨링 구간의 제1구간은 0.00~0.167, 제2구간은 0.167~0.334, 제3구간은 0.334~0.501, 제4구간은 0.501~0.668, 제5구간은 0.668~0.835, 제6구간은 0.835~0.00이다.For example, if the leveling value, ℓ , is 6, the first section of the leveling section is 0.00~0.167, the second section is 0.167~0.334, the third section is 0.334~0.501, the fourth section is 0.501~0.668, the fifth section The interval is 0.668 to 0.835, and the sixth interval is 0.835 to 0.00.
또한, 레벨링부(145)는 도 8에서 나타낸 바와 같이 엔트로피 인덱스와 동일한 인덱스를 가지고 상기 레벨링값(ℓ=6)에 대응하는 수의 레벨 윈도우 어레이 정보(14)를 생성한다.Also, as shown in FIG. 8 , the leveling
상기 각 레벨 윈도우 어레이 정보(14)의 각 인덱스에 대응하는 영역, 즉 엔트로피셀(ei)에는 도 8에서 나타낸 바와 같이 윈도우 수에 대응하는 윈도우 엔트로피 어레이 정보(8)의 상기 인덱스에 대응하는 엔트로피들 중 해당 레벨링 구간의 값을 가지는 엔트로피들을 누적한 값이 저장된다.In the area corresponding to each index of each level
도 8을 예를 들면, 레벨 윈도우 어레이 정보(14-1, A)의 엔트로피 인덱스(e0)에는 전체 윈도우 수에 대응하는 윈도우 엔트로피 어레이 정보(8-1)에서 윈도우 엔트로피 어레이 정보(8-256)의 엔트로피 인덱스(e0)인 엔트로피셀의 값 중 상기 제1구간, 0.00~0.167 사이의 값을 가지는 엔트로피 인덱스(e0)의 엔트로피셀의 값들을 누적한 누적값이 저장된다.8, for example, in the entropy index e 0 of the level window array information 14-1, A, the window entropy array information 8-256 in the window entropy array information 8-1 corresponding to the total number of windows ) of the entropy index (e 0 ) of the entropy cell values of the entropy cell value of the first section, the entropy index (e 0 ) having a value between 0.00 and 0.167 is stored.
그리고 레벨 윈도우 어레이 정보(14-2, B)의 엔트로피 인덱스(e0)에는 전체 윈도우 수에 대응하는 윈도우 엔트로피 어레이 정보(8-1)에서 윈도우 엔트로피 어레이 정보(8-256)의 엔트로피 인덱스(e0)의 엔트로피셀의 값 중 상기 제2구간, 0.167~0.334 사이의 값을 가지는 엔트로피 인덱스(e0)의 값들을 누적한 누적값이 저장된다.And the entropy index (e 0 ) of the level window array information (14-2, B) has the entropy index (e) of the window entropy array information (8-256) in the window entropy array information (8-1) corresponding to the total number of windows 0 ) of the entropy cell values of the second section, the accumulated values of the entropy index (e 0 ) having a value between 0.167 and 0.334 are accumulated.
그리고 레벨 윈도우 어레이 정보(14-3, C)의 엔트로피 인덱스(e0)의 엔트로피셀에는 전체 윈도우 수에 대응하는 윈도우 엔트로피 어레이 정보(8-1)에서 윈도우 엔트로피 어레이 정보(8-256)의 엔트로피 인덱스(e0)들 중 상기 제3구간, 0.334~0.501 사이의 값을 가지는 엔트로피 인덱스(e0)의 값들을 누적한 누적값이 저장된다.And in the entropy cell of the entropy index (e 0 ) of the level window array information (14-3, C), the entropy of the window entropy array information (8-256) in the window entropy array information (8-1) corresponding to the total number of windows Among the indices e 0 , an accumulated value obtained by accumulating values of the entropy index e 0 having a value between 0.334 and 0.501 in the third section is stored.
레벨링부(145)는 상기 레벨 윈도우 어레이 정보(14)를 이미지 특징정보로써 모드에 따라 학습부(131) 및 저작권 유무 판별부(135)로 제공한다.The leveling
상술한 이미지 특징정보는 RCB 3채널, 색값(또는 엔트로피 셀 수(인덱스값))이 256이고, 윈도우 레벨링값이 6인 경우, 도 9에서 나타낸 바와 같이 시각화될 수 있을 것이다. 도 9의 901은 저작권 이미지인 경우의 이미지 특징정보에 대한 시각화 데이터를 나타낸 것이고, 902는 비저작권 이미지인 경우의 이미지 특징정보에 대한 시각화 데이터를 나타낸 것이다.The above-described image characteristic information may be visualized as shown in FIG. 9 when the
도 10은 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 시스템의 저작권 유무 판별부에 적용되는 딥러닝 인공지능모델의 구성을 나타낸 도면이고, 도 11은 본 발명에 따른 윈도우 사이즈별 딥러닝 인공지능모델들의 정확도 및 F1 스코어를 나타낸 그래프이며, 도 12는 본 발명에 따른 윈도우 엔트로피 어레이의 크기 및 인공지능모델별 정확도 및 F1 스코어를 나타낸 그래프이고, 도 13은 본 발명에 따른 딥러닝 인공지능모델의 최소 자승 손실 변화 그래프를 나타낸 그래프이다.10 is a diagram showing the configuration of a deep learning artificial intelligence model applied to the copyright determination unit of the image copyright determination system using deep learning according to the present invention, and FIG. 11 is a deep learning artificial intelligence model for each window size according to the present invention. is a graph showing the accuracy and F1 score of those, FIG. 12 is a graph showing the size of the window entropy array according to the present invention, the accuracy and F1 score for each AI model, and FIG. 13 is the minimum of the deep learning AI model according to the present invention This is a graph showing the change in squared loss graph.
도 10 내지 도 13을 참조하면, 저작권 유무 판별부(135)에는 인공지능모델로 본 발명에 따른 VGG-C + (batch) Normalization(또는 "VGG-Custom"이라 함)이 적용된다,10 to 13, VGG-C + (batch) Normalization (or referred to as "VGG-Custom") according to the present invention as an artificial intelligence model is applied to the
도 10에서 나타낸 바와 같이 입력 계층 및 출력 계층을 제외한 6개의 계층으로 구성된다.As shown in FIG. 10, it consists of six layers except for an input layer and an output layer.
입력 계층으로부터 제1계층 내지 제4계층 각각은 2개의 합성곱 계층(Convolution: Conv), 각 합성곱 계층 후단에 구성되는 배치 정규화 계층(Batch Normalization: Batch Norm) 및 하나의 맥스 풀링(Max Pooling)계층으로 구성되고, 제5계층은 3개의 합성곱 계층, 상기 각 합성곱 계층 후단에 구성되는 배치 정규화 계층 및 하나의 맥스 풀링 계층으로 구성되며, 제6계층은 4개의 풀리 커넥티드(Fully Connected, Dense) 계층으로 구성된다. 상기 입력 계층은 상기 이미지 특징정보가 입력될 수 있고, 출력 계층에서는 저작권 판별 정보가 출력될 것이다. Each of the first to fourth layers from the input layer is two convolutional layers (Convolution: Conv), a batch normalization layer configured after each convolutional layer (Batch Normalization: Batch Norm), and one Max Pooling (Max Pooling) layer. It consists of layers, and the fifth layer is composed of three convolutional layers, a batch normalization layer configured after each convolutional layer, and one max pooling layer, and the sixth layer has four fully connected (Fully Connected, Dense) layer. The image feature information may be input to the input layer, and copyright determination information will be output to the output layer.
합성곱신경망(Covolution Neural Network: CNN)인 본 발명의 VGG-C + batch Normalization은 도 11의 601 및 602에서 보이는 바와 같이 다른 인공지능 알고리즘인 서포트 벡터 머신(Support Vector Machine:SVM), K-최근접 이웃(K-Nearest Neighbors: K-NN), 램덤 포레스트(Random Forest: RF)들과 비교하여 정확도 및 F1 스코어(F1-Score)가 더 높음을 알 수 있다.VGG-C + batch normalization of the present invention, which is a convolutional neural network (CNN), is another artificial intelligence algorithm, Support Vector Machine (SVM), K-recent, as shown in 601 and 602 of FIG. 11 . It can be seen that the accuracy and F1 score (F1-Score) are higher compared to K-Nearest Neighbors (K-NN) and Random Forests (RF).
또한, 도 11에서 보이는 바와 같이 스트라이드가 1이고 윈도우의 크기가 8일 때 정확도 및 F1-Score가 가장 좋음을 알 수 있다.In addition, as shown in FIG. 11 , it can be seen that the accuracy and F1-Score are the best when the stride is 1 and the size of the window is 8.
또한, 도 12에서 나타낸 바와 같이 본 발명에 따라 적용되는 VGG-C + batch Normalization이 적용되는 엔트로피 구간이 큰경우(n=128, 256) 다른 인공지능 알고리즘들에 비해 높은 정확도 및 F1-Score를 가짐을 알 수 있다. 특히 엔트로피 구간이 128(n=128)인 경우 72.3%로 다른 알고리즘들에 비해 정확도 및 F1-Score가 높다.In addition, as shown in FIG. 12, when the entropy section to which VGG-C + batch normalization applied according to the present invention is applied is large (n=128, 256), it has high accuracy and F1-Score compared to other AI algorithms. can be found In particular, when the entropy section is 128 (n=128), the accuracy and F1-Score are higher than other algorithms at 72.3%.
또한, 본 발명에 따라 배치 정규화가 적용된 VGG-C + batch Normalization가 적용된 저작권 판별 인공지능모델은 하기 표 2에서 나타낸 바와 같이 과적합 현상을 개선한다.In addition, according to the present invention, the VGG-C + batch normalization applied copyright discrimination AI model to which batch normalization is applied improves the overfitting phenomenon as shown in Table 2 below.
또한, 일반적인 VGG-(Net) C가 적용된 저작권 판별 인공지능모델의 최소 자승 손실 변화(도 13의 801) 대비 본 발명에 따른 VGG-(Net) C + batch Normalization을 적용한 저작권 판별 인공지능모델의 최소 자승 손실 변환(도 13의 802)가 더 적음을 도 13으로부터 알 수 있다.In addition, the minimum value of the copyright determination AI model applying VGG-(Net) C + batch normalization according to the present invention compared to the change of least squares loss (801 in FIG. 13) of the copyright determination AI model to which the general VGG-(Net) C is applied. It can be seen from FIG. 13 that the square loss transform (802 in FIG. 13) is smaller.
도 14는 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 방법을 나타낸 흐름도이다.14 is a flowchart illustrating an image copyright determination method using deep learning according to the present invention.
도 14를 참조하면, 저작권 판별 제어부(130)는 저작권 학습데이터 DB(111)에 저장된 저작권 이미지임을 나타내는 저작권 판별 정보가 라벨링된 저작권 이미지들을 미리 정의된 저작권 판별 인공지능모델에 적용하여 상기 저작권 판별 인공지능모델을 학습시킨 후, 저작권 유무 판별부(135)에 적용시킨다(S111).Referring to FIG. 14 , the copyright
저작권 판별 제어부(130)는 이미지 획득부(133)를 통해 사용자 단말부(20)로부터 저작권 판별 요청 정보의 수신에 의한 저작권 판별 이벤트가 발생되는지를 모니터링한다(S113).The copyright
저작권 판별 이벤트가 발생되면 저작권 판별 제어부(130)는 이미지 획득부(133)를 통해 저작권 판별 요청 정보로부터 저작권 판별 대상 이미지가 획득되는지를 모니터링한다(S115).When a copyright determination event occurs, the copyright
저작권 판별 요청 정보로부터 저작권 판별 대상 이미지가 획득되면 저작권 판별 제어부(130)는 이미지 특징 추출부(134)를 통해 상기 저작권 판별 대상 이미지에 대한 이미지 특징정보를 추출하고(S117), 추출된 이미지 특징정보를 저작권 판별 인공지능모델에 적용한다(S119).When the copyright determination target image is obtained from the copyright determination request information, the copyright
이미지 특징정보를 저작권 판별 인공지능모델에 적용한 후, 저작권 판별 제어부(130)는 상기 저작권 판별 인공지능모델의 결과정보를 분석하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지 아닌지를 판단하고(S121), 저작권 이미지가 아니면 저작권 판별 정보 제공부(136)를 통해 해당 사용자 단말부(20)로 상기 저작권 판별 대상 이미지의 사용이 가능함을 통지한다(S123).After applying the image characteristic information to the copyright determination artificial intelligence model, the copyright
반면, 결과정보가 상기 저작권 판별 대상 이미지가 저작권 이미지임을 나타내는 정보이면 저작권 판별 제어부(130)는 해당 이미지가 저작권 이미지임을 알리는 알림 정보를 사용자 단말부(20)로 제공한다(S125).On the other hand, if the result information indicates that the copyright determination target image is a copyright image, the copyright
도 15는 본 발명에 따른 딥러닝을 이용한 이미지 저작권 판별 방법 중 이미지 특징 생성 방법을 나타낸 흐름도이다.15 is a flowchart illustrating an image feature generation method among the image copyright determination methods using deep learning according to the present invention.
도 15를 참조하면 저작권 판별 제어부(130)의 이미지 특징 추출부(134)는 이미지 크기 조절부(141)를 통해 저작권 이미지 또는 저작권 판별 대상 이미지의 입력 시 해당 이미지를 미리 설정된 크기의 이미지로 변환한다(S211).Referring to FIG. 15 , the image
이미지의 크기가 조절되면 이미지 특징 추출부(134)는 윈도우 픽셀 어레이 생성부(142)를 통해 상기 크기 조절된 이미지의 크기에 따른 픽셀들을 미리 설정된 윈도우 단위로 추출하여 윈도우 단위의 윈도우 픽셀 어레이 정보(6)를 추출한다(S213).When the size of the image is adjusted, the image
윈도우 픽셀 어레이 정보가 추출되면 이미지 특징 추출부(134)는 윈도우 확률 어레이 생성부(143)를 통해 이미지 크기에 대응하는 확률 인덱스를 가지고 있는 윈도우 확률 어레이 정보(7)를 생성하되, 상기 윈도우 확률 어레이 정보(7)의 각 확률 인덱스에 대응하는 영역에 대응하는 윈도우 픽셀 어레이 정보(6)의 픽셀값들 중 확률 인덱스에 대응하는 픽셀값이 차지하는 확률(Pi)을 계산하여 저장한다.When the window pixel array information is extracted, the image
이미지 특징 추출부(134)는 윈도우 확률 어레이 정보(7)가 생성되면 윈도우 엔트로피 어레이 생성부(144)를 통해 윈도우 확률 어레이 정보(7)의 확률값들 각각에 대한 엔트로피값을 계산하고, 확률 인덱스에 대응하는 엔트로피 인덱스의 영역에 해당 엔트로피값을 가지는 윈도우 엔트로피 어레이 정보(8)를 생성한다(S217).When the window probability array information 7 is generated, the image
윈도우 수에 대응하는 윈도우 엔트로피 어레이 정보(8)가 생성되면 이미지 특징 추출부(134)는 레벨링부(145)를 통해 상기 이미지 크기에 대응하는 다수의 윈도우별 윈도우 엔트로피 어레이 정보를 미리 설정된 L개의 레벨로 나누고 상기 윈도우 크기에 대응하는 레벨 인덱스를 가지는 L개의 레벨 윈도우 어레이 정보를 생성하되, 엔트로피값의 범위를 L개로 나누어 상기 L개의 레벨 어레이 정보에 지정한 후, L개의 레벨 윈도우 어레이 정보의 동일 엔트로피 인덱스에서 해당 레벨 어레이 정보에 지정된 엔트로피값의 범위에 속하는 엔트로피값들을 합산하여 해당 레벨 인덱스에 맵핑한 상기 레벨 윈도우 어레이 정보를 이미지 특징정보로써 생성하여 저장한다(S219, S221).When the window
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.On the other hand, it is common knowledge in the art that the present invention is not limited only to the above-described typical preferred embodiments, but can be improved, changed, replaced, or added in various ways within the scope of the present invention. Those who have will be able to understand it easily. If implementation by such improvement, change, substitution or addition falls within the scope of the appended claims below, the technical idea should also be regarded as belonging to the present invention.
1: 유무선 데이터통신망 20: 사용자 단말부
21: 컴퓨터 단말기 22: 모바일 단말기
30: 이미지 저작권 판별 시스템 31: 이미지 저작권 판별 서버
32: 데이터베이스 서버 33: 사용자 인터페이스 제공 서버
110: 저장부 111: 저작권 학습데이터 DB
120: 통신부 130: 저작권 판별 제어부
131: 학습부 132: 인터페이스부
133: 이미지 획득부 134: 이미지 특징 추출부
135: 저작권 유무 판별부 136: 저작권 판별 정보 제공부
141: 이미지 크기 조절부 142: 윈도우 픽셀 어레이 생성부
143: 윈도우 확률 어레이 생성부
144: 윈도우 엔트로피 어레이 생성부
145: 레벨링부 1: Wired and wireless data communication network 20: User terminal unit
21: computer terminal 22: mobile terminal
30: image copyright determination system 31: image copyright determination server
32: database server 33: server providing user interface
110: storage unit 111: copyright learning data DB
120: communication unit 130: copyright determination control unit
131: learning unit 132: interface unit
133: image acquisition unit 134: image feature extraction unit
135: copyright determination unit 136: copyright determination information providing unit
141: image size adjusting unit 142: window pixel array generating unit
143: window probability array generator
144: window entropy array generator
145: leveling unit
Claims (12)
유무선 데이터통신망에 유선 및 무선 중 어느 하나로 연결되어 상기 유무선 데이터통신망에 접속한 장치들과 데이터통신을 수행할 수 있도록 하는 통신부; 및
상기 학습데이터 DB의 저작권 이미지들 각각에 대한 이미지 특징정보를 추출하여 상기 학습데이터 DB에 저장하고, 추출된 이미지 특징정보 및 상기 이미지 특징정보가 저작권 이미지임을 나타내는 라벨링 정보를 미리 구성된 저작권 판별 인공지능모델에 적용하여 상기 저작권 이미지를 학습시키고, 상기 통신부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하여 상기 저작권 판별 대상 이미지로부터 이미지 특징정보를 추출하고, 이미지 특징정보를 상기 저작권 판별 인공지능모델에 적용하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지를 판별한 후 저작권 판별 정보를 상기 사용자 단말부로 제공하는 저작권 판별 제어부를 포함하되,
상기 제어부는,
상기 학습데이터 DB로부터 저작권 이미지들 각각에 대한 이미지 특징정보를 로딩하고, 로딩된 이미지 특징정보 및 상기 이미지 특징정보가 저작권 이미지임을 나타내는 라벨링 정보를 상기 저작권 판별 인공지능모델에 적용하여 상기 저작권 이미지를 학습시키는 학습부;
상기 통신부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하여 출력하는 이미지 획득부;
상기 학습데이터 DB에 저작권 이미지들 각각에 대한 이미지 특징정보를 추출하여 상기 학습데이터 DB에 저장하고, 상기 이미지 획득부로부터 입력되는 저작권 판별 대상 이미지에 대한 이미지 특징정보를 추출하여 출력하는 이미지 특징 추출부;
상기 학습된 저작권 판별 인공지능모델을 포함하며, 상기 저작권 판별 인공지능모델에 상기 저작권 판별 대상 이미지에 대한 이미지 특징정보를 적용하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지 비저작권 이미지인지를 판별하고 그에 따른 결과정보를 출력하는 저작권 유무 판별부; 및
상기 결과정보를 입력받고 상기 결과정보를 통신부를 통해 상기 사용자 단말부로 전송하는 저작권 판별 정보 제공부를 포함하고,
상기 이미지 특징 추출부는,
상기 저작권 이미지 및 저작권 판별 대상 이미지를 포함하는 이미지를 미리 설정된 크기의 이미지로 조절하여 출력하는 크기 조절부;
미리 설정된 크기의 윈도우를 상기 크기 조절된 이미지의 픽셀 단위로 이동시키면서 상기 윈도우 크기에 대응하는 픽셀 인덱스에 이미지의 해당 픽셀값을 맵핑한 윈도우 픽셀 어레이 정보를 생성하는 윈도우 픽셀 어레이 생성부;
상기 윈도우 픽셀 어레이 정보의 각 픽셀값에 대해 확률 인덱스에 대응하는 픽셀값이 발생할 확률값을 계산 및 맵핑하여 윈도우 확률 어레이 정보를 생성하는 윈도우 확률 어레이 생성부;
상기 윈도우 확률 어레이 정보의 각 확률 인덱스의 확률값에 대한 엔트로피를 계산하여 엔트로피 인덱스에 맵핑한 윈도우 엔트로피 어레이 정보를 생성하는 윈도우 엔트로피 어레이 생성부; 및
상기 이미지 크기에 대응하는 다수의 윈도우별 윈도우 엔트로피 어레이 정보를 미리 설정된 L개의 레벨로 나누고 상기 윈도우 크기에 대응하는 레벨 인덱스를 가지는 L개의 레벨 윈도우 어레이 정보를 생성하되, 엔트로피값의 범위를 L개로 나누어 상기 L개의 레벨 어레이 정보에 지정한 후, L개의 레벨 윈도우 어레이 정보의 동일 엔트로피 인덱스에서 해당 레벨 어레이 정보에 지정된 엔트로피값의 범위에 속하는 엔트로피값들을 합산하여 해당 레벨 인덱스에 맵핑한 상기 레벨 윈도우 어레이 정보를 상기 이미지 특징정보로서 생성하여 저장하는 레벨링부를 포함하는 것을 특징으로 하는 딥러닝을 이용한 이미지 저작권 판별 시스템.
a storage unit including a plurality of copyright images and a copyright learning data DB for storing image characteristic information extracted for each of the copyright images;
a communication unit connected to a wired/wireless data communication network either by wire or wirelessly to perform data communication with devices connected to the wired/wireless data communication network; and
A copyright discrimination artificial intelligence model that extracts image characteristic information for each of the copyright images of the learning data DB and stores it in the learning data DB, and pre-configures the extracted image characteristic information and labeling information indicating that the image characteristic information is a copyright image to learn the copyright image, obtain the copyright determination target image to be used by the user from the user terminal through the communication unit, extract image characteristic information from the copyright determination target image, and apply the image characteristic information to the copyright determination artificial intelligence After determining whether the copyright determination target image is a copyright image by applying to the model, comprising a copyright determination control unit that provides copyright determination information to the user terminal unit,
The control unit is
Load image characteristic information for each of the copyright images from the learning data DB, and apply the loaded image characteristic information and labeling information indicating that the image characteristic information is a copyright image to the copyright determination AI model to learn the copyright image Let the learning department;
an image acquisition unit for obtaining and outputting a copyright determination target image to be used by the user from the user terminal unit through the communication unit;
Image feature extraction unit for extracting image characteristic information for each copyright image in the learning data DB, storing it in the learning data DB, and extracting and outputting image characteristic information for the copyright determination target image input from the image acquisition unit ;
Including the learned copyright determination artificial intelligence model, by applying the image feature information for the copyright determination target image to the copyright determination artificial intelligence model to determine whether the copyright determination target image is a copyright image or a non-copyright image, and a copyright determination unit for outputting result information; and
and a copyright determination information providing unit for receiving the result information and transmitting the result information to the user terminal unit through a communication unit,
The image feature extraction unit,
a size adjustment unit for adjusting and outputting the image including the copyright image and the copyright determination target image to an image having a preset size;
a window pixel array generator for generating window pixel array information by mapping a pixel value of an image to a pixel index corresponding to the window size while moving a window of a preset size in units of pixels of the resized image;
a window probability array generator generating window probability array information by calculating and mapping a probability value of occurrence of a pixel value corresponding to a probability index for each pixel value of the window pixel array information;
a window entropy array generator generating window entropy array information mapped to the entropy index by calculating the entropy of the probability value of each probability index of the window probability array information; and
The window entropy array information for each window corresponding to the image size is divided into L preset levels and L level window array information having a level index corresponding to the window size is generated, but the entropy value range is divided into L After designating the L level array information, the level window array information mapped to the corresponding level index by adding up entropy values belonging to the range of entropy values specified in the corresponding level array information in the same entropy index of the L level window array information Image copyright determination system using deep learning, characterized in that it comprises a leveling unit to generate and store as the image characteristic information.
크기 조절된 상기 이미지의 크기는 256*256이고, 상기 윈도우의 크기는 8*8이며, 상기 픽셀 어레이 정보, 확률 어레이 정보, 엔트로피 어레이 정보 및 레벨 어레이 정보의 인덱스는 0~127인 것을 특징으로 하는 딥러닝을 이용한 이미지 저작권 판별 시스템.
According to claim 1,
The size of the scaled image is 256*256, the size of the window is 8*8, and the indexes of the pixel array information, probability array information, entropy array information, and level array information are 0 to 127, characterized in that Image copyright discrimination system using deep learning.
상기 픽셀값은 상기 이미지의 색값이되, R, G, B, 3 채널 중 어느 하나의 값일 수 있으며,
상기 이미지 특징정보는 상기 R, G, B 3채널 모두에 대한 정보를 포함하는 것을 특징으로 하는 딥러닝을 이용한 이미지 저작권 판별 시스템.
5. The method of claim 4,
The pixel value is the color value of the image, and may be any one of R, G, B, and 3 channels,
The image characteristic information is an image copyright determination system using deep learning, characterized in that it includes information on all three channels of the R, G, and B.
상기 저작권 판별 인공지능모델은 딥러닝 인공지능모델로, VGG-C 알고리즘의 각 합성곱 계층 후단에 배치 정규화 계층을 구비하여 합성곱 계층의 출력을 배치 정규화(Batch Normalization)하는 인공지능모델인 것을 특징으로 하는 딥러닝을 이용한 이미지 저작권 판별 시스템.
According to claim 1,
The copyright determination artificial intelligence model is a deep learning artificial intelligence model, characterized in that it is an artificial intelligence model that batch normalizes the output of the convolutional layer by providing a batch normalization layer at the end of each convolutional layer of the VGG-C algorithm. Image copyright determination system using deep learning.
상기 제어부가 이미지 획득부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하여 출력하는 이미지 획득 과정;
상기 제어부가 이미지 특징 추출부를 통해 상기 이미지 획득부로부터 입력되는 저작권 판별 대상 이미지에 대한 이미지 특징정보를 추출하여 출력하는 이미지 특징 추출 과정;
상기 제어부가 상기 학습된 저작권 판별 인공지능모델을 포함하는 저작권 유무 판별부를 통해 상기 저작권 판별 인공지능모델에 상기 저작권 판별 대상 이미지에 대한 이미지 특징정보를 적용하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지 비저작권 이미지인지를 판별하고 그에 따른 결과정보를 출력하는 저작권 유무 판별 과정; 및
상기 제어부가 저작권 판별 정보 제공부를 통해 상기 결과정보를 입력받고 상기 결과정보를 통신부를 통해 상기 사용자 단말부로 전송하는 저작권 판별 정보 제공 과정을 포함하되,
상기 학습 과정은,
제어부가 이미지 특징 추출부를 통해 학습데이터 DB에 저작권 이미지들 각각에 대한 이미지 특징정보를 추출하여 학습데이터 DB에 저장하는 이미지 특징정보 추출 단계; 및
상기 제어부가 학습부를 통해 상기 학습데이터 DB로부터 저작권 이미지들 각각에 대한 이미지 특징정보를 로딩하고, 로딩된 이미지 특징정보 및 상기 이미지 특징정보가 저작권 이미지임을 나타내는 라벨링 정보를 상기 저작권 판별 인공지능모델에 적용하여 상기 저작권 이미지를 학습시키는 특징정보 학습 단계를 포함하고,
상기 이미지 특징정보 추출 단계는,
상기 제어부가 크기 조절부를 통해 상기 저작권 이미지 및 저작권 판별 대상 이미지를 포함하는 이미지를 미리 설정된 크기의 이미지로 조절하여 출력하는 크기 조절 단계;
상기 제어부가 윈도우 픽셀 어레이 생성부를 통해 미리 설정된 크기의 윈도우를 상기 크기 조절된 이미지의 픽셀 단위로 이동시키면서 상기 윈도우 크기에 대응하는 픽셀 인덱스에 이미지의 해당 픽셀값을 맵핑한 윈도우 픽셀 어레이 정보를 생성하는 윈도우 픽셀 어레이 생성 단계;
상기 제어부가 윈도우 확률 어레이 생성부를 통해 상기 윈도우 픽셀 어레이 정보의 각 픽셀값들에 대해 확률 인덱스에 대응하는 픽셀값이 발생할 확률값을 계산한 후 해당 확률 인덱스에 맵핑하여 윈도우 확률 어레이 정보를 생성하는 윈도우 확률 어레이 생성 단계;
상기 제어부가 윈도우 엔트로피 어레이 생성부를 통해 상기 윈도우 확률 어레이 정보의 각 확률 인덱스의 확률값에 대한 엔트로피를 계산하여 엔트로피 인덱스에 맵핑한 윈도우 엔트로피 어레이 정보를 생성하는 윈도우 엔트로피 어레이 생성 단계; 및
상기 제어부가 레벨링부를 통해 상기 이미지 크기에 대응하는 다수의 윈도우별 윈도우 엔트로피 어레이 정보를 미리 설정된 L개의 레벨로 나누고 상기 윈도우 크기에 대응하는 레벨 인덱스를 가지는 L개의 레벨 윈도우 어레이 정보를 생성하되, 엔트로피값의 범위를 L개로 나누어 상기 L개의 레벨 어레이 정보에 지정한 후, L개의 레벨링 윈도우 어레이 정보의 동일 엔트로피 인덱스에서 해당 레벨 어레이 정보에 지정된 엔트로피값의 범위에 속하는 엔트로피값들을 합산하여 해당 레벨 인덱스에 맵핑하여 저장하는 레벨링 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 이미지 저작권 판별 방법.
The control unit extracts image characteristic information for each of the copyright images in the learning data DB through the image feature extraction unit, and uses the learning unit to provide the image characteristic information and the labeling information indicating that the image characteristic information is a copyright image to the copyright determination artificial intelligence model A learning process for learning the copyright image by applying to;
an image acquisition process in which the control unit acquires and outputs a copyright determination target image to be used by the user from the user terminal through the image acquisition unit;
an image feature extraction process in which the control unit extracts and outputs image feature information for the copyright determination target image input from the image acquisition unit through the image feature extraction unit;
The control unit applies the image characteristic information for the copyright determination target image to the copyright determination artificial intelligence model through the copyright determination unit including the learned copyright determination artificial intelligence model to determine whether the copyright determination target image is a copyright image or non-copyright A copyright determination process of determining whether an image is an image and outputting result information according thereto; and
Comprising a copyright determination information providing process in which the control unit receives the result information through the copyright determination information providing unit and transmits the result information to the user terminal through the communication unit,
The learning process is
an image feature information extraction step of the controller extracting image feature information for each copyright image in the learning data DB through the image feature extracting unit and storing it in the learning data DB; and
The control unit loads image characteristic information for each of the copyright images from the learning data DB through the learning unit, and applies the loaded image characteristic information and labeling information indicating that the image characteristic information is a copyright image to the copyright determination AI model To include a feature information learning step of learning the copyright image,
The image feature information extraction step,
a size adjustment step of the controller adjusting the image including the copyright image and the copyright determination target image to an image of a preset size and outputting the image through the size adjustment unit;
The control unit moves a window of a preset size through the window pixel array generating unit in units of pixels of the resized image and generates window pixel array information in which a corresponding pixel value of the image is mapped to a pixel index corresponding to the window size. creating a window pixel array;
Window probability in which the control unit calculates a probability value of occurrence of a pixel value corresponding to a probability index for each pixel value of the window pixel array information through a window probability array generator and maps the pixel value to the corresponding probability index to generate window probability array information array creation step;
a window entropy array generation step in which the control unit calculates entropy for a probability value of each probability index of the window probability array information through a window entropy array generation unit and generates window entropy array information mapped to the entropy index; and
The control unit divides the window entropy array information for each window corresponding to the image size through the leveling unit into L preset levels and generates L level window array information having a level index corresponding to the window size, the entropy value After dividing the range of L into L and specifying it in the L level array information, the entropy values belonging to the range of entropy values specified in the corresponding level array information are added up from the same entropy index of the L leveling window array information and mapped to the corresponding level index. Image copyright determination method using deep learning, characterized in that it comprises a leveling step of storing.
상기 L은 6인 것을 특징으로 하는 딥러닝을 이용한 이미지 저작권 판별 방법
8. The method of claim 7,
The image copyright determination method using deep learning, characterized in that L is 6
크기 조절된 상기 이미지의 크기는 256*256이고, 상기 윈도우의 크기는 8*8이며, 상기 픽셀 어레이 정보, 확률 어레이 정보, 엔트로피 어레이정보 및 레벨 어레이 정보의 인덱스는 0~127인 것을 특징으로 하는 딥러닝을 이용한 이미지 저작권 판별 방법.
11. The method of claim 10,
The size of the scaled image is 256*256, the size of the window is 8*8, and the indexes of the pixel array information, probability array information, entropy array information, and level array information are 0 to 127, characterized in that Image copyright determination method using deep learning.
상기 픽셀값은 상기 이미지의 색값이되, R, G, B, 3 채널 중 어느 하나의 값일 수 있으며,
상기 이미지 특징 정보는 상기 R, G, B 3채널 모두에 대한 정보를 포함하는 것을 특징으로 하는 딥러닝을 이용한 이미지 저작권 판별 방법.12. The method of claim 11,
The pixel value is the color value of the image, and may be any one of R, G, B, and 3 channels,
The image characteristic information is an image copyright determination method using deep learning, characterized in that it includes information about all three channels of the R, G, B.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210159961A KR102420199B1 (en) | 2021-11-19 | 2021-11-19 | Image copyright identification system using deep learning and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210159961A KR102420199B1 (en) | 2021-11-19 | 2021-11-19 | Image copyright identification system using deep learning and method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102420199B1 true KR102420199B1 (en) | 2022-07-13 |
Family
ID=82401653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210159961A KR102420199B1 (en) | 2021-11-19 | 2021-11-19 | Image copyright identification system using deep learning and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102420199B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102541349B1 (en) * | 2022-11-22 | 2023-06-13 | (주)에이아이딥 | Image copyright identification system using variational auto encoder and method thereof |
| KR102669742B1 (en) * | 2023-11-28 | 2024-05-29 | (주)에이아이딥 | Artificial Intelligence-based copyright Image recommendation system and method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190035146A (en) * | 2017-09-26 | 2019-04-03 | 상명대학교산학협력단 | Deep learning based 3D model Copyright infringement evaluation method using depth image |
| KR20210072610A (en) | 2019-12-09 | 2021-06-17 | 주식회사 디알엠인사이드 | Monitoring service apparatus and method for preventing copyright infringement of news photograph |
-
2021
- 2021-11-19 KR KR1020210159961A patent/KR102420199B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190035146A (en) * | 2017-09-26 | 2019-04-03 | 상명대학교산학협력단 | Deep learning based 3D model Copyright infringement evaluation method using depth image |
| KR20210072610A (en) | 2019-12-09 | 2021-06-17 | 주식회사 디알엠인사이드 | Monitoring service apparatus and method for preventing copyright infringement of news photograph |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102541349B1 (en) * | 2022-11-22 | 2023-06-13 | (주)에이아이딥 | Image copyright identification system using variational auto encoder and method thereof |
| KR102669742B1 (en) * | 2023-11-28 | 2024-05-29 | (주)에이아이딥 | Artificial Intelligence-based copyright Image recommendation system and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190251332A1 (en) | Intelligent auto cropping of digital images | |
| US10755447B2 (en) | Makeup identification using deep learning | |
| US11058209B2 (en) | Beauty counseling information providing device and beauty counseling information providing method | |
| JP2017211970A (en) | Care information acquisition method, care information sharing method, and electronic device for those methods | |
| KR20180042934A (en) | Method, Apparatus and System for Recommending Contents | |
| CN105718869A (en) | Method and device for estimating face score in picture | |
| KR102276091B1 (en) | Providing method for indoor interior recommending service based on big data and apparatus therefor | |
| KR102420199B1 (en) | Image copyright identification system using deep learning and method thereof | |
| JP2018120461A (en) | Extraction equipment, extraction method and extraction program | |
| WO2019128564A1 (en) | Focusing method, apparatus, storage medium, and electronic device | |
| CN112084959B (en) | Crowd image processing method and device | |
| US11468571B2 (en) | Apparatus and method for generating image | |
| CN117242482A (en) | Digital imaging and learning system and method for analyzing pixel data of scalp region of user's scalp to generate one or more user-specific scalp classifications | |
| CN112817563B (en) | Target attribute configuration information determining method, computer device, and storage medium | |
| KR20200099271A (en) | Method that provides and creates mosaic image based on image tag-word | |
| JP6513138B2 (en) | SYSTEM, INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| CN110991433A (en) | Face recognition method, device, equipment and storage medium | |
| KR102252599B1 (en) | Apparatus for Land Appraisal Service and Land Appraisal Method, and Computer Readable Recording Medium | |
| US10417798B2 (en) | System and method based on sliding-scale cluster groups for precise look-alike modeling | |
| CN116229188B (en) | Image processing display method, classification model generation method and equipment thereof | |
| US9942472B2 (en) | Method and system for real-time image subjective social contentment maximization | |
| CN112307243B (en) | Method and apparatus for retrieving images | |
| CN112183303A (en) | Transformer equipment image classification method and device, computer equipment and medium | |
| CN111062914A (en) | Method, apparatus, electronic device and computer readable medium for acquiring facial image | |
| KR101867586B1 (en) | Apparatus and method for processing image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |