KR102541349B1 - 변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법 - Google Patents

변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법 Download PDF

Info

Publication number
KR102541349B1
KR102541349B1 KR1020220157568A KR20220157568A KR102541349B1 KR 102541349 B1 KR102541349 B1 KR 102541349B1 KR 1020220157568 A KR1020220157568 A KR 1020220157568A KR 20220157568 A KR20220157568 A KR 20220157568A KR 102541349 B1 KR102541349 B1 KR 102541349B1
Authority
KR
South Korea
Prior art keywords
image
hash code
free
determination
unit
Prior art date
Application number
KR1020220157568A
Other languages
English (en)
Inventor
양재영
이상우
조성환
민성현
김원겸
황두성
김수인
Original Assignee
(주)에이아이딥
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이아이딥 filed Critical (주)에이아이딥
Priority to KR1020220157568A priority Critical patent/KR102541349B1/ko
Application granted granted Critical
Publication of KR102541349B1 publication Critical patent/KR102541349B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services
    • G06Q50/184—Intellectual property management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/101—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying security measures for digital rights management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Technology Law (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 이미지 저작권 판별 시스템 및 방법에 관한 것으로, 더욱 상세하게는 저작권이 없고 사용이 허락된 이미지(이하 "저작권 프리 이미지"라 함) 다수 개 각각을 변분오토인코더(Variational Auto Encoder: VAE)에 적용하여 학습과 동시에 이미지 특징정보를 추출하고, 추출된 이미지 특징정보에 대한 해시코드를 생성하여 이미지 특징정보와 함께 등록하고, 저작권 판별 대상인 이미지(이하 "저작권 판별 대상 이미지"라 함)에 대한 이미지 특징정보의 해시코드와 일치하는 해시코드가 등록되어 있는지의 여부에 의해 상기 저작권 판별 대상 이미지가 저작권 이미지인지 저작권 프리 이미지인지를 판별하는 변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법에 관한 것이다.

Description

변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법{Image copyright identification system using variational auto encoder and method thereof}
본 발명은 이미지 저작권 판별 시스템 및 방법에 관한 것으로, 더욱 상세하게는 저작권 판별 대상인 이미지(이하 "저작권 판별 대상 이미지"라 함)에 대해 변분오토인코더(Variational Auto Encoder: VAE)를 통해 추출된 이미지 특징정보에 대응하는 해시코드(Hash Code)에 기반하여 상기 저작권 판별 대상 이미지가 저작권 이미지인지 저작권 프리(Free) 이미지인지를 판별하는 변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법에 관한 것이다.
현재 스마트폰과 인터넷의 급속한 발전으로, 페이스북, 트위터, 라인, 인스타그램 등과 같은 사회관계망서비스(Social Network Service: SNS)가 급속도로 발전하고 있다. 이제는 사람들에게 있어 SNS는 자신들의 일상과도 같은 삶의 일부분이 되고 있다.
이처럼 SNS는 다양한 사람들이 상호 간 교류 및 소통을 할 수 있도록 만들며, 새로운 미디어를 발전시키고 문화공유에도 이바지하고 있어 많은 부분에서 다양한 장점을 제공하고 있다.
그러나, SNS 및 인터넷의 활성화로 인한 다양한 문제점들도 생겨나고 있는데 다름 아닌 다른 사람이 촬영한 저작권이 있는 이미지를 쉽게 획득하고, 이를 쉽게 도용하여 사용하거나 제3자에게 제공하는 일들이 빈번하게 발생하고 있다.
통상적으로 사용자는 저작권이 있는 이미지임을 알고 사용하는 경우도 있으나, 일반인 사용자 대부분은 인터넷 및 SNS에 게시되어 있는 이미지가 저작권 이미지인지, 저작권 프리 이미지인지 파악하기 어렵다.
그나마 개인적인 사적 이용이라면 모를까, 일반 사용자가 저작권 이미지를 상업적으로 이용하거나, 교육자가 저작권 이미지를 교육적으로 이용하는 경우도 빈번하게 발생하고 있어 사회적으로 큰 문제가 되고 있다.
특히, 선생님과 같은 교육자는 교육자료를 만들 때 이해를 돕기 위해 다양한 이미지들을 사용하고 있고, 발표자도 다양한 컨퍼런스에서 청중의 이해를 쉽게 하려고 발표자료에 다양한 이미지들을 사용하고 있다. 이러한 교육자료 및 발표자료들도 상업적 이용에 포함되어 처벌에 대상이 될 수 있으나, 이미지가 저작권 이미지인지 저작권 프리 이미지인지를 빠르고 쉽게 알 수 없어 추후 법적 문제로 번질 수 있는 문제점이 있다.
또한, 대한민국 공개특허 제10-2021-0072610, [보도 사진의 저작권 침해 방지를 위한 모니터링 서비스 장치 및 방법](이하 "선행특허"라 함)은 이미지 자체를 비교하여 저작권 위반 이미지인지를 판단하는 기술을 개시하고 있다.
그러나, 선행특허는 사용할 이미지를 수집된 많은 저작권 이미지들 각각과 일일이 이미지 자체 비교를 수행하여 특정 저작권 이미지를 침해하는지를 판단하므로 사용할 이미지가 저작권 이미지인지를 판단하는 데 많은 시간이 소요되거나 시스템 부하가 증가하는 문제점이 있다.
대한민국 공개특허 제10-2021-0072610호(2021.06.17.공고)
따라서 본 발명의 목적은 사용이 허락된 저작권 이미지(이하 "저작권 프리 이미지"라 함)들을 변분오토인코더(Variational Auto Encoder: VAE)에 적용하여 학습과 동시에 각 저작권 프리 이미지의 이미지 특징정보를 추출하고, 추출된 이미지 특징맵에 대한 해시코드를 생성하여 등록하고, 저작권 판별 대상인 이미지(이하 "저작권 판별 대상 이미지"라 함)의 이미지 특징맵에 대한 해시코드와 일치하는 해시코드가 등록되어 있는지의 여부에 의해 상기 저작권 판별 대상 이미지가 저작권 이미지인지 저작권 프리 이미지인지를 판별하는 변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 VAE를 이용한 이미지 저작권 판별 시스템은: 다수의 저작권 프리 이미지를 저장하는 저작권 프리 이미지 DB 및 다수의 저작권 프리 이미지 각각에 대한 저작권 프리 해시코드를 저장하는 저작권 프리 이미지 특징 DB를 포함하는 저장부; 유무선 데이터통신망에 유선 및 무선 중 어느 하나로 연결되어 상기 유무선 데이터통신망에 접속한 장치들과 데이터통신을 수행할 수 있도록 하는 통신부; 및 변분오토인코더(VAE)를 포함하고, 상기 통신부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득되면 상기 저작권 프리 이미지 DB에 저장된 다수의 저작권 프리 이미지로 학습된 VAE에 적용하여 상기 저작권 판별 대상 이미지에 대한 이미지 특징맵을 추출하고, 추출된 이미지 특징맵에 대한 해시코드를 생성하여, 상기 생성된 해시코드에 대응하는 저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하여 상기 저작권 판별 대상 이미지가 저작권 프리 이미지인지를 판별한 후 저작권 판별 정보를 상기 사용자 단말부로 제공하는 저작권 판별 제어부를 포함하는 것을 특징으로 한다.
상기 제어부는, 입력되는 이미지 특징맵에 대응하는 해시코드를 생성하여 출력하는 해시코드 생성부; VAE가 적용되고, 상기 저작권 프리 이미지 특징 DB의 저작권 프리 이미지들을 상기 VAE에 적용하여 학습시키고, 상기 저작권 프리 이미지들 각각에 대해 VAE의 인코더를 통해 획득된 이미지 특징맵을 상기 해시코드 생성부로 출력하여 저작권 프리 이미지들 각각에 대한 해시코드를 획득하여 저작권 프리 해시코드로 상기 저작권 프리 이미지 특징 DB에 저장하여 등록하는 학습부; 상기 통신부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하여 출력하는 이미지 획득부; 상기 학습된 VAE가 적용되고 상기 이미지 획득부로부터 입력되는 저작권 판별 대상 이미지에 대한 이미지 특징맵을 추출하여 상기 해시코드 생성부로 출력하는 VAE 이미지 특징 추출부; 상기 저작권 판별 대상 이미지에 대한 해시코드를 상기 해시코드 생성부로부터 입력받고 입력된 해시코드에 대응하는 저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지의 여부에 따라 상기 저작권 판별 대상 이미지가 저작권 이미지인지 저작권 프리 이미지인지를 판별하고 그에 따른 결과정보를 출력하는 저작권 유무 판별부; 및 상기 결과정보를 입력받고 상기 결과정보를 상기 통신부를 통해 상기 사용자 단말부로 전송하는 저작권 판별 정보 제공부를 포함하는 것을 특징으로 한다.
상기 해시코드 생성부는, 상기 이미지 특징맵에 대한 제1해시코드를 생성하는 제1해시코드 생성부; 및 상기 이미지 특징맵에 대해 상기 제1해시코드보다 더 많은 특징정보를 포함하는 제2해시코드를 생성하는 제2해시코드 생성부를 포함하되, 상기 저작권 유무 판별부는, 상기 저작권 판별 대상 이미지에 대한 제1해시코드를 상기 해시코드 생성부로부터 입력받고 입력된 제1해시코드에 대응하는 제1저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하고, 저장되어 있지 않으면 저작권 이미지로 결정하고, 저장된 제1저작권 프리 해시코드가 하나이면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정하며, 둘 이상이면 상기 저작권 판별 대상 이미지에 대한 제2해시코드에 대응하는 제2저작권 프리 해시코드가 저장되어 있는지를 판단하여 저장되어 있으면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정하는 것을 특징으로 한다.
상기 제1해시코드 생성부는, 하기 수학식에 의해 상기 제1해시코드를 계산하는 것을 특징으로 한다.
[수학식]
Figure 112022124838813-pat00001
여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, n은 학습된 모든 저작권 프리 이미지의 수이고, m은 이미지 특징맵의 크기이다. 예를 들면, 학습에 이용된 모든 저작권 프리 이미지의 수, 즉, n은 45만장일 수 있고, 상기 이미지 특징맵의 크기(m)은 8*8로 64일 수 있으며, 이 경우 j=0,1,2,...63이다.
상기 제2해시코드 생성부는, 하기 수학식에 의해 상기 제2해시코드를 계산하는 것을 특징으로 한다.
[수학식]
Figure 112022124838813-pat00002
여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, j는 이미지 특징맵의 크기이다. 예를 들면, 상기 이미지 특징맵의 크기(m)은 8*8로 64일 수 있으며, 이 경우 j=0,1,2,...63이다.
상기 VAE는, 상기 저작권 판별 대상 이미지를 인코딩하여 상기 이미지 특징맵을 출력하는 인코더; 상기 이미지 특징맵을 저장하고 저장된 이미지 특징맵을 추출하여 출력하는 잠재 공간부; 및 상기 이미지 특징맵을 디코딩하여 상기 저작권 판별 대상 이미지에 대응하는 재구성된 이미지를 출력하는 디코더를 포함하는 것을 특징으로 한다.
상기 인코더는, 6개의 합성곱 계층; 및 상기 합성곱 계층의 사이에 각각에 구성되는 6개의 ReLU를 포함하는 것을 특징으로 한다.
상기 이미지 특징맵의 크기는 8*8=64인 것을 특징으로 한다.
상기 이미지 획득부는, 상기 획득된 저작권 판별 대상 이미지의 크기를 상기 VAE의 입력 이미지 크기로 조절하는 전처리 동작을 더 수행하는 것을 특징으로 한다.
상기 저작권 유무 판별부는, 상기 제2해시코드에 대응하는 제2저작권 프리 해시코드를 검색 시 제2해시코드와 상기 저작권 프리 이미지 특징 DB에 저장된 제2저작권 프리 해시코드들 간의 유사도를 계산하여, 상기 유사도에 의해 상기 해시코드와 일치하는 제2해시코드의 존재 여부를 판단하여 상기 저작권 판별 대상 이미지의 저작권 여부를 판별하는 것을 특징으로 한다.
상기 유사도는 하기의 수학식의 평균제곱오차(Mean Squared Error: MSE)에 의해 계산되는 것을 특징으로 한다.
[수학식]
Figure 112022124838813-pat00003
여기서 xi는 저작권 판별 대상 이미지의 제2해시코드, x는 학습된 저작권 프리 이미지의 제2저작권 프리 해시코드이다.
상기 저작권 유무 판별부는, 상기 저작권 판별 대상 이미지의 제2해시코드와 일치하는 제2저작권 프리 해시코드가 존재하지 않으면 상기 MSE가 미리 설정된 임계값 이내인 제2저작권 프리 해시코드의 존재 유무를 판단하고, MSE가 상기 임계값 이내인 제2저작권 프리 해시 코드가 존재하면 상기 저작권 판별 대상 이미지가 저작권 프리 이미지인 것으로 결정하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 VAE를 이용한 이미지 저작권 판별 방법은: 변분오토인코더(VAE)를 포함하는 저작권 판별 제어부가 이미지 획득부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하는 저작권 판별 대상 이미지 획득 과정; 상기 저작권 판별 제어부가 학습된 변분오토인코더(VAE)를 포함하는 이미지 특징 추출부를 통해 저작권 프리 이미지 DB에 저장된 다수의 저작권 프리 이미지로 학습된 VAE에 상기 저작권 판별 대상 이미지를 적용하여 상기 저작권 판별 대상 이미지에 대한 이미지 특징맵을 추출하는 이미지 특징맵 추출 과정; 상기 저작권 판별 제어부가 해시코드 생성부를 통해 상기 저작권 판별 대상 이미지에 대응하는 이미지 특징맵에 대한 해시코드를 생성하는 해시코드 생성 과정; 상기 저작권 판별 제어부가 저작권 유무 판별부를 통해 추출된 이미지 특징맵에 대한 해시코드를 생성하여, 상기 생성된 해시코드에 대응하는 저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하여 상기 저작권 판별 대상 이미지가 저작권 프리 이미지인지를 판별하고, 판별된 결과정보를 포함하는 저작권 판별 정보를 생성하는 저작권 프리 이미지 판별 과정; 및 상기 저작권 판별 제어부가 저작권 판별 정보 제공부를 통해 상기 저작권 판별 정보를 상기 사용자 단말부로 제공하는 저작권 판별정보 제공 과정을 포함하는 것을 특징으로 한다.
상기 방법은: 상기 저작권 판별 제어부가 VAE가 적용된 학습부를 통해 저작권 프리 이미지 특징 DB에 저장되어 있는 저작권 프리 이미지들을 상기 VAE에 적용하여 학습시키고, 상기 저작권 프리 이미지들 각각에 대해 VAE의 인코더를 통해 획득된 이미지 특징맵을 상기 해시코드 생성부로 출력하여 저작권 프리 이미지들 각각에 대한 해시코드를 획득한 후 저작권 프리 해시코드로 상기 저작권 프리 이미지 특징 DB에 저장하여 등록하는 학습 과정을 더 포함하는 것을 특징으로 한다.
상기 해시코드 생성 과정은, 상기 해시코드 생성부가 제1해시코드 생성부를 통해 상기 이미지 특징맵에 대한 제1해시코드를 생성하는 제1해시코드 생성 단계; 및 상기 해시코드 생성부가 제2해시코드 생성부를 통해 상기 이미지 특징맵에 대해 상기 제1해시코드보다 더 많은 특징정보를 포함하는 제2해시코드를 생성하는 제2해시코드 생성 단계를 포함하되, 상기 저작권 유무 판별 과정은, 상기 저작권 유무 판별부가 상기 저작권 판별 대상 이미지에 대한 제1해시코드를 상기 해시코드 생성부로부터 입력받고 입력된 제1해시코드에 대응하는 제1저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하여 저장되어 있지 않으면 저작권 이미지로 결정하고, 저장된 제1저작권 프리 해시코드가 하나이면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정하는 제1저작권 판단 단계; 및 상기 제1해시코드에 대응하는 제1저작권 프리 해시코드가 둘 이상이면, 상기 저작권 유무 판별부가 상기 저작권 판별 대상 이미지에 대한 제2해시코드에 대응하는 제2저작권 프리 해시코드가 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하여 저장되어 있으면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정하는 제2저작권 판단 단계를 포함하는 것을 특징으로 한다.
상기 제1해시코드 생성부는, 하기 수학식에 의해 상기 제1해시코드를 계산하는 것을 특징으로 한다.
[수학식]
Figure 112022124838813-pat00004
여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, n은 학습된 모든 저작권 프리 이미지의 수이고, m은 이미지 특징맵의 크기이다. 예를 들면, 학습에 이용된 모든 저작권 프리 이미지의 수, 즉, n은 45만장일 수 있고, 상기 이미지 특징맵의 크기(m)은 8*8로 64일 수 있으며, 이 경우 j=0,1,2,...63이다.
상기 제2해시코드 생성부는, 하기 수학식에 의해 상기 제2해시코드를 계산하는 것을 특징으로 한다.
[수학식]
Figure 112022124838813-pat00005
여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, j는 이미지 특징맵의 크기이다. 예를 들면, 상기 이미지 특징맵의 크기(m)은 8*8로 64일 수 있으며, 이 경우 j=0,1,2,...63이다.
상기 이미지 특징맵 추출 과정은, 상기 VAE가 인코더를 통해 입력되는 상기 저작권 판별 대상 이미지를 인코딩하여 상기 이미지 특징맵 생성하여 잠재 공간 저장부에 저장하는 이미지 특징맵 생성 단계; 및 상기 VAE가 상기 잠재 공간 저장부에 저장된 상기 이미지 특징맵을 상기 해시코드 생성부로 출력하는 이미지 특징맵 출력 단계를 포함하는 것을 특징으로 한다.
상기 저작권 유무 판별 과정의 제2저작권 유무 판별 단계에서, 저작권 유무 판별부가 상기 제2해시코드에 대응하는 제2저작권 프리 해시코드를 검색 시 제2해시코드와 상기 저작권 프리 이미지 특징 DB에 저장된 제2저작권 프리 해시코드들 간의 유사도를 계산하여, 상기 유사도에 의해 상기 해시코드와 일치하는 제2해시코드의 존재 여부를 판단하여 상기 저작권 판별 대상 이미지의 저작권 여부를 판별하는 것을 특징으로 한다.
상기 유사도는 하기의 수학식의 평균제곱오차(Mean Squared Error: MSE)에 의해 계산되는 것을 특징으로 한다.
[수학식]
Figure 112022124838813-pat00006
여기서 xi는 저작권 판별 대상 이미지의 제2해시코드, x는 학습된 저작권 프리 이미지의 제2저작권 프리 해시코드이다.
상기 저작권 유무 판별 과정은, 상기 저작권 유무 판별부가 상기 제2저작권 유무 판별 단계에서 상기 저작권 판별 대상 이미지의 제2해시코드와 일치하는 제2저작권 프리 해시코드가 존재하지 않으면 상기 MSE가 미리 설정된 임계값 이내인 제2저작권 프리 해시코드의 존재 유무를 판단하고, MSE가 상기 임계값 이내인 제2저작권 프리 해시 코드가 존재하면 상기 저작권 판별 대상 이미지가 저작권 프리 이미지인 것으로 결정하는 제3저작권 유무 판별 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 저작권 이미지와 저작권 판별 대상 이미지를 VAE에 적용하여 학습하되, 이미지의 직접 비교가 아닌 학습 중에 생성되는 이미지 특징정보에 대한 해시코드에 기반하여 저작권 판별 대상 이미지가 저작권 이미지인지 저작권 프리 이미지인지를 판단하므로, 저작권 판단 정확도를 높이면서도 더 빠르게 저작권 이미지인지 아닌지를 판별할 수 있는 효과가 있다.
또한, 본 발명은 기존의 VAE의 인코더의 많은 파라미터로 인한 입력 이미지의 기본 정보 손실을 발생시키던 전부 연결 계층(Fully Connected Layer)을 합성곱 계층(Convolution Layer)으로 대체하므로, 입력되는 저작권 판별 대상 이미지의 파라미터 수를 줄이면서도 정보 손실을 최소화하고 합성곱 계층의 사용에 의한 이미지의 특징들에 대한 좀 더 많은 정보를 확보할 수 있어, 보다 큰 이미지에 대해서도 저작권 판별을 수행할 수 있으면서도 저작권 판단 속도를 향상시키면서도 정확도를 높일 수 있는 효과가 있다.
또한, 본 발명은 저작권 프리 이미지의 해시코드와 저작권 판별 대상 이미지의 해시코드의 평균제곱오차(Meam Square Error: MSE)에 의해 저작권 이미지 여부를 판단하되, 입력이미지의 변형 정도에 따른 입력 이미지와 검색 결과로 반환된 이미지의 결과의 동일성 정도에 대한 정탐율 곡선과 입력 이미지의 변형 정도에 따른 유사정도에 따른 MSE 곡선이 만나는 지점에 따른 임계치를 설정하고 임계치 이내의 이미지에 대해서는 동일 이미지인 것으로 판단하므로, 변형(잘라내기 등)된 입력 이미지에 대해서도 저작권 이미지인지의 여부를 정확하게 판단할 수 있는 효과가 있다.
도 1은 본 발명에 따른 변분오토인코더를 이용한 이미지 저작권 판별 시스템을 포함하는 통신시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 변분오토인코더를 이용한 이미지 저작권 판별 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명에 따라 적용되는 변분오토인코더의 개략적인 구성을 나타낸 도면이다.
도 4는 본 발명에 따른 변분오토인코더의 인코더 구성을 나타낸 도면이다.
도 5는 본 발명의 일실시 예에 따른 제1해시코드 생성 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시 예에 따른 제2해시코드 생성 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따라 적용되는 저작권 판별 임계치 결정 방법을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 변분오토인코더를 이용한 이미지 저작권 판별 방법을 나타낸 흐름도이다.
도 9는 본 발명에 따른 변분오토인코더를 이용한 이미지 저작권 판별 방법 중 변분오토인코더를 이용한 학습 및 해시코드 등록 방법을 나타낸 흐름도이다.
도 10은 본 발명에 따른 변분오토인코더를 이용한 이미지 저작권 판별 방법 중 해시코드에 의한 저자권 판별 방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 VAE를 이용한 이미지 저작권 판별 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템에서의 이미지 저작권 판별 방법을 설명한다. 본 발명에서 사용되는 저작권 프리 이미지는 KOLLA(저작권위원회)에서 등록한 저작권이 있는 이미지이나 자유롭게 사용될 수 있도록 허용된 이미지를 의미한다. 그러나 상기 저작권 프리 이미지는 저작권이 있으나 자유롭게 사용될 수 있도록 허용된 이미지 및 저작권이 없는 이미지를 포함하는 용어로 확장 해석될 수도 있을 것이다.
도 1은 본 발명에 따른 변분오토인코더를 이용한 이미지 저작권 판별 시스템을 포함하는 통신시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 VAE를 이용한 이미지 저작권 판별 시스템(30)은 유무선 데이터통신망(1)을 통해 다수의 사용자 단말부(20)와 상호 데이터통신을 수행한다.
상기 유무선 데이터통신망(1)은 와이파이(WiFi)망을 포함하는 인터넷망, 3세대(3 Generation: 3G), 4G, 5G 등을 포함하는 이동통신망, 와이브로망 등 중 어느 하나 이상을 포함하는 데이터통신망일 수 있을 것이다.
사용자 단말부(20)는 이미지를 사용하고자 하는 사용자가 사용하는 단말부로 데스크톱 컴퓨터, 개인용 컴퓨터, 노트북 등을 포함하는 컴퓨터 단말기(21), 스마트폰, 스마트패드 등과 같은 모바일 단말기(22) 등이 될 수 있을 것이다. 상기 사용자는 이미지를 사용할 수 있는 사람으로, 교육자, 언론가, 학생 등이 될 수 있을 것이다.
상기 이미지 저작권 판별 시스템(30)은 유무선 데이터통신망(1)을 통해 사용자 단말부(20)로부터 저작권 판별 대상 이미지를 획득하고, 상기 저작권 판별 대상 이미지를 VAE에 적용하여 획득되는 이미지 특징맵에 대한 해시코드에 기반하여, 상기 저작권 판별 대상 이미지가 저작권 이미지인지 저작권 프리 이미지인지를 판단한다.
저작권 판별을 요청한 저작권 판별 대상 이미지에 대한 저작권 여부가 판단되면 상기 이미지 저작권 판별 시스템(30)은 그 판단결과를 상기 사용자 단말부(20)로 제공하여, 사용자가 저작권 이미지를 사용하는 것을 방지하고, 저작권 이미지가 아닌 이미지의 확인에 따른 해당 이미지를 마음 편하게 사용할 수 있도록 한다.
상기 이미지 저작권 판별 시스템(30)은 실시예에 따라 이미지 저작권 판별 서버(31)만으로 구성될 수도 있고, 이미지 저작권 판별 서버(31), 데이터베이스 서버(32), 사용자 인터페이스 제공 서버(33) 등을 포함하여 구성될 수도 있을 것이다.
상기 데이터베이스 서버(32)는 상기 이미지 저작권 판별 서버(31)에서 VAE를 학습시킬 저작권 프리 이미지를 저장하는 저작권 프리 이미지 DB 및 상기 각 저작권 프리 이미지에 대한 이미지 특징정보, 제1해시코드 및 제2해시코드를 저장하는 저작권 프리 이미지 특징 DB를 포함하고, 상기 이미지 저작권 판별 서버(31)에서 요청하는 데이터를 제공하거나 이미지 저작권 판별 서버(31)로부터 수신되는 데이터를 저장하여 관리한다.
상기 사용자 인터페이스 제공 서버(33)는 유무선 데이터통신망(1)을 통해 사용자 단말부(20)로 본 발명에 따른 저작권 판별 대상 이미지를 획득하기 위한 사용자 인터페이스 수단을 제공하고, 상기 인터페이스 수단을 통해 획득된 저작권 판별 대상 이미지를 이미지 저작권 판별 서버(31)로 제공하고, 그에 따른 판별 결과를 상기 이미지 저작권 판별 서버(31)로부터 수신받아 사용자 단말부(20)로 제공한다. 상기 사용자 인터페이스 제공 서버(33)는 웹서버일 수도 있고, 어플리케이션 서버일 수도 있을 것이다.
도 2는 본 발명에 따른 변분오토인코더를 이용한 이미지 저작권 판별 시스템의 구성을 나타낸 도면이고, 도 3은 본 발명에 따라 적용되는 변분오토인코더의 개략적인 구성을 나타낸 도면이며, 도 4는 본 발명에 따른 변분오토인코더의 인코더 구성을 나타낸 도면이며, 도 5는 본 발명의 일실시 예에 따른 제1해시코드 생성 방법을 설명하기 위한 도면이고, 도 6은 본 발명의 일실시 예에 따른 제2해시코드 생성 방법을 설명하기 위한 도면이며, 도 7은 본 발명에 따라 적용되는 저작권 판별 임계치 결정 방법을 설명하기 위한 도면이다. 도 3의 구성은 데이터베이스 서버(32)를 포함하지 않는 이미지 저작권 판별 서버(31) 또는 이미지 저작권 판별 서버(31)만으로 구성되는 이미지 저작권 판별 시스템(30)의 구성을 나타낼 수 있으나 이하 이미지 저작권 판별 시스템(30)으로 통칭하여 설명한다. 이하 도 2 내지 도 7을 참조하여 설명한다.
이미지 저작권 판별 시스템(30)은 도 2에서 보이는 바와 같이 저장부(110), 통신부(120) 및 저작권 판별 제어부(130)를 포함한다.
저장부(110)는 본 발명에 따른 이미지 저작권 판별 시스템(30)의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램 수행에 필요한 데이터 및 상기 제어프로그램 수행 중에 발생되는 데이터를 반영구적으로 저장하는 데이터영역을 포함한다. 상기 데이터영역에는 저작권 프리 이미지 DB(111) 및 비저자권 이미지 특징 DB(112)가 구성된다.
상기 저작권 프리 이미지 DB(111)는 VAE를 학습할 저작권이 없는, 즉 무료로 사용할 수 있는 다수의 저작권 프리 이미지를 저장한다. 상기 저작권 프리 이미지는 미리 설정된 2차원 크기로 조절된 이미인 것이 바람직할 것이다. 상기 저작권 프리 이미지의 수(n)는 40만장, 45만장 등이 될 수 있을 것이다.
상기 저작권 프리 이미지 특징 DB(112)는 상기 저작권 프리 이미지 DB(111)에 저장된 각 저작권 프리 이미지들에 대한 제1해시코드 및 제2 시코드 중 어느 하나 이상을 저장할 수 있으나, 둘 모두를 저장하는 것이 바람직할 것이다. 상기 저작권 프리 이미지에 대한 제1해시코드 및 제2해시코드와, 저작권 판별 대상 이미지의 제1해시코드 및 제2해시코드를 구분하기 위해 상기 저작권 프리 이미지의 제1해시코드 및 제2해시코드를 제1저작권 프리 해시코드 및 제2저작권 프리 해시코드라 칭하고, 상기 제1저작권 프리 해시코드 및 제2저작권 프리 해시코드를 통칭하는 경우 저작권 프리 해시코드라 한다.
통신부(120)는 상기 유무선 데이터통신망(1)에 유선 및 무선 중 어느 하나로 연결되어, 상기 유무선 데이터통신망(1)에 접속한 사용자 단말부(20), 실시예에 따라 구성되는 데이터베이스 서버(32) 및 사용자 인터페이스 제공 서버(33)와 상기 저작권 판별 제어부(130)가 상호 데이터통신을 수행할 수 있도록 한다.
저작권 판별 제어부(130)는 학습부(131), 인터페이스부(132), 이미지 획득부(133), 이미지 특징 추출부(134), 해시코드 생성부(135), 저작권 유무 판별부(138) 및 저작권 판별 정보 제공부(139)를 포함하여, 본 발명에 따른 이미지 저작권 판별 시스템(30) 또는 이미지 저작권 판별 서버(31)의 전반적인 동작을 제어한다.
학습부(131)는 VAE가 적용되고, 상기 저작권 프리 이미지 DB(111)에 저장된 저작권 프리 이미지를 상기 VAE에 적용하여 학습시키고, 상기 저작권 프리 이미지들 각각에 대해 VAE의 인코더를 통해 획득된 이미지 특징맵을 상기 해시코드 생성부(135)로 출력하여 저작권 프리 이미지들 각각에 대한 해시코드를 획득하여 저작권 프리 해시코드로 상기 저작권 프리 이미지 특징 DB(112)에 저장하여 등록한다.
상기 학습부(131)는 상기 학습된 VAE를 이미지 특징 추출부(134)로 제공하여 적용시킨다.
인터페이스부(132)는 실시예에 따라 사용자 인터페이스 제공 서버(23)와 연동하거나 직접 사용자 단말부(20)로 사용자 인터페이스 수단을 제공하고, 상기 사용자 인터페이스 수단을 통해 저작권 이미지인지를 판단하기 위한 저작권 판별 대상 이미지를 포함하는 저작권 판별 요청 정보를 수신하여 이미지 획득부(133)로 출력한다. 상기 저작권 판별 요청 정보는 상기 저작권 판별 대상 이미지를 포함하는 학습자료, 교육자료 등을 포함할 수 있을 것이다.
이미지 획득부(133)는 상기 인터페이스부(132)를 통해 사용자 단말부(20)로부터 수신된 저작권 판별 요청 정보로부터 저작권 판별 대상 이미지를 획득하여 이미지 특징 추출부(134)로 제공한다.
이미지 획득부(133)는 상기 획득된 저작권 판별 대상 이미지를 이미지 특징 추출부(134)에 적용된 VAE가 원하는 크기로 조절하여 출력하는 전처리 동작을 수행한다.
이미지 특징 추출부(134)는 상기 이미지 획득부(133)로부터 입력되는 저작권 판별 대상 이미지로부터 이미지 특징맵을 추출하여 해시코드 생성부(135)로 출력한다.
이미지 특징 추출부(134)는 도 3에서 나타낸 바와 같이 인코더(200), 잠재공간부(300) 및 디코더(400)를 포함한다.
인코더(200)는 상기 전처리된 저작권 판별 대상 이미지를 입력받아 인코딩하여 이미지 특징맵을 생성하고, 생성된 이미지 특징맵을 잠재 공간부(300)에 저장한다. 상기 이미지 특징맵은 입력 이미지에 대한 분포를 나타내는 평균(mean:μ)과 분산(variance: σ) 및 인코딩 이미지(샘플링 이미지)에 의해 2차원의 일정 크기를 가지는 잠재 벡터(latent vector), 잠재 스페이스(latent space) 등으로 불리는 크기에 대응하는 수의 특징값(Zj i)으로 구성된다. 예를 들어 256*256의 2차원 크기의 저작권 판별 대상 이미지가 인코더로 입력되면 64개의 특징값(Zj i)을 갖는 8*8 크기의 이미지 특징맵을 출력한다. 상기 특징값(Zj i)은 1 이하의 값을 갖는다.
상기 특징값(Zj i)은 디코더(400)로 입력하여 재구성 이미지를 출력하는 데 이용된다.
그러나 본 발명의 잠재 공간부(300)는 인코더(200)로부터 입력되는 이미지 특징맵을 저장한 후 디코더(400)로 출력할 뿐만 아니라 해시 생성부(135)로 출력한다.
상기 특징값(Zj i) 자체는 이 기술분야의 당업자에게 잘알려져 있는 기술이므로 그 상세한 설명을 생략한다.
그리고 본 발명의 인코더(200)는 도 4에서 나타낸 바와 같이 전부 연결 계층 대신 6개의 합성곱 계층(210)과, 합성곱 계층(210) 사이에 6개의 ReLU(220)를 포함하여 구성한다. 이는 전부 연결 계층이 많은 파라미터로 인한 이미지의 기본 정보 손실을 발생키므로, 입력되는 저작권 판별 대상 이미지의 정보 손실을 최소화하기 위해 합성곱 계층을 사용한다. 따라서 본 발명의 인코더(200)는 파라미터 수를 줄여 좀 더 큰 이미지에 대해 저작권 판별을 수행할 수 있으며, 종래 대비 사용에 의한 이미지의 특징들에 대한 좀 더 많은 정보를 확보할 수 있어, 저작권 판단 속도를 향상시키면서도 정확도를 높일 수 있다.
디코더(400)는 상기 이미지 특징맵을 입력받아 디코딩하여 상기 저작권 판별 대상 이미지에 대응하는 재구성된 이미지를 생성하여 출력한다. 상기 디코더(400)는 상기 도 4의 인코더(200)에 대응하도록 6개의 합성곱 계층, 5개의 ReLU 및 시그모이드(sigmoid)를 포함하여 구성될 것이다.
해시코드 생성부(135)는 학습모드 및 저작권 판별모드로 중 어느 하나를 설정하여 동작하며, 상기 이미지 특징 추출부(134)로부터 이미지 특징맵을 입력받고 이미지 특징맵의 특징값(Zj i)을 이용하여 해시코드를 생성하여 출력한다.
해시코드 생성부(135)는 학습모드에서 상기 이미지 특징맵을 학습부(131)로부터 입력받아 해시코드를 생성하고, 생성된 해시코드를 저작권 프리 해시코드로 상기 학습부(131)로 제공한다.
해시코드 생성부(135)는 저작권 판별모드에서는 상기 이미지 특징 추출부(134)로부터 입력되는 이미지 특징맵에 대한 해시코드를 생성하여 저작권 유무 판별부(138)로 출력한다.
해시코드 생성부(135)는 제1해시코드 생성부(135) 및 제2해시코드 생성부(137) 중 어느 하나 이상을 포함할 수 있을 것이다.
제1해시코드 생성부(135)는 입력되는 이미지 특징맵의 특징값(Zj i)들을 이용하여 제1해시코드를 생성하여 출력한다.
제1해시코드 생성부(135)는 도 5에서 보이는 바와 같이 이미지 특징맵(511)의 크기에 대응하는 수(m)의 특징값(Zj i)(512)들을 하기 수학식 1에 적용하여 각 특징값을 1 또는 0의 이진값(514)으로 변환한 도 5의 제1해시코드(513)를 생성하여 출력한다. 상기 제1해시코드(513)는 학습모드에서 제1저작권 프리 해시코드로 학습부(131)로 입력하고, 저작권 판별모드에서 저작권 유무 판별부(138)로 입력한다.
Figure 112022124838813-pat00007
여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, n은 학습된 모든 저작권 프리 이미지의 수이고, m은 이미지 특징맵의 크기이다. 예를 들면, 학습에 이용된 모든 저작권 프리 이미지의 수, 즉, n은 45만장일 수 있고, 상기 이미지 특징맵의 크기(m)은 8*8로 64일 수 있으며, 이 경우 j=0,1,2,...63이다.
제2해시코드 생성부(137)는 도 6에서 보이는 바와 같이 이미지 특징맵(511)의 크기에 대응하는 수(m)의 특징값(512)들을 하기 수학식 2에 적용하여 각 특징값(512)에 대응하는 상기 수(m)에 대응하는 정수값(516)들을 가지는 제2해시코드(515)를 생성하여 출력한다. 상기 정수값은 특징값의 소수점 4번째 자리까지 정수화하여 획득된다.
상기 제2해시코드는 학습모드에서 제2저작권 프리 해시코드로 학습부(131)로 입력하고, 저작권 판별모드에서 저작권 유무 판별부(138)로 입력한다.
Figure 112022124838813-pat00008
여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, j는 이미지 특징맵의 크기이다. 예를 들면, 상기 이미지 특징맵의 크기(m)은 8*8로 64일 수 있으며, 이 경우 j=0,1,2,...63이다.
도 5 및 도 6에서 보이는 바와 같이 제1해시코드(513)의 이진값(514)과 제2해시코드(515)의 정수값(516)에서 보이는 바와 같이 제2해시코드(515)가 제1해시코드(513)에 비해 더 많은 정보를 포함하고 있음을 알 수 있다.
저작권 유무 판별부(138)는 상기 해시코드 생성부(135)로부터 해시코드가 입력되면 상기 해시코드에 대응하는 저작권 프리 해시코드가 저작권 프리 이미지 특징 DB(112)에 저장되어 있는지를 판단하여 상기 해시코드에 대응하는 저작권 판별 대상 이미지가 저작권 이미지인지를 판별하고, 판별 결과에 따른 저작권 판별 정보를 생성하여 저작권 판별 정보 제공부(139)로 출력한다.
저작권 유무 판별부(138)는 실시 예에 따라 제1해시코드가 입력되면, 상기 제1해시코드에 대응하는 제1저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB(112)에 저장되어 있는지를 판단하고, 저장되어 있지 않으면 저작권 이미지로 결정하고, 저장된 제1저작권 프리 해시코드가 하나이면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정한다.
반면 상기 제1해시코드에 대응하는 제1저작권 프리 해시코드가 둘 이상이면 저작권 유무 판별부(138)는 상기 저작권 판별 대상 이미지에 대한 제2해시코드에 대응하는 제2저작권 프리 해시코드가 저작권 프리 이미지 특징 DB(112)에 저장되어 있는지를 판단하여 저장되어 있으면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정한다.
상기 저작권 유무 판별부(138)는 상기 제1해시코드에 대응하는 제1저작권 프리 해시코드를 검색할 때 및 상기 제2해시코드에 대응하는 제2저작권 프리 해시코드를 검색할 때 하기 수학식 3에 제1해시코드(x) 및 제1저작권 프리 해시코드(xi), 또는 제2해시코드(x) 및 제2저작권 프리 해시코드(xi)를 적용하여 유사도인 평균제곱에러(Mean Square Error: MSE)를 계산하고, 계산된 유사도에 의해 제1해시코드에 대응하는 제1저작권 프리 해시코드, 제2해시코드에 대응하는 제2저작권 프리 해시코드를 검색한다.
Figure 112022124838813-pat00009
여기서 xi는 저작권 판별 대상 이미지의 제2해시코드, x는 학습된 저작권 프리 이미지의 제2저작권 프리 해시코드이다.
제1해시코드와 제1저작권 프리 해시코드에 대한 상기 유사도가 0인 경우 상기 제1해시코드와 제2저작권 프리 해시코드는 일치함을 나타내고, 유사도가 커질수록 다름을 나타낸다.
따라서 상기 저작권 유무 판별부(138)는 상기 유사도가 0인 저작권 프리 해시코드가 저작권 프리 이미지 특징 DB(112)에 저장되어 있는지를 검색하여 상기 저작권 판별 대상 이미지의 저작권 이미지 여부를 판별할 수 있을 것이다.
그러나 저작권 판별 대상 이미지가 사용 가능한 저작권 프리 이미지의 테두리를 크롭하는 정도로 변형된 경우, 상기 저작권 판별 대상 이미지와 상기 저작권 프리 이미지가 동일한 이미지임에도 불구하고 저작권 유무 판별부(138)에서 계산되는 유사도(MSE)는 0의 아닌 값을 가질 수 있을 것이다. 특히, 이러한 경우는 제2해시코드에 대한 검색 시 발생될 수 있을 것이다.
따라서 상기 저작권 유무 판별부(138)는 미리 임계값을 설정하고 있고, 상기 임계값 이내의 유사도가 계산되는 경우 해당 제2해시코드와 상기 임계값 이내의 유사도를 가지는 저작권 이미지를 동일 이미지로 간주하여 상기 제2해시코드에 대응하는 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정한다.
상기 임계값은 동일한 이미지인 저작권 판별 대상 이미지와 저작권 이미지에 대한 MSE를 계산하되, 도 7과 같이 상기 저작권 판별 대상 이미지의 테두리를 조금찍 크롭하면서 크롭된 정도에 따른 저작권 판별 대상 이미지의 남아 있는 정도(%)에 따른 정탐률 곡선과 계산되는 MSE들에 의해 그려지는 곡선이 만나는 지점의 값으로 결정될 수 있을 것이다. 상기 정탐율은 상기 저작권 판별 대상 이미지의 크롭 정도에 따라 동일한 이미지로 탐색할 백분율을 나타낸다. 상기 정탐률은 실험에 의해 구해질 수 있을 것이다.
저작권 판별 정보 제공부(139)는 상기 저작권 유무 판별부(138)로부터 출력되는 저작권 판별정보를 상기 통신부(120)를 통해 해당 사용자 단말부(20)로 제공한다.
도 8은 본 발명에 따른 변분오토인코더를 이용한 이미지 저작권 판별 방법을 나타낸 흐름도이다.
도 8을 참조하면, 우선 저작권 판별 제어부(130)는 학습부(131)를 통해 저작권 프리 이미지 DB(111)에 저장된 저작권 프리 이미지들로 VAE를 학습시키고, 상기 VAE의 학습중에 저작권 프리 이미지별로 이미지 특징맵을 추출하고, 추출된 이미지 특징맵을 해시코드 생성부(135)로 제공하여 상기 이미지 특징맵에 대응하는 제1저작권 프리 해시코드 및 제2저작권 프리 해시코드를 입력받아 저작권 프리 이미지 특징 DB(112)에 저장하여 등록한다(S111).
VAE가 학습되고 저작권 프리 이미지들에 대한 저작권 프리 해시코드가 생성되어 등록되면 저작권 판별 제어부(130)는 저작권 판별 이벤트가 발생되는지를 모니터링한다(S113). 상기 저작권 판별 이벤트는 사용자 단말부(20)로부터 이미지를 포함하는 자료의 등록 시, 사용자 단말부(20)를 통한 사용자의 요청 시 등에 발생될 수 있을 것이다.
저작권 판별 이벤트가 발생되면 저작권 판별 제어부(130)는 업로드된 자료로부터 저작권 판별 대상 이미지가 획득되는지, 직접 사용자 단말부(20)로부터 저작권 판별 대상 이미지가 수신되어 획득되는지를 모니터링한다(S115).
저작권 판별 대상 이미지가 획득되면 저작권 판별 제어부(130)는 상기 저작권 판별 대상 이미지를 이미지 특징 추출부(134)의 VAE가 요구하는 이미지 조건에 대응하도록 전처리를 수행한다(S117).
전처리가 완료되면, 저작권 판별 제어부(130)는 전처리된 저작권 판별 대상 이미지를 이미지 특징 추출부(134)의 VAE에 적용하여 이미지 특징맵을 추출한다(S119).
이미지 특징맵이 추출되면 저작권 판별 제어부(130)는 상기 이미지 특징맵에 대한 제1해시코드 및 제2해시코드를 생성하고(S121), 상기 제1해시코드 및 제2해시코드 중 어느 하나 이상에 대응하는 제1저작권 프리 해시코드 및 제2저작권 프리 해시코드 중 어느 하나 이상이 저작권 프리 이미지 특징 DB(112)에 저장되어 있는지를 검색하여 검색(존재) 여부에 따른 저작권 판별을 수행한다(S123, S125). 상기 저작권 판별 방법은 다음의 도 10을 참조하여 더 상세히 설명한다.
판단 결과 상기 저작권 판별 대상 이미지가 저적권 이미지이면 저작권 판별 제어부(130)는 상기 저작권 판별 대상 이미지가 저작권 이미지임을 알리는 저작권 판별 정보를 사용자 단말부(20)로 제공한다(S127).
반면, 판단 결과, 상기 저작권 판별 대상 이미지가 저작권 프리 이미지이면 저작권 판별 제어부(130)는 상기 저작권 판별 대상 이미지가 저작권 프리 이미지임을 알리는 저작권 판별 정보를 사용자 단말부(20)로 제공한다(S129).
도 9는 본 발명에 따른 변분오토인코더를 이용한 이미지 저작권 판별 방법 중 변분오토인코더를 이용한 학습 및 해시코드 등록 방법을 나타낸 흐름도이다. 도 9를 참조하여 VAE 학습 및 저작권 프리 해시코드 등록 방법을 설명한다.
우선, 저작권 판별 제어부(130)의 학습부(131)는 학습 이벤트가 발생되는지를 검사한다(S211). 상기 학습 이벤트는 저작권 프리 이미지 DB(111)에 새로운 저작권 프리 이미지의 등록 시마다 발생될 수도 있고, 관리자에 의해 발생될 수도 있을 것이다.
상기 학습 이벤트가 발생되면 학습부(131)는 저작권 프리 이미지 DB(111)로부터 학습 대상 저작권 프리 이미지를 로딩하여(S213) 자신이 가지고 있는 VAE의 입력으로 제공하여 학습시킨다(S215).
학습부(131)는 상기 저작권 프리 이미지의 학습 중 VAE를 통해 이미지 특징맵을 추출하여 해시코드 생성부(135)로 출력한다(S217). 상기 이미지 특징맵은 저장부(110)의 저작권 프리 이미지 특징 DB(112)에 저장될 수도 있을 것이다.
학습부(131)는 상기 이미지 특징맵을 해시코드 생성부(135)로 제공한 응답으로 상기 해시코드 생성부(135)로부터 상기 이미지 특징맵에 대한 제1저작권 프리 해시코드 및 제2저작권 프리 해시코드를 입력받아 저작권 프리 이미지 특징 DB(112)에 저장하여 등록한다(S219, S221).
제1저작권 프리 해시코드 및 제2저작권 프리 해시코드가 저장되면 학습부(131)는 저작권 프리 이미지 DB(111)에 저장된 모든 저작권 프리 이미지 또는 학습되지 않은 저작권 프리 이미지에 대해 상술한 과정을 반복하여 저작권 프리 이미지 DB(111)에 저장된 모든 저작권 프리 이미지에 대한 제1저작권 프리 해시코드 및 제1저작권 프리 해시코드를 저작권 프리 이미지 특징 DB(112)에 저장한다.
상기 해시코드의 등록 후, 학습부(131)는 정탑률과 유사도에 따른 임계값을 추정 또는 관리자로부터 입력받아 설정한다(S225).
도 10은 본 발명의 일실시 예에 따른 변분오토인코더를 이용한 이미지 저작권 판별 방법 중 해시코드에 의한 저자권 판별 방법을 나타낸 흐름도이다.
도 10을 참조하면, 저작권 판별 제어부(130)의 저작권 유무 판별부(138)는 저작권 판별 대상 이미지의 제1해시코드 및 제2해시코드가 획득되면 저작권 판별 대상 이미지의 제1해시코드와 일치하는 제1저작권 프리 해시코드가 저작권 프리 이미지 특징 DB(112)에 존재하는지를 검사한다(S313).
존재하지 않으면 저작권 유무 판별부(138)는 상기 저작권 판별 대상 이미지를 저작권 이미지로 결정한다(S323).
반면, 존재하면 저작권 유무 판별부(138)는 제1해시코드와 일치하는 제1저작권 프리 해시코드가 둘 이상인지를 판단한다(S315).
하나이면 저작권 유무 판별부(138)는 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정한다(S321).
그러나 둘 이상이면 저작권 유무 판별부(138)는 저작권 판별 대상 이미지의 제2해시코드와 등록된 각 저작권 프리 이미지의 제2저작권 프리 해시코드의 유사도를 계산한다(S317).
유사도가 계산되면 저작권 유무 판별부(138)는 상기 저작권 프리 이미지 특징 DB(112)에 임계치 이내의 유사도를 가지는 제2저작권 프리 해시코드가 존재하는지를 검사한다(S319).
존재하지 않으면 저작권 유무 판별부(138)는 상기 저작권 판별 대상 이미지를 저작권 이미지로 결정하고(S323), 존재하면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정한다(S321).
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
20: 사용자 단말부 30: 이미지 저작권 판별 시스템
110: 저장부 111: 저작권 프리 이미지 DB
112: 저작권 프리 이미지 특징 DB
120: 통신부 130: 저자권 판별 제어부
131: 학습부 132: 인터페이스부
133: 이미지 획득부 134: 이미지 특징 추출부
135: 해시코드 생성부 136: 제1해시코드 생성부
137: 제2해시코드 생성부 138: 저작권 유무 판별부
139: 저작권 판별 정보 제공부 200: 인코더
300: 잠재 공간부 400: 디코더

Claims (22)

  1. 다수의 저작권 프리 이미지를 저장하는 저작권 프리 이미지 DB 및 다수의 저작권 프리 이미지 각각에 대한 저작권 프리 해시코드를 저장하는 저작권 프리 이미지 특징 DB를 포함하는 저장부;
    유무선 데이터통신망에 유선 및 무선 중 어느 하나로 연결되어 상기 유무선 데이터통신망에 접속한 장치들과 데이터통신을 수행할 수 있도록 하는 통신부; 및
    변분오토인코더(VAE)를 포함하고, 상기 통신부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득되면 상기 저작권 프리 이미지 DB에 저장된 다수의 저작권 프리 이미지로 학습된 VAE에 적용하여 상기 저작권 판별 대상 이미지에 대한 이미지 특징맵을 추출하고, 추출된 이미지 특징맵에 대한 해시코드를 생성하여, 상기 생성된 해시코드에 대응하는 저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하여 상기 저작권 판별 대상 이미지가 저작권 프리 이미지인지를 판별한 후 저작권 판별 정보를 상기 사용자 단말부로 제공하는 저작권 판별 제어부를 포함하고,
    상기 저작권 판별 제어부는,
    입력되는 이미지 특징맵에 대응하는 해시코드를 생성하여 출력하는 해시코드 생성부;
    VAE가 적용되고, 상기 저작권 프리 이미지 특징 DB의 저작권 프리 이미지들을 상기 VAE에 적용하여 학습시키고, 상기 저작권 프리 이미지들 각각에 대해 VAE의 인코더를 통해 획득된 이미지 특징맵을 상기 해시코드 생성부로 출력하여 저작권 프리 이미지들 각각에 대한 해시코드를 획득하여 저작권 프리 해시코드로 상기 저작권 프리 이미지 특징 DB에 저장하여 등록하는 학습부;
    상기 통신부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하여 출력하는 이미지 획득부;
    상기 학습된 VAE가 적용되고 상기 이미지 획득부로부터 입력되는 저작권 판별 대상 이미지에 대한 이미지 특징맵을 추출하여 상기 해시코드 생성부로 출력하는 VAE 이미지 특징 추출부;
    상기 저작권 판별 대상 이미지에 대한 해시코드를 상기 해시코드 생성부로부터 입력받고 입력된 해시코드에 대응하는 저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지의 여부에 따라 상기 저작권 판별 대상 이미지가 저작권 이미지인지 저작권 프리 이미지인지를 판별하고 그에 따른 결과정보를 출력하는 저작권 유무 판별부; 및
    상기 결과정보를 입력받고 상기 결과정보를 상기 통신부를 통해 상기 사용자 단말부로 전송하는 저작권 판별 정보 제공부를 포함하되,
    상기 해시코드 생성부는,
    상기 이미지 특징맵에 대한 제1해시코드를 생성하는 제1해시코드 생성부; 및
    상기 이미지 특징맵에 대해 상기 제1해시코드보다 더 많은 특징정보를 포함하는 제2해시코드를 생성하는 제2해시코드 생성부를 포함하되,
    상기 저작권 유무 판별부는,
    상기 저작권 판별 대상 이미지에 대한 제1해시코드를 상기 해시코드 생성부로부터 입력받고 입력된 제1해시코드에 대응하는 제1저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하고, 저장되어 있지 않으면 저작권 이미지로 결정하고, 저장된 제1저작권 프리 해시코드가 하나이면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정하며, 둘 이상이면 상기 저작권 판별 대상 이미지에 대한 제2해시코드에 대응하는 제2저작권 프리 해시코드가 저장되어 있는지를 판단하여 저장되어 있으면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제1해시코드 생성부는,
    하기 수학식에 의해 상기 제1해시코드를 계산하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
    [수학식]
    Figure 112023056259219-pat00010

    여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, n은 학습된 모든 저작권 프리 이미지의 수이고, m은 이미지 특징맵의 크기이며, 상기 i는 저작권 프리 이미지의 인덱스이고, j는 픽셀 인덱스이다.
  5. 제1항에 있어서,
    상기 제2해시코드 생성부는,
    하기 수학식에 의해 상기 제2해시코드를 계산하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
    [수학식]
    Figure 112023056259219-pat00011

    여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, 상기 i는 저작권 프리 이미지의 인덱스이고, j는 이미지 특징맵의 크기에 따른 픽셀 인덱스이다.
  6. 제1항에 있어서,
    상기 VAE는,
    상기 저작권 판별 대상 이미지를 인코딩하여 상기 이미지 특징맵을 출력하는 인코더;
    상기 이미지 특징맵을 저장하고 저장된 이미지 특징맵을 추출하여 출력하는 잠재 공간부; 및
    상기 이미지 특징맵을 디코딩하여 상기 저작권 판별 대상 이미지에 대응하는 재구성된 이미지를 출력하는 디코더를 포함하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
  7. 제6항에 있어서,
    상기 인코더는,
    6개의 합성곱 계층; 및
    상기 합성곱 계층의 사이에 각각에 구성되는 6개의 ReLU;를 포함하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
  8. 제6항에 있어서,
    상기 이미지 특징맵의 크기는 8*8=64인 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
  9. 제1항에 있어서,
    상기 이미지 획득부는,
    상기 획득된 저작권 판별 대상 이미지의 크기를 상기 VAE의 입력 이미지 크기로 조절하는 전처리 동작을 더 수행하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
  10. 제1항에 있어서,
    상기 저작권 유무 판별부는,
    상기 제2해시코드에 대응하는 제2저작권 프리 해시코드를 검색 시 제2해시코드와 상기 저작권 프리 이미지 특징 DB에 저장된 제2저작권 프리 해시코드들 간의 유사도를 계산하여, 상기 유사도에 의해 상기 해시코드와 일치하는 제2해시코드의 존재 여부를 판단하여 상기 저작권 판별 대상 이미지의 저작권 여부를 판별하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
  11. 제10항에 있어서,
    상기 유사도는 하기의 수학식의 평균제곱오차(Mean Squared Error: MSE)에 의해 계산되는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
    [수학식]
    Figure 112023045606370-pat00012

    여기서 xi는 저작권 판별 대상 이미지의 제2해시코드, x는 학습된 저작권 프리 이미지의 제2저작권 프리 해시코드이다. 그리고 상기 n은 판별 대상 이미지와 중복되는 중복 이미지의 수(즉, 판별 대상 이미지의 제1해시코드와 중복되는 제1저작권 프리 해시코드의 수)이고, i는 상기 중복 이미지의 수에 따른 판별 대상 이미지의 인덱스이다
  12. 제11항에 있어서,
    상기 저작권 유무 판별부는,
    상기 저작권 판별 대상 이미지의 제2해시코드와 일치하는 제2저작권 프리 해시코드가 존재하지 않으면 상기 MSE가 미리 설정된 임계값 이내인 제2저작권 프리 해시코드의 존재 유무를 판단하고, MSE가 상기 임계값 이내인 제2저작권 프리 해시 코드가 존재하면 상기 저작권 판별 대상 이미지가 저작권 프리 이미지인 것으로 결정하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 시스템.
  13. 변분오토인코더(VAE)를 포함하는 저작권 판별 제어부가 이미지 획득부를 통해 사용자 단말부로부터 사용자가 사용할 저작권 판별 대상 이미지를 획득하는 저작권 판별 대상 이미지 획득 과정;
    상기 저작권 판별 제어부가 학습된 변분오토인코더(VAE)를 포함하는 이미지 특징 추출부를 통해 저작권 프리 이미지 DB에 저장된 다수의 저작권 프리 이미지로 학습된 VAE에 상기 저작권 판별 대상 이미지를 적용하여 상기 저작권 판별 대상 이미지에 대한 이미지 특징맵을 추출하는 이미지 특징맵 추출 과정;
    상기 저작권 판별 제어부가 해시코드 생성부를 통해 상기 저작권 판별 대상 이미지에 대응하는 이미지 특징맵에 대한 해시코드를 생성하는 해시코드 생성 과정;
    상기 저작권 판별 제어부가 저작권 유무 판별부를 통해 추출된 이미지 특징맵에 대한 해시코드를 생성하여, 상기 생성된 해시코드에 대응하는 저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하여 상기 저작권 판별 대상 이미지가 저작권 프리 이미지인지를 판별하고, 판별된 결과정보를 포함하는 저작권 판별 정보를 생성하는 저작권 프리 이미지 판별 과정;
    상기 저작권 판별 제어부가 저작권 판별 정보 제공부를 통해 상기 저작권 판별 정보를 상기 사용자 단말부로 제공하는 저작권 판별정보 제공 과정; 및
    상기 저작권 판별 제어부가 VAE가 적용된 학습부를 통해 저작권 프리 이미지 특징 DB에 저장되어 있는 저작권 프리 이미지들을 상기 VAE에 적용하여 학습시키고, 상기 저작권 프리 이미지들 각각에 대해 VAE의 인코더를 통해 획득된 이미지 특징맵을 상기 해시코드 생성부로 출력하여 저작권 프리 이미지들 각각에 대한 해시코드를 획득한 후 저작권 프리 해시코드로 상기 저작권 프리 이미지 특징 DB에 저장하여 등록하는 학습 과정을 포함하되,
    상기 해시코드 생성 과정은,
    상기 해시코드 생성부가 제1해시코드 생성부를 통해 상기 이미지 특징맵에 대한 제1해시코드를 생성하는 제1해시코드 생성 단계; 및
    상기 해시코드 생성부가 제2해시코드 생성부를 통해 상기 이미지 특징맵에 대해 상기 제1해시코드보다 더 많은 특징정보를 포함하는 제2해시코드를 생성하는 제2해시코드 생성 단계를 포함하되,
    상기 저작권 유무 판별 과정은,
    상기 저작권 유무 판별부가 상기 저작권 판별 대상 이미지에 대한 제1해시코드를 상기 해시코드 생성부로부터 입력받고 입력된 제1해시코드에 대응하는 제1저작권 프리 해시코드가 상기 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하여 저장되어 있지 않으면 저작권 이미지로 결정하고, 저장된 제1저작권 프리 해시코드가 하나이면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정하는 제1저작권 판단 단계; 및
    상기 제1해시코드에 대응하는 제1저작권 프리 해시코드가 둘 이상이면, 상기 저작권 유무 판별부가 상기 저작권 판별 대상 이미지에 대한 제2해시코드에 대응하는 제2저작권 프리 해시코드가 저작권 프리 이미지 특징 DB에 저장되어 있는지를 판단하여 저장되어 있으면 상기 저작권 판별 대상 이미지를 저작권 프리 이미지로 결정하는 제2저작권 판단 단계를 포함하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 방법.
  14. 삭제
  15. 삭제
  16. 제13항에 있어서,
    상기 제1해시코드 생성부는,
    하기 수학식에 의해 상기 제1해시코드를 계산하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 방법.
    [수학식]
    Figure 112023045606370-pat00013

    여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, n은 학습된 모든 저작권 프리 이미지의 수이고, m은 이미지 특징맵의 크기이며, 상기 i는 저작권 프리 이미지의 인덱스이고, j는 픽셀 인덱스이다.
  17. 제13항에 있어서,
    상기 제2해시코드 생성부는,
    하기 수학식에 의해 상기 제2해시코드를 계산하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 방법.
    [수학식]
    Figure 112023045606370-pat00014

    여기서, zj i는 이미지 특징맵의 각 픽셀의 특징값이고, 상기 i는 저작권 프리 이미지의 인덱스이고, j는 이미지 특징맵의 크기에 따른 픽셀 인덱스이다.
  18. 제13항에 있어서,
    상기 이미지 특징맵 추출 과정은,
    상기 VAE가 인코더를 통해 입력되는 상기 저작권 판별 대상 이미지를 인코딩하여 상기 이미지 특징맵 생성하여 잠재 공간 저장부에 저장하는 이미지 특징맵 생성 단계; 및
    상기 VAE가 상기 잠재 공간 저장부에 저장된 상기 이미지 특징맵을 상기 해시코드 생성부로 출력하는 이미지 특징맵 출력 단계를 포함하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 방법.
  19. 제17항에 있어서,
    상기 이미지 특징맵의 크기는 8*8=64인 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 방법.
  20. 제13항에 있어서,
    상기 저작권 유무 판별 과정의 제2저작권 유무 판별 단계에서, 저작권 유무 판별부가 상기 제2해시코드에 대응하는 제2저작권 프리 해시코드를 검색 시 제2해시코드와 상기 저작권 프리 이미지 특징 DB에 저장된 제2저작권 프리 해시코드들 간의 유사도를 계산하여, 상기 유사도에 의해 상기 해시코드와 일치하는 제2해시코드의 존재 여부를 판단하여 상기 저작권 판별 대상 이미지의 저작권 여부를 판별하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 방법.
  21. 제20항에 있어서,
    상기 유사도는 하기의 수학식의 평균제곱오차(Mean Squared Error: MSE)에 의해 계산되는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 방법.
    [수학식]
    Figure 112023045606370-pat00015

    여기서 xi는 저작권 판별 대상 이미지의 제2해시코드, x는 학습된 저작권 프리 이미지의 제2저작권 프리 해시코드이다. 그리고 상기 n은 판별 대상 이미지와 중복되는 중복 이미지의 수(즉, 판별 대상 이미지의 제1해시코드와 중복되는 제1저작권 프리 해시코드의 수)이고, i는 상기 중복 이미지의 수에 따른 판별 대상 이미지의 인덱스이다
  22. 제21항에 있어서,
    상기 저작권 유무 판별 과정은,
    상기 저작권 유무 판별부가 상기 제2저작권 유무 판별 단계에서 상기 저작권 판별 대상 이미지의 제2해시코드와 일치하는 제2저작권 프리 해시코드가 존재하지 않으면 상기 MSE가 미리 설정된 임계값 이내인 제2저작권 프리 해시코드의 존재 유무를 판단하고, MSE가 상기 임계값 이내인 제2저작권 프리 해시 코드가 존재하면 상기 저작권 판별 대상 이미지가 저작권 프리 이미지인 것으로 결정하는 제3저작권 유무 판별 단계를 더 포함하는 것을 특징으로 하는 VAE를 이용한 이미지 저작권 판별 방법.
KR1020220157568A 2022-11-22 2022-11-22 변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법 KR102541349B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220157568A KR102541349B1 (ko) 2022-11-22 2022-11-22 변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220157568A KR102541349B1 (ko) 2022-11-22 2022-11-22 변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102541349B1 true KR102541349B1 (ko) 2023-06-13

Family

ID=86762436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220157568A KR102541349B1 (ko) 2022-11-22 2022-11-22 변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102541349B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102669742B1 (ko) * 2023-11-28 2024-05-29 (주)에이아이딥 인공지능 기반 저작권 이미지 추천 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210063151A (ko) * 2019-11-22 2021-06-01 숙명여자대학교산학협력단 데이터의 의미론적 유사 여부를 분석하기 위하여 기계학습을 이용한 전자 장치 및 그 제어 방법
KR20210072610A (ko) 2019-12-09 2021-06-17 주식회사 디알엠인사이드 보도 사진의 저작권 침해 방지를 위한 모니터링 서비스 장치 및 방법
KR20210141060A (ko) * 2020-05-15 2021-11-23 에스케이하이닉스 주식회사 머신러닝 기반의 이미지 이상 탐지 시스템
KR102420199B1 (ko) * 2021-11-19 2022-07-13 (주)에이아이딥 딥러닝을 이용한 이미지 저작권 판별 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210063151A (ko) * 2019-11-22 2021-06-01 숙명여자대학교산학협력단 데이터의 의미론적 유사 여부를 분석하기 위하여 기계학습을 이용한 전자 장치 및 그 제어 방법
KR20210072610A (ko) 2019-12-09 2021-06-17 주식회사 디알엠인사이드 보도 사진의 저작권 침해 방지를 위한 모니터링 서비스 장치 및 방법
KR20210141060A (ko) * 2020-05-15 2021-11-23 에스케이하이닉스 주식회사 머신러닝 기반의 이미지 이상 탐지 시스템
KR102420199B1 (ko) * 2021-11-19 2022-07-13 (주)에이아이딥 딥러닝을 이용한 이미지 저작권 판별 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102669742B1 (ko) * 2023-11-28 2024-05-29 (주)에이아이딥 인공지능 기반 저작권 이미지 추천 시스템 및 방법

Similar Documents

Publication Publication Date Title
CN111062871B (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
US11270099B2 (en) Method and apparatus for generating facial feature
US10803496B1 (en) Systems and methods for implementing machine vision and optical recognition
CN107193974B (zh) 基于人工智能的地域性信息确定方法和装置
CN110446063B (zh) 视频封面的生成方法、装置及电子设备
CN109034069B (zh) 用于生成信息的方法和装置
WO2022134584A1 (zh) 房产图片验证方法、装置、计算机设备及存储介质
CN111523413B (zh) 生成人脸图像的方法和装置
US20180107686A1 (en) Search method and apparatus
CN113191495A (zh) 超分模型的训练及人脸识别方法、装置、介质及电子设备
CN111931153B (zh) 基于人工智能的身份验证方法、装置和计算机设备
US20220272096A1 (en) Media data based user profiles
CN112085094B (zh) 单证图像翻拍检测方法、装置、计算机设备和存储介质
CN111241873A (zh) 图像翻拍检测方法及其模型的训练方法、支付方法及装置
CN110719327B (zh) 图像上传的交互方法、装置和存储介质
WO2020113582A1 (en) Providing images with privacy label
EP3979126A1 (en) Public opinion acquisition and word viscosity model training methods and devices, server, and medium
KR102541349B1 (ko) 변분오토인코더를 이용한 이미지 저작권 판별 시스템 및 방법
CN112861950A (zh) 翻拍图像的识别方法、装置、电子设备及存储介质
CN113011254A (zh) 一种视频数据处理方法、计算机设备及可读存储介质
CN116774973A (zh) 数据渲染方法、装置、计算机设备及存储介质
CN111291619A (zh) 一种在线识别理赔单据中文字的方法、装置及客户端
CN111198960A (zh) 用户画像数据的确定方法、装置、电子设备及存储介质
CN113888216A (zh) 广告信息推送方法、装置、电子设备及存储介质
CN112949777A (zh) 相似图像确定方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant