KR20190035146A - Deep learning based 3D model Copyright infringement evaluation method using depth image - Google Patents

Deep learning based 3D model Copyright infringement evaluation method using depth image Download PDF

Info

Publication number
KR20190035146A
KR20190035146A KR1020170124032A KR20170124032A KR20190035146A KR 20190035146 A KR20190035146 A KR 20190035146A KR 1020170124032 A KR1020170124032 A KR 1020170124032A KR 20170124032 A KR20170124032 A KR 20170124032A KR 20190035146 A KR20190035146 A KR 20190035146A
Authority
KR
South Korea
Prior art keywords
model
depth image
original
query
depth
Prior art date
Application number
KR1020170124032A
Other languages
Korean (ko)
Other versions
KR102027880B1 (en
Inventor
김종원
홍일우
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020170124032A priority Critical patent/KR102027880B1/en
Publication of KR20190035146A publication Critical patent/KR20190035146A/en
Application granted granted Critical
Publication of KR102027880B1 publication Critical patent/KR102027880B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44236—Monitoring of piracy processes or activities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Virology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for determining whether copyright is infringed by examining similarity between specific three-dimensional models. The method includes a prior learning step (a) and a similarity recognizing step (b) by artificial intelligence.

Description

3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법{Deep learning based 3D model Copyright infringement evaluation method using depth image}Deep learning based 3D model based on 3D model depth image Copyright Infringement evaluation method using depth image [

본 발명은 특정 3D 모델 간의 유사성 검토를 통해 저작권을 침해 여부를 판단하기 위한 것으로서, 구체적으로는 인공지능이 원본 3D 모델과 그 원본 3D 모델을 변형시킨 변형 3D 모델의 특징을 깊이 이미지(depth image)를 통해 딥러닝 모델로 사전 학습하고, 저작권 침해 여부가 문제되는 질의(query) 3D 모델로부터 추출한 깊이 이미지를 통해 학습된 3D 모델과 질의 3D 모델간의 유사성 인식 결과를 도출하는 방법에 관한 것이다. The present invention relates to a method and apparatus for determining whether a copyright is infringed by examining similarities among specific 3D models. More specifically, the present invention relates to an artificial intelligence which is a feature of a source 3D model and a modified 3D model in which the original 3D model is transformed, The present invention relates to a method of deriving similarity recognition results between a 3D model and a query 3D model through a depth image extracted from a query 3D model in which copyright infringement is a problem.

최근에 3D 모델링, 3D 프린팅, 3D 스캐닝 등과 같은 기술의 발전으로 인하여 3D 모델이 다양한 방식으로 사회에서 활용되고 있다. 3D모델의 많은 응용과 더불어 3D 모델에 관한 저작권문제가 야기되고 있다. 원본 3D 모델의 디자인을 변형시키거나 혹은 그대로 불법적으로 배포하는 일들이 발생한다. 그러나, 온라인 상에서 3D 모델 파일이 배포되었을 경우 그 불법성(저작권 침해)에 대해 사람이 하나 하나 판단하는 방식은 많은 시간과 자본이 소요되므로 그러한 판단을 자동으로 할 수 있는 방법이 필요하다.Recent developments in 3D modeling, 3D printing, 3D scanning and other technologies have enabled 3D models to be used in various ways in society. Along with many applications of 3D models, there are copyright problems about 3D models. Something happens that changes the design of the original 3D model or illegally distributes it. However, when a 3D model file is distributed online, it takes a lot of time and capital to judge the illegality (copyright infringement) one by one. Therefore, there is a need for a method that can automatically make such judgment.

최근에 인터넷으로부터 쏟아져 나오는 대량의 데이터들과 강력한 GPU의 병렬연산 능력으로 인하여 딥러닝 기술이 활성화되고 있으며, 그중 CNN(Convolutional Neural Network) 기술이 컴퓨터비전, 음성인식 등 다양한 분야에서 최고 수준의 성능을 보여주고 있다. Recently, deep learning technology has been activated due to the large amount of data pouring from the Internet and the power of GPU parallel operation. Among them, CNN (Convolutional Neural Network) technology provides the best performance in various fields such as computer vision and voice recognition. .

1. 공개특허 10-2017-0082025 "기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법"1. Patent Document 10-2017-0082025 "Method and Apparatus for Identifying Copyrighted Video Using Machine Learning Based Face Recognition" 2. 공개특허 10-2011-0062870 "3차원 모델 데이터 검색 장치"2. Description of the Related Art [0002] A "three-dimensional model data retrieving device" 3. 공개특허 10-2017-0089752 "분할 기법을 이용한 3차원 메쉬 모델 워터마킹 방법 및 장치"3. Open Patent 10-2017-0089752 "3D Mesh Model Watermarking Method and Apparatus Using Partitioning Technique"

본 발명은 3D 모델의 복제물, 특히 다양하게 변형되어 불법 유통되는 3D 모델을 인공지능의 딥러닝에 의해 인지함으로써, 3D 모델의 원본 또는 변형물(2차적 저작물)에 대한 복제, 전송 등에 의한 저작권 침해를 적발하고 방지할 수 있도록 함에 그 목적이 있다.The present invention is based on the recognition that a copy of a 3D model, especially a 3D model which is illegally circulated in various variations, is recognized by deep learning of artificial intelligence, whereby copyright infringement by copying, transmission, etc. of the original or a modification (a secondary work) The present invention has been made in view of the above problems.

전술한 과제 해결을 위해, 본 발명은 「질의(query) 3D 모델이 특정 3D 모델의 저작권을 침해하는지 여부를 판단하는 방법으로서, 인공지능에 의한 (a) 사전 학습단계; 및 (b) 유사성 인식단계; 를 포함하며, 상기 (a) 사전 학습단계는, (a-1) 원본 3D 모델로부터 변형 3D 모델을 생성시키는 단계; (a-2) 상기 원본 3D 모델과 변형 3D 모델의 크기를 정규화하는 단계; (a-3) 정규화된 원본 3D 모델과 변형 3D 모델의 방향별 깊이 이미지(depth image)를 생성하는 단계; 및 (a-4) 상기 깊이 이미지를 딥러닝 알고리즘으로 학습하는 단계; 를 포함하고, 상기 (b) 유사성 인식단계는, (b-1) 질의 3D 모델을 입력받는 단계; (b-2) 상기 질의 3D 모델의 크기를 정규화하는 단계; (b-3) 정규화된 질의 3D 모델의 방향별 깊이 이미지를 생성하는 단계; 및 (b-4) 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여, 학습된 3D 모델과의 유사성 인식 결과를 도출하는 단계; 를 포함하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법」을 제공한다.To solve the above-mentioned problems, the present invention provides a method for judging whether or not a query 3D model infringes a copyright of a specific 3D model, the method comprising: (a) pre-learning step by artificial intelligence; And (b) a similarity recognition step; (A) the pre-learning step comprises the steps of: (a-1) generating a transformed 3D model from the original 3D model; (a-2) normalizing the size of the original 3D model and the modified 3D model; (a-3) generating a depth image of a normalized original 3D model and a directional 3D model of the deformed 3D model; And (a-4) learning the depth image by a deep learning algorithm. (B) recognizing the similarity comprises: (b-1) receiving a query 3D model; (b-2) normalizing the size of the query 3D model; (b-3) generating a depth-by-direction image of the normalized query 3D model; And (b-4) inputting a depth image of the query 3D model to the deep learning algorithm to derive a similarity recognition result with the learned 3D model; Based 3D model copyright infringement determination method using 3D model depth images.

상기 (a-1)단계는 3D 모델링 소프트웨어를 통해 원본 3D 모델에 대한 포즈 변형, 부분 크기변형, 자르기 변형 중 어느 하나 이상의 변형 방법을 적용하여 변형 3D 모델을 생성시키도록 구성할 수 있다.The step (a-1) may be configured to generate a transformed 3D model by applying one or more transformation methods of pose transformation, partial size transformation, and trimming transformation to the original 3D model through 3D modeling software.

상기 (a-2)단계와 (b-2)단계는, 임의로 설정한 3차원 좌표계에서 3D 모델을 구성하는 정점(頂點, vertex)들의 평균 좌표를 중심으로 설정하고, 상기 중심을 3차원 좌표계의 원점으로 이동 시킨 후 상기 중심에서 가장 멀리 떨어져 있는 정점까지의 거리를 기본 단위 길이로 설정하여, 3D 모델의 크기를 정규화하도록 구성할 수 있다.In the step (a-2) and the step (b-2), an average coordinate of vertices constituting the 3D model is set as a center, and the center is set as a center of the 3D coordinate system The distance from the center to the vertex farthest from the center may be set as a basic unit length so as to normalize the size of the 3D model.

이 경우 상기 (a-3)단계와 (b-3)단계는, 3D 모델에 가상의 다면체를 씌우고 각 꼭짓점에서 3D 모델 중심 방향으로 촬영한 깊이 이미지(depth image)를 생성하도록 구성할 수 있다.In this case, the steps (a-3) and (b-3) may be configured to place a virtual polyhedron in the 3D model and generate a depth image taken in the center direction of the 3D model at each vertex.

또한, 상기 (a-4)단계는, 생성된 깊이 이미지 마다 식별수단을 부여하고 CNN(Convolutional Neural Network) 알고리즘으로 학습하도록 구성할 수 있으며, 상기 (b-4)단계는, 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여 각 원본 3D모델에 대한 유사값 평균의 최대치가 설정된 임계값 이상으로 나타나는 경우 유사 모델로 인식하도록 구성할 수 있다.The step (a-4) may be configured to assign an identification means to each of the generated depth images and to learn by a CNN (Convolutional Neural Network) algorithm, and the step (b-4) Inputting a depth image to the depth learning algorithm and inputting the depth image of the query 3D model to the deep learning algorithm and recognizing the depth model as a similar model when the maximum value of the similarity value average for each original 3D model is more than a set threshold value can do.

본 발명에 따르면 다음과 같은 효과가 기대된다.According to the present invention, the following effects are expected.

1. 인공지능의 딥러닝 기술을 적용하므로, 원본 3D 모델을 다양하게 변형시킨 3D 모델에 대해서 인간의 지각(知覺)보다 빠르고 정확하게 유사성을 판단할 수 있다.1. By applying artificial intelligence deep-learning technology, it is possible to judge the similarity faster and more accurately than human perception for 3D model which modified various original 3D models.

2. 인공지능이 원본 3D 모델에서 변형된 변형 3D 모델을 다양하게 사전 학습할수록 온라인 상에서 불법 유통되는 변형 3D 모델에 대한 저작권 침해 판단이 정확하게 이루어질 수 있다.2. Artificial Intelligence Modified in the Original 3D Model The more various variations of the 3D model are learned, the more accurately the infringement judgment of the deformed 3D model illegally circulated online can be made.

3. 3D 모델의 크기를 정규화 함으로써 변형된 3D 모델의 크기 변화가 커도 인식결과에 영향이 없도록 할 수 있다(크기 변화에 강함).3. By normalizing the size of the 3D model, it is possible to prevent the recognition result from being influenced (it is strong against the size change) even if the size change of the 3D model is large.

4. 원본 3D 모델과 변형 3D 모델을 가상으로 감싸는 다면체의 각 꼭짓점에서 3D 모델의 중심방향으로 촬영한 깊이 이미지를 추출하여 학습하므로, 3D 모델의 회전 변화가 커도 인식결과에 영향이 없도록 할 수 있다(회전 변화에 강함).4. Extraction of depth images taken at the center of the 3D model at each vertex of the polyhedron wrapping the original 3D model and the deformed 3D model is learned and the 3D model can be prevented from affecting the recognition result even if the rotation change is large (Strong against rotation change).

[도 1]은 본 발명이 제공하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법(이하 '본 발명 방법')에 대한 개략적인 흐름도이다.
[도 2]는 본 발명 방법의 흐름을 이미지로 표현한 것이다.
[도 3]은 원본 3D모델로부터 변형된 3D모델을 도시한 것이다.
[도 4]는 3D 모델에서 깊이 이미지를 추출할 때 사용가능한 다면체의 예를 도시한 것이다.
[도 5]는 본 발명 방법을 통해 질의 3D 모델을 원본 3D 모델의 변형물로 인식하였을 때의 데모를 보여준다.1 is a schematic flowchart of a 3D model copyright infringement judgment method based on a deep learning using a 3D model depth image provided by the present invention (hereinafter referred to as 'method of the present invention').
[Figure 2] is an image representation of the flow of the method of the present invention.
3 shows a 3D model transformed from an original 3D model.
FIG. 4 shows an example of a polyhedron that can be used when extracting a depth image in a 3D model.
FIG. 5 shows a demonstration when the query 3D model is recognized as a modification of the original 3D model through the method of the present invention.

본 발명은 「질의(query) 3D 모델이 특정 3D 모델의 저작권을 침해하는지 여부를 판단하는 방법으로서, 인공지능에 의한 (a) 사전 학습단계; 및 (b) 유사성 인식단계; 를 포함하며, 상기 (a) 사전 학습단계는, (a-1) 원본 3D 모델로부터 변형 3D 모델을 생성시키는 단계; (a-2) 상기 원본 3D 모델과 변형 3D 모델의 크기를 정규화하는 단계; (a-3) 정규화된 원본 3D 모델과 변형 3D 모델의 방향별 깊이 이미지(depth image)를 생성하는 단계; 및 (a-4) 상기 깊이 이미지를 딥러닝 알고리즘으로 학습하는 단계; 를 포함하고, 상기 (b) 유사성 인식단계는, (b-1) 질의 3D 모델을 입력받는 단계; (b-2) 상기 질의 3D 모델의 크기를 정규화하는 단계; (b-3) 정규화된 질의 3D 모델의 방향별 깊이 이미지를 생성하는 단계; 및 (b-4) 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여, 학습된 3D 모델과의 유사성 인식 결과를 도출하는 단계; 를 포함하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법」을 제공한다.The present invention provides a method for determining whether a query 3D model infringes on a copyright of a specific 3D model, the method comprising: (a) pre-learning step by artificial intelligence; And (b) a similarity recognition step; (A) the pre-learning step comprises the steps of: (a-1) generating a transformed 3D model from the original 3D model; (a-2) normalizing the size of the original 3D model and the modified 3D model; (a-3) generating a depth image of a normalized original 3D model and a directional 3D model of the deformed 3D model; And (a-4) learning the depth image by a deep learning algorithm. (B) recognizing the similarity comprises: (b-1) receiving a query 3D model; (b-2) normalizing the size of the query 3D model; (b-3) generating a depth-by-direction image of the normalized query 3D model; And (b-4) inputting a depth image of the query 3D model to the deep learning algorithm to derive a similarity recognition result with the learned 3D model; Based 3D model copyright infringement determination method using 3D model depth images.

[도 1]은 본 발명이 제공하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법(이하 '본 발명 방법')에 대한 개략적인 흐름도이고, [도 2]는 본 발명 방법의 흐름을 이미지로 표현한 것이다.FIG. 1 is a schematic flowchart of a 3D model copyright infringement determination method based on a deep learning using a 3D model depth image provided by the present invention (hereinafter referred to as 'the present invention method'), and FIG. 2 is a flowchart It is an image representation of the flow.

본 발명 방법은 전술한 바와 같이 (a) 사전 학습단계 및 (b) 유사성 인식단계로 나누어 진다. 본 발명 방법은 저작권이 있는 3D 모델이 불법으로 변행, 배포되었을 때 이를 자동으로 인식하는 방법에 관한 것으로서, 인공지능의 딥러닝 기술을 적용하기 위하여 원본 3D 모델로부터 가능하게 생성될 수 있는 불법 변형물을 다양하게 생성시킨 후, 변형 3D 모델을 여러 시야각에서 촬영한 2D 깊이 이미지로 표현하여 딥러닝 알고리즘으로 학습시킨다. 질의 3D 모델이 있을 경우 이를 깊이 이미지로 표현한 다음 학습된 딥러닝 알고리즘에 입력하여 출력한 유사값에 근거하여 불법 변형 여부를 인식한다.The method of the present invention is divided into (a) a pre-learning step and (b) a similarity recognition step as described above. The method of the present invention relates to a method for automatically recognizing copyrighted 3D models when they are illegally changed and distributed, and a method for automatically recognizing unauthorized transformations that can be generated from original 3D models in order to apply artificial intelligence deep- And the deformed 3D model is represented as a 2D depth image photographed at various viewing angles and is then learned by a deep learning algorithm. If there is a 3D model of the query, it is expressed as a depth image. Then, it is input to the learned deep learning algorithm and it is recognized whether or not the image is illegally transformed based on the similar value outputted.

이하에서는 첨부된 도면과 함께 본 발명의 각 단계를 상세히 설명하기로 한다.Hereinafter, each step of the present invention will be described in detail with reference to the accompanying drawings.

Ⅰ. (a) 사전 학습단계Ⅰ. (a) Pre-learning phase

본 사전 학습단계는 인공지능이 저작권 있는 원본 3D 모델을 기반으로 한 다양한 변형 3D 모델의 특성을 깊이 이미지를 통해 딥러닝하는 단계이다.This preliminary learning step is a stage where artificial intelligence deeply runs the characteristics of various deformed 3D models based on copyrighted original 3D models through depth images.

1. (a-1)단계1. Step (a-1)

본 (a-1)단계는 원본 3D 모델로부터 변형 3D 모델을 생성시키는 단계이다.The step (a-1) is a step of generating a transformed 3D model from the original 3D model.

3D 모델에 대한 저작권 침해는 원본의 복제, 전송 등에 의해 이루어질 수도 있으나, 원본을 개변한 2차적 저작물의 복제, 전송 등에 이루어지는 경우도 많다. 본 단계는 원본 3D 모델을 변형시켜 도출 가능한 다양한 변형 3D 모델을 생성함으로써, 발생할 수 있는 변형 3D 모델에 대해 인공지능이 미리 학습할 수 있는 자료를 만들어 제공하는 단계라 할 수도 있다.The copyright infringement on the 3D model may be done by copying or transmitting the original, but it is often done by copying or transferring a derivative work of the original. This step may be a step of creating and providing data that can be learned beforehand by the artificial intelligence on the deformable 3D model that can be generated by generating various deformed 3D models that can be derived by transforming the original 3D model.

본 (a-1)단계는 3D 모델링 소프트웨어를 통해 원본 3D 모델에 대한 포즈 변형, 부분 크기변형, 자르기 변형 중 어느 하나 이상의 변형 방법을 적용하여 변형 3D 모델을 생성시킬 수 있으며, 상기 변형 3D 모델을 다양하게 생성할수록 인공지능의 딥러닝 데이터가 많아지면서, 본 발명 방법에 의한 저작권 침해 판단의 신뢰성이 점차 향상된다. [도 3]은 원본 3D모델로부터 변형된 3D모델을 도시한 것이다.In the step (a-1), a deformed 3D model may be generated by applying one or more of the pose transformation, partial size transformation, and trimming transformation to the original 3D model through the 3D modeling software. Deep learning data of artificial intelligence increases as data is generated variously, so that reliability of judging copyright infringement by the method of the present invention is gradually improved. 3 shows a 3D model transformed from an original 3D model.

2. (a-2)단계2. Step (a-2)

본 (a-2)단계는 상기 원본 3D 모델과 변형 3D 모델의 크기를 정규화하는 단계이다.Step (a-2) is a step of normalizing the size of the original 3D model and the modified 3D model.

본 (a-2)단계에서는, 임의로 설정한 3차원 좌표계에서 3D 모델을 구성하는 정점(頂點, vertex)들의 평균 좌표를 중심으로 설정하고, 상기 중심을 3차원 좌표계의 원점으로 이동 시킨 후 상기 중심에서 가장 멀리 떨어져 있는 정점까지의 거리를 기본 단위 길이로 설정하여, 3D 모델의 크기를 정규화하도록 구성할 수 있다.In step (a-2), an average coordinate of vertices constituting the 3D model is set as a center in an arbitrarily set three-dimensional coordinate system, the center is moved to the origin of the three-dimensional coordinate system, The distance from the vertex of the 3D model to the vertex farthest from the vertex of the 3D model may be set as the basic unit length so as to normalize the size of the 3D model.

이와 같이 3D 모델의 크기를 정규화 함으로써 변형된 3D 모델의 크기 변화가 커도 인식결과에 영향이 없도록 할 수 있다.By thus normalizing the size of the 3D model, it is possible to prevent the recognition result from being influenced even if the size change of the 3D model is large.

3. (a-3)단계3. Step (a-3)

본 (a-3)단계는 정규화된 원본 3D 모델과 변형 3D 모델의 방향별 깊이 이미지(depth image)를 생성하는 단계이다.The step (a-3) is a step of generating a depth image by the direction of the normalized original 3D model and the modified 3D model.

상기 (a-2)단계를 통해 정규화된 3D 모델에 가상의 다면체를 씌우고 각 꼭짓점에서 3D 모델 중심 방향으로 촬영한 깊이 이미지(depth image)를 생성하도록 구성할 수 있다. 상기 깊이 이미지(depth image)는 카메라의 시점에서 물체의 거리값을 지닌 데이터이다. 3D 모델에 씌운 다면체의 각 꼭짓점에 가상 카메라를 설치하고, 상기 3D 모델의 중심(3차원 좌표계의 원점)을 향하여 깊이 이미지를 촬영할 수 있다.A virtual polyhedron may be placed on the normalized 3D model through step (a-2), and a depth image photographed in the center direction of the 3D model may be generated at each vertex. The depth image is data having a distance value of the object at the viewpoint of the camera. A virtual camera can be installed at each corner of the polyhedron covered with the 3D model, and a depth image can be taken toward the center of the 3D model (the origin of the 3D coordinate system).

상기 다면체는 정다면체, 준정다면체 등을 적용할 수 있으며, 정규화된 하나의 3D 모델에 2 이상의 가상 다면체를 씌우고 깊이 이미지들을 추출할 수도 있다. [도 3]은 3D 모델에서 깊이 이미지를 추출할 때 사용가능한 다면체의 예를 도시한 것이다.The polyhedron may be a regular polyhedron, a quasi-regular polyhedron, or the like, and it may be possible to apply two or more virtual polyhedrons to one normalized 3D model to extract the depth images. FIG. 3 shows an example of a polyhedron that can be used when extracting a depth image in a 3D model.

4. (a-4)단계4. Step (a-4)

본 (a-4)단계는 상기 깊이 이미지를 딥러닝 알고리즘으로 학습하는 단계이다.Step (a-4) is a step of learning the depth image by a deep learning algorithm.

또한, 상기 (a-4)단계는, 생성된 깊이 이미지 마다 식별수단(label)을 부여하고 CNN(Convolutional Neural Network) 알고리즘으로 학습하도록 구성할 수 있다. CNN 알고리즘으로는 AlexNet, VGG, GoogLeNet 등을 사용할 수 있다.In the step (a-4), an identification means may be assigned to each of the generated depth images and a CNN (Convolutional Neural Network) algorithm may be used. The CNN algorithm can use AlexNet, VGG, GoogLeNet, etc.

Ⅱ. (b) 유사성 인식단계Ⅱ. (b) Similarity recognition step

1. (b-1)단계1. Step (b-1)

본 (b-1)단계는 질의(query) 3D 모델을 입력받는 단계이다. 상기 질의 3D 모델은 저작권 침해 판단 대상이 되는 것으로서, 본 발명에 적용되는 인공지능은 상기 질의 3D 모델을 외부로부터 제공받거나 온라인을 통해 자체적으로 수집할 수 있다.The step (b-1) is a step of receiving a query 3D model. The inquiry 3D model is subject to copyright infringement judgment, and the artificial intelligence applied to the present invention can receive the inquiry 3D model from the outside or collect itself on-line.

2. (b-2)단계2. Step (b-2)

본 (b-2)단계는 상기 질의 3D 모델의 크기를 정규화하는 단계이다.Step (b-2) is a step of normalizing the size of the query 3D model.

본 (b-2)단계에서는, 전술한 (a-2)단계와 마찬가지로 임의로 설정한 3차원 좌표계에서 상기 질의 3D 모델을 구성하는 정점(頂點, vertex)들의 평균 좌표를 중심으로 설정하고, 상기 중심을 3차원 좌표계의 원점으로 이동 시킨 후 상기 중심에서 가장 멀리 떨어져 있는 정점까지의 거리를 기본 단위 길이로 설정하여, 상기 3D 모델의 크기를 정규화하도록 구성할 수 있다.In step (b-2), an average coordinate of vertices constituting the query 3D model is set as a center in an arbitrarily set three-dimensional coordinate system as in the above step (a-2) To the origin of the 3D coordinate system, and then sets the distance from the center to the vertex farthest from the center as the basic unit length, thereby normalizing the size of the 3D model.

3. (b-3)단계3. Step (b-3)

본 (b-3)단계는 정규화된 질의 3D 모델의 방향별 깊이 이미지를 생성하는 단계이다.The step (b-3) is a step of generating a depth image for each direction of the normalized query 3D model.

본 (b-3)단계도 전술한 (a-3)단계와 마찬가지로, 정규화된 3D 모델에 가상의 다면체를 씌우고 각 꼭짓점에서 3D 모델 중심 방향으로 촬영한 깊이 이미지(depth image)를 생성하도록 구성할 수 있다. 상기 깊이 이미지(depth image)는 카메라의 시점에서 물체의 거리값을 지닌 데이터이다. 3D 모델에 씌운 다면체의 각 꼭짓점에 가상 카메라를 설치하고, 상기 3D 모델의 중심(3차원 좌표계의 원점)을 향하여 깊이 이미지를 촬영할 수 있다.In the step (b-3), similarly to the step (a-3) described above, a virtual polyhedron is placed on the normalized 3D model and a depth image photographed in the center direction of the 3D model is generated from each vertex . The depth image is data having a distance value of the object at the viewpoint of the camera. A virtual camera can be installed at each corner of the polyhedron covered with the 3D model, and a depth image can be taken toward the center of the 3D model (the origin of the 3D coordinate system).

4. (b-4)단계4. Step (b-4)

본 (b-4)단계는 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여, 학습된 3D 모델과의 유사성 인식 결과를 도출하는 단계이다.Step (b-4) is a step of inputting the depth image of the query 3D model to the deep learning algorithm, and deriving a similarity recognition result with the learned 3D model.

상기 (b-4)단계에서는, 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여 각 원본 3D모델에 대한 유사값 평균의 최대치가 설정된 임계값 이상으로 나타나는 경우 유사 모델로 인식하도록 구성할 수 있다.In the step (b-4), if the depth image of the query 3D model is input to the deep learning algorithm and the maximum value of the similarity value average for each original 3D model appears to be equal to or greater than the set threshold value, .

사전 학습단계에서 n개의 원본 3D 모델에 대해 각각의 변형 3D 모델을 생성시키고 딥러닝 방법으로 학습하였다면, 상기 딥러닝 알고리즘 함수를 f, 질의 3D 모델의 깊이 이미지를 d라 할 때, 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하였을 때 나타나는 각 원본 3D 모델에 대해 유사값(p)이 나타나는 것은 아래의 [식 1]과 같이 표현할 수 있다.If the depth learning algorithm function is f and the depth image of the query 3D model is d, if the respective modified 3D models are generated for n original 3D models in the pre-learning step and learned by the deep learning method, (P) for each original 3D model appearing when the depth image of the original 3D model is input to the deep learning algorithm can be expressed as [Equation 1] below.

[식 1][Formula 1]

Figure pat00001
Figure pat00001

따라서, m개의 깊이 이미지가 입력되었을 때에는 n×m의 유사값 행렬이 생성되고, 그것의 평균을 구하면 원본 3D 모델 각각에 대한 1×n의 유사값 평균(P)이 생성된다. 상기 유사값 평균(P)은 아래의 [식 2]와 같이 나타낼 수 있다.Therefore, when m depth images are input, an n × m similarity matrix is generated, and an average thereof is obtained to generate a 1 × n similarity average (P) for each original 3D model. The similarity value average P can be expressed by the following equation (2).

[식 2][Formula 2]

Figure pat00002
Figure pat00002

상기 유사값 평균의 최대치(max(P))가 설정된 임계값 이상이면 질의 3D 모델은 학습된 원본 3D 모델과 실질적 유사성(저작권법상 '저작권 침해'가 성립하기 위한 표현의 유사성)이 있다는 것이므로 저작권 침해물로 판정할 수 있고,If the maximum value (max (P)) of the similarity average is greater than or equal to the set threshold value, the query 3D model has substantial similarity with the learned original 3D model (similarity of expression for establishing copyright infringement in the copyright law) Can be judged by water,

상기 유사값 평균의 최대치(max(P))가 설정된 임계값 미만이면 질의 3D 모델은 학습된 원본 3D 모델들과 유사하지 않아 저작권 침해가 아닌 것으로 판정할 수 있다.If the maximum value (max (P)) of the similarity average is less than the set threshold value, the query 3D model is not similar to the learned original 3D models and can be determined not to be a copyright infringement.

[도 5]는 본 발명 방법을 통해 질의 3D 모델을 원본 3D 모델의 변형물로 인식하였을 때의 데모를 보여준다.FIG. 5 shows a demonstration when the query 3D model is recognized as a modification of the original 3D model through the method of the present invention.

본 발명은 위에서 언급한 바와 같이 첨부된 도면과 관련하여 설명되었으나, 본 발명의 요지를 벗어남이 없는 범위 내에서 다양한 수정 및 변형이 가능하며, 다양한 분야에서 사용 가능하다. 따라서 본 발명의 청구범위는 이건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention. It is therefore intended that the appended claims cover such modifications and variations as fall within the true scope of the invention.

해당 없음Not applicable

Claims (6)

질의(query) 3D 모델이 원본 3D 모델의 저작권을 침해하는지 여부를 판단하는 방법으로서, 인공지능에 의한 (a) 사전 학습단계; 및 (b) 유사성 인식단계; 를 포함하며,
상기 (a) 사전 학습단계는,
(a-1) 원본 3D 모델로부터 변형 3D 모델을 생성시키는 단계;
(a-2) 상기 원본 3D 모델과 변형 3D 모델의 크기를 정규화하는 단계;
(a-3) 정규화된 원본 3D 모델과 변형 3D 모델의 방향별 깊이 이미지(depth image)를 생성하는 단계; 및
(a-4) 상기 깊이 이미지를 딥러닝 알고리즘으로 학습하는 단계; 를 포함하고,
상기 (b) 유사성 인식단계는,
(b-1) 질의 3D 모델을 입력받는 단계;
(b-2) 상기 질의 3D 모델의 크기를 정규화하는 단계;
(b-3) 정규화된 질의 3D 모델의 방향별 깊이 이미지를 생성하는 단계; 및
(b-4) 상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여, 학습된 3D 모델과의 유사성 인식 결과를 도출하는 단계; 를 포함하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법.
A method for determining whether a query 3D model infringes on an original 3D model copyright, comprising the steps of: (a) pre-learning by artificial intelligence; And (b) a similarity recognition step; / RTI >
The pre-learning step (a)
(a-1) generating a transformed 3D model from the original 3D model;
(a-2) normalizing the size of the original 3D model and the modified 3D model;
(a-3) generating a depth image of a normalized original 3D model and a directional 3D model of the deformed 3D model; And
(a-4) learning the depth image by a deep learning algorithm; Lt; / RTI >
The similarity recognition step (b)
(b-1) receiving a query 3D model;
(b-2) normalizing the size of the query 3D model;
(b-3) generating a depth-by-direction image of the normalized query 3D model; And
(b-4) inputting a depth image of the query 3D model to the deep learning algorithm, and deriving a similarity recognition result with the learned 3D model; A method of judging copyright infringement based on a 3D model based on 3D model depth images.
제1항에서,
상기 (a-1)단계는 3D 모델링 소프트웨어를 통해 원본 3D 모델에 대한 포즈 변형, 부분 크기변형, 자르기 변형 중 어느 하나 이상의 변형 방법을 적용하여 변형 3D 모델을 생성시키는 것을 특징으로 하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법.
The method of claim 1,
Wherein the step (a-1) generates a modified 3D model by applying at least one of a pose transformation, a partial size transformation, and a trimming transformation to an original 3D model through 3D modeling software. A 3D model based on deep - running using copyright.
제1항에서,
상기 (a-2)단계와 (b-2)단계는,
임의로 설정한 3차원 좌표계에서 3D 모델을 구성하는 정점(頂點, vertex)들의 평균 좌표를 중심으로 설정하고, 상기 중심을 3차원 좌표계의 원점으로 이동 시킨 후 상기 중심에서 가장 멀리 떨어져 있는 정점까지의 거리를 기본 단위 길이로 설정하여, 3D 모델의 크기를 정규화하는 것을 특징으로 하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법.
The method of claim 1,
The steps (a-2) and (b-2)
The center of gravity is set as the center of the average coordinates of the vertices constituting the 3D model in the arbitrarily set three dimensional coordinate system and the center is moved to the origin of the three dimensional coordinate system and then the distance from the center to the vertex Is set to a basic unit length, and the size of the 3D model is normalized. A 3D model copyright infringement determination method based on a deep learning based on a 3D model depth image.
제3항에서,
상기 (a-3)단계와 (b-3)단계는,
3D 모델에 가상의 다면체를 씌우고 각 꼭짓점에서 3D 모델 중심 방향으로 촬영한 깊이 이미지(depth image)를 생성하는 것을 특징으로 하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법.
4. The method of claim 3,
The steps (a-3) and (b-3)
A method for judging copyright infringement based on a deep learning based 3D model using a 3D model depth image, the method comprising: placing a virtual polyhedron on a 3D model and generating a depth image photographed in a center direction of the 3D model at each corner point.
제1항에서,
상기 (a-4)단계는,
생성된 깊이 이미지 마다 식별수단을 부여하고 CNN(Convolutional Neural Network) 알고리즘으로 학습하는 것을 특징으로 하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법.
The method of claim 1,
The step (a-4)
And a 3D model depth image is used to learn by using a CNN (Convolutional Neural Network) algorithm by assigning an identification means to each of the generated depth images.
제1항 내지 제5항 중 어느 항에서,
상기 (b-4)단계는,
상기 질의 3D 모델의 깊이 이미지를 상기 딥러닝 알고리즘에 입력하여 각 원본 3D모델에 대한 유사값 평균의 최대치가 설정된 임계값 이상으로 나타나는 경우 유사 모델로 인식하는 것을 특징으로 하는 3D 모델 깊이 이미지를 이용한 딥러닝 기반의 3D 모델 저작권 침해 판단 방법.6. The method according to any one of claims 1 to 5,
The step (b-4)
And a depth image of the query 3D model is input to the depth learning algorithm and recognized as a similar model when the maximum value of the similarity average for each original 3D model is more than a preset threshold value. How to judge copyright infringement on 3D model of running base.
KR1020170124032A 2017-09-26 2017-09-26 Deep learning based 3D model Similarity evaluation method using depth image KR102027880B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170124032A KR102027880B1 (en) 2017-09-26 2017-09-26 Deep learning based 3D model Similarity evaluation method using depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170124032A KR102027880B1 (en) 2017-09-26 2017-09-26 Deep learning based 3D model Similarity evaluation method using depth image

Publications (2)

Publication Number Publication Date
KR20190035146A true KR20190035146A (en) 2019-04-03
KR102027880B1 KR102027880B1 (en) 2019-10-02

Family

ID=66165566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170124032A KR102027880B1 (en) 2017-09-26 2017-09-26 Deep learning based 3D model Similarity evaluation method using depth image

Country Status (1)

Country Link
KR (1) KR102027880B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210072609A (en) * 2019-12-09 2021-06-17 주식회사 디알엠인사이드 Service providing apparatus and method supporting high speed identification of photographic work based on deep learning
KR20210145547A (en) * 2020-05-25 2021-12-02 정기매 Method, apparatus and computer-readable medium for custom order of cupcake
KR102420199B1 (en) * 2021-11-19 2022-07-13 (주)에이아이딥 Image copyright identification system using deep learning and method thereof
KR102667015B1 (en) * 2022-12-19 2024-05-22 주식회사 비욘드테크 Apparatus For Discriminating Video Based On Depth Information And Method Thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110062870A (en) 2009-12-04 2011-06-10 한국전자통신연구원 Apparatus for search of 3d model data
CN106529569A (en) * 2016-10-11 2017-03-22 北京航空航天大学 Three-dimensional model triangular facet feature learning classification method and device based on deep learning
KR20170074413A (en) * 2015-12-22 2017-06-30 연세대학교 산학협력단 2d image data generation system using of 3d model, and thereof method
KR20170089752A (en) 2016-01-27 2017-08-04 한국과학기술원 3-Dimensional Mesh Model watermarking Method Using Segmentation and Apparatus Therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110062870A (en) 2009-12-04 2011-06-10 한국전자통신연구원 Apparatus for search of 3d model data
KR20170074413A (en) * 2015-12-22 2017-06-30 연세대학교 산학협력단 2d image data generation system using of 3d model, and thereof method
KR20170089752A (en) 2016-01-27 2017-08-04 한국과학기술원 3-Dimensional Mesh Model watermarking Method Using Segmentation and Apparatus Therefor
CN106529569A (en) * 2016-10-11 2017-03-22 北京航空航天大学 Three-dimensional model triangular facet feature learning classification method and device based on deep learning

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
1. 공개특허 10-2017-0082025 "기계 학습 기반 얼굴 인식을 이용한 저작권을 가진 동영상 식별 장치 및 방법"
Hegde, Vishakh, and Reza Zadeh. Fusionnet: 3d object classification using multiple data representations. arXiv preprint arXiv:1607.05695v4. 2016.11.27.* *
Qi, Charles R., et al. Volumetric and multi-view cnns for object classification on 3d data. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210072609A (en) * 2019-12-09 2021-06-17 주식회사 디알엠인사이드 Service providing apparatus and method supporting high speed identification of photographic work based on deep learning
KR20210145547A (en) * 2020-05-25 2021-12-02 정기매 Method, apparatus and computer-readable medium for custom order of cupcake
KR102420199B1 (en) * 2021-11-19 2022-07-13 (주)에이아이딥 Image copyright identification system using deep learning and method thereof
KR102667015B1 (en) * 2022-12-19 2024-05-22 주식회사 비욘드테크 Apparatus For Discriminating Video Based On Depth Information And Method Thereof

Also Published As

Publication number Publication date
KR102027880B1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
KR20190035146A (en) Deep learning based 3D model Copyright infringement evaluation method using depth image
CN110502984B (en) Drawing review method and device, computer equipment and storage medium
CN106778525B (en) Identity authentication method and device
US11222471B2 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
CN104995663B (en) The method and apparatus of augmented reality are provided for using optical character identification
CN110096925B (en) Enhancement method, acquisition method and device of facial expression image
Zhan et al. A blind watermarking algorithm for 3D mesh models based on vertex curvature
KR20160062572A (en) Method and apparatus for generating personalized 3d face model
JPWO2012077287A1 (en) Posture state estimation apparatus and posture state estimation method
EP3642756B1 (en) Detecting artificial facial images using facial landmarks
Yang et al. Mesh discriminative features for 3D steganalysis
CN101393635B (en) Watermark information embedding, extracting method and processing system
KR101478709B1 (en) Method and apparatus for extracting and generating feature point and feature descriptor rgb-d image
US20120033873A1 (en) Method and device for determining a shape match in three dimensions
KR20160088814A (en) Conversion Method For A 2D Image to 3D Graphic Models
KR20230028253A (en) Face image processing method, face image processing model training method, device, device, storage medium and program product
JP7017462B2 (en) Learning image generation device and learning image generation method, as well as image recognition device and image recognition method
Mun et al. A robust 3D mesh watermarking scheme against cropping
Tang Graphic design of 3D animation scenes based on deep learning and information security technology
CN112236778A (en) Object recognition from images using CAD models as priors
Werghi et al. The mesh-LBP: Computing local binary patterns on discrete manifolds
Molaei et al. A blind fragile watermarking method for 3D models based on geometric properties of triangles
KR101035291B1 (en) Recognition system of body pose using human joint model db
Janik et al. Zero in on shape: A generic 2d-3d instance similarity metric learned from synthetic data
Choi et al. Blind 3D mesh watermarking based on cropping-resilient synchronization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant