KR102193329B1 - Two dimensional image similarty comparison system using three dimensional model for identifing strategic material and method thereof - Google Patents

Two dimensional image similarty comparison system using three dimensional model for identifing strategic material and method thereof Download PDF

Info

Publication number
KR102193329B1
KR102193329B1 KR1020190034881A KR20190034881A KR102193329B1 KR 102193329 B1 KR102193329 B1 KR 102193329B1 KR 1020190034881 A KR1020190034881 A KR 1020190034881A KR 20190034881 A KR20190034881 A KR 20190034881A KR 102193329 B1 KR102193329 B1 KR 102193329B1
Authority
KR
South Korea
Prior art keywords
model
model image
image information
similarity
data
Prior art date
Application number
KR1020190034881A
Other languages
Korean (ko)
Other versions
KR20200113939A (en
Inventor
신동훈
양승효
윤성호
김준모
하정효
안평환
은정
Original Assignee
한국원자력 통제기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력 통제기술원 filed Critical 한국원자력 통제기술원
Priority to KR1020190034881A priority Critical patent/KR102193329B1/en
Publication of KR20200113939A publication Critical patent/KR20200113939A/en
Application granted granted Critical
Publication of KR102193329B1 publication Critical patent/KR102193329B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 2차원(2D) 영상을 대용량의 데이터베이스 내에 있는 전략물자의 여러 종류의 3차원 영상(3D 모델 데이터)들과의 유사도 비교를 통해 어떤 전략물자인지 분류하기 위한 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법에 관한 것으로, 3D 모델을 통한 3D 모델 영상 정보 획득부와; 상기 3D 모델 영상 정보 획득부와 연결되어 학습에 필요한 대량의 데이터를 생성하는 3D 모델 영상 학습 데이터 생성부와; 2D 모델을 통한 2D 모델 영상 정보 획득부와; 상기 3D 모델 영상 학습 데이터 생성부와 연결되어 3D 모델 영상 학습 데이터 생성부에서 생성된 학습에 필요한 대량의 데이터를 저장하는 데이터 베이스와; 상기 2D 모델 영상 정보 획득부 및 데이터 베이스와 연결되어 2D 모델 영상 정보 획득부로부터 획득된 2D 모델 영상 정보와 데이터 베이스에 저장된 대량의 3D 모델 영상 학습 데이터를 DNN(Deap Neural Network, 심층신경망)을 이용한 유사도 비교부; 및 DNN을 이용한 유사도 비교부와 연결되어, 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도를 판독하는 유사도 판독부를 포함하며, 상기 유사도 판독부는, 시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하며; 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다.The present invention is a three-dimensional object for identifying a strategic object to classify a two-dimensional (2D) image through a similarity comparison with various types of three-dimensional images (3D model data) of a strategic object in a large-capacity database. A system and method for comparing a 2D image similarity using a model, comprising: a 3D model image information acquisition unit through a 3D model; A 3D model image training data generation unit connected to the 3D model image information acquisition unit to generate a large amount of data necessary for training; A 2D model image information acquisition unit through a 2D model; A database connected to the 3D model image learning data generation unit to store a large amount of data required for learning generated by the 3D model image learning data generation unit; The 2D model image information acquired from the 2D model image information acquisition unit connected to the 2D model image information acquisition unit and the database and a large amount of 3D model image training data stored in the database are used by using a Deap Neural Network (DNN). Similarity comparison unit; And a similarity reading unit connected to the similarity comparison unit using the DNN to read the similarity between the 3D model image information and the 2D model image information, wherein the similarity reading unit 168 obtained for one 3D model as data about a viewpoint. Comparing the 2D model data with the 2D model image acquired from the 2D model image information acquisition unit to determine and classify the similarity; Similarity is determined and classified by comparing distances between two feature vectors extracted from the 3D model image and the 2D model image, respectively.

Description

전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법{TWO DIMENSIONAL IMAGE SIMILARTY COMPARISON SYSTEM USING THREE DIMENSIONAL MODEL FOR IDENTIFING STRATEGIC MATERIAL AND METHOD THEREOF}Two-dimensional image similarity comparison system and method using a three-dimensional model for strategic material identification {TWO DIMENSIONAL IMAGE SIMILARTY COMPARISON SYSTEM USING THREE DIMENSIONAL MODEL FOR IDENTIFING STRATEGIC MATERIAL AND METHOD THEREOF}

본 발명은 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 2차원(2D) 영상을 대용량의 데이터베이스 내에 있는 전략물자의 여러 종류의 3차원 영상(3D 모델 데이터)들과의 유사도 비교를 통해 어떤 전략물자인지 분류하기 위한 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법에 관한 것이다.The present invention relates to a two-dimensional image similarity comparison system and method using a three-dimensional model for identifying strategic objects. More specifically, a two-dimensional (2D) image is converted into three types of strategic objects in a large database. The present invention relates to a two-dimensional image similarity comparison system and method using a three-dimensional model for identifying a strategic object to classify a strategic object through a similarity comparison with dimensional images (3D model data).

통상적으로, 전략물자의 수출입 통제 심사는 현재 심사자에 의해 수작업으로 이루어지고 있다. 이로 인해, 심사의 일관성 및 속도에 있어서 자동심사 시스템에 비해 비효율적이다. 따라서 전략물자 심사 과정에서 빠르고 정확한 분류를 돕기 위한 물체의 자동 인식 및 분류 시스템이 개발되어야 할 필요가 있다. Typically, the import and export control examination of strategic goods is currently being done manually by the examiner. For this reason, it is inefficient compared to the automatic audit system in terms of the consistency and speed of the audit. Therefore, it is necessary to develop an automatic object recognition and classification system to help fast and accurate classification in the strategic material screening process.

물체의 외형을 자동으로 인식하는 시스템을 위해서는 최근 영상 인식 분야에서 상당한 발전을 이룬 심층신경망 기반의 인식 시스템을 고려할 수 있다. 이러한 심층신경망 기반의 시스템을 전략물자 심사에 이용하기에는 여러가지 한계점이 존재하는데, 그중 하나는 일반적으로 대량의 데이터를 이용하여 학습되는 심층신경망을 이용하기에는 전략물자 데이터의 양이 충분하지 않다는 것이다. For a system that automatically recognizes the appearance of an object, a deep neural network-based recognition system, which has recently made significant progress in the image recognition field, can be considered. There are several limitations to using this deep neural network-based system for strategic material screening, one of which is that the amount of strategic material data is insufficient to use a deep neural network that is generally learned using a large amount of data.

심층신경망 기반의 영상 분류 시스템은 데이터가 많을수록 일반화에 유리하여 인식 성능이 좋아지는 특징이 있다. 이 방식은 기존의 수제(handcrafted) 특징 추출 기법들에 비해 전반적으로 훨씬 좋은 성능을 보이며, 전략물자 식별시스템에 적용된다면 효율적이고 정확한 심사에 도움을 줄 수 있을 것이다. 하지만 학습이 대량의 데이터를 기반으로 이루어지기 때문에, 데이터를 쉽게 구할 수 없는 전략물자 식별시스템의 특성상 학습이 어려울 수 있다.An image classification system based on a deep neural network is advantageous in generalization as there are more data, and thus recognition performance is improved. This method shows much better overall performance than the existing handcrafted feature extraction techniques, and if applied to a strategic material identification system, it will be helpful for efficient and accurate screening. However, since learning is based on a large amount of data, learning may be difficult due to the nature of a strategic material identification system that cannot easily obtain data.

한편, 부족한 데이터의 양을 보완하기 위한 방법으로는 다른 성질의 데이터를 인공적으로 생산하여 학습에 이용하는 방안을 제시할 수 있다. 이러한 인공적으로 생산되는 데이터는 시간과 노동력의 투자에 따라 데이터의 양을 상당히 늘릴 수 있다는 장점이 있으며, 이는 데이터가 많을수록 유리한 심층신경망 기반의 알고리즘에 있어서 크게 도움이 될 수 있다. 상기 심층신경망에 관련된 여러 연구 결과에 따르면 서로 다른 성질의 영상은 특징 추출 시에 차이가 있으므로 그 차이로 인한 오류를 어떤 방법으로 줄일 수 있는 지에 대한 연구가 필요하다.Meanwhile, as a method to compensate for the insufficient amount of data, a method of artificially producing data of different properties and using it for learning can be proposed. Such artificially produced data has the advantage that the amount of data can be significantly increased depending on the investment of time and labor, and this can be greatly helpful in an algorithm based on a deep neural network, which is advantageous as there are more data. According to the results of various studies related to the deep neural network, since images of different properties have differences in feature extraction, a study on how to reduce errors due to the differences is required.

따라서, 인공적으로 제작된 3D 모델 데이터로부터 학습에 필요한 대량의 데이터를 얻은 뒤, 이와 함께 실제 사진을 이용하여 심층신경망 기반의 시스템을 학습하는 방법이 제시되는데, 상기 3D 모델 데이터의 경우 하나의 모델만 가지고도 여러 각도에서 찍은 수많은 영상을 획득할 수 있으므로 대량의 데이터 생산에 유리하다. 이렇게 얻은 영상들은 실제 사진과 함께 심층신경망에 입력되어 학습에 이용될 수 있기에, 두 종류의 데이터를 함께 입력받는 시스템에서는 심층신경망의 입력이 3D 모델과 실제 사진의 쌍으로 이루어지기 때문에, 실제로 입력되는 데이터의 숫자를 더욱 늘릴 수 있다는 장점이 있다. 따라서 데이터가 부족한 상황에서의 학습에는 더욱 유리한 측면이 있다.Therefore, a method of learning a deep neural network-based system using real photos after obtaining a large amount of data necessary for learning from artificially produced 3D model data is proposed. In the case of the 3D model data, only one model It is advantageous for mass data production because it can acquire numerous images taken from various angles. The images obtained in this way can be inputted to the deep neural network together with the actual picture and used for learning.In a system that receives two types of data together, the input of the deep neural network is a pair of a 3D model and an actual picture. The advantage is that the number of data can be further increased. Therefore, there is a more advantageous aspect of learning in situations where data is scarce.

또한, 3D 모델 데이터를 이용하여 학습하는 방법에서도 그 과정에서 실제 사진으로부터 특징을 추출하는 부분도 학습해야하기 때문에 실제 사진 데이터도 양은 적지만 어느 정도 필요할 수밖에 없다. 그런데, 전략물자의 사진은 보안 문제로 인해 대량의 데이터를 많이 공개하지 않기 때문에 학습에 이용할 만큼 사진 데이터베이스를 축적하기 힘들다. 따라서 3D 모델을 이용한 학습 방법을 적용하되, 이를 전이 학습(transfer learning)의 형태로 해야할 필요가 있다. 그래서, 3D 모델 데이터와 실제 사진이 모두 존재하는 대량의 데이터베이스를 이용하여 서로 다른 성질의 영상 간에 교차 인식이 가능한 심층 신경망 기반의 시스템을 먼저 구축하고, 이를 전략물자 식별 시스템으로 옮겨오는 과정이 필요할 것이다.In addition, in the method of learning using 3D model data, the portion of extracting features from the actual photo must be learned in the process, so the amount of actual photo data is small, but it is inevitable to some extent. However, it is difficult to accumulate a photographic database enough to use it for learning because photographs of strategic materials do not disclose a large amount of data due to security issues. Therefore, it is necessary to apply a learning method using a 3D model, but do this in the form of transfer learning. So, it will be necessary to first build a deep neural network-based system capable of cross-recognition between images of different properties using a large database of 3D model data and real photos, and then move it to a strategic material identification system. .

본 발명의 목적은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 2차원 영상을 대용량의 데이터베이스 내에 있는 전략물자의 여러 종류의 영상들과 비교하여 어떤 전략물자인지 분류하기 위한 것으로, 3D 모델 데이터를 이용하여 스마트폰 등으로 촬영된 2D 물품의 실사 이미지가 전략물자 품목에 해당하는 지를 심층 신경망 학습에 의한 유사도 비교를 통해 식별하기 위한 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법을 제공하고자 하는 것이다.An object of the present invention has been conceived to solve the above problems, and is to classify which strategic object is by comparing a 2D image with various types of images of strategic objects in a large database. A two-dimensional image similarity comparison system using a three-dimensional model for strategic object identification to identify whether a real-life image of a 2D object photographed using a smartphone, etc. corresponds to a strategic object item through similarity comparison through deep neural network learning And it is intended to provide a method.

본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템은 3D 모델을 통한 3D 모델 영상 정보 획득부와; 상기 3D 모델 영상 정보 획득부와 연결되어 학습에 필요한 대량의 데이터를 생성하는 3D 모델 영상 학습 데이터 생성부와; 2D 모델을 통한 2D 모델 영상 정보 획득부와; 상기 3D 모델 영상 학습 데이터 생성부와 연결되어 3D 모델 영상 학습 데이터 생성부에서 생성된 학습에 필요한 대량의 데이터를 저장하는 데이터 베이스와; 상기 2D 모델 영상 정보 획득부 및 데이터 베이스와 연결되어 2D 모델 영상 정보 획득부로부터 획득된 2D 모델 영상 정보와 데이터 베이스에 저장된 대량의 3D 모델 영상 학습 데이터를 DNN(Deap Neural Network, 심층신경망)을 이용한 유사도 비교부; 및 DNN을 이용한 유사도 비교부와 연결되어, 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도를 판독하는 유사도 판독부를 포함하며, 상기 유사도 판독부는, 시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하며; 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다. The system for comparing 2D image similarity using a 3D model for identifying strategic objects according to the present invention comprises: a 3D model image information acquisition unit through a 3D model; A 3D model image training data generation unit connected to the 3D model image information acquisition unit to generate a large amount of data necessary for training; A 2D model image information acquisition unit through a 2D model; A database connected to the 3D model image learning data generation unit to store a large amount of data required for learning generated by the 3D model image learning data generation unit; The 2D model image information acquired from the 2D model image information acquisition unit connected to the 2D model image information acquisition unit and the database and a large amount of 3D model image training data stored in the database are used by using a Deap Neural Network (DNN). Similarity comparison unit; And a similarity reading unit connected to the similarity comparison unit using the DNN to read the similarity between the 3D model image information and the 2D model image information, wherein the similarity reading unit 168 obtained for one 3D model as data about a viewpoint. Comparing the 2D model images with the 2D model images acquired from the 2D model image information acquisition unit to determine and classify the similarity; The similarity is determined and classified by comparing the distance between the two feature vectors respectively extracted from the 3D model image and the 2D model image.

또한, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법은 3D 모델 영상 정보 획득부에 의해 3D 모델에 대한 3D 모델 영상 정보를 획득하는 단계와; 상기 3D 모델 영상 정보 획득부와 연결된 3D 모델 영상 학습 데이터 생성부를 통해 학습에 필요한 대량의 데이터를 생성하는 단계와; 상기 3D 모델 영상 학습 데이터 생성부를 통해 생성된 학습에 필요한 대량의 데이터가 데이터 베이스에 저장되는 단계와; 2D 모델 영상 정보 획득부에 의해 2D 모델에 대한 2D 모델 영상 정보를 획득하는 단계와; 상기 데이터 베이스에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부로부터 획득된 2D 모델 영상 정보가 DNN을 이용한 유사도 비교부에 입력되어 상호 비교되는 단계; 및 상기 유사도 비교부에 의해 상호 비교된 결과가 유사도 판독부로 전송되어 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도가 판독되는 단계를 포함하며, 상기 데이터 베이스에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부로부터 획득된 2D 모델 영상 정보가 DNN을 이용한 유사도 비교부에 입력되어 상호 비교되는 단계에서, 상기 DNN을 이용한 유사도 비교부는 데이터 베이스에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부로부터 획득된 2D 모델 영상 정보를 수신하여 상호 비교하되, 상기 DNN을 이용한 유사도 비교부에 입력되는 입력은 3D 모델 영상 정보와 2D 모델 영상 정보의 쌍으로 입력되며; 전이 학습의 학습 방법을 적용하여 서로 다른 성질의 영상 간에 교차 인식을 수행한다.In addition, a method for comparing a 2D image similarity using a 3D model for identifying a strategic object according to the present invention includes: acquiring 3D model image information for a 3D model by a 3D model image information acquisition unit; Generating a large amount of data necessary for learning through a 3D model image training data generation unit connected to the 3D model image information acquisition unit; Storing a large amount of data required for training generated through the 3D model image training data generation unit in a database; Acquiring 2D model image information for the 2D model by a 2D model image information acquisition unit; Inputting a large amount of data stored in the database and 2D model image information obtained from a 2D model image information acquisition unit into a similarity comparison unit using a DNN and comparing them with each other; And transmitting a result of the comparison between the similarity comparison unit to the similarity reading unit to read the similarity of the 3D model image information and the 2D model image information, and obtaining a large amount of data and 2D model image information stored in the database. In the step of inputting and comparing the 2D model image information obtained from the unit to the similarity comparison unit using the DNN, the similarity comparison unit using the DNN includes a large amount of data stored in the database and the 2D model obtained from the 2D model image information acquisition unit. The image information is received and compared with each other, but the input input to the similarity comparison unit using the DNN is input as a pair of 3D model image information and 2D model image information; By applying the learning method of transfer learning, cross recognition is performed between images of different properties.

본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법은 전략물자를 신속하고 정확하게 자동 분류를 이루어낼 수 있다는 이점이 있다.The two-dimensional image similarity comparison system and method using a three-dimensional model for identifying strategic objects according to the present invention has the advantage of being able to quickly and accurately classify strategic objects.

또한, 심층신경망 기반을 이용하여 소량의 데이터로부터 대량의 데이터를 확보하여 인식을 수행함으로써 새로운 전략물자에 대해서도 3차원 모델과 소량의 2차원 영상만을 데이터베이스에 추가하여 학습이 가능하다는 이점이 있다.In addition, there is an advantage that it is possible to learn a new strategic object by adding only a 3D model and a small amount of 2D images to the database by acquiring a large amount of data from a small amount of data and performing recognition using the deep neural network base.

또한, 대량의 데이터로 학습된 특징 추출기를 이용함으로써, 데이터가 부족한 상황에서 다른 성질의 데이터를 불러와서 학습에 함께 이용하여 적은 양의 데이터만을 가지고도 심층신경망의 학습이 가능할 수 있다는 이점이 있다.In addition, by using a feature extractor learned from a large amount of data, there is an advantage that it is possible to learn a deep neural network with only a small amount of data by fetching and using data of different properties in a situation where data is insufficient.

도 1은 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템의 개략적 구성 블럭도.
도 2는 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 개념도.
도 3은 도 1의 3D 모델 영상 학습 데이터 생성부에 의해 생성된 영상의 개념도.
도 4는 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법의 흐름도.1 is a schematic block diagram of a two-dimensional image similarity comparison system using a three-dimensional model for identifying strategic objects according to the present invention.
2 is a conceptual diagram for comparing the similarity of a two-dimensional image using a three-dimensional model for identifying a strategic object according to the present invention.
3 is a conceptual diagram of an image generated by the 3D model image training data generator of FIG. 1.
4 is a flowchart of a method for comparing similarity of a 2D image using a 3D model for identifying a strategic object according to the present invention.

이하, 도면을 참조한 실시 예들의 상세한 설명을 통하여 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법을 보다 상세히 기술하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략될 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 클라이언트나 운용자, 사용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, a two-dimensional image similarity comparison system and method using a three-dimensional model for identifying a strategic object according to the present invention will be described in more detail through detailed description of embodiments with reference to the drawings. In describing the present invention, when it is determined that a detailed description of a related known technology or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a client, an operator, or a user. Therefore, the definition should be made based on the contents throughout this specification.

도면 전체에 걸쳐 같은 참조번호는 같은 구성 요소를 가리킨다.The same reference numerals refer to the same elements throughout the drawings.

이제, 도 1을 참조하여 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템을 살펴보고자 한다.Now, with reference to FIG. 1, a two-dimensional image similarity comparison system using a three-dimensional model for identifying strategic objects according to the present invention will be described.

도 1에 도시된 바와 같이, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템은 3D 모델을 통한 3D 모델 영상 정보 획득부(101)와, 3D 모델 영상 정보 획득부(101)와 연결되어 학습에 필요한 대량의 데이터를 생성하는 3D 모델 영상 학습 데이터 생성부(102)와, 2D 모델(예를 들어, 사진)을 통한 2D 모델 영상 정보 획득부(103)와, 3D 모델 영상 학습 데이터 생성부(102)와 연결되어 3D 모델 영상 학습 데이터 생성부(102)에서 생성된 학습에 필요한 대량의 데이터를 저장하는 데이터 베이스(105)와, 2D 모델 영상 정보 획득부(103) 및 데이터 베이스(105)와 연결되어 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보와 데이터 베이스(105)에 저장된 3D 모델 영상 학습 데이터를 수신하여 비교하는 심층신경망(Deap Neural Network, 이하 "DNN" 이라 총칭함)을 이용한 유사도 비교부(107), 및 DNN을 이용한 유사도 비교부(107)와 연결되어, 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도를 판독하는 유사도 판독부(109)로 구성된다.As shown in FIG. 1, a two-dimensional image similarity comparison system using a three-dimensional model for identifying strategic objects according to the present invention includes a 3D model image information acquisition unit 101 and a 3D model image information acquisition through a 3D model. A 3D model image training data generation unit 102 connected to the unit 101 to generate a large amount of data necessary for learning, a 2D model image information acquisition unit 103 through a 2D model (eg, photo), A database 105 connected to the 3D model image learning data generation unit 102 to store a large amount of data required for learning generated by the 3D model image learning data generation unit 102, and a 2D model image information acquisition unit 103 ) And the database 105 to receive and compare the 2D model image information acquired from the 2D model image information acquisition unit 103 and the 3D model image training data stored in the database 105. , Hereinafter, a similarity comparison unit 107 using a similarity comparison unit 107 using a DNN and a similarity reading unit reading the similarity between the 3D model image information and the 2D model image information ( 109).

여기서, 3D 모델 영상 학습 데이터 생성부(102)는 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있는데, 예를 들어, 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고 Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있다. Here, the 3D model image learning data generation unit 102 can acquire various data according to the viewpoint with only one 3D model, for example, from the reference position to the X axis at intervals of 15° from 0° to 90°. By acquiring data of 7 angles and acquiring data of 24 angles at 15° intervals from 0° to 360° based on the Y-axis, a total of 7×24 = 168 data can be obtained.

또한, 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시킨다.In addition, the 3D model image learning data generation unit 102 unifies the color and background of the 3D model in order to use only information on the shape of the object of the 3D model.

또한, DNN을 이용한 유사도 비교부(107)는 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보를 수신하여 상호 비교한다. 즉, DNN을 이용한 유사도 비교부(107)에 입력되는 입력은 3D 모델 영상 정보와 2D 모델 영상 정보의 쌍으로 입력되기에 입력되는 데이터의 숫자가 크게 확장되므로, 전략물자에 대한 데이터가 부족한 상황에서의 학습에는 유리할 수 있다.In addition, the similarity comparison unit 107 using a DNN receives a large amount of data stored in the database 105 and 2D model image information obtained from the 2D model image information acquisition unit 103 and compares them with each other. That is, since the input input to the similarity comparison unit 107 using the DNN is input as a pair of 3D model image information and 2D model image information, the number of input data is greatly expanded, so in a situation where the data on the strategic material is insufficient It can be beneficial for learning.

또한, DNN을 이용한 유사도 비교부(107)는 전이 학습의 학습 방법을 적용하여 서로 다른 성질의 영상 간에 교차 인식을 수행한다.In addition, the similarity comparison unit 107 using a DNN performs cross recognition between images of different properties by applying a learning method of transfer learning.

또한, 유사도 판독부(109)는 시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하는데, 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다.In addition, the similarity reading unit 109 compares the 168 pieces of data acquired for one 3D model as data about the viewpoint with the 2D model images acquired from the 2D model image information acquisition unit 103 to determine and classify the similarity. However, the similarity is determined and classified by comparing the distance between the two feature vectors respectively extracted from the 3D model image and the 2D model image.

이제, 도 2를 참조하여 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교의 개념을 살펴보고자 한다.Now, with reference to FIG. 2, a concept of a two-dimensional image similarity comparison using a three-dimensional model for identifying a strategic object according to the present invention will be described.

도 2에 도시된 바와 같이, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교의 개념은 네트워크 1을 통해 2차원 모델 영상에 대한 특징이 학습되며, 네트워크 2를 통해 3차원 모델 영상에 대한 특징이 학습되고, 학습된 2가지 모델 영상에 대하여 생성된 특징이 병합되어 유사성 및 차이점이 학습되고, 최종적으로 유사성 및 차이점이 학습된 2가지 모델 영상의 동일 여부를 판별하는 구조이다.As shown in FIG. 2, the concept of comparing the similarity of a 2D image using a 3D model for identifying a strategic object according to the present invention is to learn features of a 2D model image through network 1, and through network 2 The features of the 3D model image are learned, the features generated for the two trained model images are merged to learn the similarity and difference, and finally, the similarity and difference are determined to determine whether the two model images are identical. Structure.

또한, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교는 DNN을 이용한 유사도 비교부(107)가 이진분류를 기반으로 하고 있으며, 2차원 영상과 3차원 모델 영상의 쌍을 입력으로 하고 이를 활용하여 다수의 분류가 아닌 2분법(동일하다/상이하다) 분류를 수행하기 때문에, 동일한 데이터 베이스에 대하여 높은 판별력을 보인다. 여기서, 3차원 모델 영상을 입력으로 하여 추출된 특징 벡터를 데이터 베이스화하여 저장하므로 네트워크 1에서 추출된 특징 벡터와 데이터 베이스화하여 저장된 특징 벡터를 비교하여 이진 분류가 수행될 수 있다.In addition, the similarity comparison of a two-dimensional image using a three-dimensional model for identifying a strategic object according to the present invention is based on binary classification by the similarity comparison unit 107 using a DNN, and the two-dimensional image and the three-dimensional model image Since the pair is input and it is used to perform a dichotomy (same/different) classification rather than a plurality of classifications, high discriminant power is shown for the same database. Here, since the feature vector extracted by receiving the 3D model image as an input is converted into a database and stored, the feature vector extracted from the network 1 is compared with the feature vector stored in the database to perform binary classification.

또한, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교는 DNN을 이용한 유사도 비교부(107)가 2차원 영상 × 3차원 모델 영상에 해당하는 입력 영상 쌍을 가질 수 있기에, 전체 데이터 베이스가 확장된다.In addition, in the comparison of the similarity of a 2D image using a 3D model for identifying a strategic object according to the present invention, the similarity comparison unit 107 using a DNN may have an input image pair corresponding to a 2D image × 3D model image. Therefore, the entire database is expanded.

이제, 도 3을 참조하여 도 1의 3D 모델 영상 학습 데이터 생성부에 의해 생성된 정보 획득부에 의해 획득된 영상의 개념을 살펴보고자 한다.Now, the concept of an image acquired by an information acquisition unit generated by the 3D model image learning data generation unit of FIG. 1 will be described with reference to FIG. 3.

도 3에 도시된 바와 같이, 본 발명에 따른 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델 영상 정보 획득부(101)에 의해 획득된 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있는데, 예를 들어, 시점에 대한 데이터로는 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고 Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있다. 여기서, 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다. 따라서, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템은 데이터가 부족한 상황에서의 학습에는 더욱 유리한 측면이 있다.As shown in FIG. 3, the 3D model image learning data generation unit 102 according to the present invention can acquire various data according to viewpoints with only one 3D model acquired by the 3D model image information acquisition unit 101. For example, as the data on the viewpoint, data of 7 angles are acquired at 15° intervals from 0° to 90° on the X axis from the reference position, and 15° intervals from 0° to 360° on the Y axis. By acquiring data of 24 angles, a total of 7 × 24 = 168 data can be obtained. Here, the similarity is determined and classified by comparing the distance between the two feature vectors respectively extracted from the 3D model image and the 2D model image. Therefore, the two-dimensional image similarity comparison system using a three-dimensional model for identifying strategic objects according to the present invention has a more advantageous aspect for learning in a situation where data is insufficient.

또한, 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델 영상 정보 획득부(101)에 의해 획득된 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시킨다.In addition, the 3D model image learning data generation unit 102 unifies the color and background of the 3D model in order to use only the information on the shape of the object of the 3D model obtained by the 3D model image information acquisition unit 101.

이제, 도 4를 참조하여 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법의 흐름을 살펴보고자 한다.Now, with reference to FIG. 4, a flow of a method for comparing similarity of a 2D image using a 3D model for identifying a strategic object according to the present invention will be described.

도 4에 도시된 바와 같이, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법은 먼저, 3D 모델 영상 정보 획득부(101)에 의해 3D 모델에 대한 3D 모델 영상 정보를 획득한다(S401).As shown in FIG. 4, the method for comparing the similarity of a 2D image using a 3D model for identifying a strategic object according to the present invention is first, a 3D model image for a 3D model by the 3D model image information acquisition unit 101 Information is acquired (S401).

이후, 3D 모델 영상 정보 획득부(101)와 연결된 3D 모델 영상 학습 데이터 생성부(102)를 통해 학습에 필요한 대량의 데이터를 생성한다(S402). Thereafter, a large amount of data necessary for learning is generated through the 3D model image learning data generating unit 102 connected to the 3D model image information obtaining unit 101 (S402).

그 후, 3D 모델 영상 학습 데이터 생성부(102)를 통해 생성된 학습에 필요한 대량의 데이터가 데이터 베이스(105)에 저장된다(S403).Thereafter, a large amount of data required for learning generated by the 3D model image learning data generation unit 102 is stored in the database 105 (S403).

이후, 2D 모델 영상 정보 획득부(103)에 의해 2D 모델에 대한 2D 모델 영상 정보를 획득한다(S404).Thereafter, 2D model image information for the 2D model is acquired by the 2D model image information acquisition unit 103 (S404).

그 후, 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보가 DNN을 이용한 유사도 비교부(107)에 입력되어 상호 비교된다(S405).Thereafter, a large amount of data stored in the database 105 and the 2D model image information obtained from the 2D model image information acquisition unit 103 are input to the similarity comparison unit 107 using a DNN and are compared with each other (S405).

이후, 유사도 비교부(107)에 의해 상호 비교된 결과가 유사도 판독부(109)로 전송되어 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도가 판독된다(S406).Thereafter, the result of comparison with each other by the similarity comparison unit 107 is transmitted to the similarity reading unit 109 to read the similarity between the 3D model image information and the 2D model image information (S406).

여기서, S402 단계에서, 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델 영상 정보 획득부(101)에 의해 획득된 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있는데, 예를 들어, 예를 들어, 시점에 대한 데이터로는 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고 Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있다. 여기서, 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다. 따라서, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법은 데이터가 부족한 상황에서의 학습에는 더욱 유리한 측면이 있다. Here, in step S402, the 3D model image learning data generation unit 102 may acquire various data according to a viewpoint with only one 3D model acquired by the 3D model image information acquisition unit 101, for example, For example, as data about the viewpoint, data of 7 angles are acquired from the reference position to 0° to 90° at 15° intervals from the X axis, and 24 at 15° intervals from 0° to 360° based on the Y axis. By acquiring data of branch angles, a total of 7×24 = 168 pieces of data can be acquired. Here, the similarity is determined and classified by comparing the distance between the two feature vectors respectively extracted from the 3D model image and the 2D model image. Therefore, the method for comparing the similarity of a two-dimensional image using a three-dimensional model for identifying a strategic object according to the present invention has a more advantageous aspect for learning in a situation where data is insufficient.

또한, S402 단계에서, 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델 영상 정보 획득부(101)에 의해 획득된 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시킨다.In addition, in step S402, the 3D model image learning data generation unit 102 determines the color and background of the 3D model in order to use only the information on the shape of the object of the 3D model obtained by the 3D model image information acquisition unit 101. Unify.

또한, S405 단계에서, 3D 모델 영상 정보와 2D 모델 영상 정보가 입력되기에 입력되는 데이터의 숫자가 크게 확장되므로, 전략물자에 대한 데이터가 부족한 상황에서의 학습에는 유리할 수 있다. 즉, DNN을 이용한 유사도 비교부(107)에 입력되는 입력은 3D 모델 영상 정보와 2D 모델 영상 정보의 쌍으로 입력되기에 입력되는 데이터의 숫자가 크게 확장된다.In addition, since the 3D model image information and the 2D model image information are inputted in step S405, the number of input data is greatly expanded, so that it may be advantageous for learning in a situation where data on a strategic material is insufficient. That is, since the input to the similarity comparison unit 107 using the DNN is input as a pair of 3D model image information and 2D model image information, the number of input data is greatly expanded.

또한, S405 단계에서, DNN을 이용한 유사도 비교부(107)는 전이 학습의 학습 방법을 적용하여 서로 다른 성질의 영상 간에 교차 인식을 수행한다.In addition, in step S405, the similarity comparison unit 107 using the DNN applies a learning method of transfer learning to perform cross-recognition between images having different properties.

또한, S406 단계에서, 유사도 판독부(109)는 시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하는데, 상기, 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다.In addition, in step S406, the similarity reading unit 109 compares the 168 pieces of data acquired for one 3D model as data about the viewpoint with the 2D model image obtained from the 2D model image information acquisition unit 103 to determine the similarity. And classification, wherein the similarity is determined and classified by comparing distances between two feature vectors respectively extracted from the 3D model image and the 2D model image.

전술한 바와 같이, 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법은 전략물자를 신속하고 정확하게 자동 분류를 이루어낼 수 있다. 또한, 심층신경망 기반을 이용하여 소량의 3D 모델 데이터로부터 대량의 데이터를 확보하여 학습을 함으로써 새로운 전략물자 식별이 가능할 수 있다. 또한, 대량의 데이터로 학습된 특징 추출기를 이용함으로써, 데이터가 부족한 상황에서 다른 성질의 데이터를 불러와서 학습에 함께 이용하여 적은 양의 데이터만을 가지고도 심층신경망의 학습이 가능할 수 있다.As described above, the two-dimensional image similarity comparison system and method using a three-dimensional model for identifying strategic objects can quickly and accurately classify strategic objects. In addition, it is possible to identify new strategic materials by learning by securing a large amount of data from a small amount of 3D model data using a deep neural network base. In addition, by using a feature extractor learned from a large amount of data, it is possible to learn a deep neural network with only a small amount of data by fetching data of different properties in a situation where data is insufficient and using it together for learning.

이상과 같이 본 발명은 양호한 실시 예에 근거하여 설명하였지만, 이러한 실시 예는 본 발명을 제한하려는 것이 아니라 예시하려는 것이므로, 본 발명이 속하는 기술분야의 숙련자라면 본 발명의 기술사상을 벗어남이 없이 위 실시 예에 대한 다양한 변화나 변경 또는 조절이 가능할 것이다. 그러므로, 본 발명의 보호 범위는 본 발명의 기술적 사상의 요지에 속하는 변화 예나 변경 예 또는 조절 예를 모두 포함하는 것으로 해석되어야 할 것이다.As described above, the present invention has been described based on preferred embodiments, but these embodiments are intended to illustrate rather than limit the present invention, so those skilled in the technical field to which the present invention pertains to implement the above without departing from the spirit of the present invention. Various changes, changes or adjustments to the example will be possible. Therefore, the scope of protection of the present invention should be construed as including all examples of changes, examples of changes or adjustments belonging to the gist of the present invention.

101: 3D 모델 영상 정보 획득부
102: 3D 모델 영상 학습 데이터 생성부
103: 2D 모델 영상 정보 획득부 105: 데이터 베이스
107: DNN을 이용한 유사도 비교부 109: 유사도 판독부101: 3D model image information acquisition unit
102: 3D model image training data generation unit
103: 2D model image information acquisition unit 105: database
107: similarity comparison unit using DNN 109: similarity reading unit

Claims (10)

3D 모델을 통한 3D 모델 영상 정보 획득부(101)와;
상기 3D 모델 영상 정보 획득부(101)와 연결되어 학습에 필요한 대량의 데이터를 생성하는 3D 모델 영상 학습 데이터 생성부(102)와;
2D 모델을 통한 2D 모델 영상 정보 획득부(103)와;
상기 3D 모델 영상 학습 데이터 생성부(102)와 연결되어 3D 모델 영상 학습 데이터 생성부(102)에서 생성된 학습에 필요한 대량의 데이터를 저장하는 데이터 베이스(105)와;
상기 2D 모델 영상 정보 획득부(103) 및 데이터 베이스(105)와 연결되어 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보와 데이터 베이스(105)에 저장된 대량의 3D 모델 영상 학습 데이터를 DNN(Deap Neural Network, 심층신경망)을 이용한 유사도 비교부(107); 및
DNN을 이용한 유사도 비교부(107)와 연결되어, 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도를 판독하는 유사도 판독부(109)를 포함하며,
상기 유사도 판독부(109)는,
시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하며;
상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
A 3D model image information acquisition unit 101 through a 3D model;
A 3D model image training data generation unit 102 connected to the 3D model image information acquisition unit 101 to generate a large amount of data required for training;
A 2D model image information acquisition unit 103 through a 2D model;
A database 105 connected to the 3D model image learning data generation unit 102 and storing a large amount of data required for learning generated by the 3D model image learning data generation unit 102;
The 2D model image information obtained from the 2D model image information acquisition unit 103 by being connected to the 2D model image information acquisition unit 103 and the database 105 and a large amount of 3D model image learning data stored in the database 105 A similarity comparison unit 107 using a Deap Neural Network (DNN); And
A similarity reading unit 109 connected to the similarity comparison unit 107 using a DNN to read the similarity between the 3D model image information and the 2D model image information,
The similarity reading unit 109,
Comparing 168 pieces of data acquired for one 3D model as data about a viewpoint with a 2D model image obtained from the 2D model image information acquisition unit 103 to determine and classify similarity;
A two-dimensional image similarity comparison system using a three-dimensional model for identifying strategic objects that compares the distances between the two feature vectors extracted from the 3D model image and the 2D model image, respectively, to determine and classify similarity.
 제1항에 있어서,
상기 3D 모델 영상 학습 데이터 생성부(102)는 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있으며;
상기 시점에 대한 데이터로는 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고, Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
The method of claim 1,
The 3D model image learning data generation unit 102 may acquire various data according to viewpoints with only one 3D model;
As the data for the above point of view, 7 angles of data are acquired at 15° intervals from 0° to 90° based on the X axis, and 24 angles at 15° intervals from 0° to 360° based on the Y axis. A two-dimensional image similarity comparison system using a three-dimensional model for strategic object identification that can acquire a total of 7×24 = 168 data by acquiring the data of
 제1항에 있어서,
상기 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시키는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
The method of claim 1,
The 3D model image learning data generation unit 102 compares the similarity of a 2D image using a 3D model for identifying strategic objects that unify the color and background of the 3D model in order to use only information on the shape of the 3D model. system.
 제1항에 있어서,
상기 DNN을 이용한 유사도 비교부(107)는 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보를 수신하여 상호 비교하되, 상기 DNN을 이용한 유사도 비교부(107)에 입력되는 입력은 3D 모델 영상 정보와 2D 모델 영상 정보의 쌍으로 입력되는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
The method of claim 1,
The similarity comparison unit 107 using the DNN receives a large amount of data stored in the database 105 and the 2D model image information obtained from the 2D model image information acquisition unit 103 and compares them with each other, but the similarity degree using the DNN The input input to the comparison unit 107 is a 2D image similarity comparison system using a 3D model for identifying a strategic object input as a pair of 3D model image information and 2D model image information.
 제1항에 있어서,
상기 DNN을 이용한 유사도 비교부(107)는 전이 학습의 학습 방법을 적용하여 서로 다른 성질의 영상 간에 교차 인식을 수행하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
The method of claim 1,
The similarity comparison unit 107 using the DNN is a two-dimensional image similarity comparison system using a three-dimensional model for identifying strategic objects that perform cross-recognition between images of different properties by applying a learning method of transfer learning.
 삭제delete 3D 모델 영상 정보 획득부(101)에 의해 3D 모델에 대한 3D 모델 영상 정보를 획득하는 단계(S401)와;
상기 3D 모델 영상 정보 획득부(101)와 연결된 3D 모델 영상 학습 데이터 생성부(102)를 통해 학습에 필요한 대량의 데이터를 생성하는 단계(S402)와;
상기 3D 모델 영상 학습 데이터 생성부(102)를 통해 생성된 학습에 필요한 대량의 데이터가 데이터 베이스(105)에 저장되는 단계(S403)와;
2D 모델 영상 정보 획득부(103)에 의해 2D 모델에 대한 2D 모델 영상 정보를 획득하는 단계(S404)와;
상기 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보가 DNN을 이용한 유사도 비교부(107)에 입력되어 상호 비교되는 단계(S405); 및
상기 유사도 비교부(107)에 의해 상호 비교된 결과가 유사도 판독부(109)로 전송되어 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도가 판독되는 단계(S406)를 포함하며,
상기 S405 단계에서, 상기 DNN을 이용한 유사도 비교부(107)는 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보를 수신하여 상호 비교하되, 상기 DNN을 이용한 유사도 비교부(107)에 입력되는 입력은 3D 모델 영상 정보와 2D 모델 영상 정보의 쌍으로 입력되며;
전이 학습의 학습 방법을 적용하여 서로 다른 성질의 영상 간에 교차 인식을 수행하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법.
Obtaining 3D model image information for the 3D model by the 3D model image information obtaining unit 101 (S401);
Generating a large amount of data necessary for learning through the 3D model image learning data generation unit 102 connected to the 3D model image information acquisition unit 101 (S402);
Storing a large amount of data required for learning generated by the 3D model image learning data generation unit 102 in the database 105 (S403);
Obtaining 2D model image information for the 2D model by the 2D model image information obtaining unit 103 (S404);
A step (S405) of inputting a large amount of data stored in the database 105 and 2D model image information obtained from the 2D model image information acquisition unit 103 into the similarity comparison unit 107 using a DNN and comparing them with each other (S405); And
A step (S406) of transmitting a result of comparison between the similarity comparison unit 107 to the similarity reading unit 109 to read the similarity between the 3D model image information and the 2D model image information (S406),
In the step S405, the similarity comparison unit 107 using the DNN receives a large amount of data stored in the database 105 and 2D model image information obtained from the 2D model image information acquisition unit 103 and compares them with each other, The input input to the similarity comparison unit 107 using the DNN is input as a pair of 3D model image information and 2D model image information;
A method of comparing two-dimensional image similarity using a three-dimensional model for identifying strategic objects that perform cross-recognition between images of different properties by applying the learning method of transfer learning.
 제7항에 있어서,
상기 S402 단계에서, 상기 3D 모델 영상 학습 데이터 생성부(102)는 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있으며;
상기 시점에 대한 데이터로는 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고, Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있으며;
상기 3D 모델 영상 정보 획득부(101)에 의해 획득된 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시키는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법.
The method of claim 7,
In the step S402, the 3D model image learning data generation unit 102 may acquire various data according to viewpoints with only one 3D model;
As the data for the above point of view, 7 angles of data are acquired at 15° intervals from 0° to 90° based on the X axis, and 24 angles at 15° intervals from 0° to 360° based on the Y axis. By acquiring the data of, a total of 7×24 = 168 pieces of data can be obtained;
A two-dimensional image using a three-dimensional model for identifying strategic objects that unifies the color and background of the 3D model in order to use only the information on the shape of the object of the 3D model acquired by the 3D model image information acquisition unit 101 How to compare similarity.
 삭제delete 제7항에 있어서,
상기 S406 단계에서, 유사도 판독부(109)는 시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하며, 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법.
The method of claim 7,
In the step S406, the similarity reading unit 109 compares the 168 pieces of data acquired for one 3D model as data about the viewpoint with the 2D model image acquired from the 2D model image information acquisition unit 103 to determine the similarity and A two-dimensional image similarity comparison method using a three-dimensional model for strategic object identification and classification by comparing the distance between the two feature vectors extracted from the 3D model image and the 2D model image while performing classification .
KR1020190034881A 2019-03-27 2019-03-27 Two dimensional image similarty comparison system using three dimensional model for identifing strategic material and method thereof KR102193329B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190034881A KR102193329B1 (en) 2019-03-27 2019-03-27 Two dimensional image similarty comparison system using three dimensional model for identifing strategic material and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190034881A KR102193329B1 (en) 2019-03-27 2019-03-27 Two dimensional image similarty comparison system using three dimensional model for identifing strategic material and method thereof

Publications (2)

Publication Number Publication Date
KR20200113939A KR20200113939A (en) 2020-10-07
KR102193329B1 true KR102193329B1 (en) 2020-12-22

Family

ID=72883367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190034881A KR102193329B1 (en) 2019-03-27 2019-03-27 Two dimensional image similarty comparison system using three dimensional model for identifing strategic material and method thereof

Country Status (1)

Country Link
KR (1) KR102193329B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346152A (en) 2002-05-24 2003-12-05 Sony Corp Object recognition device, object recognition method, and robot equipment
KR101932009B1 (en) 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 Image processing apparatus and method for multiple object detection

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100606615B1 (en) * 2004-04-01 2006-08-01 한국과학기술원 Method for recognizing object
CN105474219B (en) * 2013-08-28 2019-10-18 西门子公司 System and method for estimating physiology cardiac measurement according to medical image and clinical data
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346152A (en) 2002-05-24 2003-12-05 Sony Corp Object recognition device, object recognition method, and robot equipment
KR101932009B1 (en) 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 Image processing apparatus and method for multiple object detection

Also Published As

Publication number Publication date
KR20200113939A (en) 2020-10-07

Similar Documents

Publication Publication Date Title
Melekhov et al. Dgc-net: Dense geometric correspondence network
US8712156B2 (en) Comparison of visual information
Jack et al. Learning free-form deformations for 3d object reconstruction
US9418313B2 (en) Method for searching for a similar image in an image database based on a reference image
Deng et al. Noisy depth maps fusion for multiview stereo via matrix completion
CN107481279A (en) A kind of monocular video depth map computational methods
EP3905194A1 (en) Pose estimation method and apparatus
Spezialetti et al. Learning to orient surfaces by self-supervised spherical cnns
CN110598019A (en) Repeated image identification method and device
Pan et al. Residual meshnet: Learning to deform meshes for single-view 3d reconstruction
CN112887897A (en) Terminal positioning method, device and computer readable storage medium
CN110992217B (en) Method and device for expressing and searching multi-view features of design patent
Nie et al. SHREC’18 track: 2D scene sketch-based 3D scene retrieval
Gojcic et al. Robust pointwise correspondences for point cloud based deformation monitoring of natural scenes
Guo et al. Automatic segmentation for plant leaves via multiview stereo reconstruction
KR102193329B1 (en) Two dimensional image similarty comparison system using three dimensional model for identifing strategic material and method thereof
CN116091706B (en) Three-dimensional reconstruction method for multi-mode remote sensing image deep learning matching
CN109087344A (en) Image-selecting method and device in three-dimensional reconstruction
Liao SLAMORE: SLAM with object recognition for 3D radio environment reconstruction
Weng et al. Image inpainting technique based on smart terminal: A case study in CPS ancient image data
Cao et al. Stable image matching for 3D reconstruction in outdoor
Chen et al. End-to-end multi-view structure-from-motion with hypercorrelation volume
Hlubik et al. Advanced point cloud estimation based on multiple view geometry
Pemasiri et al. Semantic correspondence: A hierarchical approach
Singh et al. A generative modelling technique for 3D reconstruction from a single 2D image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant