KR20200113939A - 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법 - Google Patents

전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법 Download PDF

Info

Publication number
KR20200113939A
KR20200113939A KR1020190034881A KR20190034881A KR20200113939A KR 20200113939 A KR20200113939 A KR 20200113939A KR 1020190034881 A KR1020190034881 A KR 1020190034881A KR 20190034881 A KR20190034881 A KR 20190034881A KR 20200113939 A KR20200113939 A KR 20200113939A
Authority
KR
South Korea
Prior art keywords
model
model image
image information
data
similarity
Prior art date
Application number
KR1020190034881A
Other languages
English (en)
Other versions
KR102193329B1 (ko
Inventor
신동훈
양승효
윤성호
김준모
하정효
안평환
은정
Original Assignee
한국원자력 통제기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력 통제기술원 filed Critical 한국원자력 통제기술원
Priority to KR1020190034881A priority Critical patent/KR102193329B1/ko
Publication of KR20200113939A publication Critical patent/KR20200113939A/ko
Application granted granted Critical
Publication of KR102193329B1 publication Critical patent/KR102193329B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 2차원(2D) 영상을 대용량의 데이터베이스 내에 있는 전략물자의 여러 종류의 3차원 영상(3D 모델 데이터)들과의 유사도 비교를 통해 어떤 전략물자인지 분류하기 위한 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법에 관한 것으로, 3D 모델을 통한 3D 모델 영상 정보 획득부(101)와; 상기 3D 모델 영상 정보 획득부(101)와 연결되어 학습에 필요한 대량의 데이터를 생성하는 3D 모델 영상 학습 데이터 생성부(102)와; 2D 모델을 통한 2D 모델 영상 정보 획득부(103)와; 상기 3D 모델 영상 학습 데이터 생성부(102)와 연결되어 3D 모델 영상 학습 데이터 생성부(102)에서 생성된 학습에 필요한 대량의 데이터를 저장하는 데이터 베이스(105)와; 상기 2D 모델 영상 정보 획득부(103) 및 데이터 베이스(105)와 연결되어 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보와 데이터 베이스(105)에 저장된 대량의 3D 모델 영상 학습 데이터를 DNN(Deap Neural Network, 심층신경망)을 이용한 유사도 비교부(107); 및 DNN을 이용한 유사도 비교부(107)와 연결되어, 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도를 판독하는 유사도 판독부(109)를 포함한다.

Description

전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법{TWO DIMENSIONAL IMAGE SIMILARTY COMPARISON SYSTEM USING THREE DIMENSIONAL MODEL FOR IDENTIFING STRATEGIC MATERIAL AND METHOD THEREOF}
본 발명은 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 2차원(2D) 영상을 대용량의 데이터베이스 내에 있는 전략물자의 여러 종류의 3차원 영상(3D 모델 데이터)들과의 유사도 비교를 통해 어떤 전략물자인지 분류하기 위한 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법에 관한 것이다.
통상적으로, 전략물자의 수출입 통제 심사는 현재 심사자에 의해 수작업으로 이루어지고 있다. 이로 인해, 심사의 일관성 및 속도에 있어서 자동심사 시스템에 비해 비효율적이다. 따라서 전략물자 심사 과정에서 빠르고 정확한 분류를 돕기 위한 물체의 자동 인식 및 분류 시스템이 개발되어야 할 필요가 있다.
물체의 외형을 자동으로 인식하는 시스템을 위해서는 최근 영상 인식 분야에서 상당한 발전을 이룬 심층신경망 기반의 인식 시스템을 고려할 수 있다. 이러한 심층신경망 기반의 시스템을 전략물자 심사에 이용하기에는 여러가지 한계점이 존재하는데, 그중 하나는 일반적으로 대량의 데이터를 이용하여 학습되는 심층신경망을 이용하기에는 전략물자 데이터의 양이 충분하지 않다는 것이다.
심층신경망 기반의 영상 분류 시스템은 데이터가 많을수록 일반화에 유리하여 인식 성능이 좋아지는 특징이 있다. 이 방식은 기존의 수제(handcrafted) 특징 추출 기법들에 비해 전반적으로 훨씬 좋은 성능을 보이며, 전략물자 식별시스템에 적용된다면 효율적이고 정확한 심사에 도움을 줄 수 있을 것이다. 하지만 학습이 대량의 데이터를 기반으로 이루어지기 때문에, 데이터를 쉽게 구할 수 없는 전략물자 식별시스템의 특성상 학습이 어려울 수 있다.
한편, 부족한 데이터의 양을 보완하기 위한 방법으로는 다른 성질의 데이터를 인공적으로 생산하여 학습에 이용하는 방안을 제시할 수 있다. 이러한 인공적으로 생산되는 데이터는 시간과 노동력의 투자에 따라 데이터의 양을 상당히 늘릴 수 있다는 장점이 있으며, 이는 데이터가 많을수록 유리한 심층신경망 기반의 알고리즘에 있어서 크게 도움이 될 수 있다. 상기 심층신경망에 관련된 여러 연구 결과에 따르면 서로 다른 성질의 영상은 특징 추출 시에 차이가 있으므로 그 차이로 인한 오류를 어떤 방법으로 줄일 수 있는 지에 대한 연구가 필요하다.
따라서, 인공적으로 제작된 3D 모델 데이터로부터 학습에 필요한 대량의 데이터를 얻은 뒤, 이와 함께 실제 사진을 이용하여 심층신경망 기반의 시스템을 학습하는 방법이 제시되는데, 상기 3D 모델 데이터의 경우 하나의 모델만 가지고도 여러 각도에서 찍은 수많은 영상을 획득할 수 있으므로 대량의 데이터 생산에 유리하다. 이렇게 얻은 영상들은 실제 사진과 함께 심층신경망에 입력되어 학습에 이용될 수 있기에, 두 종류의 데이터를 함께 입력받는 시스템에서는 심층신경망의 입력이 3D 모델과 실제 사진의 쌍으로 이루어지기 때문에, 실제로 입력되는 데이터의 숫자를 더욱 늘릴 수 있다는 장점이 있다. 따라서 데이터가 부족한 상황에서의 학습에는 더욱 유리한 측면이 있다.
또한, 3D 모델 데이터를 이용하여 학습하는 방법에서도 그 과정에서 실제 사진으로부터 특징을 추출하는 부분도 학습해야하기 때문에 실제 사진 데이터도 양은 적지만 어느 정도 필요할 수밖에 없다. 그런데, 전략물자의 사진은 보안 문제로 인해 대량의 데이터를 많이 공개하지 않기 때문에 학습에 이용할 만큼 사진 데이터베이스를 축적하기 힘들다. 따라서 3D 모델을 이용한 학습 방법을 적용하되, 이를 전이 학습(transfer learning)의 형태로 해야할 필요가 있다. 그래서, 3D 모델 데이터와 실제 사진이 모두 존재하는 대량의 데이터베이스를 이용하여 서로 다른 성질의 영상 간에 교차 인식이 가능한 심층 신경망 기반의 시스템을 먼저 구축하고, 이를 전략물자 식별 시스템으로 옮겨오는 과정이 필요할 것이다.
본 발명의 목적은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 2차원 영상을 대용량의 데이터베이스 내에 있는 전략물자의 여러 종류의 영상들과 비교하여 어떤 전략물자인지 분류하기 위한 것으로, 3D 모델 데이터를 이용하여 스마트폰 등으로 촬영된 2D 물품의 실사 이미지가 전략물자 품목에 해당하는 지를 심층 신경망 학습에 의한 유사도 비교를 통해 식별하기 위한 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법을 제공하고자 하는 것이다.
본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템은 3D 모델을 통한 3D 모델 영상 정보 획득부와; 상기 3D 모델 영상 정보 획득부와 연결되어 학습에 필요한 대량의 데이터를 생성하는 3D 모델 영상 학습 데이터 생성부와; 2D 모델을 통한 2D 모델 영상 정보 획득부와; 상기 3D 모델 영상 학습 데이터 생성부와 연결되어 3D 모델 영상 학습 데이터 생성부에서 생성된 학습에 필요한 대량의 데이터를 저장하는 데이터 베이스와; 상기 2D 모델 영상 정보 획득부 및 데이터 베이스와 연결되어 2D 모델 영상 정보 획득부로부터 획득된 2D 모델 영상 정보와 데이터 베이스에 저장된 대량의 3D 모델 영상 학습 데이터를 DNN(Deap Neural Network, 심층신경망)을 이용한 유사도 비교부; 및 DNN을 이용한 유사도 비교부와 연결되어, 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도를 판독하는 유사도 판독부를 포함한다.
또한, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법은 3D 모델 영상 정보 획득부에 의해 3D 모델에 대한 3D 모델 영상 정보를 획득하는 단계와; 상기 3D 모델 영상 정보 획득부와 연결된 3D 모델 영상 학습 데이터 생성부를 통해 학습에 필요한 대량의 데이터를 생성하는 단계와; 상기 3D 모델 영상 학습 데이터 생성부를 통해 생성된 학습에 필요한 대량의 데이터가 데이터 베이스에 저장되는 단계와; 2D 모델 영상 정보 획득부에 의해 2D 모델에 대한 2D 모델 영상 정보를 획득하는 단계와; 상기 데이터 베이스에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부로부터 획득된 2D 모델 영상 정보가 DNN을 이용한 유사도 비교부에 입력되어 상호 비교되는 단계; 및 상기 유사도 비교부에 의해 상호 비교된 결과가 유사도 판독부로 전송되어 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도가 판독되는 단계를 포함한다.
본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법은 전략물자를 신속하고 정확하게 자동 분류를 이루어낼 수 있다는 이점이 있다.
또한, 심층신경망 기반을 이용하여 소량의 데이터로부터 대량의 데이터를 확보하여 인식을 수행함으로써 새로운 전략물자에 대해서도 3차원 모델과 소량의 2차원 영상만을 데이터베이스에 추가하여 학습이 가능하다는 이점이 있다.
또한, 대량의 데이터로 학습된 특징 추출기를 이용함으로써, 데이터가 부족한 상황에서 다른 성질의 데이터를 불러와서 학습에 함께 이용하여 적은 양의 데이터만을 가지고도 심층신경망의 학습이 가능할 수 있다는 이점이 있다.
도 1은 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템의 개략적 구성 블럭도.
도 2는 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 개념도.
도 3은 도 1의 3D 모델 영상 학습 데이터 생성부에 의해 생성된 영상의 개념도.
도 4는 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법의 흐름도.
이하, 도면을 참조한 실시 예들의 상세한 설명을 통하여 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법을 보다 상세히 기술하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략될 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 클라이언트나 운용자, 사용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면 전체에 걸쳐 같은 참조번호는 같은 구성 요소를 가리킨다.
이제, 도 1을 참조하여 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템을 살펴보고자 한다.
도 1에 도시된 바와 같이, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템은 3D 모델을 통한 3D 모델 영상 정보 획득부(101)와, 3D 모델 영상 정보 획득부(101)와 연결되어 학습에 필요한 대량의 데이터를 생성하는 3D 모델 영상 학습 데이터 생성부(102)와, 2D 모델(예를 들어, 사진)을 통한 2D 모델 영상 정보 획득부(103)와, 3D 모델 영상 학습 데이터 생성부(102)와 연결되어 3D 모델 영상 학습 데이터 생성부(102)에서 생성된 학습에 필요한 대량의 데이터를 저장하는 데이터 베이스(105)와, 2D 모델 영상 정보 획득부(103) 및 데이터 베이스(105)와 연결되어 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보와 데이터 베이스(105)에 저장된 3D 모델 영상 학습 데이터를 수신하여 비교하는 심층신경망(Deap Neural Network, 이하 "DNN" 이라 총칭함)을 이용한 유사도 비교부(107), 및 DNN을 이용한 유사도 비교부(107)와 연결되어, 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도를 판독하는 유사도 판독부(109)로 구성된다.
여기서, 3D 모델 영상 학습 데이터 생성부(102)는 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있는데, 예를 들어, 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고 Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있다.
또한, 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시킨다.
또한, DNN을 이용한 유사도 비교부(107)는 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보를 수신하여 상호 비교한다. 즉, DNN을 이용한 유사도 비교부(107)에 입력되는 입력은 3D 모델 영상 정보와 2D 모델 영상 정보의 쌍으로 입력되기에 입력되는 데이터의 숫자가 크게 확장되므로, 전략물자에 대한 데이터가 부족한 상황에서의 학습에는 유리할 수 있다.
또한, DNN을 이용한 유사도 비교부(107)는 전이 학습의 학습 방법을 적용하여 서로 다른 성질의 영상 간에 교차 인식을 수행한다.
또한, 유사도 판독부(109)는 시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하는데, 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다.
이제, 도 2를 참조하여 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교의 개념을 살펴보고자 한다.
도 2에 도시된 바와 같이, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교의 개념은 네트워크 1을 통해 2차원 모델 영상에 대한 특징이 학습되며, 네트워크 2를 통해 3차원 모델 영상에 대한 특징이 학습되고, 학습된 2가지 모델 영상에 대하여 생성된 특징이 병합되어 유사성 및 차이점이 학습되고, 최종적으로 유사성 및 차이점이 학습된 2가지 모델 영상의 동일 여부를 판별하는 구조이다.
또한, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교는 DNN을 이용한 유사도 비교부(107)가 이진분류를 기반으로 하고 있으며, 2차원 영상과 3차원 모델 영상의 쌍을 입력으로 하고 이를 활용하여 다수의 분류가 아닌 2분법(동일하다/상이하다) 분류를 수행하기 때문에, 동일한 데이터 베이스에 대하여 높은 판별력을 보인다. 여기서, 3차원 모델 영상을 입력으로 하여 추출된 특징 벡터를 데이터 베이스화하여 저장하므로 네트워크 1에서 추출된 특징 벡터와 데이터 베이스화하여 저장된 특징 벡터를 비교하여 이진 분류가 수행될 수 있다.
또한, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교는 DNN을 이용한 유사도 비교부(107)가 2차원 영상 × 3차원 모델 영상에 해당하는 입력 영상 쌍을 가질 수 있기에, 전체 데이터 베이스가 확장된다.
이제, 도 3을 참조하여 도 1의 3D 모델 영상 학습 데이터 생성부에 의해 생성된 정보 획득부에 의해 획득된 영상의 개념을 살펴보고자 한다.
도 3에 도시된 바와 같이, 본 발명에 따른 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델 영상 정보 획득부(101)에 의해 획득된 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있는데, 예를 들어, 시점에 대한 데이터로는 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고 Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있다. 여기서, 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다. 따라서, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템은 데이터가 부족한 상황에서의 학습에는 더욱 유리한 측면이 있다.
또한, 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델 영상 정보 획득부(101)에 의해 획득된 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시킨다.
이제, 도 4를 참조하여 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법의 흐름을 살펴보고자 한다.
도 4에 도시된 바와 같이, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법은 먼저, 3D 모델 영상 정보 획득부(101)에 의해 3D 모델에 대한 3D 모델 영상 정보를 획득한다(S401).
이후, 3D 모델 영상 정보 획득부(101)와 연결된 3D 모델 영상 학습 데이터 생성부(102)를 통해 학습에 필요한 대량의 데이터를 생성한다(S402).
그 후, 3D 모델 영상 학습 데이터 생성부(102)를 통해 생성된 학습에 필요한 대량의 데이터가 데이터 베이스(105)에 저장된다(S403).
이후, 2D 모델 영상 정보 획득부(103)에 의해 2D 모델에 대한 2D 모델 영상 정보를 획득한다(S404).
그 후, 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보가 DNN을 이용한 유사도 비교부(107)에 입력되어 상호 비교된다(S405).
이후, 유사도 비교부(107)에 의해 상호 비교된 결과가 유사도 판독부(109)로 전송되어 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도가 판독된다(S406).
여기서, S402 단계에서, 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델 영상 정보 획득부(101)에 의해 획득된 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있는데, 예를 들어, 예를 들어, 시점에 대한 데이터로는 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고 Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있다. 여기서, 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다. 따라서, 본 발명에 따른 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법은 데이터가 부족한 상황에서의 학습에는 더욱 유리한 측면이 있다.
또한, S402 단계에서, 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델 영상 정보 획득부(101)에 의해 획득된 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시킨다.
또한, S405 단계에서, 3D 모델 영상 정보와 2D 모델 영상 정보가 입력되기에 입력되는 데이터의 숫자가 크게 확장되므로, 전략물자에 대한 데이터가 부족한 상황에서의 학습에는 유리할 수 있다. 즉, DNN을 이용한 유사도 비교부(107)에 입력되는 입력은 3D 모델 영상 정보와 2D 모델 영상 정보의 쌍으로 입력되기에 입력되는 데이터의 숫자가 크게 확장된다.
또한, S405 단계에서, DNN을 이용한 유사도 비교부(107)는 전이 학습의 학습 방법을 적용하여 서로 다른 성질의 영상 간에 교차 인식을 수행한다.
또한, S406 단계에서, 유사도 판독부(109)는 시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하는데, 상기, 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행한다.
전술한 바와 같이, 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법은 전략물자를 신속하고 정확하게 자동 분류를 이루어낼 수 있다. 또한, 심층신경망 기반을 이용하여 소량의 3D 모델 데이터로부터 대량의 데이터를 확보하여 학습을 함으로써 새로운 전략물자 식별이 가능할 수 있다. 또한, 대량의 데이터로 학습된 특징 추출기를 이용함으로써, 데이터가 부족한 상황에서 다른 성질의 데이터를 불러와서 학습에 함께 이용하여 적은 양의 데이터만을 가지고도 심층신경망의 학습이 가능할 수 있다.
이상과 같이 본 발명은 양호한 실시 예에 근거하여 설명하였지만, 이러한 실시 예는 본 발명을 제한하려는 것이 아니라 예시하려는 것이므로, 본 발명이 속하는 기술분야의 숙련자라면 본 발명의 기술사상을 벗어남이 없이 위 실시 예에 대한 다양한 변화나 변경 또는 조절이 가능할 것이다. 그러므로, 본 발명의 보호 범위는 본 발명의 기술적 사상의 요지에 속하는 변화 예나 변경 예 또는 조절 예를 모두 포함하는 것으로 해석되어야 할 것이다.
101: 3D 모델 영상 정보 획득부
102: 3D 모델 영상 학습 데이터 생성부
103: 2D 모델 영상 정보 획득부 105: 데이터 베이스
107: DNN을 이용한 유사도 비교부 109: 유사도 판독부

Claims (10)

  1. 3D 모델을 통한 3D 모델 영상 정보 획득부(101)와;
    상기 3D 모델 영상 정보 획득부(101)와 연결되어 학습에 필요한 대량의 데이터를 생성하는 3D 모델 영상 학습 데이터 생성부(102)와;
    2D 모델을 통한 2D 모델 영상 정보 획득부(103)와;
    상기 3D 모델 영상 학습 데이터 생성부(102)와 연결되어 3D 모델 영상 학습 데이터 생성부(102)에서 생성된 학습에 필요한 대량의 데이터를 저장하는 데이터 베이스(105)와;
    상기 2D 모델 영상 정보 획득부(103) 및 데이터 베이스(105)와 연결되어 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보와 데이터 베이스(105)에 저장된 대량의 3D 모델 영상 학습 데이터를 DNN(Deap Neural Network, 심층신경망)을 이용한 유사도 비교부(107); 및
    DNN을 이용한 유사도 비교부(107)와 연결되어, 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도를 판독하는 유사도 판독부(109)를 포함하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
  2. 제1항에 있어서,
    상기 3D 모델 영상 학습 데이터 생성부(102)는 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있으며;
    상기 시점에 대한 데이터로는 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고, Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
  3. 제1항에 있어서,
    상기 3D 모델 영상 학습 데이터 생성부(102)는 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시키는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
  4. 제1항에 있어서,
    상기 DNN을 이용한 유사도 비교부(107)는 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보를 수신하여 상호 비교하되, 상기 DNN을 이용한 유사도 비교부(107)에 입력되는 입력은 3D 모델 영상 정보와 2D 모델 영상 정보의 쌍으로 입력되는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
  5. 제1항에 있어서,
    상기 DNN을 이용한 유사도 비교부(107)는 전이 학습의 학습 방법을 적용하여 서로 다른 성질의 영상 간에 교차 인식을 수행하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
  6. 제1항에 있어서,
    상기 유사도 판독부(109)는,
    시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하며;
    상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템.
  7. 3D 모델 영상 정보 획득부(101)에 의해 3D 모델에 대한 3D 모델 영상 정보를 획득하는 단계(S401)와;
    상기 3D 모델 영상 정보 획득부(101)와 연결된 3D 모델 영상 학습 데이터 생성부(102)를 통해 학습에 필요한 대량의 데이터를 생성하는 단계(S402)와;
    상기 3D 모델 영상 학습 데이터 생성부(102)를 통해 생성된 학습에 필요한 대량의 데이터가 데이터 베이스(105)에 저장되는 단계(S403)와;
    2D 모델 영상 정보 획득부(103)에 의해 2D 모델에 대한 2D 모델 영상 정보를 획득하는 단계(S404)와;
    상기 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보가 DNN을 이용한 유사도 비교부(107)에 입력되어 상호 비교되는 단계(S405); 및
    상기 유사도 비교부(107)에 의해 상호 비교된 결과가 유사도 판독부(109)로 전송되어 3D 모델 영상 정보와 2D 모델 영상 정보의 유사도가 판독되는 단계(S406)를 포함하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법.
  8. 제7항에 있어서,
    상기 S402 단계에서, 상기 3D 모델 영상 학습 데이터 생성부(102)는 하나의 3D 모델만으로도 시점에 따른 다양한 데이터를 획득할 수 있으며;
    상기 시점에 대한 데이터로는 기준 위치로부터 X축을 기준으로 0°~ 90°까지 15°간격으로 7가지 각도의 데이터를 획득하고, Y축을 기준으로 0°~ 360°까지 15°간격으로 24가지 각도의 데이터를 획득함으로써, 총 7×24 = 168개의 데이터를 획득할 수 있으며;
    상기 3D 모델 영상 정보 획득부(101)에 의해 획득된 3D 모델의 물체의 형태에 대한 정보만을 이용하기 위해 3D 모델의 색과 배경을 통일시키는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법.
  9. 제7항에 있어서,
    상기 S405 단계에서, 상기 DNN을 이용한 유사도 비교부(107)는 데이터 베이스(105)에 저장된 대량의 데이터와 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상 정보를 수신하여 상호 비교하되, 상기 DNN을 이용한 유사도 비교부(107)에 입력되는 입력은 3D 모델 영상 정보와 2D 모델 영상 정보의 쌍으로 입력되며;
    전이 학습의 학습 방법을 적용하여 서로 다른 성질의 영상 간에 교차 인식을 수행하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법.
  10. 제7항에 있어서,
    상기 S406 단계에서, 유사도 판독부(109)는 시점에 대한 데이터로 하나의 3D 모델에 대해 획득된 168개의 데이터를 2D 모델 영상 정보 획득부(103)로부터 획득된 2D 모델 영상과 비교하여 유사도 판단 및 분류를 수행하며, 상기 3D 모델 영상과 2D 모델 영상으로부터 각각 추출된 두 특징 벡터 사이의 거리를 비교하여 유사도 판단 및 분류를 수행하는 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 방법.
KR1020190034881A 2019-03-27 2019-03-27 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법 KR102193329B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190034881A KR102193329B1 (ko) 2019-03-27 2019-03-27 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190034881A KR102193329B1 (ko) 2019-03-27 2019-03-27 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200113939A true KR20200113939A (ko) 2020-10-07
KR102193329B1 KR102193329B1 (ko) 2020-12-22

Family

ID=72883367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190034881A KR102193329B1 (ko) 2019-03-27 2019-03-27 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102193329B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346152A (ja) * 2002-05-24 2003-12-05 Sony Corp 物体認識装置及び方法並びにロボット装置
KR20050097314A (ko) * 2004-04-01 2005-10-07 한국과학기술원 물체인식 시스템 및 방법
KR20160060657A (ko) * 2013-08-28 2016-05-30 지멘스 헬스케어 게엠베하 의료 이미지들 및 임상학적 데이터로부터 생리학적 심장 측정치들을 추정하기 위한 시스템들 및 방법들
KR20160083900A (ko) * 2013-11-04 2016-07-12 페이스북, 인크. 얼굴 표현을 위한 시스템 및 방법
KR101932009B1 (ko) * 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 다중 객체 검출을 위한 영상 처리 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346152A (ja) * 2002-05-24 2003-12-05 Sony Corp 物体認識装置及び方法並びにロボット装置
KR20050097314A (ko) * 2004-04-01 2005-10-07 한국과학기술원 물체인식 시스템 및 방법
KR20160060657A (ko) * 2013-08-28 2016-05-30 지멘스 헬스케어 게엠베하 의료 이미지들 및 임상학적 데이터로부터 생리학적 심장 측정치들을 추정하기 위한 시스템들 및 방법들
KR20160083900A (ko) * 2013-11-04 2016-07-12 페이스북, 인크. 얼굴 표현을 위한 시스템 및 방법
KR101932009B1 (ko) * 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 다중 객체 검출을 위한 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR102193329B1 (ko) 2020-12-22

Similar Documents

Publication Publication Date Title
Melekhov et al. Dgc-net: Dense geometric correspondence network
Jack et al. Learning free-form deformations for 3d object reconstruction
US8712156B2 (en) Comparison of visual information
US9418313B2 (en) Method for searching for a similar image in an image database based on a reference image
Torresani et al. Feature correspondence via graph matching: Models and global optimization
CN108229539A (zh) 用于训练神经网络的方法、计算机程序产品和装置
EP3905194A1 (en) Pose estimation method and apparatus
CN107481279A (zh) 一种单目视频深度图计算方法
CN110781920B (zh) 一种室内场景点云部件语义信息的识别方法
Spezialetti et al. Learning to orient surfaces by self-supervised spherical cnns
Xu et al. A convolutional neural network for point cloud instance segmentation in cluttered scene trained by synthetic data without color
CN112887897B (zh) 终端的定位方法、装置和计算机可读存储介质
CN110598019A (zh) 重复图像识别方法及装置
Pan et al. Residual meshnet: Learning to deform meshes for single-view 3d reconstruction
Dewan et al. Learning a local feature descriptor for 3d lidar scans
CN116229019A (zh) 面向数字孪生的大场景融合三维重建方法及系统
Gojcic et al. Robust pointwise correspondences for point cloud based deformation monitoring of natural scenes
Pratikakis et al. Partial 3d object retrieval combining local shape descriptors with global fisher vectors
Zhu et al. Accurate, scalable and parallel structure from motion
KR102193329B1 (ko) 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법
CN111861878B (zh) 通过潜在空间正则化对监督式生成对抗网络进行优化
Chen et al. End-to-end multi-view structure-from-motion with hypercorrelation volume
CN114494773A (zh) 一种基于深度学习的零件分拣识别系统和方法
Bellavia et al. Progressive keypoint localization and refinement in image matching
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、系统和介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant