KR101644426B1 - 변형3d모델에 대응되는 원본3d모델 인식방법 - Google Patents

변형3d모델에 대응되는 원본3d모델 인식방법 Download PDF

Info

Publication number
KR101644426B1
KR101644426B1 KR1020150137913A KR20150137913A KR101644426B1 KR 101644426 B1 KR101644426 B1 KR 101644426B1 KR 1020150137913 A KR1020150137913 A KR 1020150137913A KR 20150137913 A KR20150137913 A KR 20150137913A KR 101644426 B1 KR101644426 B1 KR 101644426B1
Authority
KR
South Korea
Prior art keywords
model
original
feature information
information
depth image
Prior art date
Application number
KR1020150137913A
Other languages
English (en)
Inventor
김종원
김예진
김훈
조정석
Original Assignee
상명대학교서울산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교서울산학협력단 filed Critical 상명대학교서울산학협력단
Priority to KR1020150137913A priority Critical patent/KR101644426B1/ko
Application granted granted Critical
Publication of KR101644426B1 publication Critical patent/KR101644426B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 변형된 3D 모델 인식 방법 및 장치에 관한 것으로서 더욱 상세하게는 STL 파일로 저장된 원본 3D모델을 변형시킨 모델로부터 원본 3D 모델을 인식하기 위한 변형된 3D 모델 인식 방법 및 장치에 관한 것이다.

Description

변형3D모델에 대응되는 원본3D모델 인식방법{The method for identifying modified 3D models}
본 발명은 변형3D모델에 대응되는 원본3D모델 인식방법에 관한 것으로서 더욱 상세하게는 STL 파일로 저장된 원본 3D모델을 변형한 모델로부터 원본 3D 모델을 인식하기 위한 변형3D모델에 대응되는 원본3D모델 인식방법에 관한 것이다.
최근 IT산업계에서는 3D모델링 및 프린팅 기술의 발전이 비약적이다. 3D 프린터는 3차원의 입체 물품을 만들어내는 기계이며, 기존의 2D 프린터가 앞뒤(x축)와 좌우(y축)으로만 운동하는 것과 달리, 3D 프린터는 상하(z축) 운동을 더하여 입력한 3D 도면을 바탕으로 입체 물품을 만들어낸다. 제작 단계는 모델링(modeling), 프린팅(printing), 피니싱(finishing)으로 이루어진다.
모델링은 3D 도면을 제작하는 단계로, 3D CAD(computer aided design)나 3D 모델링 프로그램 또는 3D 스캐너 등을 이용하여 제작하는 것이다. 프린팅은 모델링 과정에서 제작된 3D 도면을 이용하여 물체를 만드는 단계로, 적층형 또는 절삭형 등으로 작업을 진행하는 것이다. 피니싱은 산출된 제작물에 대해 보완 작업을 하는 단계로, 색을 칠하거나 표면을 연마하거나 부분 제작물을 조립하는 등의 작업을 진행하는 것이다.
3D 도면을 제작하는 단계의 모델링에서 쓰이는 3D 모델링 프로그램의 파일형식은 STL, OBJ, STEP등이 있으며 이것을 이용하면 누구든지 3D 도면을 제작할 수 있다. 그 중 일반적으로 많이 쓰이는 파일 형식은 STL이며, STL이란 Standard Template Library의 줄인 말로서 표준 탬플릿 라이브러리이다. STL(Standard Template Library)은 일반적인 자료 구조와 알고리즘을 구현해 놓은 라이브러리의 집합이다. 지원하는 자료구조에는 vector, map, set 등이 있으며, 여러 가지 탐색 변경 알고리즘을 구현할 수 있도록 지원한다.
최근 3D 프린터의 특허권이 만료됨에 따라 3D 프린터의 가격이 하락추세에 있으며, 미국과 유럽 등의 3D프린터 산업의 선발국가에서는 산업현장에서뿐만 아니라 일반인도 3D 프린터를 활용할 수 있게 되었다. 이에 따라 가정이나 기업에서 원본 STL 파일 설계도를 이용하여 3D 프린터 사용을 할 수 있게 되었지만 원본 STL 파일 설계도에서 사용자의 기호에 맞게 변형하여 사용하고 유포할 가능성 또한 높아지게 되었다.
원본을 카피하여 2차적 복제를 행하는 저작권법 등을 침해하는 불법행위가 자행되어 있지만 원본을 변형하는 복제권, 동일성 유지권 등의 권리 침해를 입증하기 위한 기술은 단순히 같은 모양을 찾거나 유사한 모양을 찾는 인식 기술에 그쳐 정확도와 속도가 떨어지는 등 원본을 찾아내기에는 부족한 바, 저작권 등의 침해문제를 제재하기 위한 기반기술로서 원본을 인식하는 기술에 대한 연구가 시급하다.
본 발명은 상술한 바와 같이 STL 파일 설계도의 변형 및 배포시 원본 STL파일에 대한 권리를 보호하기 위하여 원본 STL파일을 변형하여 사용하였는지 판단할 수 있도록 1) 변형된 3D모델을 원본모델과 유사한 형태로 변형시키는 전처리과정을 걸치고, 2) 원본모델에 대해 1장의 깊이이미지에 특징정보를 저장한 DB를 구축하여 3) 변형된 3D모델을 비교하여 원본모델을 검색하되, 불필요한 특징정보를 삭제하여 정확도 및 인식도를 향상시킬 수 있는 알고리즘을 제공하고자 한다.
상기한 기술적 과제를 해결하기 위해 본 발명은 「전처리과정을 거친 원본3D모델의 결합깊이이미지로부터 추출된 특징정보를 포함하여 구성된 1 이상의 원본모델정보가 저장된 원본모델DB(database,100)가 구축되어 있으며, 변형3D모델을 입력받는 입력부(200), 입력된 변형3D모델로부터 특징정보를 추출하는 전산처리부(300) 및 상기 변형3D모델의 특징정보를 상기 원본모델정보의 특징정보와 비교하여 대응하는 원본3D모델을 인식하는 비교분석부(400)를 포함하는 시스템에 의하여 수행되는 원본3D모델 인식방법으로서, (A) 상기 전산처리부(300)가 상기 입력부(200)로부터 입력된 변형3D모델을 정규화하여 쿼리3D모델을 생성하는 단계; (B) 상기 전산처리부(300)가 상기 쿼리3D모델로부터 깊이이미지를 생성하는 단계; (C) 상기 전산처리부(300)는 상기 깊이이미지로부터 특징정보를 추출하는 단계; (D) 상기 비교분석부(400)는 상기 쿼리3D모델의 특징정보와 상기 원본모델DB(100)에 저장된 원본모델정보의 특징정보를 비교하여 매칭값이 설정된 임계치 이상이 되는 경우의 원본모델정보를 대응모델정보로 추출하는 단계; 및 (E)상기 비교분석부(400)는 상기 쿼리3D모델의 깊이이미지를 상기 대응모델정보에 매칭될 수 있도록 보정하고, 보정후의 특징정보를 다시 상기 대응모델정보의 특징정보와 비교한 재매칭값이 상기 매칭값과 같거나 큰 경우에는 상기 대응모델정보를 최종원본모델로 선택하는 단계;를 포함하여 이루어지는 변형3D모델에 대응되는 원본3D모델 인식방법」을 제공하는 것을 목적으로 한다.
특히 상기 (A) 단계는 상기 전산처리부(300)가, (A-1) 상기 변형3D모델의 가중치 및 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 구하는 단계;(A-2) 상기 가중치에 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 곱하여 각 3D점의 WISR(Weighted Implicit Shape Representation)을 산출하는 단계; (A-3) WISR이 0 초과인 3D점만을 선택하여 SVD(Singular Value Decomposition) 함수에 따라 3개의 주성분축을 도출하고, 선택된 3D점값과 각 3D점의 WISR의 곱의 합을 선택된 3D점값의 WISR의 합을 나누어 상기 변형3D모델의 무게중심을 도출하고, 선택된 3D점값의 WISR의 합의 세제곱근의 값을 스케일팩터로 도출하는 단계; 및 (A-4) 상기 변형3D모델을 상기 주성분축, 무게중심 및 스케일팩터로 전처리과정을 거쳐 쿼리3D모델을 생성하는 단계;를 수행될 수 있도록 구성함을 목적으로 한다.
또한, 상기 원본모델DB(database,100)의 원본모델정보는 전처리과정을 수행한 원본3D모델로부터 N개의 깊이이미지를 추출하여 1개의 결합깊이이미지로 결합시킨 후 상기 결합깊이이미지에 특징정보추출알고리즘을 적용시켜 추출한 특징정보를 포함하도록 구성된 것을 목적으로 한다.
또한, 상기 (E)단계는, 상기 쿼리3D모델의 깊이이미지 보정이, (E-1) 상기 쿼리3D모델의 깊이이미지에서 설정개수만큼 추출한 샘플특징정보로 호모그래피 매트릭스를 생성하는 단계; (E-2) 생성된 호모그래피 매트릭스가 RANSAC(Random Sample Consensus) 알고리즘과 같은 설정조건을 만족하지 못하는 경우에는 상기 샘플특징정보를 삭제하는 단계; (E-3) 상기 (E-1) 및 (E-2) 단계가 1000번 이상 반복되는 단계;를 수행하여 이루어질 수 있음을 목적으로 한다.
또한 (E)단계는 최대의 컨센서스를 이룬 특징대응점들의 매칭값이 상기 (D)단계에서의 매칭값보다 증가하거나 같다면 상기 쿼리3D모델에서 상기 원본3D모델을 추출하고 최대의 컨센서스를 이룬 특징정보들의 매칭값이 상기 (D)단계에서의 매칭값보다 감소하였다면 상기 쿼리3D모델에서 상기 원본3D모델을 추출할 수 없으며 결론을 맺는 단계를 포함하여 이루어지도록 구성함을 목적으로 한다.
본 발명에 따르면 다음과 같은 효과가 기대된다.
첫째, 원본모델DB(Data Base)구축 시 여러 방향에서 추출한 깊이 이미지를 한 장으로 결합하여 특징정보를 추출하므로 특징정보의 추출시간을 감소시킴과 동시에 원본3D모델과의 비교도 신속하게 처리할 수 있어, 신속하면서도 정확한 결과값을 얻을 수 있다.
둘째, 전처리과정을 통하여 깊이 이미지의 오차범위를 줄여서 정확한 결과를 얻을 수 있다.
셋째, 원본3D모델의 특징정보를 변형된 3D모델의 특징정보와 비교할 때, 쿼리3D모델의 특징정보의 보정을 통하여 설정조건에 부합하지 않는 특징 정보를 감소시켜 정확도를 높일 수 있어, 변형된 3D모델의 원본모델을 신속하게 인식해낼 수 있어 저작권법 등 위반의 침해행위에 효과적으로 대처할 수 있다.
[도 1]은 본 발명의 인식방법에 대한 개략적인 흐름도이다.
[도 2]는 본 발명의 원본모델정보 생성에 대한 흐름도이다.
[도 3]은 본 발명의 원본3D모델의 전처리과정에 대한 흐름도이다.
[도 4]는 본 발명의 변형3D모델의 전처리과정에 대한 흐름도이다.
[도 5]는 본 발명의 쿼리3D모델을 보정하는 과정(E단계)에 대한 흐름도이다.
[도 6]는 본 발명의 원본3D모델 및 쿼리3D모델의 PCA, ISR, WISR에 비교표이다.
[도 7]은 본 발명의 원본3D모델의 결합깊이이미지 및 특징정보가 추출된 결합깊이이미지에 대한 실시예이다.
[도 8]은 본 발명은 원본모델정보의 결합깊이이미지와 쿼리3D모델의 특징정보를 매칭한 실시예이다.
[도 9]는 본 발명의 (E)단계의 매칭 및 재매칭하는 과정을 실시예이다.
[도 10]은 본 발명의 (E)단계는 쿼리3D모델의 깊이이미지에 왜곡보정을 실시한 경우의 오버랩핑한 실시예이다.
본 발명은 전처리과정을 거친 원본3D모델의 결합깊이이미지로부터 추출된 특징정보를 포함하여 구성된 1 이상의 원본모델정보가 저장된 원본모델DB(database,100), 변형3D모델을 입력받는 입력부(200), 입력된 변형3D모델로부터 특징정보를 추출하는 전산처리부(300) 및 상기 변형3D모델의 특징정보를 상기 원본모델정보의 특징정보와 비교하여 대응하는 원본3D모델을 인식하는 비교분석부(400)를 포함하는 시스템에 의하여 수행되는 원본3D모델 인식방법으로서, (A) 상기 전산처리부(300)가 상기 입력부(200)에 입력된 변형3D모델에 대하여 전처리과정을 거쳐서 쿼리3D모델을 생성하는 단계; (B) 상기 전산처리부(300)가 상기 쿼리3D모델로부터 깊이이미지를 생성하는 단계; (C) 상기 전산처리부(300)가 상기 깊이이미지로부터 특징정보를 추출하는 단계; (D) 상기 비교분석부(400)가 상기 쿼리3D모델의 특징정보와 상기 원본모델DB(100)에 저장된 원본모델정보의 특징정보를 비교하여 매칭값이 임계치 이상이 되는 경우의 원본모델정보를 대응모델정보로 선택하는 단계; 및 (E) 상기 비교분석부(400)는 상기 쿼리3D모델의 깊이이미지를 왜곡보정처리하고, 왜곡보정후의 깊이이미지로부터 추출한 특징정보를 다시 상기 대응모델정보의 특징정보와 비교한 재매칭값이 상기 매칭값과 같거나 큰 경우에는 상기 대응모델정보를 최종원본모델정보로 인식하는 단계;를 포함하여 이루어지는 변형3D모델에 대응되는 원본3D모델 인식방법을 제공한다.
또한 본 발명에서 상기 (A) 단계의 전처리과정은, (A-1) 상기 변형3D모델로부터 특정조건에 의해 산출한 가중치 및 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 구하는 단계; (A-2) 상기 가중치에 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 곱하여 각 3D점의 WISR(Weighted Implicit Shape Representation)을 산출하는 단계; (A-3) 상기 변형3D모델에서 WISR이 0 초과인 3D점만을 선택하여 하기 [수식 2]에 따라 SVD(Singular Value Decomposition) 함수에 따라 3개의 주성분축을 도출하고, 상기 변형3D모델의 무게중심은 하기 [수식 3]과 같이 산출하고, 스케일팩터는 하기 [수식 4]와 같이 산출하는 단계; 및 (A-4) 상기 변형3D모델을 상기 주성분축, 무게중심 및 스케일팩터에 맞게 처리하여 쿼리3D모델을 생성하는 단계;를 수행하여 이루어지는 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법을 함께 제공한다.
상기 (A-2)단계 이후에는 각 3D점의 WISR을 양자화하여 양자화된 WISR을 산출하고, 상기 (A-3)단계에서는 WISR 대신 양자화된 WISR을 적용할 수 있다.
또한 본 발명은 상기 (E)단계에서 상기 쿼리3D모델의 깊이이미지의 왜곡보정이, (E-1) 상기 쿼리3D모델의 깊이이미지의 특징정보 중 일정 개수의 샘플특징정보를 선택하여 호모그래피 매트릭스를 생성하는 단계; (E-2) 생성된 호모그래피 매트릭스가 RANSAC(Random Sample Consensus) 알고리즘이 적용된 설정조건을 만족하지 못하는 경우에는 상기 샘플특징정보를 상기 쿼리3D모델의 깊이이미지의 특징정보에서 제거하는 단계;(E-3) 상기 (E-1) 및 (E-2) 단계를 1000번 이상 반복하는 단계;를 수행하여 이루어지는 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법을 함께 제공한다.
또한 본 발명은 상기 원본모델DB(database,100)의 원본모델정보가 전처리과정을 수행한 원본3D모델로부터 N개의 깊이이미지를 추출하여 1개의 결합깊이이미지로 결합시킨 후 상기 결합깊이이미지에 특징정보추출알고리즘을 적용시켜 추출한 특징정보를 포함하여 구성된 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법을 함께 제공한다.
또한 본 발명은 상기 원본모델DB의 원본모델정보를 생성하기 위한 원본3D모델에 이루어지는 전처리과정은, (1) 상기 원본3D모델로부터 특정조건에 의해 산출한 가중치 및 상기 원본3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 구하는 단계;(2) 상기 가중치에 상기 원본3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 곱하여 각 3D점의 WISR(Weighted Implicit Shape Representation)을 산출하는 단계; (3) 상기 원본3D모델에서 WISR이 0 초과인 3D점만을 선택하여 하기 [수식 2]에 따라 SVD(Singular Value Decomposition) 함수에 따라 3개의 주성분축을 도출하고, 상기 원본3D모델의 무게중심은 하기 [수식 3]과 같이 산출하고, 스케일팩터는 하기 [수식 4]와 같이 산출하는 단계; 및 (4) 상기 원본3D모델을 상기 주성분축, 무게중심 및 스케일팩터에 맞게 처리하는 단계;를 수행하여 이루어지는 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법을 함께 제공한다.
이하에서는 본 발명에 따른 변형3D모델에 대응되는 원본3D모델 인식방법에 관하여 첨부한 도면을 참조하면서 상세하게 설명한다.
[도 1]은 본 발명의 인식방법에 대한 개략적인 흐름도이다. 이를 참고하면, 본 발명은 원본모델정보가 저장된 원본모델DB(database,100)가 구축되어 있으며, 변형3D모델을 입력받는 입력부(200), 입력된 변형3D모델로부터 특징정보를 추출하는 전산처리부(300) 및 상기 변형3D모델의 특징정보를 상기 원본모델정보의 특징정보와 비교하여 대응하는 원본3D모델을 인식하는 비교분석부(400)를 포함하는 시스템을 이용하여 구성된다.
즉, 변형3D모델이 어떤 원본3D모델을 복제하여 제작되었는지를 확인하기 위하여 원본모델DB를 검색하여 매칭되는 원본모델정보가 인식하는 방법을 제시하고 있으므로, 변형3D모델과 비교되는 원본모델DB가 사전에 구축 및 실시간 갱신이 되고 있음을 전제로 한다.
본 발명에서는 양 3D모델의 비교시 정확도, 인식도 및 매칭속도를 높이기 위하여 기존의 깊이이미지를 그대로 비교하는 것이 아니라 1장으로 구성된 결합깊이이미지를 생성하고 이의 특징정보를 저장한 원본모델정보를 사전에 원본모델DB로 구축해 두고 있는 점이 일 특징이 될 수 있다. 이는 하나의 결합이미지에서 한번에 특징정보를 추출할 수 있어 신속도가 높다. [도 2]는 본 발명의 원본모델정보 생성에 대한 흐름도이다. 이를 참고하면 원본모델정보에는 전처리과정을 거친 원본3D모델의 결합깊이이미지로부터 추출된 특징정보를 포함하고 있음을 확인할 수 있다. 상기 특징정보 이외에도 원본3D모델, 전처리과정을 거친 원본3D모델의 결합깊이이미지를 포함할 수도 있으며, 원본3D모델에 대한 메타데이터가 상기 특징정보에 포함될 수 있다.
원본모델정보의 특징정보를 추출하기 위한 원본3D모델은 STL 파일로 저장된 입체이미지 원본 그 자체를 의미한다. 본 발명에서는 이를 직접 변형3D모델과 비교하는 것이 아니라 본 발명에서는 전처리과정을 거친 원본3D모델의 결합깊이이미지 로부터 추출된 특징정보를 서로 비교하게 되는데, 이하에서는 원본모델DB에 원본모델정보을 구성하는 각 원본3D모델의 특징정보를 생성하는 과정을 설명한다.
[도 3]는 본 발명에 따른 원본3D모델의 전처리과정에 대한 흐름도이다. 원본3D모델의 결합깊이이미지를 생성하기 위하여 N개의 깊이이미지를 추출하게 되는데, 이 때 원본3D모델의 전처리과정이 선행될 필요가 있다. 이는 변형3D모델의 깊이이미지를 생성하기 위하여 원본3D모델의 형태를 일정 규격으로 맞춰놓아야 비교정확도가 향상되기 때문이다. 상기 전처리과정은 [도 3]의 같은 과정에 따라 (1) 상기 원본3D모델로부터 특정조건에 의해 산출한 가중치 및 상기 원본3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 구하는 단계;(2) 상기 가중치에 상기 원본3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 곱하여 각 3D점의 WISR(Weighted Implicit Shape Representation)을 산출하는 단계; (3) 상기 원본3D모델에서 WISR이 0 초과인 3D점만을 선택하여 후술하는 하기 [수식 2]에 따라 SVD(Singular Value Decomposition) 함수에 따라 3개의 주성분축을 도출하고, 상기 원본3D모델의 무게중심은 후술하는 하기 [수식 3]과 같이 산출하고, 스케일팩터는 하기 후술하는 [수식 4]와 같이 산출하는 단계; 및 (4) 상기 원본3D모델을 상기 주성분축, 무게중심 및 스케일팩터에 맞게 처리하는 단계;를 수행하여 이루어지는 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법을 함께 제공한다.
먼저 원본3D모델의 전처리과정에서 ISR을 구하기 위하여 해당 원본3D모델이 1)폴리곤 매시인 경우와 2)그 자체가 이미 복셀화된 경우로 나누어서 처리될 수 있다.
만약 원본3D모델이 폴리곤 매시인 경우에는 추가적으로 해당 폴리곤 매시를 복셀화하는 과정이 필요하다. 폴리곤 매시를 복셀화하게 되면 3D모델 형태를 구성하는 많은 3D점을 생성하게 되는데, 이러한 3D 점들은 폴리곤 매시의 외부, 내부 또는 위에 존재할 수 있다. 이 때 폴리곤 매시의 내부에 속하는 점들만 선택하여 폴리곤 매시의 내부에 속한 각 점과 원본3D모델의 표면 위의 모든 폴리곤 매시 사이 거리를 구하고 거리값들 중에서 제일 작은 값을 선택하여 그 점의 ISR(Implicit Shape Representation)로 정한다.
만약 원본3D모델이 폴리곤 매시가 아니고 그 자체로 복셀로 되어 있으면 모든 점들을 선택한다. 그리고 각 점과 3D 모델의 표면에 있는 모든 점 사이 거리를 구하고 거리 값들 중에서 제일 작은 값을 선택하여 그 점의 ISR로 정한다.
또한 원본3D모델의 전처리과정에서 사용되는 원본3D모델의 가중치는 상기 원본3D모델로부터 특정조건에 의해 산출한 가중치로서, 해당 특정조건은 모든 3D 점들을 군집하여 계산한 결과값에서 구할 수 있는데 이 때 부호율 변형 이론 (rate distortion theory) 및 K-means 군집 알고리즘을 이용하여 계산한다. 3D 점들을 군집하기 위해서는 우선 군집 개수를 계산하여야 하는데, 군집 개수의 계산방법은 부호율 변형 이론 (rate distortion theory)을 이용한다.
다음 [수식 1]은 부호율 변형 이론의 함수이다.
[수식 1-1]
Figure 112015094750566-pat00001
[수식 1-2]
Figure 112015094750566-pat00002
[수식 1-3]
Figure 112015094750566-pat00003
[수식 1-4]
Figure 112015094750566-pat00004
Figure 112015094750566-pat00005
: distortion
Figure 112015094750566-pat00006
: 기대값 계산
Figure 112015094750566-pat00007
: 3D 매시(MESH) 내의 3D점들의 집합
Figure 112015094750566-pat00008
: covariance
Figure 112015094750566-pat00009
: 점
Figure 112015094750566-pat00010
에 가장 가까운 클러스터 중심
Figure 112015094750566-pat00011
: maximum 클러스터 개수
P는 3D모델의 매시 내의 3D점들의 집합을 의미한다. 상기 [수식 1]을 이용하여 3D모델 mesh내의 3D점들의 집합을 구할 수 있다.
상기 [수식 1-1]의 결과값인 P값을 [수식 1-2]에 대입하여
Figure 112015094750566-pat00012
값을 구한다. C는 점
Figure 112015094750566-pat00013
에 가장 가까운 클러스터의 중심을 의미한다. 또한
Figure 112015094750566-pat00014
는 공 분산(Convariance)을 의미한다. E는 기대값을 계산한 값이다.
[수식 1-3]에서 K는 클러스트 개수의 최대값을 의미한다. d는 변형값(distortion)이다. [수식 1-4]에서 argmax는
Figure 112015094750566-pat00015
가 최대값이 되도록하는
Figure 112015094750566-pat00016
을 구하는 것으로서, [수식 1-4]의 결과값인
Figure 112015094750566-pat00017
가 군집 개수가 되며 군집 개수만큼 3D 점들을 k-means 군집 알고리즘을 이용하여 군집한다.
K-means 군집 알고리즘은 입력 데이터를 군집화하는 알고리즘으로 입력 벡터들이 입력된 다음 가중 백터들을 갱신하는 방법으로써 비슷한 입력 데이터들을 모아 클러스터를 만든다. 군집된 각 클러스터의 중심 사이 거리를 구하고 그 거리값들 중 가장 작은 값의 절반을 반지름으로 하여 각 클러스터의 중심을 원점으로 하는 구들을 형성한다. 그리고 각 구 속에 들어있는 점들의 개수가 그 클러스터 내의 점들의 가중치가 된다. 따라서 같은 클러스터 내의 점들은 각각 같은 가중치를 갖게 된다.
상기와 같이 추출한 가중치를 ISR과 곱하여 WISR(weighted ISR)를 생성하게 되는데, 이 때 WISR은 그 값 그대로 사용할 수도 있으며, 양자화하여 적용시킬 수도 있다. 양자화란 변수가 취하는 값의 변위를 중복되지 않는 유한 개의 부분 범위 또는 부분 구간으로 나누는 것으로서 작은 범위의 값들은 해당 범위의 할당된 값으로 표현한다. 양자화된 WISR을 사용함이 바람직하다.
상기와 같이 산출된 WISR 중에서 0보다 큰 WISR와 대응되는 3D 점들을 선택하고, 특이값 분해로서 행렬을 특정한 구조로 분해하는 방식인 SVD(singular value decomposition)를 이용하여 3개의 주성분 축, 즉 x, y, z축을 얻을 수 있다.
[수식 2]
Figure 112015094750566-pat00018
Figure 112015094750566-pat00019
: 0보다 큰 WISR값을 갖고있는 3D점
Figure 112015094750566-pat00020
:
Figure 112015094750566-pat00021
의 개수
Figure 112015094750566-pat00022
:
Figure 112015094750566-pat00023
들의 평균값
Figure 112015094750566-pat00024
: 매트릭스 전치
Figure 112015094750566-pat00025
: 주성분 축
또한 상기 산출된 WISR와 각 3D 점들의 곱의 합에서 WISR의 합을 나누어 3D 모델의 무게중심을 구한다.
[수식 3]
Figure 112015094750566-pat00026
Figure 112015094750566-pat00027
: 3D모델 mesh내의 3D점
Figure 112015094750566-pat00028
: 3D점 개수
Figure 112015094750566-pat00029
: WISR
Figure 112015094750566-pat00030
: 무게중심
마지막으로 WISR 합의 세제곱근을 3D 모델의 스케일팩터로 산출한다.
[수식 4]
Figure 112015094750566-pat00031
Figure 112015094750566-pat00032
: 3D모델 mesh내의 3D점
Figure 112015094750566-pat00033
: 3D점 개수
Figure 112015094750566-pat00034
: WISR
Figure 112015094750566-pat00035
: scale factor(스케일팩터)
이와 같이 산출된 3개의 주성분축, 무게중심 및 스케일팩터로 전처리가 수행되어 쉐이프 정규화가 이루어지는 바, 전처리과정을 거쳐 생성된 주성분 축에 따라 원본3D모델을 회전하고, 스케일팩터만큼 원본3D모델을 확대 또는 축소하고, 산출된 무게중심에 따라 무게중심을 원점으로 원본3D모델을 이동시킨 후에 결합깊이이미지를 생성하게 된다.
본 발명의 전처리과정을 수행하였을 경우 실제 모델과 유사한 형태의 깊이이미지를 생성할 수 있는 효과가 있다. [도 6]은 3D모델의 PCA, ISR, WISR에 비교표이다. 이를 참고하면, 원본3D모델에 전처리과정에서 PCA 또는 ISR를 적용하는 경우보다 WISR을 이용하였을 때 더 정확하게 원래의 STL파일에서 구현한 3D모델을 인식할 수 있음을 확인할 수 있다. PCA는 원래의 3D모델과 비교하였을 때 방향이 왼쪽으로 틀어져 있어 정확한 값이 아니며 ISR은 방향이 틀어져있는 것과 동시의 좌우반전이 되어 정확한 값을 추출할 수 없다. 하지만, WISR의 경우 다른 두 개의 경우보다 회전 크기가 작고 좌우반전이 되어있지 않아 원래의 3D모델과 유사함을 확인할 수 있다.
상기와 같이 전처리과정이 수행된 원본3D모델에 대해 본 발명에서 제시하는 결합깊이이미지를 생성하는데, 이는 상기 원본3D모델에서 추출한 N개의 깊이이미지를 결합하여 1개의 결합깊이이미지를 생성하되, 상기 결합깊이이미지에 특징정보추출 알고리즘을 적용하여 설정조건에 맞는 특징정보를 추출하여 원본모델정보를 저장된 것을 특징으로 한다.
기존에는 다수개의 깊이이미지마다 특징정보를 각각 추출하여야 했는데, 이 경우 깊이이미지로부터 특징정보를 추출하는 시간이 오래걸리고, 원본3D모델과의 비교시의 시간이 지연되면서도 정확도가 떨어지는 문제점이 있었다. 이에 본 발명은 3D모델도면을 여러 방향에서 추출한 깊이이미지를 한 장으로 결합하는 방식의 결합깊이이미지를 생성하고 이로부터 특징정보를 추출하여 원본모델DB에 저장하는 방식을 개발하였다.
먼저, 상기 원본3D모델에서 추출한 N개의 깊이이미지를 배열·결합하여 1개의 결합깊이이미지를 생성하는데, 이는 [도 7]에서 그 실시예를 확인할 수 있다. 일반적으로 6개의 뷰포인트에서 생성한 6개의 깊이이미지를 결합하는 것이 바람직하다.
이렇게 생성된 결합깊이이미지에 특징정보추출 알고리즘을 적용하여 설정조건에 맞는 특징정보를 추출하게 되는데, 이 때 여러 개의 깊이이미지를 추출할 때에는 해당 3D모델을 구 형태로 둘러싸고 사용자가 원하는 방향에서 3D모델의 깊이이미지를 찍어서 추출하고, 이 때 구 형태로 둘러싸인 모델과 깊이이미지를 찍는 뷰 포인트는 이미지마다 일정한 거리를 가지게 된다. 여러 개의 깊이이미지가 결합된 결합깊이이미지로부터 추출된 원본모델정보의 특징정보는 후술하는 변형3D모델에서 추출한 결합이미지의 특징정보와 비교시 비교속도 및 정확도를 높일 수 있다.
예를 들어 기존의 깊이이미지를 이용하는 경우에는 6장의 깊이이미지로부터 특징정보를 각각 추출하여야 하며, 변형3D모델의 6장의 깊이이미지와 비교하는 경우 36번의 비교가 이루어져야 하나, 본 발명의 결합깊이이미지로부터 추출한 특징정보를 포함하는 원본모델정보를 이용하는 경우에는 6번의 비교만으로 충분하므로 비교속도를 향상시킬 수 있다. 또한 동일한 모델에 대한 깊이이미지를 한번에 비교하게 되므로, 각 깊이이미지의 특징정보마다 별도로 계산될 수 밖에 없던 특징정보의 매칭값이 전체적인 매칭값으로 계산되어 비교되므로 정확도가 향상되는 효과가 있다.
[도 8]은 본 발명은 원본모델정보의 결합깊이이미지와 쿼리3D모델의 깊이이미지를 매칭한 실시예이다. 이를 참고하면 하나의 결합깊이이미지(붉은색)와 쿼리3D모델의 깊이이미지(초록색)에 의해 특징정보가 매칭되는 모습(노란선의 갯수만큼 매칭됨)을 확인할 수 있다.
본 발명의 결합깊이이미지는 특징정보추출 알고리즘을 통하여 특징정보를 추출하고 이를 표시, 저장하게 되는데, 상기 특징정보추출 알고리즘의 종류는 불문하나 SIFT 추출알고리즘을 사용하는 것이 정확도를 높이는 데 바람직하다. 이렇게 구성된 1개의 결합깊이이미지에서 추출한 특징정보는 후술하는 쿼리3D모델의 다양한 다수장의 깊이이미지에서 추출한 특징정보와 동시다각적으로 비교하도록 하여 신속도와 정확도를 향상시킬 수 있다.
상기와 같은 과정을 통하여 원본모델정보가 저장된 원본모델DB(100)가 구축되어 있고, 변형3D모델을 입력받는 입력부(200), 입력된 변형3D모델로부터 특징정보를 추출하는 전산처리부(300) 및 상기 변형3D모델의 특징정보를 상기 원본모델정보의 특징정보와 비교하여 대응하는 원본3D모델을 인식하는 비교분석부(400)를 이용하여 변형3D모델에 대응되는 원본3D모델을 인식하는 방법을 이하에서는 각 단계별로 그 과정을 도면을 참고하여 상세하게 설명하도록 한다.
(A)단계
상기 (A)단계는 상기 전산처리부(300)가 상기 입력부(200)로부터 입력된 변형3D모델에 대하여 전처리과정을 거쳐서 쿼리3D모델을 생성하는 단계이다.
[도 4]는 본 발명에 따른 변형3D모델의 전처리과정에 대한 흐름도이다. 변형3D모델의 깊이이미지는 전처리과정을 통하여 생성하게 되는데, 전처리과정은 [도 4]의 같은 과정에 따라 1)변형3D모델의 가중치와 ISR(Implicit Shape Representation)을 산출하여 WISR(weighted ISR)을 구하고, 2) WISR로부터 주성분축, 무게중심 및 스케일팩터(Scale Factor)를 도출하여 이에 맞게 원본3D모델의 쉐이프를 정규화시키는 과정이 수행될 수 있다.
즉, 본 발명에서는 상기 전산처리부(300)가 전처리과정을 수행하는 과정이 (A-1) 상기 변형3D모델의 가중치 및 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 구하는 단계; (A-2) 상기 가중치에 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 곱하여 각 3D점의 WISR(Weighted Implicit Shape Representation)을 산출하는 단계; (A-3) 상기 변형3D모델에서 WISR이 0 초과인 3D점만을 선택하여 SVD(Singular Value Decomposition) 함수에 따라 3개의 주성분축을 도출하고, 선택된 3D점값과 각 3D점의 WISR의 곱의 합을 선택된 3D점의 WISR의 합을 나누어 상기 변형3D모델의 무게중심을 도출하고, 선택된 3D점의 WISR의 합의 세제곱근의 값을 스케일팩터로 도출하는 단계; 및 (A-4) 상기 변형3D모델을 상기 주성분축, 무게중심 및 스케일팩터에 맞게 전처리과정을 거쳐 쿼리3D모델을 생성하는 단계;를 수행하는 과정으로 처리될 수 있다.
본 발명에서는 기존의 쉐이프정규화, 즉 전처리과정과 달리 WISR을 이용한 전처리과정을 수행함으로써 깊이이미지를 더 원형에 충실하도록 생성할 수 있다.
본 과정에서의 전처리과정은 상기 원본3D모델의 전처리과정과 동일하다.
즉, 변형3D모델의 ISR을 구하기 위하여 그리고 각 점과 3D 모델의 표면에 있는 모든 점 사이 거리를 구하고 거리 값들 중에서 제일 작은 값을 선택하여 그 점의 ISR로 정하고, 또한 변형3D모델의 전처리과정에서 사용되는 변형3D모델의 가중치는 상기 변형3D모델로부터 특정조건에 의해 산출한 가중치로서, 특정조건이란 모든 3D 점들을 군집하여 계산한 결과값에서 구할 수 있는데 이 때 부호율 변형 이론 (rate distortion theory) 및 K-means 군집 알고리즘을 이용하여 계산한다. 3D 점들을 군집하기 위해서는 우선 군집 개수를 계산하여야 하는데, 군집 개수의 계산방법은 상기 [수식 1]의 부호율 변형 이론 (rate distortion theory)을 이용한다.
이 수식의 결과값이 군집 개수가 되며 군집 개수만큼 3D 점들을 k-means 군집 알고리즘을 이용하여 군집한다.
또한 본 발명에서 상기 (A) 단계의 전처리과정은, (A-1) 상기 변형3D모델로부터 특정조건에 의해 산출한 가중치 및 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 구하는 단계; (A-2) 상기 가중치에 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 곱하여 각 3D점의 WISR(Weighted Implicit Shape Representation)을 산출하는 단계; (A-3) 상기 변형3D모델에서 WISR이 0 초과인 3D점만을 선택하여 하기 [수식 2]에 따라 SVD(Singular Value Decomposition) 함수에 따라 3개의 주성분축을 도출하고, 상기 변형3D모델의 무게중심은 하기 [수식 3]과 같이 산출하고, 스케일팩터는 하기 [수식 4]와 같이 산출하는 단계; 및 (A-4) 상기 변형3D모델을 상기 주성분축, 무게중심 및 스케일팩터에 맞게 처리하여 쿼리3D모델을 생성하는 단계;를 수행하여 이루어지는 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법을 함께 제공한다.
상기 (A-2)단계 이후에는 각 3D점의 WISR을 양자화하여 양자화된 WISR을 산출하고, 상기 (A-3)단계에서는 WISR 대신 양자화된 WISR을 적용할 수 있다. 즉, WISR은 상기 변형3D모델로부터 특정조건에 의해 산출한 가중치 및 상기 변형3D모델의 각 3D점의 ISR을 곱한 값 그대로 사용할 수도 있으며, 양자화하여 적용시킬 수도 있다. 양자화란 변수가 취하는 값의 변위를 중복되지 않는 유한 개의 부분 범위 또는 부분 구간으로 나누는 것으로서 작은 범위의 값들은 해당 범위의 할당된 값으로 표현한다.
상기와 같이 산출된 WISR 중에서 0보다 큰 WISR와 대응되는 3D 점들을 선택하고, [수식 2]와 같은 특이값 분해로서 행렬을 특정한 구조로 분해하는 방식인 SVD(singular value decomposition)를 이용하여 3개의 주성분 축을 얻을 수 있다.
또한 상기 산출된 WISR와 각 3D 점들의 곱의 합에서 WISR의 합을 나누어 3D 모델의 무게중심을 구한다. 마지막으로 WISR 합의 세제곱근을 3D 모델의 스케일팩터로 산출한다. 이는 상기 [수식 3] 및 [수식 4]와 같다.
이와 같이 산출된 3개의 주성분축, 무게중심 및 스케일팩터로 전처리가 수행되어 쉐이프 정규화가 이루어지는 바, 전처리과정을 거쳐 생성된 주성분 축에 따라 원본3D모델을 회전하고, 스케일팩터만큼 변형3D모델을 확대 또는 축소하고, 산출된 무게중심에 따라 무게중심을 원점으로 변형3D모델을 이동시켜 쿼리3D모델을 생성하게 된다.
(B)단계
상기 (B)단계에서는 상기 전산처리부(300)가 상기 쿼리3D모델로부터 깊이이미지를 생성하는 단계이다.
본 발명에서는 쿼리3D모델에서 여러 개의 깊이이미지를 추출할 때에는 해당 3D모델을 구 형태로 둘러싸고 사용자가 원하는 방향에서 3D모델의 깊이이미지를 찍어서 추출하는 방식을 사용하는데, 이 때 구 형태로 둘러싸인 모델과 깊이이미지를 찍는 뷰 포인트는 이미지마다 일정한 거리를 가지게 된다.
상기 원본3D모델과 쿼리3D모델을 비교하기 위해서는 원본모델DB에 저장된 각 원본모델정보의 결합깊이이미지와 쿼리3D모델의 깊이이미지에 저장된 특징정보를 추출하여 비교하게 된다.
따라서 정확한 깊이이미지를 추출하는 것이 중요하지만 기존의 기술에서는 다수개의 깊이이미지마다 특징정보를 각각 추출하여야 하는 문제점이 있었다. 이에 따라 깊이이미지를 인식하는 시간이 오래 걸리고 정확도가 떨어지므로, 본 발명은 3D모델도면을 여러 방향에서 추출한 깊이 이미지를 한 장으로 결합하는 방식의 결합깊이이미지를 원본모델DB에 저장하는 방식을 개발하였다.
이하에서는 쿼리3D모델의 깊이이미지로부터 추출한 특징정보를 원본모델정보의 특징정보와 비교하여 원본모델을 인식하고자 하는 과정이 수행된다. 이를 위하여 상기 쿼리3D모델의 깊이이미지에서 특징정보를 추출하는 과정이 선행된다.
쿼리3D모델의 깊이이미지에서 SIFT알고리즘 (Scale-Invariant Feature Transfer Algorithm)을 이용하여 특징정보를 추출하게 된다. 특징을 추출하는 알고리즘에는 제한이 없으나 본 발명에서는 SIFT알고리즘을 사용하는 것이 바람직하다. SIFT알고리즘은 특징점의 정확한 위치를 추정하는 알고리즘으로서 3D모델이 실제에서는 작게 나타나거나 크게 나타나더라도 동일한 물체로 인식할 수 있어 본 발명에 적합한 알고리즘이다.
상기 특징추출알고리즘에 의하여 특징정보가 추출되면 이는 상기 깊이이미지에 표시될 수도 있으며, 별도의 데이터로 저장될 수도 있다.
(C)단계
상기 (C)단계에서는 상기 전산처리부가 상기 깊이이미지로부터 특징정보를 추출하는 단계이다.
이는 원본모델정보의 결합깊이이미지의 추출에 사용하였던 SIFT알고리즘 (Scale-Invariant Feature Transfer Algorithm)을 이용하여 특징정보를 추출한다. 특징을 추출하는 모든 알고리즘이 가능하지만 본 발명에서는 SIFT알고리즘을 사용하는 것이 바람직하다. SIFT알고리즘이란 특징점의 정확한 위치를 추정하는 알고리즘으로서 3D모델이 실제에서는 작게 나타나거나 크게 나타나더라도 동일한 물체로 인식할 수 있어 본 발명에 적합한 알고리즘이다.
원본모델정보와 변형3D모델에 같은 알고리즘을 적용하여야 하는 것은 아니나 같은 특징추출 알고리즘을 적용하였을 때 정확도 및 인식도가 높아 효과적이다.
상기 [도 7]에 도시된 것은 결합된 이미지에서 SIFT알고리즘을 이용하여 특징정보를 추출한 모습을 확인할 수 있다.
(D)단계
상기 (D)단계에서는 상기 비교분석부가 상기 쿼리3D모델의 특징정보와 상기 원본모델DB(100)에 저장된 원본모델정보의 특징정보를 비교하여 매칭값이 설정된 임계치 이상이 되는 경우의 원본모델정보를 대응모델정보로 설정하는 단계이다.
상기 [도 1]에 따르면 쿼리3D모델에서 추출된 특징정보와 원본모델DB에서 추출된 원본모델정보의 특징정보를 비교한다. 특징정보의 일치정도를 매칭값으로 볼 수 있는데, 3D모델마다 매칭정도에 따라 원본3D모델로 선택될 수 있는 값, 즉 임계값은 다르게 설정될 수 있다. 상기 쿼리3D모델에서 추출된 특징정보와 원본모델DB에서 추출된 원본모델정보의 특징정보를 비교하여 나온 매칭값이 설정된 임계치보다 같거나 클 때에는 상기 원본모델정보는 대응모델정보로 채택하고 상기 쿼리3D모델의 깊이이미지를 보정하는 과정을 수행하게 된다. 상기 원본모델정보를 대응모델정보로 채택하는 것은 1차적으로 상기 쿼리3D모델의 원본에 해당될 가능성이 높다는 것을 의미하며, 재매칭과정을 통하여 최종적으로 최종원본모델정보인지를 비교해보고자 하기 위함이다. 상기 대응모델정보는 후술하는 (E) 단계에서 왜곡보정된 쿼리3D모델의 비교대상이 된다.
반면, 쿼리3D모델에서 추출된 특징정보와 원본모델DB에서 추출된 원본모델정보와 그 수치를 비교하여 나온 매칭값이 3D모델마다 다르게 설정된 임계치보다 작을 때에는 상기 매칭값을 대응모델정보 또는 최종원본모델로 선택하지 않고 다른 원본모델정보를 추출해서 다시 쿼리3D모델에서 추출된 특징정보와 비교하여 매칭값을 다시 얻어서 임계치와 크기비교를 하는 과정을 원본모델DB에서 추출된 다른 원본모델정보를 비교하는 과정을 반복하게 된다.
(E)단계
상기 (E)단계는 상기 비교분석부가 상기 쿼리3D모델의 깊이이미지를 상기 대응모델정보의 결합깊이이미지 전부 또는 일부에 매칭될 수 있도록 왜곡보정하고, 왜곡보정후의 특징정보를 다시 상기 대응모델정보의 특징정보와 비교한 재매칭값이 상기 매칭값과 같거나 큰 경우에는 상기 대응모델정보를 최종원본모델정보로 설정하는 단계이다.
본 단계에서는 상기 쿼리3D모델의 깊이이미지가 상기 대응모델정보에 매칭될 수 있도록 하는 보정은 왜곡보정에 해당하며, 상기 쿼리3D모델의 깊이이미지가 상기 대응모델정보의 결합깊이이미지의 특징정보가 매칭될 가능성을 높이는 것을 의미한다.
이를 위하여 수행되는 깊이이미지의 왜곡보정은 또한 본 발명은 상기 (E)단계에서 상기 쿼리3D모델의 깊이이미지의 왜곡보정이, (E-1) 상기 쿼리3D모델의 깊이이미지의 특징정보 중 일정 개수의 샘플특징정보를 선택하여 호모그래피 매트릭스를 생성하는 단계; (E-2) 생성된 호모그래피 매트릭스가 RANSAC(Random Sample Consensus) 알고리즘이 적용된 설정조건을 만족하지 못하는 경우에는 상기 샘플특징정보를 상기 쿼리3D모델의 깊이이미지의 특징정보에서 제거하는 단계;(E-3) 상기 (E-1) 및 (E-2) 단계를 1000번 이상 반복하는 단계;를 수행하여 이루어진다.
[도 9]는 본 발명의 (E)단계의 매칭 및 재매칭하는 과정을 실시예이다. 이를 참고하였을 때 (E-1)단계는 상기 쿼리3D모델의 깊이이미지에서 설정개수만큼 추출한 샘플특징정보를 통하여 호모그래피 매트릭스를 추정하여 생성하는 단계이다.
호모 그래피란 3×3 행렬로 기준 영상의 점과 그에 대응되는 대상 영상의 점들 사이의 관계를 나타낸 것이다. 이는 두 깊이 이미지의 특징점을 추출하고, 서로 매칭이 되는 쌍을 대응점으로 하고 대응점을 이용하여 호모그래피 행렬을 계산한다. 매칭된 특징점, 즉 특징정보의 쌍 중에는 잘못 매칭된 쌍이 존재할 수 있으므로 거짓정보를 포함하는 데이터 집합으로부터 수학적 모델인자를 예측할 수 있는 RANSAC 알고리즘을 이용하여 보다 정확한 호모그래피 행렬을 계산한다. RANSAC 알고리즘은 일정 값 이상의 결과(inlier 와 homography)가 발견될 때 까지 주어진 데이터 셋, 즉 매칭된 특징정보의 쌍으로부터 반복적인 랜덤 샘플링을 수행한다.
RANSAC 알고리즘을 이용하여 두 이미지사이의 호모그래피를 추정할 때 데이터 집합은 두 이미지에서 추출 후, 유클리드거리(두점사이의 기하학적거리)를 이용한 유사도 비교를 통하여 유사도가 높은 특징점끼리 매칭하여 만든 대응점이고, 사용될 호모그래피를 예측한다. 확률적으로 최적이라고 판단되는 호모그래피 매트릭스가 도출될 때까지 반복적으로 추정한다.
(E-2)단계는 생성된 호모그래피 매트릭스가 설정조건을 만족하지 못하는 경우에는 상기 샘플특징정보를 상기 쿼리3D모델의 깊이이미지의 특징정보에서 삭제하는 단계이다. 본 단계의 설정조건이란 일관된 데이터를 이루는지에 대한 여부이다. 일관된 데이터를 이루는지에 대하여는 RANSAC알고리즘을 이용할 수 있으며 일관된 데이터의 집합을 형성하지 못한 경우에는 상기 샘플특징정보를 삭제하여 불필요한 특징정보를 제거하여 정확도를 향상시킨다. 만약 상기 샘플특징정보가 설정조건을 만족하는 경우에는 해당 샘플특징정보를 삭제하지 않고 유지한다.
이 때 상기 샘플특징정보는 데칼코마니와 같이 대응모델정보의 특징정보에 대응되는 특징정보 일정개수를 추출하게 된다.
[도 5]는 본 발명의 쿼리3D모델을 보정하는 과정(E단계)에 대한 흐름도이다. 상기 [도 5]를 참고하면 쿼리3D모델의 깊이이미지에서 샘플특징정보를 추출하고 RANSAC알고리즘(Random Sample Consensus Algorithm)을 이용하여 호모그래피 매트릭스를 생성함을 확인할 수 있다. RANSAC알고리즘이란 초기 데이터를 최소로 이용하여 일관된 데이터의 집합(consensus set)을 확장시켜 반복적인 작업을 통하여 정확한 데이터를 찾아가는 것을 목적으로 하는 알고리즘이다.
(E-3)단계는 상기 (E-1) 및 (E-2) 단계가 P번 이상 반복되는 단계이다. 샘플특징정보가 설정조건을 만족하는지 여부는 1000번 이상 반복함이 바람직하다. 반복을 통하여 일관된 데이터를 이루는, 즉 생성된 호모매트릭스가 최대의 컨센서스를 형성하는 특징정보들만 남기도록 하여, 즉 호모그래피 매트릭스만 결합함으로써 왜곡보정이 수행된다. 즉, 설정조건을 만족하지 않는 호모그래피 매트릭스는 채택하지 않고 또는 제거, 삭제함으로써 특징비교에 필요한 특징정보들만 남기게 된다.
이 때 샘플특징정보가 중복하여 생성된 호모그래피 매트릭스의 개수에 따라 남겨진 특징정보 중 중복되는 특징정보는 한개의 동일한 특징정보로 인식되도록 하는 변환과정이 수행될 수 있다. 예를 들어, 샘플특징정보를 4개씩 추출하여 1000번 반복하였으며, 채택된 호모그래피 매트릭스가 500장이라면, 남겨진 총 특징정보는 2000개이지만, 이 가운데 중복추출된 특징정보를 변환처리하여 1500개의 특징정보가 남겨지도록 왜곡보정될 수 있다.
[도 10]은 본 발명의 (E)단계는 쿼리3D모델의 깊이이미지에 왜곡보정을 실시한 경우의 오버랩핑한 실시예이며, 이를 통해 왜곡보정후의 깊이이미지가 변형3D모델의 원형에 가깝게 보정됨을 확인할 수 있다.
즉, 본 과정은 다음과 같은 단계로 이루어지는데, 먼저 RANSAC 알고리즘 단계에서는 호모그래피 추정에 필요한 대응점, 즉 샘플특징정보를 데이터 집합인 특징정보들로부터 랜덤으로 최소 4쌍을 선택한다. 다음 호모그래피 추정 단계로서 상기에서 선택된 특징점, 즉 특징정보의 쌍을 이용하여 호모그래피를 예측하고 보정한다. 이러한 단계를 반복 수행하여 새로운 호모그래피를 추정할지를 결정한다.(회수[P>1000]를 정해주고 반복할 수 있다.) 다음에 보정된 호모그래피를 이용하여 이미지 보정한다.
상기와 같이 왜곡보정이 완료된 변형3D모델의 깊이이미지와 상기 대응모델정보의 깊이이미지를 비교하여 특징정보의 재매칭값을 상기 (D)단계의 매칭값과 비교하여 재매칭값이 매칭값보다 같거나 클 경우에는 해당 변형3D모델을 최종원본모델로 선택함으로써 변형3D모델이 상기 최종원본모델로 선택된 원본3D모델에 대응한다고 인식할 수 있다.
한편 재매칭값이 매칭값보다 작을 경우 최종원본모델로 선택하지 않고 다시 원본모델DB의 다른 원본모델정보의 특징정보와 비교하는 과정을 반복하여 수행할 수 있다.
이와 같이 본 발명은 변형3D모델이 원본모델DB을 기초로 한 2차적저작물 또는 복제저작물인지를 인식하기 위한 방법을 제시하였으며, 본 발명의 인식방법에 의하여 최종원본모델이 인식되는 경우에는 해당 변형3D모델은 원본3D모델이 있는 2차적저작물 또는 복제저작물에 해당한다는 판단의 기초자료로 활용할 수 있어 저작권보호에 효과적이다.
이상에서 본 발명에 관해 첨부된 도면을 참조하면서 살펴보았다. 그러나 본 발명이 첨부된 도면과 관련하여 설명한 실시예로 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 다양한 수정 및 변형이 가능하다. 따라서 본 발명의 청구범위는 이 건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.
100: 원본모델DB(Data Base)
200: 입력부
300: 전산처리부
400: 비교분석부

Claims (6)

  1. 전처리과정을 거친 원본3D모델의 결합깊이이미지로부터 추출된 특징정보를 포함하여 구성된 1 이상의 원본모델정보가 저장된 원본모델DB(database,100), 변형3D모델을 입력받는 입력부(200), 입력된 변형3D모델로부터 특징정보를 추출하는 전산처리부(300) 및 상기 변형3D모델의 특징정보를 상기 원본모델정보의 특징정보와 비교하여 대응하는 원본3D모델을 인식하는 비교분석부(400)를 포함하는 시스템에 의하여 수행되는 원본3D모델 인식방법으로서,
    (A) 상기 전산처리부(300)가 상기 입력부(200)에 입력된 변형3D모델에 대하여 전처리과정을 거쳐서 쿼리3D모델을 생성하는 단계;
    (B) 상기 전산처리부(300)가 상기 쿼리3D모델로부터 깊이이미지를 생성하는 단계;
    (C) 상기 전산처리부(300)가 상기 깊이이미지로부터 특징정보를 추출하는 단계;
    (D) 상기 비교분석부(400)가 상기 쿼리3D모델의 특징정보와 상기 원본모델DB(100)에 저장된 원본모델정보의 특징정보를 비교하여 매칭값이 임계치 이상이 되는 경우의 원본모델정보를 대응모델정보로 선택하는 단계; 및
    (E) 상기 비교분석부(400)는 상기 쿼리3D모델의 깊이이미지를 왜곡보정처리하고, 왜곡보정후의 깊이이미지로부터 추출한 특징정보를 다시 상기 대응모델정보의 특징정보와 비교한 재매칭값이 상기 매칭값과 같거나 큰 경우에는 상기 대응모델정보를 최종원본모델정보로 인식하는 단계;
    를 포함하여 이루어지는 변형3D모델에 대응되는 원본3D모델 인식방법.
  2. 제1항에서,
    상기 (A) 단계의 전처리과정은,
    (A-1) 상기 변형3D모델로부터 특정조건에 의해 산출한 가중치 및 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 구하는 단계;
    (A-2) 상기 가중치에 상기 변형3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 곱하여 각 3D점의 WISR(Weighted Implicit Shape Representation)을 산출하는 단계;
    (A-3) 상기 변형3D모델에서 WISR이 0 초과인 3D점만을 선택하여 하기 [수식 2]에 따라 SVD(Singular Value Decomposition) 함수에 따라 3개의 주성분축을 도출하고, 상기 변형3D모델의 무게중심은 하기 [수식 3]과 같이 산출하고, 스케일팩터는 하기 [수식 4]와 같이 산출하는 단계; 및
    (A-4) 상기 변형3D모델을 상기 주성분축, 무게중심 및 스케일팩터에 맞게 처리하여 쿼리3D모델을 생성하는 단계;
    를 수행하여 이루어지는 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법.
    [수식 2]
    Figure 112015094750566-pat00036

    Figure 112015094750566-pat00037
    : 0보다 큰 WISR값을 갖고있는 3D점
    Figure 112015094750566-pat00038
    :
    Figure 112015094750566-pat00039
    의 개수
    Figure 112015094750566-pat00040
    :
    Figure 112015094750566-pat00041
    들의 평균값
    Figure 112015094750566-pat00042
    : 매트릭스 전치
    Figure 112015094750566-pat00043
    : 주성분 축

    [수식 3]
    Figure 112015094750566-pat00044

    Figure 112015094750566-pat00045
    : 3D모델 매시 내의 3D점
    Figure 112015094750566-pat00046
    : 3D점 개수
    Figure 112015094750566-pat00047
    : WISR
    Figure 112015094750566-pat00048
    : 무게중심

    [수식 4]
    Figure 112015094750566-pat00049

    Figure 112015094750566-pat00050
    : 3D모델 매시내의 3D점
    Figure 112015094750566-pat00051
    : 3D점 개수
    Figure 112015094750566-pat00052
    : WISR
    S : scale factor(스케일팩터)
  3. 삭제
  4. 제1항에서,
    상기 (E)단계는,
    상기 쿼리3D모델의 깊이이미지의 왜곡보정이,
    (E-1) 상기 쿼리3D모델의 깊이이미지의 특징정보 중 일정 개수의 샘플특징정보를 선택하여 호모그래피 매트릭스를 생성하는 단계;
    (E-2) 생성된 호모그래피 매트릭스가 RANSAC(Random Sample Consensus) 알고리즘이 적용된 설정조건을 만족하지 못하는 경우에는 상기 샘플특징정보를 상기 쿼리3D모델의 깊이이미지의 특징정보에서 제거하는 단계;
    (E-3) 상기 (E-1) 및 (E-2) 단계를 1000번 이상 반복하는 단계;
    를 수행하여 이루어지는 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법.
  5. 제1항에서,
    상기 원본모델DB(database,100)의 원본모델정보는,
    전처리과정을 수행한 원본3D모델로부터 N개의 깊이이미지를 추출하여 1개의 결합깊이이미지로 결합시킨 후 상기 결합깊이이미지에 특징정보추출알고리즘을 적용시켜 추출한 특징정보를 포함한 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법.
  6. 제1항 또는 제5항에서,
    상기 원본모델DB의 원본모델정보를 생성하기 위한 원본3D모델에 이루어지는 전처리과정은,
    (1) 상기 원본3D모델로부터 특정조건에 의해 산출한 가중치 및 상기 원본3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 구하는 단계;
    (2) 상기 가중치에 상기 원본3D모델의 각 3D점의 ISR(Implicit Shape Representation)을 곱하여 각 3D점의 WISR(Weighted Implicit Shape Representation)을 산출하는 단계;
    (3) 상기 원본3D모델에서 WISR이 0 초과인 3D점만을 선택하여 하기 [수식 2]에 따라 SVD(Singular Value Decomposition) 함수에 따라 3개의 주성분축을 도출하고, 상기 원본3D모델의 무게중심은 하기 [수식 3]과 같이 산출하고, 스케일팩터는 하기 [수식 4]와 같이 산출하는 단계; 및
    (4) 상기 원본3D모델을 상기 주성분축, 무게중심 및 스케일팩터에 맞게 처리하는 단계;
    를 수행하여 이루어지는 것을 특징으로 하는 변형3D모델에 대응되는 원본3D모델 인식방법.
    [수식 2]
    Figure 112015094750566-pat00053

    Figure 112015094750566-pat00054
    : 0보다 큰 WISR값을 갖고 있는 3D점값
    Figure 112015094750566-pat00055
    :
    Figure 112015094750566-pat00056
    의 개수
    Figure 112015094750566-pat00057
    :
    Figure 112015094750566-pat00058
    들의 평균값
    Figure 112015094750566-pat00059
    : 매트릭스 전치
    Figure 112015094750566-pat00060
    : 주성분 축

    [수식 3]
    Figure 112015094750566-pat00061

    Figure 112015094750566-pat00062
    : 3D모델 매시 내의 3D점
    Figure 112015094750566-pat00063
    : 3D점 개수
    Figure 112015094750566-pat00064
    : WISR
    Figure 112015094750566-pat00065
    : 무게중심

    [수식 4]
    Figure 112015094750566-pat00066

    Figure 112015094750566-pat00067
    : 3D모델 매시 내의 3D점
    Figure 112015094750566-pat00068
    : 3D점 개수
    Figure 112015094750566-pat00069
    : WISR
    S : scale factor(스케일팩터)
KR1020150137913A 2015-09-30 2015-09-30 변형3d모델에 대응되는 원본3d모델 인식방법 KR101644426B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150137913A KR101644426B1 (ko) 2015-09-30 2015-09-30 변형3d모델에 대응되는 원본3d모델 인식방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150137913A KR101644426B1 (ko) 2015-09-30 2015-09-30 변형3d모델에 대응되는 원본3d모델 인식방법

Publications (1)

Publication Number Publication Date
KR101644426B1 true KR101644426B1 (ko) 2016-08-02

Family

ID=56708355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150137913A KR101644426B1 (ko) 2015-09-30 2015-09-30 변형3d모델에 대응되는 원본3d모델 인식방법

Country Status (1)

Country Link
KR (1) KR101644426B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101742115B1 (ko) 2016-08-30 2017-05-31 광운대학교 산학협력단 건물 인식을 위한 멀티뷰 영상에서의 인라이어 선택 및 잉여 제거 방법
WO2019013443A1 (ko) * 2017-07-10 2019-01-17 삼성전자(주) 디스플레이장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050010982A (ko) * 2002-06-28 2005-01-28 후지쯔 가부시끼가이샤 3차원 이미지 비교 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체, 3차원 이미지 비교 방법 및 3차원 이미지 비교 장치
KR20050094357A (ko) * 2005-08-17 2005-09-27 (주)쓰리디오즈 삼차원 모델링 툴 상에서 삼차원 모델링 데이터 추출시통합 추출 데이터와 부분 추출 데이터 간의 법선 벡터 자동조정 현상 해결 방법
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR20100002799A (ko) * 2008-06-30 2010-01-07 한국 한의학 연구원 컬러 교정을 이용한 3차원 모델 생성 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050010982A (ko) * 2002-06-28 2005-01-28 후지쯔 가부시끼가이샤 3차원 이미지 비교 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체, 3차원 이미지 비교 방법 및 3차원 이미지 비교 장치
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR20050094357A (ko) * 2005-08-17 2005-09-27 (주)쓰리디오즈 삼차원 모델링 툴 상에서 삼차원 모델링 데이터 추출시통합 추출 데이터와 부분 추출 데이터 간의 법선 벡터 자동조정 현상 해결 방법
KR20100002799A (ko) * 2008-06-30 2010-01-07 한국 한의학 연구원 컬러 교정을 이용한 3차원 모델 생성 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101742115B1 (ko) 2016-08-30 2017-05-31 광운대학교 산학협력단 건물 인식을 위한 멀티뷰 영상에서의 인라이어 선택 및 잉여 제거 방법
WO2019013443A1 (ko) * 2017-07-10 2019-01-17 삼성전자(주) 디스플레이장치 및 그 제어방법

Similar Documents

Publication Publication Date Title
JP6891351B2 (ja) 多特徴検索と変形に基づく人体髪型の生成方法
US9582518B2 (en) Image processing apparatus, image processing method, and storage medium
US11367222B2 (en) Three-dimensional shape classification and retrieval using convolutional neural networks and majority vote
AU2020104423A4 (en) Multi-View Three-Dimensional Model Retrieval Method Based on Non-Local Graph Convolutional Network
JP2017142780A (ja) 二次元画像からの三次元モデル化オブジェクトの認識
JP2015511736A (ja) 画像上のオブジェクト輪郭のスケール不変特徴を識別するシステム及び方法
Guo et al. 3D free form object recognition using rotational projection statistics
CN105046694A (zh) 一种基于曲面拟合系数特征的点云快速配准方法
JP6351350B2 (ja) 三次元モデル検索システム、及び三次元モデル検索方法
CN108255858A (zh) 一种图像检索方法和系统
CN105809182B (zh) 一种图像分类的方法及装置
CN116229189B (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法
KR101644426B1 (ko) 변형3d모델에 대응되는 원본3d모델 인식방법
JP2006285627A (ja) ３次元モデルの類似検索装置及び方法
JP7075654B2 (ja) ３次元ｃａｄモデル部分検索方法及び３次元ｃａｄモデル検索方法
CN111597367B (zh) 基于视图和哈希算法的三维模型检索方法
WO2015068417A1 (ja) 画像照合システム、画像照合方法およびプログラム
JP6623126B2 (ja) 物体検索装置、三次元物体モデル化装置、方法、及びプログラム
JP2018195270A (ja) 局所特徴表現学習装置、及び方法
WO2011155288A1 (ja) データのインデックスの次元削減方法及びそれを利用したデータ検索方法並びに装置
CN106503270B (zh) 一种基于多视点及二部图匹配的3d目标检索方法
CN113111741A (zh) 一种基于三维特征点的装配状态识别方法
CN108876894B (zh) 三维人脸模型和三维人头模型生成方法和生成装置
Pan et al. 3D patch-based sparse learning for style feature extraction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190724

Year of fee payment: 4