KR102399687B1 - 도형 유사도 매칭에 기반한 3차원 공간 모델링 방법, 장치 및 프로그램 - Google Patents

Abstract

전자 장치가 도형 유사도 매칭에 기반하여 객체 이미지들을 정합해 3차원 공간 영상을 생성하는 방법을 개시한다. 본 전자 장치는 서로 다른 각도에서 촬영된 객체를 포함하는 제1 객체 이미지 및 제2 객체 이미지를 수신하고, 제1 객체 이미지 및 제2 객체 이미지 각각으로부터 복수의 제1 도형 및 복수의 제2 도형을 추출하고, 추출된 복수의 제1 도형 및 복수의 제2 도형 각각에 대응하는 특징점들을 추출하고, 복수의 제1 도형 및 제2 도형 각각의 특징점들을 기초로 각 도형의 도형 모멘트 값을 산출하며, 복수의 제1 도형 및 복수의 제2 도형 중에서, 제1 유사 범위 이내의 도형 모멘트 값을 갖는 적어도 하나의 제1 도형 및 적어도 하나의 제2 도형을 매칭하고, 매칭된 적어도 하나의 제1 도형 및 적어도 하나의 제2 도형 간의 변화값을 기초로 제1 객체 이미지 및 제2 객체 이미지를 3차원 영상 정합한다.

Description

도형 유사도 매칭에 기반한 3차원 공간 모델링 방법, 장치 및 프로그램{METHOD, APPARATUS AND PROGRAM FOR 3D SPATIAL MODELING BASED ON FIGURE SIMILARITY MATCHING}

본 발명은 도형 유사도 매칭을 이용한 3차원 공간 모델링 방법, 장치 및 프로그램에 관한 것이다.

최근 다양한 산업분야에서 3차원 공간 이미지를 이용하는 예가 증가하고 있다. 특히, 문화재 복원 및 관리를 위해 3차원 공간 이미지를 활용하고자 하는 국가적 차원의 사업이 증가하고 있다. 우리나라는 불교의 영향으로 불탑이나 성문 등과 같은 건조물 문화재가 전국에 산재하고 있는 바, 이러한 건조물 문화재의 관리 및 소실이나 훼손에 따른 복원을 위해 이들 건조물문화재의 모양, 형상 또는 구조를 영상 자료화하여 저장하는 작업이 활발하게 진행되고 있다.

한편, 기존의 3차원 스캐너를 통해 스캔되어온 문화재 영상들은 단순히 3차원적인 위치값 만을 가지고 있을 뿐이며, 360도로 접근 가능한 3차원 공간 정보, 텍스쳐 정보 등을 포함하고 있지 않는다. 또한 종래의 3차원 스캐너를 이용한 3차원 공간 모델링 방법은 조밀한 포인트 클라우드(point cloud)에서 메쉬(mesh)를 생성하고, 생성된 메쉬에 텍스쳐링(texturing)하는 과정을 거친다. 그러나, 이러한 방법은 포인트 클라우드의 양이 방대하고, 포인트 클라우드로부터 생성된 메쉬도 여전히 많은 수의 정점과 면을 가지고 있어, 서버의 데이터량과 처리량에 제한이 있어 그 활용성이 낮은 실정이다. 그러나, 문화재를 관리, 보호 및 복원하기 위해서는 3차원 공간 모델링을 수행할 필요성이 여전히 존재한다.

이에 따라 문화재 영상에 보다 적합한 3차원 모델링 방법에 대한 필요성이 대두되고 있다.

본 발명이 해결하고자 하는 과제는 3차원 스캔된 객체 이미지들을 데이터 효율적으로 3차원 공간 모델링하여 3차원 공간의 객체 영상을 생성하는 방법 및 그 전자 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전자 장치가 객체 이미지에 기반하여 3차원 공간을 모델링하는 방법은 서로 다른 각도에서 촬영된 객체를 포함하는 제1 객체 이미지 및 제2 객체 이미지를 수신하는 단계; 상기 제1 객체 이미지 및 상기 제2 객체 이미지 각각으로부터 복수의 제1 도형 및 복수의 제2 도형을 추출하는 단계; 상기 추출된 복수의 제1 도형 및 복수의 제2 도형 각각에 대응하는 특징점들을 추출하는 단계; 상기 복수의 제1 도형 및 제2 도형 각각의 특징점들을 기초로 각 도형의 도형 모멘트 값을 산출하는 단계; 상기 복수의 제1 도형 및 상기 복수의 제2 도형 중에서, 제1 유사 범위 이내의 도형 모멘트 값을 갖는 적어도 하나의 제1 도형 및 적어도 하나의 제2 도형을 매칭하는 단계; 및 상기 매칭된 적어도 하나의 제1 도형 및 적어도 하나의 제2 도형 간의 변화값을 기초로 상기 제1 객체 이미지 및 상기 제2 객체 이미지를 3차원 영상 정합하는 단계를 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시예들은 객체 이미지들로부터 추출된 도형들의 특징점들을 이용하여 객체 이미지들을 정합함으로써 데이터 연산량을 감소시킬 수 있다.

또한, 본 발명의 실시예들은 추출된 도형들을 기초로 텍스쳐링을 수행함으로써 텍스쳐링에 요구되는 데이터 연산량을 감소시킬 수 있다. 또한, 본 발명의 실시예들은 추출된 도형들에 대응하는 3차원 공간 정점을 저장하고 이를 활용함으로써 데이터 저장 공간을 효율적으로 관리할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 3차원 공간 모델링 시스템을 도시한다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 스캔 장치가 문화재를 촬상하는 촬상 프로세스를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 전자 장치가 문화재 이미지로부터 3차원 공간을 모델링하는 방법을 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따라 전자 장치가 스캔 장치로부터 수신된 제1 문화재 이미지로부터 복수의 제1 도형을 추출하고, 제2 문화재 이미지로부터 복수의 제2 도형을 추출한 일 예를 도시한다.
도 5는 본 발명의 일 실시예에 따라 전자 장치가 복수의 제1 도형 및 복수의 제2 도형 각각에 대응하는 특징점들을 추출한 일 예를 도시한다.
도 6은 본 발명의 일 실시예에 따라 전자 장치가 복수의 제1 도형 및 복수의 제2 도형 중에서, 제1 유사 범위 이내의 도형 모멘트 값을 갖는 적어도 하나의 제1 도형 및 제2 도형을 매칭한 일 예를 도시한다.
도 7은 본 발명의 일 실시예에 따라 전자 장치가 문화재 이미지들을 3차원 영상 정합하는 방법을 도시한 순서도이다.
도 8은 일 실시예에 따른 전자 장치의 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서, 전자 장치는 적어도 하나의 프로세서를 포함하는 통신 기능을 포함하는 하드웨어 장치를 의미하는 것이고, 실시예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 전자 장치는 스마트폰, 휴대폰, 헨드헬드 장치(hand-held device), 태블릿 PC, 데스크톱, 노트북 등과 같은 클라이언트 장치뿐 아니라, 클라우드 서버, 컴퓨팅 서버, 데이터베이스 서버 등과 같은 서버 장치를 포함하는 의미로서 이해될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 단말에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 공간 모델링 시스템을 도시한다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 3차원 공간 모델링 시스템은 문화재를 스캔/촬상하는 스캔 장치(20) 및 상기 스캔 장치(20)에 의해 스캔/촬상된 문화재 이미지들을 수신하여 3차원 공간 영상을 생성하는 전자 장치(10)를 포함한다.

본 발명의 실시 예에 따른 스캔, 촬영 및 3D 구성 방법은 모든 종류의 3차원 객체에 대하여 수행될 수 있다. 실시 예 중 하나로서, 설명의 편의를 위해 이하에서는 문화재에 대하여 본 발명을 적용하는 것으로 서술하나, 이에 제한되는 것은 아니다.

본 발명의 일 실시예에 따른 스캔 장치(20)는 카메라, 드론, 레이저 스캐너 등과 같이 대상을 촬상 기능을 포함한 장치로서, 3차원 문화재 이미지를 획득하는 장치일 수 있다. 특히, 본 발명의 스캔 장치(20)는 문화재의 특성에 따라 촬상 프로세스를 수행할 수 있다.

도 2a 및 도 2b는 본 발명의 일 실시예에 따른 스캔 장치(20)가 문화재를 촬상하는 촬상 프로세스를 도시한 도면이다.

도 2a를 참조하면, 스캔 장치(20)는 대상 문화재(110)가 스캔 가능 영역 내에 위치할 경우, 대상 문화재(110)를 중심으로 동심원을 그리며 촬상할 수 있다. 이때, 스캔 장치(20)는 제1 높이(H1)에서 제1 각도(θ1)로 대상 문화재(110)를 1차로 촬상하고, 이어 제2 높이(H2)에서 제2 각도(θ2)로 대상 문화재(110)를 2차로 촬상할 수 있다. 예를 들어, 스캔 장치(20)는 지상 높이(예컨대, 성인 평균 키 높이 등)에서 1차로 촬상하고(111 참조), 대상 문화재(110)의 꼭대기 높이에서 2차로 촬상할 수 있다(112 참조). 이와 같이, 스캔 장치(20)는 대상 문화재(110)의 동일한 영역에 대응하는 3차원 각도 이미지들을 촬상함으로써, 추후 전자 장치(10)가 보다 정밀한 3차원 공간 영상을 생성하도록 할 수 있다.

또한, 도 2b를 참조하면, 스캔 장치(20)는 대상 문화재(120)가 스캔 가능 영역보다 넓은 공간에 퍼져 있을 경우, 대상 문화재(120)를 일정 간격(D1)으로 반복하여 가로지르며 촬상할 수 있다. 이때, 촬상 간격(D2)은 촬상된 문화재 이미지가 가로 방향 및 세로 방향으로 각각 적어도 일부가 중첩되도록 할 수 있다. 그러나 도 2a 및 도 2b에 의해 스캔 장치(20)의 촬상 프로세스가 한정되는 것은 아니며, 스캔 장치(20)는 다양한 방법으로 대상을 촬상할 수 있다.

다시 도 1을 참조하면, 본 발명의 일 실시예에 따른 전자 장치(10)는 스캔 장치(20)에서 촬상된 3차원 문화재 이미지들을 획득하고, 획득된 복수의 3차원 문화재 이미지들을 정합하여 3차원 공간을 모델링하여 3차원 공간 영상을 생성한다. 전자 장치(10)는 3차원 공간 영상을 생성함에 있어서, 연산량 및 저장 공간을 효율적으로 활용하기 위하여 획득된 3차원 이미지들을 저용량 포인트 클라우드로 연산 및 저장한다. 또한, 전자 장치(10)는 생성된 3차원 공간 영상을 활용하여 문화재를 관리, 보호 및 복원할 수 있을 뿐 아니라, 증강현실(Augmented Reality) 공간, 가상현실(Virtual Reality) 공간 등으로 일반인들에게 제공할 수 있다.

이하, 도 3을 참조하여 본 발명의 일 실시예에 따른 전자 장치(10)가 문화재 이미지들로부터 3차원 공간을 모델링하는 방법을 상세히 설명한다.

도 3을 참조하면, 전자 장치(10)는 서로 다른 각도에서 촬상된 대상 문화재를 포함하는 복수의 문화재 이미지를 수신한다(S310). 복수의 문화재 이미지는 스캔 장치(20)에 의해 촬상된 것으로서, 예를 들어, 도 2a 및 도 2b의 촬상 프로세스에 의해 획득된 것일 수 있으나, 특별히 한정되지 않는다. 한편, 문화재 이미지는 3차원 이미지일 수 있다.

다음으로, 전자 장치(10)는 각 문화재 이미지로부터 복수의 도형을 추출한다(S320). 개시된 실시 예에서, 이미지로부터 추출되는 도형은 실제로 이미지에 포함된 특정한 형상을 의미할 수도 있고, 실시 예에 따라 3D 이미지화에 사용되는 소정 단위의 폴리곤(polygon)을 의미할 수도 있으나, 이에 제한되는 것은 아니다. 전자 장치(10)는 직선, 삼각형, 사각형 등과 같은 도형들로 문화재 이미지를 추상화할 수 있다. 예를 들어, 전자 장치(10)는 HLT(Hough Line Transform) 알고리즘, 등고선 추출 알고리즘 등을 이용하여 문화재 이미지를 복수의 도형으로 추상화할 수 있으나, 이에 한정되는 것은 아니다.

도 4는 본 발명의 일 실시예에 따라 전자 장치(10)가 스캔 장치(20)로부터 수신된 제1 문화재 이미지로부터 복수의 제1 도형을 추출하고, 제2 문화재 이미지로부터 복수의 제2 도형을 추출한 일 예를 도시한다. 도 4에서는, 설명의 편의상 도형들이 서로 이격되어 형성되는 것으로 도시하였으나, 복수의 도형은 적어도 하나의 직선을 공유하여 형성될 수 있다.

한편, 구현예에 따라, 전자 장치(10)는 스캔 장치(20)로부터 수신된 문화재 이미지로부터 문화재 영역과 배경 영역을 구별한 후, 문화재 영역 내에서 제1 및 제2 도형을 추출할 수도 있다. 이때 문화재 영역인지 배경 영역인지 여부는 전자 장치(10)가 문화재 이미지들에 대한 영상 선처리 작업을 통해 결정될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(10)의 사용자에 의해 특정될 수도 있으며, 기 학습된 신경망에 의해 특정될 수도 있다.

다시 도 3을 참조하면, 전자 장치(10)는 추출된 도형들 각각에 대응하는 특징점들을 추출한다(S330). 특징점은 이미지 내에서 시각적 또는 영상 처리 관점에서 구별 또는 식별이 쉬운 작은 영역 또는 일 점으로서, 주로 이미지의 변화가 심한 영역 또는 일 점일 수 있다. 전자 장치(10)는, 비한정적인 예로서, 해리스 코너(Harris Corner) 알고리즘, SIFT(Scale-Invariant Feature Transform) 알고리즘, SURF(Speed-Up Robust Feature) 알고리즘, FAST(Features from Accelerated Segment Test) 알고리즘, BRIEF(Binary Robust Independent Elementary Features) 알고리즘, ORB(Oriented FAST and Rotated BRIEF) 알고리즘 등을 이용하여 특징점들을 획득할 수 있다.

도 5는 본 발명의 일 실시예에 따라 전자 장치(10)가 복수의 제1 도형 및 복수의 제2 도형 각각에 대응하는 특징점들을 추출한 일 예를 도시한다. 도 5에 도시된 바와 같이, 전자 장치(10)는 단계 S320에서 추출된 도형들 및 그 주변의 특징점들을 추출할 수 있다.

다시 도 3을 참조하면, 다음으로, 전자 장치(10)는 추출된 특징점들을 기초로 도형 모멘트 값을 산출한다(S340). 이때, 도형 모멘트 값은 각 도형 주변에 분포하는 특징점들의 분포 값일 수 있다. 예를 들어, 도형 모멘트 값은 각 도형 내에 위치하는 특징점들의 벡터값과 도형 외부의 기 결정된 영역 내에 위치하는 특징점들의 벡터값의 합일 수 있다. 전자 장치(10)는 도형 모멘트 값을 통해 각 도형의 특성을 추정할 수 있다.

전자 장치(10)는 서로 다른 문화재 이미지의 도형들 중에서, 유사 범위 이내의 도형 모멘트 값을 갖는 도형들을 매칭한다(S350). 이때, 유사 범위는 대상 문화재의 특성에 따라 실험적으로 기 결정된 값일 수 있으나, 특별히 한정되지 않는다. 또한, 전자 장치(10)는 매칭된 도형들 내의 특징점들 간의 유사도를 산출할 수 있다. 전자 장치(10)는, 비한정적인 예로서, BF(Brute-Force) 매칭 알고리즘, FLANN(Fast Library for Approximate Nearest Neighbors) 알고리즘 등을 이용하여 특징점들 간의 유사도를 판별할 수 있다. 전자 장치(10)는 제2 유사 범위 내의 특징점들을 매칭함으로써 도형들을 보다 정밀하게 매칭할 수 있다.

도 6은 본 발명의 일 실시예에 따라 전자 장치(10)가 복수의 제1 도형 및 복수의 제2 도형 중에서, 제1 유사 범위 이내의 도형 모멘트 값을 갖는 적어도 하나의 제1 도형 및 제2 도형을 매칭한 일 예를 도시한다.

다시 도 3을 참조하면, 전자 장치(10)는 매칭된 도형들 간의 변화값을 기초로 문화재 이미지들을 3차원 영상 정합하여 3차원 정합 영상을 생성한다(S360). 전자 장치(10)가 문화재 이미지들을 3차원 영상 정합하는 과정에 대해서는 도 7을 참조하여 보다 상세히 설명한다.

도 7을 참조하면, 전자 장치(10)는 매칭된 도형들 간의 특징점 변화량을 기초로 대상 문화재의 3차원 공간 정점을 생성할 수 있다(S710). 예를 들어, 전자 장치(10)는 기준 문화재 이미지를 지정하고, 기준 문화재 이미지 내에서 기 매칭된 적어도 하나의 제1 도형으로부터 다른 문화재 이미지 내에서 기 매칭된 적어도 하나의 제2 도형으로의 특징점 변화량을 기초로 3차원 공간 정점을 생성할 수 있다. 보다 구체적으로, 전자 장치(10)는 상기 특징점 변화량을 매개변수로 이용하여 문화재 이미지들의 정점들에 대응하는 3차원 공간 정점을 생성할 수 있다.

다음으로, 전자 장치(10)는 매칭된 도형들의 3차원 공간 정점을 기초로 텍스쳐링(texturing)할 수 있다(S720). 예를 들어, 전자 장치(10)는 적어도 하나의 제1 도형 및 적어도 하나의 제2 도형 중 적어도 하나에 대응하는 3차원 공간 정점을 이용하여 텍스쳐링을 수행할 수 있다. 즉, 전자 장치(10)는 기 사용된 도형들을 이용하여 텍스쳐링함으로써, 텍스쳐링을 위한 메쉬 모델링 및 메쉬 모델링으로 인한 간략화(decimation) 및 정제(refinement) 과정을 생략함으로써 연산량을 감소시킬 수 있다.

한편, 전자 장치(10)는 3차원 모델링 된 영상 이외에, 이를 활용하기 위한 데이터로서 매칭된 도형들에 대응하는 3차원 공간 정점을 저장할 수 있다. 즉, 전자 장치(10)는 정합 영상의 3차원 공간 정점을 모두 저장하는 대신에 일부 공간 정점을 저장함으로써 저장되는 데이터량을 감소시킬 수 있다.

도 8은 일 실시예에 따른 전자 장치(10)의 구성도이다.

프로세서(810)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.

일 실시예에 따른 프로세서(810)는 메모리(820)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 7과 관련하여 설명된 방법을 수행한다. 예를 들어, 일 실시예에 따른 프로세서(810)는 서로 다른 각도에서 촬영된 문화재를 포함하는 제1 문화재 이미지 및 제2 문화재 이미지를 수신하고, 제1 문화재 이미지 및 제2 문화재 이미지 각각으로부터 복수의 제1 도형 및 복수의 제2 도형을 추출하며, 추출된 복수의 제1 도형 및 복수의 제2 도형 각각에 대응하는 특징점들을 추출하고, 복수의 제1 도형 및 제2 도형 각각의 특징점들을 기초로 도형 모멘트 값을 산출할 수 있다.

또한, 프로세서(810)는 복수의 제1 도형 및 복수의 제2 도형 중에서, 제1 유사 범위 이내의 도형 모멘트 값을 갖는 적어도 하나의 제1 도형 및 제2 도형을 매칭하고, 매칭된 적어도 하나의 제1 도형 및 제2 도형 간의 변화값을 기초로 제1 문화재 이미지 및 제2 문화재 이미지를 3차원 영상 정합 할 수 있다. 이때, 프로세서(810)는 적어도 하나의 제1 도형으로부터 적어도 하나의 제2 도형으로의 특징점 변화량을 기초로 3차원 공간 정점을 생성하고, 적어도 하나의 제1 도형 및 상기 적어도 하나의 제2 도형 중 적어도 하나에 대응하는 3차원 공간 정점을 기초로 텍스쳐링(texturing)할 수 있다.

일 실시 예에서, 도형 정합이 완료된 후 3D 재구성을 위한 데이터가 부족함을 판단할 수도 있다. 예를 들어, 복수의 각도에서 촬영된 이미지들을 정합한 뒤, 특정 각도에 대하여 촬영된 이미지가 없는 경우, 이를 판단할 수 있다. 이 경우, 컴퓨터는 해당 각도에 대한 이미지를 추가로 촬영할 것을 요청하는 신호를 출력할 수 있다.

일 실시 예에서, 컴퓨터는 이미지가 촬영되지 않은 각도에 대해서는 다른 이미지들에 기반하여 적대적 생성 신경망(GAN)을 이용하여 이미지를 생성할 수도 있다.

한편, 프로세서(810)는 프로세서(810) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(810)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(820)에는 프로세서(810)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(820)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.

또한, 도 8에 도시 되지 않았으나, 전자 장치(10)는 매칭된 도형들에 대응하는 3차원 공간 정점을 저장하는 데이터베이스(database)를 더 포함할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 전자 장치
20: 스캔 장치
110, 120: 대상 문화재
810: 프로세서
820: 메모리

Claims (10)

1. 전자 장치가 도형 유사도 매칭에 기반하여 3차원 공간 모델링을 수행하는 방법에 있어서,
   서로 다른 각도에서 촬영된 객체를 포함하는 제1 객체 이미지 및 제2 객체 이미지를 수신하는 단계;
   상기 제1 객체 이미지 및 상기 제2 객체 이미지 각각으로부터 복수의 제1 도형 및 복수의 제2 도형을 추출하는 단계;
   상기 추출된 복수의 제1 도형 및 복수의 제2 도형 각각에 대응하는 특징점들을 추출하는 단계;
   상기 복수의 제1 도형 및 제2 도형 각각의 특징점들을 기초로 각 도형의 도형 모멘트 값을 산출하는 단계;
   상기 복수의 제1 도형 및 상기 복수의 제2 도형 중에서, 제1 유사 범위 이내의 도형 모멘트 값을 갖는 적어도 하나의 제1 도형 및 적어도 하나의 제2 도형을 매칭하는 단계; 및
   상기 매칭된 적어도 하나의 제1 도형 및 적어도 하나의 제2 도형 간의 변화값을 기초로 상기 제1 객체 이미지 및 상기 제2 객체 이미지를 3차원 영상 정합하는 단계를 포함하고,
   제1 객체 및 제2 객체 중 적어도 하나의 객체를 촬상하는 단계를 더 포함하고,
   상기 객체를 촬상하는 단계는,
   상기 객체가 스캔 가능 영역 내에 위치하는 경우, 제1 높이에서 상기 객체를 중심으로 제1각도로 동심원을 그리며 상기 객체를 1차 촬영하고, 제2 높이에서 상기 객체를 중심으로 제2각도로 동심원을 그리며 상기 객체를 2차 촬영하고,
   상기 객체가 스캔 가능 영역보다 넓은 공간에 퍼져 있는 경우, 상기 객체를 일정 간격으로 반복하여 가로지르며 촬영하고, 촬상 간격은 촬상된 객체 이미지가 가로 방향 및 세로 방향으로 적어도 일부가 중첩되는 방법.
   
2. 제 1 항에 있어서,
   상기 제1 객체 이미지 및 상기 제2 객체 이미지를 3차원 영상 정합하는 단계는
   상기 적어도 하나의 제1 도형으로부터 상기 적어도 하나의 제2 도형으로의 특징점 변화량을 기초로 3차원 공간 정점을 생성하는 단계; 및
   상기 적어도 하나의 제1 도형 및 상기 적어도 하나의 제2 도형 중 적어도 하나에 대응하는 3차원 공간 정점을 기초로 텍스쳐링(texturing)하는 단계를 포함하는 방법.
   
3. 제 2 항에 있어서, 상기 방법은
   상기 적어도 하나의 제1 도형 및 상기 적어도 하나의 제2 도형 중 적어도 하나에 대응하는 상기 3차원 공간 정점을 저장하는 단계를 더 포함하는 방법.
   
4. 제 2 항에 있어서,
   상기 도형 모멘트 값은 각 도형 주변에 분포하는 특징점들의 분포값인 방법.
   
5. 제 2 항에 있어서,
   상기 도형 모멘트 값은 각 도형의 내에 위치하는 특징점들의 벡터값 및 상기 각 도형의 외부의 기 결정된 영역 내에 위치하는 특징점들의 벡터값의 합인 방법.
   
6. 제 2 항에 있어서,
   상기 제1 도형과 상기 제2 도형을 매칭하는 단계는
   상기 제1 도형 내의 제1 특징점들과 상기 제2 도형 내의 제2 특징점들 간의 유사도를 산출하는 단계; 및
   제2 유사 범위 내의 제1 특징점과 제2 특징점을 매칭하는 단계를 더 포함하는 방법.
   
7. 제 2 항에 있어서,
   상기 복수의 제1 도형 및 상기 복수의 제2 도형을 추출하는 단계는
   허프 라인 변환 알고리즘(Hough Line Transform Algorithm) 및 등고선 추출 알고리즘 중 적어도 하나를 기초로 상기 제1 객체 이미지 및 상기 제2 객체 이미지 각각으로부터 도형들을 추출하는 것인 방법.
   
8. 제 2 항에 있어서,
   상기 복수의 제1 도형 및 상기 복수의 제2 도형을 추출하는 단계는
   상기 제1 객체 이미지 및 제2 객체 이미지 각각으로부터 객체 영역과 배경 영역을 특정하는 단계; 및
   상기 객체 영역으로부터 상기 복수의 제1 도형 및 상기 복수의 제2 도형을 추출하는 단계를 포함하는 방법.
   
9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제 1 항의 방법을 수행하는 전자 장치.
   
10. 하드웨어인 컴퓨터와 결합되어, 제 1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.

Images