KR102131592B1 - 딥러닝 기반 3차원 원형 예측 장치 - Google Patents

딥러닝 기반 3차원 원형 예측 장치 Download PDF

Info

Publication number
KR102131592B1
KR102131592B1 KR1020180128382A KR20180128382A KR102131592B1 KR 102131592 B1 KR102131592 B1 KR 102131592B1 KR 1020180128382 A KR1020180128382 A KR 1020180128382A KR 20180128382 A KR20180128382 A KR 20180128382A KR 102131592 B1 KR102131592 B1 KR 102131592B1
Authority
KR
South Korea
Prior art keywords
unit
deep learning
dimensional
circular
matrix
Prior art date
Application number
KR1020180128382A
Other languages
English (en)
Other versions
KR20200052420A (ko
Inventor
김기영
홍진석
Original Assignee
주식회사 인공지능연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인공지능연구원 filed Critical 주식회사 인공지능연구원
Priority to KR1020180128382A priority Critical patent/KR102131592B1/ko
Publication of KR20200052420A publication Critical patent/KR20200052420A/ko
Application granted granted Critical
Publication of KR102131592B1 publication Critical patent/KR102131592B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반 3차원 원형 예측 장치로, M개의 파편들 각각의 3차원 형태 스캔 데이터를 획득하는 입력 데이터 획득부와, 딥러닝 기반으로 학습되어 M개의 3차원 형태 스캔 데이터들이 입력됨에 따라, M개의 파편들이 형성하는 하나의 3차원 원형을 예측하는 원형 예측 모델을 포함한다.

Description

딥러닝 기반 3차원 원형 예측 장치{Apparatus for Predicting 3D Original Formation}
본 발명은 3차원 원형을 예측하는 기술에 관한 것으로, 특히 복수의 파편들이 형성하는 하나의 3차원 원형을 예측하는 장치에 관한 것이다.
도자기 복원 기술은 발굴조사를 통해 여러 가지 손상요인에 의해 훼손된 도자기 유물들을 복원하는 것으로, 훼손 도자기의 복원은 예비조사-자연과학적분석-강화처리-접합-복원-고색처리의 단계로 진행된다. 이중, 접합은 전문가에 의해 각각의 파편을 임의대로 매칭시켜 원형을 찾아내는 방법을 사용하고 있어 형태가 복잡하거나 파편의 수가 많을수록 복원 과정이 길어지고 현형 복원률이 낮아진다. 또한, 결실된 부분의 복원은 전문가에 의해 합성수지를 이용한 복원이 주를 이루고 있으며, 최근에는 박물관, 교육기관을 중심으로 3D 프린팅을 이용한 복원도 시도되고 있으나 정확도가 낮아 2차 작업이 이루어져야하는 상황이다. 따라서, 방대한 양의 도자기 유물이 아직 원형 복원 및 보존처리가 이루어지지 않은 채로 박물관, 미술관, 연구소 등에 산재해 있는 실정이다.
한편, 디지털 시대가 도래하면서 문화유산의 디지털 자원을 구축하고 이를 활용하는 정책과 사업이 국내외에서 크게 활성화되었으며, 최근의 3차원 데이터 획득 기술의 발전으로 정부와 문화유산 기관에서는 3차원 데이터 구축은 물론 자원의 배포를 하고 있으며, 이를 통한 새로운 문화 향유 방식의 활성화와 문화산업의 발전을 기대하고 있다. 따라서, 국내 문화재 발굴 현장에서는 3차원 스캐닝을 이용해 발굴지와 유물을 기록하며, 국가와 지자체의 기록화 사업은 3차원 디지털 기록을 필수적으로 요구하고 있는 추세이다. 그런데, 이러한 추세에 반해, 현재 훼손된 도자기의 원형 복원을 위한 시뮬레이션 솔루션 기술은 전무한 상태이다.
본 발명은 이러한 훼손 도자기의 복원에 따르는 시간 및 인력 비용을 감소시키기 위해 훼손된 도자기 파편들로 도자기 원형을 예측할 수 있는 딥러닝 기반 3차원 원형 예측 장치을 제공한다.
또한, 본 발명은 이러한 훼손 도자기의 복원을 위한 디지털 자원 구축을 위한 딥러닝 기반 3차원 원형 예측 장치을 제공한다.
본 발명은 딥러닝 기반 3차원 원형 예측 장치로, M개의 파편들 각각의 3차원 형태 스캔 데이터를 획득하는 입력 데이터 획득부와, 딥러닝 기반으로 학습되어 M개의 3차원 형태 스캔 데이터들이 입력됨에 따라, M개의 파편들이 형성하는 하나의 3차원 원형을 예측하는 원형 예측 모델을 포함한다.
본 발명에 따른 딥러닝 기반 3차원 원형 예측 장치를 통해, 훼손 도자기의 복원에 소요되는 시간을 획기적으로 단축하여 인적 물적 자원을 절약할 수 있다. 따라서, 시간적 인적 한계로 파편 단위로 무가치하게 방치되어있던 파손 문화재들을 본 연구개발사업의 솔루션을 통해 원래의 모습으로 복원함으로써 문화재로서 갖는 가치를 제고시킬 수 있다.
또한, 본 발명에 따라 훼손 도자기의 3차원 가상 복원 과정에 3차원 스캐닝, 기하적 분석, 시뮬레이션, 인공지능 등 다양한 최신 기술을 복합적으로 적용함으로써 국내 디지털 헤리티지 분야의 기술적 경쟁력을 높일 수 있다.
또한, 본 발명을 우리나라와 유사 문화권에 속한 중국-일본-베트남 등의 파손 도자기들에 적용하면, 후속 연구를 통해 다양한 형태의 파손 문화재에 확대 적용함으로 디지털 복원 기반 실물 문화재 복원이라는 거대한 산업을 이루어낼 수 있다.
도 1 및 도 2는 본 발명에 따른 딥러닝 기반 3차원 원형 예측 장치의 블록 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 원형 예측 모델의 개략적인 내부 블록 구성도이다.
도 4는 본 발명에 따른 서브 특징 추출부의 일 예를 도시한 도면이다.
도 5a 및 도 5b는 에지 콘볼루션(edge convolution)을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 3차원 특징 취합부의 개략적인 내부 블록 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
인공지능 분야에서 CNN(Convolutional Neural Network)은 ICVLR 2012에서 압도적인 성능으로 우승하면서 유명해진 이후로 이미지 분류(classification)의 표준이 되었으며, 이 외에도 객체 탐색(object detection), 얼굴 탐색 및 인식(face detection, face recognition) 등의 분야에서 디자인된 특성(feature) 기반의 기존 알고리즘 대비 월등한 성능을 보이며 널리 쓰이고 있다. 이러한 CNN의 탁월한 성능으로 인해 이미지, 비디오에서 자막을 자동 생성(CNN-LSTM)한다든지 하는 이전에는 할 수 없었던 작업도 가능해지며 이미지, 영상 분석 뿐 아니라 다른 분야에도 적용되고 있다. 예컨대, 1D CNN은 음성인식(Wav2Letter)이나 음성합성(WaveNet)과 같은 음성신호처리에서도 좋은 결과를 만들어내고 3D CNN은 의료 영상 분석(3D U-Net)에 적용하여 탁월한 성능을 내고 있으며, 2D CNN이나 3D CNN은 평면 혹은 입체적으로 배치된 센서 데이터 분석 등에도 활용되고 있다. 본 발명은 전술한 CNN과 같은 딥러닝 기술을 적용하여 하나의 도자기에서 파쇄된 파편들(shards)로부터 도자기 원형을 예측할 수 있는 딥러닝 기반 3차원 원형 예측 장치를 제안한다. 그런데, 하기에는 설명의 편의를 위해 도자기 원형을 예측하는 것으로 설명하나, 본 발명에서 예측하고자 하는 3차원 원형은 도자기에 한정되지 않고, 도자기 뿐만 아니라 아니라 다른 종류의 3차원 원형에도 적용될 수 있음을 밝혀둔다.
도 1 및 도 2는 본 발명에 따른 딥러닝 기반 3차원 원형 예측 장치의 블록 구성도이다.
도 1을 참조하면, 딥러닝 기반 3차원 원형 예측 장치(100)는 입력 데이터 획득부(10) 및 원형 예측 모델(100)를 포함할 수 있다.
입력 데이터 획득부(10)는 M개의 파편들 각각의 3차원 형태 스캔 데이터를 획득한다. 여기서, M개의 파편들은 하나의 3차원 원형에서 파쇄된 것이고, 3차원 원형에서 파쇄된 전체 파편들 중의 일부일 수 있다.
일 양상에 따라, 입력 데이터 획득부(10)는 거리를 기반으로 입체 형상 정보를 획득하는 센서를 사용하여 대상의 형상 정보를 획득하는 근거리 대상을 정밀하게 측정할 수 있는 삼각측량 방식의 정밀 스캐닝 방식 또는 수백 미터에 이르는 먼 거리에 위치한 대상의 스캔도 가능한 광대역 스캐닝 방식을 사용하는 3차원 스캐너일 수 있다. 다른 양상에 따라, 입력 데이터 획득부(10)는 파편들 각각의 3차원 형태 스캔 데이터 저장하는 데이터베이스로부터 데이터를 획득할 수 있는 검색 수단 또는 유/무선 통신 수단일 수도 있다.
여기서, 3차원 형태 스캔 데이터는 3차원 스캐닝이나 사진 측량을 통해 파편 표면으로부터 획득한 수많은 점 데이터로 이루어진 점군(點群, point cloud) 데이터일 수 있는데, 이는 다양한 어플리케이션에 적용 가능한 유연하고 확장 가능한 기하학(geometric) 표현을 제공할 수 있다. 그런데, 하나의 파편 표면에 해당하는 점 데이터는 수만~수천개가 있을 수 있다. 따라서, 입력 데이터 획득부(10)는 파편 표면에 해당하는 무수히 많은 점 데이터들로부터 랜덤 샘플링(Random Sampling)하여 n개의 점들의 3차원 데이터로 획득할 수 있다. n개의 점들로 이루어진 F-차원(F-dimensional) 점군(point cloud) 데이터는
Figure 112018105685277-pat00001
로 표현될 수 있는데, 본 발명에서 점들 각각은 3차원 공간의 좌표값을 갖는다.
원형 예측 모델(100)은 M개의 3차원 형태 스캔 데이터들이 입력됨에 따라, M개의 파편들이 형성하는 하나의 3차원 원형을 예측하도록 사전 학습된 딥러닝 기반 인공 지능 학습 모델이다.
도 2를 참조하면, 딥러닝 기반 3차원 원형 예측 장치(100)는 학습 제어부(20) 및 훈련 데이터 DB(30)를 더 포함할 수 있다.
훈련 데이터 DB(30)는 원형 예측 모델(100)을 학습시키기 위한 훈련 데이터를 저장하는 것으로, 훈련 데이터 세트는 M개의 파편들이 상응하는 하나의 3차원 원형 식별자가 라벨링(labelling)된 형태로 이루어진다. 여기서, 레이블(label)은 예컨대, 접시, 발, 완, 잔, 매병, 호, 주자, 병 등과 같은 기명을 구별하는 식별자(Identifiier : ID)일 수 있다. 이러한 훈련 데이터로 3차원 스캐닝과 사진측량 기술을 복합적으로 활용하여 현장에서 대량의 고품질 데이터가 획득될 수도 있고, 도자기 3차원 모델에 대상 도자기 유형의 형태와 물성치를 입력하고 외력이 가해지는 상황을 역학적으로 분석하여 파괴 상황을 시뮬레이션한 파편 생성 시뮬레이션을 통해 획득될 수도 있다.
학습 제어부(20)는 원형 예측 모델(100)을 학습시키기 위해 훈련 데이터 DB(30)로부터 추출된 훈련 데이터를 입력 데이터 획득부(10)에 입력시키고, 원형 예측 모델(100)로부터 출력된 값과 레이블 간의 손실(Loss)을 산출하고, 산출된 손실(Loss)이 최소화되도록 다중 계층 신경망을 역전파시켜, 원형 예측 모델(100)을 최적화시킨다. 즉, 원형 예측 모델(100)은 한 개의 도자기에서 얻어진 다수의 파편을 입력으로 받아 주어진 레이블을 예측하도록 학습된다.
도 3은 본 발명의 일 실시 예에 따른 원형 예측 모델의 개략적인 내부 블록 구성도이고, 도 4는 본 발명에 따른 서브 특징 추출부의 일 예를 도시한 도면이고, 도 5a 및 도 5b는 에지 콘볼루션(edge convolution)을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 3차원 특징 취합부의 개략적인 내부 블록 구성도이다.
도 3을 참조하면, 원형 예측 모델(100)은 3차원 특징 추출부(110), 3차원 특징 취합부(120) 및 3차원 원형 분류부(130)를 포함한다.
3차원 특징 추출부(110)는 M개의 파편들 각각의 3차원 형태 스캔 데이터들 각각을 병렬 처리하여 M개의 3차원 특징 정보들을 추출한다. 즉, 3차원 특징 추출부(110)는 M 개의 서브 특징 추출부들(110-1, 110-2, 110-3,..., 110-M) 각각이 대응되는 파편 표면으로부터 획득한 3차원 형태 스캔 데이터로부터 3차원 특징을 추출한다. 예컨대, 서브 특징 추출부 1(110-1)은 하나의 파편으로부터 도자기 밑면에 해당하는 기하적 특징(geometric features)을 추출하고, 서브 특징 추출부 2(110-2)은 다른 파편으로부터 도자기의 옆면에 해당하는 기하적 특징(geometric features)을 추출해낼 수 있다. 또한, 이러한 M 개의 서브 특징 추출부들(110-1, 110-2, 110-3,..., 110-M) 각각은 점군 데이터(Point Cloud) 처리에 알맞게 개발된 Dynamic Graph CNN, PointNet 및 PointNet++를 포함하는 심층 학습 인공 신경망들 중 하나를 응용하여 설계될 수 있다.
도 4를 참조하면, 서브 특징 추출부들(110-1, 110-2, 110-3,..., 110-M) 각각은 논문 "Dynamic Graph CNN for Learning on Point Clouds", Yue Wang et al.에 개시된 그래프 컨볼루션 신경망(Dynamic Graph CNN)을 응용하여 설계된 학습 모델일 수 있는데, 공간 변환 계층(Spatial Transform Layer)(111) 및 복수의 에지 콘볼루션 계층들(Edge Convolution Layer)(112, 113)로 이루어진다.
공간 변환 계층(Spatial Transform Layer)(111)은 하나의 파편의 3차원 형태 스캔 데이터인 n개의 점들의 3차원 공간 좌표값으로 이루어진 점군(point cloud) 데이터가 입력됨에 따라, 3×3 행렬(matrix)을 적용하여 입력 점군(point cloud) 데이터를 표준 공간(canonical space)에 정렬시킨다. 이때, 적용될 3×3 행렬(matrix)를 추정하기 위해, 점들 각각의 좌표와 점들 각각에 대한 k개의 이웃한 점들(neighboring points) 간의 좌표차를 결합한 텐서(tensor)가 사용될 수 있다.
복수의 에지 콘볼루션 계층들(Edge Convolution Layer)(112, 113)은 3차원 좌표를 가진 n개의 점들 각각에 대해 k개의 최근접 이웃점들(k-nearest neighbor : k-NN) 각각과 연결된 에지들의 특징(edge features) 세트를 계산하고, 각 세트 내의 피쳐들을 합산하여 n개의 점들 각각에 대한 기하학적 특징들(geometric features)을 추출하여 출력한다. 예컨대, 도 5a에 도시된 바와 같이, 하나의 점
Figure 112018105685277-pat00002
에 대한 최근접점들이 5개일 경우, 에지 콘볼루션 계층들(Edge Convolution Layer)(112, 113)은
Figure 112018105685277-pat00003
와 최근접점들 5개 각각과 연결한 에지 특징들을 모두 합산하여 출력하게 된다. 이때, 에지 특징은 도 5b에 도시된 바와 같이 완전 연결된 계층(fully-connected layer)을 통해 산출된다.
따라서, 콘볼루션 계층(Edge Convolution Layer)(112)은 각각 64개의 유닛들로 구성된 3개의 공유 다중 계층들(multi-layers)이 완전 연결된(fully-connected) 형태로 구성되고, 에지 콘볼루션 계층(Edge Convolution Layer)(113)은 128개의 유닛들로 구성된 1개의 공유 계층(layer)이 완전 연결된(fully-connected) 형태로 구성될 수 있다. 그리고, 에지 콘볼루션 계층(Edge Convolution Layer)(113)에서 출력된 특징들은 pooling되어 분류 점수(classification score)를 생성하는 데 사용되는 1차원 글로벌 디스크립터(global descriptor)로 형성된다(114).
다시 도 3을 참조하면, 3차원 특징 취합부(120)는 3차원 특징 추출부(110)로부터 출력된 M개의 3차원 특징 정보들을 취합하여 하나의 통합 특징 정보를 출력한다. 상세하게는, 도 6을 참조하면, 3차원 특징 취합부(120)는 행렬 곱셈부(121) 및 벡터 합산부(122) 중 적어도 하나를 포함할 수 있다.
행렬 곱셈부(matrix multiplicator)(121)는 3차원 특징 추출부(110)에 의해 출력된 M개의 3차원 특징 정보들 각각을 표현하는 벡터들로 이루어진 제1 행렬(X)이 전치(Transpose)된 제2 행렬(XT)과 제1 행렬(X)을 곱하여 출력한다.
벡터 합산부(reduce_sum)(122)는 3차원 특징 추출부에 의해 출력된 M개의 3차원 특징 정보들 각각을 표현하는 벡터들 간의 구성 요소(element)를 합산하여 출력한다.
3차원 특징 취합부(120)는 행렬 곱셈부(121) 및 벡터 합산부(122)를 선택적으로 포함 또는 동작시킬 수 있는데, 3차원 특징 취합부(120)는 행렬 곱셈부(121) 및 벡터 합산부(122)를 모두 포함 또는 동작시킬 경우, 행렬 곱셈부(121) 및 벡터 합산부(122)로부터 출력된 출력값들 간의 결합(concatenation) 연산을 수행하는 결합부(122)를 더 포함할 수 있다.
다시 도 3을 참조하면, 3차원 원형 분류부(130)는 3차원 특징 취합부(120)로부터 출력된 3차원 통합 특징 정보로부터 미리 설정된 소정 개수의 3차원 원형 식별자들 중 하나를 출력하도록 학습된 완전 접속된 다계층 신경망(fully-connected multi-layered neural network)으로 설계될 수 있다. 예컨대, 3차원 원형 분류부(130)는 하나의 파편으로부터 추출된 도자기 밑면에 해당하는 기하적 특징(geometric features) 및 다른 파편으로부터 추출된 도자기의 옆면에 해당하는 기하적 특징(geometric features)을 통합한 특징 정보로부터 도자기의 원형의 종류들 중 하나로 분류해낼 수 있다.

Claims (6)

  1. M개의 파편들 각각의 3차원 형태 스캔 데이터를 획득하는 입력 데이터 획득부와,
    딥러닝 기반으로 학습되어 M개의 3차원 형태 스캔 데이터들이 입력됨에 따라, M개의 파편들이 형성하는 하나의 3차원 원형을 예측하는 원형 예측 모델을 포함하되,
    원형 예측 모델은
    M개의 파편들 각각의 3차원 형태 스캔 데이터들 각각을 병렬 처리하여 M개의 3차원 특징 정보들을 추출하는 3차원 특징 추출부와,
    3차원 특징 추출부로부터 출력된 M개의 3차원 특징 정보들을 취합하여 하나의 통합 특징 정보를 출력하되, 3차원 특징 추출부에 의해 출력된 M개의 3차원 특징 정보들 각각을 표현하는 벡터들의 구성 요소(element)를 합산하는 벡터 합산부와, 3차원 특징 추출부에 의해 출력된 M개의 3차원 특징 정보들 각각을 표현하는 벡터들로 이루어진 제1 행렬이 전치된 제2 행렬과 제1 행렬을 곱하여 출력하는 행렬 곱셈부 중 적어도 하나를 포함하는 3차원 특징 취합부와,
    3차원 특징 취합부로부터 출력된 통합 특징 정보에 상응하는 3차원 원형 식별자를 출력하는 3차원 원형 분류부를
    포함하는 딥러닝 기반 3차원 원형 예측 장치.
  2. 제1항에 있어서, 3차원 형태 스캔 데이터는
    파편 표면으로부터 획득한 3차원 공간 상의 점들의 집합인 점군(Point Cloud) 데이터인 딥러닝 기반 3차원 원형 예측 장치.
  3. 삭제
  4. 제 1항에 있어서, 3차원 특징 추출부는
    Dynamic Graph CNN, PointNet 및 PointNet++를 포함하는 심층 학습 인공 신경망들 중 하나인 딥러닝 기반 3차원 원형 예측 장치.
  5. 삭제
  6. 제1 항에 있어서, 3차원 특징 취합부는
    벡터 합산부 및 행렬 곱셈부를 모두 포함할 경우, 벡터 합산부 및 행렬 곱셈부로부터 출력된 출력값들간의 결합 연산을 수행하는 결합부를 더 포함하는 딥러닝 기반 3차원 원형 예측 장치.
KR1020180128382A 2018-10-25 2018-10-25 딥러닝 기반 3차원 원형 예측 장치 KR102131592B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180128382A KR102131592B1 (ko) 2018-10-25 2018-10-25 딥러닝 기반 3차원 원형 예측 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180128382A KR102131592B1 (ko) 2018-10-25 2018-10-25 딥러닝 기반 3차원 원형 예측 장치

Publications (2)

Publication Number Publication Date
KR20200052420A KR20200052420A (ko) 2020-05-15
KR102131592B1 true KR102131592B1 (ko) 2020-08-05

Family

ID=70679067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180128382A KR102131592B1 (ko) 2018-10-25 2018-10-25 딥러닝 기반 3차원 원형 예측 장치

Country Status (1)

Country Link
KR (1) KR102131592B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150608B (zh) * 2020-09-07 2024-07-23 鹏城实验室 一种基于图卷积神经网络的三维人脸重建方法
CN112489123B (zh) * 2020-10-30 2021-09-10 江阴市智行工控科技有限公司 一种钢厂库区卡车表面目标三维定位方法
KR102716539B1 (ko) * 2021-11-29 2024-10-11 중앙대학교 산학협력단 양방향 계층적 그래프 콘보루션을 이용하여 장소를 인식하기 위한 피쳐를 추출하는 방법 및 컴퓨터 프로그램
CN114359894B (zh) * 2022-01-13 2024-04-30 浙大城市学院 一种佛教造像文物三维模型识别归类方法
KR20240048762A (ko) * 2022-10-07 2024-04-16 주식회사 공간의파티 Gcn 기반의 3차원 객체 인식 및 포즈 추정 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842666B1 (ko) * 2007-01-10 2008-06-30 한국문화콘텐츠진흥원 유형 문화재 복원 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212184A (ja) * 1995-02-01 1996-08-20 Fujitsu Ltd 認識装置および欠損値推定／学習方法
KR101968991B1 (ko) * 2017-03-31 2019-04-15 이건우 3d 스캐너를 이용한 문화재 유물 복원 서비스 제공 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842666B1 (ko) * 2007-01-10 2008-06-30 한국문화콘텐츠진흥원 유형 문화재 복원 시스템

Also Published As

Publication number Publication date
KR20200052420A (ko) 2020-05-15

Similar Documents

Publication Publication Date Title
KR102131592B1 (ko) 딥러닝 기반 3차원 원형 예측 장치
Zeng et al. 3dmatch: Learning local geometric descriptors from rgb-d reconstructions
US20230045519A1 (en) Target Detection Method and Apparatus
CN108229504B (zh) 图像解析方法及装置
CN110852256B (zh) 时序动作提名的生成方法、装置、设备及存储介质
CN115546116B (zh) 全覆盖式岩体不连续面提取与间距计算方法及系统
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
Quang et al. An efficient framework for pixel-wise building segmentation from aerial images
Nousias et al. A saliency aware CNN-based 3D model simplification and compression framework for remote inspection of heritage sites
Gao et al. Vision‐based fatigue crack automatic perception and geometric updating of finite element model for welded joint in steel structures
CN104778272B (zh) 一种基于区域挖掘和空间编码的图像位置估计方法
CN117094895B (zh) 图像全景拼接方法及其系统
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN111832358A (zh) 一种点云语义解析方法和装置
Xu et al. Mobile edge generation-enabled digital twin: Architecture design and research opportunities
CN117788810A (zh) 一种无监督语义分割的学习系统
Bao et al. GLSNet: Global and local streams network for 3D point cloud classification
Cao et al. Label-efficient deep learning-based semantic segmentation of building point clouds at LOD3 level
CN114638953B (zh) 点云数据的分割方法、装置及计算机可读存储介质
Schuegraf et al. Roof3D: A real and synthetic data collection for individual building roof plane and building sections detection
CN109271974A (zh) 一种轻量化人脸联合检测与识别方法及其系统
Elharrouss et al. 3D Point Cloud for Objects and Scenes Classification, Recognition, Segmentation, and Reconstruction: A Review
Elharrouss et al. 3d objects and scenes classification, recognition, segmentation, and reconstruction using 3d point cloud data: A review
CN114663810A (zh) 基于多模态的物体图像增广方法及装置、设备及存储介质
CN114140468A (zh) 三维点云的语义确定方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant