KR20180067908A - 3차원 모델 복원 장치 및 방법 - Google Patents

3차원 모델 복원 장치 및 방법 Download PDF

Info

Publication number
KR20180067908A
KR20180067908A KR1020160169340A KR20160169340A KR20180067908A KR 20180067908 A KR20180067908 A KR 20180067908A KR 1020160169340 A KR1020160169340 A KR 1020160169340A KR 20160169340 A KR20160169340 A KR 20160169340A KR 20180067908 A KR20180067908 A KR 20180067908A
Authority
KR
South Korea
Prior art keywords
dimensional
static background
information
model
dimensional model
Prior art date
Application number
KR1020160169340A
Other languages
English (en)
Inventor
유정재
강경규
김혜선
박창준
반윤지
유동완
이만희
추창우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160169340A priority Critical patent/KR20180067908A/ko
Priority to US15/649,539 priority patent/US10217281B2/en
Publication of KR20180067908A publication Critical patent/KR20180067908A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

3차원 모델 복원 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 3차원 모델 복원 장치는 복수개의 무인기들이 카메라를 통해 촬영한 영상 신호를 수신하여 다시점 영상을 획득하는 영상 획득부; 상기 획득한 다시점 영상에 기반하여 상기 무인기들의 움직임 변수들을 추정하는 기하 보정부 및 다시점 스테레오 기법을 이용하여 상기 정합된 다시점 영상으로부터 동적 객체의 3차원 모델을 복원하는 3차원 모델 생성부를 포함한다.

Description

3차원 모델 복원 장치 및 방법 {APPARATUS FOR RESTORING 3D-MODEL AND METHOD FOR USING THE SAME}
본 발명은 3차원 모델링 기술에 관한 것으로, 보다 상세하게는 무인기를 이용한 3차원 모델 복원 기술에 관한 것이다.
영상기반으로 객체 및 공간의 3차원 모델을 복원하는 기존의 기술은 크게 분류해 볼 때, 제한된 공간에서의 동시 촬영된 다시점 영상 기반으로 3차원 복원하는 기술과, 카메라 움직임 기반 3차원 복원 기술로 분류 할 수 있다.
첫 번째 기술 분류인 다시점 영상기반 복원 기술은 제한된 공간에서 고정된 다수의 카메라를 이용하여 대상체를 동시 촬영하여 3차원 복원을 수행한다. 이 때 설치된 카메라들은 상호간의 상대적인 위치, 방향 관계에 대해서 체크보드 등의 보정툴을 이용하여 상호간에 기하보정(Geometric Calibration)된 상태에서 중첩 시야각 범위 안의 대상체를 촬영한다. 이때 카메라들이 시간축상에서 동기화되어 연속적인 촬영이 이루어진다면, 매 프레임 촬영된 다시점 영상들에 대해서 기존의 다시점 스테레오 복원 방법을 적용하여, 동적으로 움직이는 대상체의 3차원 복원이 가능하다.
두 번째 기술 분류인 카메라 움직임 기반 3차원 복원 기술은, 단일 카메라를 이용하여 정적인 배경 또는 정적인 대상체 주변을 이동하면서 연속적으로 촬영하고, 카메라의 움직임으로 인해 발생하는 시차를 이용하여 정적인 배경(대상체)의 3차원 복원을 수행한다. SfM(Structure From Motion)이라고도 불리는 이 분류의 기술은, 촬영 대상의 정적인 특성을 이용하여 움직이는 단일 카메라로 촬영한 영상을, 시간축상의 동일 시점에 공간상의 여러 위치에서 동시 촬영한 영상으로 가정하고, 촬영 시점간의 카메라 이동거리를 촬영 카메라간의 중심거리(Baseline)으로 이용하여 3차원 복원을 수행한다. 이 분류의 기술은 한대의 카메라만을 사용하면서 공간의 제약을 받지 않으면서 넓은 영역을 3차원 복원 가능하다는 장점이 있으나, 촬영된 영상에서 정적인 영역만을 복원 가능하다는 제약을 갖는다. 단일 카메라 대신 다수의 카메라간의 상호위치가 고정된 멀티 카메라 리그를 이동시키면서 촬영하는 방법도 있으나, 이 경우 카메라 리그에 고정된 카메라들간의 중심거리(Baseline)이 짧기 때문에 복원되는 3차원 정보의 정확도가 낮다는 단점을 갖는다.
앞서 설명한 첫 번째 분류의 다시점 영상기반 복원 기술은 동적으로 움직이는 대상체를 3차원 복원 가능하지만, 고정된 촬영 카메라들의 중첩 시야각 범위 안에서 움직이는 대상체만 3차원 복원 가능하다는 한계를 갖는다.
두 번째 분류의 카메라 움직임 기반 3차원 복원 기술은 공간상의 제약을 받지 않고 이동하는 카메라에 의해 촬영된 배경공간을 3차원 복원 가능하지만, 동적으로 움직이는 대상체가 아닌 고정된 정적 대상에 대해서만 3차원 복원 가능하다는 한계를 갖는다.
그렇기 때문에 위 두 분류의 기술들 모두, 넓은 야외 공간에서 이동하면서 외형이 변화하는 동적 객체(Deformable-body Object)의 외형 복원을 수행하는 목적에는 적용이 어렵다는 한계를 갖는다. 예를 들어, 야외 공간에서 다수의 UAV 카메라가 달려가는 사람이나 동물을 따라가면서 이동하는 동적 객체 (사람 또는 동물)의 외형을 복원하는 문제를 해결하고자 할 때, 위 두 분류의 기술들은 모두 이 문제를 해결할 수 없다. 또한 두 분류의 기술을 단순 융합하여, 이동 가능한 다시점 촬영 카메라 리그를 활용하려 할 경우, 완성도 높은 동적 객체의 3D 외형을 복원하려면, 카메라간의 중심거리(Baseline)가 매우 긴, 대형 멀티 카메라 리그를 이동시키며 촬영해야 하며, 이는 높은 비용 발생과 운용의 제약을 받기 때문에 적합하지 않은 해결 방법이다.
한편, 한국공개특허 제 10-2012-0056668 호"3차원 정보 복원 장치 및 그 방법"는 고정된 3대의 TOF(Time of Flight) 카메라를 사용하여 하이브리드 방법으로 사람의 형상과 움직임을 3차원 정보로 복원하는 장치 및 그 방법에 관하여 개시하고 있다.
그러나, 한국공개특허 제 10-2012-0056668 호는 고정된 객체에 대해서 3차원 모델을 복원하는 장치 및 방법을 개시하고 있을 뿐, 야외 공간에서 움직이는 동적 객체에 대해서는 3차원 외형을 복원하지 못하는 한계가 있다.
본 발명은 이동 가능하면서 시간축상에서 동기화되어 촬영 가능한 복수의 무인기들에 장착된 이동카메라를 이용하여, 야외공간에서 이동하는 동적 객체의 3차원 모델을 복원하는 것을 목적으로 한다.
또한, 본 발명은 시간축 상에서 변화하는 이동카메라들간의 상호 기하 관계를 추정하고, 각 촬영 시점에서의 다시점 스테레오 3D 복원을 통하여 이동하는 동적 객체에 대한 정확한 3차원 정보를 제공하는 것을 목적으로 한다.
또한, 본 발명은 이동카메라들의 상호 기하 관계를 이용하여 정적 배경과 동적 객체의 구분 없이 중첩 영역 안에서 3차원 모델을 복원하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 3차원 모델 복원 장치는 복수개의 무인기들이 카메라를 이용하여 촬영한 영상 신호를 수신하여 다시점 영상을 획득하는 영상 획득부; 상기 획득한 다시점 영상에 기반하여 상기 무인기들의 움직임 변수들을 추정하는 기하 보정부 및 다시점 스테레오 기법을 이용하여 상기 정합된 다시점 영상으로부터 동적 객체의 3차원 모델을 복원하는 3차원 모델 생성부를 포함한다.
상기 복수개의 무인기들은 기설정된 중심 거리(Baseline)을 고려하여 동일한 시간축 상에 동기화되어 상기 동적 객체를 촬영할 수 있다.
상기 기하 보정부는 상기 다시점 영상에 기반하여 무인기들 별로 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 생성하고, 하나 이상의 공간축에 기반한 움직임 변수들을 추정하는 개별 기하 보정부; 상기 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 정합하여 정적 배경의 3차원 정보와 3차원 변환 정보를 생성하고, 상기 정적 배경의 3차원 정보와 3차원 변환 정보를 이용하여 어느 하나의 공간축에 기반한 움직임 변수들을 추정하는 배경 정합부 및 무리 조정(Bundle Adjustment) 기법을 이용하여 상기 정적 배경의 3차원 정보를 최적화하는 무리 조정부를 포함할 수 있다.
상기 배경 정합부는 상기 3차원 포인트 구름체들의 3차원 포인트들 간의 유클리디언 거리가 기설정된 값 이하이고, 상기 3차원 포인트들에 상응하는 특징점이 검출된 프레임 영상에 상기 3차원 포인트들을 사영시켜 사영좌표를 중심으로 블록 영상에서 평균 색상 차이(Color Intensity)가 기설정된 값 이하인 경우, 동일한 3차원 포인트로 판단할 수 있다.
상기 배경 정합부는 반복 최근접 포인트(Iterative Closest Point, ICP) 알고리즘을 이용하여 상기 정적 배경의 3차원 포인트 구름체들 중 어느 하나로부터 3차원 변환 정보를 생성할 수 있다.
상기 무리 조정부는 상기 3차원 변환 정보를 이용하여 상기 복수개의 무인기들의 이동 궤적이동일한 공간축에 배치되도록 상기 움직임 변수들을 변환하여 최적화할 수 있다.
상기 무리 조정부는 상기 변환된 움직임 변수들과 상기 정적 배경의 3차원 정보를 이용하여 상기 무리 조정 기법을 수행할 수 있다.
상기 3차원 모델 생성부는 상기 변환된 움직임 변수들을 이용하여 상기 무인기들 간의 상호 기하 관계를 추정하고, 상기 상호 기하 관계에 기반하여 상기 동적 객체의 3차원 모델을 복원할 수 있다.
상기 3차원 모델 생성부는 동일한 시간축 상에서의 상기 상호 기하 관계를 이용한 다시점 스테레오 기법을 이용하여 상기 다시점 영상에서 이동하는 동적 객체를 포함하는 영역에 기반하여 상기 동적 객체의 3차원 모델을 복원하기 위한 깊이 지도를 생성할 수 있다.
상기 3차원 모델 생성부는 상기 깊이 지도를 융합하여 시간축 상의 각 시점마다 동적 객체의 3차원 복셀(Voxel) 모델 및 3차원 메쉬 모델 중 적어도 하나를 생성할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 3차원 모델 복원 방법은 3차원 모델 복원 장치를 이용하는 3차원 모델 복원 방법에 있어서, 복수개의 무인기들이 촬영한 영상 신호를 수신하여 다시점 영상을 획득하는 단계; 상기 획득한 다시점 영상에 기반하여 상기 무인기들의 움직임 변수들을 추정하는 단계 및 다시점 스테레오 기법을 이용하여 상기 정합된 다시점 영상으로부터 동적 객체의 3차원 모델을 복원하는 단계를 포함한다.
상기 움직임 변수들을 추정하는 단계는 상기 다시점 영상에 기반하여 무인기들 별로 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 생성하고, 하나 이상의 공간축에 기반한 움직임 변수들을 추정하는 단계; 상기 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 정합하여 정적 배경의 3차원 정보와 3차원 변환 정보를 생성하고, 상기 정적 배경의 3차원 정보와 3차원 변환 정보를 이용하여 어느 하나의 공간축에 기반한 움직임 변수들을 추정하는 단계 및 무리 조정(Bundle Adjustment) 기법을 이용하여 상기 정적 배경의 3차원 정보를 최적화하는 단계를 포함할 수 있다.
상기 어느 하나의 공간축에 기반한 움직임 변수들을 추정하는 단계는 상기 3차원 포인트 구름체들의 3차원 포인트들 간의 유클리디언 거리가 기설정된 값 이하이고, 상기 3차원 포인트들에 상응하는 특징점이 검출된 프레임 영상에 상기 3차원 포인트들을 사영시켜 사영좌표를 중심으로 블록 영상에서 평균 색상 차이(Color Intensity)가 기설정된 값 이하인 경우, 동일한 3차원 포인트로 판단할 수 있다.
상기 어느 하나의 공간축에 기반한 움직임 변수들을 추정하는 단계는 반복 최근접 포인트(Iterative Closest Point, ICP) 알고리즘을 이용하여 상기 정적 배경의 3차원 포인트 구름체들 중 어느 하나로부터 3차원 변환 정보를 생성할 수 있다.
상기 3차원 정보를 최적화하는 단계는 상기 3차원 변환 정보를 이용하여 상기 복수개의 무인기들의 이동 궤적이 상기 어느 하나의 공간축에 배치되도록 움직임 변수들을 변환하여 최적화할 수 있다.
상기 3차원 정보를 최적화하는 단계는 상기 변환된 움직임 변수들과 상기 정적 배경의 3차원 정보를 이용하여 상기 무리 조정 기법을 수행할 수 있다.
상기 3차원 모델을 복원하는 단계는 상기 변환된 움직임 변수들을 이용하여 상기 무인기들 간의 상호 기하 관계를 추정하고, 상기 상호 기하 관계에 기반하여 상기 동적 객체의 3차원 모델을 복원할 수 있다.
상기 3차원 모델을 복원하는 단계는 동일한 시간축 상에서의 상기 상호 기하 관계를 이용한 다시점 스테레오 기법을 이용하여 상기 다시점 영상에서 이동하는 동적 객체를 포함하는 영역에 기반하여 상기 동적 객체의 3차원 모델을 복원하기 위한 깊이 지도를 생성할 수 있다.
상기 3차원 모델을 복원하는 단계는 상기 깊이 지도를 융합하여 시간축 상의 각 시점마다 동적 객체의 3차원 복셀(Voxel) 모델 및 3차원 메쉬 모델 중 어느 하나를 생성할 수 있다.
본 발명은 이동 가능하면서 시간축상에서 동기화되어 촬영 가능한 복수의 무인기들에 장착된 이동카메라를 이용하여, 야외공간에서 정지 및 이동하는 동적 객체의 3차원 모델을 복원할 수 있다.
또한, 본 발명은 시간축상에서 변화하는 이동카메라들간의 상호 기하 관계를 추정하고, 각 촬영 시점에서의 다시점 스테레오 3D 복원을 통하여 이동하는 동적 객체에 대한 정확한 3차원 정보를 제공하는 것을 목적으로 한다.
또한, 본 발명은 이동카메라들의 상호 기하 관계를 이용하여 정적 배경과 동적 객체의 구분 없이 중첩 영역 안에서 3차원 모델을 복원할 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 모델 복원 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 기하 보정부의 일 예를 세부적으로 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 동적 객체의 영상 획득 과정을 나타낸 도면이다.
도 4는 도 3에 도시된 이동카메라1의 영상 획득 과정을 나타낸 도면이다.
도 5는 도 3에 도시된 이동카메라2의 영상 획득 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 정적 배경 3차원 포인트 구름체의 영상 정합 과정을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 이동카메라들이 중첩영역과 상호 위치 관계를 고려한 동적 객체의 영상 획득 과정을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 3차원 모델 복원 방법을 나타낸 동작흐름도이다.
도 9는 도 8에 도시된 다시점 영상 정합 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 3차원 모델 복원 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 3차원 모델 복원 장치는 영상 획득부(110), 기하 보정부(120) 및 3차원 모델 생성부(130)를 포함한다.
영상 획득부(110)는 복수개의 무인기들이 카메라를 이용하여 촬영한 영상 신호를 수신하여 다시점 영상을 획득할 수 있다.
이 때, 복수개의 무인기들은 기설정된 중심 거리(Baseline)를 고려하여 동일한 시간축 상에 동기화되어 이동하는 동적 객체를 촬영할 수 있다.
이 때, 복수개의 무인기들은 기설정된 중심 거리를 유지할 수도 있다.
즉, 영상 획득부(110)는 무인기, 저고도 무인항공기(Unmanned Aerial Vehicle, UAV) 등에 장착된 카메라와 같은 이동 가능한 다수의 이동카메라들을 복원하고자 하는 동적 객체를 따라 이동시키면서, 시간축 상에서 동기화된 상태에서 연속적인 촬영을 수행할 수 있다.
이 때, 만약 3차원 복원하고자 하는 동적 객체가 제한된 일정공간 안에서만 움직인다면, 각각의 카메라들은 공중의 원호 궤적을 따라 이동하면서 동적 객체를 연속적으로 지향 촬영하는 방법도 가능하므로, 복원하고자 하는 대상이 반드시 이동중인 경우에만 본 발명의 방법을 적용 가능한 것은 아니다.
기하 보정부(120)는 획득한 다시점 영상에 기반하여 무인기들의 움직임 변수들을 추정할 수 있다.
기하 보정부(120)는 개별 기하 보정부(121), 배경 정합부(122) 및 무리 조정부(123)를 포함할 수 있다.
개별 기하 보정부(121)는 다시점 영상에 기반하여 무인기들 별로 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 생성하고, 하나 이상의 공간축에 기반한 움직임 변수들을 추정할 수 있다.
이 때, 개별 기하 보정부(121)는 모션 기반 구조 추정(Structure from Motion, SFM) 기법을 이용하여 각 이동카메라의 움직임 변수들 및 정적 배경의 3차원 포인트 구름체들을 생성할 수 있다.
이 때, 개별 기하 보정부(121)는 다시점 영상으로부터 추출한 특징점(Natural Features) 매칭 정보에 최소 제곱 오차법(Random sample consensus, RANSAC)을 적용하여 각 이동카메라들의 움직임 변수들을 추정할 수 있다.
또한, 개별 기하 보정부(121)는 위치 정보가 포함하는 GPS 정보 및 관성 센서 정보 중 적어도 하나를 이용하여 상기 복수개의 무인기들에 대한 움직임 변수들을 추정할 수 있다.
이 때, 개별 기하 보정부 (121)는 GPS 정보를 활용한다고 가정한다면 각각의 이동카메라 영상들을 기반으로 복원한 정적 배경 3차원 정보의 크기변수(Scale Factor)가 일정하다고 가정할 수도 있다.
이 때, 개별 기하 보정부(121)는 움직임 변수들을 이용하여 정적 배경의 특징점(inlier)들에 대한 3차원 포인트를 추정하고, 동적 객체에서 탐지된 특징점(outlier)들에 대한 3차원 포인트를 삭제한 3차원 포인트들을 이용하여 정적 배경의 3차원 포인트 구름체를 생성할 수 있다.
배경 정합부(122)는 정적 배경의 3차원 포인트 구름체들을 정합하여 정적 배경의 3차원 정보와 3차원 변환 정보를 생성하고, 정적 배경의 3차원 정보와 3차원 변환 정보를 이용하여 어느 하나의 공간축에 기반한 움직임 변수들을 추정할 수 있다.
이 때, 배경 정합부(122)는 3차원 포인트 구름체들의 3차원 포인트들 간의 유클리디언 거리가 기설정된 값 이하이고, 상기 3차원 포인트들에 상응하는 특징점이 검출된 프레임 영상에 상기 3차원 포인트들을 사영시켜 사영좌표를 중심으로 블록 영상에서 평균 색상 차이(Color Intensity)가 기설정된 값 이하인 경우, 동일한 3차원 포인트로 판단할 수 있다.
이 때, 배경 정합부(122)는 반복 최근접 포인트(Iterative Closest Point, ICP) 알고리즘을 이용하여 정적 배경의 3차원 포인트 구름체들 중 어느 하나로부터 3차원 변환 정보를 생성할 수 있다.
기하학의 표현방식인 동종 좌표계(Homogeneous coordinate)에서 3차원 변환정보를 예를 들면, 3차원 변환 행렬 H21는 4*4 행렬로 표현될 수 있다.
3차원 변환 행렬은 행렬원소의 자유도에 따라 등축변환(Isometric transformation), 유사변환(Similarity transformation), 아핀 변환(Affine transformation), 사영변환(Projective Transformation)등에 상응할 수 있다.
본 발명의 실시예에서는 편의상 회전과 이동을 포함하는 등축변환을 이용 할 수 있으며, 그 이상의 공간왜곡이 발생한 경우라도 ICP 알고리즘 적용의 결과로 얻어진 H21을 동일한 방식으로 적용 가능하므로 활용에 제약을 받지 않는다.
예를 들어, 3차원 변환 행렬 H21 를 등축변환으로 가정할 때 수학식 1과 같이 회전행렬 R21과 이동벡터 T21으로 나타낼 수 있다.
Figure pat00001
즉, 배경 정합부(122)는 수학식 2와 같이, 3차원 변환 행렬 H21 를 각각의 무인기 카메라로부터 입력된 영상에 기반하여 생성된 3차원 포인트 구름체에 대한 행렬 X1 에 적용하여 변환된 3차원 포인트 구름체 행렬 X1'를 생성할 수 있다.
Figure pat00002
이 때, 배경 정합부(122)는 3차원 변환 정보에 기반하여 변환된 3차원 포인트 구름체와 다른 3차원 포인트 구름체를 정합하여 정적 배경의 3차원 정보를 생성할 수 있다.
즉, 배경 정합부(122)는 공간축의 차이를 추정하고, 각각의 카메라 영상들로부터 복원된 정적 배경의 3차원 포인트 구름체들을 최적으로 정합시킬 수 있다.
무리 조정부(123)는 무리 조정(Bundle Adjustment) 기법을 이용하여 정적 배경의 3차원 정보를 최적화할 수 있다.
이 때, 무리 조정 기법은 다양한 변수들을 갖는 비용함수가 최소가 되도록 최적화를 수행할 수 있다.
먼저, 무리 조정부(123)는 3차원 변환 행렬 H21에 따라 이동카메라들의 이동 궤적이 동일한 공간축에 배치되도록 보정할 수 있다.
이 때, 무리 조정부(123)는 3차원 변환 정보를 이용하여 상기 복수개의 무인기들의 이동 궤적이 동일한 공간축에 배치되도록 상기 움직임 변수들을 변환하여 최적화할 수 있다.
예를 들어, 이동 카메라들의 사영행렬(P1, P2)에서 내부변수 K는 시간축상에서 고정된 값으로 가정할 수 있고, 움직임 변수인 회전행렬 R 과 이동벡터 T 만 시간의 함수라고 가정할 경우, 두 이동카메라들의 사영행렬은 수학식 3과 같이 나타낼 수 있다.
Figure pat00003
이 때, 수학식 3은 3차원 포인트의 변환과 이동카메라 축간의 변환이 역변환 관계임을 고려하면, 3차원 변환 행렬 H21 를 이용하여 이동카메라의 사영행렬 및 회전행렬, 이동벡터는 수학식 4과 같이 수정될 수 있다.
Figure pat00004
이 때, 무리 조정부(123)는 이러한 수정이 완료되면, 이제 이동카메라1의 움직임 변수들은 이동카메라2와 동일한 공간 축에서의 의미를 갖게 된다.
그리고, 무리 조정부(123)는 최종적으로 3차원 포인트 구름체들이 융합된 정적 배경의 3차원 정보, 3차원 포인트들과 변환된 움직임 변수들(예를 들어, 변환된 이동카메라1 움직임 변수, 변환된 이동카메라2 움직임 변수)를 모두 입력 변수로 하는 통합 무리조정을 수행할 수 있다.
즉, 무리 조정부(123)는 변환된 움직임 변수들과 상기 정적 배경의 3차원 정보를 이용하여 상기 무리 조정 기법을 수행할 수 있다.
3차원 모델 생성부(130)는 다시점 스테레오 기법을 이용하여 상기 정합된 다시점 영상으로부터 동적 객체의 3차원 모델을 복원할 수 있다.
즉, 3차원 모델 생성부(130)는 다시점 스테레오 기법을 이용하여, 매 촬영시점에서의 중첩 영역 안의 동적 객체의 3차원 모델을 복원할 수 있다.
이 때, 3차원 모델 생성부(130)는 각각의 무인기들에 장착된 이동카메라의 기하 정보를 이용하여 다시점 스테레오 기법을 수행할 수 있다.
이 때, 3차원 모델 생성부(130)는 다시점 스테레오 기법으로 3차원 패치 추정 기반 포인트 구름체 생성 방법을 이용할 수도 있다.
또한, 3차원 모델 생성부(130)는 상기 변환된 움직임 변수들을 이용하여 상기 무인기들 간의 상호 기하 관계를 추정하고, 상기 상호 기하 관계에 기반하여 상기 동적 객체의 3차원 모델을 복원할 수 있다.
이 때, 3차원 모델 생성부(130)는 동일한 시간축 상에서의 상기 상호 기하 관계를 이용한 다시점 스테레오 기법을 이용하여 상기 다시점 영상에서 이동하는 동적 객체를 포함하는 영역에 기반하여 상기 동적 객체의 3차원 모델을 복원하기 위한 깊이 지도를 생성할 수 있다.
이 때, 3차원 모델 생성부(130)는 상기 깊이 지도를 융합하여 시간축 상의 각 시점마다 동적 객체의 3차원 복셀(Voxel) 모델 또는 3차원 메쉬 모델을 생성할 수 있다.
도 2는 도 1에 도시된 기하 보정부의 일 예를 세부적으로 나타낸 블록도이다.
도 2를 참조하면, 기하 보정부(120)는 개별 기하 보정부(121), 배경 정합부(122) 및 무리 조정부(123)를 포함할 수 있다.
개별 기하 보정부(121)는 다시점 영상에 기반하여 무인기들 별로 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 생성하고, 하나 이상의 공간축에 기반한 움직임 변수들을 추정할 수 있다.
이 때, 개별 기하 보정부(121)는 모션 기반 구조 추정(Structure from Motion, SFM) 기법을 이용하여 각 이동카메라의 움직임 변수들 및 정적 배경의 3차원 포인트 구름체들을 생성할 수 있다.
이 때, 개별 기하 보정부(121)는 다시점 영상으로부터 추출한 특징점(Natural Features) 매칭 정보에 최소 제곱 오차법(Random sample consensus, RANSAC)을 적용하여 각 이동카메라들의 움직임 변수들을 추정할 수 있다.
또한, 개별 기하 보정부(121)는 위치 정보가 포함하는 GPS 정보 및 관성 센서 정보 중 적어도 하나를 이용하여 상기 복수개의 무인기들에 대한 움직임 변수들을 추정할 수 있다.
이 때, 개별 기하 보정부 (121)는 GPS 정보를 활용한다고 가정한다면 각각의 이동카메라 영상들을 기반으로 복원한 정적 배경 3차원 정보의 크기변수(Scale Factor)가 일정하다고 가정할 수도 있다.
이 때, 개별 기하 보정부(121)는 움직임 변수들을 이용하여 정적 배경의 특징점(inlier)들에 대한 3차원 포인트를 추정하고, 동적 객체에서 탐지된 특징점(outlier)들에 대한 3차원 포인트를 삭제한 3차원 포인트들을 이용하여 정적 배경의 3차원 포인트 구름체를 생성할 수 있다.
배경 정합부(122)는 정적 배경의 3차원 포인트 구름체들을 정합하여 정적 배경의 3차원 정보와 3차원 변환 정보를 생성하고, 정적 배경의 3차원 정보와 3차원 변환 정보를 이용하여 어느 하나의 공간축에 기반한 움직임 변수들을 추정할 수 있다.
이 때, 배경 정합부(122)는 3차원 포인트 구름체들의 3차원 포인트들 간의 유클리디언 거리가 기설정된 값 이하이고, 상기 3차원 포인트들에 상응하는 특징점이 검출된 프레임 영상에 상기 3차원 포인트들을 사영시켜 사영좌표를 중심으로 블록 영상에서 평균 색상 차이(Color Intensity)가 기설정된 값 이하인 경우, 동일한 3차원 포인트로 판단할 수 있다.
이 때, 배경 정합부(122)는 반복 최근접 포인트(Iterative Closest Point, ICP) 알고리즘을 이용하여 정적 배경의 3차원 포인트 구름체들 중 어느 하나로부터 3차원 변환 정보를 생성할 수 있다.
기하학의 표현방식인 동종 좌표계(Homogeneous coordinate)에서 3차원 변환정보를 예를 들면, 3차원 변환 행렬 H21는 4*4 행렬로 표현될 수 있다.
3차원 변환 행렬은 행렬원소의 자유도에 따라 등축변환(Isometric transformation), 유사변환(Similarity transformation), 아핀 변환(Affine transformation), 사영변환(Projective Transformation)등에 상응할 수 있다.
본 발명의 실시예에서는 편의상 회전과 이동을 포함하는 등축변환을 이용 할 수 있으며, 그 이상의 공간왜곡이 발생한 경우라도 ICP 알고리즘 적용의 결과로 얻어진 H21을 동일한 방식으로 적용 가능하므로 활용에 제약을 받지 않는다.
예를 들어, 3차원 변환 행렬 H21 를 등축변환으로 가정할 때 상기 수학식 1과 같이 회전행렬 R21과 이동벡터 T21으로 나타낼 수 있다.
즉, 배경 정합부(122)는 상기 수학식 2와 같이, 3차원 변환 행렬 H21 를 각각의 무인기 카메라로부터 입력된 영상에 기반하여 생성된 3차원 포인트 구름체에 대한 행렬 X1 에 적용하여 보정된 3차원 포인트 구름체 행렬 X1'를 생성할 수 있다.
이 때, 배경 정합부(122)는 3차원 변환 정보에 기반하여 보정된 3차원 포인트 구름체와 다른 3차원 포인트 구름체를 정합하여 정적 배경의 3차원 정보를 생성할 수 있다.
즉, 배경 정합부(122)는 공간축의 차이를 추정하고, 각각의 카메라 영상들로부터 복원된 정적 배경의 3차원 포인트 구름체들을 최적으로 정합시킬 수 있다.
무리 조정부(123)는 무리 조정(Bundle Adjustment) 기법을 이용하여 정적 배경의 3차원 정보를 최적화할 수 있다.
이 때, 무리 조정 기법은 다양한 변수들을 갖는 비용함수가 최소가 되도록 최적화를 수행할 수 있다.
먼저, 무리 조정부(123)는 3차원 변환 행렬 H21에 따라 이동카메라들의 이동 궤적이 동일한 공간축에 배치되도록 보정할 수 있다.
이 때, 무리 조정부(123)는 3차원 변환 정보를 이용하여 상기 복수개의 무인기들의 이동 궤적이 동일한 공간축에 배치되도록 상기 움직임 변수들을 변환하여 최적화할 수 있다.
예를 들어, 이동 카메라들의 사영행렬(P1, P2)에서 내부변수 K는 시간축상에서 고정된 값으로 가정할 수 있고, 움직임 변수인 회전행렬 R 과 이동벡터 T 만 시간의 함수라고 가정할 경우, 두 이동카메라들의 사영행렬은 상기 수학식 3과 같이 나타낼 수 있다.
이 때, 수학식 3은 3차원 포인트의 변환과 이동카메라 축간의 변환이 역변환 관계임을 고려하면, 3차원 변환 행렬 H21 를 이용하여 이동카메라의 사영행렬 및 회전행렬, 이동벡터는 상기 수학식 4와 같이 수정될 수 있다.
이 때, 무리 조정부(123)는 이러한 수정이 완료되면, 이제 이동카메라1의 움직임 변수들은 이동카메라2와 동일한 공간 축에서의 의미를 갖게 된다.
그리고, 무리 조정부(123)는 최종적으로 3차원 포인트 구름체들이 융합된 정적 배경의 3차원 정보, 3차원 포인트들과 변환된 움직임 변수들(예를 들어, 변환된 이동카메라1 움직임 변수, 변환된 이동카메라2 움직임 변수)를 모두 입력 변수로 하는 통합 무리조정을 수행할 수 있다.
즉, 무리 조정부(123)는 변환된 움직임 변수들과 상기 정적 배경의 3차원 정보를 이용하여 상기 무리 조정 기법을 수행할 수 있다.
도 3은 본 발명의 일실시예에 따른 동적 객체의 영상 획득 과정을 나타낸 도면이다.
도 3을 참조하면, 이동카메라1(201)과 이동카메라2(202)가 도심 상공에서 3차원 복원하고자 하는 동적 객체(204)를 따라서 이동하면서 촬영하는 것을 알 수 있다.
이 때, 이동카메라들(201, 202)은 두 카메라간의 시야각이 겹치는 이동형 중첩영역(205)안에 복원하고자 하는 동적 객체(204)가 포함되는 상태를 유지하면서 촬영을 수행할 수 있다.
또한. 두 카메라간의 상호위치관계(203)는 일정한 상태를 유지할 수 있다. 그러나, 기계적인 작동의 한계 또는 바람의 영향 등으로 인하여, 이동카메라들(201, 202)간의 상호위치관계(203)는 이동카메라들(201, 202)이 이동하면서 약간씩 변화할 수 도 있다.
도 4는 도 3에 도시된 이동카메라1의 영상 획득 과정을 나타낸 도면이다.
도 4를 참조하면, 이동카메라1이 시작시점의 위치(301)에서부터 종료시점의 위치(302)까지 이동하면서 영상을 촬영하는 것을 알 수 있다.
이 때, 3차원 모델 복원 장치는 이동카메라1로부터 촬영한 영상을 획득하고, SfM 접근법을 이용하여 정적 배경 특징점들에 대한 3차원 포인트들을 이용하여 3차원 포인트 구름체(Point Cloud)로 생성한 것을 알 수 있다. 도 4의 우측 끝 부분 회색 영역은 이동카메라2에는 촬영되지만, 이동 카메라1에는 촬영되지 않아서 복원되지 않은 영역인 것을 알 수 있다.
도 5는 도 3에 도시된 이동카메라2의 영상 획득 과정을 나타낸 도면이다.
도 5를 참조하면, 이동카메라2가 시작시점의 위치(401)에서부터 종료시점의 위치(402)까지 이동하면서 영상을 촬영하는 것을 알 수 있다.
이 때, 3차원 모델 복원 장치는 이동카메라2로부터 촬영한 영상을 획득하고, SfM 접근법을 이용하여 정적 배경 특징점들에 대한 3차원 포인트들을 이용하여 3차원 포인트 구름체(Point Cloud)로 생성한 것을 알 수 있다. 도 5의 좌측 끝 부분 회색 영역은 이동카메라1에는 촬영되지만, 이동 카메라2에는 촬영되지 않아서 복원되지 않은 영역인 것을 알 수 있다.
즉, 도 3 및 도 4에 도시된 바와 같이 3차원 모델 복원 장치는 이동카메라1 촬영영상들과 이동카메라2 촬영영상들에 별도로 SfM을 적용하며, 도 3과 도 4에 도시된 배경 영역의 포인트 구름체(도 3과 도 4의 포인트 무늬 영역)의 3차원 포인트들과 카메라 움직임 변수를 포함하여 무리 조정을 수행할 수 있다. 무리 조정은 정적 배경에서 복원된 3차원 포인트 구름체의 3차원 포인트들을 추정된 카메라 사영행렬에 따라 영상평면으로 사영시켰을 때의 2차원 재사영오차(Reprojection error)를 최소화 하는 방식으로 수행될 수 있다. 이 과정에서 입력되는 이동카메라1과 이동카메라2의 카메라 변수와 추정된 정적 배경의 3차원 포인트 구름체 세트가 서로 다르므로, 무리조정의 결과로 획득되는 3차원 정보 두 데이터 세트간에 약간의 공간축 변환관계를 포함할 수도 있다. 3차원 모델 복원 장치가 획득한 이동카메라1과 이동카메라2의 움직임 변수는 동일한 공간축 상에 존재하지 않아 보정이 필요할 수도 있다.
도 6은 본 발명의 일실시예에 따른 정적 배경 3차원 포인트 구름체의 영상 정합 과정을 나타낸 도면이다.
도 6을 참조하면, 3차원 모델 복원 장치는 이동카메라1 촬영영상에 SfM 기법을 이용하여 획득한 정적 배경의 3차원 포인트 구름체(501)를 이동카메라2 촬영영상에 SfM 기법을 이용하여 획득한 정적 배경의 3차원 포인트 구름체(503)와 최적으로 중첩될 수 있도록 변환하는 3차원 변환 정보 H21(502)를 추정할 수 있다.
이 때, 3차원 모델 복원 장치는 이동카메라1로부터 획득한 정적 배경의 3차원 포인트 구름체(501)에 3차원 변환 정보 H21(502)를 적용하여 보정된 3차원 포인트 구름체를 이동카메라2로부터 획득한 정적 배경의 3차원 포인트 구름체(503)와 정합할 수 있다.
이 때, 3차원 모델 복원 장치는 정적 배경의 3차원 포인트 구름체들(501, 503)을 정합하여 정적 배경의 3차원 정보(504)를 생성할 수 있다.
즉, 도 4 에서 이동카메라1이 촬영하지 못한 우측 끝 영역과 도 5에서 이동카메라 2가 촬영하지 못한 좌측 끝 영역을 포함하여 최종적인 정적 배경의 3차원 정보(504)가 생성된 것을 알 수 있다.
도 7은 본 발명의 일실시예에 따른 이동카메라들이 중첩영역과 상호 위치 관계를 고려한 동적 객체의 영상 획득 과정을 나타낸 도면이다.
도 7을 참조하면, 3차원 모델 복원 장치는 시작 시점에서 이동카메라들(601, 602)이 시작 시점의 상호 위치 관계(603)와 동적 객체에 대한 이동형 중첩 영역(604)를 고려하여 촬영한 이동하는 동적 객체에 대한 다시점 영상을 획득할 수 있다.
이 때, 3차원 모델 복원 장치는 3차원 포인트 구름체들로부터 생성한 3차원 변환 정보를 이용하여 t 시점까지 이동카메라들(611, 612)이 상호 위치 관계(613)와 이동형 중첩 영역(614)을 보정하면서 동적 객체를 촬영하도록 제어할 수 있다.
도 8은 본 발명의 일실시예에 따른 3차원 모델 복원 방법을 나타낸 동작흐름도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 3차원 모델 복원 방법은 먼저 다시점 영상을 획득할 수 있다(S710).
즉, 단계(S710)는 복수개의 무인기들이 카메라를 이용하여 촬영한 영상 신호를 수신하여 다시점 영상을 획득할 수 있다.
이 때, 복수개의 무인기들은 기설정된 중심 거리(Baseline)를 고려하여 동일한 시간축 상에 동기화되어 이동하는 동적 객체를 촬영할 수 있다.
이 때, 복수개의 무인기들은 기설정된 중심 거리를 유지할 수도 있다.
즉, 단계(S710)는 무인기, 저고도 무인항공기(Unmanned Aerial Vehicle, UAV) 등에 장착된 카메라와 같은 이동 가능한 다수의 이동카메라들을 복원하고자 하는 동적 객체를 따라 이동시키면서, 시간축 상에서 동기화된 상태에서 연속적인 촬영을 수행할 수 있다.
이 때, 만약 3차원 복원하고자 하는 동적 객체가 제한된 일정공간 안에서만 움직인다면, 각각의 카메라들은 공중의 원호 궤적을 따라 이동하면서 동적 객체를 연속적으로 지향 촬영하는 방법도 가능하므로, 복원하고자 하는 대상이 반드시 이동중인 경우에만 본 발명의 방법을 적용 가능한 것은 아니다.
또한, 본 발명의 일실시예에 따른 3차원 모델 복원 방법은 다시점 영상을 정합할 수 있다(S720).
즉, 단계(S720)는 획득한 다시점 영상에 기반하여 무인기들의 움직임 변수들을 추정할 수 있다.
단계(S720)는 먼저 3차원 포인트 구름체를 생성할 수 있다(S721).
즉, 단계(S721)는 다시점 영상에 기반하여 무인기들 별로 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 생성하고, 하나 이상의 공간축에 기반한 움직임 변수들을 추정할 수 있다.
이 때, 단계(S721)는 모션 기반 구조 추정(Structure from Motion, SFM) 기법을 이용하여 각 이동카메라의 움직임 변수들 및 정적 배경의 3차원 포인트 구름체들을 생성할 수 있다.
이 때, 단계(S721)는 다시점 영상으로부터 추출한 특징점(Natural Features) 매칭 정보에 최소 제곱 오차법(Random sample consensus, RANSAC)을 적용하여 각 이동카메라들의 움직임 변수들을 추정할 수 있다.
또한, 단계(S721)는 위치 정보가 포함하는 GPS 정보 및 관성 센서 정보 중 적어도 하나를 이용하여 상기 복수개의 무인기들에 대한 움직임 변수들을 추정할 수 있다.
이 때, 단계(S721)는 GPS 정보를 활용한다고 가정한다면 각각의 이동카메라 영상들을 기반으로 복원한 정적 배경 3차원 정보의 크기변수(Scale Factor)가 일정하다고 가정할 수도 있다.
이 때, 단계(S721)는 움직임 변수들을 이용하여 정적 배경의 특징점(inlier)들에 대한 3차원 포인트를 추정하고, 동적 객체에서 탐지된 특징점(outlier)들에 대한 3차원 포인트를 삭제한 3차원 포인트들을 이용하여 정적 배경의 3차원 포인트 구름체를 생성할 수 있다.
또한, 단계(S720)는 정적 배경의 3차원 정보를 생성할 수 있다(S722).
즉, 단계(S722)는 정적 배경의 3차원 포인트 구름체들을 정합하여 정적 배경의 3차원 정보와 3차원 변환 정보를 생성하고, 정적 배경의 3차원 정보와 3차원 변환 정보를 이용하여 어느 하나의 공간축에 기반한 움직임 변수들을 추정할 수 있다.
이 때, 단계(S722)는 3차원 포인트 구름체들의 3차원 포인트들 간의 유클리디언 거리가 기설정된 값 이하이고, 상기 3차원 포인트들에 상응하는 특징점이 검출된 프레임 영상에 상기 3차원 포인트들을 사영시켜 사영좌표를 중심으로 블록 영상에서 평균 색상 차이(Color Intensity)가 기설정된 값 이하인 경우, 동일한 3차원 포인트로 판단할 수 있다.
이 때, 단계(S722)는 반복 최근접 포인트(Iterative Closest Point, ICP) 알고리즘을 이용하여 정적 배경의 3차원 포인트 구름체들 중 어느 하나로부터 3차원 변환 정보를 생성할 수 있다.
기하학의 표현방식인 동종 좌표계(Homogeneous coordinate)에서 3차원 변환정보를 예를 들면, 3차원 변환 행렬 H21는 4*4 행렬로 표현될 수 있다.
3차원 변환 행렬은 행렬원소의 자유도에 따라 등축변환(Isometric transformation), 유사변환(Similarity transformation), 아핀 변환(Affine transformation), 사영변환(Projective Transformation)등에 상응할 수 있다.
본 발명의 실시예에서는 편의상 회전과 이동을 포함하는 등축변환을 이용 할 수 있으며, 그 이상의 공간왜곡이 발생한 경우라도 ICP 알고리즘 적용의 결과로 얻어진 H21을 동일한 방식으로 적용 가능하므로 활용에 제약을 받지 않는다.
예를 들어, 3차원 변환 행렬 H21 를 등축변환으로 가정할 때 상기 수학식 1과 같이 회전행렬 R21과 이동벡터 T21으로 나타낼 수 있다.
즉, 단계(S722)는 상기 수학식 2와 같이, 3차원 변환 정보에 대한 행렬 H21 를 각각의 무인기 카메라로부터 입력된 영상에 기반하여 생성된 3차원 포인트 구름체에 대한 행렬 X1 에 적용하여 변환된 3차원 포인트 구름체 행렬 X1'를 생성할 수 있다.
이 때, 단계(S722)는 3차원 변환 정보에 기반하여 변환된 3차원 포인트 구름체와 다른 3차원 포인트 구름체를 정합하여 정적 배경의 3차원 정보를 생성할 수 있다.
즉, 단계(S722)는 공간축의 차이를 추정하고, 각각의 카메라 영상들로부터 복원된 정적 배경의 3차원 포인트 구름체들을 최적으로 정합시킬 수 있다.
또한, 단계(S720)는 무리 조정 기법을 수행할 수 있다(S723).
즉, 단계(S723)는 무리 조정(Bundle Adjustment) 기법을 이용하여 정적 배경의 3차원 정보를 최적화할 수 있다.
이 때, 무리 조정 기법은 다양한 변수들을 갖는 비용함수가 최소가 되도록 최적화를 수행할 수 있다.
먼저, 단계(S723)는 3차원 변환 행렬 H21에 따라 이동카메라들의 이동 궤적이 동일한 공간축에 배치되도록 보정할 수 있다.
이 때, 단계(S723)는 3차원 변환 정보를 이용하여 상기 복수개의 무인기들의 이동 궤적이동일한 공간축에 배치되도록 상기 움직임 변수들을 변환하여 최적화할 수 있다.
예를 들어, 이동 카메라들의 사영행렬(P1, P2)에서 내부변수 K는 시간축상에서 고정된 값으로 가정할 수 있고, 움직임 변수인 회전행렬 R 과 이동벡터 T 만 시간의 함수라고 가정할 경우, 두 이동카메라들의 사영행렬은 상기 수학식 3과 같이 나타낼 수 있다.
이 때, 수학식 3은 3차원 포인트의 변환과 이동카메라 축간의 변환이 역변환 관계임을 고려하면, 3차원 변환 행렬 H21 를 이용하여 이동카메라의 사영행렬 및 회전행렬, 이동벡터는 상기 수학식 4과 같이 수정될 수 있다.
이 때, 단계(S723)는 이러한 수정이 완료되면, 이제 이동카메라1의 움직임 변수들은 이동카메라2와 동일한 공간 축에서의 의미를 갖게 된다.
그리고, 단계(S723)는 최종적으로 3차원 포인트 구름체들이 융합된 정적 배경의 3차원 정보, 3차원 포인트들과 변환된 움직임 변수들(예를 들어, 변환된 이동카메라1 움직임 변수, 변환된 이동카메라2 움직임 변수)를 모두 입력 변수로 하는 통합 무리조정을 수행할 수 있다.
즉, 단계(S723)는 변환된 움직임 변수들과 상기 정적 배경의 3차원 정보를 이용하여 상기 무리 조정 기법을 수행할 수 있다.
또한, 본 발명의 일실시예에 따른 3차원 모델 복원 방법은 동적 객체의 3차원 모델을 복원할 수 있다(S730).
즉, 단계(S730)는 다시점 스테레오 기법을 이용하여 상기 정합된 다시점 영상으로부터 동적 객체의 3차원 모델을 복원할 수 있다.
이 때, 단계(S730)는 다시점 스테레오 기법을 이용하여, 매 촬영시점에서의 중첩 영역 안의 동적 객체의 3차원 모델을 복원할 수 있다.
이 때, 단계(S730)는 각각의 무인기들에 장착된 이동카메라의 기하 정보를 이용하여 다시점 스테레오 기법을 수행할 수 있다.
이 때, 단계(S730)는 다시점 스테레오 기법으로 3차원 패치 추정 기반 포인트 구름체 생성 방법을 이용할 수도 있다.
또한, 단계(S730)는 상기 변환된 움직임 변수들을 이용하여 상기 무인기들 간의 상호 기하 관계를 추정하고, 상기 상호 기하 관계에 기반하여 상기 동적 객체의 3차원 모델을 복원할 수 있다.
이 때, 단계(S730)는 동일한 시간축 상에서의 상호 기하 관계를 이용한 다시점 스테레오 기법을 이용하여 상기 다시점 영상에서 이동하는 상기 동적 객체의 3차원 모델을 복원하기 위한 깊이 지도를 생성할 수 있다.
이 때, 단계(S730)는 상기 깊이 지도를 융합하여 시간축 상의 각 시점마다 동적 객체의 3차원 복셀(Voxel) 모델 또는 3차원 메쉬 모델을 생성할 수 있다.
도 9는 도 8에 도시된 다시점 영상 정합 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 9를 참조하면, 단계(S720)는 먼저 3차원 포인트 구름체를 생성할 수 있다(S721).
즉, 단계(S721)는 다시점 영상에 기반하여 무인기들 별로 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 생성하고, 하나 이상의 공간축에 기반한 움직임 변수들을 추정할 수 있다.
이 때, 단계(S721)는 모션 기반 구조 추정(Structure from Motion, SFM) 기법을 이용하여 각 이동카메라의 움직임 변수들 및 정적 배경의 3차원 포인트 구름체들을 생성할 수 있다.
이 때, 단계(S721)는 다시점 영상으로부터 추출한 특징점(Natural Features) 매칭 정보에 최소 제곱 오차법(Random sample consensus, RANSAC)을 적용하여 각 이동카메라들의 움직임 변수들을 추정할 수 있다.
또한, 단계(S721)는 위치 정보가 포함하는 GPS 정보 및 관성 센서 정보 중 적어도 하나를 이용하여 상기 복수개의 무인기들에 대한 움직임 변수들을 추정할 수 있다.
이 때, 단계(S721)는 GPS 정보를 활용한다고 가정한다면 각각의 이동카메라 영상들을 기반으로 복원한 정적 배경 3차원 정보의 크기변수(Scale Factor)가 일정하다고 가정할 수도 있다.
이 때, 단계(S721)는 움직임 변수들을 이용하여 정적 배경의 특징점(inlier)들에 대한 3차원 포인트를 추정하고, 동적 객체에서 탐지된 특징점(outlier)들에 대한 3차원 포인트를 삭제한 3차원 포인트들을 이용하여 정적 배경의 3차원 포인트 구름체를 생성할 수 있다.
또한, 단계(S720)는 정적 배경의 3차원 정보를 생성할 수 있다(S722).
즉, 단계(S722)는 정적 배경의 3차원 포인트 구름체들을 정합하여 정적 배경의 3차원 정보와 3차원 변환 정보를 생성하고, 정적 배경의 3차원 정보와 3차원 변환 정보를 이용하여 어느 하나의 공간축에 기반한 움직임 변수들을 추정할 수 있다.
이 때, 단계(S722)는 3차원 포인트 구름체들의 3차원 포인트들 간의 유클리디언 거리가 기설정된 값 이하이고, 상기 3차원 포인트들에 상응하는 특징점이 검출된 프레임 영상에 상기 3차원 포인트들을 사영시켜 사영좌표를 중심으로 블록 영상에서 평균 색상 차이(Color Intensity)가 기설정된 값 이하인 경우, 동일한 3차원 포인트로 판단할 수 있다.
이 때, 단계(S722)는 반복 최근접 포인트(Iterative Closest Point, ICP) 알고리즘을 이용하여 정적 배경의 3차원 포인트 구름체들 중 어느 하나로부터 3차원 변환 정보를 생성할 수 있다.
기하학의 표현방식인 동종 좌표계(Homogeneous coordinate)에서 3차원 변환정보를 예를 들면, 3차원 변환 행렬 H21는 4*4 행렬로 표현될 수 있다.
3차원 변환 행렬은 행렬원소의 자유도에 따라 등축변환(Isometric transformation), 유사변환(Similarity transformation), 아핀 변환(Affine transformation), 사영변환(Projective Transformation)등에 상응할 수 있다.
본 발명의 실시예에서는 편의상 회전과 이동을 포함하는 등축변환을 이용 할 수 있으며, 그 이상의 공간왜곡이 발생한 경우라도 ICP 알고리즘 적용의 결과로 얻어진 H21을 동일한 방식으로 적용 가능하므로 활용에 제약을 받지 않는다.
예를 들어, 3차원 변환 행렬 H21 를 등축변환으로 가정할 때 상기 수학식 1과 같이 회전행렬 R21과 이동벡터 T21으로 나타낼 수 있다.
즉, 단계(S722)는 상기 수학식 2와 같이, 3차원 변환 정보에 대한 행렬 H21 를 각각의 무인기 카메라로부터 입력된 영상에 기반하여 생성된 3차원 포인트 구름체에 대한 행렬 X1 에 적용하여 변환된 3차원 포인트 구름체 행렬 X1'를 생성할 수 있다.
이 때, 단계(S722)는 3차원 변환 정보에 기반하여 변환된 3차원 포인트 구름체와 다른 3차원 포인트 구름체를 정합하여 정적 배경의 3차원 정보를 생성할 수 있다.
즉, 단계(S722)는 공간축의 차이를 추정하고, 각각의 카메라 영상들로부터 복원된 정적 배경의 3차원 포인트 구름체들을 최적으로 정합시킬 수 있다.
또한, 단계(S720)는 무리 조정 기법을 수행할 수 있다(S723).
즉, 단계(S723)는 무리 조정(Bundle Adjustment) 기법을 이용하여 정적 배경의 3차원 정보를 최적화할 수 있다.
이 때, 무리 조정 기법은 다양한 변수들을 갖는 비용함수가 최소가 되도록 최적화를 수행할 수 있다.
먼저, 단계(S723)는 3차원 변환 행렬 H21에 따라 이동카메라들의 이동 궤적이 동일한 공간축에 배치되도록 보정할 수 있다.
이 때, 단계(S723)는 3차원 변환 정보를 이용하여 상기 복수개의 무인기들의 이동 궤적이동일한 공간축에 배치되도록 상기 움직임 변수들을 변환하여 최적화할 수 있다.
예를 들어, 이동 카메라들의 사영행렬(P1, P2)에서 내부변수 K는 시간축상에서 고정된 값으로 가정할 수 있고, 움직임 변수인 회전행렬 R 과 이동벡터 T 만 시간의 함수라고 가정할 경우, 두 이동카메라들의 사영행렬은 상기 수학식 3과 같이 나타낼 수 있다.
이 때, 수학식 3은 3차원 포인트의 변환과 이동카메라 축간의 변환이 역변환 관계임을 고려하면, 3차원 변환 행렬 H21 를 이용하여 이동카메라의 사영행렬 및 회전행렬, 이동벡터는 상기 수학식 4과 같이 수정될 수 있다.
이 때, 단계(S723)는 이러한 수정이 완료되면, 이제 이동카메라1의 움직임 변수들은 이동카메라2와 동일한 공간 축에서의 의미를 갖게 된다.
그리고, 단계(S723)는 최종적으로 3차원 포인트 구름체들이 융합된 정적 배경의 3차원 정보, 3차원 포인트들과 변환된 움직임 변수들(예를 들어, 변환된 이동카메라1 움직임 변수, 변환된 이동카메라2 움직임 변수)를 모두 입력 변수로 하는 통합 무리조정을 수행할 수 있다.
즉, 단계(S723)는 변환된 움직임 변수들과 상기 정적 배경의 3차원 정보를 이용하여 상기 무리 조정 기법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 3차원 모델 복원 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 영상 획득부 120: 기하 보정부
121: 개별 기하 보정부 122: 배경 정합부
123: 무리 조정부 130: 3차원 모델 생성부

Claims (19)

  1. 복수개의 무인기들이 카메라를 이용하여 촬영한 영상 신호를 수신하여 다시점 영상을 획득하는 영상 획득부;
    상기 획득한 다시점 영상에 기반하여 상기 무인기들의 움직임 변수들을 추정하는 기하 보정부; 및
    다시점 스테레오 기법을 이용하여 상기 정합된 다시점 영상으로부터 동적 객체의 3차원 모델을 복원하는 3차원 모델 생성부;
    를 포함하는 것을 특징으로 하는 3차원 모델 복원 장치.
  2. 청구항 1에 있어서,
    상기 복수개의 무인기들은
    기설정된 중심 거리(Baseline)를 고려하여 동일한 시간축 상에 동기화되어 상기 카메라를 이용하여 상기 동적 객체를 촬영하는 것을 특징으로 하는 3차원 모델 복원 장치.
  3. 청구항 2에 있어서,
    상기 기하 보정부는
    상기 다시점 영상에 기반하여 상기 무인기들 별로 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 생성하고, 하나 이상의 공간축에 기반한 움직임 변수들을 추정하는 개별 기하 보정부;
    상기 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 정합하여 정적 배경의 3차원 정보와 3차원 변환 정보를 생성하고, 상기 정적 배경의 3차원 정보와 3차원 변환 정보를 이용하여 어느 하나의 공간축에 기반한 움직임 변수들을 추정하는 배경 정합부; 및
    무리 조정(Bundle Adjustment) 기법을 이용하여 상기 정적 배경의 3차원 정보를 최적화하는 무리 조정부;
    를 포함하는 것을 특징으로 하는 3차원 모델 복원 장치.
  4. 청구항 3에 있어서,
    상기 배경 정합부는
    상기 3차원 포인트 구름체들의 3차원 포인트들 간의 유클리디언 거리가 기설정된 값 이하이고, 상기 3차원 포인트들에 상응하는 특징점이 검출된 프레임 영상에 상기 3차원 포인트들을 사영시켜 사영좌표를 중심으로 블록 영상에서 평균 색상 차이(Color Intensity)가 기설정된 값 이하인 경우, 동일한 3차원 포인트로 판단하는 것을 특징으로 하는 3차원 모델 복원 장치.
  5. 청구항 4에 있어서,
    상기 배경 정합부는
    반복 최근접 포인트(Iterative Closest Point, ICP) 알고리즘을 이용하여 상기 정적 배경의 3차원 포인트 구름체들 중 어느 하나로부터 3차원 변환 정보를 생성하는 것을 특징으로 하는 3차원 모델 복원 장치.
  6. 청구항 5에 있어서,
    상기 무리 조정부는
    상기 3차원 변환 정보를 이용하여 상기 복수개의 무인기들의 이동 궤적이 상기 어느 하나의 공간축에 배치되도록 움직임 변수들을 변환하여 최적화하는 것을 특징으로 하는 3차원 모델 복원 장치.
  7. 청구항 6에 있어서,
    상기 무리 조정부는
    상기 변환된 움직임 변수들과 상기 정적 배경의 3차원 정보를 이용하여 상기 무리 조정 기법을 수행하는 것을 특징으로 하는 3차원 모델 복원 장치.
  8. 청구항 7에 있어서,
    상기 3차원 모델 생성부는
    상기 변환된 움직임 변수들을 이용하여 상기 무인기들 간의 상호 기하 관계를 추정하고, 상기 상호 기하 관계에 기반하여 상기 동적 객체의 3차원 모델을 복원하는 것을 특징으로 하는 3차원 모델 복원 장치.
  9. 청구항 8에 있어서,
    상기 3차원 모델 생성부는
    동일한 시간축 상에서의 상기 상호 기하 관계를 이용한 다시점 스테레오 기법을 이용하여 상기 다시점 영상에서 이동하는 동적 객체를 포함하는 영역에 기반하여 상기 동적 객체의 3차원 모델을 복원하기 위한 깊이 지도를 생성하는 것을 특징으로 하는 3차원 모델 복원 장치.
  10. 청구항 9에 있어서,
    상기 3차원 모델 생성부는
    상기 깊이 지도를 융합하여 시간축 상의 각 시점마다 동적 객체의 3차원 복셀(Voxel) 모델 및 3차원 메쉬 모델 중 어느 하나를 생성하는 것을 특징으로 하는 3차원 모델 복원 장치.
  11. 3차원 모델 복원 장치를 이용하는 3차원 모델 복원 방법에 있어서,
    복수개의 무인기들이 촬영한 영상 신호를 수신하여 다시점 영상을 획득하는 단계;
    상기 획득한 다시점 영상에 기반하여 상기 무인기들의 움직임 변수들을 추정하는 단계; 및
    다시점 스테레오 기법을 이용하여 상기 정합된 다시점 영상으로부터 동적 객체의 3차원 모델을 복원하는 단계;
    를 포함하는 것을 특징으로 하는 3차원 모델 복원 방법.
  12. 청구항 11에 있어서,
    상기 움직임 변수들을 추정하는 단계는
    상기 다시점 영상에 기반하여 상기 무인기들 별로 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 생성하고, 하나 이상의 공간축에 기반한 움직임 변수들을 추정하는 단계;
    상기 정적 배경의 3차원 포인트 구름체들(3D Point Clouds)을 정합하여 정적 배경의 3차원 정보와 3차원 변환 정보를 생성하고, 상기 정적 배경의 3차원 정보와 3차원 변환 정보를 이용하여 어느 하나의 공간축에 기반한 움직임 변수들을 추정하는 단계; 및
    무리 조정(Bundle Adjustment) 기법을 이용하여 상기 정적 배경의 3차원 정보를 최적화하는 단계;
    를 포함하는 것을 특징으로 하는 3차원 모델 복원 방법.
  13. 청구항 12에 있어서,
    상기 어느 하나의 공간축에 기반한 움직임 변수들을 추정하는 단계는
    상기 3차원 포인트 구름체들의 3차원 포인트들 간의 유클리디언 거리가 기설정된 값 이하이고, 상기 3차원 포인트들에 상응하는 특징점이 검출된 프레임 영상에 상기 3차원 포인트들을 사영시켜 사영좌표를 중심으로 블록 영상에서 평균 색상 차이(Color Intensity)가 기설정된 값 이하인 경우, 동일한 3차원 포인트로 판단하는 것을 특징으로 하는 3차원 모델 복원 방법.
  14. 청구항 13에 있어서,
    상기 어느 하나의 공간축에 기반한 움직임 변수들을 추정하는 단계는
    반복 최근접 포인트(Iterative Closest Point, ICP) 알고리즘을 이용하여 상기 정적 배경의 3차원 포인트 구름체들 중 어느 하나로부터 3차원 변환 정보를 생성하는 것을 특징으로 하는 3차원 모델 복원 방법.
  15. 청구항 14에 있어서,
    상기 3차원 정보를 최적화하는 단계는
    상기 3차원 변환 정보를 이용하여 상기 복수개의 무인기들의 이동 궤적이 상기 어느 하나의 공간축에 배치되도록 움직임 변수들을 변환하여 최적화하는 것을 특징으로 하는 3차원 모델 복원 방법.
  16. 청구항 15에 있어서,
    상기 3차원 정보를 최적화하는 단계는
    상기 변환된 움직임 변수들과 상기 정적 배경의 3차원 정보를 이용하여 상기 무리 조정 기법을 수행하는 것을 특징으로 하는 3차원 모델 복원 방법.
  17. 청구항 16에 있어서,
    상기 3차원 모델을 복원하는 단계는
    상기 변환된 움직임 변수들을 이용하여 상기 무인기들 간의 상호 기하 관계를 추정하고, 상기 상호 기하 관계에 기반하여 상기 동적 객체의 3차원 모델을 복원하는 것을 특징으로 하는 3차원 모델 복원 방법.
  18. 청구항 17에 있어서,
    상기 3차원 모델을 복원하는 단계는
    동일한 시간축 상에서의 상기 상호 기하 관계를 이용한 다시점 스테레오 기법을 이용하여 상기 다시점 영상에서 이동하는 동적 객체를 포함하는 영역에 기반하여 상기 동적 객체의 3차원 모델을 복원하기 위한 깊이 지도를 생성하는 것을 특징으로 하는 3차원 모델 복원 방법.
  19. 청구항 18에 있어서,
    상기 3차원 모델을 복원하는 단계는
    상기 깊이 지도를 융합하여 시간축 상의 각 시점마다 동적 객체의 3차원 복셀(Voxel) 모델 및 3차원 메쉬 모델 중 어느 하나를 생성하는 것을 특징으로 하는 3차원 모델 복원 방법.
KR1020160169340A 2016-12-13 2016-12-13 3차원 모델 복원 장치 및 방법 KR20180067908A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160169340A KR20180067908A (ko) 2016-12-13 2016-12-13 3차원 모델 복원 장치 및 방법
US15/649,539 US10217281B2 (en) 2016-12-13 2017-07-13 Apparatus for reconstructing 3D model and method for using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160169340A KR20180067908A (ko) 2016-12-13 2016-12-13 3차원 모델 복원 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180067908A true KR20180067908A (ko) 2018-06-21

Family

ID=62490247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160169340A KR20180067908A (ko) 2016-12-13 2016-12-13 3차원 모델 복원 장치 및 방법

Country Status (2)

Country Link
US (1) US10217281B2 (ko)
KR (1) KR20180067908A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200003588A (ko) * 2018-07-02 2020-01-10 주식회사 유니디자인경영연구소 무인 관측 수단에 의해 촬영된 영상을 이용한 브이알(VR, Virtual Reality)용 쓰리디 맵 제작 장치 및 방법
KR20200080190A (ko) * 2018-12-26 2020-07-06 경희대학교 산학협력단 영상에서의 객체 제거 방법 및 그 장치
KR20210099752A (ko) * 2020-02-05 2021-08-13 네이버 주식회사 2차원 지도 정보를 기반으로 거리뷰 이미지의 포즈를 정합시키기 위한 전자 장치 및 그의 동작 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) * 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
JP7013144B2 (ja) * 2016-10-12 2022-01-31 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10721461B2 (en) * 2017-07-28 2020-07-21 California Institute Of Technology Collaborative stereo system for three-dimensional terrain and object reconstruction
US11568568B1 (en) * 2017-10-31 2023-01-31 Edge 3 Technologies Calibration for multi-camera and multisensory systems
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
EP3841744A4 (en) * 2018-08-22 2022-05-18 I-Conic Vision AB METHOD AND RELATIVE SYSTEM FOR GENERATION OF VIDEO-BASED MODELS OF A TARGET LIKE A DYNAMIC EVENT
EP3614341A1 (en) * 2018-08-23 2020-02-26 ETH Zurich Apparatus, method and computer program for detecting the form of a deformable object
JP7241546B2 (ja) * 2019-01-16 2023-03-17 三菱電機株式会社 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム
US10964043B2 (en) * 2019-06-05 2021-03-30 Icatch Technology, Inc. Method and measurement system for measuring dimension and/or volume of an object by eliminating redundant voxels
CN110874864B (zh) * 2019-10-25 2022-01-14 奥比中光科技集团股份有限公司 获取对象三维模型的方法、装置、电子设备及系统
US20210407302A1 (en) * 2020-06-30 2021-12-30 Sony Group Corporation System of multi-drone visual content capturing
CN113177999B (zh) * 2021-03-25 2022-12-16 杭州易现先进科技有限公司 视觉三维重建方法、系统、电子装置和存储介质
CN117237924B (zh) * 2023-11-13 2024-03-29 深圳元戎启行科技有限公司 一种障碍物可见性分析方法、装置、智能终端及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120056668A (ko) 2010-11-25 2012-06-04 한국전자통신연구원 3차원 정보 복원 장치 및 그 방법
US20120162215A1 (en) 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image
KR20130047194A (ko) 2011-10-31 2013-05-08 한국전자통신연구원 동적 개체의 외형복원 및 자동 스키닝 장치 및 방법
KR20130080614A (ko) 2012-01-05 2013-07-15 한국전자통신연구원 휘도 자동 보정 장치 및 방법
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
KR101608753B1 (ko) 2014-12-30 2016-04-04 인하대학교 산학협력단 초점 이동 영상 촬영을 통한 3차원 컨텐츠 생성 방법 및 장치
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
KR101723210B1 (ko) 2015-12-22 2017-04-05 우덕명 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200003588A (ko) * 2018-07-02 2020-01-10 주식회사 유니디자인경영연구소 무인 관측 수단에 의해 촬영된 영상을 이용한 브이알(VR, Virtual Reality)용 쓰리디 맵 제작 장치 및 방법
KR20200080190A (ko) * 2018-12-26 2020-07-06 경희대학교 산학협력단 영상에서의 객체 제거 방법 및 그 장치
KR20210099752A (ko) * 2020-02-05 2021-08-13 네이버 주식회사 2차원 지도 정보를 기반으로 거리뷰 이미지의 포즈를 정합시키기 위한 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
US20180165875A1 (en) 2018-06-14
US10217281B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
KR20180067908A (ko) 3차원 모델 복원 장치 및 방법
US11354840B2 (en) Three dimensional acquisition and rendering
JP6768156B2 (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
US10469828B2 (en) Three-dimensional dense structure from motion with stereo vision
KR101754599B1 (ko) 드론 촬영 이미지를 기반으로 3ｄ 오브젝트를 자동으로 추출하는 시스템 및 방법
US9235928B2 (en) 3D body modeling, from a single or multiple 3D cameras, in the presence of motion
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
Nakazawa et al. Dynamic scene reconstruction using asynchronous multiple kinects
KR102107465B1 (ko) 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법
JP2005252482A (ja) 画像生成装置及び３次元距離情報取得装置
Garcia et al. Markerless motion capture with multi-view structured light
CN116129031A (zh) 用于三维重建的方法、系统和存储介质
Fazakas et al. 3D reconstruction system for autonomous robot navigation
Firdaus et al. Accuracy analysis of three-dimensional model reconstructed by spherical video images
KR20170119524A (ko) 삼차원 영상 복원 장치 및 삼차원 영상 복원 방법
CN118196332A (zh) 一种多视图人体表面重建方法及系统
CN115601438A (zh) 外参标定方法、装置以及自主移动设备
Shen et al. Three-dimensional Reconstruction Based on Quadrotors with Binocular Vision

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application