KR20200129657A - 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 - Google Patents
혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 Download PDFInfo
- Publication number
- KR20200129657A KR20200129657A KR1020190054393A KR20190054393A KR20200129657A KR 20200129657 A KR20200129657 A KR 20200129657A KR 1020190054393 A KR1020190054393 A KR 1020190054393A KR 20190054393 A KR20190054393 A KR 20190054393A KR 20200129657 A KR20200129657 A KR 20200129657A
- Authority
- KR
- South Korea
- Prior art keywords
- view image
- camera
- image
- video sequence
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 47
- 238000005286 illumination Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000003702 image correction Methods 0.000 claims abstract description 12
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 4
- 238000012937 correction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명의 실시 형태는 대상 객체의 중심을 향한 다시점 영상을 획득하는 다시점 영상 획득 과정; 카메라 파라미터를 획득하여 획득한 카메라 파라미터를 조절하는 교정 과정; 교정된 다시점 영상에 대한 영상 보정 및 조명 보상이 이루어지는 전처리 과정; 전처리된 다시점 영상을 이용하여, 시청자의 시청 위치에 따른 3D 메쉬 데이터의 렌더링을 획득하는 3D 메쉬 데이터 획득 과정;을 포함할 수 있다.
Description
본 발명은 3D 모델 비디오 시퀀스 획득 방법으로서, 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법에 관한 것이다.
기존의 실사 기반의 홀로그램 비디오 콘텐츠 획득 방식은, 도 1에 도시한 바와 같이 2차원 단시점(일방향)의 그린스크린 영상을 촬영하여 배경을 제거한 후 2D 프레임을 추출하는 방식이다.
따라서 기존의 실사 기반의 전방위 3D 모델 획득 방식은, 정지된 객체에 대하여 다양한 각도에서 촬영 또는 스캔하는 방식으로 비디오 콘텐츠의 획득이 어려운 구조를 가지기 때문에, 360°다시점 체험이 요구되는 가상 및 혼합현실 환경에서는 비효율적인 방식이다.
일반적으로 정지된 객체의 3D 스캐닝 서비스 또는 기술이 대다수를 차지하며, 움직이는 객체에 대한 전방위 3D 모델 데이터를 개발한 기술(제품)이 없는 실정이다.
따라서 다가올 4차 산업 서비스(보안, 에너지, 디스플레이, 의료, 교육 등)를 위해 다양한 산업 분야에서 활용될 혼합현실 관련 기술로서, 원천적으로 현실 데이터를 360°3차원 데이터로 생성하는 시퀀스 획득 기술의 개발 필요성이 절실하다.
본 발명의 기술적 과제는 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 수단을 제공하는데 있다.
본 발명의 실시 형태는 대상 객체의 중심을 향한 다시점 영상을 획득하는 다시점 영상 획득 과정; 카메라 파라미터를 획득하여 획득한 카메라 파라미터를 조절하는 교정 과정; 교정된 다시점 영상에 대한 영상 보정 및 조명 보상이 이루어지는 전처리 과정; 전처리된 다시점 영상을 이용하여, 시청자의 시청 위치에 따른 3D 메쉬 데이터의 렌더링을 획득하는 3D 메쉬 데이터 획득 과정;을 포함할 수 있다.
상기 다시점 영상 획득 과정은, 각 카메라를 통해 촬영된 단일시점 영상에서 특징점을 추출하여, 각 단일시점 영상의 특징점에 대한 틀어짐을 매칭시켜 다시점 영상을 획득함을 특징으로 할 수 있다.
상기 교정 과정은, 각 단일시점 영상을 촬영한 카메라의 파라미터를 획득하고, 획득한 카메라 파라미터를 조절하여 단시점 영상을 교정할 수 있다.
상기 전처리 과정에서 영상 보정은, 카메라의 위치와 이를 보는 영상점간의 두 벡터들은 공통평면에 위치하도록 하는 등극선(epipolar) 기하학을 적용하여 호모그래피(homography)를 계산하여 각 단일 시점의 시점 영상을 일치시키도록 보정할 수 있다.
상기 전처리 과정에서 조명 보상은, 각 카메라에 구비된 깊이 센서를 이용하여 대상 객체의 깊이를 감지하며, 각 카메라에서 촬영된 단일 시점 영상에 대한 깊이 맵(depth map)을 이용하여 각 단일 시점의 밝기를 일정한 값으로 보정할 수 있다.
상기 3D 메쉬 데이터 획득 과정은, 보정된 다시점 영상을 이용하여 3D 메쉬 모델 시퀀스를 획득하는 과정; 3D 메쉬 모델 시퀀스를 이용하여 3D 메쉬 데이터를 획득하는 과정;을 포함할 수 있다.
본 발명의 실시 형태에 따르면 다시점 카메라 시스템을 이용하여 움직이는 객체에 대한 360도 라이브 시퀀스 획득이 가능하고, 전방위 비디오 시퀀스를 이용하여 3D 모델 형태의 데이터 획득이 가능하게 된다.
도 1은 기존의 2차원 단시점의 그린스크린 영상을 이용한 홀로그램 비디오 콘텐츠 획득 방식의 예시 그림.
도 2는 본 발명의 실시예에 따른 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 시스템의 구성도.
도 3은 본 발명의 실시예에 따른 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법을 도시한 플로차트.
도 4는 본 발명의 실시예에 따른 시점간의 특징점 매칭 결과의 예시.
도 5는 본 발명의 실시예에 따른 카메라 보정을 위한 보정판의 예시 그림.
도 6은 본 발명의 실시예에 따라 다른 두 시점의 epipolar 기하학 계산의 예시 그림.
도 7은 본 발명의 실시예에 따라 조명 보상 전후를 도시한 그림.
도 8은 본 발명의 실시예에 따른 3D 메쉬 데이터의 수정과정의 예시.
도 9는 본 발명의 실시예에 따른 시청자의위치에 따른 3D 메쉬의 렌더링 예시.
도 10은 본 발명의 실시예에 따라 카메라 파라미터와 좌표계의 변환 예시.
도 11은 본 발명의 실시예에 따라 다시점 영상의 특징점 추출 및 매칭 예시.
도 12는 본 발명의 실시예에 따라 매칭점과 카메라 파라미터 정보를 이용한 3D Point Cloud의 획득 예시.
도 13은 본 발명의 실시예에 따라 대략적인 3D Point Cloud와 다시점 영상을 이용한 정밀한 3D Point Cloud 데이터 획득 예시.
도 2는 본 발명의 실시예에 따른 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 시스템의 구성도.
도 3은 본 발명의 실시예에 따른 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법을 도시한 플로차트.
도 4는 본 발명의 실시예에 따른 시점간의 특징점 매칭 결과의 예시.
도 5는 본 발명의 실시예에 따른 카메라 보정을 위한 보정판의 예시 그림.
도 6은 본 발명의 실시예에 따라 다른 두 시점의 epipolar 기하학 계산의 예시 그림.
도 7은 본 발명의 실시예에 따라 조명 보상 전후를 도시한 그림.
도 8은 본 발명의 실시예에 따른 3D 메쉬 데이터의 수정과정의 예시.
도 9는 본 발명의 실시예에 따른 시청자의위치에 따른 3D 메쉬의 렌더링 예시.
도 10은 본 발명의 실시예에 따라 카메라 파라미터와 좌표계의 변환 예시.
도 11은 본 발명의 실시예에 따라 다시점 영상의 특징점 추출 및 매칭 예시.
도 12는 본 발명의 실시예에 따라 매칭점과 카메라 파라미터 정보를 이용한 3D Point Cloud의 획득 예시.
도 13은 본 발명의 실시예에 따라 대략적인 3D Point Cloud와 다시점 영상을 이용한 정밀한 3D Point Cloud 데이터 획득 예시.
이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.
도 2는 본 발명의 실시예에 따른 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 시스템의 구성도이다.
본 발명은 다시점 카메라 시스템을 이용하여 움직이는 객체에 대한 360° 라이브 시퀀스 획득이 가능하고, 전방위 비디오 시퀀스를 이용하여 3D 모델 형태의 데이터 획득이 가능하도록 한다. 따라서 기존의 3D 스캔 시스템은 정지 상태의 마네킨을 만들어 낸다고 하면 본 발명의 3D 라이브 시퀀셜 시스템은 시간에 따른 동작 변화를 그대로 담아낼 수 있다.
이를 위하여 본 발명은 도 1에 도시한 바와 같이 대상 객체의 중심을 향한 다시점 영상을 획득하는 복수개의 카메라를 구비한다. 복수개의 카메라를 통해 획득한 다시점 영상을 이용하여 영상 처리 장치가 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스를 생성해낸다.
영상 처리 장치는, 컴퓨터, 서버 등과 같이 CPU와 메모리를 구비하여 연산 처리가 가능한 장치로서, 본 발명의 영상 처리 장치는, 복수개의 카메라 파라미터를 획득하여 획득한 카메라 파라미터를 조절하여 교정한 후, 교정된 다시점 영상에 대한 영상 보정 및 조명 보상이 이루어지는 전처리를 수행하고, 전처리된 다시점 영상을 이용하여 시청자의 시청 위치에 따른 3D 메쉬 데이터의 렌더링을 획득하게 된다. 이하 도 3 내지 도 13과 함께 상술한다.
도 3은 본 발명의 실시예에 따른 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법을 도시한 플로차트이며, 도 4는 본 발명의 실시예에 따른 시점간의 특징점 매칭 결과의 예시이며, 도 5는 본 발명의 실시예에 따른 카메라 보정을 위한 보정판의 예시 그림이며, 도 6은 본 발명의 실시예에 따라 다른 두 시점의 epipolar 기하학 계산의 예시 그림이며, 도 7은 본 발명의 실시예에 따라 조명 보상 전후를 도시한 그림이며, 도 8은 본 발명의 실시예에 따른 3D 메쉬 데이터의 수정과정의 예시이며, 도 9는 본 발명의 실시예에 따른 시청자의위치에 따른 3D 메쉬의 렌더링 예시이며, 도 10은 본 발명의 실시예에 따라 카메라 파라미터와 좌표계의 변환 예시이며, 도 11은 본 발명의 실시예에 따라 다시점 영상의 특징점 추출 및 매칭 예시이며, 도 12는 본 발명의 실시예에 따라 매칭점과 카메라 파라미터 정보를 이용한 3D Point Cloud의 획득 예시이며, 도 13은 본 발명의 실시예에 따라 대략적인 3D Point Cloud와 다시점 영상을 이용한 정밀한 3D Point Cloud 데이터 획득 예시이다.
본 발명의 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법은, 도 3에 도시한 바와 같이 대상 객체의 중심을 향한 다시점 영상을 획득하는 다시점 영상 획득 과정과, 다시점 영상의 파라미터를 획득하여 획득한 파라미터를 조절하는 교정 과정과, 교정된 다시점 영상에 대한 영상 보정 및 조명 보상이 이루어지는 전처리 과정과, 전처리된 다시점 영상을 이용하여, 시청자의 시청 위치에 따른 3D 메쉬 데이터의 렌더링을 획득하는 3D 메쉬 데이터 획득 과정을 포함할 수 있다.
다시점 영상 획득 과정은, 복수개의 카메라가 대상 객체의 중심을 향한 다시점 영상을 획득하는 과정이다.
3D 메쉬(Mesh) 획득을 고려하여 카메라가 촬영하는 대상 객체는 다음과 같은 특성을 가진다.
- 피해야 할 대상 객체의 특성
ㆍ투명한 표면을 가진 객체(비누방울, 유리, etc.)
ㆍ강한 빛을 발광/반사 하는 객체(거울, 전구, etc.)
ㆍ표면의 변화가 거의 없는 단조로운 객체
- 카메라간의 틀어짐(겹침) 정도
ㆍ시점간의 매칭되는 특징점 증가
ㆍ특징점 추출 기법의 GPGPU 프로그래밍을 통한 병렬고속화 및 특징점 최대화
따라서 다시점 영상 획득 과정은, 각 카메라를 통해 촬영된 단일시점 영상에서 특징점을 추출하여, 각 단일시점 영상의 특징점에 대한 틀어짐을 매칭시켜 다시점 영상을 획득할 수 있게 된다.
예를 들어, 도 4(a)에 도시한 바와 특징점의 틀어짐을 매칭시키게 되면 두 개의 영상일 매칭되나, 도 4(b)에 도시한 바와 같이 특징점의 매칭이 대부분 이루어지지 않는다면 다시점 영상을 획득할 수 없게 된다.
교정 과정은, 카메라 파라미터를 획득하여 획득한 카메라 파라미터를 조절하는 과정이다. 각 카메라의 파라미터가 서로 다를 수 있기 때문에 이들을 일치시켜 촬영되는 단일 시점 영상의 촬영 속성을 일치시키기 위함이다.
바람직하게는 교정 과정은, 각 단일시점 영상을 촬영한 카메라의 파라미터를 획득하고, 획득한 카메라 파라미터를 조절하여 단시점 영상을 교정하게 된다. 예를 들어, 각 카메라의 초점거리(focal length), 확대인자(scale factor), 영상의 중심(image center), 렌즈 왜곡 파라미터(lens distortion parameter)를 포함하는 카메라 내부 파라미터와, 각 카메라의 회전(rotation) 및 이동(translation)을 포함하는 카메라 외부 파라미터를 획득하여, 각 카메라의 내부 파라미터와 외부 파라미터가 동일한 값을 가지도록 교정하는 것이다.
참고로 이러한 교정은, 점/선의 속성을 이용한 방법, 도 5에 도시한 바와 같이 특정 패턴(보정판)을 이용한 방법을 통해 카메라 교정이 이루어질 수 있다.
전처리 과정은, 교정된 다시점 영상에 대한 영상 보정 및 조명 보상이 이루어지는 과정이다.
전처리 과정은, 영상 보정과 조명 보상으로 이루어질 수 있다.
첫째로, 전처리 과정에서의 영상 보정은, 카메라의 미세한 뒤틀림에 의한 오차 개선을 위한 영상 보정이 이루어지며, 카메라 쌍별 카메라 rectification 및 calibration을 수행하고 입체보정객체를 활용한 입체적 보정이 이루어질 수 있다. 또한 깊이 센서(Depth sensor)를 이용하여 depth 및 RGB 영상의 통합적 보정이 이루어질 수 있다.
나아가, 영상 보정은, 카메라의 위치와 이를 보는 영상점간의 두 벡터들은 공통평면에 위치하도록 하는 등극선(epipolar) 기하학을 적용하여 호모그래피(homography)를 계산하여 각 단일 시점의 시점 영상을 일치시키도록 하는 보정이 이루어질 수 있다.
등극선 기하학(epipolar Geometry)은, 양안시(Stereo vision)의 이론적 배경으로 3차원의 한 점을 두 카메라에서 얻은 영상정보는 카메라의 위치와 이를 보는 영상점의 두 벡터는 공통평면상에 존재한다는 이론으로서, 이러한 등극선 기하학을 적용하여 도 6과 같이 다른 두 시점의 등극선(epipolar) 기하학을 계산하여 각 단일 시점의 시점 영상을 일치시키는 보정을 하는 것이다.
둘째로, 전처리 과정에서의 조명 보상은, 각 카메라에 구비된 깊이 센서를 이용하여 대상 객체의 깊이를 감지하며, 각 카메라에서 촬영된 단일 시점 영상에 대한 깊이 맵(depth map)을 이용하여 각 단일 시점의 밝기를 일정한 값으로 보정하는 것이다. 즉, 다시점 영상에서 조명에 의한 밝기를 일정하게 유지하도록, Depth 카메라 기반의 depth map을 이용하여 카메라 개수 축소 및 개선하여 최적화하는 것이다. 참고로 도 7은 조명 보상 전후를 도시한 그림이다.
3D 메쉬 데이터 획득 과정은, 전처리된 다시점 영상을 이용하여, 시청자의 시청 위치에 따른 3D 메쉬 데이터의 렌더링을 획득하는 과정이다. 즉, 도 8과 같이 고품질 3D 메쉬(Mesh) 데이터를 위한 수정 및 프레임 연결하고, 도 9와 같이 시청자의 위치에 따른 3D 메쉬 데이터의 렌더링을 획득하게 된다. 참고로, 3D 메쉬 데이터라 함은, 3D 모델을 획득하기 위해 필요로 하는 3차원 형상 데이터로서, 3차원 형상 데이터가 STL(Standard Triangulated Language) 데이터 형식으로 보관될 수도 있다.
3D 메쉬 데이터 획득 과정은, 보정된 다시점 영상을 이용하여 3D 메쉬 모델 시퀀스를 획득하는 과정과, 3D 메쉬 모델 시퀀스를 이용하여 3D 메쉬 데이터를 획득하는 과정을 가질 수 있다. 상기에서 시퀀스를 획득하는 과정과 3D 메쉬 데이터를 획득하는 과정은 공지된 다양한 방식이 적용될 수 있을 것이다.
예를 들어, 3D 메쉬 모델 시퀀스를 획득하는 과정은, 고품질 3D Mesh 데이터 획득을 위한 카메라 사이의 중간시점 비디오 시퀀스 생성하여 3D 메쉬 모델 시퀀스를 획득한다.
- 중간시점 생성을 위한 깊이정보의 획득
ㆍ두 시점의 비디오 시퀀스에 스테레오매칭을 적용하여 깊이정보 획득
ㆍToF(Time-of-Flight) 형식의 깊이 카메라를 이용한 깊이 정보 획득
ㆍMicrosoft사의 Kinect2의 깊이 정보를 이용한 깊이 정보의 획득
- 핀홀카메라 모델과 3D 워핑을 이용한 중간시점의 비디오 시퀀스 획득
ㆍCalibration을 통해 획득한 카메라 파라미터(K, R|t)를 이용한 좌표계 변환(도 10)
ㆍ좌표계 변환을 통한 중간시점의 시퀀스 영상 생성
또한 3D 메쉬 모델 시퀀스를 이용하여 3D 메쉬 데이터를 획득하는 예시를 상술하면 다음과 같다.
- 다시점 영상의 특징점 획득 및 매칭(도 11)
ㆍ특징점 추출을 위한 SIFT 알고리즘의 구현
ㆍ다시점 영상의 추출된 특징점을 이용한 매칭 알고리즘(RANSAC) 구현
- 매칭점을 이용한 3D Mesh 데이터 획득(도 12)
ㆍ매칭 점을 이용한 SfM(Structure from Motion)을 구하고, 대략적인 point cloud 데이터의 획득매칭 점을 이용한 SfM(Structure from Motion)을 구하고, 대략적인 point cloud 데이터의 획득
- 대략적인 point cloud 데이터와 다시점 영상을 이용한 정밀한 point cloud 데이터 획득(도 13)
ㆍPMVS(Patch-based Multi-View Stereoscopic)
상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.
Claims (6)
- 대상 객체의 중심을 향한 다시점 영상을 획득하는 다시점 영상 획득 과정;
카메라 파라미터를 획득하여 획득한 카메라 파라미터를 조절하는 교정 과정;
교정된 다시점 영상에 대한 영상 보정 및 조명 보상이 이루어지는 전처리 과정;
전처리된 다시점 영상을 이용하여, 시청자의 시청 위치에 따른 3D 메쉬 데이터의 렌더링을 획득하는 3D 메쉬 데이터 획득 과정;
을 포함하는 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법.
- 청구항 1에 있어서, 상기 다시점 영상 획득 과정은,
각 카메라를 통해 촬영된 단일시점 영상에서 특징점을 추출하여, 각 단일시점 영상의 특징점에 대한 틀어짐을 매칭시켜 다시점 영상을 획득함을 특징으로 하는 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법.
- 청구항 2에 있어서, 상기 교정 과정은,
각 단일시점 영상을 촬영한 카메라의 파라미터를 획득하고, 획득한 카메라 파라미터를 조절하여 단시점 영상을 교정함을 특징으로 하는 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법.
- 청구항 1에 있어서, 상기 전처리 과정에서 영상 보정은,
카메라의 위치와 이를 보는 영상점간의 두 벡터들은 공통평면에 위치하도록 하는 등극선(epipolar) 기하학을 적용하여 호모그래피(homography)를 계산하여 각 단일 시점의 시점 영상을 일치시키도록 보정함을 특징으로 하는 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법.
- 청구항 1에 있어서, 상기 전처리 과정에서 조명 보상은,
각 카메라에 구비된 깊이 센서를 이용하여 대상 객체의 깊이를 감지하며, 각 카메라에서 촬영된 단일 시점 영상에 대한 깊이 맵(depth map)을 이용하여 각 단일 시점의 밝기를 일정한 값으로 보정함을 특징으로 하는 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법.
- 청구항 1에 있어서, 상기 3D 메쉬 데이터 획득 과정은,
보정된 다시점 영상을 이용하여 3D 메쉬 모델 시퀀스를 획득하는 과정;
3D 메쉬 모델 시퀀스를 이용하여 3D 메쉬 데이터를 획득하는 과정;
을 포함하는 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3D 모델 비디오 시퀀스 획득 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190054393A KR102222290B1 (ko) | 2019-05-09 | 2019-05-09 | 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190054393A KR102222290B1 (ko) | 2019-05-09 | 2019-05-09 | 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200129657A true KR20200129657A (ko) | 2020-11-18 |
| KR102222290B1 KR102222290B1 (ko) | 2021-03-03 |
Family
ID=73697529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190054393A KR102222290B1 (ko) | 2019-05-09 | 2019-05-09 | 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102222290B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114125434A (zh) * | 2021-11-26 | 2022-03-01 | 重庆盛泰光电有限公司 | 一种tof摄像头的3d校正装置 |
| WO2022108067A1 (en) * | 2020-11-19 | 2022-05-27 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3d portrait of person and computing device for the same |
| CN115147524A (zh) * | 2022-09-02 | 2022-10-04 | 荣耀终端有限公司 | 一种3d动画的生成方法及电子设备 |
| US11823327B2 (en) | 2020-11-19 | 2023-11-21 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3D portrait of person and computing device for the same |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240070356A (ko) * | 2022-11-07 | 2024-05-21 | 팜피 주식회사 | 전처리된 이미지를 이용하여 3d 객체를 생성하는 방법 및 이를 위한 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060041060A (ko) * | 2004-11-08 | 2006-05-11 | 한국전자통신연구원 | 다시점 콘텐츠 생성 장치 및 그 방법 |
| KR100717065B1 (ko) | 2006-05-03 | 2007-05-10 | 삼성전자주식회사 | 홀로그램 기록 재생 장치, 홀로그램 기록 재생 방법 및홀로그램 기록매체 |
| KR100755450B1 (ko) * | 2006-07-04 | 2007-09-04 | 중앙대학교 산학협력단 | 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법 |
-
2019
- 2019-05-09 KR KR1020190054393A patent/KR102222290B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060041060A (ko) * | 2004-11-08 | 2006-05-11 | 한국전자통신연구원 | 다시점 콘텐츠 생성 장치 및 그 방법 |
| KR100717065B1 (ko) | 2006-05-03 | 2007-05-10 | 삼성전자주식회사 | 홀로그램 기록 재생 장치, 홀로그램 기록 재생 방법 및홀로그램 기록매체 |
| KR100755450B1 (ko) * | 2006-07-04 | 2007-09-04 | 중앙대학교 산학협력단 | 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022108067A1 (en) * | 2020-11-19 | 2022-05-27 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3d portrait of person and computing device for the same |
| US11823327B2 (en) | 2020-11-19 | 2023-11-21 | Samsung Electronics Co., Ltd. | Method for rendering relighted 3D portrait of person and computing device for the same |
| CN114125434A (zh) * | 2021-11-26 | 2022-03-01 | 重庆盛泰光电有限公司 | 一种tof摄像头的3d校正装置 |
| CN115147524A (zh) * | 2022-09-02 | 2022-10-04 | 荣耀终端有限公司 | 一种3d动画的生成方法及电子设备 |
| CN115147524B (zh) * | 2022-09-02 | 2023-01-17 | 荣耀终端有限公司 | 一种3d动画的生成方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102222290B1 (ko) | 2021-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102222290B1 (ko) | 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 | |
| US9438878B2 (en) | Method of converting 2D video to 3D video using 3D object models | |
| EP3018903B1 (en) | Method and system for projector calibration | |
| KR101761751B1 (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
| US10609282B2 (en) | Wide-area image acquiring method and apparatus | |
| US10373362B2 (en) | Systems and methods for adaptive stitching of digital images | |
| JP5340952B2 (ja) | 三次元投影ディスプレイ | |
| US9357206B2 (en) | Systems and methods for alignment, calibration and rendering for an angular slice true-3D display | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| JP2010113720A (ja) | 距離情報を光学像と組み合わせる方法及び装置 | |
| US11398007B2 (en) | Video generation device, video generation method, program, and data structure | |
| US9380263B2 (en) | Systems and methods for real-time view-synthesis in a multi-camera setup | |
| KR100668073B1 (ko) | 다시점 영상의 왜곡 보정처리 방법 | |
| CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
| JPH11175762A (ja) | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 | |
| WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、系统 | |
| KR20190062102A (ko) | 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치 | |
| KR101817753B1 (ko) | 3차원 모델의 형상이 개선된 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법 | |
| KR101817756B1 (ko) | 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법 | |
| CN105282534B (zh) | 用于嵌入立体图像的系统及方法 | |
| KR101351745B1 (ko) | ３차원 얼굴 생성 장치 및 방법 | |
| KR101748674B1 (ko) | 3차원 영상 생성 방법 및 장치 | |
| JP6595878B2 (ja) | 要素画像群生成装置及びそのプログラム | |
| CN106408598A (zh) | 一种基于阵列镜头的三维人像重构打印装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |