KR20170130150A - 3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체 - Google Patents

3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체 Download PDF

Info

Publication number
KR20170130150A
KR20170130150A KR1020160060830A KR20160060830A KR20170130150A KR 20170130150 A KR20170130150 A KR 20170130150A KR 1020160060830 A KR1020160060830 A KR 1020160060830A KR 20160060830 A KR20160060830 A KR 20160060830A KR 20170130150 A KR20170130150 A KR 20170130150A
Authority
KR
South Korea
Prior art keywords
cameras
camera
images
mesh
feature point
Prior art date
Application number
KR1020160060830A
Other languages
English (en)
Other versions
KR101813617B1 (ko
Inventor
권순철
전형준
홍성대
Original Assignee
광운대학교 산학협력단
주식회사 숲과사람들
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, 주식회사 숲과사람들 filed Critical 광운대학교 산학협력단
Priority to KR1020160060830A priority Critical patent/KR101813617B1/ko
Publication of KR20170130150A publication Critical patent/KR20170130150A/ko
Application granted granted Critical
Publication of KR101813617B1 publication Critical patent/KR101813617B1/ko

Links

Images

Classifications

    • H04N13/0217—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • H04N13/0246—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 3차원 데이터를 획득하기 위한 카메라 리그 방법에 관한 것으로서, (a) 복수의 카메라들로부터 획득된 이미지들에 대한 특징점 매칭율을 기초로 상기 복수의 카메라들을 정렬하는 단계; (b) 상기 복수의 카메라들에 동시에 제공된 트리거 신호에 따라 상기 복수의 카메라들에 의하여 동시에 촬영된 이미지들을 획득하는 단계; (c) 상기 이미지들을 3차원 데이터로 변환하기 위한 파라미터들을 통해 포인트 클라우드의 각 점의 위치를 계산하여 메쉬를 생성하는 단계; 및 (d) 상기 메쉬의 좌표와 매칭되는 재질을 투영하여 3차원 모델링 데이터를 생성하는 단계를 포함한다.

Description

3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체{CAMERA RIG METHOD FOR ACQUIRING 3D DATA, CAMERA RIG SYSTEM PERFORMING THE SAME, AND STORAGE MEDIUM STORING THE SAME}
본 발명은 카메라 리그 기술에 관한 것으로서, 보다 상세하게는, 여러대의 카메라를 설치하고 동기화 촬영을 통해 획득된 다시점 이미지를 가지고 3차원 모델링 데이터를 획득하는 3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체에 관한 것이다.
종래의 교육, 문화, 미디어 등에 대한 콘텐츠는 인쇄물로 제공되거나, 2차원의 영상 또는 이미지로 제공되어 정보의 제공에 있어서 제한적인 면이 있었다. 따라서, 최근에는 이러한 콘텐츠를 3차원 데이터로 생성하고자 하는 요구가 증가하고 있으며, 주요 문화재의 경우에는 3차원 데이터 디지털화 작업이 이미 시작되어 확대되고 있다. 또한, 완전 3차원 방식의 입체 디스플레이의 개발에 따라서도 360도 기반의 3차원 콘텐츠가 요구되고 있다.
3차원 콘텐츠를 제작하기 위한 3차원 모델링을 하는 방법은 컴퓨터 그래픽 작업에 의한 3차원 모델링 작업과 다양한 3차원 스캐너에 의한 실사 피사체의 3차원 모델링 작업으로 구분될 수 있다. 그러나, 특히 실사의 경우 구현 방식에 따라 고가의 스캐너 장비가 필요하거나, 해상도 또는 칼라를 표현하는데 제약이 있거나, 동적 피사체를 촬영하는데 제약이 있는 등 3차원 모델링을 생성하는데 제약사항이 다수 존재하는 문제가 있다.
한국등록특허 제10-1471927호는 멀티카메라 및 이를 이용한 영상표시장치와 그 방법에 관한 것으로서, 멀티카메라를 통해 다양한 촬영 방향에 대한 영상을 획득하고, 다양한 방향에 대한 영상들 중 사용자의 머리 방향에 해당하는 영상을 자연스럽게 변경하여 선택 제공하여 입체적인 공간 영상을 제공하는 방법을 제공하나, 여기에서 제공되는 방법 또한 동적 피사체를 촬영하는데 제약이 있고, 해상도 또는 칼라를 표현하는데 제약이 있는 등, 종래의 문제점이 여전히 존재한다.
한국등록특허 제10-1471927호
본 발명의 목적은 가변형 멀티 카메라 리그를 통하여 복수의 카메라들의 위치 및 각도를 카메라로부터 획득된 이미지간의 특징점 매칭율을 기초로 최적으로 조절하여, 피사체의 크기에 따라 효율적 촬영을 가능하게 하는 3차원 데이터를 획득하기 위한 카메라 리그 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 제1 측면은, 포함하는 3차원 데이터를 획득하기 위한 카메라 리그 방법으로서, (a) 복수의 카메라들로부터 획득된 이미지들에 대한 특징점 매칭율을 기초로 상기 복수의 카메라들을 정렬하는 단계; (b) 상기 복수의 카메라들에 동시에 제공된 트리거 신호에 따라 상기 복수의 카메라들에 의하여 동시에 촬영된 이미지들을 획득하는 단계; (c) 상기 이미지들을 3차원 데이터로 변환하기 위한 파라미터들을 통해 포인트 클라우드의 각 점의 위치를 계산하여 메쉬를 생성하는 단계; 및 (d) 상기 메쉬의 좌표와 매칭되는 재질을 투영하여 3차원 모델링 데이터를 생성하는 단계를 포함한다.
바람직하게, 상기 (a) 단계는 상기 복수의 카메라들로부터 획득된 각 이미지들의 특징점을 추출하는 단계; 상기 복수의 카메라들 중 인접한 카메라들에 의하여 획득된 이미지들 간의 특징점 매칭율을 계산하는 단계; 및 상기 특징점 매칭율이 기설정된 임계값을 만족하는지 여부를 판단하는 단계를 포함할 수 있다.
바람직하게, 상기 (a) 단계는 상기 특징점 매칭율이 기설정된 임계값을 만족하는 경우에는 상기 복수의 카메라들의 정렬을 완료하는 단계; 및 상기 특징점 매칭율이 기설정된 임계값을 만족하지 않는 경우에는, 상기 복수의 카메라들의 위치 및 각도를 조절하여 재정렬하는 단계를 더 포함하되, 상기 복수의 카메라들은 순차적으로 정렬이 완료될 수 있다.
바람직하게, 상기 (c) 단계는 상기 이미지들 간의 셀프 캘리브레이션을 통해 카메라의 내부 및 외부 파라미터들을 획득하는 단계를 포함하되, 상기 셀프 캘리브레이션은 상기 이미지들 간의 정합점을 획득하여 3차원 공간좌표와 2차원 영상좌표 사이의 변환관계와 관련된 파라미터를 찾는 것일 수 있다.
바람직하게, 상기 카메라의 외부 파라미터는 카메라의 설치 높이 또는 방향에 해당하고, 상기 카메라의 내부 파라미터는 카메라의 초점 거리, 종횡비, 또는 중심점에 해당할 수 있다.
바람직하게, 상기 (c) 단계는 상기 내부 및 외부 파라미터들을 기초로 포인트 클라우드에 포함되는 각 점의 위치를 계산하여 상기 복수의 카메라들의 촬영 위치 및 촬영 방향을 획득하는 단계를 더 포함할 수 있다.
바람직하게, 상기 (c) 단계는 상기 포인트 클라우드의 각 점을 연결하여 메쉬를 생성하고, 상기 메쉬를 간소화하는 단계를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 제2 측면은, 3차원 데이터를 획득하기 위한 카메라 리그 시스템으로서, 복수의 카메라들로부터 획득된 이미지들에 대한 특징점 매칭율을 기초로 상기 복수의 카메라들을 정렬하는 카메라 정렬부; 상기 복수의 카메라들에 동시에 제공된 트리거 신호에 따라 상기 복수의 카메라들에 의하여 동시에 촬영된 이미지들을 획득하는 이미지 획득부; 상기 이미지들을 3차원 데이터로 변환하기 위한 파라미터들을 통해 포인트 클라우드의 각 점의 위치를 계산하여 메쉬를 생성하는 메쉬 생성부; 및 상기 메쉬의 좌표와 매칭되는 재질을 투영하여 3차원 모델링 데이터를 생성하는 3차원 모델링부를 포함한다.
바람직하게, 상기 카메라 정렬부는 상기 복수의 카메라들로부터 획득된 각 이미지들의 특징점을 추출하고, 상기 복수의 카메라들 중 인접한 카메라들에 의하여 획득된 이미지들 간의 특징점 매칭율을 계산하고, 상기 특징점 매칭율이 기설정된 임계값을 만족하는지 여부를 판단할 수 있다.
바람직하게, 상기 카메라 정렬부는 상기 특징점 매칭율이 기설정된 임계값을 만족하는 경우에는 상기 복수의 카메라들의 정렬을 완료하고, 상기 특징점 매칭율이 기설정된 임계값을 만족하지 않는 경우에는, 상기 복수의 카메라들의 위치 및 각도를 조절하여 재정렬하되, 상기 복수의 카메라들은 순차적으로 정렬이 완료될 수 있다.
바람직하게, 상기 메쉬 생성부는 상기 이미지들 간의 셀프 캘리브레이션을 통해 카메라의 내부 및 외부 파라미터들을 획득하되, 상기 셀프 캘리브레이션은 상기 이미지들 간의 정합점을 획득하여 3차원 공간좌표와 2차원 영상좌표 사이의 변환관계와 관련된 파라미터를 찾는 것일 수 있다.
바람직하게, 상기 카메라의 외부 파라미터는 카메라의 설치 높이 또는 방향에 해당하고, 상기 카메라의 내부 파라미터는 카메라의 초점 거리, 종횡비, 또는 중심점에 해당할 수 있다.
바람직하게, 상기 메쉬 생성부는 상기 내부 및 외부 파라미터들을 기초로 포인트 클라우드에 포함되는 각 점의 위치를 계산하여 상기 복수의 카메라들의 촬영 위치 및 촬영 방향을 획득할 수 있다.
바람직하게, 상기 메쉬 생성부는 상기 포인트 클라우드의 각 점을 연결하여 메쉬를 생성하고, 상기 메쉬를 간소화할 수 있다.
상기한 바와 같이 본 발명에 의하면, 복수의 카메라들 각각의 위치 및 각도의 조절이 가변 가능함에 따라 피사체의 크기에 따른 효율적 촬영을 가능하게 하는 효과가 있고, 카메라의 위치 및 각도를 영상의 특징점을 추출하고 이미지간의 특징점 매칭에 의한 중복율 정도를 계산하여 최적으로 조절할 수 있는 효과가 있다.
또한, 복수의 카메라가 동시에 촬영하므로 동적 피사체의 촬영이 가능하여 3차원 스캐너를 대체할 수 있는 효과가 있다.
또한, 본 발명에 의하여 생성된 3차원 모델링 데이터를 이용하면 원하는 각도에서의 관찰 및 이미지 확대를 하면서 다초점 방식으로 360도 원하는 부분을 심도 관찰할 수 있는 효과가 있고, 따라서 360도 뷰 관찰이 가능한 생태 정보 교육용 콘텐츠에 활용할 수 있는 효과가 있다.
또한, 본 발명에 의하면 복수의 카메라들의 위치와 각도를 조절하는 가변형 시스템이므로 피사체에 따라 복수의 카메라들의 촬영 조건을 변형할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 카메라 리그 시스템에 대한 도면이다.
도 2는 도 1의 카메라 리그 서버에 대한 블록도이다.
도 3은 도 1의 카메라 리그 시스템에서 수행되는 카메라 리그 방법에 대한 흐름도이다.
도 4는 복수의 카메라들의 정렬하는 방법의 예시이다.
도 5는 복수의 카메라들의 정렬하는 방법의 다른 예시이다.
도 6은 특징점 매칭률을 설명하는 도면이다.
도 7은 특징점 중복률에 대한 임계점을 나타내는 도면이다.
도 8은 본 발명의 카메라 리그 방법에 의하여 생성된 3차원 모델링 데이터의 활용 방법의 예시이다.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 카메라 리그 시스템에 대한 도면이다.
도 1을 참조하면, 카메라 리그 시스템(100)은 복수의 카메라들(110), 허브(120), 및 카메라 리그 서버(130)를 포함하고, 복수의 카메라들(110) 각각은 허브(120)를 통하여 카메라 리그 서버(130)와 접속된다.
복수의 카메라들(110)은 다시점 촬영 및 구조변경이 가능한 카메라들이다. 바람직하게, 복수의 카메라들(110) 각각은 Full-HD 급 및 24bit 칼라 이상의 특성을 가지는 카메라에 해당할 수 있고, 복수의 카메라들(110)을 통하여 피사체에 대한 360도 촬영이 가능하다.
바람직하게 복수의 카메라들(110)은 30대의 카메라들에 해당할 수 있고, 거치된 30개의 카메라들에 의한 동시 촬영으로 동적 피사체에 대한 다시점 영상이 획득될 수 있다. 또한, 30대의 카메라들은, 도 4를 참조하면, 28대를 기준으로 하여 천장에 4대, 상부층에 8대, 중간층에 8대, 하부층에 8대가 거치 및 정렬될 수 있고, 즉, 천장, 상부층, 중간층, 및 하부층에 해당하는 4단계 레이어로 구성될 수 있다. 그 외 2개를 옵션으로 하여 피사체 모습에 따른 추가 동기 촬영이 가능하도록 한다.
일 실시예에서, 복수의 카메라들(110)에 대한 유효촬영 데이터 중 주요 생태정보의 촬영 데이터는 가변형 틀을 사용할 시 꽃과 곤충 과이며, 유효크기는 ~400mm(W)×~400mm(D)×~300mm(H)에 해당할 수 있고, 나무와 같은 비교적 큰 데이터는 카메라 유닛(Unit) 구성의 탈착으로 촬영할 수 있도록 확장이 가능하다. 또한, 복수의 카메라들(110)은 복수의 카메라들(110)이 연결되기 위하여 가변형 구조로 형성될 수 있고, 가변형 구조를 위하여 움직임이 자유로운 가변형 소재가 활용될 수 있으며, 이를 통하여 피사체(예를 들어, 생태구조)에 따른 촬영 각도의 가변이 가능하다.
카메라 리그 서버(130)는 네트워크를 통하여 복수의 카메라들(110)과 허브(120)를 통하여 연결되고, 여기에서, 네트워크는 이더넷이 사용될 수 있다. 바람직하게, 카메라 리그 서버(130)는 복수의 카메라들(110)과 연결되어 카메라 리그 방법을 수행할 수 있고, 보다 구체적으로, 카메라 리그 서버(130)는 복수의 카메라들(110)로부터 획득된 이미지들의 특징점 추출을 통한 특징점 중복률 계산 및 복수의 카메라들(110)의 정렬을 수행하고, 복수의 카메라들(110) 각각에 트리거 신호를 줌으로써 복수의 카메라들(110)을 통하여 동기화된 촬영이 되도록 하고, 촬영된 이미지들을 이용하여 3차원 모델링 데이터를 생성한다.
도 2는 도 1의 카메라 리그 서버에 대한 블록도이다.
도 2를 참조하면, 카메라 리그 서버(130)는 카메라 정렬부(210), 이미지 획득부(220), 메쉬 생성부(130), 3차원 모델링부(240), 및 제어부(250)를 포함한다.
카메라 정렬부(210)는 복수의 카메라들(110)로부터 획득된 이미지들에 대한 특징점 중복율을 기초로 복수의 카메라(110)들을 정렬한다. 바람직하게, 카메라 정렬부(210)는 촬영하고자 하는 객체를 대상으로 임의로 정렬된 복수의 카메라들(110)로부터 획득된 각 이미지들의 특징점을 추출하고, 복수의 카메라들(110) 중 인접한 카메라들에 의하여 획득된 이미지들 간의 특징점 매칭율을 계산하고, 중복율이 기설정된 임계값을 만족하는지 여부를 판단할 수 있다.
보다 구체적으로, 카메라 정렬부(210)는 특징점 중복률을 계산하기 위해, 각 카메라로부터 획득된 이미지의 특징점을 추출하여 인접 카메라 간의 특징점 매칭률을 계산한다. 여기에서, 이미지의 특징점은 영상에서 물체를 추적하거나 인식할 때, 또는 영상과 영상을 매칭할 때 사용되는 것으로서, 영상에서 추출한 주요 특징점(keypoint)을 이용하여 매칭이 수행된다. 즉, 이미지의 특징점을 이용하면, 이미지 간의 서로 대응되는 점을 찾아 영상의 매칭 정도가 파악될 수 있고, 이미지 간의 매칭 정도를 파악하기 위한 주요 알고리즘으로는 Harris corner(1988), Shi & Tomasi (1994), SIFT - DoG (2004), 또는 FAST(2006)를 이용할 수 있다.
또한, 카메라 정렬부(210)는 특징점 매칭율이 기설정된 임계값을 만족하는지 여부를 판단하여, 특징점 매칭율이 기설정된 임계값을 만족하는 경우에는 복수의 카메라들(110)의 정렬을 완료하고, 특징점 매칭율이 기설정된 임계값을 만족하지 않는 경우에는, 복수의 카메라들(110)의 위치 및 각도를 조절하여 재정렬한다. 여기에서, 복수의 카메라들(110)은 순차적으로 정렬이 완료될 수 있다.
바람직하게, 카메라 정렬부(210)는 매칭되는 특징점 분포에 대한 적정 임계값을 미리 설정할 수 있고, 복수의 카메라들(110)로부터 획득된 이미지들간의 특징점 매칭율을 순차적으로 계산하여, 계산된 특징점 매칭율이 기설정된 적정 임계값을 만족하는지 여부를 기초로 복수의 카메라들(110)을 정렬할 수 있다. 여기에서, 카메라 정렬부(210)는 특징점 중복률이 임계값보다 낮은 경우에는 인접 카메라와의 특징점 매칭이 많아지는 방향으로 정렬하고, 특징점 중복률이 임계값보다 높은 경우에는 인접 카메라와의 특징점 매칭이 적어지는 방향으로 정렬할 수 있다.
즉, 일 실시예에서, 카메라 정렬부(210)는 30개의 카메라들의 위치 및 각도를 이미지들 간의 특징점 매칭률을 기초로 최적으로 조절하여 피사체의 크기에 따라 효율적 촬영이 가능하도록 30대의 카메라들을 정렬할 수 있다.
본 발명에서 카메라 정렬부(210)를 통하여 이미지간의 특징점 중복 정도, 즉, 특징점 매칭률을 계산하는 이유는 복수의 카메라들(110)간의 촬영을 효율적으로 하기 위한 것으로서, 이미지 간의 특징점 매칭률이 높은 경우에는 획득된 이미지의 개수만 많아지고 의미 없는 이미지 추출로 인해 추후 3차원 모델의 렌더링 시간이 오래 걸리고, 이미지들 간의 특징점 매칭률이 낮은 경우에는 3차원 모델 생성시 정합이 안되어 저품질의 3차원 모델을 얻게 되므로, 본 발명은 카메라 정렬부(210)를 통하여 임계값을 만족하는 특징점 매칭율을 가지도록 복수의 카메라들(110)을 정렬하는 것이다.
이미지 획득부(220)는 복수의 카메라들(110)에 동시에 제공된 트리거 신호에 따라 복수의 카메라들(110)에 의하여 동시에 촬영된 이미지들을 획득한다. 구체적으로, 카메라 정렬부(210)를 통하여 카메라 정렬이 순차적으로 완료되어 복수의 카메라들(110)의 정렬이 모두 완료되면 이미지 획득부(220)는 트리거 신호를 복수의 카메라들(110)에 동시에 줌으로써 모든 복수의 카메라들(110)이 동시에 이미지를 촬영하도록 한다. 즉, 복수의 카메라들(110)이 동기화 촬영을 하도록 한다.
일 실시예에서, 복수의 카메라들(110)에 대한 동기화 셔터는 유선 타입과 무선 타입으로 분류될 수 있고, 유선타입의 경우에는 유선(LAN) 싱크 제너레이터를 기본 구조로 하여 복수의 카메라들(110)을 동기화할수 있고, 무선 타입의 경우에는 카메라 리그 서버(130)로부터 복수의 카메라들(110) 각각의 카메라 셔터 스피드 및 촬영시점을 제어하는 신호를 제공하여 복수의 카메라들(110)을 동기화할 수 있다. 유선타입 또는 무선타입으로 복수의 카메라들(110)이 모두 동기화된 후에는 동시 촬영으로 동적 피사체를 촬영할 수 있도록 한다.
메쉬 생성부(230)는 이미지 획득부(220)를 통하여 획득된 이미지들을 3차원 데이터로 변환하기 위한 파라미터들을 통해 포인트 클라우드의 각 점의 위치를 계산하여 메쉬를 생성한다.
바람직하게, 메쉬 생성부(230)는 이미지들 간의 셀프 캘리브레이션(Self-Calibration)을 통해 카메라의 내부 및 외부 파라미터들을 획득할 수 있고, 여기에서, 셀프 캘리브레이션은 이미지들 간의 정합점을 획득하여 3차원 공간좌표와 2차원 영상좌표 사이의 변환관계와 관련된 파라미터를 찾는 것을 의미한다. 또한, 셀프 캘리브레이션에 의한 3차원 모델링은 카메라의 위치 정보를 바탕으로 3차원 모델링을 하는 카메라-캘리브레이션(Camera-Calibration) 방식과는 달리 복수의 카메라들(110)로부터 취득된 데이터를 통하여 정합점 획득에 의한 카메라의 위치를 역산정한다.
또한, 카메라의 외부 파라미터는 카메라의 설치 높이, 방향(예를 들어, 팬, 또는 틸트), 또는 외부 공간과의 기하학적 관계에 관련된 파라미터에 해당하고, 카메라의 내부 파라미터는 카메라의 초점 거리, 종횡비(aspect ratio), 또는 중심점 등 카메라 자체의 내부적인 파라미터에 해당할 수 있다.
바람직하게, 메쉬 생성부(230)는 내부 및 외부 파라미터들을 기초로 포인트 클라우드(Point Cloud)에 포함되는 각 점의 위치를 계산하여 복수의 카메라들(110)의 촬영 위치 및 촬영 방향을 획득할 수 있다. 여기에서, 메쉬 생성부(230)는 SfM(Shape form Motion) 알고리즘을 이용하여 3차원 포인트 클라우드를 획득할 수 있다.
바람직하게, 메쉬 생성부(230)는 포인트 클라우드의 각 점을 연결하여 메쉬를 생성하고, 메쉬를 간소화할 수 있다. 즉, 메쉬 생성부(230)는 포인트 클라우드의 각 점을 연결하여 면을 생성하기 위해 메쉬를 생성한다. 3차원 모델은 여러가지 형태로 표현이 가능하지만 주로 다각형 메쉬(Polygonal surface mesh)가 사용될 수 있고, 특히 수학적 단순성과 섬세한 표현 및 빠른 렌더링이 가능한 삼각형 메쉬(triangular mesh)가 주로 사용될 수 있다. 여기에서, 메쉬를 간소화하는 것은 하드웨어 성능의 한계와 모델의 복잡성 사이의 차이를 좁혀 사용자에게 보다 나은 영상을 제공하기 위한 것이며, 메쉬 간소화 알고리즘으로는 메쉬 제거, 2차 오류 척도, 에너지 함수 최적화, 또는 정점 군집화 알고리즘이 사용될 수 있다.
3차원 모델링부(240)은 메쉬의 좌표와 매칭되는 재질을 투영하여 3차원 모델링 데이터를 획득한다. 즉, 3차원 모델링부(240)는 재질 정보 “.jpg”와 메쉬 정보 “.Obj” 포맷을 출력하고, 재질 매핑에 의하여 3차원 모델링 데이터를 획득한다.
제어부(250)는 카메라 리그 서버(130)는 카메라 정렬부(210), 이미지 획득부(220), 메쉬 생성부(130), 및 3차원 모델링부(240)의 동작 및 데이터의 흐름을 제어한다.
도 3은 도 1의 카메라 리그 시스템에서 수행되는 카메라 리그 방법에 대한 흐름도이고, 도 5는 복수의 카메라들의 정렬하는 방법의 다른 예시이고, 도 6은 특징점 매칭률을 설명하는 도면이고, 도 7은 특징점 중복률에 대한 임계점을 나타내는 도면이다. 이하, 도 5 내지 도 7을 참조하여 카메라 리그 방법을 설명한다.
카메라 정렬부(210)는 복수의 카메라들(110)로부터 획득된 이미지들에 대한 특징점 중복율을 기초로 복수의 카메라들(110)을 정렬한다(단계 S310). 바람직하게, 카메라 정렬부(210)는 도 5의 (a)와 같이 임의로 정렬된 복수의 카메라들(110)로부터 이미지들을 획득하고, 이미지들간의 특징점 매칭율을 계산한다. 여기에서, 이미지들간의 특징점 중복율은 특징점의 매칭률을 이용하여 계산되고, 특징점의 매칭률은 도 6과 같이 인접한 카메라들로부터 획득된 이미지들간의 특징점의 매칭정도를 이용하여 파악된다. 특징점 매칭률이 계산되면 카메라 정렬부(210)는 특징점 중복률이 기설정된 임계값, 즉, 도 7을 참조하면, 특징점 중복률이 적정 중복률에 포함되는지 여부를 판단한다.
일 실시예에서, 특징점 매칭률이 적정 중복률에 포함되는 경우에는 카메라의 정렬을 완료하고, 특징점 매칭률이 적정 중복률에 포함되지 않는 경우에는, 카메라의 재정렬이 수행될 수 있다. 즉, 도 5의 (b)와 같이 복수의 카메라들(110) 각각에 대하여 순차적으로 카메라의 위치 및 각도를 재조정하고, 카메라 정렬부(210)는 재조정된 카메라로부터 다시 이미지를 획득한 후, 이미지간의 특징점 매칭률을 계산하여, 다시 계산된 특징점 매칭률이 적정 중복률에 포함되면 정렬을 완료하고, 그렇지 않으면 다시 카메라의 위치 및 각도를 재조정할 수 있다. 즉, 카메라 정렬부(210)는 복수의 카메라들(110)로부터 획득된 모든 이미지들 간의 특징점 매칭률이 적정 중복률에 해당할 때까지 카메라의 위치 및 각도를 재조정할 수 있다.
카메라 정렬부(210)를 통하여 복수의 카메라들(110)의 정렬이 완료되면, 이미지 획득부(220)는 복수의 카메라들(110)에 동시에 제공된 트리거 신호에 따라 복수의 카메라들에 의하여 동시에 촬영된 이미지들을 획득한다(단계 S320). 즉, 이미지 획득부(220)는 복수의 카메라들(110) 각각에 트리거 신호를 동시에 제공하고 이를 통하여 복수의 카메라들(110)이 모두 동시에 이미지를 촬영할 수 있도록 한다.
메쉬 생성부(130)는 이미지들을 3차원 데이터로 변환하기 위한 파라미터들을 통해 포인트 클라우드의 각 점의 위치를 계산하여 메쉬를 생성한다(단계 S330). 바람직하게, 메쉬 생성부(130)는 이미지 획득부(220)를 통하여 획득된 이미지들 간의 셀프 캘리브레이션을 통해 파라미터들을 획득하고, 파라미터들을 기초로 포인트 클라우드의 각 점의 위치를 계산하여 복수의 카메라들(110)의 촬영 위치 및 촬영 방향을 획득한 후, 포인트 클라우드의 각 점을 연결하여 메쉬를 생성하고 메쉬를 간소화한다.
3차원 모델링부(240)는 메쉬 생성부(130)를 통하여 생성된 메쉬의 좌표와 매칭되는 재질을 투영하여 3차원 모델링 데이터를 획득한다(단계 S340).
도 8은 본 발명의 카메라 리그 방법에 의하여 생성된 3차원 모델링 데이터의 활용 방법의 예시이다.
도 8을 참조하면, 본 발명에 따라 생성된 3차원 모델링 데이터는 스마트폰 앱에 활용되어 디스플레이 되고, 사용자의 드래그에 의하여 360도 관찰될 수 있다.
즉, 도 3을 참조하여 설명한 본 발명의 카메라 리그 방법에 따라 생성된 3차원 모델링 데이터는 360도 뷰 관찰이 가능하므로, 실사 기반의 3차원 생태 정보를 이용한 스마트폰 앱 개발에 활용될 수 있고, 3차원 모델링 데이터, 사진, 및 정보를 저장 및 관리하는 생태정보 데이터베이스 서버 구축에도 활용될 수 있다.
본 발명에 따르면 기존의 임의적인 다시점 촬영에서 벗어나 이미지간의 특징점 매칭률을 계산함으로써 적정 임계값 범위내에 포함되는 특징점 중복률을 가지는 적정 이미지를 얻을 수 있어, 기존의 라이더(Lidar) 방식의 고가의 스캐너 방식을 대체할 수 있고, 이미지 기반의 3차원 스캔이 가능하여 동적 피사체의 촬영이 가능하고, 고화질 촬영 데이터를 이용한 3차원 데이터베이스를 구축하는데도 활용될 수 있다.
또한, 본 발명에 따라 생성된 3차원 모델링 데이터는 스마트폰 애플리케이션 3차원 입체 도감의 개발에 활용될 수 있어, 종래의 책으로 인쇄하는 번거로움과 비용발생을 줄일 수 있고, 3차원 입체 영상을 통하여 원하는 각도에서 관찰이 가능하고 이미지를 확대 하면서 정확하게 동정을 할 수 있는 장점이 있다.
한편, 본 발명의 일 실시예에 따른 3차원 데이터를 획득하기 위한 카메라 리그 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성메모리(Flash Memory), 광 데이터 저장장치 등이 있다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
100: 카메라 리그 시스템
110: 복수의 카메라들
120: 허브
130: 카메라 리그 서버
210: 카메라 정렬부
220: 이미지 획득부
230: 메쉬 생성부
240: 3차원 모델링부
250: 제어부

Claims (15)

  1. (a) 복수의 카메라들로부터 획득된 이미지들에 대한 특징점 매칭율을 기초로 상기 복수의 카메라들을 정렬하는 단계;
    (b) 상기 복수의 카메라들에 동시에 제공된 트리거 신호에 따라 상기 복수의 카메라들에 의하여 동시에 촬영된 이미지들을 획득하는 단계;
    (c) 상기 이미지들을 3차원 데이터로 변환하기 위한 파라미터들을 통해 포인트 클라우드의 각 점의 위치를 계산하여 메쉬를 생성하는 단계; 및
    (d) 상기 메쉬의 좌표와 매칭되는 재질을 투영하여 3차원 모델링 데이터를 생성하는 단계를 포함하는 3차원 데이터를 획득하기 위한 카메라 리그 방법.
  2. 제1항에 있어서, 상기 (a) 단계는
    상기 복수의 카메라들로부터 획득된 각 이미지들의 특징점을 추출하는 단계;
    상기 복수의 카메라들 중 인접한 카메라들에 의하여 획득된 이미지들 간의 특징점 매칭율을 계산하는 단계; 및
    상기 특징점 매칭율이 기설정된 임계값을 만족하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 방법.
  3. 제2항에 있어서, 상기 (a) 단계는
    상기 특징점 매칭율이 기설정된 임계값을 만족하는 경우에는 상기 복수의 카메라들의 정렬을 완료하는 단계; 및
    상기 특징점 매칭율이 기설정된 임계값을 만족하지 않는 경우에는, 상기 복수의 카메라들의 위치 및 각도를 조절하여 재정렬하는 단계를 더 포함하되,
    상기 복수의 카메라들은 순차적으로 정렬이 완료되는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 방법.
  4. 제1항에 있어서, 상기 (c) 단계는
    상기 이미지들 간의 셀프 캘리브레이션을 통해 카메라의 내부 및 외부 파라미터들을 획득하는 단계를 포함하되,
    상기 셀프 캘리브레이션은 상기 이미지들 간의 정합점을 획득하여 3차원 공간좌표와 2차원 영상좌표 사이의 변환관계와 관련된 파라미터를 찾는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 방법.
  5. 제4항에 있어서,
    상기 카메라의 외부 파라미터는 카메라의 설치 높이 또는 방향에 해당하고, 상기 카메라의 내부 파라미터는 카메라의 초점 거리, 종횡비, 또는 중심점에 해당하는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 방법.
  6. 제4항에 있어서, 상기 (c) 단계는
    상기 내부 및 외부 파라미터들을 기초로 포인트 클라우드에 포함되는 각 점의 위치를 계산하여 상기 복수의 카메라들의 촬영 위치 및 촬영 방향을 획득하는 단계를 더 포함하는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 방법.
  7. 제6항에 있어서, 상기 (c) 단계는
    상기 포인트 클라우드의 각 점을 연결하여 메쉬를 생성하고, 상기 메쉬를 간소화하는 단계를 더 포함하는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 방법.
  8. 복수의 카메라들로부터 획득된 이미지들에 대한 특징점 매칭율을 기초로 상기 복수의 카메라들을 정렬하는 카메라 정렬부;
    상기 복수의 카메라들에 동시에 제공된 트리거 신호에 따라 상기 복수의 카메라들에 의하여 동시에 촬영된 이미지들을 획득하는 이미지 획득부;
    상기 이미지들을 3차원 데이터로 변환하기 위한 파라미터들을 통해 포인트 클라우드의 각 점의 위치를 계산하여 메쉬를 생성하는 메쉬 생성부; 및
    상기 메쉬의 좌표와 매칭되는 재질을 투영하여 3차원 모델링 데이터를 생성하는 3차원 모델링부를 포함하는 3차원 데이터를 획득하기 위한 카메라 리그 시스템.
  9. 제8항에 있어서, 상기 카메라 정렬부는
    상기 복수의 카메라들로부터 획득된 각 이미지들의 특징점을 추출하고, 상기 복수의 카메라들 중 인접한 카메라들에 의하여 획득된 이미지들 간의 특징점 매칭율을 계산하고, 상기 특징점 매칭율이 기설정된 임계값을 만족하는지 여부를 판단하는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 시스템.
  10. 제9항에 있어서, 상기 카메라 정렬부는
    상기 특징점 매칭율이 기설정된 임계값을 만족하는 경우에는 상기 복수의 카메라들의 정렬을 완료하고, 상기 특징점 매칭율이 기설정된 임계값을 만족하지 않는 경우에는, 상기 복수의 카메라들의 위치 및 각도를 조절하여 재정렬하되,
    상기 복수의 카메라들은 순차적으로 정렬이 완료되는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 시스템.
  11. 제8항에 있어서, 상기 메쉬 생성부는
    상기 이미지들 간의 셀프 캘리브레이션을 통해 카메라의 내부 및 외부 파라미터들을 획득하되,
    상기 셀프 캘리브레이션은 상기 이미지들 간의 정합점을 획득하여 3차원 공간좌표와 2차원 영상좌표 사이의 변환관계와 관련된 파라미터를 찾는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 시스템.
  12. 제11항에 있어서,
    상기 카메라의 외부 파라미터는 카메라의 설치 높이 또는 방향에 해당하고, 상기 카메라의 내부 파라미터는 카메라의 초점 거리, 종횡비, 또는 중심점에 해당하는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 시스템.
  13. 제11항에 있어서, 상기 메쉬 생성부는
    상기 내부 및 외부 파라미터들을 기초로 포인트 클라우드에 포함되는 각 점의 위치를 계산하여 상기 복수의 카메라들의 촬영 위치 및 촬영 방향을 획득하는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 시스템.
  14. 제13항에 있어서, 상기 메쉬 생성부는
    상기 포인트 클라우드의 각 점을 연결하여 메쉬를 생성하고, 상기 메쉬를 간소화하는 것을 특징으로 하는 3차원 데이터를 획득하기 위한 카메라 리그 시스템.
  15. 제1항 내지 제7항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160060830A 2016-05-18 2016-05-18 3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체 KR101813617B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160060830A KR101813617B1 (ko) 2016-05-18 2016-05-18 3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160060830A KR101813617B1 (ko) 2016-05-18 2016-05-18 3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체

Publications (2)

Publication Number Publication Date
KR20170130150A true KR20170130150A (ko) 2017-11-28
KR101813617B1 KR101813617B1 (ko) 2017-12-29

Family

ID=60811125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160060830A KR101813617B1 (ko) 2016-05-18 2016-05-18 3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체

Country Status (1)

Country Link
KR (1) KR101813617B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007545A (ko) * 2016-07-13 2018-01-23 삼성전자주식회사 3차원 영상 처리 방법 및 장치
KR20180008221A (ko) * 2016-07-15 2018-01-24 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
WO2020017668A1 (ko) * 2018-07-16 2020-01-23 주식회사 이누씨 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
KR102077934B1 (ko) * 2018-08-10 2020-02-14 중앙대학교 산학협력단 비디오를 이용하여 객체의 가상 리트로피팅을 수행하기 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치
KR20210066042A (ko) * 2019-11-27 2021-06-07 건국대학교 산학협력단 드론 기반의 항공 사진 측량 장치 및 방법
KR20220164218A (ko) * 2021-06-04 2022-12-13 (주)에스지유 3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법
US11880990B2 (en) 2020-09-21 2024-01-23 Samsung Electronics Co., Ltd. Method and apparatus with feature embedding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4979525B2 (ja) * 2007-09-20 2012-07-18 株式会社日立製作所 マルチカメラシステム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007545A (ko) * 2016-07-13 2018-01-23 삼성전자주식회사 3차원 영상 처리 방법 및 장치
KR20180008221A (ko) * 2016-07-15 2018-01-24 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
WO2020017668A1 (ko) * 2018-07-16 2020-01-23 주식회사 이누씨 다시점 영상 정합을 이용한 아바타 생성 방법 및 장치
KR102077934B1 (ko) * 2018-08-10 2020-02-14 중앙대학교 산학협력단 비디오를 이용하여 객체의 가상 리트로피팅을 수행하기 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치
KR20210066042A (ko) * 2019-11-27 2021-06-07 건국대학교 산학협력단 드론 기반의 항공 사진 측량 장치 및 방법
US11880990B2 (en) 2020-09-21 2024-01-23 Samsung Electronics Co., Ltd. Method and apparatus with feature embedding
KR20220164218A (ko) * 2021-06-04 2022-12-13 (주)에스지유 3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR101813617B1 (ko) 2017-12-29

Similar Documents

Publication Publication Date Title
KR101813617B1 (ko) 3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
US10609282B2 (en) Wide-area image acquiring method and apparatus
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
JP7002056B2 (ja) 三次元モデル生成装置及び三次元モデル生成方法
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
JP5093053B2 (ja) 電子カメラ
JP4065488B2 (ja) ３次元画像生成装置、３次元画像生成方法及び記憶媒体
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
CN110211043A (zh) 一种用于全景图像拼接的基于网格优化的配准方法
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
WO2008050904A1 (fr) Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP2008217243A (ja) 画像生成装置
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
JP4948552B2 (ja) カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
WO2019065536A1 (ja) 再構成方法および再構成装置
KR20220053332A (ko) 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램
DK3189493T3 (en) PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
KR20190044439A (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
JP2008109481A (ja) 画像生成装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant