KR101891201B1 - 전방향 카메라의 깊이 지도 획득 방법 및 장치 - Google Patents

전방향 카메라의 깊이 지도 획득 방법 및 장치 Download PDF

Info

Publication number
KR101891201B1
KR101891201B1 KR1020160167525A KR20160167525A KR101891201B1 KR 101891201 B1 KR101891201 B1 KR 101891201B1 KR 1020160167525 A KR1020160167525 A KR 1020160167525A KR 20160167525 A KR20160167525 A KR 20160167525A KR 101891201 B1 KR101891201 B1 KR 101891201B1
Authority
KR
South Korea
Prior art keywords
camera
image
coordinates
depth
unit
Prior art date
Application number
KR1020160167525A
Other languages
English (en)
Other versions
KR20180066551A (ko
Inventor
권인소
임성훈
하효원
전해곤
최경민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160167525A priority Critical patent/KR101891201B1/ko
Publication of KR20180066551A publication Critical patent/KR20180066551A/ko
Application granted granted Critical
Publication of KR101891201B1 publication Critical patent/KR101891201B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Processing Or Creating Images (AREA)

Abstract

적어도 하나의 프로세서에 의해 동작하는 깊이 지도 생성 장치로서, 전방향 카메라에서 촬영된 연속 영상들을 입력받고, 상기 연속 영상들의 특징점들을 추출하는 특징점 추출부, 단위 구(unit sphere) 위의 영역에서 재투영 오차(reprojection error)를 계산하고, 상기 재투영 오차를 최소화하는 상기 특징점들의 깊이 정보와 카메라 궤적을 추정하는 번들 조정부, 그리고 상기 카메라 궤적을 기초로, 상기 전방향 카메라를 구성하는 제1 카메라와 제2 카메라 각각의 단위 구에서 일정 깊이만큼 떨어진 가상 구들을 생성하고, 상기 가상 구들을 이용한 구형 일소법(Sphere sweeping)을 기초로 상기 특징점들의 깊이 정보로부터 입력 영상에 대한 깊이 정보를 획득하는 조밀 깊이 정보 획득부를 포함한다.

Description

전방향 카메라의 깊이 지도 획득 방법 및 장치{METHOD AND APPARATUS FOR ACQUIRING DEPTH MAP FROM ALL-AROUND CAMERA}
본 발명은 깊이 지도에 관한 것이다.
움직임 기반 깊이 정보 획득 방법(Structure-from-Motion, SfM)은 움직이는 카메라에서 찍히는 연속적인 영상들로부터 장면(scene)의 3차원 정보를 획득한다. 이러한 움직임 기반 깊이 정보 획득 방법은 영상들 사이의 거리(baseline)가 작은 경우 깊이 불확실성(depth uncertainty)이 증가하여 정확한 깊이 정보를 획득하는데 어려움이 있다.
도 1을 참고하면, 최근 가상 현실(virtual reality)을 체험할 수 있는 헤드 마운티드 디스플레이(head-mounted displays)의 증가로 웨어러블 디바이스용 3차원 콘텐츠를 생성하는 것이 컴퓨터 비젼의 주요 토픽이다. 특히, 최근 360도 전방향(all-around)을 촬영하는 카메라가 출시되고 있는데, 실감나는 콘텐츠를 생성하기 위해 전방향 카메라에서 촬영된 영상에 대한 깊이 지도 제작이 요구된다.
지금까지 360도 전방향 카메라에서 촬영된 영상으로부터 360도 전방향 깊이 지도를 획득하는 연구들[Large-scale direct slam for omnidirectional cameras(IEEE International Conference on Intelligent Robots and System 2015), Real-time direct dense matching on fisheye images using plane-sweeping stereo(Proc. Of International Conference on 3D Vision 2014)]이 진행되고 있다. 하지만, 이들은 영상들 사이의 큰 시점 변화로부터 깊이 정보를 획득하는 방법을 제안하고 있어, 사용자가 큰 시점 변화를 발생시키기 위해 많이 움직여서 영상을 촬영해야 하는 단점이 있다.
최근 작은 시점 변화 영상으로부터 깊이 정보를 획득하는 방법이 새롭게 제안되었다. 예를 들면, 논문(Micro-baseline stereo, Technical report MSR-TR-2014-73, Microsoft Research, 2014)은 3차원 공간상의 카메라 시점 변화를 2차원 영상의 호모그래피(homography) 변환을 이용하여 계산하고, 광 흐름(optical flow)를 이용하여 깊이 정보를 추정한다. 다른 논문(3D Reconstruction from Accidental Motion, IEEE Computer Vision and Pattern Recognition 2014)은 기존 SfM 모델에서 카메라 회전 행렬(rotation matrix)에 작은 각도 근사(small angle approximation)를 적용하고, 특징점의 3차원 좌표를 기준 영상으로부터의 역 깊이(inverse depth)를 이용하여 모델링하여, 카메라 자세를 추정한다. 이때, 깊이 정보는 평면 일소법(plane sweeping)을 이용하여 대략적인 깊이 정보를 구한 다음, 마르코프 랜덤 필드(Markov Random Field)를 이용하여 전파시켜 획득한다.
하지만, 지금까지의 작은 시점 변화 영상으로부터 깊이 정보를 획득하는 방법은 모두 일반 카메라(스마트폰, DSLR)들이 갖는 모델(pinhole camera model)에서만 적용이 가능하다. 따라서, 지금까지의 작은 시점 변화 영상으로부터 깊이 정보를 획득하는 방법은 도 1과 같은 360도 전방향 카메라에서 촬영된 움직임이 작은 연속적 영상으로부터 깊이 정보를 획득하기 어려운 한계가 있다.
본 발명이 해결하고자 하는 과제는 전방향 카메라에서 촬영된 작은 시점 변화 영상들로부터 깊이 지도를 획득하는 방법 및 장치를 제공하는 것이다.
한 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 깊이 지도 생성 장치로서, 전방향 카메라에서 촬영된 연속 영상들을 입력받고, 상기 연속 영상들의 특징점들을 추출하는 특징점 추출부, 단위 구(unit sphere) 위의 영역에서 재투영 오차(reprojection error)를 계산하고, 상기 재투영 오차를 최소화하는 상기 특징점들의 깊이 정보와 카메라 궤적을 추정하는 번들 조정부, 그리고 상기 카메라 궤적을 기초로, 상기 전방향 카메라를 구성하는 제1 카메라와 제2 카메라 각각의 단위 구에서 일정 깊이만큼 떨어진 가상 구들을 생성하고, 상기 가상 구들을 이용한 구형 일소법(Sphere sweeping)을 기초로 상기 특징점들의 깊이 정보로부터 입력 영상에 대한 깊이 정보를 획득하는 조밀 깊이 정보 획득부를 포함한다.
상기 번들 조정부는 각 특징점에 대해 추정된 3차원 좌표를 추정된 깊이에 관련된 단위 구(unit sphere) 위로 투영하여 제1 좌표를 구하고, 상기 3차원 좌표를 상기 카메라 궤적에 관계된 카메라 외부 파라미터를 이용하여 상기 카메라의 정규 영상 좌표계로 투영하여 제2 좌표를 구하며, 상기 제1 좌표와 상기 제2 좌표의 차이를 상기 재투영 오차로 계산할 수 있다.
상기 카메라 외부 파라미터는 상기 제1 카메라와 상기 제2 카메라의 상대적 자세, 상기 제1 카메라에서 연속 촬영된 영상 사이의 상대적 자세, 그리고 상기 제2 카메라에서 연속 촬영된 영상 사이의 상대적 자세에 관련된 파라미터들을 포함하고, 상기 제1 카메라에서 연속 촬영된 영상 사이의 상대적 자세는 상기 카메라 궤적에 관계된 회전 벡터와 이동 벡터로 표현될 수 있다.
상기 조밀 깊이 정보 획득부는 상기 제1 카메라와 상기 제2 카메라의 상대적 거리만큼 떨어진 상기 제1 카메라와 상기 제2 카메라의 단위 구에서 일정 깊이만큼 떨어진 가상 구들을 생성하고, 상기 연속 영상들 중 기준 영상의 기준 좌표가 상기 가상 구들을 거쳐 상기 연속 영상들로 변환된 영상 좌표들을 계산하며, 상기 변환된 영상 좌표들의 밝기(intensity) 분산으로 각 가상 구에 대한 비용을 계산하여 상기 기준 좌표의 깊이값을 추정할 수 있다.
상기 조밀 깊이 정보 획득부는 상기 기준 좌표를 상기 제1 카메라와 상기 제2 카메라 각각의 가상 구들로 역투영하고, 상기 카메라 궤적을 기초로 역투영된 좌표를 상기 제1 카메라와 상기 제2 카메라의 연속 영상들로 투영하여 상기 변환된 영상 좌표들을 획득할 수 있다.
상기 변환된 영상 좌표들은 가상 구별로 계산되고, 상기 제1 카메라와 상기 제2 카메라 각각의 임의 가상 구에서 상기 제1 카메라의 임의 영상으로 변환된 좌표들 그리고 상기 제1 카메라와 상기 제2 카메라 각각의 임의 가상 구에서 상기 제2 카메라의 임의 영상으로 변환된 좌표들을 포함할 수 있다.
상기 조밀 깊이 정보 획득부는 상기 변환된 영상 좌표들 중에서 상기 제1 카메라와 상기 제2 카메라의 시야각에 들어있는 영상 좌표들을 추출하여 비용을 계산할 수 있다.
다른 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 깊이 지도 생성 장치의 동작 방법으로서, 전방향 카메라에서 촬영된 연속 영상들에서 특징점들을 추출하는 단계, 재투영 오차(reprojection error)를 최소화하는 상기 특징점들의 깊이 정보와 카메라 궤적을 추정하는 단계, 상기 연속 영상들 중 기준 영상의 시점에서 전방향을 바라보는 기준 단위 구, 그리고 상기 기준 단위 구에서 일정 깊이만큼 떨어진 가상 구들을 생성하는 단계, 상기 카메라 궤적을 기초로, 상기 기준 영상의 기준 좌표가 상기 가상 구들을 거쳐 상기 연속 영상들로 변환된(warped) 영상 좌표들을 계산하는 단계, 그리고 상기 변환된 영상 좌표들의 밝기(intensity) 분산으로 각 가상 구에 대한 비용을 계산하여 상기 기준 좌표의 깊이 정보를 추정하는 단계를 포함한다.
상기 특징점들의 깊이 정보와 카메라 궤적을 추정하는 단계는 단위 구(unit sphere) 위의 영역에서 상기 재투영 오차(reprojection error)를 계산하고, 상기 재투영 오차는 각 특징점에 대해 추정된 3차원 좌표를 추정된 깊이에 관련된 단위 구(unit sphere) 위로 투영한 좌표와, 상기 3차원 좌표를 상기 카메라 궤적에 관계된 카메라 외부 파라미터를 이용하여 상기 카메라의 정규 영상 좌표계로 투영한 값의 차이일 수 있다.
상기 카메라 외부 파라미터는 상기 전방향 카메라를 구성하는 제1 카메라와 제2 카메라의 상대적 자세, 상기 제1 카메라에서 연속 촬영된 영상 사이의 상대적 자세, 그리고 상기 제2 카메라에서 연속 촬영된 영상 사이의 상대적 자세에 관련된 파라미터들을 포함하고, 상기 제1 카메라에서 연속 촬영된 영상 사이의 상대적 자세는 상기 카메라 궤적에 관계된 회전 벡터와 이동 벡터로 표현될 수 있다.
상기 변환된 영상 좌표들을 계산하는 단계는 상기 기준 좌표를 상기 가상 구들로 역투영하고, 상기 카메라 궤적을 기초로 역투영된 좌표를 상기 전방향 카메라의 연속 영상들로 투영하여 상기 변환된 영상 좌표들을 획득할 수 있다.
상기 기준 좌표의 깊이값을 추정하는 단계는 상기 변환된 영상 좌표들 중에서 상기 전방향 카메라의 시야각에 들어있는 영상 좌표들을 추출하여 비용을 계산할 수 있다.
상기 기준 좌표의 깊이값을 추정하는 단계는 상기 기준 좌표가 각 가상 구에 의해 연속 영상들로 변환된 영상 좌표들을 모아 가상 구별로 밝기 프로파일을 구하는 단계, 그리고 상기 가상 구별 밝기 프로파일의 분산으로 매칭 비용을 계산하여 비용이 최소인 가상 구에 대응된 깊이 또는 역 깊이를 상기 기준 좌표의 깊이 정보로 추정하는 단계를 포함할 수 있다.
상기 동작 방법은 상기 기준 영상의 컬러 정보를 사용하여 상기 기준 영상의 기준 좌표들에 대해 추정된 깊이 정보를 유도 전파하여 상기 연속 영상들로 표현되는 전방향 영상의 깊이 정보를 획득하는 단계를 더 포함할 수 있다.
상기 동작 방법은 상기 전방향 영상의 깊이 정보를 기초로 전방향 3차원 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면 전방향 카메라의 작은 시점 변화를 통해 연속적으로 촬영된 영상들을 이용하여 고품질의 깊이 지도를 생성할 수 있다. 본 발명의 실시예에 따르면 사용자가 영상들 사이의 큰 시점 변화를 발생시킬 필요 없이, 360도 전방향 카메라를 간단히 조작하여 촬영하더라도 이에 대한 깊이 지도를 얻을 수 있다.
도 1은 360도 전방향 카메라의 예시이다.
도 2는 본 발명의 한 실시예에 따른 깊이 지도 생성 장치의 구성도이다.
도 3은 본 발명의 한 실시예에 따른 특징점들에 대한 깊이 정보 및 카메라 궤적 획득 방법에 사용되는 전방향 카메라 모델이다.
도 4는 본 발명의 한 실시예에 따른 구형 일소법(Sphere sweeping)을 설명하는 도면이다.
도 5는 본 발명의 한 실시예에 따른 최종 변환된 영상과 가시성 마스크의 예시이다.
도 6은 본 발명의 한 실시예에 따른 360도 전방향 카메라의 특징점에대한 깊이 정보 및 카메라 궤적을 추정하는 방법의 흐름도이다.
도 7은 본 발명의 한 실시예에 따른 깊이 지도 생성 방법의 흐름도이다.
도 8은 본 발명의 한 실시예에 따른 깊이 지도와 오차 지도의 예시를 나타내는 도면이다.
도 9는 기존 평면 일소법과 본 발명의 한 실시예에 따른 구형 일소법으로 구한 깊이 지도의 차이를 나타내는 도면이다.
도 10은 본 발명의 한 실시예에 따른 결과물의 예시이다.
도 11은 본 발명의 한 실시예에 따라 생성되는 입체적인 VR 영상의 예시이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 2는 본 발명의 한 실시예에 따른 깊이 지도 생성 장치의 구성도이고, 도 3은 본 발명의 한 실시예에 따른 특징점들에 대한 깊이 정보 및 카메라 궤적 획득 방법에 사용되는 전방향 카메라 모델이며, 도 4는 본 발명의 한 실시예에 따른 구형 일소법(Sphere sweeping)을 설명하는 도면이고, 도 5는 본 발명의 한 실시예에 따른 최종 변환된 영상과 가시성 마스크의 예시이다.
도 2를 참고하면, 깊이 지도 생성 장치(100)는 360도 전방향 카메라에서 촬영된 영상으로부터 특징점을 추출하고, 특징점의 깊이 정보 및 카메라 궤적을 획득하며, 이를 이용하여 영상 전체에 대한 조밀한 깊이 정보를 획득한다. 이를 위해, 깊이 지도 생성 장치(100)는 영상 입력부(110), 특징점 추출부(Feature Extraction)(130), 번들 조정부(Bundle Adjustment)(150), 조밀 깊이 정보 획득부(Dense Matching)(170)를 포함한다. 깊이 지도 생성 장치(100)는 3차원 영상 생성부(190)를 더 포함할 수 있다. 깊이 지도 생성 장치(100)는 적어도 하나의 프로세서와 적어도 하나의 메모리를 포함하고, 프로세서와 메모리를 이용하여 본 발명에서 설명한 동작을 구현한 프로그램을 구동한다.
영상 입력부(110)는 깊이 정보 획득에 사용되는 영상을 입력받는다. 본 발명에서, 입력 영상은 360도 전방향 카메라에서 촬영된 영상으로서, 작은 시점 변화 영상들이다. 작은 시점 변화 영상들이란 영상들 사이의 움직임이 작은 연속적 영상들이다. 360도 전방향 카메라는 도 1과 같은 구형 파노라마 카메라(spherical panoramic cameras, SPCs)일 수 있고, 2대의 어안렌즈(fisheye lens)로 이루어져 있다. 설명을 위해 전방향 카메라는 전방 카메라와 후방 카메라로 전방향을 촬영한다고 설명하나, 전방향을 촬영하는 카메라의 종류나 숫자에 특별한 한정을 두지 않는다.
특징점 추출부(130)는 입력 영상에서 특징점들을 추출한다. 먼저, 특징점 추출부(130)는 입력 영상에서 기준 영상(reference image)을 정하고, 기준 영상에서 특징점을 추출한다. 특징점 추출부(130)는 해리스 코너(Harris corner)를 이용하여 특징점을 추출할 수 있다. 다음으로, 특징점 추출부(130)는 나머지 영상들(non-reference images)을 추적(tracking)하여 기준 영상의 특징점에 대응되는 각 영상의 대응점들을 추출한다. 특징점 추출부(130)는 Kanade-Lucas-Tomashi(KLT) 추적기(tracker)를 이용하여 나머지 영상들의 특징점들을 추적할 수 있다.
특징점 추출부(130)는 추출한 특징점들 중에서 부정확한 특징점들을 제거한다. 특징점 추출부(130)는 해상도가 낮은 가장자리 영역에서 추출된 특징점들을 제거할 수 있다. 특징점 추출부(130)는 기존 해리스 코너 좌표로부터 떨어진 거리 (양방향 에러, bidirectional error)를 측정하여, 기준값(예를 들면, 0.1 픽셀) 이상인 경우, 해당 특징점을 제거할 수 있다.
번들 조정부(150)는 특징점 추출부(130)에서 추출된 특징점의 깊이 정보와 카메라 궤적을 계산한다. 번들 조정부(150)는 3차원 좌표(3D points)와 카메라 파라미터를 반복적으로 조정(refine)하여 재투영 오차(reprojection error)를 최소화하는 특징점의 깊이 정보와 카메라 궤적을 찾는다. 이때, 입력 영상이 전방향 카메라에서 촬영된 구형 영상이므로, 번들 조정부(150)는 평면 영역이 아니라, 단위 구(unit sphere) 위의 영역에서 재투영 오차를 계산한다. 즉, 재투영 오차는 3차원 좌표의 단위 구 좌표와 3차원 좌표를 카메라의 정규 영상 좌표계로 투영한 값의 차이로 정의될 수 있다.
번들 조정부(150)는 도 3의 (a)와 같은 통합된 전방향 카메라 모델(unified omnidirectional camera model)을 사용하여 계산에 필요한 파라미터들을 구한다. 입력 영상은 도 3의 (b)와 같은 전방 및 후방 카메라 두대로 촬영된다고 가정한다.
도 3의 (a)를 참고하면, 3차원 좌표 X(X, Y, Z)가 단위 구(unit sphere) 위로 투영된다. X가 투영된 단위 구 위의 벡터(vector)는
Figure 112016120924694-pat00001
이다. 여기서,
Figure 112016120924694-pat00002
(
Figure 112016120924694-pat00003
)를 역 깊이(inverse depth)로 정의한다. ξ는 단위 구의 중심(Cs)에서 카메라 중심(Cc)까지의 거리이다.
3차원 좌표 X(X, Y, Z)는 투영 함수(projection function)
Figure 112016120924694-pat00004
를 통해 정규영상 좌표계(normalized image coordinate)의 영상 좌표 x로 투영된다. 투영 함수
Figure 112016120924694-pat00005
는 수학식 1과 같이 구해질 수 있다.
Figure 112016120924694-pat00006
수학식 1에서, K는 카메라 내부 파라미터(camera intrinsic parameter)이고, u는 단위 벡터
Figure 112016120924694-pat00007
가 영상 평면(image plane)으로 투영된 픽셀 좌표이다.
영상 좌표 x(x, y, 1)는 역투영 함수(back-projection function)
Figure 112016120924694-pat00008
를 통해 3차원 공간의 3차원 좌표 X로 투영된다. 역투영 함수
Figure 112016120924694-pat00009
는 수학식 2와 같이 구해질 수 있다.
Figure 112016120924694-pat00010
수학식 2에서,
Figure 112016120924694-pat00011
는 역 깊이로서, 깊이 정보의 역수
Figure 112016120924694-pat00012
이다.
도 3의 (b)를 참고하면, 카메라 외부 파라미터(camera extrinsic parameter)로서, P는 전방 카메라와 후방 카메라간의 상대적 자세(pose)이다.
Figure 112016120924694-pat00013
는 전방 카메라(Frontal camera)에서 연속 촬영된 i번째 영상의 상대적 자세이고,
Figure 112016120924694-pat00014
은 후방 카메라(Rear camera)에서 연속 촬영된 i번째 영상의 상대적 자세이다.
Figure 112016120924694-pat00015
와
Figure 112016120924694-pat00016
는 수학식 3과 같이 표현될 수 있다.
Figure 112016120924694-pat00017
Figure 112016120924694-pat00018
,
Figure 112016120924694-pat00019
수학식 3에서, r i와 t i는 i번째 영상의 카메라 궤적에 관련된 벡터로서, r i는 회전 벡터(rotation vector)이고, t i는 이동 벡터(translation vector)이다.
Figure 112016120924694-pat00020
은 r i를 근사화된 회전 행렬로 변환해 주는 함수이다.
이와 같은 전방향 카메라 모델로부터 획득한 기하학적 파라미터들을 기초로, 번들 조정부(150)는 재투영 오차(reprojection error)를 최소화하는 특징점의 깊이 정보(
Figure 112016120924694-pat00021
,j=1,2,..., NF,
Figure 112016120924694-pat00022
, j=1,2,..., NR)와 카메라 궤적(r i, t i,i=1, 2, ..., NI)을 찾는 최적화(bundle adjustment)를 수행한다. 최적화 함수는 수학식 4와 같이 표현될 수 있다.
Figure 112016120924694-pat00023
수학식 4에서, i는 입력 영상 인덱스이고, NI는 입력 영상에 들어있는 연속된 영상의 수이다. j는 특징점 인덱스이고, NF와 NR 각각은 전방 카메라와 후방 카메라 영상의 특징점 수이다.
Figure 112016120924694-pat00024
와
Figure 112016120924694-pat00025
는 i번째 영상의 j번째 특징점의 단위 구 좌표이다.
Figure 112016120924694-pat00026
는 후버 손실 함수(Huber loss function)이다.
이렇게, 번들 조정부(150)는 기하학적으로 잘 복원된 깊이 정보를 획득할 수 있지만, 특징점들의 깊이 정보만을 추출하므로, 3차원 장면을 구현하기는 불충분하다. 다음에서, 영상 전체의 조밀(dense) 깊이 정보를 획득하는 방법에 대해 설명한다.
조밀 깊이 정보 획득부(170)는 번들 조정부(150)에서 추정한 카메라 궤적을 기초로 3차원 공간에서 도 4과 같은 구형 일소법(Sphere sweeping)을 이용하여 특징점 깊이 정보로부터 전방향 영상에 대한 깊이 정보를 획득한다.
도 4를 참고하면, 먼저, 조밀 깊이 정보 획득부(170)는 기준 영상의 영상 좌표 u를 가상 구(virtual sphere) S로 역투영(back-projection)하고, 역투영된 좌표를 다른 영상들로 투영하여 밝기(intensity) 프로파일(I)를 획득한다. 여기서, 조밀 깊이 정보 획득부(170)는 전방 카메라와 후방 카메라 각각의 가상 구들을 동시에 사용하여 조밀한 매칭을 한다. 조밀 깊이 정보 획득부(170)는 기준 영상에서 일정 거리(역 깊이)(wl, l=1, 2, ..., N) 떨어진 위치들을 거치는 영상 변환을 통해 기준 영상 좌표계로 이동시킨다.
조밀 깊이 정보 획득부(170)는 전방 카메라 기준 영상의 u F와 후방 카메라 기준 영상의 u R을 l번째 가상 구로 역투영한다. 여기서, l번째 가상 구는 역 깊이(inverse depth)가 wl인 구이고, 전방 카메라의 l번째 가상 구(
Figure 112016120924694-pat00027
)와 후방 카메라의 l번째 가상 구(
Figure 112016120924694-pat00028
)는 수학식 5와 같이 표현된 수 있다. 조밀 깊이 정보 획득부(170)는 전방향 카메라의 기준 영상의 시점에서 전방향을 바라보는 단위 구, 그리고 단위 구에서 일정 깊이만큼 떨어진 가상 구들을 생성한다.
Figure 112016120924694-pat00029
Figure 112016120924694-pat00030
수학식 5에서,
Figure 112016120924694-pat00031
는 기준 영상의 영상 좌표 u를 가상 구 S로 역투영하는 함수이고, K는 카메라 내부 파라미터이며, l은 역 깊이이다.
전방 카메라 및 후방 카메라 각각의 가상 구(
Figure 112016120924694-pat00032
,
Figure 112016120924694-pat00033
)를 통해 4가지 투영이 가능하다. 여기서 4가지 가능한 투영은 전방에서 전방으로 투영, 전방에서 후방으로 투영, 후방에서 전방으로 투영, 그리고 후방에서 전방으로 투영을 포함한다.
i번째 전방 카메라 영상을 l번째 가상 구를 거쳐 기준(첫 번째) 전방 카메라 영상 및 기준 후방 카메라 영상으로 변환(투영)시킨 좌표(
Figure 112016120924694-pat00034
,
Figure 112016120924694-pat00035
)는 수학식 6과 같다. i번째 후방 카메라 영상을 l번째 가상 구를 거쳐 기준(첫 번째) 전방 카메라 영상 및 기준 후방 카메라 영상으로 변환(투영)시킨 좌표(
Figure 112016120924694-pat00036
,
Figure 112016120924694-pat00037
)는 수학식 7과 같다.
Figure 112016120924694-pat00038
Figure 112016120924694-pat00039
전방 카메라와 후방 카메라는 특정한 시야각(Field-Of-View, FOV)를 가지고 있다. 따라서, 조밀 깊이 정보 획득부(170)는 시야각에 들어있는 영상 좌표들을 선택적으로 사용한다. 이를 위해, 조밀 깊이 정보 획득부(170)는 카메라의 주축(principal axis)과 각 투영에 대한 광선 방향(ray direction) 사이의 각도를 측정한다. 각도는 수학식 8과 같이 계산될 수 있다.
Figure 112016120924694-pat00040
Figure 112016120924694-pat00041
Figure 112016120924694-pat00042
Figure 112016120924694-pat00043
조밀 깊이 정보 획득부(170)는 변환된 영상 좌표들 중 보이는 좌표들을 수집하여, 기준 전방 카메라 영상 및 기준 후방 카메라 영상에서 l번째 역 깊이를 가지는 특징점 j에 대한 밝기 프로파일(intensity profiles)을 획득할 수 있다. 밝기 프로파일은 수학식 9와 같이 계산될 수 있다. 수학식 9에서,
Figure 112016120924694-pat00044
는 시야각(예를 들면, 200도)이고, i는 입력 영상 인덱스이다.
Figure 112016120924694-pat00045
도 5를 참고하면, i=1이고, l=0인 경우, (a)는 전방에서 전방으로 변환(warped)된 영상
Figure 112016120924694-pat00046
이고, (b)는 (a)의 가시성 마스크(visibility mask)(
Figure 112016120924694-pat00047
)이다. (c)는 후방에서 전방으로 변환된 영상(warped image from rear to frontal image)
Figure 112016120924694-pat00048
이고, (d)는 (c)의 가시성 마스크(visibility mask)(
Figure 112016120924694-pat00049
)이다.
조밀 깊이 정보 획득부(170)는 N개의 역 깊이를 갖는 가상 구들 각각에 대한 밝기 프로파일을 획득한다. 조밀 깊이 정보 획득부(170)는 픽셀별로 각 역 깊이에 대한 비용을 계산한다. 매칭 비용은 수학식 10과 같이, 두 밝기 프로파일들의 분산을 가중 합산하여 계산될 수 있다.
Figure 112016120924694-pat00050
조밀 깊이 정보 획득부(170)는 모든 역 깊이 후보(
Figure 112016120924694-pat00051
)에 비용을 쌓아서 전방 카메라와 후방 카메라 각각에 대한 비용 볼륨(
Figure 112016120924694-pat00052
,
Figure 112016120924694-pat00053
)을 구한다. 조밀 깊이 정보 획득부(170)는 전방 카메라와 후방 카메라 각각에 대한 비용 볼륨(
Figure 112016120924694-pat00054
,
Figure 112016120924694-pat00055
)에서 비용이 최소인 역 깊이를 해당 픽셀의 깊이로 추정한다.
초기 깊이 추정 이후, 조밀 깊이 정보 획득부(170)는 픽셀별로 정의된 신뢰도(confidence)를 측정하여 이상치(outlier)를 제거한다. 조밀 깊이 정보 획득부(170)는 기준 영상의 컬러 정보를 바탕으로 초기 깊이 정보를 유도된 전파하여 영상 전체의 깊이 정보를 획득할 수 있다.
3차원 영상 생성부(190)는 조밀 깊이 정보 획득부(170)에서 획득한 영상 전체의 조밀한 깊이 정보를 기초로 3차원 장면을 생성한다. 3차원 영상 생성부(190)는 360도 4차원 VR 콘텐츠를 생성할 수 있다.
도 6은 본 발명의 한 실시예에 따른 360도 전방향 카메라의 특징점에 대한 깊이 정보 및 카메라 궤적을 추정하는 방법의 흐름도이고, 도 7은 본 발명의 한 실시예에 따른 깊이 지도 생성 방법의 흐름도이다.
먼저 도 6을 참고하면, 깊이 지도 생성 장치(100)는 전방향 카메라에 의해 캡쳐된 연속 영상들을 입력받는다(S110). 전방향 카메라는 전방 카메라와 후방 카메라로 구성되고, 연속 영상들은 영상들 사이의 움직임이 작은 상태에서 촬영된 연속적 영상들로서, 영상들 사이의 시점 변화가 작다.
깊이 지도 생성 장치(100)는 입력 영상의 특징점들을 추출한다(S120). 깊이 지도 생성 장치(100)는 입력 영상의 기준 영상에서 특징점을 추출하고, 나머지 영상들을 추적하여 기준 영상의 특징점에 대응되는 각 영상의 특징점을 추출한다.
깊이 지도 생성 장치(100)는 전방 카메라와 후방 카메라 각각의 단위 구(unit sphere) 위의 영역에서 정규 좌표계로의 재투영 오차를 계산하고, 재투영 오차를 최소화하는 특징점의 깊이 정보(
Figure 112016120924694-pat00056
,j=1, 2, ..., NF,
Figure 112016120924694-pat00057
, j=1, 2, ..., NR)와 카메라 궤적(r i, t i , i=1, 2, ..., NI)을 추정한다(S130). 재투영 오차는 수학식 4와 같이, 특징점(j)에 해당하는 단위 구 좌표와 이 단위 구 좌표에 관계된 3차원 좌표를 카메라의 정규 좌표계로 투영한 값의 차이로 정의될 수 있다.
도 7을 참고하면, 깊이 지도 생성 장치(100)는 추정한 카메라 궤적을 기초로 전방 카메라와 후방 카메라 각각의 단위 구에서 일정 깊이만큼 떨어진 가상 구들을 생성한다(S210). 깊이 지도 생성 장치(100)는 도 4와 같이 가상 구들을 생성한다.
깊이 지도 생성 장치(100)는 기준 영상 좌표들(
Figure 112016120924694-pat00058
,
Figure 112016120924694-pat00059
)을 전방 카메라와 후방 카메라 각각의 가상 구들로 역투영하고, 역투영된 좌표가 영상 좌표계로 변환된 영상 좌표들(
Figure 112016120924694-pat00060
,
Figure 112016120924694-pat00061
,
Figure 112016120924694-pat00062
,
Figure 112016120924694-pat00063
)을 획득한다(S220). 깊이 지도 생성 장치(100)는 역투영된 좌표를 전방 카메라의 다른 영상(i번째 영상)이나 후방 카메라의 다른 영상(i번째 영상)으로 투영하여 수학식 6 및 7과 같은 변환된 영상 좌표들(
Figure 112016120924694-pat00064
,
Figure 112016120924694-pat00065
,
Figure 112016120924694-pat00066
,
Figure 112016120924694-pat00067
)을 획득한다.
깊이 지도 생성 장치(100)는 카메라의 주축(principal axis)과 각 투영에 대한 광선 방향(ray direction) 사이의 각도를 측정하여, 변환된 영상 좌표들 중 보이는 좌표들을 선택하고, 보이는 좌표들을 포함하는 밝기 프로파일들을 생성한다(S230). 밝기 프로파일은 N개의 역 깊이를 갖는 가상 구들 각각에 대해 계산된다.
깊이 지도 생성 장치(100)는 전방 카메라와 후방 카메라 각각에 대한 밝기 프로파일의 분산을 기초로 기준 영상 좌표별(픽셀별)로 각 역 깊이에 대한 비용을 계산하고, 비용이 최소인 역 깊이를 해당 좌표의 깊이로 추정한다(S240).
깊이 지도 생성 장치(100)는 추정한 깊이 정보를 기준 영상의 컬러 정보를 이용하여 유도 전파하여 전방향 영상의 깊이 정보를 획득한다(S250).
깊이 지도 생성 장치(100)는 전방향 영상의 깊이 정보를 기초로 3차원 영상을 생성한다(S260). 3차원 영상은 가상 현실용 콘텐츠로 사용될 수 있다.
도 8은 본 발명의 한 실시예에 따른 깊이 지도와 오차 지도의 예시를 나타내는 도면이다.
도 8을 참고하면, 깊이 지도 생성 장치(100)는 (a)와 같은 이미지를 입력받으면, (b)와 같은 깊이 지도를 생성한다. 깊이 오차를 나타내는 오차 지도(error map)는 (c)와 같다. 이를 통해, 깊이 지도 생성 장치(100)가 실제 깊이 정보와 유사한 깊이 정보를 획득할 수 있음을 확인할 수 있다. 또한, 본 발명의 깊이 지도 (b)와 다른 기술에 의한 깊이 지도 (d)를 비교해 보면, 본 발명의 깊이 지도가 뛰어난 결과를 보이는 것을 확인할 수 있다.
표 1은 기존 최적화 방법의 수렴과 본 발명의 최적화 방법의 수렴을 비교한 결과이다. 평면 영상 위의 영역에서 재투영 오차를 측정하는 종래 방법(standard)에 비해 단위 구에서 재투영 오차를 측정하는 본 발명(proposed)이 더 뛰어난 성능을 보이는 것을 확인할 수 있다.
# of iteration Initial 1 2 3 4
Proposed 100% 48.7% 7.9% 4.4% 3.8%
Standard 100% 74.3% 67.8% 64.4% 61.6%
표 2는 본 발명으로 복원한 3차원 구조에서 측정된 거리와 실제 거리를 비교한 결과로서, 실제 거리와 유사하게 복원되는 것을 확인할 수 있다.
CheckerBoard size 10cm 5cm 2cm
1st trial 13.9cm 5.1cm 3.3cm
2nd trial 0.9cm 7.7cm 1.9cm
3rd trial 9.5cm 6.1cm 2.5cm
도 9는 기존 평면 일소법과 본 발명의 한 실시예에 따른 구형 일소법으로 구한 깊이 지도의 차이를 나타내는 도면이다.
도 9를 참고하면, 입력 이미지 (a)에 대해, (b)는 평면 일소법으로 획득한 깊이 지도이고, (c)와 (d)는 본 발명의 한 실시예에 따른 구형 일소법으로 획득한 깊이 지도이다. 평면 일소법에 비해 본 발명의 한 실시예에 따른 구형 일소법으로 획득한 깊이 지도의 결과가 현저히 우수함을 확인할 수 있다.
도 10은 본 발명의 한 실시예에 따른 결과물의 예시이다.
도 10을 참고하면, (a)부터 (d)는 야외 촬영 장면이고, (e)와 (f)는 실내 촬영 장면이다. (a)부터 (f) 각각에서 첫 번째 행은 전방향 카메라로 촬영된 비디오 클립의 평균 영상(Averaged image of video clip)이고, 두 번째 행은 파노라마 영상(Panorama images)이다. 세 번째 행은 본 발명의 실시예에 따른 깊이 지도이고, 네 번째 행은 특징점과 카메라 자세(sparse 3D and Camera poses)이다.
도 11은 본 발명의 한 실시예에 따라 생성되는 입체적인 VR 영상의 예시이다.
도 11을 참고하면, (a)부터 (d) 각각에서 첫 번째 행은 전방향 카메라로 촬영된 비디오 클립의 평균 영상(Averaged image of video clip)이고, 두 번째 행은 입체 파노라마 영상(Anaglyph Panorama images)이다. 세 번째 행은 본 발명의 실시예에 따른 깊이 정보로부터 생성된 입체 VR 이미지(Stereoscopic VR images)이다.
이와 같이, 본 발명의 실시예에 따르면 전방향 카메라의 작은 시점 변화를 통해 연속적으로 촬영된 영상들을 이용하여 고품질의 깊이 지도를 생성할 수 있다. 본 발명의 실시예에 따르면 사용자가 영상들 사이의 큰 시점 변화를 발생시킬 필요 없이, 360도 전방향 카메라를 간단히 조작하여 촬영하더라도 이에 대한 깊이 지도를 얻을 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 적어도 하나의 프로세서에 의해 동작하는 깊이 지도 생성 장치로서,
    전방향 카메라에서 촬영된 연속 영상들을 입력받고, 상기 연속 영상들의 특징점들을 추출하는 특징점 추출부,
    단위 구(unit sphere) 위의 영역에서 재투영 오차(reprojection error)를 계산하고, 상기 재투영 오차를 최소화하는 상기 특징점들의 깊이 정보와 카메라 궤적을 추정하는 번들 조정부, 그리고
    상기 카메라 궤적을 기초로, 상기 전방향 카메라를 구성하는 제1 카메라와 제2 카메라 각각의 단위 구에서 일정 깊이만큼 떨어진 가상 구들을 생성하고, 상기 가상 구들을 이용한 구형 일소법(Sphere sweeping)을 기초로 상기 특징점들의 깊이 정보로부터 입력 영상에 대한 깊이 정보를 획득하는 조밀 깊이 정보 획득부
    를 포함하는 깊이 지도 생성 장치.
  2. 제1항에서,
    상기 번들 조정부는
    각 특징점에 대해 추정된 3차원 좌표를 추정된 깊이에 관련된 단위 구(unit sphere) 위로 투영하여 제1 좌표를 구하고, 상기 3차원 좌표를 상기 카메라 궤적에 관계된 카메라 외부 파라미터를 이용하여 상기 카메라의 정규 영상 좌표계로 투영하여 제2 좌표를 구하며, 상기 제1 좌표와 상기 제2 좌표의 차이를 상기 재투영 오차로 계산하는, 깊이 지도 생성 장치.
  3. 제2항에서,
    상기 카메라 외부 파라미터는
    상기 제1 카메라와 상기 제2 카메라의 상대적 자세, 상기 제1 카메라에서 연속 촬영된 영상 사이의 상대적 자세, 그리고 상기 제2 카메라에서 연속 촬영된 영상 사이의 상대적 자세에 관련된 파라미터들을 포함하고,
    상기 제1 카메라에서 연속 촬영된 영상 사이의 상대적 자세는 상기 카메라 궤적에 관계된 회전 벡터와 이동 벡터로 표현되는 깊이 지도 생성 장치.
  4. 제1항에서,
    상기 조밀 깊이 정보 획득부는
    상기 제1 카메라와 상기 제2 카메라의 상대적 거리만큼 떨어진 상기 제1 카메라와 상기 제2 카메라의 단위 구에서 일정 깊이만큼 떨어진 가상 구들을 생성하고, 상기 연속 영상들 중 기준 영상의 기준 좌표가 상기 가상 구들을 거쳐 상기 연속 영상들로 변환된 영상 좌표들을 계산하며, 상기 변환된 영상 좌표들의 밝기(intensity) 분산으로 각 가상 구에 대한 비용을 계산하여 상기 기준 좌표의 깊이값을 추정하는 깊이 지도 생성 장치.
  5. 제4항에서,
    상기 조밀 깊이 정보 획득부는
    상기 기준 좌표를 상기 제1 카메라와 상기 제2 카메라 각각의 가상 구들로 역투영하고, 상기 카메라 궤적을 기초로 역투영된 좌표를 상기 제1 카메라와 상기 제2 카메라의 연속 영상들로 투영하여 상기 변환된 영상 좌표들을 획득하는 깊이 지도 생성 장치.
  6. 제5항에서,
    상기 변환된 영상 좌표들은
    가상 구별로 계산되고, 상기 제1 카메라와 상기 제2 카메라 각각의 임의 가상 구에서 상기 제1 카메라의 임의 영상으로 변환된 좌표들 그리고 상기 제1 카메라와 상기 제2 카메라 각각의 임의 가상 구에서 상기 제2 카메라의 임의 영상으로 변환된 좌표들을 포함하는 깊이 지도 생성 장치.
  7. 제4항에서,
    상기 조밀 깊이 정보 획득부는
    상기 변환된 영상 좌표들 중에서 상기 제1 카메라와 상기 제2 카메라의 시야각에 들어있는 영상 좌표들을 추출하여 비용을 계산하는 깊이 지도 생성 장치.
  8. 적어도 하나의 프로세서에 의해 동작하는 깊이 지도 생성 장치의 동작 방법으로서,
    전방향 카메라에서 촬영된 연속 영상들에서 특징점들을 추출하는 단계,
    재투영 오차(reprojection error)를 최소화하는 상기 특징점들의 깊이 정보와 카메라 궤적을 추정하는 단계,
    상기 연속 영상들 중 기준 영상의 시점에서 전방향을 바라보는 기준 단위 구, 그리고 상기 기준 단위 구에서 일정 깊이만큼 떨어진 가상 구들을 생성하는 단계,
    상기 카메라 궤적을 기초로, 상기 기준 영상의 기준 좌표가 상기 가상 구들을 거쳐 상기 연속 영상들로 변환된(warped) 영상 좌표들을 계산하는 단계, 그리고
    상기 변환된 영상 좌표들의 밝기(intensity) 분산으로 각 가상 구에 대한 비용을 계산하여 상기 기준 좌표의 깊이 정보를 추정하는 단계
    를 포함하는 동작 방법.
  9. 제8항에서,
    상기 특징점들의 깊이 정보와 카메라 궤적을 추정하는 단계는
    단위 구(unit sphere) 위의 영역에서 상기 재투영 오차(reprojection error)를 계산하고,
    상기 재투영 오차는
    각 특징점에 대해 추정된 3차원 좌표를 추정된 깊이에 관련된 단위 구(unit sphere) 위로 투영한 좌표와, 상기 3차원 좌표를 상기 카메라 궤적에 관계된 카메라 외부 파라미터를 이용하여 상기 카메라의 정규 영상 좌표계로 투영한 값의 차이인 동작 방법.
  10. 제9항에서,
    상기 카메라 외부 파라미터는
    상기 전방향 카메라를 구성하는 제1 카메라와 제2 카메라의 상대적 자세, 상기 제1 카메라에서 연속 촬영된 영상 사이의 상대적 자세, 그리고 상기 제2 카메라에서 연속 촬영된 영상 사이의 상대적 자세에 관련된 파라미터들을 포함하고,
    상기 제1 카메라에서 연속 촬영된 영상 사이의 상대적 자세는 상기 카메라 궤적에 관계된 회전 벡터와 이동 벡터로 표현되는 동작 방법.
  11. 제8항에서,
    상기 변환된 영상 좌표들을 계산하는 단계는
    상기 기준 좌표를 상기 가상 구들로 역투영하고, 상기 카메라 궤적을 기초로 역투영된 좌표를 상기 전방향 카메라의 연속 영상들로 투영하여 상기 변환된 영상 좌표들을 획득하는 동작 방법.
  12. 제8항에서,
    상기 기준 좌표의 깊이값을 추정하는 단계는
    상기 변환된 영상 좌표들 중에서 상기 전방향 카메라의 시야각에 들어있는 영상 좌표들을 추출하여 비용을 계산하는 동작 방법.
  13. 제8항에서,
    상기 기준 좌표의 깊이값을 추정하는 단계는
    상기 기준 좌표가 각 가상 구에 의해 연속 영상들로 변환된 영상 좌표들을 모아 가상 구별로 밝기 프로파일을 구하는 단계, 그리고
    상기 가상 구별 밝기 프로파일의 분산으로 매칭 비용을 계산하여 비용이 최소인 가상 구에 대응된 깊이 또는 역 깊이를 상기 기준 좌표의 깊이 정보로 추정하는 단계
    를 포함하는 동작 방법.
  14. 제8항에서,
    상기 기준 영상의 컬러 정보를 사용하여 상기 기준 영상의 기준 좌표들에 대해 추정된 깊이 정보를 유도 전파하여 상기 연속 영상들로 표현되는 전방향 영상의 깊이 정보를 획득하는 단계
    를 더 포함하는 동작 방법.
  15. 제14항에서,
    상기 전방향 영상의 깊이 정보를 기초로 전방향 3차원 영상을 생성하는 단계
    를 더 포함하는 동작 방법.
KR1020160167525A 2016-12-09 2016-12-09 전방향 카메라의 깊이 지도 획득 방법 및 장치 KR101891201B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160167525A KR101891201B1 (ko) 2016-12-09 2016-12-09 전방향 카메라의 깊이 지도 획득 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160167525A KR101891201B1 (ko) 2016-12-09 2016-12-09 전방향 카메라의 깊이 지도 획득 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180066551A KR20180066551A (ko) 2018-06-19
KR101891201B1 true KR101891201B1 (ko) 2018-08-23

Family

ID=62790613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167525A KR101891201B1 (ko) 2016-12-09 2016-12-09 전방향 카메라의 깊이 지도 획득 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101891201B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210085953A (ko) 2019-12-31 2021-07-08 인천대학교 산학협력단 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
CN110349251B (zh) * 2019-06-28 2020-06-16 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN111292420B (zh) * 2020-02-28 2023-04-28 北京百度网讯科技有限公司 用于构建地图的方法和装置
KR102308347B1 (ko) * 2020-03-19 2021-10-05 한양대학교 산학협력단 카메라 동기화 장치 및 그 동기화 처리 방법
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
NL2025452B1 (en) * 2020-04-29 2021-11-09 Navinfo Europe B V System and method for 3D positioning a landmark in images from the real world
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020398A (ja) * 2002-06-18 2004-01-22 Nippon Telegr & Teleph Corp <Ntt> 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020398A (ja) * 2002-06-18 2004-01-22 Nippon Telegr & Teleph Corp <Ntt> 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210085953A (ko) 2019-12-31 2021-07-08 인천대학교 산학협력단 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법

Also Published As

Publication number Publication date
KR20180066551A (ko) 2018-06-19

Similar Documents

Publication Publication Date Title
KR101891201B1 (ko) 전방향 카메라의 깊이 지도 획득 방법 및 장치
JP6768156B2 (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN110335343B (zh) 基于rgbd单视角图像人体三维重建方法及装置
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
Kawai et al. Diminished reality based on image inpainting considering background geometry
Bodor et al. View-independent human motion classification using image-based reconstruction
JP2023175052A (ja) ３次元空間内の姿勢推定
CN107843251B (zh) 移动机器人的位姿估计方法
JP6985897B2 (ja) 情報処理装置およびその制御方法、プログラム
CN107809610B (zh) 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
CN109785373B (zh) 一种基于散斑的六自由度位姿估计系统及方法
US20220148207A1 (en) Processing of depth maps for images
KR101745493B1 (ko) 깊이 지도 생성 장치 및 방법
GB2567245A (en) Methods and apparatuses for depth rectification processing
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
KR101852085B1 (ko) 깊이 정보 획득 장치 및 깊이 정보 획득 방법
CN111193918B (zh) 影像处理系统及影像处理方法
CN113724335A (zh) 一种基于单目相机的三维目标定位方法及系统
WO2023098737A1 (zh) 三维重建方法、电子设备和计算机可读存储介质
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
Streckel et al. Lens model selection for visual tracking
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법
Wang et al. Occlusion handling in augmented reality using background-foreground segmentation and projective geometry
US11069121B2 (en) Methods, devices and computer program products for creating textured 3D images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right