KR20210047969A - 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐 - Google Patents

복수의 기기를 이용한 다차원의 환경 데이터 캡쳐 Download PDF

Info

Publication number
KR20210047969A
KR20210047969A KR1020217012009A KR20217012009A KR20210047969A KR 20210047969 A KR20210047969 A KR 20210047969A KR 1020217012009 A KR1020217012009 A KR 1020217012009A KR 20217012009 A KR20217012009 A KR 20217012009A KR 20210047969 A KR20210047969 A KR 20210047969A
Authority
KR
South Korea
Prior art keywords
data
time
indexed
frames
depth
Prior art date
Application number
KR1020217012009A
Other languages
English (en)
Other versions
KR102377634B1 (ko
Inventor
마셜 리드 밀레
Original Assignee
에이매스, 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이매스, 아이엔씨. filed Critical 에이매스, 아이엔씨.
Priority to KR1020227009055A priority Critical patent/KR102515213B1/ko
Publication of KR20210047969A publication Critical patent/KR20210047969A/ko
Application granted granted Critical
Publication of KR102377634B1 publication Critical patent/KR102377634B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients

Abstract

본원의 서술되는 장치, 시스템, 및 방법의 실시예는 객체 및/또는 환경의 데이터 캡쳐와 연관된다. 일실시예에서, 사용자는 깊이 정보 및 위치 및 배향 데이터와 함께 장소의 타임 인덱스된 컬러 이미지를 캡쳐할 수 있는 적어도 하나의 휴대용 데이터 캡쳐 기기를 이용하여 타임 인덱스된 3차원(3D) 깊이 데이터를 캡쳐할 수 있다. 또한, 상기 데이터 캡쳐 기기는 상기 데이터 캡쳐 기기 주위의 환경에서 구형 시점을 캡쳐하도록 구성될 수 있다.

Description

복수의 기기를 이용한 다차원의 환경 데이터 캡쳐{MULTI-DIMENSIONAL DATA CAPTURE OF AN ENVIRONMENT USING PLURAL DEVICES}
본원은 환경 또는 객체의 데이터 캡쳐 분야에 일반적으로 연관되고, 보다 특정하게는 3차원(3D) 깊이 비디오와 연관된다.
객체 또는 환경의 데이터 캡쳐는 많은 상황에서 이용되고, 상기 객체 및/또는 환경의 이미지를 만들기 위해 프로세서가 상기 캡쳐된 데이터를 조작하거나, 실행하거나, 이용할 수 있게 할 수 있다. 예를 들어, 추후의 편집 및 디스플레이를 위해 카메라는 정지된 2차원(2D)의 장면(scene) 이미지를 캡쳐할 수 있고, 비디오 카메라는 비디오 데이터 (즉, 시간 경과에 따르는 2D 데이터)를 캡쳐할 수 있다. 또한, 객체 주변에 초점이 맞춰진 다중 시점의 스테레오 2D 이미지는 상기 객체의 3D 이미지를 시뮬레이션 하기 위해 이용될 수 있다. 보통 지형 또는 빌딩의 맵핑을 위해 이용되는 LiDAR(Light Detection and Ranging) (또한 LADAR(Laser Detection and Ranging)로도 알려진) 센서의 이용을 포함한 3D 이미지를 시뮬레이션 하기 위해 이용되는 것은 데이터 캡쳐의 다른 예시일 수 있다. LiDAR은 광원으로부터의 빛을, 상기 빛을 수신기로 되반사하는 표면으로 보낸다. LiDAR 시스템은 그 후 (비행 시간(TOF) 데이터로 알려져 있는) 상기 빛의 왕복 시간에 기반하여 광원으로부터 표면(surface)까지의 거리를 계산할 것이다. 이런 방식으로, 환경 내 객체의 거리 또는 깊이에 관련된 데이터는 LiDAR 시스템을 이용하여 캡쳐될 것이다. LiDAR 시스템은, 시스템의 빔을 환경을 가로 지르게 패닝(fanning) 또는 펄싱(pulsing)하고, 각각의 객체에서 LiDAR 시스템의 수신기로 되반사되는 빛의 비행 시간을 측정함으로써 수천 개의 데이터 포인트(data points)를 수집한다. LiDAR은 오직 빛을 수신기로 되반사시키는 객체의 깊이만 결정할 수 있고, 칼라와 관련된 이미지 데이터는 탐지할 수 없다. LiDAR 및 다른 타입의 TOF 카메라는 본서에서 "깊이 카메라"로 참조되는 카메라 분류이다. 깊이 카메라의 다른 예시는 깊이 정보를 결정할 수 있는 스테레오 카메라, 구조화된 광 스캐너, 또는 EM(electromagnetic) 방사선를 방출하고 상기 방사선이 되반사되는 비행 시간을 캡쳐하는 다른 기기 같은 임의의 기기를 포함한다.
이미지 데이터를 캡쳐하는 현재의 기술은 제한과 단점이 있다. 예를 들어 필름, 디지털 사진, 및 파나로마 2D 사진(즉, 원통형 또는 정육면체형의 인터액티브 파노라마)을 포함하는 현재의 2D 다큐멘테이션(documentation) 미디어의 현재 수단은, 사용자 또는 관찰자가 접근할 때 전체적인 리얼 라이프 체험 또는 이벤트의 전달에 제한이 있다. 2D 이미지는 훌륭한 해상도 및 칼라를 가지지만 이미지와 연관되는 깊이 정보는 없다.
시뮬레이션된 3D 이미지는 다양한 방법으로 만들어질 수 있다. 전형적으로 이미지는 두 개의 공간적으로 분리된 렌즈를 이용하여 기록되어, 개인에게 제공되는 이미지 및 미세하게 다른 각도로부터 장면을 기록해서 정보는, 다른 편광 또는 칼라 필터를 이용한 안경을 이용하는 것처럼 각각의 눈에 다르게 제시된다. 2D 이미지를 이용한 것처럼, 칼라와 해상도는 훌륭할 수 있고, 이런 스테레오스코픽 이미지의 3D 효과는 뛰어날 수 있지만, 이런 시스템은 장면으로부터 깊이 정보를 수집하는 능력이 여전히 부족하다.
깊이 카메라에 의해 캡쳐되는 정보는 3D를 시뮬레이션하고 깊이 정보를 포함하는 이미지를 제공하기 위해 2D 카메라의 이미지 데이터와 결합(combine)될 수 있다. 예를 들어, 깊이 데이터를 가진 3D 이미지를 시뮬레이션 하기 위해 LiDAR 이미지는 오버래핑된 2D로부터의 데이터와 함께 결합될 수 있는데, 즉 상기 이미지 데이터는 이미지 내에 객체의 거리 정보를 포함하고 이미지 내에 객체의 사이즈 및 상대적 공간을 계산할 수 있는 능력을 가진다.
스테레오스코픽 카메라이든 2D 카메라와 결합되는 깊이 카메라이든 현재의 3D 이미징 시스템은, 단일 상태 모멘트를 나타내는 데이터를 수집하기 위해 주어진 시간에 단일 시점(single point of view; single POV)을 기록하는 단일 카메라를 이용한다. 단일 카메라를 이용하는 것은 수집된 3D 데이터에서 차이를 불러올 수 있다. 예를 들어, 단일 투시(perspective)로부터의 나무를 가지는 장면을 캡쳐하는 단일 카메라는 상기 나무 뒤에 있는 것을 캡쳐할 수 없다. 단일 카메라를 이용하여 장면을 캡쳐할 때 데이터 갭을 줄이는 현재의 방법은 단일 카메라의 관점을 기록하는 긴 프로세스, 및 상기 카메라를 여러 차례 재위치 시키는 것을 요구한다. 단일 카메라를 이용한 재위치와 캡쳐하는 시기를 통해 일단 장면이 캡쳐되면, 다중의 스캔을 등록하고 캡쳐된 데이터를 조직하기 위해 많은 이차 후처리가 필요하다. (예를 들어 이용되는 알고리즘 및 많은 양의 데이터 때문에) 많은 시간을 요구하는 것 외에도, 이런 후처리는 사용자의 많은 노력과 기술적인 지식이 일반적으로 요구된다.
이런 3D 카메라를 이용하여 캡쳐되는 데이터를 조직하기 위해 요구되는 많은 후처리 이외에, 상기 데이터를 렌더링하기 위해, 디지털 모델, 벡터화, 및/또는 이미지 모델 형성을 통한 디지털 그래픽 삽입을 포함하는 추가의 후처리가 필요할 수 있다.
깊이 카메라기 이동하는 환경을 나타내기 위해 데이터 클라우드를 형성하는 것은 카메라의 이동을 추적하는 원격 수단과 통신하거나 위치 및 카메라의 이동을 추적하는 수단을 카메라가 갖도록 요구한다. 로봇이 환경에서 똑바로 나아가기 위해서 환경이 반드시 맵핑되어야 하는 이동 로봇에게 이는 일반적인 문제이다. 유사하게, 이머시브(immersive) 환경을 만들기 위해 데이터가 이용되는 곳에서, 카메라는 위치를 추적해야만 하고 정보를 이미지 데이터에 태그해야 한다. 이 기술은 일반적으로 SLAM(simultaneous localization and mapping)으로 알려져 있다.
본원의 제한적이지 않고 망라하지 않은(non-exhaustive) 실시예들이 다음의 도면을 참조하여 서술되고, 별도로 명시되지 않는 한 다양한 측면 모두에서 동일한 참조부호는 동일한 부재를 나타낸다. 다음의 도면들은 축척에 맞춰 그려지지 않을 수 있음이 이해되어야 한다.
도 1은 일실시예에 따른 시스템 및 장면의 블록도이다.
도 2는 일실시예에 따른 데이터 캡쳐 기기의 투시도이다.
도 3은 일실시예에 따른 복수의 깊이 카메라를 가지는 플랫폼의 평면도이다.
도 4a-4e는 일실시예에 따라 LiDAR를 이용하는 깊이 카메라의 명시적인 다이어그램을 도시한다.
도 5는 일실시예에 따른 깊이 카메라 및 이미지 카메라 조합의 명시적인 다이어그램이다.
도 6는 일실시예에 따른 시스템 다이어그램이다.
도 7는 일실시예에 따라 환경 및 환경 내의 객체의 깊이 및 이미지 데이터를 수집하는 방법의 흐름도이다.
도 8는 일실시예에 따른 명시적인 형태의 컴퓨터 시스템에서의 기계의 블록도이다.
특정 항목 및 구현의 기술이 도면의 상세한 설명을 포함하여 이어지고, 이는 본서에 제시된 발명적인 개념의 실현 또는 다른 가능성 있는 실시예를 논의하는 것뿐만 아니라 아래 서술되는 일부 또는 모든 실시예들을 기술하는 것일 수 있다. 본원의 실시예들의 개관이 아래 제시되고, 도면을 참조하여 상세한 설명이 이어진다.
객체 및/또는 환경의 데이터 캡쳐에 연관되는 방법 및 시스템, 장치의 실시예가 본서에 기술된다. 일실시예에서, 사용자는 실제 3D 깊이 비디오 데이터를 쉽고, 빠르고, 시스템에 대한 최소한의 기술적 지식을 가지고 캡쳐할 수 있고, 여기서 3D 깊이 비디오 데이터는 타임-인덱스된 3D 깊이 데이터, 도는 4차원(4D)의 타임-인덱스된 공간 데이터로 이해된다. 3D 깊이 비디오 데이터를 캡쳐하는 것은 이머시브(immersive)하고 다이내믹한 3D 디지털 환경을 가능하게 하고, 여기서 사용자는 마치 시간이 변한 것 같이 3D 환경을 탐험할 수 있다. 3D 깊이 비디오 데이터를 캡쳐할 수 있는 데이터 캡쳐 장치(data capture devices)는 또한 3D 깊이 비디오 카메라로 참조될 수 있다.
3D 깊이 비디오 데이터의 캡쳐 및 시각화는 시간을 거스르는 가상 시간 여행, 가상 현실, 또는 증강 현실의 개념을 가능하게 해서 사용자는 캡쳐된 이벤트, 환경, 또는 (원격 회의 또는 다른 실시한 활동 등) 다른 실시간 경험 또는 저장된 데이터를 통해 경험하거나 행동할 수 있다. 일실시예에 따라, 환경을 캡쳐하기 위해 이용되는 3D 깊이 비디오 카메라 시스템은, 후처리 모델링 및/또는 렌더링을 요구하지 않고 디스플레이 가능한 로우(raw) 파일을 만든다. 사용자는 다음의 국한되지 않는, 레크레이션을 또는 분석을 목적으로 이벤트를 캡쳐할 수 있다: 스포츠 이벤트, 음악 콘서트, 회의, 파티, 교육적인 실증, 역사적인 이벤트, 고고학적 또는 문화적 전통 장소, 하이킹 추적, 기계적 또는 물리적 고장, 감시 중인 장소, 또는 다른 임의의 환경 또는 이벤트. 예를 들어, 사용자가 동시에 한 방의 다른 장소에서 여러 프리젠테이션이 일어나고 있는 회의를 캡쳐한다면, 상기 회의는 디지털하게 디스플레이될 수 있고, 사용자는 3D 환경의 일부에서 하나의 프리젠테이션을 경험할 수 있고, 다른 프리젠테이션을 경험하기 위해 방의 다른 측으로 가상 이동함으로써 3D 환경을 자유롭게 탐험할 수 있다. 두 번째 예시는 음악 공연이 될 수 있고, 여기서 사용자는 캡쳐된 장면의 범위 내에서 관객의 위치, 무대에 있는 듯한 위치, 또는 적어도 한 명 이상의 뮤지션의 시점(point of view)으부터 이벤트를 경험할 수 있다.
상기 실시예들의 완전환 이해를 제공하기 위해 다음의 상세하고 풍부한 설명이 개시된다. 그러나 당업자라면 본서에 서술된 기술들은 적어도 하나의 특정 세부사항, 또는 다른 방법, 구성요소, 물질 등이 없이도 시도될 수 있음을 인지할 것이다. 확실한 측면을 불명료하게 하는 것을 피하기 위해서, 잘 알려진 구조, 물질, 또는 동작은 상세한 설명의 다른 예에서 보여지지 않는다.
상세한 설명 전체에서 일실시예 또는 실시예는 적어도 하나의 일실시예에 포함되는 실시예와 연결되어 기술되는 특징, 구조 또는 특정 특성을 의미한다. 따라서, 상세한 설명의 다양한 지점에서 "일실시예에서" 또는 "실시예에서"라는 문구의 등장은 모두 동일한 실시예를 참조할 필요는 없다. 게다가, 특정 특성, 구조, 또는 특징은 적어도 하나 이상의 실시예들에서 임의의 방법으로 조합될 수 있다.
도 1은 일실시예에 따라 캡쳐되고 있는 장면 및 시스템의 블록도이다. 도 1에 도시된 바와 같이 시스템(100)은, 미리 정해진 배열 없이 위치되고 데이터를 캡쳐하는 동안 이동할 수 있는 능력이 있는 복수의 휴대용 데이터 캡쳐 장치(102a-102n)를 포함한다. 다른 실시예들은 단일의 휴대용 데이터 캡쳐 기기를 포함할 수 있다. 적어도 하나의 상기 복수의 데이터 캡쳐 기기(102a-102n)는 3D 모션(3D motion)을 캡쳐할 수 있다. 3D 깊이 비디오 데이터를 캡쳐하는 것은 일련의 3D 측정들(3D measurements), 환경의 이미지들 및 환경 내의 객체들을 빠르게 캡쳐하는 것을 포함한다. 예를 들어, 도시된 실시예에서, 복수의 휴대용 데이터 캡쳐 장치(102a-102n)는 t=1, t=2, ... 및 t=n 의 시간에서 3D 환경 장면(104)을 위한 일련의 3D 깊이 데이터 및 칼라 이미지 데이터 프레임들(a series of 3D depth data and color image data frames)을 캡쳐한다.
장면(104)은 정지 중 및/또는 이동중인 객체를 가지는 환경을 포함할 수 있다. 예를 들어, 장면(106a-106n)은 이동 중인 사람을 포함한다. 3D 데이터를 캡쳐할 수 있는 현재의 기술은 오직 장면이 시간이 정지된 순간에 존재하는 것처럼 캡쳐할 수 있다. 예를 들어, 사용자가 현재의 기술을 이용하여 장면(106a-106n)을 캡쳐하려고 시도한다면, 오직 장면의 정적인 요소들만이 캡쳐될 수 있을 것이고 그 순간 움직이며 존재하던 객체는 데이터에서 에러, 부작용, "고스트" 이미지, 및/또는 불완전한 "실버" 데이터로 나타날 것이다. 시스템(100)은 장면(106a-106n)을 3D 깊이 비디오 데이터로 캡쳐할 수 있고, 이 3D 깊이 비디오 데이터는, 3D 프레임(3D frame)으로 수집된 일련의 타임 인덱스된 데이터(a series of time-indexed data)를 포함한다. 이렇게 수집된 3D 깊이 비디오 데이터의 디지털 시각화는 시간에 따른 이머시브 3D 경험을 가능하게 하고, 사용자는 마치 시간을 거스른 것처럼 3D 환경을 탐험하고 경험할 수 있다.
일실시예에 따라, 상기 복수의 데이터 캡쳐 기기(102a-102n)는 데이터 갭 없이 또는 최소량의 데이터 갭으로 타임-인덱스된 3D 프레임(3D frame)의 정확한 캡쳐를 가능하게 한다. 3D 모션은 복수의 데이터 캡쳐 기기(102a-102n)의 일부로 예상되는 데이터 갭 없이 캡쳐될 수 있고, 이는 장면(104)를 둘러싸기 위해 위치될 수 있고 복수의 투시(perspective)로부터 3D 데이터를 동시에 캡쳐할 수 있다. 아래에 더 상세히 기술된 바와 같이, 상기 복수의 데이터 캡쳐 기기(102a-102n)는 장면(104)의 3D 모션 및 상응하는 칼라를 캡쳐하기에 충분히 빠르게 실제의 3D 공간 데이터 및 칼라 이미지를 일괄적으로 캡쳐할 수 있다.
일실시예에서, 상기 복수의 데이터 캡쳐 기기(data capture devices)(102a-102n)는 지리공간적 감지 능력이 있고, 이는 (예를 들어, 실시간 3D 포인트 클라우드 생성(real-time 3D point cloud generation) 등의) 개선된 실시간 데이터 프로세싱을 가능하게 한다. 지리공간적 데이터(geospatial data)는 상기 데이터 캡쳐 장치의 배향, 위치, 및/또는 장소와 연관되는 데이터이다. 일실시예의 상기 복수의 데이터 캡쳐 기기(102a-102n)는 서로 간 및/또는 외부 컴퓨팅 기기(110)와의 통신이 가능하고, 또한 개선된 실시간 데이터 프로세싱도 가능하다. 일실시예에서, 상기 복수의 데이터 캡쳐 기기의, 데이터를 캡쳐하는 동안 통신할 수 있는 능력은 실시간 데이터 식별 및 압축을 수월하게 하고, 따라서 더 효율적이고 공동의 데이터 캡쳐가 가능하다.
주어진 시간에서 3D 데이터를 캡쳐하기 위해서, 상기 복수의 데이터 캡쳐 디바이스(102a-102n)는 깊이 감지를 가능하게 하는 임의의 3D 캡쳐 기술을 이용할 수 있다. 예를 들어, 상기 복수의 데이터 캡쳐 기기는 LiDAR/LADAR, 구조화되는 빛, 플래쉬 LiDAR, 다중 시점 스테레오 디지털 상(imagery), 파노라믹 다중 스테레오 디지털 상(imagery), 사진 계측, 또는 깊이 및 해상도에 대한 다양한 분야의 3D 데이터 캡쳐 수단 중 적어도 하나 이상을 구현할 수 있다. 사용자는 휴대용의 또는 고정된 배열의 복수의 데이터 캡쳐 기기(102a-102n)를 동작시킬 수 있다. 예를 들어, 사용자는 삼각대 등을 이용하여 캡쳐 디바이스를 (벽, 천장, 나무, 또는 기기가 붙을 수 있는 다른 임의의) 표면에 임시적으로 또는 영구적으로 붙여서 데이터 복수의 캡쳐 기기(102a-102n)를 정지되게 배열할 수 있다. 일실시예에서, 상기 복수의 데이터 캡쳐 기기(102a-102n)는 휴대용일 수 있다. 예를 들어, 이용자는 기기가 데이터를 캡쳐하는 동안 복수의 데이터 캡쳐 기기(102a-102n)를 이동시킴으로써 데이터를 캡쳐할 수 있다. 데이터의 이동식 캡쳐는 사용자가 흥미로운 장면을 캡쳐하기 위해 데이터 캡쳐 기기와 함께 이동할 수 있는 적응성을 가능하게 한다.
적어도 하나의 복수의 데이터 캡쳐 기기(102a-102n)는 (전자식 회전 헬리콥터 또는 다른 이동수단 등의) 자율 이동 엔티티 또는 (수동 또는 원격 제어 이동수단, 자동차, 비디오 인형, 또는 다른 사용자-제어 엔티티 등의) 사용자-제어 이동 엔티티에 부착될 수 있다. 일실시예에서, 시스템은 수집된 데이터에 따라 상기 자율 엔티티의 이동을 제어하는 피드백 메커니즘을 포함하고, 상기 데이터 캡쳐 기기가 자동으로 데이터 갭을 채우고, 및/또는 장애물을 피하게 한다. 다른 실시예에서, 사용자는 정적 구성 및 동적 구성의 조합을 이용하여 복수의 데이터 캡쳐 기기(102a-102n)를 작동시킬 수 있다. 예를 들어, 사용자는 하나 이상의 데이터 캡쳐 기기를 정적으로 배열할 수 있고, 및 상기 데이터가 캡쳐되는 동안 하나 이상의 캡쳐 기기와 함께 장면 주위를 이동할 수 있다.
일실시예에 따라, 데이터 캡쳐 기기는 상기 기기를 데미지로부터 보호하기 위해 데이터 캡쳐 기기의 일부 또는 전부에 보호 커버 또는 다른 패딩(padding)을 포함할 수 있다. 예를 들어, 상기 데이터 캡쳐 기기의 외관은 고무, 플라스틱, 또는 폼과 같은 데미지에 저항성이 있는 패딩을 포함할 수 있고, 이는 상기 데이터 캡쳐 기기의 동적 이용을 위한 내구성을 증가시킨다.
일실시예에서, 복수의 데이터 캡쳐 기기(102a-102n) 각각은 모션을 캡쳐하기에 적합한 프레임 속도로 3D 프레임을 수집할 수 있다. 예를 들어, 일실시예에서 복수의 데이터 캡쳐 기기(102a-102n) 각각은 초당 24개 이상의 3D 프레임을 캡쳐한다. 그러나, 다른 실시예들은 초당 24개 이하의 3D 프레임을 캡쳐하는 데이터 캡쳐 기기를 포함할 수 있다. 3D 환경에서의 변화(changes)를 캡쳐하기 위해 요구되는 초당 프레임의 개수는 구체적인 환경에 의존한다. 예를 들어, 모션(motion) 또는 변화(change)가 거의 일어나지 않는 환경에서는, 이러한 환경에서의 모션을 캡쳐하기 위해서는 분당 적은 프레임으로 충분할 수 있다. 빈번하고 빠른 변화를 가지는 다른 환경(예를 들어, 움직이는 사람이나 물체(persons or objects in motion))에서는, 실제 렌더링 및 장면 재구성을 가능하게 하기 위한 충분한 3D 깊이 비디오 데이터를 캡쳐하기 위해 초당 또는 분당 더 많은 프레임이 요구될 수 있다.
일실시예에서, 분당 또는 초당 충분한 개수의 프레임을 캡쳐하기 위해서, 3D 깊이 비디오 캡쳐 기기는 복수의 3D 데이터 캡쳐 모듈(3D data capturing module)을 포함할 수 있다. 일실시예에서, 데이터 캡쳐 기기는 초당 충분한 개수의 3D 프레임을 캡쳐하기 위해 펄스 스타일의 TOF 또는 플래쉬 LiDAR을 포함할 수 있다. 일실시예에서, 적어도 하나의 플래쉬 LiDAR 모듈은 광 에미터의 배열을 포함할 수 있고, 이는 타겟 표면에서 반사되고 상응하는 수신기의 배열로 돌아오게 하기 위해 동시에 빛을 방출하게 한다. LiDAR을 이용하는 다른 실시예에서, 상기 데이터 캡쳐 기기는 고속의 동기화 되는 세션에서 데이터를 캡쳐할 수 있도록 복수의 모듈을 포함할 수 있다. 예를 들어, 서로 이웃해 배열되어 오버래핑된 시점을 가지는 모듈은 3D 장면의 오버래핑된 모션 캡쳐를 만들기 위해 간섭하지 않은 빛으로 발산을 대체할 수 있다. 다른 실시예에서, 디지털 카메라로부터 다중의 스테레오 시점은, 추가되는 LiDAR 또는 구조화된 빛의 데이터를 이용함으로써 3D 측정 데이터를 계산하기 위해 이용된다.
도 2는 본원의 일시시예에 따라 복수의 깊이 카메라(202a - 202n)를 포함하는 (예컨대, 도 1의 복수의 데이터 캡쳐 장치 등의) 데이터 캡쳐 기기(200)의 투시도를 도시한다. 도시된 바와 같이, 데이터 캡쳐 기기(200)는 실질적인 구형일 수 있지만, 다른 실시예들은 실제 3D 비디오 데이터를 수집할 수 있는 다른 대칭 및 비대칭의 형태를 포함할 수 있다. 기기(200)는 복수의 깊이 카메라(202a-202n)를 지지하는 기기(200)의 중앙을 통과하여 배치되는 수평의 플랫폼(201)을 포함한다. 비록 도 2는 세 개의 깊이 카메라를 도시하지만, 데이터 캡쳐 기기(200)는 (예를 들어 1, 4, 36, 120 개 등의) 임의 개수의 깊이 카메라를 포함할 수 있다. 일실시예에 따라, 많은 개수의 깊이 카메라는 변화되거나 모듈화되는 데이터 캡쳐 속도를 가능하게 하고, 이는 분당 또는 초당 더 많은 3D 프레임을 수집할 수 있게 한다. 일실시예에서, 깊이 카메라는 동기화된 셔터 방식의(shuttered) ROF로 캡쳐될 수 있다. 예를 들어, 단일 깊이 카메라가 초당 30프레임의 속도로 장면 데이터를 캡쳐한다면, 세 개의 깊이 카메라는 이미지 캡쳐를 시퀀싱함으로써 초당 90프레임의 유효 프레임 속도로 장면을 캡쳐하도록 구성될 수 있다. 즉, 제1 카메라는 t = 0의 시간에 장면을 캡쳐하고, 제2 카메라는 t = 1/90의 시간에서 장면을 캡쳐하고, 및 제3 카메라는 t = 2/90의 시간에서 장면을 캡쳐하는 것 등일 수 있고, 각각의 카메라는 초당 30프레임의 속도로 장면을 캡쳐하고 각각의 다른 카메라로부터 시간 쉬프트가 되고 각각의 카메라의 데이터 세트를 결합함으로써 초당 90프레임의 연속적인 장면 캡쳐가 획득된다.
플랫폼(201)은 축(204) 주위에서 회전할 수 있고, 이는 깊이 카메라(202a-202n)가 3D 데이터의 (4π 스테라디안(steradian)의) 360 도 스퀘어의 구형 입체각의 전부 또는 일부를 캡쳐할 수 있게 한다. 일실시예에서, 데이터 캡쳐 기기(200)는 또한 장면을 포함시키기 위해 연직 상방 및/또는 하방으로 이동 및/또는 피벗될 수 있고, 각각의 데이터 캡쳐 기기의 (경사, 피치, 및/또는 요각 등의) 배향 및 (3D 공간에서 적어도 하나의 자유도를 가지는 등의) 이동을 추적하는 센서를 포함할 수 있다. 아래에 상세히 설명되는 다른 실시예에서 복수의 깊이 카메라(202a-202n) 각각은 (피벗팅 및/또는 회전 등의) 이동을 할 수 있고, 데이터 캡쳐 기기의 이동 없이 장면을 캡쳐할 수 있다. 데이터 캡쳐 기기(200)는 기기(200)를 삼각대 또는 다른 표면에 설치하기 위해 적어도 하나의 메커니즘(206)을 또한 포함할 수 있다.
데이터 캡쳐 기기(200)의 상부(208a) 및 하부(208b)는 환경의 사진을 위한 수단 및 전기 제어 및 데이터 처리의 하우징을 위한 수단을 포함할 수 있다. 일실시예에 따라 각각의 상부 및 하부(208a-208b)에 적어도 하나의 이미지 캡쳐 모듈(미도시)은 최대 180도 스퀘어에 이르는 이미지 캡쳐가 가능하고, 전체 주변 환경의 이미지 캡쳐를 가능하게 한다. 다른 실시예에서, 상부 및 하부(208a-208b)의 하나 또는 두 개의 이미지 캡쳐 모듈은 180도 스퀘어 이상 또는 이하의 캡쳐가 가능하다.
이미지 캡쳐 모듈은 기술 분야에서 알려진 임의의 이미지 캡쳐 수단을 포함할 수 있다. 예를 들어 상부 및 하부(208a-208b)는 복수의 디지털 카메라를 포함할 수 있다. 다른 실시예에서 상부 및 하부(208a-208b)는 파나로믹 렌즈를 가지는 적어도 하나의 디지털 카메라를 포함할 수 있다. 또 다른 실시예에서 상부 및 하부(208a-208b)는 단일 카메라를 이용하여 광역을 캡쳐할 수 있는 피쉬 아이 돔 렌즈를 가지는 적어도 하나의 디지털 카메라 및/또는 적어도 하나의 고선명도(high definition; HD) 비디오 카메라를 가질 수 있다.
데이터 캡쳐 기기(200)는 (0, 1, 2, 36, 128 등의) 임의 개수의 이미지 카메라 및 임의 조합의 카메라 타입을 포함할 수 있다. 데이터 캡쳐 기기가 포함하는 카메라의 개수는 캡쳐되는 환경의 단일 이미지를 만들기 위해 필요한 프로세싱에 영향을 줄 수 있다. 예를 들어, 많은 개수의 분리된 이미지를 생성하는 많은 개수의 카메라는 결합되어야 하는 개별 이미지의 개수 때문에 적은 개수의 카메라보다 더 많은 프로세싱이 초래될 수 있다. 일실시예에서 상부 및 하부(208a-208b)는 정지되어 있다. 다른 실시예에서, 하나 또는 두 개의 상부 및 하부(208a-208b)는 회전할 수 있다.
상부 및 하부(208a-208b)는 적어도 하나의 깊이 카메라, 또는 다른 센서를 포함할 수 있다. 플랫폼(201)의 깊이 카메라의 구성 또는 존재에 의존하여, 적어도 하나의 깊이 카메라는 적어도 하나의 다른 깊이 카메라가 고장난 경우, 또는 일반적인 이미지 정렬의 경우에 여분의 카메라를 제시할 수 있다. 상부 및 하부(208a-208b) 또는 데이터 캡쳐 기기(200)의 임의의 다른 부분은 예를 들어 냄새를 결정짓기 위해 공기의 냄새를 맡는 센서, 습도 센서, 온도 센서, 바람 센서, 또는 임의 개수의 환경을 캡쳐하는 센서 등을 포함할 수 있다. 일실시예에 따라, 데이터 캡쳐 기기(200)는 적어도 하나의 스펙트럼 입력 스캐너를 포함할 수 있고, 이는 캡쳐되고 있는 장면 또는 객체의 화학적 스펙트럼 분석에 대한 정보를 제공할 수 있다.
도 3은 일실시예에 따라 복수의 깊이 카메라(302a - 302n)를 지지하는 플랫폼(300)의 평면도를 도시한다. 도시된 바와 같이 플랫폼(300)은 디스크 형태이고 중앙축(301) 주위로 회전하지만, 데이터 캡쳐 기기는 다른 형태, 또는 3D 프레임의 빠른 캡쳐를 또한 가능하게 하는 완전히 다른 구성을 갖은 플랫폼을 포함할 수 있다. 예를 들어, 다른 실시예는 (수직이거나 수직이 아닌 회전 등) 다양한 배향의 적어도 하나의 회전하는 플랫폼, 또는 정지 플랫폼을 포함할 수 있다. 일실시예는 중앙 회전 플랫폼을 포함할 수 있고, 상기 플랫폼은 중앙축에 대해 대칭이고, 이는 기기가 수평의 위치에 있을 때 회전하는 동안 균형을 개선시켜주는 이점이 있다.
데이터 캡쳐 기기는 3D 데이터를 캡쳐하는 동안 임의 타입의 깊이 카메라 또는 그 구성을 포함할 수 있다. 깊이 카메라로서 LiDAR이 이용되는 경우, LiDAR 모듈(302a-302n)은 데이터 캡쳐 기기에 비해 상대적으로 다양한 각도에서 레이저 빔을 발산하도록 구성될 수 있다. 비록 네 개의 깊이 카메라가 도시되었지만, (LiDAR 모듈 같은) 임의 개수의 깊이 카메라가 포함될 수 있다. 도 3에 도시된 바와 같이, 각각의 깊이 카메라(302a-302n)는 레이저 빔(305a-305n)를 발산하는 레이저(306a-306n), 및 발산된 빛을 원하는 방향으로 반사시키는 거울(303a-303n)을 포함한다. 깊이 카메라(302a-302n)는 원하는 각도에서 빛을 빠르게 발산하는 회전 거울, 또는 이용될 수 있는 다른 거울 구성을 포함할 수 있다. 각각의 깊이 카메라(302a-302n)는 빛 탐지기(308a-308n)를 포함하고, 이는 (레이저 빔과 등의) 표면으로부터 데이터 캡쳐 기기로 반사되어 돌아 들어온 빛(304a-304n)을 탐지한다.
깊이 카메라(302a-302n)는 데이터 캡쳐 기기의 표면을 평평하게 할 수 있고, 또는 오목하게, 또는 기기의 표면으로부터 바깥으로 확장되게 할 수 있다. 깊이 카메라(302a-302n)는 플랫폼(300)에 대해 정지될 수 있거나, 플랫폼(300)에 대해 회전 또는 다른 이동의 수단을 포함할 수 있다. 예를 들어, 도 4는 회전 및/또는 피벗팅 어셈블리에 설치되는 적어도 하나의 구성요소를 포함한 LiDAR 모듈을 도시한다.
도 4a-4e는 일실시예에 따라 명시적인 LiDAR 모듈(400)을 도시한다. LiDAR 모듈(400)은 광 에미터(403), 거울(402), 및 광학 수신기(406)를 포함한다. 도시된 바와 같이, 일실시예에서 적어도 하나의 거울(402)은 이축 클레비스 고정장치(401)에 설치되고, 이는 적어도 하나의 거울(402)이 피벗 및/또는 회전할 수 있게 한다. 일실시예에서, LiDAR 모듈은 적어도 하나의 거울(402)이 피벗하거나 이동하는 포인트 주위에서 축을 가진 부채꼴 배열을 만든다. 데이터 캡쳐 기기(200)가 레이저 팬처럼 구성되는 복수의 LiDAR를 포함한다면, 모듈 각각은 다른 모듈에 의해 발산되는 빛과 간섭하지 않는 빛을 발산하도록 위치될 수 있다. 예를 들어, 도 3의 LiDAR 모듈(302a-302n) 각각이 도 4에 도시된 바와 같이 레이저 팬처럼 구성된다면, LiDAR 모듈(302a-302n) 각각은 바깥 및 데이터 캡쳐 기기의 접선을 따라 레이저 빔의 팬(fan)을 발산할 것이다. 다른 실시예는 캡쳐 기기의 비-접선 및 바깥으로의 레이저 빔의 팬을 포함한다. 상기 클레비스 고정장치 같은 메커니즘은 도 3과 같이 회전 플랫폼과 결합되어 이용될 수 있거나 회전 플랫폼에 독립적으로 이용될 수 있다. 회전 플랫폼이 없는 일실시예에서, 데이터 캡쳐 기기는 이웃한 LiDAR 모듈(404)의 수신기 또는 신호에 간섭 받지 않는 방법으로 스위핑하는 빛의 팬 또는 펄스를 생산할 수 있는 데이터 캡쳐 기기의 표면을 가로질러 배치되는 복수의 LiDAR 모듈(404)을 포함할 수 있다. 일실시예에서, LiDAR 모듈로부터 반사되는 빛은 적어도 하나의 LiDAR 모듈에 의해 탐지되고, 시스템은 LiDAR 모듈로부터 탐지되는 빛을 결정할 수 있고 각각의 모듈로부터의 신호를 필터링하거나 식별할 수 있다.
도 5는 일실시예에 따라 깊이 카메라 및 이미지 카메라의 조합의 명시적인 다이어그램이다. 배열(500)은 3D 데이터를 캡쳐하는 깊이 카메라를 포함한다. 깊이 카메라의 실시예는 광 에미터(503), 거울(504), 및 광학 수신기(506)를 포함한다. 광 에미터(503)는 빛(517)을 발산하고, 이는 거울(504 및 510)로부터 반사된다. 발산된 빛은 환경 또는 객체의 표면에서 반사되고 깊이 카메라 및 이미지 카메라에 들어오고, 거울(510 및 504)로부터 반사되고, 및 광학 수신기(506)에 의해 수신되는 빛(516)으로서 돌아온다. 배열(500)은 또한 칼라 이미지를 캡쳐하는 광학 기기(508) 및 거울(505)을 포함한다. 상기 광학 기기(508)는 예를 들어 디지털 카메라 또는 장면의 칼라를 캡쳐할 수 있는 임의의 다른 수단을 포함할 수 있다. 도시된 바와 같이, 빛(516)은 깊이 카메라 및 이미지 카메라에 들어오고, 거울(510 및 505)로부터 반사되고, 광학 기기(508)에 의해 탐지된다.
배열(500)은 또한 회전하는 듀얼 사이드 거울(510), 및 듀얼 사이드 거울(510)을 회전시키기 위한 모터(512)를 포함한다. 일실시예에 따라, 회전하는 듀얼 사이드 거울은 칼라의 3D 데이터 모두 실질적으로 동시에 캡쳐할 수 있게 한다. 예를 들어, 상기 회전하는 거울(510)이 도시된 위치에 있는 경우 회전하는 거울(510)은 광학 기기(508)를 향해 빛을 반사한다. 회전하는 거울(510)이 (점선으로 표시된) 위치(514)에 있을 때, 상기 회전하는 거울(510)은 광 에미터(503) 및 수신기(506)를 향해 빛을 반사한다. 도시된 바와 같이, 모터(512)는, (예를 들어 디지털 카메라 이미지의 블러링을 초래하지 않는 등) 캡쳐된 데이터의 품질에 있어 실질적인 손실이 초래되지 않게 깊이 데이터 및 2D 칼라 이미지의 캡쳐를 실질적으로 동시에 가능하게 하는 (고정 또는 조정 가능한) 속도로 거울(510)을 회전시킨다.
도 6은 일실시예에 따른 시스템 다이어그램이다. 시스템(600)은 복수의 데이터 캡쳐 기기(602a-602n)를 포함한다. 복수의 데이터 캡쳐 기기(602a-602n) 각각은 적어도 하나의 깊이 카메라(614a-614n)를 포함한다. 일실시예에서, 복수의 데이터 캡쳐 기기(602a-602n)는 또한 오디오 맵핑 모듈(616)을 포함할 수 있고, 이는 3D 데이터 및 이미지 데이터와 함께 동시에 소리를 녹음하는 적어도 하나의 마이크로폰(618a-618n)을 포함한다.
일실시예에서, 복수의 데이터 캡쳐 기기(618a-618n)는 (측지 데이터 등의) 정의된 센터과 함께 구성되고 배향을 향하고 공간지리적인 위치 추적을 갖는다. 측지 데이터는 (공간에서의 위치 등의) 정확한 지리적인 위치 및 배향 데이터와 함께 정의된다. 예를 들어, 시스템(600)은 데이터 캡쳐 기기 각각의 위치 및 (예를 들어, 자유도 6을 가지는) 3D 공간에서의 이동을 모니터할 수 있다. 일실시예에서, 시스템은 데이터 캡쳐 기기의 측지 데이터에 있어서 마이크로미터-스케일, 나노미터-스케일, 또는 더 높은 해상도의 정밀함을 가진 추적을 달성할 수 있다. 복수의 데이터 캡쳐 기기가 이용되는 경우, 시스템(600)은 복수의 데이터 캡쳐 기기(602a-602n) 각각에 대한 위치 및 (선형 이동, 호를 그리는 이동, 및 회전 등의) 이동을 모니터할 수 있다.
일실시예에서, 복수의 데이터 캡쳐 기기(602a-602n) 각각은 측지 센터 및 3D 공간에서의 이동을 추적하기 위한 모션 추적 모듈(604)을 포함한다. 예를 들어, 모듈(604)은 적어도 하나의 가속도계(accelerometer)를 포함할 수 있다. 일실시예는 세 개 또는 다중의 나란한 가속도계를 포함할 수 있다. 복수의 가속도계가 각각의 가속도계로부터 에러를 구성하고 데이터를 조합하거나 평균함으로써 정확도를 개선하기 위해 이용될 수 있다. 3D 공간에서 이동을 추적하는 수단은 임의 타입의 가속도계 또는 측정 기기를 포함할 수 있고, 레이저 링 자이로스코프 가속도계, 고해상도를 가진 마그네틱 센서, 경사계, 및/또는 높은 정확도의 모션 감지를 위한 임의의 다른 메커니즘 중 적어도 하나를 포함할 수 있다. 다른 실시예는 적어도 하나의 가속도계를 대신하거나 그에 추가하여 정밀한 모션 추적을 위한 다른 수단을 이용할 수 있다. 예를 들어, 기기는 SLAM의 이용을 통해 자가 위치조정을 수행하기 위한 이미징 모듈을 이용한다. 다른 실시예에서 데이터 캡쳐 기기는 자계 변동의 추적, 및/또는 기기의 모션의 정확한 추적을 위한 타성 측정 유닛(inertial measurement unit: IMU)을 포함할 수 있다. 복수의 데이터 캡쳐 기기(602a-602n) 중 하나가 이동할 때, 이 기기의 정의된 센터는 모션 센서로부터 수집된 데이터에 따라 기기와 함께 이동한다. 따라서, 데이터 캡쳐 기기는 기록되는 동안 (예를 들어 이용자에 의해) 위치로부터 위치로 이동될 수 있다.
시스템(600)은 데이터 캡쳐 기기(602a-602n)의 센터(또는 다른 미리 선택된 위치)의 이동을 추적하고, 각각의 기기의 모션이 캡쳐된 데이터의 배향 및 위치에 어떻게 영향을 미치는 지를 계산한다. 일실시예에서, 모듈(604)은 또한 진동과 다른 타입의 모션 사이에서 정확하게 구별하는 진동 센서를 포함할 수 있다. 일실시예에서, 기기의 측량 데이터의 정밀한 온보드 추적은 GPS 및/또는 캐리어 위상 추적 모듈(606)과 결합되고, 이는 지리적 좌표 시스템 내에서 위치 데이터를 추적한다. GPS 및/또는 캐리어 위상 추적 모듈(606)로부터의 데이터는 적어도 하나의 가속도계 또는 다른 모션 센서로부터의 데이터를 이용하여 보충될 수 있다. 예를 들어, 적어도 하나의 모션 센서에 의해 추적되었을 때, GPS 및/또는 캐리어 위상 추적 데이터가 로그된 기기의 센터 위치가 틀렸다고 지시한다면, 기기 센터의 위치는 GPS 및/또는 캐리어 위상 추적 데이터에 기반하여 업데이트될 수 있다. 일실시예에 따라, 적어도 하나의 진동 센서, 적어도 하나의 가속도계, 및 적어도 하나의 GPS 및/또는 캐리어 위상 센서를 포함하는 복수의 센서로부터의 데이터는 에러를 줄이고 복수의 데이터 캡쳐 기기(602a-602n) 각각의 모션을 정확하게 추적하기 위해 함께 분석된다.
측량 데이터 및 모션 추적을 가지는 일실시예에서, 복수의 데이터 캡쳐 기기(602a-602n) 각각은 베이스 스테이션에 있는 동안 모션 추적을 시작한다. 베이스 스케이션은 기기 초기화의 수단을 제공할 수 있고, 데이터 캡쳐 기기(602a-602n) 각각 및/또는 컴퓨팅 기기(608)를 충전하기 위한 메커니즘을 포함할 수 있다. 일실시예에서, 베이스 스테이션은 또한 중앙 프로세싱 유닛을 수용하고, 데이터 캡쳐 기기(602a-602n)의 상태 정보 및/또는 데이터 캡쳐 기기(602a-602n)로부터 수신한 데이터의 정보를 디스플레이하는 디스플레이를 포함한다. 일실시예에서, 디스플레이는 터치 스크린이고, 이는 정보를 디스플레이하고 사용자 입력을 수용할 수 있다. 복수의 데이터 캡쳐 기기(602a-602n) 각각이 베이스 스테이션으로부터 동작을 시작했을 때, 각각의 기기는 서로에 대해 다른 기기의 상대적 위치(relative location)를 인지할 수 있다. 베이스 스테이션으로부터의 복수의 데이터 캡쳐 기기(602a-602n)의 임의의 모션은 모듈(604)에 의해 감지(sense)될 수 있고, 및/또는 기록될 수 있다.
다른 실시예에서, 복수의 데이터 캡쳐 기기(602a-602n)는 스스로 지리-등록할 수 있다. 예를 들어, 복수의 데이터 캡쳐 기기(602a-602n)가 (베이스 스테이션이 아닌) 임의의 장소에서 추적을 시작한다면, 복수의 데이터 캡쳐 기기(602a-602n) 각각은 3D 데이터의 수집을 시작할 수 있고, 일단 다른 데이터 캡쳐 기기의 형태를 등록한 후에 서로의 상대적 위치(relative location)를 식별할 수 있다. 다른 실시예는 다른 데이터 캡쳐 기기의 등록된 형태를 각각의 기기로부터 발산되고 수신되는 무선 신호와 통합한다. 일단 복수의 데이터 캡쳐 기기(602a-602n)가 서로에 대한 관계를 식별한다면, 모듈(604)에 의한 모션 추적 때문에 후처리에서 추가의 등록은 필요하지 않다.
데이터 캡쳐 기기가 공간을 통해 이동할 때 데이터 캡쳐 기기의 측량 데이터의 모니터링은 많은 응용을 가능하게 한다. 일실시예에서, 전통적인 측정 기술에 대한 의존 없이, 영역 또는 객체의 차원을 측정할 수 있도록 데이터 캡쳐 기기는 이용될 수 있다. 예를 들어, 사이즈, 구성으로 인해 측정하기 어려운 객체 또는 영역, 중간 삽입 객체가 측정될 수 있다. 사용자는 하나의 포인트에서 데이터 캡쳐 기기를 이용하여 객체 또는 영역의 측정을 시작할 수 있고, 그 후 사용자가 측정하기 원하는 다음 포인트로 기기를 가지고 걸을 수 있다. 예를 들어, 사용자는 공간의 한 벽으로부터 공간의 다른 벽까지 직접적인 또는 간접적인 경로를 따라 걸을 수 있고, 시스템은 데이터 캡쳐 기기를 모니터할 수 있고, 따라서 서로에 대한 벽들의 공간에서의 관계를 이해할 수 있다. 적어도 하나의 데이터 캡쳐 기기가 이런 차원 측정 어플리케이션에서 이용될 수 있다.
다른 실시예에서, 데이터 캡쳐 기기 각각의 측량 데이터의 모니터링은 단순화된 데이터 프로세싱 알고리즘을 가능하게 한다. 시스템은 각각의 아이템의 캡쳐되는 데이터의 위치 및 투시(perspective)로부터 이해할 수 있고, 따라서 등록 또는 사용자 입력 같은 후처리 기술에 의존하지 않고, 별개의 데이터 캡쳐 기기로부터 캡쳐된 데이터를 결합할 수 있다. 시스템은 환경의 단일 칼라 3D 프레임을 생성하기 위해 데이터가 캡쳐될 때 각각의 기기의 측량 센터를 분석함으로써 각각의 데이터 캡쳐 기기로부터의 데이터를 단일 좌표 시스템에 정확히 위치시킬 수 있다. 아래에 더 자세히 기술되듯이, 데이터 캡쳐 기기 각각이 다른 기기 및/또는 중앙 컴퓨터와 통신할 수 있으면, 중앙 컴퓨터 또는 적어도 하나의 데이터 캡쳐 기기는 단일 3D 데이터 세트를 데이터가 캡쳐됨과 동시에, 후처리를 요구하지 않으며 생성할 수 있다.
일실시예에 따라, 데이터 캡쳐 기기 각각에 의해 캡쳐되는 데이터는 모델링 또는 렌더링 같은 실질적으로 추가의 프로세싱 없이 즉각적인 시각화가 가능한 포맷으로 저장된다. 예를 들어 데이터는 데이터 포인트의 지리 공간적 위치, 칼라 값, 및 시간을 지시하는 x, y, z, r, g, b 및 t의 칼럼 포맷(column format)으로 저장된다. 그 후, 칼럼 포맷 데이터는 데이터의 최소한의 조작으로 시각화될 수 있는 포인트 클라우드 프레임(point cloud frames)을 생성하기 위해 공간적으로 조직된다.
다른 실시예에서, 복수의 데이터 캡쳐 기기의 지리 공간적 인지는 가능성 있는 데이터 갭에 대한 실시간 피드백을 가능하게 한다. 가능성 있는 포텐셜 데이터 갭에 대한 피드백은 (예를 들어, 기기를 운반하거나 제어하고, 또는 자동차에 설치됨으로 인해) 복수의 데이터 캡쳐 기기가 이동하는 시나리오에 대해 유용할 수 있다. 만약 사용자가 데이터 캡쳐 기기를 운반하고 있다면, 피드백은 기기상의 디스플레이 및/또는 (예를 들어, 스마트 폰, 태블릿, 또는 다른 외부 컴퓨팅 기기 등의) 다른 컴퓨팅 기기를 통해 제공될 수 있다. 데이터 갭에 대한 피드백은 실시간 렌더링, 또는 다른 시각적, 문서화, 및/또는 (특정 데이터 갭을 수집하는 사용자를 지시하는 이동식 기기의 소리, 진동 등) 다른 지시자에 의해 획득되는 장면의 시각적 표현일 수 있다. 만약 데이터 캡쳐 기기가 자동차에 설치되었다면, 피드백은 데이터 갭을 줄이거나 없애는 장소로 자동차를 유도하도록 제공될 것이다.
일실시예에서, 복수의 데이터 캡쳐 기기(602a-602n) 각각은 서로 및/또는 컴퓨팅 기기(608)와 무선 통신을 가능하게 하는 통신 인터페이스(610)를 포함한다. 복수의 데이터 캡쳐 기기(602a-602n)는 또한 (예를 들어, 기기가 전술된 베이스 스테이션에 위치될 때) 서로 및/또는 컴퓨팅 기기(608)와의 무선 통신 수단을 포함한다. 통신 인터페이스(610)는 예를 들어 (예를 들어 802.11 표준 등의) 와이파이, 블루투스, (예를 들어, 3G, 4G 등 다른 원격 통신 표준을 이용하는) 셀룰러 데이터 서비스, 위성, 또는 전자 기기 간 통신을 위한 다른 수단을 경유하여 통신하는 하드웨어 및/또는 소프트웨어를 포함할 수 있다.
적어도 하나의 데이터 캡쳐 기기는 무선 신호를 통해 통신할 수 있고, 정확한 위치 및/또는 수집된 데이터를 동기화 할 수 있다. 복수의 데이터 캡쳐 기기(602a-602n) 각각의 무선 데이터 신호(610)는 데이터를 서로에게, 컴퓨팅 기기(608)에게, 및/또는 클라우드 저장 위치에 통신 인터페이스를 경유하여 업로드 될 수 있게 한다. 일실시예에 따라, 각각의 위치의 복수의 데이터 캡쳐 기기(602a-602n) 각각에 의한 통신은 복수의 데이터 캡쳐 기기(602a-602n) 각각의 위치 각각을 인지하는 (예를 컴퓨팅 기기(608) 등의) 외부 컴퓨팅 기기를 포함하고 및/또는 다른 기기를 지리공간적으로 인지하는 데이터 캡쳐 기기 시스템을 만들 수 있다. 이런 지리 공간적 인지는 일실시예에 따라 데이터 프로세싱이 간단해지고, 빨라지고, 실시간이고, 사용자 입력을 적게 요구하는 것이 가능하게 한다. 게다가, 만약 데이터 캡쳐 기기가 컴퓨팅 기기(608) 또는 다른 서버와 무선 통신할 수 있다면, 데이터 캡쳐 기기는 데이터 캡쳐 기기의 저장 공간을 개방하고 연속적인 기록을 가능하게 하기 위해 기록 세션 동안 캡쳐되는 데이터를 전송할 수 있다. 기록 세션 동나 무선으로 데이터를 전송하는 능력은 또한 휴대성을 용이하게 하는 작은 형성 인자를 가능하게 한다. 전술된 바와 같이 3D 데이터 캡쳐 수단에 추가하여, 데이터 캡쳐 기기(602a-602n) 각각은 적어도 하나의 이미지 센서(612a-612n)를 포함할 수 있고, 이는 장면의 칼라를 캡쳐한다. 현재의 기술에 대비하여, 시스템(600)은 높은 정확도로 어디에서, 어떤 투시 또는 시점의 프레임의 캡쳐 기기로부터 데이터가 유래했는지 알 수 있고, 캡쳐되는 이미지부터 칼라까지의 칼라 값 또는 스테레오 3D 계산을 최소한의 프로세싱과 함께 3D 데이터 프레임 및/또는 추가되는 3D 데이터에 적용할 수 있다.
일실시예에 따라, 칼라 3D 깊이 데이터를 생성하기 위해 이미지는 3D 데이터와 동시에 캡쳐된다. 다른 실시예에서, 3D 데이터 캡쳐 및 칼라 이미지 캡쳐는 다른 스케줄에서 발생할 수 있다. 예를 들어, 시스템(600)은 초기 3D 및 칼라 이미지 스캔을 완성할 수 있고, 그 후 주어진 상황에서 원하는 장면을 캡쳐하기 위해 칼라 이미지 및/또는 3D 데이터의 획득을 이어갈 수 있다. 일실시예에서, 칼라 이미지는 예를 들어 3D 환경이 정적으로 유지되는 것 때문에 3D 데이터보다 더 빈번하게 캡쳐될 수 있다. 예를 들어, 움직이는 그림자처럼 칼라 데이터가 시간에 따라 변하는 효과를 가지는 빛의 조건에서 벽 또는 표면의 깊이 데이터는 정적으로 유지될 수 있다.
일실시예에서 시스템(600)은 실시간 데이터 식별을 수행하고, 이는 캡쳐되는 데이터의 프로세싱 및 저장을 극적으로 줄일 수 있다. 3D 깊이 비디오 데이터의 캡쳐는 (캡쳐되는 영역의 사이즈, 초당 프레임, 캡쳐 시간의 양에 의존하여) 테라바이트 단위에서 기록되는 상당한 양의 데이터의 만들 수 있다. 현재의 기술은 예를 들어, 압축 알고리즘을 이용하여 데이터가 기록된 후에 저장 조건을 줄일 수 있다. 그러나 후처리 이전에 이런 많은 양의 데이터를 저장하는 것은 비싸고, 시간 소모적이고, 캡쳐 기기의 능력을 제한하고 초과의 물리 저장소를 요구한다.
일실시예에서 복수의 데이터 캡쳐 기기(602a-602n) 각각은 센서로부터 수집되는 데이터가 정적 데이터인지 동적 데이터인지 여부를 결정하는 전자 제어를 포함하는 소프트웨어 및.또는 하드웨어를 포함할 수 있다. 정적 데이터는 프레임에서 프레임으로 변하지 않는 데이터이거나, 문턱 값 이하에서 프레임에서 프레임으로 변하는 데이터이다. 예를 들어, 실질적으로 3D 데이터 프레임과 유사한 3D 데이터 프레임인 (가령, 1.0 cm와 0.002 cm 사이에서 결정되는 해상도를 가지는) 데이터는 정적인 것으로 식별될 수 있다. 프레임에서 프레임으로 변하거나, 문턱 값 이상의 데이터에서 프레임에서 프레임으로 변한다면, 데이터는 동적인 것이다. 일실시예에서, 동적 및 정적 데이터 사이를 구별 짓기 위해서, (데이터 캡쳐 기기의 온보드 및/또는 기기의 외부의) 시스템은 문턱의 반경을 결정한다. 노이즈 반경 밖의 데이터에서 변화가 감지되면, 시스템은 동적 데이터로 식별한다. 다른 실시예에서, 시스템은 정적 및 동적 데이터를 결정하기 위해서 카메라 이미징 또는 모션 탐지를 이용한다. 일단 데이터가 동적 또는 정적인 것으로 식별되면, 후처리를 위한 자원의 요구하지 않은 채, 알고리즘은 뒤따르는 정적 데이터를 선택적으로 폐기하고, 동적 데이터를 실시간으로 저장하기 위해 이용될 수 있다. 실시간 데이터 구별은 데이터 캡쳐 기기의 프로세서 또는 중앙 컴퓨터에 의해 캡쳐된 데이터를 전송하는 데이터 캡쳐 기기로 수행될 수 있다.
복수의 데이터 캡쳐 기기가 이용되는 다른 실시예에서, 데이터의 특정 포인트를 캡쳐하는 적어도 두 개의 카메라에서 오버랩되는 영역을 식별하기 위해서, 시스템은 데이터 분류를 이용할 수 있다. 일실시예에서, 복수의 캡쳐 기기(602a-602n) 각각은 서로 및/또는 컴퓨팅 기기(608)와 통신할 수 있고, 데이터 캡쳐 기기에 의해 기록되고 있는 지리적 위치를 시스템이 실시간으로 인지하게 한다. 일단 시스템이 오버랩되는 영역을 식별하면, (데이터 캡쳐 기기 또는 외부의 컴퓨팅 기기의) 시스템은 하나의 데이터 캡쳐 기기가 데이터를 기록할 수 있게 하고, 잔여 데이터 캡쳐 기기가 다른 카메라에 의해 캡쳐되는 영역의 데이터를 폐기하도록 하게 한다.
복수의 데이터 캡쳐 기기가 이용되는 데이터 분류의 다른 실시예에서, 시스템은 수집된 3D 데이터의 밀도를 식별할 수 있고 "얇은(thin)" 데이터가 일관적인 밀도를 갖게 하고, 또는 수집된 장면 전체에서 주어진 조건에 따라 분류하도록 알고리즘을 수행한다. 예를 들어, 시스템은 (예를 들어, 캡쳐되는 환경의 가장자리의 데이터처럼 데이터의 주된 포커스를 받는 영역이 아닌) 낮은 포커스 영역의 낮은 밀도에서 초래되는 데이터의 밀도, 및 높은 포커스 영역의 높은 밀도를 수정할 수 있다. 캡쳐되는 장면의 영역의 포커스는 다음을 포함하는 임의의 개수의 방법으로 결정될 수 있다: 상기 영역, 상기 영역에서 변화의 속도, 사용자 입력, 이것들의 조합, 또는 영역의 포커스를 결정하는 임의의 다른 방법을 수집하는 적어도 하나의 데이터 캡쳐 기기의 위치에 기반하여 높은 포커스의 영역을 식별하는 것.
적어도 하나의 전술된 데이터 구별 방법은 본서에 기술되는 데이터 캡쳐 시스템에서 구현될 수 있다. 이런 실시간 데이터 구별은 작은 저장공간, 및 실제 3D 깊이 비디오 프레임을 생성하는 빠른 데이터 프로세싱을 가능하게 한다.
도 7은 일실시예에 따라 환경 및 환경의 객체의 깊이 및 이미지 데이터를 수집하는 방법의 흐름도이다.
방법(700)은 적어도 하나의 깊이 카메라를 각각 포함하는 복수의 데이터 캡쳐 기기로부터 타임-인덱스된 깊이 데이터를 수신하는 시스템과 함께 동작(702)을 시작한다. 동작(704)에서, 시스템은 복수의 데이터 캡쳐 기기로부터 위치 및 배향 데이터(orientation data)를 수신한다. 동작(706)에서, 시스템은 어떻게 복수의 데이터 캡쳐 기기가 서로 상대적으로 위치하고 배향하고 있는지 지시하는 상대적 위치 및 배향 데이터(relative location and orientation data)를 수신한다. 동작(708)에서, 시스템은 복수의 데이터 캡쳐 기기로부터의 타임 인덱스된 깊이 데이터(time-indexed depth data)를 좌표 시스템(coordinate system)의 좌표와 연관시킨다. 동작(710)에서, 시스템은 타임 인덱스된 깊이 데이터를 연관된 좌표와 함께 메모리에 저장한다.
도 8은, 일실시예에 따라, 예를 들어 컴퓨팅 기기(608)의 프로세서 등의 명시적인 형태의 컴퓨터 시스템의 기계(800)의 블록도이고, 명령어의 세트 내에서 기계(800)가 본서에 기술되고 실행될 수 있는 적어도 하나의 방법론을 수행하게 한다. 대체적인 실시예에서 기계(800)는 LAN(Local Area Network), 인트라넷, 엑스트라넷, 또는 인터넷에서 다른 기계와 (네트워크 등으로) 연결될 수 있다. 기계는 클라이언트-서버 네트워크 환경의 서버 또는 클라이언트의 능력 내에서 피어-투-피어 (또는 분산) 네트워크 환경의 피어 기계로서, 온-디맨드(on-demand) 방식의 서비스 환경 내에서 하나의 서버 또는 일련의 서버들로서 동작할 수 있다. 기계의 특정 실시예는 PC(personal computer), 태블릿PC, STB(settop box), PDA(Personal Digital Assistant), 핸드폰, 웹 기구, 서버, 네트워크 라우터, 스위치 또는 브릿지, 컴퓨팅 시스템, 또는 이런 기계에 의해 취해질 수 있는 행동을 명시하는 명령어 세트를 수행할 수 있는 임의의 기계의 형태일 수 있다. 더 나아가, 단일 기계만 도시되어 있지만 "기계"라는 용어는 개별적으로 또는 함께 명령어 세트 (또는 세트들)를 실행하여 본서에 기술되는 임의의 하나 이상의 방법론을 수행하는 임의 조합의 (컴퓨터 같은) 기계를 포함할 수 있다.
명시적인 기계(800)는 프로세서(802), (예를 들어 ROM(read-only memory), 플래시 메모리, 동기화된 DRAM(synchronous dynamic random access memory; SDAM) 또는 램버스 DRAM 같은 DRAM(dynamic random access memory), 플래시 메모리, SRAM(dynamic random access memory), 휘발성이지만 빠른 스피드의 RAM 같은 정적 메모리 등의)메인 메모리(804), 및 (하드 디스크 드라이브를 포함하는 영구 저장 기기 등의) 보조 메모리(818)를 포함하고, 이는 버스(830)를 경유하여 서로간에 통신한다. 메인 메모리(804)는 운영 시스템(814)(operating system: OS)을 포함한다. 일실시예에 따라, 메인 메모리(804) 및 OS(824)는 본서에 논의되는 방법론을 수행하기 위해 프로세싱 로직(826) 및 프로세서(802)와 함께 동작한다.
프로세서(802)는 마이크로 프로세서, 중앙 처리 유닛, 그래픽 처리 유닛, 또는 이와 비슷한 것 등의 적어도 하나의 일반적인 목적의 프로세싱 기기를 나타낸다. 프로세서(802)는 주문형 반도체(application specific integrated circuit: ASIC), FPGA(field programmable gate array), DSP(digital signal processor), 그래픽 프로세서, 또는 이와 비슷한 것 같은 적어도 하나의 특정한 목적의 프로세싱 기기일 수 있다. 프로세서(802)는 본서에 논의된 동작 및 기능을 수행하는 프로세싱 로직(826)을 실행하도록 구성된다.
기계(800) 네트워크 인터페이스 카드(808)를 더 포함할 수 있다. 기계(800)는 또한 사용자 인터페이스(810), 또는 브라운관(cathode ray tube: CRT), (키보드 같은) 문자숫자식의 입력 기기(812), (마우스 같은) 커서 제어 기기(814), 및 (통합 스피커 등의) 신호 생성 기기(816)를 더 포함할 수 있다. 사용자 인터페이스(810)은 사용자가 기계(800)와 인터페이스하도록 하는 기타 수단 또는 터치 스크린을 포함할 수 있다. 기계(800)는 (예를 들어, 프린터, 무선 또는 유선 통신 기기, 메모리 기기, 저장 기기, 오디오 프로세싱 기기, 비디오 프로세싱 기기 등의) 주변 기기(836)를 더 포함할 수 있다.
보조 메모리(818)는 본서에서 논의되는 적어도 하나의 기능 또는 방법론을 구체화하는 적어도 하나의 명령어 세트가 저장되어 있는 일시적이지 않은(비일시적)(non-transitory) 기계 판독 또는 컴퓨터 판독 가능한 (예를 들어 소프트웨어(822) 등의) 저장 매체(831)를 포함할 수 있다. 소프트웨어(822)는 기계(800)에 의해 실행되는 동안 프로세서(802) 및/또는 메인 메모리(804) 내에서 적어도 일부 또는 전부가 존재할 수 있고, 메인 메모리(804) 및 프로세서(802)는 또한 기계 판독 가능한 저장 매체를 구성한다. 소프트웨어(822)는 더 나아가 네트워크 인터페이스 카드(808)를 경유하여 네트워크(820) 상에서 전송될 수 있다.
따라서, 전술된 논의는 환경에서 다차원의 데이터 캡쳐를 서술한다. 실시예는 환경에서 환경 및 객체의 깊이 및 이미지 데이터를 수집하는 방법을 포함한다. 방법은 제1 깊이 카메라를 포함하는 제1 데이터 캡쳐 기기로부터 제1 타임-인덱스된 깊이 데이터(first time-indexed depth data)를 수신하는 단계를 포함하고, 제1 타임 인덱스된 깊이 데이터는 시간 기간(period of time) 동안 제1 깊이 카메라로부터 객체의 제1 표면까지의 일련의 제1 거리 측정치들(first series of distance measurements)을 포함한다. 방법은 또한 제2 깊이 카메라를 포함하는 제2 데이터 캡쳐 기기로부터 제2 시간 인덱스된 깊이 데이터(second time-indexed depth data)를 수신하는 단계를 포함하고, 제2 시간 인덱스된 깊이 데이터는 상기 시간 기간 동안 제2 깊이 카메라로부터 객체의 제2 표면까지의 일련의 제2 거리 측정치들(second series of distance measurements)을 포함한다. 방법은 또한 상기 시간 기간 동안 제1 데이터 캡쳐 기기의 제1 위치(location) 및 배향(orientation)을 수신하는 단계를 포함하고, 제1 위치 및 배향 데이터는 상기 제1 데이터 캡쳐 기기의 제1 정의된 장소(first defined locus) 및 배향(orientation)의 탐지된 모션(detected motion)에 기초한다. 상기 방법은 또한 상기 시간 기간 동안 제2 데이터 캡쳐 기기의 제2 장소 및 배향 데이터를 수신하는 단계를 포함하고, 상기 제2 위치 및 배향 데이터는 제2 데이터 캡쳐 기기의 제2 정의된 장소(second defined locus) 및 배향의 탐지된 모션에 기초한다. 상기 방법은 또한 상기 제1 데이터 캡쳐 기기 및 상기 제2 데이터 캡쳐 기기가 서로 간에 어떻게 위치되고 배향되는 지를 지시하는 상대적 위치 및 배향 데이터(relative location and orientation data)를 수신하는 단계를 포함한다. 상기 방법은 또한 상기 제1 위치 및 배향 데이터에 기반하여, 상기 제2 위치 및 배향 데이터, 및 상기 상대적 위치 및 배향 데이터, 상기 제1 타임 인덱스된 깊이 데이터 및 상기 제2 타임 인덱스된 깊이 데이터를 좌표 시스템의 좌표와 연관시키는 단계를 포함한다. 상기 방법은 상기 제1 타임 인덱스된 깊이 데이터 및 상기 제2 타임 인덱스된 깊이 데이터를 포함하는 타임 인덱스된 3차원의 깊이 데이터를 상기 연관된 좌표와 함께 전자 메모리(electronic memory)에 저장하는 단계를 더 포함한다.
일실시예에서, 상기 방법은 상기 제1 데이터 캡쳐 기기로부터 객체의 상기 제1 표면의 제1 칼라 데이터를 수신하는 단계 및 상기 제2 데이터 캡쳐 기기로부터 객체의 상기 제2 표면의 제2 칼라 데이터를 수신하는 단계 및 상기 제1 및 제2 칼라 데이터를 상기 제1 및 제2 타임 인덱스된 깊이 데이터 및 상기 좌표 시스템의 상기 좌표와 연관시키는 단계 및 상기 제1 및 제2 칼라 데이터를 상기 타임 인덱스된 3D 깊이 데이터 및 상기 연관되는 좌표와 함께 상기 전자 메모리에 저장하는 단계를 더 포함한다.
일실시예에서, 상기 제1 및 제2 타임 인덱스된 깊이 데이터 각각은 복수의 깊이 카메라에 의해 캡쳐되는, 4π 스테라디안(steradian) 내의 표면에 대한 거리 측정치들(distance measurements)을 포함한다. 일실시예에서, 상기 제1 및 제2 위치 및 배향 데이터 각각은 복수의 가속도계로부터의 평균 모션 데이터(averaged motion data)를 포함한다. 일실시예에서, 상기 상대 위치 데이터(relative location data)는 상기 제1 데이터 캡쳐 기기의 제1 지리공간적 위치를 지시하는 제1 GPS 로부터의 제1 지리공간적 데이터, 및 상기 제2 데이터 캡쳐 기기의 제2 지리공간적 위치를 지시하는 제2 GPS 로부터의 제2 지리공간적 데이터를 포함한다. 일실시예에서, 상기 제1 데이터 캡쳐 기기의 상기 상대 위치 데이터는 상기 제2 데이터 캡쳐 기기의 형상 인식(recognition of a shape)에 기초한다. 일실시예에서, 상기 방법은 상기 제1 및 제2 타임 인덱스된 깊이 데이터 일부분의 공간적인 오버랩(spatial overlap)을 인지(recognize)하는 단계(제1 타임 인덱스된 깊이 데이터의 일부분과 제2 타임 인덱스된 깊이 데이터의 일부분이 공간적으로 오버랩된 것을 인지하는 단계) 및 상기 제1 및 제2 타임 인덱스된 깊이 데이터 중 하나로부터 상기 오버랩이 되는 부분을 폐기(discard)하는 단계 및 상기 제1 및 제2 타임 인덱스된 깊이 데이터 중 잔여 부분 중에 상기 오버랩이 되는 다른 부분(예를 들어, 제1 및 제2 타임 인덱스된 깊이 데이터의 오버랩된 부분 중 제1 타임 인덱스된 깊이 데이터의 오버랩된 부분이 폐기되었으면, 제2 타임 인덱스된 깊이 데이터의 오버랩된 부분)을 상기 연관된 좌표와 함께 상기 전자 메모리에 유지(retain)하는 단계를 더 포함한다.
일실시예는 장치를 포함한다. 상기 장치는 적어도 하나의 깊이 카메라를 포함한다. 상기 적어도 하나의 깊이 카메라 각각은 객체의 표면에 대한 일련의 거리 측정치들(series of distance measurements)을 포함하는 타임 인덱스된 깊이 데이터를 시간 기간 동안 캡쳐한다. 상기 장치는 상기 객체의 상기 표면의 이미지 데이터를 탐지하는 적어도 하나의 디지털 이미지 센서를 포함한다. 상기 장치는 상기 장치의 정의된 장소의 위치를 상기 시간 기간 동안 탐지하는 적어도 하나의 센서를 더 포함한다. 상기 장치는 또한 상기 시간 기간 동안 좌표 시스템에서 상기 적어도 하나의 깊이 카메라의 위치 데이터를 포함하는 지리공간적 데이터를 생성하고 상기 적어도 하나의 센서로부터 위치 데이터를 수신하는 자가 위치측정 모듈(self-localization module)을 포함한다. 상기 장치는 또한 상기 타임 인덱스된 깊이 데이터, 상기 이미지 데이터, 및 상기 지리공간적 데이터를 컴퓨팅 기기에 송신하는 통신 인터페이스를 포함한다. 상기 컴퓨팅 기기는 제2 타임 인덱스된 깊이 데이터, 제2 이미지 데이터, 및 제2 지리공간적 데이터를 제2 장치로부터 수신하고, 및 상기 제1 및 제2 타임 인덱스된 깊이 데이터 및 이미지 데이터 및 상기 제1 및 제2 지리공간적 데이터를 포함하는 타임 인덱스된 3차원(3D) 깊이 데이터를 생성한다.
일실시예에서, 상기 적어도 하나의 깊이 카메라는 상기 타임 인덱스된 깊이 데이터의 프레임당 4π 스테라디안의 깊이 데이터를 캡쳐하는 복수의 깊이 카메라를 포함한다. 일실시예에서, 상기 컴퓨팅 기기는 상기 장치로부터 떨어져 있는 기기이다. 일실시예에서, 상기 장치는 상기 장치에 포함되는 상기 제1 및 제2 타임 인덱스된 깊이 데이터, 제1 및 제2 칼라 데이터, 및 제1 및 제2 지리공간적 데이터를 수신하는 상기 컴퓨팅 기기를 포함하고, 상기 제1 및 제2 타임 인덱스된 깊이 데이터 및 칼라 데이터 및 상기 제1 및 제2 지리공간적 데이터를 포함하는 상기 타임 인덱스된 3차원(3D) 깊이 데이터를 생성한다. 일실시예에서, 위치를 탐지하는 상기 적어도 하나의 센서는 모션을 탐지하는 복수의 가속도계를 포함한다. 일실시예에서 상기 자가 위치측정 모듈은 상기 복수의 가속도계로부터 모션 데이터를 수신하고, 상기 복수의 가속도계로부터 상기 모션 데이터를 평균하고, 평균된 모션 데이터에 기반하여 상기 지리공간적 데이터를 생성한다. 일실시예에서, 상기 복수의 가속도계는 적어도 세 개의 가속도계를 포함한다. 일실시예에서, 상기 적어도 하나의 센서는 진동센서를 포함한다.
일실시예는 시간 경과에 따라 환경에서 객체의 깊이 및 이미지 데이터를 캡쳐하는 데이터 캡쳐 시스템을 포함한다. 상기 데이터 캡쳐 시스템은 제1 데이터 캡쳐 기기 및 제2 데이터 캡쳐 기기를 포함한다. 상기 제1 데이터 캡쳐 기기는 상기 환경의 상기 제1 깊이 카메라로부터 적어도 하나의 객체의 제1 표면까지의 제1 거리 데이터를 기록하는 제1 깊이 카메라 및 상기 환경 및 상기 환경 내 상기 객체의 제1 이미지 데이터를 기록하는 제1 이미지 카메라 및 제1 위치 데이터를 감지(sense)하는 제1 센서를 포함한다. 상기 제2 데이터 캡쳐 기기는 상기 환경의 상기 제2 깊이 카메라로부터 적어도 하나의 객체의 제2 표면까지의 제2 거리 데이터를 기록하는 제2 깊이 카메라 및 상기 환경 및 상기 환경 내 상기 객체의 제2 이미지 데이터를 기록하는 제2 이미지 카메라 및 제2 위치 데이터를 감지하는 제2 센서를 포함한다. 상기 데이터 캡쳐 시스템은 상기 제1 및 제2 거리 데이터, 및 상기 제1 및 제2 이미지 데이터 및 상기 제1 및 제2 위치 데이터를 수신하고, 상기 환경 및 상기 환경 내 객체의 통합 데이터 클라우드(unified data cloud)를 만들기 위해서 상기 데이터를 처리하는 데이터 프로세서(data processor)를 더 포함한다.
일실시예에서, 상기 제1 및 제2 이미지 데이터는 그레이스케일의 이미지 데이터이다. 일실시예에서, 상기 제1 및 제2 이미지 데이터는 컬러 이미지 데이터이다. 일실시예에서, 상기 제1 거리 데이터 및 상기 제1 이미지 데이터는 제1 관점(POV: point-of-view)으로부터 기록되고 상기 제2 거리 데이터 및 상기 제2 이미지 데이터는 제2 관점으로부터 기록되고 상기 데이터 프로세서는 상기 통합 데이터 클라우드를 만들어서, 상기 데이터가 포맷되고 보여질 때 상기 환경 및 상기 환경 내 객체가 다중 관점(multiple POVs)으로부터 보여질 수 있다.
일실시예에 따라, 상기 데이터 프로세서는 제1 및 제2 이미지 데이터가 상기 환경의 상기와 동일한 객체의 이미지 데이터를 기록하는 지 결정하고, 이미지 데이터가 오버랩되는 곳에서 데이터 압축을 행한다. 일실시예에서, 상기 제1 및 제2 센서는 상대적인 모션을 추적하는 모션 센서를 포함한다. 상기 제1 및 제2 센서 각각은 복수의 모션 센서를 포함하고, 각각의 데이터 캡쳐 기기 내 상기 복수의 모션 센서로부터의 상기 위치 데이터는 위치 데이터의 높은 정확도를 제공하기 위해 평균된다. 일실시예에서, 상기 제1 및 제2 센서는 상기 각각의 데이터 캡쳐 기기의 배향을 더 감지한다. 일실시예에서, 상기 제1 깊이 카메라 및 상기 제2 깊이 카메라는 각각 다른 시간에서 순차적인 제1 및 제2 깊이 데이터를 기록하고 상기 시스템은 상기 제1 또는 제2 깊이 카메라 단독의 최대 데이터 캡쳐 속도보다 더 빠른 데이터 캡쳐 속도에서 데이터를 기록할 수 있다. 일실시예에서, 상기 제1 데이터 캡쳐 기기는 제3 깊이 카메라를 더 포함하고, 상기 제2 데이터 캡쳐 기기는 제4 깊이 카메라를 더 포함한다. 일실시예에서, 상기 제1 깊이 카메라 및 상기 제3 깊이 카메라는 제1 및 제3 깊이 데이터를 각각 다른 시간에서 순차적으로 기록하고, 상기 제1 데이터 캡쳐 기기는 상기 제1 또는 제3 깊이 카메라 단독의 최대 데이터 캡쳐 속도보다 더 빠른 데이터 캡쳐 속도에서 데이터를 기록할 수 있다.
다른 일실시예에서, 시스템은 제1 깊이 카메라를 포함하는 제1 데이터 캡쳐 기기로부터 제1 타임 인덱스된 깊이 데이터를 수신하는 통신 인터페이스를 포함하고, 상기 제1 타임 인덱스된 데이터는 시간 기간 동안 상기 제1 깊이 카메라로부터 객체의 제1 표면까지의 일련의 거리 측정치들(series of distance measurements)을 포함한다. 상기 통신 인터페이스는 제2 타임 인덱스된 깊이 데이터를 제2 깊이 카메라를 포함하는 제2 데이터 캡쳐 기기로부터 더 수신하고, 상기 제2 타임 인덱스된 깊이 데이터는 상기 시간 기간 동안 제2 깊이 카메라로부터 객체의 제2 표면까지의 일련의 거리 측정치들을 포함한다. 상기 통신 인터페이스는 상기 시간 기간 동안 상기 제1 데이터 캡쳐 기기의 제1 위치 및 배향 데이터를 더 수신하고, 상기 제1 위치 및 배향 데이터는 상기 제1 데이터 캡쳐 기기의 배향 및 제1 정의된 센터의 감자되는 모션에 기초한다. 상기 통신 인터페이스는 상기 시간 기간 동안 상기 제2 데이터 캡쳐 기기의 제2 위치 및 배향 데이터를 더 수신하고, 상기 제2 위치 및 배향 데이터는 상기 데이터 캡쳐 기기의 배향 및 제2 정의된 센터의 감지되는 모션에 기초한다. 상기 시스템은 상기 제1 데이터 캡쳐 기기 및 상기 제2 데이터 캡쳐 기기가 서로 상대적으로 어떻게 위치되고 배향되어 있는지 지시하는 상대적 위치 및 배향 데이터를 계산하고, 상기 제1 타임 인덱스된 깊이 데이터 및 상기 제2 타임 인덱스된 깊이 데이터를 상기 제1 위치 및 배향 데이터, 상기 제2 위치 및 배향 데이터, 및 상기 상대적 위치 및 배향 데이터에 기초하여 좌표 시스템의 좌표와 연관시킨다. 상기 시스템은 또한 상기 제1 타임 인덱스된 깊이 데이터 및 제2 타임 인덱스된 깊이 데이터를 포함하는 타임 인덱스된 3차원(3D) 깊이 데이터를 상기 연관되는 좌표와 함께 저장하는 전자 메모리 또한 포함한다.
요약에 기술된 바를 포함하여 본원의 실시예들의 전술된 상세한 설명은 개시된 형태로 망라되거나(exhaustive) 국한되지 않는다. 본원의 특정 실시예들, 및 예시들은 본서에서 설명의 목적으로 기술되었지만, 본원의 범위 내에서 다양한 변형들이 가능하고, 당업자에게는 인지될 것이다.
이러한 변형은 전술된 상세한 설명을 고려한 본원에서 가능할 수 있다. 다음의 청구항에서 이용된 용어들은 상세한 설명에서 개시된 특정 실시예들로 본원을 국한시키데 해석될 수 없다. 오히려, 본원의 범위는 전적으로 다음의 청구항에 의해서 결정되고, 이는 청구항 해석의 확립된 지침에 따라 해석되어야 한다.

Claims (25)

  1. 하나 이상의 사용자에게 3차원(3D) 데이터를 전달하는 방법에 있어서,
    컴퓨터 처리 시스템에 의하여, 제1 시간 기간 동안 하나 이상의 데이터 캡쳐 기기에 의하여 캡쳐된 움직이는 장면(scene in motion)의 이미지 데이터의 3D 프레임들을 결합한 일련의 타임 인덱스된 3D 프레임들을 생성하는 단계
    를 포함하고,
    각 데이터 캡쳐 기기는,
    상기 하나 이상의 데이터 캡쳐 기기에 의하여 캡쳐된 이미지 데이터의 픽셀들의 집합(array)에 대응하는 깊이 측정치들의 집합을 가진 깊이 데이터의 프레임을 캡쳐하는 깊이 센서
    를 포함하고,
    상기 하나 이상의 데이터 캡쳐 기기의 각각으로부터의 상기 이미지 데이터의 상기 3D 프레임들은,
    상기 움직이는 장면의 이미지 데이터의 픽셀들의 집합, 및
    상기 제1 시간 기간 동안 하나 이상의 시점으로부터 샘플링된 상기 움직이는 장면의 표면 상의 포인트들까지 상기 이미지 데이터의 픽셀들의 집합에 대응하는 거리 측정치들의 집합을 지시하는 타임 인덱스된 깊이 데이터 프레임들
    을 포함하고,
    상기 타임 인덱스된 3D 프레임들은,
    상기 하나 이상의 데이터 캡쳐 기기의 각각으로부터 이미지 데이터의 3D 프레임들을 수신하는 단계,
    상기 제1 시간 기간 동안 위치 데이터를 수신하는 단계 - 상기 위치 데이터는, 상기 하나 이상의 데이터 캡쳐 기기의 각각의 위치에 대한 데이터를 포함함 -,
    상기 제1 시간 기간 중 각각의 샘플링 시간에서 상기 하나 이상의 데이터 캡쳐 기기에 의하여 캡쳐된 거리 측정치들의 집합 및 상기 위치 데이터를 이용하여, 이미지 데이터의 대응하는 픽셀들 및 상기 깊이 데이터의 포인트들의 각각에 대하여 공통 좌표 시스템에서의 3D 좌표들을 결정하는 단계, 및
    상기 움직이는 장면의 상기 일련의 타임 인덱스된 3D 프레임들을 생성하는 단계 - 상기 타임 인덱스된 3D 프레임들의 각각은, 상기 제1 시간 기간 중 주어진 샘플링 시간에서 상기 공통 좌표 시스템에서 상기 하나 이상의 데이터 캡쳐 기기의 각각에 대한 깊이 데이터의 포인트들의 3D 좌표를 가진 3D 포인트 클라우드를 포함함 -
    에 의하여 생성되고,
    상기 방법은,
    상기 컴퓨터 처리 시스템에 의하여, 상기 일련의 타임 인덱스된 3D 프레임들을 하나 이상의 사용자가 볼 수 있도록 하나 이상의 사용자에게 전송하는 단계
    를 더 포함하고,
    상기 일련의 타임 인덱스된 3D 프레임들에 대한 제1 사용자의 제1 시점은,
    상기 3D 프레임들의 각각의 3D 포인트 클라우드 내의 복수의 서로 다른 시점들로부터 선택될 수 있는
    방법.
  2. 제1항에 있어서,
    상기 제1 사용자는,
    상기 제1 시점으로부터 상기 일련의 타임 인덱스된 3D 프레임들을 보는 것으로부터,
    상기 3D 프레임들의 각각의 3D 포인트 클라우드 내의 복수의 서로 다른 시점들 중 제2 시점으로부터 상기 일련의 타임 인덱스된 3D 프레임들을 보는 것으로
    변경할 수 있는
    방법.
  3. 제1항에 있어서,
    상기 전송하는 단계는,
    LAN(local area network), 인트라넷(intranet), 엑스트라넷(extranet) 또는 인터넷을 통하여 전송하는 단계
    를 포함하는 방법.
  4. 제1항에 있어서,
    상기 일련의 타임 인덱스된 3D 프레임들을 생성하는 단계,
    상기 하나 이상의 데이터 캡쳐 기기의 각각으로부터 상기 움직이는 장면의 표면들의 칼라 데이터를 수신하는 단계, 및
    상기 하나 이상의 데이터 캡쳐 기기의 각각으로부터의 상기 칼라 데이터를, 상기 공통 좌표 시스템에서의 상기 좌표들 및 상기 타임 인덱스된 깊이 데이터와 연관시키는 단계
    를 포함하는 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 데이터 캡쳐 기기의 각각에 대한 상기 타임 인덱스된 깊이 데이터는,
    복수의 깊이 센서들에 의하여 캡쳐된 4π 스테라디안 내의 표면에 대한 거리 측정치들
    을 포함하는 방법.
  6. 제1항에 있어서,
    상기 위치 데이터는,
    하나 이상의 가속도계로부터의 평균 모션 데이터
    를 포함하는 방법.
  7. 제1항에 있어서,
    상기 위치 데이터는,
    각각의 데이터 캡쳐 기기의 지리공간적 위치를 지시하는, 상기 하나 이상의 데이터 캡쳐 기기의 각각의 GPS 모듈로부터의 지리공간적 데이터
    를 포함하는 방법.
  8. 제1항에 있어서,
    상기 위치 데이터는,
    복수의 데이터 캡쳐 기기들 간의 상대 위치 데이터
    를 포함하는 방법.
  9. 제8항에 있어서,
    상기 상대 위치 데이터는,
    하나의 데이터 캡쳐 기기에 의한 다른 데이터 캡쳐 기기의 형상의 인식에 기초하는
    방법.
  10. 제1항에 있어서,
    상기 일련의 타임 인덱스된 3D 프레임들을 생성하는 단계는,
    복수의 데이터 캡쳐 기기들 중 각각의 데이터 캡쳐 기기가, 상기 제1 시간 기간 동안 상기 복수의 데이터 캡쳐 기기들 중 다른 데이터 캡쳐 기기와의 관계에서 서로 어떻게 배향되었는지를 지시하는 상대 배향 데이터를 수신하는 단계, 및
    상기 상대 배향 데이터에 기초하여, 상기 복수의 데이터 캡쳐 장치들의 각각에 대한 상기 타임 인덱스된 깊이 데이터를, 상기 공통 좌표 시스템에서의 상기 좌표들과 연관시키는 단계
    를 포함하는 방법.
  11. 제1항에 있어서,
    상기 일련의 타임 인덱스된 3D 프레임들을 생성하는 단계는,
    제1 타임 인덱스된 깊이 데이터 및 제2 타임 인덱스된 깊이 데이터의 일부분의 공간적인 오버랩을 인지하는 단계, 및
    상기 제1 타임 인덱스된 깊이 데이터 및 상기 제2 타임 인덱스된 깊이 데이터 중 하나로부터 오버랩된 부분을 폐기하는 단계, 및
    상기 제1 타임 인덱스된 깊이 데이터 및 상기 제2 타임 인덱스된 깊이 데이터 중 다른 하나로부터의 상기 오버랩된 부분을 상기 연관된 좌표들과 함께 유지하는 단계
    를 포함하는 방법.
  12. 하나 이상의 사용자에게 3차원(3D) 데이터를 전달하는 시스템에 있어서,
    제1 시간 기간 동안 하나 이상의 데이터 캡쳐 기기에 의하여 캡쳐된 움직이는 장면(scene in motion)의 이미지 데이터의 3D 프레임들을 결합한 일련의 타임 인덱스된 3D 프레임들을 생성하는 장치
    를 포함하고,
    상기 장치는,
    하나 이상의 데이터 캡쳐 기기, 및
    상기 제1 시간 기간 동안 상기 하나 이상의 데이터 캡쳐 기기의 각각으로부터 상기 타임 인덱스된 깊이 데이터를 포함하는 이미지 데이터의 3D 프레임들, 상기 이미지 데이터, 및 위치 데이터를 수신하는 데이터 프로세서
    를 포함하고,
    각 데이터 캡쳐 기기는,
    상기 하나 이상의 데이터 캡쳐 기기에 의하여 캡쳐된 이미지 데이터의 픽셀들의 집합(array)에 대응하는 깊이 측정치들의 집합을 가진 깊이 데이터의 프레임을 캡쳐하는 깊이 센서,
    상기 깊이 측정치들의 집합에 대응하는 이미지 데이터의 픽셀들의 집합을 포함하는 움직이는 장면의 이미지 데이터를 기록하는 이미지 카메라, 및
    상기 데이터 캡쳐 기기의 위치를 감지하는 센서
    를 포함하고,
    상기 깊이 센서는,
    상기 제1 시간 기간 동안 하나 이상의 시점으로부터 샘플링된 상기 움직이는 장면의 표면 상의 포인트들까지의 거리 측정치들의 집합을 지시하는 타임 인덱스된 깊이 데이터 프레임들을 검출하고,
    상기 데이터 프로세서는,
    상기 제1 시간 기간 중 각각의 샘플링 시간에서 상기 하나 이상의 데이터 캡쳐 기기에 의하여 캡쳐된 거리 측정치들의 집합 및 상기 위치 데이터를 이용하여, 이미지 데이터의 대응하는 픽셀들 및 상기 깊이 데이터의 포인트들의 각각에 대하여 공통 좌표 시스템에서의 3D 좌표들을 결정하고,
    상기 움직이는 장면의 상기 일련의 타임 인덱스된 3D 프레임들을 생성하고 - 상기 타임 인덱스된 3D 프레임들의 각각은, 상기 제1 시간 기간 중 주어진 샘플링 시간에서 상기 공통 좌표 시스템에서 상기 하나 이상의 데이터 캡쳐 기기의 각각에 대한 깊이 데이터의 포인트들의 3D 좌표를 가진 3D 포인트 클라우드를 포함함 -,
    상기 장치는,
    상기 일련의 타임 인덱스된 3D 프레임들을 하나 이상의 사용자가 볼 수 있도록 하나 이상의 사용자에게 전송하고,
    상기 일련의 타임 인덱스된 3D 프레임들에 대한 제1 사용자의 제1 시점은,
    상기 3D 프레임들의 각각의 3D 포인트 클라우드 내의 복수의 서로 다른 시점들로부터 선택될 수 있는
    시스템.
  13. 제12항에 있어서,
    상기 제1 사용자는,
    상기 제1 시점으로부터 상기 일련의 타임 인덱스된 3D 프레임들을 보는 것으로부터,
    상기 3D 프레임들의 각각의 3D 포인트 클라우드 내의 복수의 서로 다른 시점들 중 제2 시점으로부터 상기 일련의 타임 인덱스된 3D 프레임들을 보는 것으로
    변경할 수 있는
    시스템.
  14. 제12항에 있어서,
    상기 전송은,
    LAN(local area network), 인트라넷(intranet), 엑스트라넷(extranet) 또는 인터넷을 통하여 전송하는
    시스템.
  15. 제12항에 있어서,
    상기 데이터 프로세서는,
    상기 하나 이상의 데이터 캡쳐 기기의 각각으로부터 상기 움직이는 장면의 표면들의 칼라 데이터를 수신하고,
    상기 하나 이상의 데이터 캡쳐 기기의 각각으로부터의 상기 칼라 데이터를, 상기 공통 좌표 시스템에서의 상기 좌표들 및 상기 타임 인덱스된 깊이 데이터와 연관시키는
    시스템.
  16. 제12항에 있어서,
    상기 하나 이상의 데이터 캡쳐 기기의 각각에 대한 상기 타임 인덱스된 깊이 데이터는,
    복수의 깊이 센서들에 의하여 캡쳐된 4π 스테라디안 내의 표면에 대한 거리 측정치들
    을 포함하는 시스템.
  17. 제12항에 있어서,
    상기 위치 데이터는,
    하나 이상의 가속도계로부터의 평균 모션 데이터
    를 포함하는 시스템.
  18. 제12항에 있어서,
    상기 위치 데이터는,
    각각의 데이터 캡쳐 기기의 지리공간적 위치를 지시하는, 상기 하나 이상의 데이터 캡쳐 기기의 각각의 GPS 모듈로부터의 지리공간적 데이터
    를 포함하는 시스템.
  19. 제12항에 있어서,
    상기 위치 데이터는,
    복수의 데이터 캡쳐 기기들 간의 상대 위치 데이터
    를 포함하는 시스템.
  20. 제19항에 있어서,
    상기 상대 위치 데이터는,
    하나의 데이터 캡쳐 기기에 의한 다른 데이터 캡쳐 기기의 형상의 인식에 기초하는
    시스템.
  21. 제12항에 있어서,
    상기 데이터 프로세서는,
    복수의 데이터 캡쳐 기기들 중 각각의 데이터 캡쳐 기기가, 상기 제1 시간 기간 동안 상기 복수의 데이터 캡쳐 기기들 중 다른 데이터 캡쳐 기기와의 관계에서 서로 어떻게 배향되었는지를 지시하는 상대 배향 데이터를 수신하고,
    상기 상대 배향 데이터에 기초하여, 상기 복수의 데이터 캡쳐 장치들의 각각에 대한 상기 타임 인덱스된 깊이 데이터를, 상기 공통 좌표 시스템에서의 상기 좌표들과 연관시키는
    시스템.
  22. 제12항에 있어서,
    상기 데이터 프로세서는,
    제1 타임 인덱스된 깊이 데이터 및 제2 타임 인덱스된 깊이 데이터의 일부분의 공간적인 오버랩을 인지하고,
    상기 제1 타임 인덱스된 깊이 데이터 및 상기 제2 타임 인덱스된 깊이 데이터 중 하나로부터 오버랩된 부분을 폐기하고,
    상기 제1 타임 인덱스된 깊이 데이터 및 상기 제2 타임 인덱스된 깊이 데이터 중 다른 하나로부터의 상기 오버랩된 부분을 상기 연관된 좌표들과 함께 유지하는
    시스템.
  23. 비일시적 컴퓨터 판독가능 기록매체에 있어서,
    프로세서에 의하여 실행될 때 상기 프로세서가 동작들을 수행하도록 하는 명령어들을 저장하고,
    상기 동작들은,
    제1 시간 기간 동안 하나 이상의 데이터 캡쳐 기기에 의하여 캡쳐된 움직이는 장면(scene in motion)의 이미지 데이터의 3D 프레임들을 결합한 일련의 타임 인덱스된 3D 프레임들을 생성하는 동작
    을 포함하고,
    각 데이터 캡쳐 기기는,
    상기 하나 이상의 데이터 캡쳐 기기에 의하여 캡쳐된 이미지 데이터의 픽셀들의 집합(array)에 대응하는 깊이 측정치들의 집합을 가진 깊이 데이터의 프레임을 캡쳐하는 깊이 센서
    를 포함하고,
    상기 하나 이상의 데이터 캡쳐 기기의 각각으로부터의 상기 이미지 데이터의 상기 3D 프레임들은,
    상기 움직이는 장면의 이미지 데이터의 픽셀들의 집합, 및
    상기 제1 시간 기간 동안 하나 이상의 시점으로부터 샘플링된 상기 움직이는 장면의 표면 상의 포인트들까지 상기 이미지 데이터의 픽셀들의 집합에 대응하는 거리 측정치들의 집합을 지시하는 타임 인덱스된 깊이 데이터 프레임들
    을 포함하고,
    상기 타임 인덱스된 3D 프레임들은,
    상기 하나 이상의 데이터 캡쳐 기기의 각각으로부터 이미지 데이터의 3D 프레임들을 수신하는 단계,
    상기 제1 시간 기간 동안 위치 데이터를 수신하는 단계 - 상기 위치 데이터는, 상기 하나 이상의 데이터 캡쳐 기기의 각각의 위치에 대한 데이터를 포함함 -,
    상기 제1 시간 기간 중 각각의 샘플링 시간에서 상기 하나 이상의 데이터 캡쳐 기기에 의하여 캡쳐된 거리 측정치들의 집합 및 상기 위치 데이터를 이용하여, 이미지 데이터의 대응하는 픽셀들 및 상기 깊이 데이터의 포인트들의 각각에 대하여 공통 좌표 시스템에서의 3D 좌표들을 결정하는 단계, 및
    상기 움직이는 장면의 상기 일련의 타임 인덱스된 3D 프레임들을 생성하는 단계 - 상기 타임 인덱스된 3D 프레임들의 각각은, 상기 제1 시간 기간 중 주어진 샘플링 시간에서 상기 공통 좌표 시스템에서 상기 하나 이상의 데이터 캡쳐 기기의 각각에 대한 깊이 데이터의 포인트들의 3D 좌표를 가진 3D 포인트 클라우드를 포함함 -
    에 의하여 생성되고,
    상기 동작들은,
    상기 컴퓨터 처리 시스템에 의하여, 상기 일련의 타임 인덱스된 3D 프레임들을 하나 이상의 사용자가 볼 수 있도록 하나 이상의 사용자에게 전송하는 동작
    을 더 포함하고,
    상기 일련의 타임 인덱스된 3D 프레임들에 대한 제1 사용자의 제1 시점은,
    상기 3D 프레임들의 각각의 3D 포인트 클라우드 내의 복수의 서로 다른 시점들로부터 선택될 수 있는
    컴퓨터 판독가능 기록매체.
  24. 제23항에 있어서,
    상기 제1 사용자는,
    상기 제1 시점으로부터 상기 일련의 타임 인덱스된 3D 프레임들을 보는 것으로부터,
    상기 3D 프레임들의 각각의 3D 포인트 클라우드 내의 복수의 서로 다른 시점들 중 제2 시점으로부터 상기 일련의 타임 인덱스된 3D 프레임들을 보는 것으로
    변경할 수 있는
    컴퓨터 판독가능 기록매체.
  25. 제23항에 있어서,
    상기 전송하는 동작은,
    LAN(local area network), 인트라넷(intranet), 엑스트라넷(extranet) 또는 인터넷을 통하여 전송하는 동작
    을 포함하는 컴퓨터 판독가능 기록매체.
KR1020217012009A 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐 KR102377634B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227009055A KR102515213B1 (ko) 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261699223P 2012-09-10 2012-09-10
US61/699,223 2012-09-10
KR1020157009297A KR102245648B1 (ko) 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
PCT/US2013/059089 WO2014040081A1 (en) 2012-09-10 2013-09-10 Multi-dimensional data capture of an environment using plural devices

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157009297A Division KR102245648B1 (ko) 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227009055A Division KR102515213B1 (ko) 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐

Publications (2)

Publication Number Publication Date
KR20210047969A true KR20210047969A (ko) 2021-04-30
KR102377634B1 KR102377634B1 (ko) 2022-03-22

Family

ID=50232879

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217012009A KR102377634B1 (ko) 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
KR1020157009297A KR102245648B1 (ko) 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
KR1020227009055A KR102515213B1 (ko) 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020157009297A KR102245648B1 (ko) 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
KR1020227009055A KR102515213B1 (ko) 2012-09-10 2013-09-10 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐

Country Status (9)

Country Link
US (5) US9161019B2 (ko)
EP (2) EP4221187A3 (ko)
JP (1) JP6235022B2 (ko)
KR (3) KR102377634B1 (ko)
CN (2) CN108345006B (ko)
AU (2) AU2013312127B2 (ko)
CA (1) CA2884771C (ko)
IN (1) IN2015DN02915A (ko)
WO (1) WO2014040081A1 (ko)

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
US9481301B2 (en) * 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) * 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9417911B2 (en) 2014-03-12 2016-08-16 Live Planet Llc Systems and methods for scalable asynchronous computing framework
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US10701426B1 (en) 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US10163255B2 (en) * 2015-01-07 2018-12-25 Geopogo, Inc. Three-dimensional geospatial visualization
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US9678199B2 (en) 2015-01-30 2017-06-13 Qualcomm Incorporated Propulsion device lidar system and method
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US10012723B2 (en) * 2015-03-31 2018-07-03 Amazon Technologies, Inc. Modular LIDAR system
US9992412B1 (en) * 2015-04-15 2018-06-05 Amazon Technologies, Inc. Camera device with verged cameras
US11328446B2 (en) * 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10048058B2 (en) * 2015-07-29 2018-08-14 Microsoft Technology Licensing, Llc Data capture system for texture and geometry acquisition
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
CN105080166B (zh) * 2015-09-10 2017-06-06 中国特种设备检测研究院 舞台机械设备的同步性检测系统
US10397546B2 (en) 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
CN106612387B (zh) * 2015-10-15 2019-05-21 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
US10021363B2 (en) * 2015-10-16 2018-07-10 Novatek Microelectronics Corp. Method and apparatus for processing source image to generate target image
CA2948761A1 (en) * 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
US10539661B2 (en) * 2015-11-25 2020-01-21 Velodyne Lidar, Inc. Three dimensional LIDAR system with targeted field of view
ES2686470T3 (es) * 2015-12-10 2018-10-18 Airbus Defence and Space GmbH Dispositivo modular para un análisis de vibraciones de vídeo a alta velocidad
US10523923B2 (en) 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
WO2018200685A2 (en) 2017-04-27 2018-11-01 Ecosense Lighting Inc. Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
CN108603937B (zh) * 2016-01-31 2024-01-05 威力登激光雷达有限公司 具有远场照射重叠的lidar式3-d成像
US11567201B2 (en) * 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
WO2018071416A1 (en) * 2016-10-11 2018-04-19 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
JP6987797B2 (ja) 2016-03-11 2022-01-05 カールタ インコーポレイテッド リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
JP7149256B2 (ja) 2016-03-19 2022-10-06 ベロダイン ライダー ユーエスエー，インコーポレイテッド Ｌｉｄａｒに基づく３次元撮像のための統合された照射及び検出
EP3236286B1 (en) 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
CN107305561B (zh) * 2016-04-21 2021-02-02 斑马网络技术有限公司 图像的处理方法、装置、设备及用户界面系统
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10393877B2 (en) 2016-06-01 2019-08-27 Velodyne Lidar, Inc. Multiple pixel scanning LIDAR
CN105824430A (zh) * 2016-06-07 2016-08-03 北京行云时空科技有限公司 三维信息交互方法及可穿戴设备
US10362231B2 (en) * 2016-07-01 2019-07-23 Intel Corporation Head down warning system
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
IT201600093191A1 (it) * 2016-09-15 2018-03-15 Digital Lighthouse S R L Apparato e procedimento per l’acquisizione e la riproduzione digitale tridimensionale di un ambiente.
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
EP3306344A1 (en) 2016-10-07 2018-04-11 Leica Geosystems AG Flying sensor
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
USD823920S1 (en) 2016-11-23 2018-07-24 Kaarta, Inc. Simultaneous localization and mapping (SLAM) device
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
JP7290571B2 (ja) 2017-03-31 2023-06-13 ベロダイン ライダー ユーエスエー，インコーポレイテッド 統合化されたｌｉｄａｒ照明出力制御
WO2018191442A1 (en) 2017-04-11 2018-10-18 Agerpoint, Inc. Forestry management tool for assessing risk of catastrophic tree failure due to weather events
JP6870456B2 (ja) * 2017-04-25 2021-05-12 凸版印刷株式会社 レーザ走査装置
WO2018196000A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Methods and associated systems for grid analysis
CN110809704B (zh) 2017-05-08 2022-11-01 威力登激光雷达美国有限公司 Lidar数据获取与控制
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
CN109001883B (zh) * 2017-06-06 2021-06-01 广州立景创新科技有限公司 镜头结构及其组装方法
US10346994B2 (en) * 2017-07-29 2019-07-09 Verizon Patent And Licensing Inc. Systems and methods for inward-looking depth scanning of a real-world scene
EP3441789B1 (en) * 2017-08-07 2020-10-21 Vestel Elektronik Sanayi ve Ticaret A.S. System and method for processing data and a user device for pre-processing data
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
US11294041B2 (en) 2017-12-08 2022-04-05 Velodyne Lidar Usa, Inc. Systems and methods for improving detection of a return signal in a light ranging and detection system
DE102018102601A1 (de) * 2018-02-06 2019-08-08 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten in einem Überwachungsbereich
WO2019165194A1 (en) 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
US10832427B1 (en) * 2018-05-07 2020-11-10 Apple Inc. Scene camera retargeting
US11017585B1 (en) * 2018-06-11 2021-05-25 Facebook, Inc. Systems and methods for capturing image data for recreation in a virtual environment
WO2020004162A1 (ja) * 2018-06-27 2020-01-02 キヤノン株式会社 撮像システム、配置決定装置、配置決定方法およびプログラム
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
US20200065557A1 (en) * 2018-08-21 2020-02-27 Streem, Inc. Object recognition enhancement using depth data
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
EP3651056A1 (en) * 2018-11-06 2020-05-13 Rovco Limited Computing device and method for video object detection
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
CN111436216B (zh) * 2018-11-13 2023-11-07 北京嘀嘀无限科技发展有限公司 用于彩色点云生成的方法和系统
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
CN109697422B (zh) * 2018-12-19 2020-12-04 深圳市瑞立视多媒体科技有限公司 光学动作捕捉方法及光学动作捕捉相机
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
US11728621B2 (en) 2019-06-05 2023-08-15 Stmicroelectronics (Research & Development) Limited Voltage controlled steered VCSEL driver
US11579290B2 (en) * 2019-06-05 2023-02-14 Stmicroelectronics (Research & Development) Limited LIDAR system utilizing multiple networked LIDAR integrated circuits
US11200689B1 (en) * 2019-06-21 2021-12-14 Amazon Technologies, Inc. Detailed 3D estimation from a single image
AU2020308728A1 (en) * 2019-06-24 2022-02-10 Touchmagix Media Pvt. Ltd. Interactive reality activity augmentation
US10613203B1 (en) 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
US11064096B2 (en) * 2019-12-13 2021-07-13 Sony Corporation Filtering and smoothing sources in camera tracking
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
KR102550678B1 (ko) 2020-01-22 2023-07-04 노다르 인크. 비-강성 스테레오 비전 카메라 시스템
US11348320B2 (en) 2020-04-02 2022-05-31 Samsung Electronics Company, Ltd. Object identification utilizing paired electronic devices
DE102020206817A1 (de) 2020-05-29 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung LiDAR-System
CN112435312B (zh) * 2020-09-04 2023-04-11 上海哔哩哔哩科技有限公司 运动轨迹的生成方法、装置、计算机设备和可读存储介质
US11968639B2 (en) 2020-11-11 2024-04-23 Magna Electronics Inc. Vehicular control system with synchronized communication between control units
US11605173B2 (en) * 2020-12-29 2023-03-14 Waymo Llc Three-dimensional point cloud labeling using distance field data
US20220207759A1 (en) * 2020-12-29 2022-06-30 Faro Technologies, Inc. Automatic registration of multiple measurement devices
WO2023059365A1 (en) 2021-10-08 2023-04-13 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
CN113847841A (zh) * 2021-11-29 2021-12-28 南京润景丰创信息技术有限公司 一种激光对抗训练机器人靶标系统及其控制方法
US11782145B1 (en) 2022-06-14 2023-10-10 Nodar Inc. 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487303B1 (en) * 1996-11-06 2002-11-26 Komatsu Ltd. Object detector
US20030137449A1 (en) * 2002-01-22 2003-07-24 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
KR20090090983A (ko) * 2008-02-22 2009-08-26 이병국 복수의 카메라 영상을 이용한 공간좌표 추출방법
US20110074926A1 (en) * 2009-09-28 2011-03-31 Samsung Electronics Co. Ltd. System and method for creating 3d video
US20110115886A1 (en) * 2009-11-18 2011-05-19 The Board Of Trustees Of The University Of Illinois System for executing 3d propagation for depth image-based rendering

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445884B1 (en) * 1995-06-22 2002-09-03 3Dv Systems, Ltd. Camera with through-the-lens lighting
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JP3833786B2 (ja) * 1997-08-04 2006-10-18 富士重工業株式会社 移動体の３次元自己位置認識装置
US6407735B2 (en) 1997-11-13 2002-06-18 Crump Group Inc. Method for generating surface representations of objects from layered data
US20030151554A1 (en) * 1998-02-20 2003-08-14 Robert McCarthy System, method, and product for automated workout assessment of athletic physical training
JP2000078614A (ja) * 1998-09-02 2000-03-14 Sony Corp 画像記録装置
AU2001251755A1 (en) 2000-04-14 2001-10-30 Mayim Llc Web browser plug-in providing 3d visualization
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP2002209208A (ja) 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
WO2002065763A2 (en) * 2001-02-12 2002-08-22 Carnegie Mellon University System and method for manipulating the point of interest in a sequence of images
US7248257B2 (en) 2001-02-14 2007-07-24 Technion Research & Development Foundation Ltd. Low bandwidth transmission of 3D graphical data
CA2373707A1 (en) 2001-02-28 2002-08-28 Paul Besl Method and system for processing, compressing, streaming and interactive rendering of 3d color image data
FR2823330B1 (fr) * 2001-04-10 2004-08-20 Gemplus Card Int Procede et systeme de gestion de donnees destinees a etre stockees dans une memoire, par exemple du code d'une application charge dans une carte a puce programmable
DE10149115A1 (de) * 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
GB0209080D0 (en) 2002-04-20 2002-05-29 Virtual Mirrors Ltd Methods of generating body models from scanned data
US20040183915A1 (en) * 2002-08-28 2004-09-23 Yukita Gotohda Method, device, and program for controlling imaging device
DE20320216U1 (de) 2003-12-29 2004-03-18 Iqsun Gmbh Laserscanner
US7155336B2 (en) * 2004-03-24 2006-12-26 A9.Com, Inc. System and method for automatically collecting images of objects at geographic locations and displaying same in online directories
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
US7860301B2 (en) 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
AU2006217569A1 (en) 2005-02-23 2006-08-31 Craig Summers Automatic scene modeling for the 3D camera and 3D video
NZ564834A (en) * 2005-07-01 2011-04-29 Sony Pictures Entertainment Representing movement of object using moving motion capture cameras within a volume
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
JP4878218B2 (ja) * 2006-06-02 2012-02-15 キヤノン株式会社 通信機能を備えた撮像装置、その制御方法、及びプログラム
US20080143875A1 (en) * 2006-08-17 2008-06-19 Scott Stacey L Method and system for synchronous video capture and output
US7835544B2 (en) * 2006-08-31 2010-11-16 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for far field image absolute navigation sensing
KR100931311B1 (ko) 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
DE102006060108A1 (de) 2006-12-20 2008-06-26 Sick Ag Laserscanner
KR20090055803A (ko) * 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8744155B2 (en) * 2008-02-16 2014-06-03 University Of Virginia Patent Foundation Imaging or communications system utilizing multisample apodization and method
US7821619B2 (en) 2008-03-19 2010-10-26 Raytheon Company Rapid scan LADAR 3D imaging with compact digital beam formation
US20090280824A1 (en) * 2008-05-07 2009-11-12 Nokia Corporation Geo-tagging objects with wireless positioning information
US7961301B2 (en) 2008-05-09 2011-06-14 Ball Aerospace & Technologies Corp. Flash LADAR system
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US8164655B2 (en) 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
US8169434B2 (en) 2008-09-29 2012-05-01 Microsoft Corporation Octree construction on graphics processing units
US8416282B2 (en) 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
US8334893B2 (en) * 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
US8630804B2 (en) * 2008-12-05 2014-01-14 Thales Method for geolocating an object by multitelemetry
EP2385705A4 (en) 2008-12-30 2011-12-21 Huawei Device Co Ltd METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE
US8179393B2 (en) 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
JP4770942B2 (ja) 2009-02-19 2011-09-14 株式会社デンソー 車外映像表示システムおよび車両
DE102009015921A1 (de) 2009-03-25 2010-09-30 Faro Technologies, Inc., Lake Mary Verfahren zum optischen Abtasten und Vermessen einer Umgebung
WO2010142929A1 (en) 2009-06-11 2010-12-16 Toshiba Research Europe Limited 3d image generation
JP4851564B2 (ja) * 2009-06-15 2012-01-11 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20110141224A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
JP2011159163A (ja) 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8458188B2 (en) 2010-02-17 2013-06-04 Lockheed Martin Corporation Voxel approach to terrain repositories for modeling and simulation
US8494687B2 (en) * 2010-03-12 2013-07-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method for enhancing a three dimensional image from a plurality of frames of flash LIDAR data
KR20110124473A (ko) 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
KR101665567B1 (ko) 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
US9400503B2 (en) * 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
US8602887B2 (en) * 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
US8811948B2 (en) 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access
CN102340681A (zh) * 2010-07-26 2012-02-01 深圳市锐取软件技术有限公司 3d立体视频单文件双视频流录制方法
KR20120011653A (ko) * 2010-07-29 2012-02-08 삼성전자주식회사 영상 처리 장치 및 방법
JP2012039331A (ja) * 2010-08-06 2012-02-23 Dainippon Printing Co Ltd 視差画像作成装置、視差画像作成方法、プログラム及び記憶媒体
JP2012054862A (ja) * 2010-09-03 2012-03-15 Sony Corp 画像処理装置および画像処理方法
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
KR101758058B1 (ko) * 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US20120194642A1 (en) * 2011-02-01 2012-08-02 Wen-Nung Lie Motion picture depth information processing system and method
JP2012191486A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像合成装置と画像合成方法およびプログラム
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
CN102622591B (zh) * 2012-01-12 2013-09-25 北京理工大学 3d人体姿态捕捉模仿系统
TWI584222B (zh) * 2012-02-17 2017-05-21 鈺立微電子股份有限公司 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法
US8855404B2 (en) * 2012-08-27 2014-10-07 The Boeing Company Methods and systems for inspecting a workpiece

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487303B1 (en) * 1996-11-06 2002-11-26 Komatsu Ltd. Object detector
US20030137449A1 (en) * 2002-01-22 2003-07-24 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
KR20090090983A (ko) * 2008-02-22 2009-08-26 이병국 복수의 카메라 영상을 이용한 공간좌표 추출방법
US20110074926A1 (en) * 2009-09-28 2011-03-31 Samsung Electronics Co. Ltd. System and method for creating 3d video
US20110115886A1 (en) * 2009-11-18 2011-05-19 The Board Of Trustees Of The University Of Illinois System for executing 3d propagation for depth image-based rendering

Also Published As

Publication number Publication date
CN104904200B (zh) 2018-05-15
AU2017228625B2 (en) 2019-06-20
US11490069B2 (en) 2022-11-01
JP2015535400A (ja) 2015-12-10
US20230058599A1 (en) 2023-02-23
EP2893702A1 (en) 2015-07-15
AU2017228625A1 (en) 2017-10-05
EP4221187A3 (en) 2023-08-09
EP4221187A2 (en) 2023-08-02
KR102515213B1 (ko) 2023-03-29
CN108345006A (zh) 2018-07-31
CA2884771C (en) 2021-06-29
US10244228B2 (en) 2019-03-26
KR20220039842A (ko) 2022-03-29
CA2884771A1 (en) 2014-03-13
KR102377634B1 (ko) 2022-03-22
US20210136346A1 (en) 2021-05-06
US20160234476A1 (en) 2016-08-11
EP2893702A4 (en) 2016-06-08
CN108345006B (zh) 2022-04-08
US20190222826A1 (en) 2019-07-18
US10893257B2 (en) 2021-01-12
US9161019B2 (en) 2015-10-13
AU2013312127B2 (en) 2017-09-28
AU2013312127A1 (en) 2015-04-30
US20140071234A1 (en) 2014-03-13
IN2015DN02915A (ko) 2015-09-18
CN104904200A (zh) 2015-09-09
KR20150086469A (ko) 2015-07-28
KR102245648B1 (ko) 2021-04-29
WO2014040081A1 (en) 2014-03-13
JP6235022B2 (ja) 2017-11-22

Similar Documents

Publication Publication Date Title
US11490069B2 (en) Multi-dimensional data capture of an environment using plural devices
CN107836012B (zh) 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
CN105393079B (zh) 基于上下文的深度传感器控制
CN105408938B (zh) 用于2d/3d空间特征处理的系统
CN105409212B (zh) 具有多视图图像捕捉和深度感测的电子设备
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
US10545215B2 (en) 4D camera tracking and optical stabilization
US11736802B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
JP2010128799A (ja) 複合メディア合成装置及び複合メディア表示システム及び複合メディア合成方法及び複合メディア合成プログラム
KR100923337B1 (ko) 환경 특성 정보 생성 장치 및 방법, 및 컴퓨터 판독가능 매체
EP3287988B1 (en) Modelling system and method
US11943539B2 (en) Systems and methods for capturing and generating panoramic three-dimensional models and images
Holdener et al. Design and implementation of a novel portable 360 stereo camera system with low-cost action cameras
Yang et al. Seeing as it happens: Real time 3D video event visualization
ELzaiady et al. Next-best-view planning for environment exploration and 3D model construction
CN116368350A (zh) 使用靶标的运动捕获校准

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant