KR20210157846A - 압축 가이드를 이용한 비행 시간 다운-업 샘플링 - Google Patents

압축 가이드를 이용한 비행 시간 다운-업 샘플링 Download PDF

Info

Publication number
KR20210157846A
KR20210157846A KR1020210025104A KR20210025104A KR20210157846A KR 20210157846 A KR20210157846 A KR 20210157846A KR 1020210025104 A KR1020210025104 A KR 1020210025104A KR 20210025104 A KR20210025104 A KR 20210025104A KR 20210157846 A KR20210157846 A KR 20210157846A
Authority
KR
South Korea
Prior art keywords
full resolution
pixel
downsampled
depth data
depth
Prior art date
Application number
KR1020210025104A
Other languages
English (en)
Inventor
테이어 와이스
로이 얌
갈 비탄
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210157846A publication Critical patent/KR20210157846A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

비행 시간(time-of-flight; ToF) 가이드된 다운-업 샘플링 방법은 ToF 센서의 전체 해상도 출력으로부터 가이드 함수를 계산하는 단계, 상기 전체 해상도 출력을 미리 정해진 샘플링 팩터로 다운샘플링하는 단계, 상기 다운샘플링된 출력으로부터 다운샘플링된 깊이 데이터를 계산하는 단계, 및 상기 가이드 함수를 이용하여 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계를 포함한다.

Description

압축 가이드를 이용한 비행 시간 다운-업 샘플링{TIME-OF-FLIGHT DOWN-UP SAMPLING USING A COMPRESSED GUIDE}
본 개시의 실시 예들은 비행 시간(time-of-flight; ToF) 센서들에 관한 것이다. 좀 더 상세하게는, 본 개시의 실시 예들은 저해상도 처리 및 고해상도 가이드를 이용한 업 샘플링을 수행함으로써 비행 시간 센서들의 실행 시간을 줄이는 방법에 관한 것이다.
비행 시간(time-of-flight; ToF)은 매질을 통해 물체, 입자, 또는 파동이 거리를 이동하는 데 걸리는 시간을 측정한 것이다. 이 정보는 속도 또는 경로의 길이를 측정하는 방법, 또는 입자 또는 매질의 속성을 학습하는 방법으로서 시간 표준을 구축하는 데 사용될 수 있다. ToF 카메라는 레이저 또는 LED에 의해 제공되는 인공적인 광신호의 왕복 이동 시간을 측정함으로써, 이미지의 각 포인트에 대해 카메라와 피사체 사이의 거리를 확인할 수 있는 거리(range) 이미징 카메라 시스템이다.
간접적인 ToF 깊이 측정 시스템들은 광원을 사용하여 정현파 또는 다른 파형과 같은 연속적인 변조된 광 파동을 방출한다. ToF 센서는 관찰되는 씬(scene) 상의 물체들로부터 반사되는 변조광(modulated light)을 감지한다. 씬으로부터 센서로 돌아오는 수신된 신호는 기존의 변조 신호와 상관 관계가 있다. 이 상관 관계는 0°, 90°, 180°, 그리고 270°에서 샘플링되고(sampled), 이 샘플들은 위상 A0, A90, A180, 그리고 A270이다. 명확한 설명을 위해, ToF 프로젝터 신호가
Figure pat00001
의 형태를 갖는다고 가정할 때, 상관 관계의 샘플링은 수학적으로 다음 수학식 1과 같이 나타난다.
Figure pat00002
B는 적분 구간 동안 일정한 것으로 가정되는 환경(ambient)이고, A0은 위의 식에서 i=0으로 설정했을 때 획득되는 값이고, A90은 i=1로 설정했을 때, A180은 i=2로 설정했을 때, 그리고 A270은 i=3으로 설정했을 때 획득되는 값이며, 센서의 유형에 따라
Figure pat00003
일 수도 있고,
Figure pat00004
일 수도 있다. A0, A90, A180, A270은 발산된 변조광 및 수신된 변조광 사이의 위상 시프트(phase shift)를 계산하는 데 이용된다. 이러한 위상 시프트로부터, ToF 센서와 씬 사이의 물리적인 거리(즉, 깊이)가 계산될 수 있다. 도 1은 ToF 깊이 측정 시스템을 위해 전송되는 변조광과 반사되는 변조광을 나타내며, φ는 송신된 신호와 수신된 신호 사이의 위상 시프트를 나타낸다.
위상 시프트는 다음 수학식 2로부터 계산될 수 있다.
Figure pat00005
Figure pat00006
는 센서 유형 또는 설정으로부터 기인하는 추가적인 상수 오프셋이다. 예를 들어, 위상 시프트는
Figure pat00007
에 따라 다르고, 깊이는 다음 수학식 3과 같이 위상 시프트에 비례한다.
Figure pat00008
c는 빛의 속도이고, fmod는 변조광의 변조 주파수이다. 수신 진폭은 다음 수학식 4로부터 계산될 수 있다.
Figure pat00009
ToF 측정의 결과는 포인트 클라우드(point cloud)로 알려진, 카르테시안(Cartesian) 좌표계 상의 포인트들의 집합 (X, Y, Z)와 같은 3차원 데이터로 표현될 수 있다. 특정 픽셀이 d라는 깊이 값을 측정하는 경우, 이 깊이 값은 해당 픽셀이 “바라보고” 있는, 센서 및 렌즈의 속성들로부터 알려지는 방향으로 투영되어(projected), 해당 픽셀에 의해 관찰되고 있는 물체 상의 포인트의 X, Y, 그리고 Z 좌표들을 결정한다.
도 2는 특정 픽셀에서 깊이 및 (X, Y, Z) 사이의 연결을 나타내고, 센서(22) 상의 픽셀 (u, v), 센서(22)로부터 초점 거리 f를 갖는 렌즈(20), 그리고 픽셀 투영 (X, Y, Z)를 나타내며, r은 깊이이다. 좌표 (u, v)는 픽셀의 수평 및 수직 인덱스들이고, (X, Y, Z)는 센서 평면의 중앙을 원점으로 하는 카르테시안 좌표계에서, 물체의 관찰된 부분의 카르테시안 좌표들을 나타낸다. r, X, Y, 그리고 Z 사이의 연결은 다음 수학식 5와 같이 나타난다.
Figure pat00010
X = Z tan(αx),
Y = Z tan(αy),
αx는 픽셀 투영의 수평 오프셋 각도이고, αy는 픽셀 투영의 수직 오프셋 각도이다.
많은 ToF 시스템들에서, 센서는 4개의 측정된 위상들 A0, A90, A180, 및 A270을 출력하고, 그것들을 이미지 신호 처리(image signal processing; ISP) 체인으로 제공한다. ISP 체인은 구형 깊이 및 포인트 클라우드 계산들을 포함하는 서로 다른 수 개의 처리 알고리즘들을 포함한다. 처리는 센서의 물리적 아티팩트(artifact)들에 기반하여 비교적 복잡할 수 있고, 공간 및 시간 노이즈 필터링, 캘리브레이션(calibration), 플라잉 픽셀(flying pixels) 정정 등을 포함한다.
ToF 센서들은 품질과 계산 리소스들 사이의 일정한(지속적인) 트레이드오프(tradeoff)를 직면하고, 고해상도는 동일한 품질에 대해 처리 비용이 더 많이 들도록 하여 이러한 트레이드오프를 악화시킨다.
본 개시의 실시 예는 4개의 위상들이 다운샘플링되는(downsampled) 다운-업 샘플링 솔루션에 의해 ISP 처리 시간을 줄이고, 다운샘플링된 데이터를 처리하고, 그리고 ISP 체인의 끝에서 전체(최대, full) 해상도 깊이 출력을 얻기 위해 전체 해상도의 압축 데이터를 이용하여 가이드된 업 샘플링 알고리즘을 수행하기 위한 시스템 및 방법에 관한 것이다.
본 개시의 실시 예에 따르면, ToF 센서의 전체 해상도 출력으로부터 가이드 함수를 계산하는 단계, 상기 전체 해상도 출력을 미리 정해진 샘플링 팩터로 다운샘플링하는 단계, 상기 다운샘플링된 출력으로부터 다운샘플링된 깊이 데이터를 계산하는 단계, 및 상기 가이드 함수를 이용하여 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계를 포함하는 비행 시간(time-of-flight; ToF) 가이드된 다운-업 샘플링 방법이 제공된다.
본 개시의 다른 실시 예에 따르면, 상기 방법은 상기 전체 해상도 출력을 필터링하는 단계를 포함한다.
본 개시의 다른 실시 예에 따르면, 상기 방법은 이미지 신호 처리 체인 내에서 상기 다운샘플링된 출력을 처리하는 단계, 및 상기 전체 해상도 깊이 데이터로부터 전체 해상도 포인트 클라우드를 계산하는 단계를 포함한다.
본 개시의 다른 실시 예에 따르면, 상기 출력은 수신된 신호와 기준 신호의 상관 관계의 샘플들이고, 상기 ToF 센서의 상기 전체 해상도 출력의 네 개의 이미지들로서 표현되는 위상들 A0, A90, A180, 및 A270의 집합을 포함한다.
본 개시의 다른 실시 예에 따르면, 상기 방법은 상기 전체 해상도 출력으로부터 제 1 및 제 2 위상 차이들을 계산하는 단계를 포함하되. 상기 가이드 함수는
Figure pat00011
, 상기 제 1 위상 차이는 A270-A90, 그리고 상기 제 2 위상 차이는 A0-A180으로 정의된다.
본 개시의 다른 실시 예에 따르면, 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계는 상기 다운샘플링된 깊이 데이터를 업샘플링된 영역에서
Figure pat00012
에 따라 나타내는 단계, 및 전체 해상도 깊이 데이터를
Figure pat00013
에 따라 재구축하는 단계를 포함하고, 상기
Figure pat00014
는 상기 업샘플링된 영역 상의 깊이이고,
Figure pat00015
는 다운샘플링된 깊이이고, 그리고 α는 다운-업 샘플링 팩터이고, supp i는 수직 방향으로 인덱스 i의 서포트(support)이고, supp j는 수평 방향으로 인덱스 j의 서포트이고,
Figure pat00016
는 픽셀 (i, j)에서의 업샘플링된 깊이이고, (n, m)은 (i, j)의 상기 서포트에서 상기 업샘플링된 영역의 상기 다운샘플링된 깊이 데이터의 인덱스이고, Ws는 상기 가이드 함수에 기반하여 계산된 픽셀 (n, m) 및 픽셀 (i, j) 사이의 유사도 가중치(similarity weight)이고, Guiden,m 및 Guidei,j는 각각 상기 업샘플링된 영역에서 픽셀 (n, m) 및 픽셀 (i, j)에 대한 가이드들이고, 그리고 Maskn,m은 1 또는 0의 값을 갖고, 픽셀 (i, j)의 상기 재구축에 있어 다운샘플링된 픽셀 (n, m)을 포함할 것인지 여부를 결정한다.
본 개시의 다른 실시 예에 따르면, 상기 가중치
Figure pat00017
는
Figure pat00018
로 정의되는 가우시안 함수들이고, σ는
Figure pat00019
의 제곱근에 비례하고, 미리 결정된 조절 가능한 팩터에 의해 샘플링된다.
본 개시의 다른 실시 예에 따르면, Maskn,m은 이웃한 픽셀들 또는 다른 외부 정보 사이의 깊이 유사도들에 기반하여 계산되고, 상기 전체 해상도 깊이 데이터를 상기 재구축한 결과로부터 신뢰할 수 없고 플라잉(flying) 픽셀들을 제거한다.
본 개시의 다른 실시 예에 따르면, 상기 깊이 데이터는 구형 깊이, 카르테시안(Cartesian) 좌표계, 또는 마스크 중 어느 하나이다.
본 개시의 실시 예에 따르면, ToF 센서의 전체 해상도 출력으로부터 계산된 제 1 및 제 2 위상 차이들로부터 다운샘플링된 깊이 데이터를 제공하는 단계, 및 상기 ToF 센서의 전체 해상도 출력으로부터 계산된 가이드 함수를 이용하여 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계를 포함하는 비행 시간(time-of-flight; ToF) 가이드된 다운-업 샘플링 방법이 제공된다. 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계는 상기 다운샘플링된 깊이 데이터를 업샘플링된 영역에서
Figure pat00020
에 따라 나타내는 단계, 및 전체 해상도 깊이 데이터를
Figure pat00021
에 따라 재구축하는 단계를 포함하고, 상기
Figure pat00022
는 상기 업샘플링된 영역 상의 깊이이고,
Figure pat00023
는 다운샘플링된 깊이이고, 그리고 α는 다운-업 샘플링 팩터이고, supp i는 수직 방향으로 인덱스 i의 서포트(support)이고, supp j는 수평 방향으로 인덱스 j의 서포트이고,
Figure pat00024
는 픽셀 (i, j)에서의 업샘플링된 깊이이고, (n, m)은 (i, j)의 상기 서포트에서 상기 업샘플링된 영역의 상기 다운샘플링된 깊이 데이터의 인덱스이고, Ws는 상기 가이드 함수에 기반하여 계산된 픽셀 (n, m) 및 픽셀 (i, j) 사이의 유사도 가중치(similarity weight)이고, Guiden,m 및 Guidei,j는 각각 상기 업샘플링된 영역에서 픽셀 (n, m) 및 픽셀 (i, j)에 대한 가이드들이고, 그리고 Maskn,m은 1 또는 0의 값을 갖고, 픽셀 (i, j)의 상기 재구축에 있어 다운샘플링된 픽셀 (n, m)을 포함할 것인지 여부를 결정한다.
본 개시의 다른 실시 예에 따르면, 상기 ToF 센서의 상기 전체 해상도 출력은 수신된 신호와 기준 신호의 상관 관계의 샘플들이고, 상기 ToF 센서의 상기 전체 해상도 출력의 네 개의 이미지들로서 표현되는 위상들 A0, A90, A180, 및 A270의 집합을 포함한다.
본 개시의 다른 실시 예에 따르면, 상기 방법은 상기 ToF 센서의 상기 전체 해상도 출력으로부터 상기 가이드 함수 및 상기 제 1 및 제 2 위상 차이들을 계산하는 단계, 상기 제 1 및 제 2 위상 차이들을 미리 결정된 샘플링 팩터로 다운샘플링하는 단계, 및 상기 다운샘플링된 제 1 및 제 2 위상 차이로부터 상기 다운샘플링된 깊이 데이터를 계산하는 단계를 포함하되, 상기 가이드 함수는
Figure pat00025
, 상기 제 1 위상 차이는 A270-A90, 그리고 상기 제 2 위상 차이는 A0-A180으로 정의된다.
본 개시의 다른 실시 예에 따르면, 상기 방법은 상기 전체 해상도 깊이 데이터로부터 전체 해상도 포인트 클라우드를 계산하는 단계를 포함한다.
본 개시의 실시 예에 따르면, 실행되었을 때 비행 시간(time of flight; ToF) 가이드된 다운-업 샘플링 방법을 수행하게 하는 명령어들의 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 프로그램 저장 장치가 제공된다. 상기 방법은 수신된 신호와 기준 신호의 상관관계의 샘플들이고, 네 개의 이미지들로서 표현되는 전체 해상도 ToF 위상들 A0, A90, A180, 및 A270의 집합을 수신하는 단계, 상기 ToF 센서에 의한 상기 전체 해상도 위상으로부터 가이드 함수, 및 제 1 및 제 2 위상 차이를 계산하는 단계, 상기 제 1 및 제 2 위상 차이를 미리 정해진 샘플링 팩터로 다운샘플링하는 단계, 상기 다운샘플링된 제 1 및 제 2 위상 차이로부터 다운샘플링된 깊이 데이터를 계산하는 단계, 및 상기 가이드 함수를 이용하여 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계를 포함한다.
본 개시의 다른 실시 예에 따르면, 상기 방법은 전체 해상도 제 1 및 제 2 위상 차이를 필터링하는 단계를 포함한다.
본 개시의 다른 실시 예에 따르면, 상기 방법은 상기 전체 해상도 깊이 데이터로부터 전체 해상도 포인트 클라우드를 계산하는 단계를 포함한다.
본 개시의 다른 실시 예에 따르면, 위상들의 상기 집합 A0, A90, A180, 및 A270은 각각 0°, 90°, 180°, 그리고 270°에서 샘플링되고, 상기 가이드 함수는
Figure pat00026
, 상기 제 1 위상 차이는 A270-A90, 그리고 상기 제 2 위상 차이는 A0-A180으로 정의된다.
본 개시의 다른 실시 예에 따르면, 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계는 상기 다운샘플링된 깊이 데이터를 업샘플링된 영역에서
Figure pat00027
에 따라 나타내는 단계, 및 전체 해상도 깊이 데이터를
Figure pat00028
에 따라 재구축하는 단계를 포함하고, 상기
Figure pat00029
는 상기 업샘플링된 영역 상의 깊이이고,
Figure pat00030
는 다운샘플링된 깊이이고, 그리고 α는 다운-업 샘플링 팩터이고, supp i는 수직 방향으로 인덱스 i의 서포트(support)이고, supp j는 수평 방향으로 인덱스 j의 서포트이고,
Figure pat00031
는 픽셀 (i, j)에서의 업샘플링된 깊이이고, (n, m)은 (i, j)의 상기 서포트에서 상기 업샘플링된 영역의 상기 다운샘플링된 깊이 데이터의 인덱스이고, Ws는 상기 가이드 함수에 기반하여 계산된 픽셀 (n, m) 및 픽셀 (i, j) 사이의 유사도 가중치(similarity weight)이고, Guiden,m 및 Guidei,j는 각각 상기 업샘플링된 영역에서 픽셀 (n, m) 및 픽셀 (i, j)에 대한 가이드들이고, 그리고 Maskn,m은 1 또는 0의 값을 갖고, 픽셀 (i, j)의 상기 재구축에 있어 다운샘플링된 픽셀 (n, m)을 포함할 것인지 여부를 결정한다.
본 개시의 다른 실시 예에 따르면, 상기 가중치
Figure pat00032
는
Figure pat00033
로 정의되는 가우시안 함수들이고, σ는
Figure pat00034
의 제곱근에 비례하고, 미리 결정된 조절 가능한 팩터에 의해 샘플링된다.
본 개시의 다른 실시 예에 따르면, Maskn,m은 이웃한 픽셀들 또는 다른 외부 정보 사이의 깊이 유사도들에 기반하여 계산되고, 상기 전체 해상도 깊이 데이터를 상기 재구축한 결과로부터 신뢰할 수 없고 플라잉(flying) 픽셀들을 제거한다.
본 개시의 실시 예에 따르면 저해상도 처리 및 고해상도 가이드를 이용한 업 스케일링을 수행함으로써 비행 시간 센서들의 실행 시간을 줄일 수 있다.
도 1은 본 개시의 실시 예에 따른 비행 시간(ToF) 깊이 측정 시스템을 위해 전송되고 반사되는 변조광을 나타낸다.
도 2는 본 개시의 실시 예에 따른 깊이와 x, y, 그리고 z 좌표들 사이의 관계를 나타낸다.
도 3은 본 개시의 실시 예에 따른 가이드된 업 샘플링 알고리즘에서 재구축 흐름을 나타낸다.
도 4는 본 개시의 실시 예에 따른 비행 시간(ToF) 압축 가이드 다운-업 샘플링의 흐름도이다.
도 5는 본 개시의 실시 예에 따른 비행 시간(ToF) 압축 가이드 다운-업 샘플링을 위한 방법을 구현하는 시스템의 블록도이다.
여기에 설명된 바와 같은 본 개시의 실시 예들은 일반적으로 비행 시간(time-of-flight; ToF) 압축 가이드 다운-업 샘플링을 위한 시스템 및 방법을 제공한다. 실시 예들은 다양한 수정 및 대안적인 형태가 가능하지만, 그 특정 실시 예는 도면에서 예로서 도시되고, 여기에서 상세하게 설명될 것이다. 그러나, 본 개시를 개시된 특정 형태로 제한하려는 의도는 없지만, 반대로 본 개시는 본 개시의 사상 및 범위 내에 속하는 모든 수정, 등가물 및 대안을 포괄하는 것임을 이해해야 한다.
본 개시의 실시 예들은 대부분의 자연 데이터가 적어도 부분적으로 매끄럽고(piecewise-smooth), 해상도 감소에 대해 잘 렌더링(rendering)된다는 사실에 기반하여, 고해상도 가이드를 사용한 업 샘플링이 이어지는(후속하는, 뒤따르는) 저해상도 처리(즉, 저해상도 처리 후 고해상도 가이드를 사용한 업 샘플링을 하는) 방법을 제공한다.
본 개시의 실시 예에 따라, 센서들의 출력은 서로 다른 구간들에서 수신된 신호와 기준 신호의 상관 관계의 샘플들이고, 센서의 원래 해상도에서의 이미지들인 4개의 위상 측정들의 집합이다. 원래의, 전체 해상도는 S로 나타날 수 있으며, 도 3의 오른쪽에 나타난 업샘플링된(up-sampled) 그리드의 크기에 대응한다. 예를 들어, 센서가 480 행들 및 640 열들의 해상도를 갖는 경우, S=480 × 640 = 307,200이다. 전체 해상도 Z 맵은 센서의 원래 해상도에서의 이미지이고, 각 픽셀은 이 픽셀이 보는 씬(scene)의 일부의 Z 좌표를 보유하며, 여기서 i, j는 픽셀 인덱스이다. 유사하게, X는 센서의 원래 해상도에서의 이미지이고, 각 픽셀은 이 픽셀이 보는 씬의 일부의 X 좌표를 보유하고, Y의 경우도 마찬가지이다.
본 개시의 실시 예에 따라, 4개의 위상 맵들인 센서의 출력들은 압축 가이드를 계산하기 위해 수신되고 사용된다. 가이드는 ToF 데이터를 나타내는 위상들의 임의의 적절한 함수일 수 있고, 깊이 출력과 상당히 상관관계를 갖는다. 이러한 가이드 함수의 예로는 다음 수학식 6과 같은 세기(intensity)가 있다.
Figure pat00035
그러나, 실시 예들은 이에 제한되지 않는다. 예를 들어, 다른 실시 예들에서, 가이드 함수는 위에서 정의된 진폭(amplitude)일 수 있다. 실시 예에 따라, 위상 차이들은 또한 다음 수학식 7과 같이 계산된다.
Figure pat00036
세기(intensity) I와 Q 맵들은 원래 센서의 전체 해상도에서 계산된다. 실시 예에 따라, I와 Q 맵들은 양방향(bilateral) 필터로 필터링되고, 각 차원에서 팩터(factor) α로 다운샘플링된다. 실시 예에 따른 비행 시간 이미지 신호 처리(ToF ISP) 체인은 그 후 다운샘플링된 I와 Q 상에서 동작하고, 캘리브레이션(calibration), 공간적 및 시간적 노이즈 필터링, 플라잉 픽셀 교정 등과 같은 다양한 처리 알고리즘들을 수행하고, 및 관찰된 씬의 Z 좌표 계산과 함께 종료한다. 이 처리의 실행 시간은 다운샘플링 팩터 α2에 의해 줄어든다.
그 후, 실시 예에 따라, 전체 해상도 Z 맵을 생성하기 위해 저해상도 Z 데이터 상의 압축 세기 가이드를 사용하여 가이드된 업 샘플링이 수행된다. 도 3은 Z 출력을 재구축하는 실시 예에 따른 가이드된 업 샘플링 알고리즘을 나타낸다. 도 3을 참조하면, 첫 번째 단계(단계 1)는 다운샘플링된 Z 데이터를 다음 수학식 8에 따라 업샘플링된 그리드에 나타내는 것이다.
Figure pat00037
Figure pat00038
는 업샘플링된 그리드 상에서 재구축된 Z이고,
Figure pat00039
는 다운샘플링된 Z이고, α는 업/다운 샘플링 팩터이다.
실시 예에 따라, 두 번째 단계(단계 2)에서, 재구축(reconstruction)은 다음 수학식 9에 따라 수행된다.
Figure pat00040
supp i는 수직 방향으로 인덱스 i의 서포트(support)이고, supp j는 수평 방향으로 인덱스 j의 서포트이다.
Figure pat00041
는 픽셀 (i, j)에서 업샘플링된 Z이고, 도 3의 흰색 픽셀들(32)이다. 단계 1 이후 회색 픽셀들은 단계 2 이후 회색 픽셀들에 대응하지만, 단계 2에서, 단계 1로부터의 회색 픽셀들은 “알려진 데이터”
Figure pat00042
로서 기능하고, 재구축될 필요가 있는 새로운 데이터인
Figure pat00043
는 흰색 픽셀들이다.
(n, m)은 (i, j)의 서포트에서 업샘플링된 그리드 상의 다운샘플링된 데이터의 인덱스이고, (n, m)은 오직 도 3의 회색 픽셀들(31)인, 다운샘플링된 영역으로부터의 데이터를 포함하는 업샘플링된 그리드 상의 픽셀들만 나타낸다.
Ws는 가이드에 기반하여 계산된 픽셀 (n, m) 및 픽셀 (i, j) 사이의 유사도 가중치(similarity weight)인데, 한 실시 예에서, 가중치들은 공식
Figure pat00044
로 정의되는 가우시안 가중치들이고, 여기서 표준편차는 세기의 제곱근에 비례하는데, 이는 샷 노이즈(shot noise) 가정 하의 노이즈 레벨의 추정이고, 미리 결정된 조절 가능한 팩터에 의해 샘플링된다.
Guiden,m 및 Guidei,j는 각각 업샘플링된 영역의 인덱스 [n, m] 및 인덱스 [i, j]에서의, 위에서 정의된 가이드이다.
Maskn,m은 1 또는 0의 값을 갖고, 이웃하는 픽셀들 사이의 Z 유사도 또는 ISP로부터의 다른 외부 정보에 기반하여, 픽셀 (i, j)의 상기 재구축에 있어 픽셀 (n, m)을 포함할 것인지 여부를 결정한다. 마스크(mask)는 출력을 흐릿하게 하지 않고, 플라잉 픽셀들을 생성하지 않기 위해, 평균 계산으로부터 픽셀들을 제외하는 것을 목적으로 한다.
실시 예에 따라, Guide는 위에 정의된 세기(intensity) 함수이나, 본 개시는 이에 제한되지 않는다. Mask는 ISP 처리 체인의 서로 다른 단계들에서 계산되고 업데이트된다. 낮은 신호 대 잡음비(SNR)/진폭을 갖는 신뢰할 수 없는(unreliable) 픽셀들은 마스킹되고, 플라잉 픽셀 교정 블록은 플라잉 픽셀들로 식별되었으나 교정되지 않았던 픽셀들을 마스크하기 위해 마스크를 업데이트한다. 업샘플링 블록에서, 이 마스크는 사용되고, 주위의 이웃하는 픽셀의 재구축을 위해 사용되는 이웃하는 픽셀들 사이의 Z 유사도에 기반하여 업데이트된다.
플라잉 픽셀들은 깊이 값이 정확하지 않고, 그들의 이웃들의 깊이 값과 차이가 많이 나는 픽셀들이다. 그들은 씬(scene)의 3차원 뷰, 즉 포인트 클라우드에서, “날으는(flying)”것처럼 보이고 씬의 물체들과 관련이 없는 것처럼 보이기 때문에 플라잉이라고 지칭된다. 플라잉 픽셀들은 수 개의 원인들을 갖는다. 예를 들어, 픽셀이 깊이들 사이의 불균일한 전환(즉, 센서로부터 서로 다른 거리들에 있는 두 물체들 사이의 전환)이 있는 씬의 영역을 “바라보고” 있는 경우, 픽셀은 서로 다른 두 거리들로부터의 신호들의 혼합된 값(mixture)을 수신할 것이고, 따라서 잘못된 깊이 값을 가질 것이다. 나아가, 필터링은 플라잉 픽셀들을 발생시킬 수 있다. 서로 다른 거리의 서로 다른 표면들로부터의 두 픽셀들의 평균이 계산되는 경우, 결과는 잘못된 깊이일 것이다. 플라잉 픽셀들은 서로 다른 거리에 있는 서로 다른 물체들의 픽셀들의 Z 값들의 평균이 보간 과정에서 계산되는 경우 발생할 수 있는데, Z 결과는 이웃하는 Z 값들이 혼합되어 플라잉 픽셀로 나타날 것이기 때문이다.
도 4는 본 개시의 실시 예에 따른 비행 시간(ToF) 압축 가이드 다운-업 샘플링 알고리즘의 흐름도이다. 도 4를 참조하면, 각 픽셀에 대한 ToF 센서의 출력 데이터이고 크기 4×S를 갖는 데이터 세트인 A0, A90, A180, 및 A270이 주어졌을 때, 선택적인 첫 번째 단계 401은 위상 차이들 I를 계산하는 것이고, Q 또한 샘플링된 위상들로부터 계산될 수 있다. 단계 402에서, 가이드 함수는 전체 해상도 S에서 ToF 센서 출력 데이터로부터 계산된다. 가이드 함수의 예는 세기(intensity) 함수이다. ToF 센서 출력 데이터 및 위상 차이들은 다음 단계 403으로 전송되는데, ToF 센서 출력 데이터 및 위상 차이들은 팩터 α로 다운샘플링된다. ToF 센서 출력 데이터 및 위상 차이들은 또한 앨리어싱(aliasing)을 줄이기 위해 다운샘플링 전에 필터링될 수 있다. 노이즈를 감소시키고 부드럽게 하는 필터의 예는 양방향(bilateral) 필터이다. 출력은 다운샘플링된 출력 데이터이고, 이는
Figure pat00045
의 해상도를 갖고 ISP 체인에 의해 처리되기 위해 다음 단계 404로 전송된다. ISP 체인은
Figure pat00046
의 해상도를 갖는 다운샘플링된 출력 데이터로부터 깊이 데이터를 계산한다. 예를 들어, 깊이 데이터는 구형 깊이, 카르테시안(Cartesian) 좌표계 X, Y, Z, 또는 Mask 중 어느 하나 이상일 수 있다. 깊이 데이터는, 단계 402로부터 수신된 가이드 함수에 의해 가이드됨에 따라 가이드된 업 샘플링이 수행되는 다음 단계 405로 전송된다. 업샘플링된 깊이 데이터는 상술한 수학식 9에 기반하여 계산되는데, 가중치들 Ws는 전체 해상도 가이드에 기반하여 계산된다. 업샘플링된 깊이 데이터는 원래의 해상도 S를 갖고, 포인트 클라우드 및 깊이 계산들을 위해 다음 단계 406으로 전송된다. 단계 406의 출력은 전체 해상도 4×S에 대한 X, Y, Z, 그리고 깊이를 포함한다.
본 개시의 실시 예에 따른 방법들은 다운샘플링의 팩터에 의해 ToF 실행 시간을 줄일 수 있다. 그러나, 고주파수 특징들은 업 샘플링 처리를 지원하기 위해 압축된 원래 해상도 또는 희소(sparse) 정보를 사용하여 검색(회수)될 수 있다. 압축된 가이드는 ISP 체인을 통해 원래 데이터를 저장할 필요를 제거한다. 본 개시의 실시 예들은 포인트 클라우드 아티팩트들 및 깊이에 대한 ToF 민감도를 고려하여, ToF 시스템들의 실행 시간 및 전력 감소를 위한 고유한 솔루션을 제공한다. 본 개시의 실시 예에 따른 방법은 무시할만한 양의 ToF 아티팩트들(플라잉 픽셀들과 같은)을 갖고, 세부 정보를 검색하기 위해 원래(raw) 입력 및 깊이 사이의 상관 관계를 이용한다.
본 개시의 실시 예들은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세스, 또는 이들의 조합의 다양한 형태로 구현될 수 있음을 이해해야 한다. 일부 실시 예들에서, 본 개시는 주문형 집적 회로(ASIC) 또는 필드 프로그래밍 가능 게이트 어레이(FPGA)로서 하드웨어에서 구현될 수 있다. 다른 실시 예들에서, 본 개시는 컴퓨터 판독 가능 프로그램 저장 장치 상에 구현된 유형의 애플리케이션 프로그램으로서 소프트웨어 상에 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 아키텍처를 포함하는 기계에 업로드되고, 기계에 의해 실행될 수 있다.
도 5는 본 개시의 실시 예에 따른 비행 시간(ToF) 압축 가이드 다운-업 샘플링을 위한 방법을 구현하는 시스템의 블록도이다. 이제 도 5를 참조하면, 본 개시를 구현하기 위한 컴퓨터 시스템(51)은 특히 프로세서(52), 메모리(53), 및 입출력 인터페이스(54)를 포함할 수 있다. 컴퓨터 시스템(51)은 일반적으로 입출력 인터페이스(54)를 통해 디스플레이(55), 및 마우스와 키보드와 같은 다양한 입력 장치들(56)로 연결된다. 지지 회로들은 캐시, 파워 서플라이, 클록 회로, 및 통신 버스와 같은 회로들을 포함할 수 있다. 프로세서(52)는 GPU, 신경 프로세서, 또는 전용 하드웨어일 수 있다. GPU 및 신경 프로세서는 심층 신경망(deep neural network)을 실행하는 데 적합하고, GPU 및 전용 하드웨어는 실시 예들에 따른 등록 및 MC-FI 모듈에 적합하다. 메모리(53)는 RAM, ROM, 디스크 드라이브, 테이프 드라이브, 기타 등등, 또는 이들의 조합을 포함할 수 있다. 본 개시는 메모리(53)에 저장되고 프로세서(52)에 의해 실행되는 루틴(57)으로서 구현될 수 있다. 이와 같이, 컴퓨터 시스템(51)은 본 개시의 루틴(57)을 실행하는 경우 전용 목적 컴퓨터 시스템이 되는 범용 컴퓨터 시스템이다. 대안적으로, 상술된 바와 같이, 본 개시의 실시 예들은 프로세서(52)와 신호 통신하는 ASIC 또는 FPGA(57)로서 구현될 수 있다.
컴퓨터 시스템(51)은 또한 운영 체제 및 마이크로 명령 코드를 포함한다. 여기에 설명된 다양한 과정들 및 기능들은 운영 체제를 통해 실행되는 마이크로 명령 코드의 일부 또는 애플리케이션 프로그램의 일부(또는 이들의 조합)일 수 있다. 나아가, 추가적인 데이터 저장 장치 및 프린팅 장치와 같은 다양한 다른 주변 장치들은 컴퓨터 플랫폼과 연결될 수 있다.
첨부된 도면에 나타난 시스템 구성 요소들 및 방법의 단계들 중 일부는 소프트웨어로 구현될 수 있기 때문에, 시스템 구성 요소들(또는 과정의 단계들) 간의 실제 연결들은 본 개시가 프로그램된 방법에 따라 다를 수 있다. 여기에 제공된 본 개시의 교시가 주어지면, 통상의 기술자는 이들 및 본 개시의 유사한 구현 또는 구성을 고려할 수 있을 것이다.
본 개시가 실시 예들을 참조하여 상세하게 설명되었지만, 통상의 기술자는 첨부된 청구 범위에 기재된 본 개시의 사상 및 범위를 벗어나지 않고 다양한 변경 및 대체가 이루어질 수 있음을 이해할 것이다.

Claims (10)

  1. 비행 시간(time-of-flight; ToF) 가이드된 다운-업 샘플링 방법에 있어서,
    ToF 센서의 전체 해상도 출력으로부터 가이드 함수를 계산하는 단계;
    상기 전체 해상도 출력을 미리 정해진 샘플링 팩터로 다운샘플링하는 단계;
    상기 다운샘플링된 출력으로부터 다운샘플링된 깊이 데이터를 계산하는 단계; 및
    상기 가이드 함수를 이용하여 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 전체 해상도 출력을 필터링하는 단계를 더 포함하는 방법.
  3. 제 1 항에 있어서,
    이미지 신호 처리 체인 내에서 상기 다운샘플링된 출력을 처리하는 단계; 및
    상기 전체 해상도 깊이 데이터로부터 전체 해상도 포인트 클라우드를 계산하는 단계를 더 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 출력은 수신된 신호와 기준 신호의 상관 관계의 샘플들이고, 상기 ToF 센서의 상기 전체 해상도 출력의 네 개의 이미지들로서 표현되는 위상들 A0, A90, A180, 및 A270의 집합을 포함하는 방법.
  5. 제 4 항에 있어서,
    상기 전체 해상도 출력으로부터 제 1 및 제 2 위상 차이들을 계산하는 단계를 더 포함하되,
    상기 가이드 함수는
    Figure pat00047
    , 상기 제 1 위상 차이는 A270-A90, 그리고 상기 제 2 위상 차이는 A0-A180으로 정의되는 방법.
  6. 제 1 항에 있어서,
    상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계는:
    상기 다운샘플링된 깊이 데이터를 업샘플링된 영역에서
    Figure pat00048
    에 따라 나타내는 단계; 및
    전체 해상도 깊이 데이터를
    Figure pat00049
    에 따라 재구축하는 단계를 포함하고,
    상기
    Figure pat00050
    는 상기 업샘플링된 영역 상의 깊이이고,
    Figure pat00051
    는 다운샘플링된 깊이이고, 그리고 α는 다운-업 샘플링 팩터이고, supp i는 수직 방향으로 인덱스 i의 서포트(support)이고, supp j는 수평 방향으로 인덱스 j의 서포트이고,
    Figure pat00052
    는 픽셀 (i, j)에서의 업샘플링된 깊이이고,
    (n, m)은 (i, j)의 상기 서포트에서 상기 업샘플링된 영역의 상기 다운샘플링된 깊이 데이터의 인덱스이고,
    Ws는 상기 가이드 함수에 기반하여 계산된 픽셀 (n, m) 및 픽셀 (i, j) 사이의 유사도 가중치(similarity weight)이고, Guiden,m 및 Guidei,j는 각각 상기 업샘플링된 영역에서 픽셀 (n, m) 및 픽셀 (i, j)에 대한 가이드들이고, 그리고 Maskn,m은 1 또는 0의 값을 갖고, 픽셀 (i, j)의 상기 재구축에 있어 다운샘플링된 픽셀 (n, m)을 포함할 것인지 여부를 결정하는 방법.
  7. 제 6 항에 있어서,
    상기 가중치
    Figure pat00053
    는
    Figure pat00054
    로 정의되는 가우시안 함수들이고, σ는
    Figure pat00055
    의 제곱근에 비례하고, 미리 결정된 조절 가능한 팩터에 의해 샘플링되는 방법.
  8. 제 6 항에 있어서,
    Maskn,m은 이웃한 픽셀들 또는 다른 외부 정보 사이의 깊이 유사도들에 기반하여 계산되고, 상기 전체 해상도 깊이 데이터를 상기 재구축한 결과로부터 신뢰할 수 없고 플라잉(flying) 픽셀들을 제거하는 방법.
  9. 비행 시간(time-of-flight; ToF) 가이드된 다운-업 샘플링 방법에 있어서,
    ToF 센서의 전체 해상도 출력으로부터 계산된 제 1 및 제 2 위상 차이들로부터 다운샘플링된 깊이 데이터를 제공하는 단계; 및
    상기 ToF 센서의 상기 전체 해상도 출력으로부터 계산된 가이드 함수를 이용하여 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계를 포함하되,
    상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계는:
    상기 다운샘플링된 깊이 데이터를 업샘플링된 영역에서
    Figure pat00056
    에 따라 나타내는 단계; 및
    전체 해상도 깊이 데이터를
    Figure pat00057
    에 따라 재구축하는 단계를 포함하고,
    상기
    Figure pat00058
    는 상기 업샘플링된 영역 상의 깊이이고,
    Figure pat00059
    는 다운샘플링된 깊이이고, 그리고 α는 다운-업 샘플링 팩터이고, supp i는 수직 방향으로 인덱스 i의 서포트(support)이고, supp j는 수평 방향으로 인덱스 j의 서포트이고,
    Figure pat00060
    는 픽셀 (i, j)에서의 업샘플링된 깊이이고,
    (n, m)은 (i, j)의 상기 서포트에서 상기 업샘플링된 영역의 상기 다운샘플링된 깊이 데이터의 인덱스이고,
    Ws는 상기 가이드 함수에 기반하여 계산된 픽셀 (n, m) 및 픽셀 (i, j) 사이의 유사도 가중치(similarity weight)이고, Guiden,m 및 Guidei,j는 각각 상기 업샘플링된 영역에서 픽셀 (n, m) 및 픽셀 (i, j)에 대한 가이드들이고, 그리고 Maskn,m은 1 또는 0의 값을 갖고, 픽셀 (i, j)의 상기 재구축에 있어 다운샘플링된 픽셀 (n, m)을 포함할 것인지 여부를 결정하는 방법.
  10. 비일시적 컴퓨터 판독 가능 프로그램 저장 장치에 있어서, 상기 컴퓨터 판독가능 프로그램 저장 장치는 실행되었을 때 비행 시간(time-of-flight; ToF) 가이드된 다운-업 샘플링 방법을 수행하게 하는 명령어들의 프로그램을 포함하되,
    상기 방법은:
    ToF 센서로부터, 수신된 신호와 기준 신호의 상관관계의 샘플들이고, 네 개의 이미지들로서 표현되는 전체 해상도 ToF 위상 측정치(척도)들 A0, A90, A180, 및 A270의 집합을 수신하는 단계;
    상기 ToF 센서에 의한 상기 전체 해상도 위상 측정치들로부터 가이드 함수, 및 제 1 및 제 2 위상 차이들을 계산하는 단계;
    상기 제 1 및 제 2 위상 차이들을 미리 정해진 샘플링 팩터로 다운샘플링하는 단계;
    상기 다운샘플링된 제 1 및 제 2 위상 차이들로부터 다운샘플링된 깊이 데이터를 계산하는 단계; 및
    상기 가이드 함수를 이용하여 상기 다운샘플링된 깊이 데이터를 전체 해상도로 업샘플링하는 단계를 포함하는 컴퓨터 판독 가능 프로그램 저장 장치.
KR1020210025104A 2020-06-22 2021-02-24 압축 가이드를 이용한 비행 시간 다운-업 샘플링 KR20210157846A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/908,722 US11425324B2 (en) 2020-06-22 2020-06-22 Time-of-flight down-up sampling using a compressed guide
US16/908,722 2020-06-22

Publications (1)

Publication Number Publication Date
KR20210157846A true KR20210157846A (ko) 2021-12-29

Family

ID=79022167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025104A KR20210157846A (ko) 2020-06-22 2021-02-24 압축 가이드를 이용한 비행 시간 다운-업 샘플링

Country Status (2)

Country Link
US (1) US11425324B2 (ko)
KR (1) KR20210157846A (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
LU92074B1 (en) * 2012-09-18 2014-03-19 Iee Sarl Depth image enhancement method
JP6787667B2 (ja) * 2012-09-21 2020-11-18 ノキア テクノロジーズ オサケユイチア ビデオコーディングのための方法と装置
US10362296B2 (en) * 2017-08-17 2019-07-23 Microsoft Technology Licensing, Llc Localized depth map generation
US10482618B2 (en) * 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10510155B1 (en) * 2019-06-11 2019-12-17 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera

Also Published As

Publication number Publication date
US11425324B2 (en) 2022-08-23
US20210400217A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
CN109477710B (zh) 基于点的结构化光系统的反射率图估计
DE102016107959B4 (de) Auf strukturiertem Licht basierende Multipfadlöschung bei ToF-Bilderzeugung
US8988317B1 (en) Depth determination for light field images
US8983177B2 (en) Method for increasing resolutions of depth images
US20150381965A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
US20170329012A1 (en) Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP2016099346A (ja) シーンを再構成するシステムおよび方法
WO2013052781A1 (en) Method and apparatus to determine depth information for a scene of interest
US20040184648A1 (en) System and method for shape reconstruction from optical images
Inglis et al. A pipeline for structured light bathymetric mapping
JP2016105108A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20140027468A (ko) 깊이 측정치 품질 향상
CN108805946B (zh) 用于为二维超声图像绘阴影的方法和系统
CN109087325B (zh) 一种基于单目视觉的直接法点云三维重建及尺度确定方法
EP3629055B1 (en) Method and apparatus for acquiring depth image, and electronic device
CN111047650B (zh) 一种用于飞行时间相机的参数标定方法
JP7060157B2 (ja) データ圧縮装置、データ圧縮方法、及びプログラム
JP4843544B2 (ja) ３次元画像補正方法及びその装置
US20210231812A1 (en) Device and method
KR102254627B1 (ko) 높은 스루풋 및 저비용 높이 삼각측량 시스템 및 방법
US20180063425A1 (en) Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image
Lyu et al. Structured light-based underwater 3-D reconstruction techniques: A comparative study
US8818124B1 (en) Methods, apparatus, and systems for super resolution of LIDAR data sets
KR20210157846A (ko) 압축 가이드를 이용한 비행 시간 다운-업 샘플링
WO2021014799A1 (ja) 信号処理装置、信号処理方法

Legal Events

Date Code Title Description
A201 Request for examination