KR102490335B1 - 타임 오브 플라이트 데이터를 비닝하는 방법 - Google Patents

타임 오브 플라이트 데이터를 비닝하는 방법 Download PDF

Info

Publication number
KR102490335B1
KR102490335B1 KR1020167035886A KR20167035886A KR102490335B1 KR 102490335 B1 KR102490335 B1 KR 102490335B1 KR 1020167035886 A KR1020167035886 A KR 1020167035886A KR 20167035886 A KR20167035886 A KR 20167035886A KR 102490335 B1 KR102490335 B1 KR 102490335B1
Authority
KR
South Korea
Prior art keywords
data
binning
tof
scene
reliability
Prior art date
Application number
KR1020167035886A
Other languages
English (en)
Other versions
KR20170035844A (ko
Inventor
니에우베노베 다니엘 반
Original Assignee
소니 뎁쓰센싱 솔루션즈 에스에이/엔브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 뎁쓰센싱 솔루션즈 에스에이/엔브이 filed Critical 소니 뎁쓰센싱 솔루션즈 에스에이/엔브이
Publication of KR20170035844A publication Critical patent/KR20170035844A/ko
Application granted granted Critical
Publication of KR102490335B1 publication Critical patent/KR102490335B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 TOF 측정들의 정확도를 증가시키고 상기 TOF 측정들의 노이즈를 감소시키기 위해, 씬(scene)으로부터의 타임-오브-플라이트(Time-Of-Flight; TOF) 데이터를 비닝(binning)하는 방법으로서, 상기 TOF 데이터는 위상 데이터 및 신뢰도 데이터를 포함하며, 상기 방법은 다수의 변조 신호들로 상기 씬에 조명을 비춤으로써 다수의 TOF 데이터를 획득하는 단계; 각각의 변조 신호를, 상응하는 위상 데이터 및 신뢰도(confidence) 데이터에 의해 정의되는 벡터와 연관시키는 단계; 비닝된 벡터를 획득하기 위해 상기 다수의 벡터들을 가산하는 단계; 상기 비닝된 벡터의 위상 및 신뢰도를 결정하는 단계; 및 상기 씬의 깊이 데이터를 획득하기 위해 상기 비닝된 벡터의 상기 위상 데이터 및 상기 신뢰도 데이터를 처리하는 단계를 포함하는, 타임 오브 플라이트 데이터 비닝 방법에 관한 것이다.

Description

타임 오브 플라이트 데이터를 비닝하는 방법 {A method for binning time-of-flight data}
본 발명은 타임-오브-플라이트(Time-Of-Flight; TOF) 데이터를 비닝(binning)하기 위한 방법에 관한 것이다. 구체적으로, 본 발명은 노이즈를 최소화하면서 더 정확한 타임-오브-플라이트 측정들을 수행하기 위한 방법에 관한 것이다.
타임-오브-플라이트(TOF) 기술은 깊이 인식을 위한 유망한 기술이다. 표준 TOF 카메라 시스템(3)의 잘-알려진 기본적인 동작 원리는 도 1에 도시되어 있다. 상기 TOF 카메라 시스템(3)은 전용 조명 유닛(18)으로부터 물체(object)까지의 광의 비행시간을 분석함으로써 씬(scene)(15)의 3D 이미지들을 캡처한다. TOF 카메라 시스템(3)은 카메라(예를 들어, 3D 센서(1) 및 데이터 처리 수단(4))를 포함한다. 상기 씬(15)은 상기 전용 조명 유닛(18)을 사용하여 미리 정해진 파장의 변조된 광(16)으로, 예를 들어 적어도 하나의 미리 정해진 주파수의 일부 광 펄스들로, 능동적으로 조명된다. 상기 변조된 광은 그 씬 내의 물체들로부터 반대로 반사된다. 렌즈(2)는 그 반사된 광(17)을 모으며, 그리고 상기 카메라의 이미징 센서(1) 상에 상기 물체들의 이미지를 형성한다. 상기 카메라로부터 물체들까지의 거리에 따라, 상기 변조된 광의 방사(예를 들면, 소위 광 펄스들의 방사)와 상기 카메라에서의 상기 반사된 광 펄스들의 수신 사이에 지연이 존재한다. 반사 물체들과 카메라 간의 거리는 관찰된 시간 지연 및 광속 상수 값의 함수로서 결정될 수 있다.
카메라로부터 물체들까지의 거리는 다음과 같이 계산될 수 있다. 명확히 하기 위해, 신호들의 예가 도 2에 주어진다. 변조 신호(16)(S)는 물체를 향해 송신된다. 상기 물체에서 반사된 후, 신호(17)(
Figure 112016125958180-pct00001
)는 광검출기에 의해 감지된다. 이 신호(
Figure 112016125958180-pct00002
)는 이동 시간 때문에 원 신호(original signal)(S)에 비해 위상
Figure 112016125958180-pct00003
만큼 위상-변이된다. 예를 들어, 상기 신호(16)(S)가 정현파 형태의 신호라면 :
Figure 112016125958180-pct00004
(방정식 1)
Figure 112016125958180-pct00005
는 다음의 수학적 형태로 위상 이동된 파로서 나타날 수 있다 :
Figure 112016125958180-pct00006
(방정식 2)
소위 동상 I 컴포넌트 및 직교 Q 컴포넌트를 다음과 같이 정의함으로써 :
Figure 112016125958180-pct00007
및
Figure 112016125958180-pct00008
(방정식 3, 4)
Figure 112016125958180-pct00009
는 다음과 같이 표시될 수 있다 :
Figure 112016125958180-pct00010
(방정식 5)
이 방정식은 그림 3에 표현된 바와 같이 극형식의
Figure 112016125958180-pct00011
를 벡터로서 나타낼 수 있다. 이 때,
Figure 112016125958180-pct00012
는
Figure 112016125958180-pct00013
의 위상이며, r은 상기 신호
Figure 112016125958180-pct00014
의 진폭 A에 대응하는 파라미터이고 또한 소위 신뢰도(confidence)와 관련된다.
Figure 112016125958180-pct00015
, I, Q는 카메라로부터 물체들까지의 거리를 측정하기 위한 주요 파라미터들이다. 이러한 파라미터들을 측정하기 위해, 상기 광검출된 신호(
Figure 112016125958180-pct00016
)는 일반적으로
Figure 112016125958180-pct00017
,
Figure 112016125958180-pct00018
,
Figure 112016125958180-pct00019
및
Figure 112016125958180-pct00020
이름의 전기적 기준 신호들(electrical reference signals)과 상관(correlated)된다. 도 2에 도시된 바와 같이,
Figure 112016125958180-pct00021
,
Figure 112016125958180-pct00022
,
Figure 112016125958180-pct00023
및
Figure 112016125958180-pct00024
는 상기 원 광 신호(S)에 비해 각각 0℃, 180℃, 90℃ 및 270℃ 만큼 시프트된 전기적 기준 신호들이다. 획득된 상기 상관 신호(correlation signal)들은 다음과 같이 정의된다 :
Figure 112016125958180-pct00025
(방정식 6-9)
그 다음, 두 개의 파라미터들 I 및 Q는 다음과 같이 계산된다 :
Figure 112016125958180-pct00026
(방정식 10, 11)
Figure 112016125958180-pct00027
및
Figure 112016125958180-pct00028
는 각각, 상기 광검출된 신호(
Figure 112016125958180-pct00029
)의 진폭 변화 및 상기 상관의 효율(efficiency)이다.
Figure 112016125958180-pct00030
의 추출은 상기 변조 신호(S)의 형상에 의존한다. 예를 들어, S가 사인파라면,
Figure 112016125958180-pct00031
(방정식 12-14)
상기 위상
Figure 112016125958180-pct00032
가 알려지면, 상기 카메라로부터 물체들까지의 거리
Figure 112016125958180-pct00033
는 다음의 공식을 사용하여 획득될 수 있다 :
Figure 112016125958180-pct00034
(방정식 15)
이 때,
Figure 112016125958180-pct00035
는 변조 주파수이며, n은 정수(integer number)이다.
종래 기술에서, 데이터 비닝(data binning)은 이미지들의 노이즈를 감소시키기 위해 사용되는 기술이다. 이는 작은 관측 오류들의 영향을 감소시키는데 사용되는 데이터 사전 처리 기술이다. 주어진 작은 간격인 빈(bin)에 속하는 원시 데이터 값들은 그 간격을 나타내는 값(종종 중앙값이라 함)으로 대체된다.
이미지 프로세싱과 관련하여, 비닝은 서로 다른 이미지 데이터를 하나의 단일 이미지 데이터로 결합하는 절차이다. 비닝은 시간적이거나 공간적일 수 있다. 시간적 비닝의 경우, 하나의 단일 픽셀은 시간에 있어서 서로 다른 순간에 데이터를 획득하고, 상기 획득된 데이터가 결합되어 시간 간격을 나타내는 단일 데이터를 형성한다. 공간적 비닝의 경우, 시간상의 하나의 순간에 다수의 픽셀들에 의해 획득된 데이터가 결합되어 공간 간격을 나타내는 하나의 단일 데이터를 형성한다. 예를 들어, 4 픽셀의 어레이가 하나의 더 큰 픽셀이 되어 전체 픽셀 수가 감소된다. 데이터 개수를 줄이는 이러한 묶음(aggregation)은 분석을 용이하게 한다. 데이터를 비닝하는 것은 또한 처리된 이미지에 대한 리드 노이즈(read noise)의 영향을 줄일 수도 있다.
타임-오브-플라이트 측정에서, 비닝 기술들이 구현되어 왔지만, 이러한 방법은 주로 정확하지 않다. 상기 위상
Figure 112016125958180-pct00036
은 종종 일련의 측정들을 수행하고 측정된 위상을 평균화하여 얻어지며, 이는 다음 단락에서 설명될 것이다.
미국 특허 출원 US2014/049767 A1은 본 발명과 관련된 선행 기술 참조 문헌이다.
정확한 측정을 위해서는 매개변수 I 및 Q를 정확히 측정하는 것을 보장하는 것이 중요하다. 이러한 측정들의 정확성을 향상시키기 위한 해결책이 제시되어야 한다.
본 발명은 청구항 1항에 따른 위상 데이터 및 신뢰도 데이터를 포함하는 타임-오브-플라이트 데이터를 비닝하기 위한 방법에 관한 것이다.
이 방법은 타임-오브-플라이트 측정들의 노이즈를 상당히 줄일 수 있다. 또한, 본 발명으로 획득되는 비닝된 위상
Figure 112016125958180-pct00037
은 더 정확하다.
바람직하게는, 상기 비닝은, 다수의 TOF 데이터가 서로 다른 시간에 획득될 때는 시간적 비닝이며, 또는 상기 다수의 TOF 데이터가 상이한 감광 요소들에 의해 획득될 때에는 공간적 비닝이며, 또는 공간적 비닝 및 시간적 비닝의 조합이다.
바람직하게는, 상기 방법은 신뢰도 목표 파라미터를 미리 결정하는 단계; 및 상기 비닝된 벡터의 신뢰도가 미리 정해진 신뢰도 목표 파라미터에 도달하도록, 획득될 TOF 데이터의 개수를 결정하는 단계를 더 포함한다.
더 바람직하게는, 상기 비닝이 시간적 비닝일 때, 상기 방법은 움직임 임계값을 미리 결정하는 단계; 상기 씬의 움직임을 검출하는 단계; 및 상기 씬의 상기 검출된 움직임이 상기 미리 정해진 움직임 임계값을 초과한다면, TOF 데이터 가산을 정지하는 단계를 더 포함한다. 이러한 움직임 임계값은 측정이 정확한 것을 보장한다.
더 유리하게는, 상기 비닝이 공간적 비닝일 때, 상기 방법은 : 깊이 임계값을 미리 결정하는 단계; 상기 씬의 깊이를 검출하는 단계; 및 상기 씬의 상기 검출된 깊이가 상기 미리 정해진 깊이 임계값을 초과한다면, TOF 데이터를 가산하는 것을 정지하는 단계를 더 포함한다.
본 발명의 다른 이점들 및 신규한 특징들은 첨부 도면들을 참조하여 다음의 상세한 설명으로부터 더욱 명백해질 것이다.
본 발명은 다음의 상세한 설명 및 첨부 도면들을 고려하여 더 잘 이해될 것이다.
도 1은 TOF 카메라 시스템의 기본적인 동작 원리를 도시한다.
도 2는 TOF 시스템에서의 상관 측정값들을 결정하는데 사용되는 신호들의 예를 도시한다.
도 3은 반사된 신호
Figure 112016125958180-pct00038
의 극형식을 도시한다.
도 4는 종래의 위상 비닝 방법을 도시한다.
도 5는 본 발명의 일실시예에 따른 벡터 가산을 도시한다.
도 6은 본 발명의 방법으로 얻어진 노이즈를 종래 기술의 방법들로 얻어진 노이즈와 비교하는 그래프이다.
본 발명의 이점들 및 신규한 특징들은 첨부 도면들을 참조하여 다음의 상세한 설명으로부터 더욱 명백해질 것이다.
종래 기술에서, 비닝 기술은 타임-오브-플라이트 측정들의 노이즈를 감소시키기 위해 구현되어 왔다. 이러한 기술들 중 하나가 도 4에 도시되어 있다. 각각의 벡터
Figure 112016125958180-pct00039
및
Figure 112016125958180-pct00040
은 각각 위상
Figure 112016125958180-pct00041
및
Figure 112016125958180-pct00042
을 갖고 놈(norm)(또는 신뢰도)
Figure 112016125958180-pct00043
및
Figure 112016125958180-pct00044
을 갖는 반사된 변조 신호
Figure 112016125958180-pct00045
,
Figure 112016125958180-pct00046
및
Figure 112016125958180-pct00047
에 대응한다. 이러한 3 개의 벡터들은 (공간적 비닝을 위해) 동일한 시간에 3 개의 서로 다른 픽셀들에 의해 또는 (시간적 비닝을 위해) 3 개의 서로 다른 시간들에서 하나의 픽셀에 의해 획득될 수 있다. 설명을 위해, 오직 3 개의 벡터들
Figure 112016125958180-pct00048
및
Figure 112016125958180-pct00049
이 도시되어 있지만, 본 방법은 일반적으로 훨씬 더 많은 신호들과 대응 벡터들을 이용하여 사용된다.
종래 기술에서, 위상 비닝은 매우 간단한 방식으로 수행된다. 비닝된 위상
Figure 112016125958180-pct00050
은 단순히
Figure 112016125958180-pct00051
및
Figure 112016125958180-pct00052
의 평균이다. 즉,
Figure 112016125958180-pct00053
이다.
그 다음, 씬의 물체들의 거리는, 예를 들어 상기 방정식 15를 사용함으로써, 이러한 평균 위상
Figure 112016125958180-pct00054
로부터 산출된다.
다른 등가 방법은
Figure 112016125958180-pct00055
및
Figure 112016125958180-pct00056
로부터 3 개의 깊이
Figure 112016125958180-pct00057
및
Figure 112016125958180-pct00058
를 산출하고, 그 다음 비닝된 깊이
Figure 112016125958180-pct00059
를 획득하기 위해
Figure 112016125958180-pct00060
및
Figure 112016125958180-pct00061
의 평균을 산출하는 것이다.
본 발명에서, 비닝된 위상을 산출하기 위한 더 정확한 기법이 제공된다. 이 기법은 도 5에 도시되어 있다. 이 경우에서도 다시 명확성을 위해 오직 3 개의 신호들
Figure 112016125958180-pct00062
,
Figure 112016125958180-pct00063
및
Figure 112016125958180-pct00064
의 데이터가 결합되거나 비닝되지만, 본 발명은 이에 제한되지 않으며, 임의의 개수의 신호들을 이용하여 구현될 수 있다.
본 방법의 제1 단계는 다수의 변조 신호들로 씬에 조명을 비춤으로써 다수의 타임-오브-플라이트 데이터를 획득하는 것이다. 타임-오브-플라이트 데이터는 씬에서 반사된 신호의 위상 및 놈(norm)(또는 신뢰도)을 의미한다. 이러한 획득은 예를 들어 상관관계 같은 종래 기술에 공지된 많은 다른 기술들을 이용하여 수행될 수 있다.
그 다음, 상기 변조 신호들의 위상 및 신뢰도가 공지되면, 각각의 타임-오브-플라이트 데이터는 상응하는 위상 및 신뢰도 데이터에 의해 정의되는 벡터와 연관되거나 그러한 벡터로 표현된다. 도 5에서, 3 개의 벡터들
Figure 112016125958180-pct00065
및
Figure 112016125958180-pct00066
이 도시되어 있다.
각각의 벡터
Figure 112016125958180-pct00067
및
Figure 112016125958180-pct00068
는 각각 위상
Figure 112016125958180-pct00069
및
Figure 112016125958180-pct00070
을 갖고 놈(또는 신뢰도)
Figure 112016125958180-pct00071
및
Figure 112016125958180-pct00072
을 갖는 변조 신호
Figure 112016125958180-pct00073
,
Figure 112016125958180-pct00074
및
Figure 112016125958180-pct00075
에 대응한다. 이러한 3 개의 벡터들은 동일한 시간에 3 개의 서로 다른 픽셀들에 의해(공간적 비닝) 또는 3 개의 서로 다른 시간들에서 하나의 픽셀에 의해(시간적 비닝) 획득될 수 있다.
그 다음, 본 발명의 방법은 “비닝된 벡터”(즉, 상기 변조 신호들에 연관된 벡터들을 더하거나 비닝함으로써 획득되는 벡터)로 부를 수 있는 것을 획득하기 위해 상기 3 개의 벡터들의 벡터 가산을 수행하는 것을 포함한다. 각각의 벡터는
Figure 112016125958180-pct00076
는
Figure 112016125958180-pct00077
형태의 복소 지수와 연관될 수 있다.
상기 벡터 가산이 수행되면, 비닝된 벡터
Figure 112016125958180-pct00078
는
Figure 112016125958180-pct00079
(
Figure 112016125958180-pct00080
Figure 112016125958180-pct00081
) 형태의 복소 지수와 연관될 수 있으며, 그리고 이러한 비닝된 벡터
Figure 112016125958180-pct00082
의 위상
Figure 112016125958180-pct00083
및 신뢰도
Figure 112016125958180-pct00084
를 결정하는 것이 가능하다.
상기 비닝된 벡터
Figure 112016125958180-pct00085
의 이러한 위상 및 신뢰도는 최종적으로 상기 씬의 깊이 데이터를 획득하는데 사용된다. 상기 위상
Figure 112016125958180-pct00086
은 예를 들어 거리 파라미터들을 결정하기 위해 방정식 15에 도입될 수 있다.
비닝은 시간적 또는 공간적, 또는 이 둘의 조합일 수 있다 :
- 시간적 비닝을 위해, 결합될 TOF 데이터는 상이한 순간에, 즉 상이한 프레임에서 획득된다;
- 공간적 비닝을 위해, 결합될 TOF 데이터는 동일한 순간에서, 그러나 상이한 감광 요소들에 의해, 예를 들어 TOF 카메라의 서로 다른 픽셀에 의해 획득된다;
본 발명의 이점들 중 하나는 다음과 같다. 실제 상황에서, 타임-오브-플라이트 카메라 시스템으로부터 물체의 거리를 측정할 때,
Figure 112016125958180-pct00087
의 구성을 얻는 것은 극히 드물다.
따라서, 본 발명에 의해 얻어진 비닝된 위상
Figure 112016125958180-pct00088
은 보다 정확하며, 측정의 노이즈를 감소시킬 수 있다.
도 6에는, 종래 기술의 방법들로 얻어진 노이즈와 본 발명으로 얻어진 노이즈를 비교하는 그래프가 도시되어 있다.
그래프는 Y 축 상의 노이즈의 양을 X 축의 신뢰도(또는 놈)의 함수로서 도시한다. 원으로 표시된 데이터는 처리되지 않은(즉, 비닝하지 않은) 깊이 값들(RAW)을 도시한다. 십자 표시로 표시된 데이터는 깊이 도메인에서 비닝 방법이 적용된 깊이 값들, 즉 종래 기술 방법에 의한 깊이 값들에 대응한다. 마지막으로, 더 두껍고 더 어두운 십자가로 표현된 데이터는 본 발명의 IQ 비닝 방법이 적용된 깊이 값들에 대응한다.
이 그래프는 신뢰도가 높을수록 RAW 데이터의 노이즈가 낮아짐을 보여준다. 본 발명은 전체 신뢰 범위에 대해 지수(factor) 2 만큼 노이즈를 감소시킬 수 있는 반면, 깊이 도메인에서 비닝하는 것은, 즉 종래 방법은 낮은 신뢰도에서 노이즈를 증가시킨다.
본 방법에서 추가 단계들이 구현될 수 있다. 일실시예에서, 본 방법은 다음의 단계들을 더 포함할 수 있다 :
- 신뢰도 목표 파라미터(예를 들어, 임계값)를 미리 결정하는 단계;
- 비닝된 벡터의 신뢰도가 상기 미리 정해진 신뢰도 목표 파라미터에 도달하도록, 획득될 TOF 데이터의 개수를 결정하는 단계.
시간적 비닝을 위해, 본 방법은 다음의 단계들을 더 포함할 수 있다 :
- 움직임 임계값을 미리 결정하는 단계;
- 상기 움직임 임계값에 대해 상기 씬의 움직임을 감지하는 단계;
- 상기 씬의 상기 검출된 움직임이 상기 미리 정해진 움직임 임계값을 초과한다면, 시간에 따른 타임-오프-플라이트 데이터 추가를 정지하는 단계.
움직임 검출은 종래 기술에 공지된 여러 방법들에 의해 수행될 수 있다. 예를 들어, 상기 미리 정해진 움직임 임계값이 25 cm라면, 그 후, 50 cm의 움직임이 검출된다면, 데이터의 가산 및 평균화가 중단되고, 새로운 일련의 획득이 시작된다. 이러한 방식으로, 그 결과물인 비디오 스트림은 상기 씬의 움직이지 않는 부분들을 시간적으로 필터링하면서 모션 견고성(motion robustness)을 보장한다. 움직임을 감지하는 다른 방법들은 현존하는 다른 센서들(RGB 센서들 또는 가속도계들) 및/또는 신뢰도의 변화에 의존할 수 있다.
공간적 비닝을 위해, 본 방법은 다음의 단계들을 더 포함할 수 있다 :
- 깊이 임계값을 미리 결정하는 단계;
- 상기 씬의 깊이를 검출하는 단계;
- 상기 씬의 검출된 깊이가 상기 미리 정해진 깊이 임계값을 초과한다면, 타임-오브-플라이트 데이터를 가산하는 것을 중지하는 단계.
이러한 깊이 임계값 기준은 다양한 방법으로 구현될 수 있다. 이는 상기 임계값과의 단순 비교일 수도 있지만, 지능형 비닝 영역들(슈퍼 픽셀 참조)을 식별하기 위한 반복적인 프로세스일 수도 있다. 최종 목표는 상기 씬에 존재하는 에지들을 유지하고, 타임-오브-플라이트 데이터를 함께 부가하여 비슷한 거리에 있는 한 구격 내의 부분들에 비닝을 수행하는 것이다.

Claims (7)

  1. TOF 측정들의 정확도를 증가시키고 상기 TOF 측정들의 노이즈를 감소시키기 위해, 씬(scene)으로부터 타임-오브-플라이트(Time-Of-Flight; TOF) 데이터를 비닝(binning)하는 방법으로서, 상기 TOF 데이터는 위상 데이터 및 신뢰도 데이터(confidence data)를 포함하며,
    상기 방법은 다수의 변조 신호들(
    Figure 112022059616498-pct00089
    ,
    Figure 112022059616498-pct00090
    및
    Figure 112022059616498-pct00091
    )로 상기 씬에 조명을 비춤으로써 다수의 TOF 데이터를 획득하는 단계를 포함하며,
    상기 방법은 :
    - 각각의 변조 신호를, 상응하는 위상 데이터(
    Figure 112022059616498-pct00092
    및
    Figure 112022059616498-pct00093
    ) 및 신뢰도 데이터(
    Figure 112022059616498-pct00094
    및
    Figure 112022059616498-pct00095
    )에 의해 정의되는 벡터(
    Figure 112022059616498-pct00096
    및
    Figure 112022059616498-pct00097
    )와 연관시키는 단계;
    - 비닝된 벡터(
    Figure 112022059616498-pct00098
    )를 획득하기 위해 다수의 상기 정의되는 벡터를 가산하는 단계;
    - 상기 비닝된 벡터(
    Figure 112022059616498-pct00099
    )의 위상 (
    Figure 112022059616498-pct00100
    ) 및 신뢰도 (
    Figure 112022059616498-pct00101
    )를 결정하는 단계; 및
    - 상기 씬의 깊이 데이터(D)를 획득하기 위해 상기 비닝된 벡터(
    Figure 112022059616498-pct00102
    )의 상기 위상 데이터(
    Figure 112022059616498-pct00103
    ) 및 상기 신뢰도 데이터(
    Figure 112022059616498-pct00104
    )를 처리하는 단계를 더 포함하는 것을 특징으로 하는, 타임 오브 플라이트 데이터 비닝 방법.
  2. 청구항 1에 있어서,
    상기 다수의 TOF 데이터는 시간적 비닝을 수행하기 위해 서로 다른 시간에서 획득되는, 타임 오브 플라이트 데이터 비닝 방법.
  3. 청구항 1에 있어서,
    상기 다수의 TOF 데이터는 공간적 비닝을 수행하기 위해 상이한 감광 요소들에 의해 획득되는, 타임 오브 플라이트 데이터 비닝 방법.
  4. 청구항 1에 있어서,
    상기 비닝은 시간적 비닝 및 공간적 비닝 모두의 조합인, 타임 오브 플라이트 데이터 비닝 방법.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    - 신뢰도 목표 파라미터를 미리 결정하는 단계;
    - 상기 비닝된 벡터(
    Figure 112022059616498-pct00105
    )의 신뢰도가 상기 미리 결정된 신뢰도 목표 파라미터에 도달하도록, 획득될 TOF 데이터의 개수를 결정하는 단계를 더 포함하는, 타임 오브 플라이트 데이터 비닝 방법.
  6. 청구항 2에 있어서,
    - 움직임 임계값을 미리 결정하는 단계;
    - 상기 씬의 움직임을 검출하는 단계;
    - 상기 씬의 상기 검출된 움직임이 상기 미리 결정된 움직임 임계값을 초과한다면, 다수의 상기 정의되는 벡터의 가산을 정지하는 단계를 더 포함하는, 타임 오브 플라이트 데이터 비닝 방법.
  7. 청구항 3에 있어서,
    - 깊이 임계값을 미리 결정하는 단계;
    - 상기 씬의 깊이를 검출하는 단계;
    - 상기 씬의 상기 검출된 깊이가 상기 미리 결정된 깊이 임계값을 초과한다면, 다수의 상기 정의되는 벡터를 가산하는 것을 정지하는 단계를 더 포함하는, 타임 오브 플라이트 데이터 비닝 방법.
KR1020167035886A 2014-07-09 2015-06-19 타임 오브 플라이트 데이터를 비닝하는 방법 KR102490335B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14176356.5A EP2966475B1 (en) 2014-07-09 2014-07-09 A method for binning time-of-flight data
EP14176356.5 2014-07-09
PCT/EP2015/063834 WO2016005168A1 (en) 2014-07-09 2015-06-19 A method for binning time-of-flight data

Publications (2)

Publication Number Publication Date
KR20170035844A KR20170035844A (ko) 2017-03-31
KR102490335B1 true KR102490335B1 (ko) 2023-01-20

Family

ID=51167711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167035886A KR102490335B1 (ko) 2014-07-09 2015-06-19 타임 오브 플라이트 데이터를 비닝하는 방법

Country Status (6)

Country Link
US (1) US11047962B2 (ko)
EP (1) EP2966475B1 (ko)
JP (1) JP6621767B2 (ko)
KR (1) KR102490335B1 (ko)
CN (1) CN106574966B (ko)
WO (1) WO2016005168A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
US10948596B2 (en) * 2018-01-24 2021-03-16 Sony Semiconductor Solutions Corporation Time-of-flight image sensor with distance determination
JP2019211231A (ja) 2018-05-31 2019-12-12 株式会社日立エルジーデータストレージ 距離画像生成カメラ及び距離画像生成方法
US11790544B1 (en) * 2018-08-06 2023-10-17 Synaptics Incorporated Depth motion determination via time-of-flight camera
LU101130B1 (en) 2019-02-15 2020-08-18 Iee Int Electronics & Engineering Sa Method for Depth Measurement with a Time-Of-Flight Camera using Amplitude-Modulated Continuous Light
JP2021056141A (ja) * 2019-09-30 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
CN113824550B (zh) * 2021-11-23 2022-02-15 华控清交信息科技(北京)有限公司 一种数据处理方法、密文计算平台和明密文混合计算系统
WO2024054940A2 (en) * 2022-09-08 2024-03-14 Portland State University Systems and methods for count-free histograms in 3d imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292370A1 (en) 2009-05-29 2011-12-01 Canesta, Inc. Method and system to maximize space-time resolution in a Time-of-Flight (TOF) system
US8305575B1 (en) 2008-06-23 2012-11-06 Spectral Sciences, Inc. Adaptive spectral sensor and methods using same
US20130002968A1 (en) 2011-06-28 2013-01-03 Bridge Robert F User Control of the Visual Performance of a Compressive Imaging System
US20140049767A1 (en) 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69332849T2 (de) * 1992-01-14 2003-12-18 Fujitsu Ltd., Kawasaki Gleichzeitige Übertragung von Daten und analogen Sprachbandsignalen
AU4238697A (en) * 1996-08-29 1998-03-19 Cisco Technology, Inc. Spatio-temporal processing for communication
US6377819B1 (en) * 2000-04-06 2002-04-23 Iospan Wireless, Inc. Wireless communication system using joined transmit and receive processing
US7020482B2 (en) * 2002-01-23 2006-03-28 Qualcomm Incorporated Reallocation of excess power for full channel-state information (CSI) multiple-input, multiple-output (MIMO) systems
US7263453B1 (en) * 2004-01-21 2007-08-28 Deka Products Limited Partnership Shaft feedback sensor error detection
US7149147B1 (en) * 2004-09-02 2006-12-12 The United States Of America As Represented By The Secretary Of The Army System and method for sound detection and image using a rotocraft acoustic signature
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
JP5228602B2 (ja) * 2008-04-24 2013-07-03 株式会社日本自動車部品総合研究所 物体検出装置
US20120092357A1 (en) * 2010-10-14 2012-04-19 Microsoft Corporation Region-Based Image Manipulation
KR101722641B1 (ko) * 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US8908992B1 (en) * 2011-04-12 2014-12-09 Stc.Unm System and methods of regularized optimization for matrix factorization and image and video reconstruction
JP2012225807A (ja) * 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
JP2013033650A (ja) * 2011-08-02 2013-02-14 Honda Motor Co Ltd 固体電解質型燃料電池用電解質膜・電極構造体
US9325920B2 (en) 2012-01-10 2016-04-26 Softkinetics Sensors Nv Processing of time-of-flight signals
JP2013150071A (ja) * 2012-01-17 2013-08-01 Canon Inc 符号化装置、符号化方法、プログラム及び記憶媒体
US9823340B2 (en) * 2012-12-04 2017-11-21 Texas Instruments Incorporated Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
US9804839B2 (en) * 2012-12-28 2017-10-31 Intel Corporation Instruction for determining histograms
AU2013206597A1 (en) * 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8305575B1 (en) 2008-06-23 2012-11-06 Spectral Sciences, Inc. Adaptive spectral sensor and methods using same
US20110292370A1 (en) 2009-05-29 2011-12-01 Canesta, Inc. Method and system to maximize space-time resolution in a Time-of-Flight (TOF) system
US20130002968A1 (en) 2011-06-28 2013-01-03 Bridge Robert F User Control of the Visual Performance of a Compressive Imaging System
US20140049767A1 (en) 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems

Also Published As

Publication number Publication date
US20170212228A1 (en) 2017-07-27
EP2966475B1 (en) 2016-05-25
CN106574966A (zh) 2017-04-19
WO2016005168A1 (en) 2016-01-14
US11047962B2 (en) 2021-06-29
JP2017524917A (ja) 2017-08-31
JP6621767B2 (ja) 2019-12-18
EP2966475A1 (en) 2016-01-13
KR20170035844A (ko) 2017-03-31
CN106574966B (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
KR102490335B1 (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
JP5448617B2 (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US11002856B2 (en) Doppler time-of-flight imaging
US9194953B2 (en) 3D time-of-light camera and method
JP6246131B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
KR20140121710A (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US20210183096A1 (en) Image processing apparatus, imaging apparatus, image processing method and program
EP3594617B1 (en) Three-dimensional-shape measurement device, three-dimensional-shape measurement method, and program
JP2015501927A5 (ko)
CN113950820B (zh) 用于像素到像素信号扩散的校正
TW201527784A (zh) 利用光脈衝壓縮的以飛行時間為基礎之系統
Payne et al. Multiple frequency range imaging to remove measurement ambiguity
CN112313541A (zh) 设备和方法
McClure et al. Resolving depth-measurement ambiguity with commercially available range imaging cameras
KR20160026189A (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
Lee et al. Motion blur-free time-of-flight range sensor
JP2014070936A (ja) 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
Godbaz et al. Mixed pixel return separation for a full-field ranger
US11353565B2 (en) Time-of-flight imaging apparatus and method
EP3663799A1 (en) Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera
Jutzi Extending the range measurement capabilities of modulated range imaging devices by time-frequency multiplexing
JP2015526692A (ja) 奥行きセンサベース反射物体の形状取得方法及び装置
EP3430472B1 (en) Method of producing video images that are independent of the background lighting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant