KR102144543B1 - Tof 카메라에서 신호 검출 방법 - Google Patents

Tof 카메라에서 신호 검출 방법 Download PDF

Info

Publication number
KR102144543B1
KR102144543B1 KR1020140055095A KR20140055095A KR102144543B1 KR 102144543 B1 KR102144543 B1 KR 102144543B1 KR 1020140055095 A KR1020140055095 A KR 1020140055095A KR 20140055095 A KR20140055095 A KR 20140055095A KR 102144543 B1 KR102144543 B1 KR 102144543B1
Authority
KR
South Korea
Prior art keywords
phase difference
light
sum
signal
signals
Prior art date
Application number
KR1020140055095A
Other languages
English (en)
Other versions
KR20150129187A (ko
Inventor
박헌종
Original Assignee
주식회사 히타치엘지 데이터 스토리지 코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 히타치엘지 데이터 스토리지 코리아 filed Critical 주식회사 히타치엘지 데이터 스토리지 코리아
Priority to KR1020140055095A priority Critical patent/KR102144543B1/ko
Publication of KR20150129187A publication Critical patent/KR20150129187A/ko
Application granted granted Critical
Publication of KR102144543B1 publication Critical patent/KR102144543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only

Abstract

본 발명은 TOF 카메라에서 신호 검출 방법에 관한 것이다. 본 발명의 일 실시예에서, 픽셀이 시분할 방식으로 고주파로 점멸하며 방사하는 광원의 점멸 타이밍과 동기하거나 상기 점멸 타이밍과 서로 다른 위상 차이를 갖고 피사체에서 반사되는 반사광을 수신하여 수신되는 광량에 대응되는 신호를 복수 개 출력하고 이를 근거로 상기 픽셀에 대응되는 피사체 위치의 거리를 측정하는 TOF 카메라는, 상기 복수 개의 신호에서 선택된 둘 이상의 신호의 합을 구하고, 상기 합을 문턱 값과 비교하여 상기 픽셀의 수신 신호의 포화 여부를 판단할 수 있다. 상기 합이 상기 문턱 값보다 크면 해당 픽셀에 대응되는 피사체 위치의 거리 정보가 유효하지 않다는 데이터를 출력할 수 있다. 또한, 상기 문턱 값은 상기 선택된 둘 이상의 신호와 상기 반사광을 수신할 때 상기 점멸 타이밍과의 위상 차이에 의해 결정될 수 있다. 따라서, TOF 카메라에서 수신 신호의 포화 여부를 정확하게 판단할 수 있게 된다.

Description

TOF 카메라에서 신호 검출 방법{Method for detecting signal in TOF camera}
본 발명은 TOF 카메라에서 신호 검출 방법에 관한 것으로, 더욱 상세하게는 TOF 카메라에서 반사광을 수신하는 센서의 신호가 포화 상태인지 여부를 검출하는 방법에 관한 것이다.
우리가 살아가는 현실 공간은 3차원 좌표로 구성되고, 사람은 양쪽 눈으로 보이는 시각 정보를 결합하여 입체감 있는 3차원 공간을 인식한다. 하지만 일반적인 디지털 기기로 촬영한 사진이나 동영상은 3차원 좌표를 2차원 좌표로 표현하는 기술이어서 공간에 대한 정보를 포함하고 있지 않다. 이러한 공간감을 표현하기 위해 2대의 카메라를 함께 사용하여 입체감 있는 영상을 촬영하고 보여주는 3D카메라/디스플레이 제품들이 등장하고 있다.
입체감을 느낀다는 것은 물체까지의 거리 정보를 획득할 수 있다는 것이며, 카메라를 이용한 사물 인식에서는 이러한 거리 정보에 기반하여 원하는 물체와 배경을 쉽게 분리해낼 수 있다.
공간상에서의 거리 정보는 깊이 지도(Depth map)이라고도 하는데 이러한 깊이 정보를 추출하는 방식은 크게 TOF(time of flight), 스테레오스코프 비전(stereoscopic vision), 구조화 광 패턴(structured light pattern) 등의 방식이 있다.
TOF(Time of flight) 방식은 빛이 물체에 반사되어 돌아오는 시간을 분석하여 깊이 지도를 구성하는데, 빛은 1초에 약 300,000Km를 이동하므로 빛이 돌아오는 아주 짧은 시간을 센서로 측정함으로써 거리를 계산한다.
TOF 시스템에서는 사람의 눈에 보이지 않는 적외선을 사용하고, 적외선 광원이 적외선 펄스를 발사하고 물체에 반사되어 오는 빛의 도달 시간을 적외선 센서가 측정한다. 1초에 수십 번 빛을 발사하고 수신하는 것을 반복함으로써 동영상 형태로 거리 정보를 촬영할 수 있다. 하나의 이미지로 구성이 되는 깊이 지도는 각 픽셀의 밝기 또는 색상으로 거리 정보를 표현하여 거리 정보를 한눈에 쉽게 알 수 있게 한다.
TOF 기반 카메라는 고주파의 빛의 펄스를 생성하기 힘들고 고속 특성 때문에 반사파의 위상 차이를 센서에서 파악하는 방식으로 깊이를 구하는 방식이 많이 사용된다.
도 1은 TOF 카메라로 사물의 거리 이미지를 출력하는 예를 도시한 것으로, 광원이 측정하고자 하는 피사체를 향해 적외선을 고주파로 점멸시키면서, 즉 모듈레이션 시켜 반복하여 적외선을 방사하고, 복수 개의 픽셀을 갖는 센서가 피사체의 3차원 표면에서 반사되는 반사광을 광원이 방사하는 적외선을 모듈레이션 시키는 모듈레이션 간격과 동기하거나 위상차를 두고 검출한다.
도 2는 TOF 카메라에서 거리를 측정하는 센서의 기본 단위인 픽셀이 시분할 방식으로 고주파로 점멸하며 발광하는 광원과 서로 다른 위상 차이를 갖는 프레임 데이터를 측정하는 예를 도시한 것이고, 각 픽셀은 광원의 모듈레이션 간격을 기준으로 서로 다른 위상차(예를 들어, 광원 모듈레이션 간격과 동기(Phase 0), 90도 위상차(Phase 1), 180도 위상차(Phase 2), 270도 위상차(Phase 3)) 또는 시간차를 두고 시분할 방식으로 활성화되어 반사광을 수광하고(sensing) 수광된 광을 전기적으로 처리하여(acquisition) 각각 위상 프레임 데이터를 출력하는데, 피사체와의 거리에 따라 누적되어 수신되는 반사광의 양에 차이가 발생하게 되고, 이러한 광량의 차이를 비교하여 피사체와의 거리를 측정한다.
각 픽셀은, 광원의 점멸 타이밍(또는 모듈레이션 간격)과 동기하고 순차적으로 점멸 타이밍에 소정의 위상차를 갖고 반사광을 수신할 수 있는데, 광원의 점멸 타이밍과 동기하여 예를 들어, 1msec 동안 반사광을 수광하고 약 1msec 동안 데이터를 획득하여 Phase 1의 위상 프레임 데이터를 생성하고, 차례로 광원의 점멸 타이밍과 90도의 위상차를 갖고 1msec 동안 반사광을 수광하고 약 1msec 동안 데이터를 획득하여 Phase 2의 위상 프레임 데이터를 생성하고, 광원의 점멸 타이밍과 180도의 위상차를 갖고 1msec 동안 반사광을 수광하고 약 1msec 동안 데이터를 획득하여 Phase 3의 위상 프레임 데이터를 생성하고, 광원의 점멸 타이밍과 270도의 위상차를 갖고 1msec 동안 반사광을 수광하고 약 1msec 동안 데이터를 획득하여 Phase4의 위상 프레임 데이터를 생성할 수 있다.
도 3은 수직선 및 수평선에 위치하는 픽셀들이 측정한 위상 프레임 데이터 중 일부 데이터가 포화 상태가 되는 결과를 도시한 것이다.
도 3에서 왼쪽 4개의 그래프 중에서 가장 위쪽 그래프는 동일 수평 라인의 픽셀들에서 Phase 0(광원의 모듈레이션 간격과 동기하여 활성화)에 따라 수신한 광량(위상 프레임 데이터)을 표시한 것이고, 아래쪽으로 Phase 90(광원의 모듈레이션 간격과 90도의 위상차를 갖고 활성화), Phase 180(광원의 모듈레이션 간격과 180도의 위상차를 갖고 활성화), Phase 270(광원의 모듈레이션 간격과 270도의 위상차를 갖고 활성화)에 따라 수신한 광량을 도시한 것이다. 도 3에서 오른쪽 4개의 그래프는 동일 수직 라인의 픽셀들이 Phase 0, Phase 90, Phase 180, Phase 270에 따라 각각 수신한 광량을 도시한 것이다.
도 3에 도시한 것과 같이, 각 픽셀이 수신하는 광량 또는 측정한 위상 프레임 데이터의 일부가 포화 상태가 되고, 포화 상태가 되는 위상 프레임 데이터는 거리 정보로 활용할 수 없게 되어 위상 프레임 데이터 일부가 포화된 픽셀 및 픽셀이 놓인 영역은 위치 정보를 얻을 수 없게 된다. 이러한 현상은 피사체 표면의 모양, 표면의 상태, 표면의 반사도, 광원의 발광 강도 및 각도, 모듈레이션 간격과 위상 불규칙 등 여러 이유로 발생할 수 있고 실제로도 빈번하게 발생한다.
따라서, 본 발명은 이러한 상황을 반영하여 창작된 것으로서, 본 발명의 목적은 TOF 카메라에서 수신 신호에 발생하는 포화 상태를 정확히 검출하는 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 TOF 카메라에서 신호 검출 방법은, 픽셀이 시분할 방식으로 고주파로 점멸하며 방사하는 광원의 점멸 타이밍과 동기하거나 상기 점멸 타이밍과 서로 다른 위상 차이를 갖고 피사체에서 반사되는 반사광을 수신하여 수신되는 광량에 대응되는 신호를 복수 개 출력하고 이를 근거로 상기 픽셀에 대응되는 피사체 위치의 거리를 측정하는 TOF 카메라에 적용되어, 상기 복수 개의 신호에서 선택된 둘 이상의 신호의 합을 구하는 단계; 및 상기 합을 문턱 값과 비교하여 상기 픽셀의 수신 신호의 포화 여부를 판단하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
일 실시예에서, 상기 문턱 값은 상기 선택된 둘 이상의 신호와 상기 반사광을 수신할 때 상기 점멸 타이밍과의 위상 차이에 의해 결정될 수 있다.
일 실시예에서, 상기 반사광을 수신할 때 상기 점멸 타이밍과 제1 위상 차이를 갖고 생성되는 제1 신호와 상기 점멸 타이밍과 제2 위상 차이를 갖고 생성되는 제2 신호가 선택되는 경우, 상기 제1 위상 차이와 제2 위상 차이가 90도 위상 차이를 가질 때의 문턱 값은 상기 제1 위상 차이와 제2 위상 차이가 180도 위상 차이를 가질 때의 문턱 값보다 1.5배 크게 설정할 수 있다.
일 실시예에서, 상기 복수 개의 신호가 상기 점멸 타이밍과 동기하여 반사광을 수신하여 생성되는 신호 P1, 상기 점멸 타이밍과 90도 위상 차이를 갖고 반사광을 수신하여 생성되는 신호 P2, 상기 점멸 타이밍과 180도 위상 차이를 갖고 반사광을 수신하여 생성되는 신호 P3, 상기 점멸 타이밍과 270도 위상 차이를 갖고 반사광을 수신하여 생성되는 신호 P4로 구성될 때, 상기 신호 P1과 신호 P2의 전기 신호의 합과 상기 신호 P3과 신호 P4의 전기 신호의 합을 구하여 소정의 문턱 값과 비교하거나 또는 상기 신호 P1과 신호 P4의 전기 신호의 합과 상기 신호 P2과 신호 P3의 전기 신호의 합을 구하여 소정의 문턱 값과 비교할 수 있다.
일 실시예에서, 상기 판단하는 단계는 상기 합이 상기 문턱 값보다 크면 해당 픽셀에 대응되는 피사체 위치의 거리 정보가 유효하지 않다는 데이터를 출력할 수 있다.
따라서, TOF 카메라에서 수신 신호의 포화 여부를 정확하게 판단할 수 있게 된다.
도 1은 TOF 카메라로 사물의 거리 이미지를 출력하는 예를 도시한 것이고,
도 2는 TOF 카메라에서 거리를 측정하는 센서의 기본 단위인 픽셀이 시분할 방식으로 고주파로 점멸하며 발광하는 광원과 서로 다른 위상 차이를 갖는 프레임 데이터를 측정하는 예를 도시한 것이고,
도 3은 수직선 및 수평선에 위치하는 픽셀들이 측정한 위상 프레임 데이터 중 일부 데이터가 포화 상태가 되는 결과를 도시한 것이고,
도 4는 본 발명이 일 실시예에 따른 TOF 카메라의 구성 블록을 도시한 것이고,
도 5는 광원이 고주파로 점멸하며 발광할 때 피사체에서 반사되어 센서를 통해 수신되는 반사광과 광원과의 위상 차이를 피사체의 거리를 변경하면서 도시한 것이고,
도 6은 센서의 픽셀이 시분할 방식으로 서로 위상을 달리하여 피사체에서 반사되는 반사광을 검출할 때 피사체의 거리에 따른 광량의 변화를 도시한 것이고,
도 7은 서로 위상을 달리하여 시분할 방식으로 피사체에서 반사되는 반사광을 검출하는 위상 프레임 데이터의 모든 조합이 검출하는 광량의 합을 피사체의 거리에 따라 도시한 것이고,
도 8은 위상 1과 위상 4에 해당하는 두 위상 프레임 데이터의 합과 포화 상태를 결정하는 문턱 값을 도시한 그래프이다.
이하, 본 발명에 따른 TOF 카메라에서 신호 검출 방법에 대한 실시예를 첨부하는 도면에 의거하여 상세히 설명한다.
ToF 카메라는 영상의 모든 화소에 대해 거리 정보를 제공하는 카메라로서, 적외선 영역의 광을 방사하여 피사체에서 반사되는 반사광을 센서(일반적으로 CMOS 센서)가 수신하여 위상차 또는 시간차를 계산함으로써, 반사된 표면까지의 거리 정보를 취득하는 능동형 센서이다. 방사되는 방식에 따라 펄스(pulse) 방식과 CW(continuous-wave) 방식으로 나눌 수 있으며, 일반적으로 LED를 이용하는 CW 방식을 주로 사용한다.
도 4는 본 발명이 일 실시예에 따른 TOF 카메라의 구성 블록을 도시한 것으로, 본 발명에 따른 TOF 카메라(100)는 광원(Illumination unit)(10), 센서(20) 및 프로세서(30)를 포함하여 구성될 수 있다.
광원(10)은 적외선을 고주파로 점멸할 수 있는 LED와 같은 발광 모듈과 이를 구동하기 위한 구동부로 구성될 수 있고, 또한 전면에 광학계를 마련하여 방사할 광의 각도나 출사 광의 강도 등을 조절할 수 있다.
상기 광원(10)은 하나의 발광 모듈만으로 구성되거나 복수 개의 발광 모듈을 포함할 수도 있는데, 복수 개의 발광 모듈을 포함하는 경우 각 발광 모듈이 센서(20) 주위에 대칭 형태로 배치될 수 있다.
센서(20)는 소정 해상도로 깊이 지도를 출력할 수 있도록 가로와 세로로 복수 개의 픽셀들로 구성될 수 있는데, 예를 들어 200x200 해상도에 해당하는 화소 또는 픽셀로 구성될 수 있다.
각 픽셀은 시분할 방식으로 광원과 동기하거나 소정의 위상차를 갖고 소정 시간 동안 수신하는 반사광의 합, 즉 소정 시간 동안 누적한 광량에 비례하는 전기 신호를 상기 소정시간 간격으로 주기적으로 출력할 수 있다.
프로세서(30)는 광원(10)의 점멸 타이밍에 맞추어 센서(20)가 반사광을 수신할 수 있도록 센서(20)의 각 픽셀에 복수 개의 위상차를 갖는 복수 개의 클럭 신호를 인가하고, 센서(20)의 픽셀이 전송하는 신호로부터 각 픽셀의 거리 정보를 계산하고 이를 근거로 복수 개의 픽셀로 구성되는 2차원의 깊이 지도를 생성하여 연속으로 출력할 수 있다.
도 5는 광원이 고주파로 점멸하며 발광할 때 피사체에서 반사되어 센서를 통해 수신되는 반사광과 광원과의 위상 차이를 피사체의 거리를 변경하면서 도시한 것이다.
TOF 카메라와 피사체 사이 거리가 0이면, 광원이 발광한 광이 위상 차이 없이 바로 센서에서 검출할 수 있고, 거리가 멀어질수록(0 -> d1 -> d2 d7 -> d8) 광원과의 위상 차이가 점점 커진다. 그리고, TOF 카메라와 피사체 사이 거리가 점멸의 시간 간격에 대응되는 소정 거리 d8이 되면, 광원과 센서가 수신하는 반사광의 위상 차이가 360도가 되어 다시 위상 차이가 없어지게 된다.
도 6은 센서의 픽셀이 시분할 방식으로 서로 위상을 달리하여 피사체에서 반사되는 반사광을 검출할 때 피사체의 거리에 따른 광량의 변화를 도시한 것이다.
도 5와 같이 TOF 카메라와 피사체 사이 거리가 광원이 발광한 광과 센서가 수신하는 수신광에 위상차가 없는 0에서부터 위상차가 점점 커지고 다시 광원이 발광한 광과 센서가 수신하는 수신광의 위상차가 360도가 되는 d8까지 변할 때, 광원의 점멸 타이밍과 동기하거나 90도, 180도 및 270도 위상차를 갖고 시분할 방식으로 반사광을 수신하는 픽셀의 수신 광량은 도 6과 같이 계산되어 표현된다.
광원의 점멸 타이밍에 동기하여 반사광을 수신하는 광량의 합에 해당하는 위상 프레임 데이터 Phase 1(P1)은, TOF 카메라와 피사체 사이 거리가 0일 때와 d8일 때 가장 큰 값(A)을 갖고, 거리가 0에서 커져서 d4가 될 때까지 수신 광량은 점점 줄어 거리가 d4가 되면 수신 광량은 0이 되고, 거리가 d4에서 d8이 될 때까지 수신 광량은 점점 커진다.
광원의 점멸 타이밍과 90도의 위상 차이를 갖고 반사광을 수신하는 광량의 합에 해당하는 위상 프레임 데이터 Phase 2(P2)는, TOF 카메라와 피사체 사이 거리가 0일 때 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신할 때의 광량에 해당하는 값(A)의 절반에 해당하고, 거리가 0에서 커져서 d2가 될 때까지 수신 광량은 점점 커져 거리가 d2가 되면 수신 광량이 가장 큰 값(A)이 되고, 거리가 d2에서 d6이 될 때까지 수신 광량은 점점 작아져 거리가 d6이 될 때 수신 광량이 0이 되고, 거리가 d6에서 d8이 될 때까지 수신 광량은 점점 커진다.
광원의 점멸 타이밍과 180도의 위상 차이를 갖고 반사광을 수신하는 광량의 합에 해당하는 위상 프레임 데이터 Phase 3(P3)은, TOF 카메라와 피사체 사이 거리가 0일 때 광원이 발광하는 광을 전혀 수신하지 못하여 수신 광량이 0이 되고, 거리가 0에서 커져서 d4가 될 때까지 수신 광량은 점점 커져 거리가 d4가 되면 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하여 수신 광량이 가장 커 가장 큰 값(A)가 되고, 거리가 d4에서 d8이 될 때까지 수신 광량은 점점 작아져 거리가 d8이 될 때 수신 광량이 0이 된다.
광원의 점멸 타이밍과 270도의 위상 차이를 갖고 반사광을 수신하는 광량의 합에 해당하는 위상 프레임 데이터 Phase 4(P4)는, TOF 카메라와 피사체 사이 거리가 0일 때 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신할 때의 광량에 해당하는 값(A)의 절반이 되고, 거리가 0에서 커져서 d2가 될 때까지 수신 광량은 점점 작아져 거리가 d2가 되면 광원이 발광하는 광을 전혀 수신하지 못하여 수신 광량이 0이 되고, 거리가 d2에서 d6이 될 때까지 수신 광량은 점점 커져 거리가 d6이 될 때 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하여 수신 광량이 가장 커져 가장 큰 값(A)이 되고, 거리가 d6에서 d8이 될 때까지 수신 광량은 점점 작아진다.
이와 같이, 광원의 점멸 타이밍과 동기하거나 소정의 위상 차이를 갖고 반사광을 수신하는 광량은 0과 d8 사이의 거리를 주기로 반복하므로, 각 픽셀에서 검출되는 위상 프레임 데이터는 소정 거리를 주기로 반복하는 주기 함수로 표현될 수 있다.
도 7은 서로 위상을 달리하여 시분할 방식으로 피사체에서 반사되는 반사광을 검출하는 위상 프레임 데이터의 모든 조합이 검출하는 광량의 합을 피사체의 거리에 따라 도시한 것이다.
광원의 점멸 타이밍에 동기하여 반사광을 수신하는 위상 프레임 데이터 Phase 1(P1)과 광원의 점멸 타이밍과 180도의 위상차를 갖고 반사광을 수신하는 위상 프레임 데이터 Phase 3(P3)의 합은 TOF 카메라와 피사체 사이 거리에 상관 없이 일정하고 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)을 갖는다.
또한, 광원의 점멸 타이밍과 90도의 위상차를 갖고 반사광을 수신하는 위상 프레임 데이터 Phase 2(P2)와 광원의 점멸 타이밍과 270도의 위상차를 갖고 반사광을 수신하는 위상 프레임 데이터 Phase 4(P4)의 합도 TOF 카메라와 피사체 사이 거리에 상관 없이 일정하고 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)을 갖는다.
Phase 1(P1)과 Phase 2(P2)의 합, Phase 3(P3)과 Phase 4(P4)의 합, Phase 1(P1)과 Phase 4(P4)의 합 및 Phase 2(P2)와 Phase 4(P4)의 합은, 도 7에 도시한 것과 같이, TOF 카메라와 피사체 사이 거리 d8을 주기로 연속적으로 바뀌는데, d8/4 거리에서 증가하고, d8/4 거리에서 감소하고, d8/4 거리에서 일정한 최고 값을 갖고, d8/4에서 일정한 최저 값을 갖는데, 최고 값은 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)의 1.5배이고, 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)의 0.5배이다.
따라서, 본 발명에서는, 픽셀이 시분할 방식으로 검출하는 위상 프레임 데이터 하나만을 기준으로 소정 문턱 값을 넘는 픽셀을 포화 상태라고 판단하지 않고, 둘 이상의 위상 프레임 데이터를 더한 값을 기준으로 해당 픽셀이 수신한 광량에 해당하는 수신 데이터가 포화되었는지 포화되지 않았는지 판단할 수 있다.
프로세서(30)는, 센서(20)를 구성하는 각 픽셀이 소정 주기로 출력하는 위상 프레임 데이터를 임시로 저장하고, 복수 개의 위상 프레임 데이터에서 두 개를 선택하는 조합들 중에서 하나 이상의 조합에 대해서 데이터의 합을 구하고, 구한 데이터의 합을 소정 문턱 값과 비교하여 해당 픽셀에 대해 수신한 거리와 관련된 데이터가 유효한지 유효하지 않은지 판단할 수 있다.
데이터의 합과 비교할 문턱 값은 선택된 두 개의 데이터의 조합에 따라 달라질 수 있는데, 도 7에서 P1과 P3의 합이나 P2와 P4의 합은 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)을 기준으로 소정의 여유 값을 고려하여 문턱 값을 선택할 수 있고, 나머지 조합의 합은 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)의 1.5배의 값을 기준으로 문턱 값을 선택할 수 있다. 하나 이상의 조합에서 해당 조합의 프레임 데이터의 합이 해당 조합에 정해진 문턱 값보다 높을 때 해당 픽셀에 대한 거리 정보로 측정된 데이터가 포화라고 판단하여 해당 픽셀에 대한 거리 정보를 유효하지 않게 처리한다.
한편, 복수 개의 위상 프레임 데이터에서 두 개를 선택하는 조합들의 데이터 합은 소정 거리를 주기로 반복하지만 TOF 카메라와 피사체의 거리가 멀어질수록 광원에서 방사되어 피사체에서 반사되어 센서에 입력되는 반사광의 양이 줄기 때문에, 조합의 데이터 합과 비교하기 위한 문턱 값도 이를 고려하여 변동시킬 수 있다.
하지만, 위상 프레임 데이터의 포화 상태는 TOF 카메라와 피사체 거리가 가까울 때 발생할 가능성이 높고, TOF 카메라와 피사체 거리가 먼 경우 픽셀이 수신하는 반사광의 양이 많지 않아 포화가 될 가능성이 매우 낮기 때문에, 문턱 값을 TOF 카메라와 피사체 거리가 가까울 때의 값으로 설정할 수 있다.
4개의 위상 프레임 데이터를 이용하여 수신 신호의 포화 여부를 검출할 때, 서로 반대 위상 차이(180도 차이)로 반사광을 수신하여 생성되는 두 위상 프레임 데이터의 합(P1+P3 또는 P2+P4)은 소정 거리 주기 내에서는 거리에 관계없이 일정한 값, 즉 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)을 갖게 되므로 A 값을 근거로 포화 여부를 결정하기 위한 문턱 값을 결정하고, 90도의 위상 차이로 반사광을 수신하여 생성되는 두 위상 프레임 데이터의 합(P1+P2, P3+P4, P1+P4, P2+P3)은 최고 값이 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)의 1,5배의 값을 갖게 되므로 1.5A 값을 근거로 포화 여부를 결정하기 위한 문턱 값을 결정할 수 있다.
이를 일반화하면, 4 이상의 짝수 개의 위상 프레임 데이터를 이용하여 수신 신호의 포화 여부를 검출할 때, 서로 반대 위상 차이로 반사광을 수신하여 생성되는 두 위상 프레임 데이터의 합은 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)을 갖게 되므로 A 값을 근거로 포화 여부를 결정하기 위한 문턱 값을 결정하고, 90도의 위상 차이로 반사광을 수신하여 생성되는 두 위상 프레임 데이터의 합은 최고 값이 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)의 1.5배의 값을 갖게 되므로 1.5A 값을 근거로 포화 여부를 결정하기 위한 문턱 값을 결정할 수 있다.
또한, 0도와 90도 사이의 위상 차이로 반사광을 수신하여 생성되는 두 위상 프레임 데이터의 합은 최고 값이 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)의 1.5배에서 2배 사이의 값을 갖게 되므로 이를 근거로 문턱 값을 결정할 수 있고, 90도와 180도 사이의 위상 차이로 반사광을 수신하여 생성되는 두 위상 프레임 데이터의 합은 최고 값이 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값(A)의 1배에서 1.5배 사이의 값을 갖게 되므로 이를 근거로 문턱 값을 결정할 수 있다.
프로세서(30)는, 4개의 위상 프레임 데이터를 검출하는 경우, 90도 위상 차이로 측정되는 두 위상 프레임 데이터의 4개의 조합 중에서 2개의 조합, 예를 들어 (P1+P2, P3+P4) 쌍 또는 (P1+P4, P2+P3) 쌍의 합을 구하고 이를 소정의 문턱 값과 비교하여 해당 픽셀에서 수시되는 신호의 포화 여부를 판단할 수 있다.
도 8은 위상 1과 위상 4에 해당하는 두 위상 프레임 데이터의 합과 포화 상태를 결정하는 문턱 값을 도시한 그래프이다.
도 8은 90도의 위상 차이로 측정되는 Phase 1과 Phase 4의 위상 프레임 데이터의 합에 대한 그래프로, 왼쪽은 소정의 수평 선에 속하는 각 픽셀들의 Phase 1과 Phase 4의 위상 프레임 데이터를 더한 값이고 오른쪽은 소정의 수직 선에 속하는 각 픽셀들의 Phase 1과 Phase 4의 위상 프레임 데이터를 더한 값이다.
도 8의 실험 결과는, 광원이 발광하여 피사체에 반사되는 반사광을 모두 수신하는 광량에 해당하는 값 A가 4500에 해당하여 1.5A는 6750이 되어 이를 근거로 포화 상태를 결정하기 위한 문턱 값을 약 7000으로 정한 것이다. 일부 픽셀이 두 위상 프레임 데이터의 합이 문턱 값인 7000을 넘기 때문에, 프로세서(30)는 해당 픽셀은 거리 정보가 유효하지 않다고 판단하고, 깊이 지도에 대한 정보에 이를 알리는 데이터를 포함시켜 출력한다.
따라서, 종래에는 위상 프레임 데이터 중 하나 이상이 종래 기준으로 문턱 값보다 큰 경우, 신호가 포화되었다고 판단하여 해당 픽셀의 데이터를 무효 처리하였지만, 본 발명에서는 둘 이상의 위상 프레임 데이터를 합하고 소정의 문턱 값과 비교하여 그 문턱 값보다 작으면 수신된 위상 프레임 데이터들을 이용하여 해당 픽셀에 대응되는 피사체 위치의 거리를 계산하여 계산된 값을 유효하게 처리할 수 있다.
이상 전술한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
10: 광원 20: 센서
30: 프로세서 100: TOF 카메라

Claims (5)

  1. 픽셀이 시분할 방식으로 고주파로 점멸하며 방사하는 광원의 점멸 타이밍과 동기하거나 상기 점멸 타이밍과 서로 다른 위상 차이를 갖고 피사체에서 반사되는 반사광을 수신하여 수신되는 광량에 대응되는 신호를 복수 개 출력하고 이를 근거로 상기 픽셀에 대응되는 피사체 위치의 거리를 측정하는 TOF 카메라에서,
    상기 복수 개의 신호에서 선택된 둘 이상의 신호의 합을 구하는 단계; 및
    상기 합을 문턱 값과 비교하여 상기 픽셀의 수신 신호의 포화 여부를 판단하는 단계를 포함하여 이루어지고,
    상기 문턱 값은 상기 선택된 둘 이상의 신호와 상기 반사광을 수신할 때 상기 점멸 타이밍과의 위상 차이에 의해 결정되는 것을 특징으로 하는 TOF 카메라에서 신호 검출 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 반사광을 수신할 때 상기 점멸 타이밍과 제1 위상 차이를 갖고 생성되는 제1 신호와 상기 점멸 타이밍과 제2 위상 차이를 갖고 생성되는 제2 신호가 선택되는 경우, 상기 제1 위상 차이와 제2 위상 차이가 90도 위상 차이를 가질 때의 문턱 값은 상기 제1 위상 차이와 제2 위상 차이가 180도 위상 차이를 가질 때의 문턱 값보다 1.5배 크게 설정하는 것을 특징으로 하는 TOF 카메라에서 신호 검출 방법.
  4. 제 1항에 있어서,
    상기 복수 개의 신호가 상기 점멸 타이밍과 동기하여 반사광을 수신하여 생성되는 신호 P1, 상기 점멸 타이밍과 90도 위상 차이를 갖고 반사광을 수신하여 생성되는 신호 P2, 상기 점멸 타이밍과 180도 위상 차이를 갖고 반사광을 수신하여 생성되는 신호 P3, 상기 점멸 타이밍과 270도 위상 차이를 갖고 반사광을 수신하여 생성되는 신호 P4로 구성될 때, 상기 신호 P1과 신호 P2의 전기 신호의 합과 상기 신호 P3과 신호 P4의 전기 신호의 합을 구하여 소정의 문턱 값과 비교하거나 또는 상기 신호 P1과 신호 P4의 전기 신호의 합과 상기 신호 P2과 신호 P3의 전기 신호의 합을 구하여 소정의 문턱 값과 비교하는 것을 특징으로 하는 TOF 카메라에서 신호 검출 방법.
  5. 제 1항에 있어서,
    상기 판단하는 단계는 상기 합이 상기 문턱 값보다 크면 해당 픽셀에 대응되는 피사체 위치의 거리 정보가 유효하지 않다는 데이터를 출력하는 것을 특징으로 하는 TOF 카메라에서 신호 검출 방법.
KR1020140055095A 2014-05-08 2014-05-08 Tof 카메라에서 신호 검출 방법 KR102144543B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140055095A KR102144543B1 (ko) 2014-05-08 2014-05-08 Tof 카메라에서 신호 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140055095A KR102144543B1 (ko) 2014-05-08 2014-05-08 Tof 카메라에서 신호 검출 방법

Publications (2)

Publication Number Publication Date
KR20150129187A KR20150129187A (ko) 2015-11-19
KR102144543B1 true KR102144543B1 (ko) 2020-08-18

Family

ID=54843352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140055095A KR102144543B1 (ko) 2014-05-08 2014-05-08 Tof 카메라에서 신호 검출 방법

Country Status (1)

Country Link
KR (1) KR102144543B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708577B2 (en) 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
EP3508814B1 (en) * 2016-09-01 2023-08-23 Sony Semiconductor Solutions Corporation Imaging device
KR102019382B1 (ko) 2017-09-29 2019-09-06 현대오트론 주식회사 거리 검출 센서 및 그것의 동작 방법
CN109298428B (zh) * 2018-11-16 2020-07-14 杭州一隅千象科技有限公司 多台tof深度信息采集同步方法及系统
EP4319138A1 (en) 2021-05-13 2024-02-07 Samsung Electronics Co., Ltd. Method for providing image, and electronic device supporting same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5290233B2 (ja) * 2010-04-13 2013-09-18 Ｃｋｄ株式会社 三次元計測装置及び基板検査装置
KR101888564B1 (ko) * 2011-12-29 2018-08-16 삼성전자주식회사 깊이 센서, 및 이의 깊이 계산 방법

Also Published As

Publication number Publication date
KR20150129187A (ko) 2015-11-19

Similar Documents

Publication Publication Date Title
US10708577B2 (en) Range-gated depth camera assembly
JP6827073B2 (ja) 構造化光およびタイムオブフライトを用いた深度マッピング
KR102144543B1 (ko) Tof 카메라에서 신호 검출 방법
EP2924992B1 (en) Method and apparatus for obtaining 3d image
US9781406B2 (en) Apparatus for generating depth image
US9386236B2 (en) Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection
EP2996544B1 (en) Imaging a patient's interior
US10598948B2 (en) Display device and display method
US9860521B2 (en) Image processing system
KR20160090464A (ko) 티오에프 카메라에서 깊이 지도 생성 방법
KR20200123483A (ko) 3 차원 깊이 감지 및 2 차원 이미징을 위한 카메라 노출의 조정
US10156437B2 (en) Control method of a depth camera
KR20180066116A (ko) 스테레오 카메라 및 구조화 광을 사용하는 헤드 마운트 디스플레이로의 깊이 맵핑
US10663593B2 (en) Projector apparatus with distance image acquisition device and projection method
US20180203123A1 (en) Object position detection apparatus
US10959601B2 (en) Endoscope system
EP3011894B1 (en) Eye gaze detection apparatus and eye gaze detection method
JP2017507724A (ja) 生理的特性決定装置
KR20140057522A (ko) 디스플레이 광원 장면 조명을 사용하여 신뢰할만한 객체 반사 감지를 위한 방법 및 시스템
US8724852B2 (en) Method for sensing motion and device for implementing the same
JP6011173B2 (ja) 瞳孔検出装置および瞳孔検出方法
US20180246192A1 (en) Information processing device, control method, program, and storage medium
US11109744B2 (en) Three-dimensional endoscope system including a two-dimensional display image portion in a three-dimensional display image
KR101945969B1 (ko) 물체 색상 비의존적 카메라 통신 시스템 및 그 통신 방법
KR20150092612A (ko) 입체적 형상을 감지하기 위한 카메라 및 그것의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right