KR102402477B1 - ToF 모듈 - Google Patents

ToF 모듈 Download PDF

Info

Publication number
KR102402477B1
KR102402477B1 KR1020170099184A KR20170099184A KR102402477B1 KR 102402477 B1 KR102402477 B1 KR 102402477B1 KR 1020170099184 A KR1020170099184 A KR 1020170099184A KR 20170099184 A KR20170099184 A KR 20170099184A KR 102402477 B1 KR102402477 B1 KR 102402477B1
Authority
KR
South Korea
Prior art keywords
light
pattern
output unit
distance
tof
Prior art date
Application number
KR1020170099184A
Other languages
English (en)
Other versions
KR20190014977A (ko
Inventor
박귀연
강이임
박강열
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020170099184A priority Critical patent/KR102402477B1/ko
Publication of KR20190014977A publication Critical patent/KR20190014977A/ko
Priority to KR1020220062729A priority patent/KR102483462B1/ko
Application granted granted Critical
Publication of KR102402477B1 publication Critical patent/KR102402477B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

설정된 범위 밖의 피사체에 대해서도 정확하게 거리 및 깊이 정보를 측정할 수 있는 ToF 모듈이 개시된다. 본 발명에 따른 TOF 모듈은, ToF(Time of Flight) 방식으로 거리 및 깊이 정보를 측정하는 ToF 모듈에 있어서, 적외선 광을 출력하는 광 출력부; 및 광 출력부에 의해 출력되어 피사체에 의해 반사되는 빛에 대하여 ToF 방식으로 거리를 인식하는 제1 인식부와, 피사체에 의해 반사되는 빛에 대하여 패턴을 구분하며 구조광 원리를 이용하여 거리를 인식하는 제2 인식부를 포함하는 거리 인식부를 포함한다.

Description

ToF 모듈{TIME OF FLIGHT MODULE}
본 발명은 ToF(Time of Flight)모듈에 관한 것으로서, 보다 상세하게는 TOF(Time Of Flight) 방식을 이용하면서도 설정된 범위 밖의 피사체에 대해서도 정확하게 거리 및 깊이 정보를 측정할 수 있는 ToF 모듈에 관한 것이다.
피사체에 대한 거리 정보 및 깊이 정보를 얻는 방법으로는 스테레오 방법, 구조광 방법, ToF(Time Of Flight) 방법 등이 있다.
스테레오 방법은 두 대의 카메라를 이용하여 거리 및 깊이 정보를 얻는 방법으로써, 거리를 찾는데 많은 연산을 필요로 하기 때문에 거리 및 깊이 정보의 획득 속도가 느리다는 문제점이 있다.
또한, 구조광 방법은 가시광 레이저 혹은 적외선 레이저와 같이 주변 조명과 구분되는 구조광을 물체에 조사하고, 반사된 빛을 카메라 영상으로 획득하여 물체거리에 따른 왜곡을 분석함으로써 거리를 계산하는 방법이다. 그런데, 구조광 방법에 따른 영상은 햇빛이나 형광등의 밝기 등 주변 조명의 영향을 많이 받기 때문에, 결과적으로 얻어지는 물체거리 및 깊이 정보가 조명 잡음에 민감하다는 문제점이 있다.
한편, TOF 방법은 초음파나 전자기파와 같은 파동을 피사체에 발사하고, 반사되어 돌아오기까지의 시간을 측정하여 거리 및 깊이 정보를 얻는 방법이다.
그런데, 일반적인 TOF를 이용한 방법은, 피사체가 측정 가능한 최대 설정범위를 벗어난 곳에 위치한 경우에 해당 피사체를 설정된 범위 이내로 인식하여 거리 및 깊이 정보를 측정하는 문제점이 있다.
본 발명은 전술한 문제점을 해결 및 개선하기 위하여 창안된 것으로서, TOF(Time Of Flight) 방식을 이용하면서도 설정된 범위 밖의 피사체에 대해서도 정확하게 거리 및 깊이 정보를 측정할 수 있는 ToF 모듈을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 TOF 모듈은, ToF(Time of Flight) 방식으로 거리 및 깊이 정보를 측정하는 ToF 모듈에 있어서, 복수의 광 스팟을 포함하는 제1 패턴으로 적외선 광을 출력하는 광 출력부; 및 제1 패턴을 수광하는 이미지 센서를 포함하고, 제1 패턴이 피사체에 의해 반사되는 광을 이미지 센서로 수광하여 거리를 인식하는 제1 인식부;를 포함하고, 광 출력부로부터 출력되는 광 스팟은 이미지 센서를 구성하는 각 픽셀의 영역마다 동일한 수의 광 스팟을 수광한다.
여기서, 광 출력부는 제1 패턴과 시간을 달리하여 복수의 광 스팟을 포함하는 제2 패턴의 적외선 광을 출력하고, 제2 패턴의 광 스팟은 제1 패턴의 광 스팟의 위치와 적어도 일부가 중첩되지 않는다.
또한, 광 출력부는 제1 패턴과 상기 제2 패턴을 순차적으로 출력할 수 있다.
또한, 광 출력부는 제1 패턴과 시간을 달리하여 면 조명의 적외선 광을 출력할 수 있다.
광 출력부는 제1 패턴의 패턴을 복제하는 패턴 복제 렌즈를 포함할 수 있다.
이때, 광 출력부는, 제1 패턴을 포함하는 복수의 패턴으로 광을 출력하고, 복수의 패턴의 각각은 서로 중첩되지 않는다.
전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 ToF 모듈은, ToF 방식으로 거리 및 깊이 정보를 측정하는 ToF 모듈에 있어서, 면 조명의 적외선 광을 출력하는 제1 출력부와, 설정된 패턴의 적외선 광을 출력하는 제2 출력부를 포함하는 광 출력부; 및 제1 출력부에 의해 출력되어 피사체에 의해 반사되는 빛과 제2 출력부에 의해 출력되어 피사체에 의해 반사되는 빛을 이용하여 거리를 인식하는 거리 인식부를 포함한다.
여기서, 광 출력부는, 제1 출력부에 의해 출력되는 면 조명과 제2 출력부에 의해 출력되는 패턴을 동시에 출력할 수 있다.
또한, 제2 출력부는 설정된 도트(dot) 패턴으로 적외선 광을 출력할 수 있다.
본 발명에 따르면, TOF 방식을 이용하면서 피사체에 대해서 보다 정확하게 거리 및 깊이 정보를 측정할 수 있게 된다.
도 1은 일반적인 ToF 모듈에 의한 거리 및 깊이 정보의 산출방법을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 ToF 모듈의 구성을 개략적으로 도시한 도면이다.
도 3은 도 2에 나타낸 제1 인식부에 의해 인식되는 영상과 제2 인식부에 의해 인식되는 영상을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 ToF 모듈의 구성을 개략적으로 도시한 도면이다.
도 5는 도 4에 나타낸 제1 출력부의 면 조명의 예와 제2 출력부의 도트 패턴 조명의 예를 나타낸 도면이다.
도 6은 광 출력부가 각각의 광 프레임을 결합하여 출력하는 예를 나타낸 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 ToF 모듈의 구성을 개략적으로 도시한 도면이다.
도 8은 도 7에 나타낸 광원의 복수의 에미터의 예를 나타낸 도면이다.
도 9는 서로 다른 패턴을 설정된 순서에 따라 방출하는 예를 나타낸 도면이다.
도 10은 도 9의 각각의 패턴을 복제한 예를 나타낸 도면이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 설명한다. 각 도면의 구성요소들에 참조부호를 기재함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호로 표시한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 일반적인 ToF 모듈에 의한 거리 및 깊이 정보의 산출방법을 설명하기 위해 도시한 도면이다.
일반적으로 ToF는 송신부에서 특정 주파수(f)로 변조된 근적외선, 초음파, 레이저 등의 신호를 발사하고, 수신부에서 피사체에 의해 반사되어 되돌아 오는 신호를 측정한다. 이때, ToF는 신호가 피사체까지 왕복하는 시간에 의한 위상 변화를 감지하여 수학식 1과 같이 ToF 모듈과 피사체 사이의 거리를 계산할 수 있다.
[수학식 1]
Figure 112017075555087-pat00001
여기서, d는 측정거리, c는 빛의 속도, f는 변조된 신호의 주파수, n은 위상 주기가 반복되면서 생기는 상수, θ는 수신된 신호의 위상을 나타낸다.
이때, d의 최대거리가 명확하게 정해져 있으면 n은 0(zero)로 가정할 수 있으며, 이 경우 수학식 1은 수학식 2와 같이 나타낼 수 있다.
[수학식 2]
Figure 112017075555087-pat00002
이때, 변조 주파수 또는 주기(ΔT)와 최대 측정거리와의 관계는 수학식 3과 같다.
[수학식 3]
Figure 112017075555087-pat00003
일반적으로, 단일 주파수를 사용하는 ToF 모듈은 변조 주파수에 따라 측정 가능한 최대 거리가 결정되는데, 피사체가 측정 가능한 최대 거리보다 멀리 있는 경우에는 측정 가능한 최대 거리 이내에 위치한 물체로 인식하게 되어 해당 피사체에 대해서는 정확한 거리를 측정할 수 없다는 문제점이 있다.
즉, 일반적인 ToF 모듈은 도 1에 도시한 바와 같이, 주기(ΔT) 내에 위치하는 피사체에 대해서는 ΔT'의 비행시간을 측정할 수 있지만, 주기(ΔT)를 벗어난 위치의 피사체에 대해서는 ΔT'의 비행시간을 측정하지 못하고 ΔT"를 비행시간으로 측정하게 되어 최대 거리 이내에 위치한 물체로 인식하게 되는 문제점이 있다.
또한, 일반적인 ToF 모듈은 다중 주파수를 사용하여 각 주파수의 최소 공배수에 해당하는 거리로 최대 측정거리를 증가시킬 수 있으나, 이 경우에 둘 이상의 주파수를 사용함으로써 송출하는 신호(프레임)의 손실을 발생시키게 되는 문제점이 있다.
본 발명은 이와 같은 문제점을 해결하기 위하여 창안된 것으로서, ToF 방식을 이용하면서도 설정된 최대 측정거리의 범위 밖의 피사체에 대해서도 정확하게 거리 및 깊이 정보를 측정할 수 있는 ToF 모듈을 제공하고자 한다.
도 2는 본 발명의 일 실시예에 따른 ToF 모듈의 구성을 개략적으로 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 ToF 모듈(100)은 광 출력부(110) 및 거리 인식부(120)를 포함한다. 이때, 거리 인식부(120)는 제1 인식부(122) 및 제2 인식부(124)를 포함할 수 있다.
광 출력부(110)는 적외선 파장 영역의 광을 출력한다. 이때, 광 출력부(110)는 각 픽셀들이 보는 영역마다 동일한 개수의 패턴의 광을 출력하거나, 동일한 총면적의 패턴의 광을 출력할 수 있다. 예를 들어, 광 출력부(110)는 각 픽셀들의 각각이 설정된 크기로 구획된 5x5의 영역을 본다고 가정하면 각각의 영역마다 동일한 개수의 광을 출력하거나, 총면적이 5x5인 동일한 패턴의 광을 각각 출력할 수 있다.
제1 인식부(122)는 광 출력부(110)에 의해 출력되어 피사체에 의해 반사되는 빛에 대하여 ToF 방식으로 거리를 인식한다. 예를 들어, 광 출력부(110)가 피사체의 5x5의 영역에 출력하는 광에 대응하여, 제1 인식부(122)는 도 3에 도시한 바와 같이, 각각의 픽셀에 대응하는 영역으로부터 반사되는 광을 균일한 면조명으로 인식하며, 모든 픽셀에 대해서 ToF 원리에 따라 각 픽셀에 대응하는 빛의 강도(intensity)를 노출시간에 따라 달리 감지하여 각각의 반사신호의 시간차이에 따른 거리를 인식할 수 있다.
제2 인식부(124)는 피사체에 의해 반사되는 빛에 대하여 패턴을 구분하며, 구조광의 원리를 이용하여 거리를 인식한다. 즉, 제2 인식부(124)는 광 출력부(110)에 의해 출력되어 피사체에서 반사되는 적외선을 인식하며, 도 3에 도시한 바와 같이, 제1 인식부(122)에 의해 인식되는 면조명의 영역에서 해당 적외선의 패턴의 형태를 식별한다. 이때, 제2 인식부(124)는 각각의 식별된 패턴의 형태를 구분하여 제1 인식부(122)에 의해 인식되는 면조명이 최대거리 범위 이내의 면조명인지 또는 최대거리 범위를 벗어난 위치에 대응하는 면조명인지를 구분할 수 있으며, 각각의 식별된 패턴의 형태를 분석하여 구조광의 원리에 따라 거리를 인식한다. 여기서, 구조광의 원리를 이용하여 거리를 인식하는 방법은 공지의 기술을 따르며, 여기서는 그 상세한 설명을 생략한다.
이로써, 본 발명의 실시예에 따른 ToF 모듈은 일반적인 ToF 모듈이 최대거리 범위를 벗어난 피사체에 대하여 최대거리 범위 이내에 위치한 피사체로 인식하였던 오류를 구조광 원리를 이용하여 해결할 수 있게 된다.
도 4는 본 발명의 다른 실시예에 따른 ToF 모듈의 구성을 개략적으로 도시한 도면이다.
도 4를 참조하면, 본 발명의 실시예에 따른 ToF 모듈(200)은 광 출력부(210) 및 거리 인식부(220)를 포함한다. 이때, 광 출력부(210)는 제1 출력부(212) 및 제2 출력부(214)를 포함할 수 있다.
제1 출력부(212)는 면조명의 적외선 파장 영역의 광을 출력한다. 이때, 제1 출력부(212)는 도 5의 (a)에 도시한 바와 같이, 각각의 픽셀에 대응하여 동일한 면적의 면조명을 형성하기 위한 적외선 광 프레임을 출력할 수 있다.
제2 출력부(214)는 설정된 패턴의 적외선 파장 영역의 광을 출력한다. 이때, 제2 출력부(214)는 도 5의 (b)에 도시한 바와 같이, 설정된 도트(dot) 패턴의 적외선 광 프레임을 출력할 수 있다. 이 경우, 제2 출력부(214)는 제1 출력부(212)의 각각의 면조명의 영역에 대하여 서로 다른 도트 패턴이 대응되도록 적외선 광 프레임을 출력하는 것이 바람직하다. 또한, 제2 출력부(214)는 순차적으로 출력되는 적외선 광 프레임에 대하여, 각각의 면조명의 영역에 서로 다른 도트 패턴을 대응시키는 것이 바람직하다. 여기서, 도 5의 (b)에는 제2 출력부(214)가 도트 패턴의 적외선 광 프레임을 출력하는 것으로 도시하고 설명하였지만, 제2 출력부(214)가 출력하는 적외선 광의 패턴 형태는 이에 한정된 것은 아니며, 다양한 패턴으로 출력할 수 있음은 물론이다.
광 출력부(210)는 제1 출력부(212)에 의해 출력되는 광 프레임과 제2 출력부(214)에 의해 출력되는 광 프레임을 동시에 출력한다. 예를 들어, 광 출력부(210)는 도 6에 도시한 바와 같이, 제1 출력부(212)에 의해 출력되는 면조명의 광 프레임과 제2 출력부(214)에 의해 출력되는 도트 패턴의 광 프레임을 동시에 출력할 수 있다.
거리 인식부(220)는 광 출력부(210)에 의해 출력되어 피사체에 의해 반사되는 빛에 대하여 ToF 방식으로 거리를 인식한다. 이때, 거리 인식부(220)는 제1 출력부(212)에 의해 출력되어 반사되는 빛과, 제2 출력부(214)에 의해 출력되어 반사되는 빛을 이용하여, 서로 독립적으로 ToF 거리를 측정하여 인식할 수 있다.
이로써, 본 발명의 실시예에 따른 ToF 모듈은 면조명에 의해 최대거리 범위를 벗어난 피사체가 최대거리 범위 이내의 피사체로 인식되더라도 패턴 조명에 의해 각각의 패턴을 인식하여 해당 오류를 인식할 수 있으며, 면조명에 대한 ToF 거리측정 방식과 패턴 조명에 대한 ToF 거리측정 방식을 독립적으로 수행하여 최대거리 범위를 벗어난 피사체에 대한 거리를 인식할 수 있게 된다.
도 7은 본 발명의 또 다른 실시예에 따른 ToF 모듈의 구성을 개략적으로 도시한 도면이다.
도 7을 참조하면, 본 발명의 실시예에 따른 ToF 모듈(300)은 광 출력부(310) 및 거리 인식부(320)를 포함한다. 이때, 광 출력부(310)는 광원(312) 및 패턴 복제부(314)를 포함할 수 있다.
광원(312)은 광을 방출하는 적어도 하나의 에미터(emitter)를 포함하며, 각각의 에미터를 구동하여 다양한 패턴으로 광을 방출한다. 이때, 에미터는 광원(312)에 고정되어 배치될 수 있다. 예를 들어, 광원(312)은 도 8에 도시한 바와 같이, 좌측 상단의 에미터(이하, '제1에미터'라고 한다), 우측 상단의 에미터(이하, '제2에미터'라고 한다), 좌측 하단의 에미터(이하, '제3에미터'라고 한다), 및 우측 하단의 에미터(이하, '제4에미터'라고 한다)를 포함할 수 있으며, 각각의 에미터 중 적어도 어느 하나의 에미터를 선택적으로 구동하여 다양한 패턴으로 광을 방출할 수 있다. 각각의 에미터는 하나의 에미터 또는 복수의 에미터 묶음을 포함할 수 있다.
한편, 광원(312)은 에미터의 구동에 따른 각각의 서로 다른 광 패턴을 순차적으로 방출한다. 예를 들어, 광원(312)이 전술한 제1에미터, 제2에미터, 제3에미터 및 제4에미터 중 어느 하나의 에미터만을 구동하여 4개의 광 패턴으로 광을 방출하는 경우, 광원(312)은 도 9에 도시한 바와 같이 제1에미터 -> 제2에미터 -> 제3에미터 -> 제4에미터의 순서로 각각의 에미터를 구동하여 서로 다른 광 패턴을 순차적으로 방출할 수 있다. 이때, 각각의 에미터의 구동순서는 기 설정되는 것이 바람직하다. 이와 같은 광원(312)으로는 LED(Light Emitting Diode), EEL(Edge Emitting Laser), VCSEL(Vertical-Cavity Surface Emitting Laser) 등이 이용될 수 있다.
여기서는, 광원(312)이 에미터를 스팟(stop) 형태의 패턴무늬로 구동하는 것으로 도시하고 설명하였지만, 광원(312)은 스트라이프(stripe) 형태의 패턴무늬로 에미터를 구동하거나, 다른 형태의 패턴무늬로 구동할 수도 있다. 즉, 광원(312)에 포함되는 에미터의 형태는 구현하고자 하는 패턴무늬의 형태에 따라 다양한 형태를 이룰 수 있으며 각 패턴간 발광 영역이 중첩되지 않도록 패턴무늬가 구현될 수 있다. 즉, 서로 다른 패턴을 출력하기 위해 구동되는 에미터들은 패턴간 서로 중첩되지 않을 수 있다. 또한, 각각의 패턴은 순차적으로 출력되면서 서로 다른 패턴들의 조합이 반복되어 출력될 수 있다. 이때, 광원을 구성하는 에미터들을 동시에 동작시키지 않고, 패턴을 갖고 순차적으로 출력하여 ToF모듈의 해상력을 높일 수 있다.
패턴 복제부(314)는 광원(312)에 의해 방출되는 각각의 광 패턴을 복제한다. 예를 들어, 광원(312)이 도 9에 도시한 바와 같은 순서로 각각의 에미터를 구동하는 경우, 패턴 복제부(314)는 도 10에 도시한 바와 같이 각각의 광 패턴을 3x3으로 복제할 수 있다. 여기서, 패턴 복제부(314)가 각각의 광 패턴을 3x3의 크기로 복제하는 것은 이해를 돕기 위한 예시일 뿐이며, 도 10 및 기재 내용에 한정되는 것은 아니다.
여기서, 패턴 복제부(314)는 MLA(Micro Lens Array), DOE(Diffractive Optical Element) 등의 광학계를 이용할 수 있다. 예를 들어, 패턴 복제부(314)로 MLA를 이용하는 경우, 패턴 복제부(314)는 복수의 마이크로 렌즈를 포함하는 렌즈 어레이로 이루어지게 되며, 패턴 복제부(314)는 마이크로 렌즈의 수만큼 각각의 광 패턴을 복제할 수도 있다.
거리 인식부(320)는 광 출력부(310)에 의해 출력되어 피사체에 반사되는 빛에 대하여, 각각의 광 패턴을 구분하여 ToF 방식으로 거리를 인식한다. 이때, 광원(312)의 각각의 에미터는 서로 중첩되지 않도록 구동하여 서로 다른 패턴의 적외선을 출력하기 때문에, 거리 인식부(320)는 각각의 광 패턴을 구분하여 ToF 방식을 적용할 수 있다.
이로써, 본 발명의 실시예에 따른 ToF 모듈은 피사체로부터 반사되는 신호에 대하여 패턴을 인식하고, 인식되는 패턴에 따라 ToF 거리측정 방식을 이용하여 거리를 인식함으로써, 최대거리 범위를 벗어난 피사체를 최대거리 범위 이내로 인식하는 오류없이 해당 피사체에 대한 거리를 인식할 수 있게 된다.
도 11은 본 발명의 또 다른 실시예에 따른 ToF 모듈의 구성을 개략적으로 도시한 도면이다.
도 11을 참조하면, 본 발명의 실시예에 따른 ToF 모듈(400)은 광 출력부(410) 및 거리 인식부(420)를 포함할 수 있다.
광 출력부(410)는 복수의 광 스팟을 포함하는 제1 패턴으로 적외선 광을 출력한다. 예를 들어, 광 출력부(410)는 도 3에 도시한 바와 같이, 복수의 광 스팟이 다양한 위치로 형성된 제1 패턴으로 적외선 광을 출력할 수 있다.
거리 인식부(420)는 제1 패턴을 수광하는 이미지 센서(도시하지 않음)를 포함하며, 제1 패턴이 피사체에 의해 반사되는 광을 이미지 센서로 수광하여 거리를 인식한다. 이때, 거리 인식부(420)는 이미지 센서를 통해 광 출력부(410)에 의해 출력되는 제1 패턴의 이미지를 수광하며, 피사체에 의해 반사되는 적외선 광과 이미지 센서에 의해 수광된 제1 패턴을 이용하여 피사체에 대한 정확한 거리를 인식한다. 즉, 피사체에 의해 반사되는 적외선에 대해서는 측정 가능한 설정 범위에 따라 피사체에 대한 거리인식의 오류가 발생할 수 있는데, 이 경우 이미지 센서를 통해 광의 패턴을 인식함으로써 피사체에 대한 거리인식의 오류를 줄이고 정확한 거리를 측정할 수 있다.
한편, 광 출력부(410)는 제1 패턴과 시간을 달리하여 복수의 광 스팟을 포함하는 제2 패턴의 광을 출력할 수 있다. 이때, 제2 패턴의 광 스팟은 제1 패턴의 광 스팟의 위치와 적어도 일부가 중첩되지 않는 것이 바람직하다. 이 경우, 광 출력부(410)는 제1 패턴과 제2 패턴을 설정된 순서로 순차적으로 출력할 수 있다.
이로써, 거리 인식부(420)는 이미지 센서에 의해 수광되는 각각의 패넌의 이미지에 따라 순차적으로 반사되는 광을 구분할 수 있게 되며, 그에 따라 피사체에 대한 정확한 거리인식이 가능하게 된다.
또한, 광 출력부(410)는 제1 패턴과 시간을 달리하여 면 조명의 적외선 광을 출력할 수도 있다. 이 경우, 거리 인식부(420)는 이미지 센서에 의해 수광되는 제1 패턴의 광에 대해서는 해당 제1 패턴에 따라 피사체에 대한 거리를 인식하고, 면 조명의 적외선 광에 대해서는 ToF 방식만으로 거리를 인식할 수 있다. 이와 같이 광 출력부(410)는 면 조명의 광과 제1 패턴의 광을 조합하여 출력함으로써 거리 인식부(420)의 거리인식 연산의 부담을 줄일 수 있다.
한편, 광 출력부(410)는 패턴 복제 렌즈를 포함하며, 출력되는 적외선 광의 제1 패턴 또는 제2 패턴을 복제할 수 있다. 패턴 복제 렌즈의 구성 및 기능은 도 7에 나타낸 패턴 복제부(314)의 구성 및 기능과 유사하므로, 여기서는 그 상세한 설명을 생략한다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 보호 범위는 다음의 특허청구범위뿐만 아니라 이와 균등한 것들에 의해 정해져야 한다.
100, 200, 300, 400: TOF 모듈 110, 210, 310, 410: 광 출력부
120, 220, 320, 420: 거리 인식부 122: 제1 인식부
124: 제2 인식부 212: 제1 출력부
214: 제2 출력부 312: 광원
314: 패턴 복제부

Claims (10)

  1. 적외선 파장 영역의 광을 출력하는 광출력부; 및
    상기 광출력부에 의해 출력되어 피사체에 반사되어 이미지 센서에 수광되는 광을 통해 거리를 인식하는 거리 인식부를 포함하고,
    상기 광출력부는 면 조명의 적외선 파장 영역의 광을 출력하는 제1광출력부 및 설정된 패턴의 적외선 파장 영역의 광을 출력하는 제2광출력부를 포함하고,
    상기 광출력부는 상기 제1광출력부에서 출력되는 제1광프레임과 상기 제2광출력부에서 출력되는 제2광프레임을 동시에 출력하는 ToF 모듈.
  2. 제1항에 있어서,
    상기 거리 인식부는 상기 광출력부에 의해 출력되어 상기 피사체에 반사되는 광을 ToF 방식으로 거리를 인식하는 제1거리 인식부 및 상기 광출력부에 의해 출력되어 상기 피사체에 반사되는 광을 구조광 방식으로 거리를 인식하는 제2거리 인식부를 포함하는 ToF 모듈.
  3. 제1항에 있어서,
    상기 제1광프레임은 상기 이미지 센서의 각 픽셀에 대응한 면적을 갖는 면 조명으로 형성되고,
    상기 제2광프레임은 상기 제1광 프레임의 각각의 면 조명의 영역에 대하여 서로 다른 패턴이 대응되도록 형성되는 ToF 모듈.
  4. 제1항에 있어서,
    상기 제1광프레임은 상기 이미지 센서의 각 픽셀에 대응한 면적을 갖는 면 조명으로 형성되고,
    상기 제2광프레임은 복수의 광 스팟이 다양한 위치로 형성된 패턴을 포함한 조명으로 형성되는 ToF 모듈.
  5. 제1항에 있어서,
    상기 제2광출력부는 복수의 광 스팟이 다양한 위치로 형성된 제1패턴과, 상기 제1패턴과 시간을 달리하여 상기 제1패턴의 광 스팟과 적어도 일부가 중첩되지 않는 제2패턴의 광을 출력하는 ToF 모듈.
  6. 제1항에 있어서,
    상기 광출력부는
    적외선 파장 영역의 광을 방출하는 광원; 및
    상기 광원에 의해 방출되는 각각의 광 패턴을 복제하는 패턴 복제부를 포함하는 ToF 모듈.
  7. 제6항에 있어서,
    상기 광원은 광을 방출하는 적어도 하나의 에미터(emitter)를 포함하고,
    상기 에미터는 좌측 상단에 배치되는 제1에미터, 우측 상단에 배치되는 제2에미터, 좌측 하단에 배치되는 제3에미터, 및 우측 하단에 배치되는 제4에미터를 포함하는 ToF 모듈.
  8. 제7항에 있어서,
    상기 광원은 상기 제1 내지 제4에미터 순서대로 구동하여 서로 다른 광 패턴을 순차적으로 방출하는 ToF 모듈.
  9. 제7항에 있어서,
    상기 제1 내지 제4에미터를 통해 형성되는 각 패턴은 각 패턴 간 발광 영역이 중첩되지 않도록 형성되는 ToF 모듈.
  10. 제6항에 있어서,
    상기 패턴 복제부는 복수의 마이크로 렌즈를 포함하는 렌즈 어레이로 형성되는 ToF 모듈.

KR1020170099184A 2017-08-04 2017-08-04 ToF 모듈 KR102402477B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170099184A KR102402477B1 (ko) 2017-08-04 2017-08-04 ToF 모듈
KR1020220062729A KR102483462B1 (ko) 2017-08-04 2022-05-23 ToF 모듈

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170099184A KR102402477B1 (ko) 2017-08-04 2017-08-04 ToF 모듈

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220062729A Division KR102483462B1 (ko) 2017-08-04 2022-05-23 ToF 모듈

Publications (2)

Publication Number Publication Date
KR20190014977A KR20190014977A (ko) 2019-02-13
KR102402477B1 true KR102402477B1 (ko) 2022-05-27

Family

ID=65366602

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170099184A KR102402477B1 (ko) 2017-08-04 2017-08-04 ToF 모듈
KR1020220062729A KR102483462B1 (ko) 2017-08-04 2022-05-23 ToF 모듈

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220062729A KR102483462B1 (ko) 2017-08-04 2022-05-23 ToF 모듈

Country Status (1)

Country Link
KR (2) KR102402477B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200137227A (ko) 2019-05-29 2020-12-09 엘지이노텍 주식회사 카메라 모듈
CN111123289B (zh) * 2019-12-18 2023-03-24 奥比中光科技集团股份有限公司 一种深度测量装置及测量方法
CN111366941A (zh) * 2020-04-20 2020-07-03 深圳奥比中光科技有限公司 一种tof深度测量装置及方法
CN113038041B (zh) * 2020-06-12 2022-09-13 深圳市汇顶科技股份有限公司 成像系统以及相关电子装置及成像系统的操作方法
WO2021248427A1 (zh) 2020-06-12 2021-12-16 深圳市汇顶科技股份有限公司 深度传感装置以及相关电子装置及深度传感装置的操作方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014115397A1 (ja) 2013-01-25 2014-07-31 シャープ株式会社 光センサおよび電子機器
KR101479734B1 (ko) * 2013-07-26 2015-01-06 전자부품연구원 구조광 패턴 기반의 3차원 형상 측정 시스템
JP2016529474A (ja) 2013-06-13 2016-09-23 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 少なくとも1つの物体を光学的に検出する検出器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101798063B1 (ko) * 2010-12-14 2017-11-15 삼성전자주식회사 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR101925028B1 (ko) * 2012-08-29 2018-12-04 엘지전자 주식회사 깊이 영상 생성 장치 및 방법
WO2014097539A1 (ja) 2012-12-20 2014-06-26 パナソニック株式会社 3次元測定装置および3次元測定方法
KR102117261B1 (ko) * 2013-03-05 2020-06-01 삼성전자주식회사 거리 검출 및 생체 인증 방법, 저장 매체 및 단말
US10268885B2 (en) * 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
KR102103722B1 (ko) * 2014-01-22 2020-04-23 엘지전자 주식회사 구조광 생성 장치 및 방법
KR102101865B1 (ko) * 2014-01-28 2020-04-20 엘지이노텍 주식회사 카메라 장치
KR102263064B1 (ko) * 2014-08-25 2021-06-10 삼성전자주식회사 피사체의 움직임을 인식하는 장치 및 그 동작 방법
US9841496B2 (en) * 2014-11-21 2017-12-12 Microsoft Technology Licensing, Llc Multiple pattern illumination optics for time of flight system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014115397A1 (ja) 2013-01-25 2014-07-31 シャープ株式会社 光センサおよび電子機器
JP2016529474A (ja) 2013-06-13 2016-09-23 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 少なくとも1つの物体を光学的に検出する検出器
KR101479734B1 (ko) * 2013-07-26 2015-01-06 전자부품연구원 구조광 패턴 기반의 3차원 형상 측정 시스템

Also Published As

Publication number Publication date
KR20220075283A (ko) 2022-06-08
KR20190014977A (ko) 2019-02-13
KR102483462B1 (ko) 2023-01-02

Similar Documents

Publication Publication Date Title
KR102402477B1 (ko) ToF 모듈
JP7191921B2 (ja) Tofカメラシステムおよび該システムにより距離を測定するための方法
US10732102B2 (en) Optical test apparatus and optical test method
CN100592029C (zh) 测距设备
US7812931B2 (en) Distance measurement method and device and vehicle equipped with said device
KR102472217B1 (ko) 광 송출장치 및 이를 이용한 ToF(Time of Flight)모듈
US20200319309A1 (en) Illumination device, time of flight system and method
US20160260217A1 (en) Measurement apparatus and measurement method
CN104215200A (zh) 利用多波长进行表面同步三维测量的装置及方法
EP1587030A1 (en) Identification sensor
CN110716189A (zh) 一种发射器及距离测量系统
US11076145B2 (en) Depth map generator
EP3596425B1 (en) Optoelectronic devices for collecting three-dimensional data
US10085013B2 (en) 3D camera module
KR101802894B1 (ko) Tof 및 구조광 방식이 융합된 3차원 영상 획득 시스템
JP2002188903A (ja) 並列処理光学距離計
CN109901137B (zh) 广角tof模组的标定方法及其标定设备
US11580654B2 (en) Alternating light distributions for active depth sensing
JP2009074867A (ja) 計測装置およびその計測方法
KR20150018026A (ko) 3차원 카메라
US10823559B2 (en) Measuring device and method for triangulation measurement
JP2020060377A (ja) マルチ画像プロジェクタ及びマルチ画像プロジェクタを有する電子デバイス
EP3637044B1 (en) Multi-image projector and electronic device having the multi-image projector
US20220268902A1 (en) Lidar system and method for determining distances of targets
KR20240086573A (ko) 캘리브레이션 지그 및 이를 포함하는 캘리브레이션 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant