KR20220029608A - 거리 정보 추출 장치 및 광학 기기 - Google Patents

거리 정보 추출 장치 및 광학 기기 Download PDF

Info

Publication number
KR20220029608A
KR20220029608A KR1020220022671A KR20220022671A KR20220029608A KR 20220029608 A KR20220029608 A KR 20220029608A KR 1020220022671 A KR1020220022671 A KR 1020220022671A KR 20220022671 A KR20220022671 A KR 20220022671A KR 20220029608 A KR20220029608 A KR 20220029608A
Authority
KR
South Korea
Prior art keywords
information
phase
light
period
mirror
Prior art date
Application number
KR1020220022671A
Other languages
English (en)
Other versions
KR102500863B1 (ko
Inventor
이재훈
박강열
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020220022671A priority Critical patent/KR102500863B1/ko
Publication of KR20220029608A publication Critical patent/KR20220029608A/ko
Application granted granted Critical
Publication of KR102500863B1 publication Critical patent/KR102500863B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/08—Anamorphotic objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 실시예는, 광을 출력하는 광원; 상기 광원으로부터 출력된 광을 투과시켜 선형 패턴을 출력하는 렌즈; 상기 렌즈를 투과한 광을 반사시키고 제1 축을 기준으로 회전하는 미러; 상기 미러를 통해 출력된 광을 이용한 피사체의 정보를 획득하는 이미지 센서; 상기 광원과 미러를 제어하는 제어회로를 포함하고, 상기 제어회로는 상기 광원의 출력 세기가 제1 주기를 갖도록 상기 광원을 제어하고, 상기 미러의 구동이 제2 주기를 갖도록 상기 미러를 제어하고, 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제1 위상차를 가질 때의 이미지 센서의 제1 정보와 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제2 위상차를 가질 때의 이미지 센서의 제2 정보를 이용하여 거리 정보를 추출하는 거리 정보 추출 장치와 이를 포함하는 광학 기기에 관한 것이다.

Description

거리 정보 추출 장치 및 광학 기기{APPARATUS FOR EXTRACTING DEPTH INFORMATION AND OPTICAL APPARATUS}
본 실시예는 거리 정보 추출 장치 및 광학 기기에 관한 것이다.
이하에서 기술되는 내용은 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 기재한 것은 아니다.
거리 정보 추출 장치는, 피사체에 대한 2차원 정보에 깊이 정보를 추가하여 추출하는 장치이다. 거리 정보 추출 장치는, 이러한 특성 때문에 "3차원 스캐너(three-dementional scanner)"로 불리기도 한다.
거리 정보를 추출하는 방식에는 여러 종류가 있다. 일 예로, 위상 이동 스트라이프(PSS, Phase Shift Stripe) 패턴을 가지는 구조광을 위상 이동시켜 연속적으로 출사하여, 피사체에 투영된 패턴의 이동량(일그러짐)을 산출한 후, 광 삼각법(optical triangulation method)에 의해 거리 정보를 추출할 수 있다.
일반적으로 위상 이동 스트라이프 패턴을 가지는 구조광을 생성하기 위해서는 MEMS(micro-electro-mechanical systems) Ribbon을 이용한다. 그러나 MEMS Ribbon을 이용하는 경우, Ribbon을 투과하는 과정에서 광 손실이 높아 광 효율이 떨어지고, 변조 과정에서 항상 광원의 출력 세기를 피크(Peak)로 유지해야 되고, 변조광의 주파수를 높이기 위해서는 Ribbon 수를 증가시켜야 하는 문제점이 있다.
본 실시예는 광 효율이 높고, 보다 정밀한 거리 정보를 추출할 수 있는 거리 정보 추출 장치 및 이를 포함하는 광학 기기를 제공하고자 한다.
본 실시예의 거리 정보 추출 장치는, 광을 출력하는 광원; 상기 광원으로부터 출력된 광을 투과시켜 선형 패턴을 출력하는 렌즈; 상기 렌즈를 투과한 광을 반사시키고 제1 축을 기준으로 회전하는 미러; 상기 미러를 통해 출력된 광을 이용한 피사체의 정보를 획득하는 이미지 센서; 상기 광원과 미러를 제어하는 제어회로를 포함하고, 상기 제어회로는 상기 광원의 출력 세기가 제1 주기를 갖도록 상기 광원을 제어하고, 상기 미러의 구동이 제2 주기를 갖도록 상기 미러를 제어하고, 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제1 위상차를 가질 때의 이미지 센서의 제1 정보와 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제2 위상차를 가질 때의 이미지 센서의 제2 정보를 이용하여 거리 정보를 추출할 수 있다.
상기 이미지 센서가 획득하는 정보는 스트라이프 패턴 정보를 포함할 수 있다.
상기 이미지 센서가 획득하는 정보는 상기 이미지 센서로부터 출력되는 프레임을 구성하는 각 픽셀의 밝기 정보일 수 있다.
상기 광원의 출력 세기와 상기 미러의 회전은 동기화되어, 복수 개의 선형 패턴이 배열된 제1 스트라이프 패턴이 피사체에 조사될 수 있다.
상기 제1 위상차와 상기 제2 위상차의 차이에 의해, 상기 제1 정보 상의 제1 스트라이프 패턴과 상기 제2 정보 상의 제2 스트라이프 패턴은 위상차를 가질 수 있다.
상기 제1 위상차와 상기 제2 위상차의 차이는 상기 광원의 출력과 상기 미러의 회전 중 적어도 하나가 지연되어 발생할 수 있다.
상기 이미지 센서는 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제3 위상차를 가질 때, 제3 정보를 출력하고, 상기 제1 정보, 상기 제2 정보 및 상기 제3 정보를 이용하여 거리 정보를 추출할 수 있다.
상기 이미지 센서는 상기 제1 주기의 위상(phase)과 상기 제2 주기의 위상(Phase)이 제4 위상차를 가질 때의 제4 정보를 출력하고, 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 제4 정보를 이용하여 거리 정보를 추출할 수 있다.
광을 출력하는 광원; 상기 광원으로부터 출력된 광을 투과시켜 선형 패턴을 출력하는 렌즈; 상기 렌즈를 투과한 광을 반사시키고 제1 축을 기준으로 회전하는 미러; 상기 미러를 통해 출력된 광을 이용한 피사체의 정보를 획득하는 이미지 센서; 상기 광원과 미러를 제어하는 제어회로를 포함하고, 상기 이미지 센서는 스트라이프 패턴의 간격이 동일한 적어도 3개의 프레임을 추출하고, 상기 적어도 3개의 프레임 상호간에는 스트라이프 패턴의 간격이 동일하며 위상(phase)차이가 있고, 상기 적어도 3개의 프레임의 이미지 정보를 이용하여 거리정보를 추출할 수 있다.
상기 이미지 센서는 스트라이프 패턴의 간격이 동일한 4개의 프레임을 추출하고, 상기 4개의 프레임 각각의 스트라이프 패턴은 π/4씩 위상차이가 날 수 있다.
*본 실시예에서는 광원의 출력 세기가 특정 주기를 가지도록 제어되는 광원과 회전 구동하여 광원에서 출사된 광을 반사시키는 미러에 의해, 위상 이동 스트라이트 패턴을 가지는 구조광을 생성할 수 있다. 그 결과, 광 효율이 높고, 출력광의 주기나 미러의 회전 구동 주기를 조절하여 모듈 사이즈의 증가 없이 구조광의 주파수를 조절할 수 있다.
도 1은 본 실시예의 거리 정보 추출 장치를 나타낸 개념도이다.
도 2는 본 실시예의 광 출사 모듈을 나타낸 개념도이다.
도 3은 정전류 아날로그 제어와 PWM(Pulse Width Modulation) 제어의 차이를 나타낸 개념도이다.
도 4는 본 실시예의 광 출사 모듈이 위상 이동된 복수 개의 프레임을 생성하는 것을 나타낸 개념도이다.
도 5는 본 실시예의 렌즈를 나타낸 사시도이다.
도 6은 본 실시예의 렌즈를 나타낸 단면도이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 설명한다. 각 도면의 구성요소들에 참조부호를 기재함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호로 표시한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서는, 본 실시예에 따른 광학기기를 설명한다.
광학기기는, 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등일 수 있다. 다만, 이에 제한되는 것은 아니며 거리 정보를 추출하기 위한 어떠한 장치도 가능하다.
광학기기는 본체(미도시), 디스플레이부(미도시), 깊이 정보 추출 장치(1000)를 포함할 수 있다.
본체는 광학기기의 외관을 형성할 수 있다. 본체는 일례로서 직육면체 형상을 포함할 수 있다. 다만, 이에 제한되는 것은 아니다. 변형예로서 본체의 적어도 일부는 라운드지게 형성될 수 있다. 본체는 깊이 정보 추출 장치(1000)를 수용할 수 있다. 본체의 일면에는 디스플레이부가 배치될 수 있다.
거리 정보 추출 장치(1000)는 본체에 배치될 수 있다. 거리 정보 추출 장치(l000)는 본체의 일면에 배치될 수 있다. 거리 정보 추출 장치(1000)는 적어도 일부가 본체 내부에 수용될 수 있다. 거리 정보 추출 장치(1000)는 피사체의 거리 정보를 추출할 수 있다. 거리 정보 추출 장치(1000)는 디스플레이부와 전기적으로 연결되어 피사체의 깊이 정보를 디스플레이할 수 있다.
디스플레이부는 본체에 배치될 수 있다. 디스플레이부는 본체의 일면에 배치될 수 있다. 즉, 디스플레이부는 거리 정보 추출 장치(1000)와 동일한 면에 배치될 수 있다. 또는, 디스플레이부는 본체의 일면과 다른 면에 배치될 수 있다. 디스플레이부는 거리 정보 추출 장치(1000)가 배치된 면의 맞은편에 위치하는 면에 배치될 수 있다. 디스플레이부는 거리 정보 추출 장치(1000)의 피사체 및 피사체의 깊이 정보를 디스플레이할 수 있다.
이하에서는, 도면을 참조하여 실시예의 거리 정보 추출 장치(1000)를 설명한다. 도 1은 본 실시예의 거리 정보 추출 장치를 나타낸 개념도이고, 도 2는 본 실시예의 광 출사 모듈을 나타낸 개념도이고, 도 3은 정전류 아날로그 제어와 PWM(Pulse Width Modulation) 제어의 차이를 나타낸 개념도이고, 도 4는 본 실시예의 광 출사 모듈이 위상 이동된 복수 개의 프레임을 생성하는 것을 나타낸 개념도이고, 도 5는 본 실시예의 렌즈를 나타낸 사시도이고, 도 6은 본 실시예의 렌즈를 나타낸 단면도이다.
본 실시예의 거리 정보 추출 장치(1000)는, 광 출력 모듈(100), 이미지 센서(200) 및 제어회로(300)를 포함할 수 있다.
광 출력 모듈(100)은 피사체(50)에 의해 반사되어 이미지 센서(200)에서 획득되는 프레임(frame)이 스트라이프 패턴을 포함 하도록 광을 제어하여 출력할 수 있다. 광 출력 모듈(100)은 피사체(50)에 스트라이프 패턴(Stripe pattern, 51)을 갖는 구조광을 조사하기 위해 선형(line shape)의 광을 순차적으로 조사할 수 있다. 광 출력 모듈(100)은 피사체(50)에 위상 이동 스트라이프 패턴(PSS, Phase Shift Stripe)이 형성된 구조광을 순차적으로 조사할 수 있다. 순차적으로 조사된 구조광의 위상은 차이를 가질 수 있다. 일 예로, 순차적으로 조사된 구조광의 위상은 π/2의 차이를 가질 수 있다. 이미지 센서(200)는 광 출력 모듈(100)에서 출력된 광을 이용하여 피사체(50)의 정보를 획득할 수 있다. 이미지 센서(200)는 광 출력 모듈(100)에서 출력되고 피사체(50)에 의해 반사된 광을 수신할 수 있다.
이미지 센서(200)는 하나의 이미지 프레임(frame)을 획득하기 위한 노출시간(exposure time)을 가질 수 있다. 따라서 광 출력 모듈(100)에서 하나의 선형의 광이 출력되더라도 선형의 광의 밝기 및/또는 선형의 광의 출력방향을 조절하여 복수의 선형 패턴을 갖는 스트라이프 패턴(51)을 하나의 이미지 프레임에서 획득할 수 있다. 하나의 이미지 프레임에서 획득된 스트라이프 패턴(51)에 포함되는 각각의 라인간의 간격은 일정할 수 있다. 즉, 스트라이프 패턴(51)을 구성하는 라인의 주기 또는 주파수는 일정할 수 있다. 이미지 센서(200)에서 획득하는 이미지 프레임은 복수개 일 수 있다. 이미지 센서(200)에서 획득하는 이미지 프레임은 3개 이상일 수 있다. 이미지 센서(200)에서 획득되는 복수의 프레임은 제1 프레임 및 제2 프레임을 포함할 수 있으며, 제1 프레임과 제2 프레임의 스트라이프 패턴의 위상은 서로 다를 수 있다. 예를 들어, 제1 프레임과 제2 프레임의 위상차는 π/2일 수 있다. 예를 들어, 4개의 프레임을 획득하는 경우 제1 프레임의 패턴을 기준으로 제2 프레임의 패턴은 π/2의 위상차를 갖고, 제3 프레임은 제2 프레임을 기준으로 π/2의 위상차를 갖고, 제4 프레임은 제3 프레임을 기준으로 π/2의 위상차를 가질 수 있다. π/2의 위상차가 나는 이미지를 이용하는 경우 구조광을 이용하여 거리 정보를 획득하기 위한 연산이 임의의 위상차를 갖는 이미지를 이용하는 것보다 간단해 질 수 있다.
제어회로(300)는 다양한 기능을 수행할 수 있다. 이를 위해, 제어 회로(300)는 복수 개의 제어부(control section)로 구성될 수 있다. 제1 제어부는 광 출력 모듈(100)을 제어하여 위상 이동 스트라이프 패턴(PSS, Phase Shift Stripe)을 생성하도록 할 수 있다. 제2 제어부는 이미지 센서(200)가 획득한 정보를 분석하고, 연산하여 피사체(50)의 거리 정보를 추출할 수 있다. 예를 들어, 삼각법(triangulation method)에 의해 피사체(50)의 거리 정보를 추출할 수 있다.
광 출력 모듈(100)은 광원(10), 렌즈(20), 미러(30) 및 포토다이오드(40)를 포함할 수 있다.
광원(10)은 광을 출력할 수 있다. 광원(10)에서 출력된 광은 렌즈(20)를 투과하여 미러(30)에 입사할 수 있다. 광원(10)은 일 예로, 레이저 다이오드(laser diode)일 수 있다. 광원(10)은 제어회로(300)와 전기적으로 연결될 수 있다. 광원(10)의 출력 세기는 제어회로(300)에 의해 제어될 수 있다.
광원(10)의 출력 세기는 시간에 따라 변화할 수 있다. 광원(10)의 출력 세기는 제1 주기 또는 제1 주파수를 가지도록 변화할 수 있다. 광원(10)의 출력 세기는 파형 또는 펄스 형태로 변화할 수 있다. 이 경우, 광원(10)의 출력 세기는 sin 파형 또는 cos 파형으로 변화할 수 있다.
광원(10)의 출력 세기는 정전류 아날로그 방식으로 제어될 수 있고, PWM(pulse width modulation) 방식으로 제어될 수 있다. 즉, 광원(10)의 출력 세기는 시간에 따라 광원(10)을 on/off하는 횟수(깜빡임 횟수)를 변경하여 제어될 수 있다.(도 3의 왼쪽 참조) 또, 광원(10)의 출력 세는 시간에 따라 광원(10)에 인가되는 전압의 폭을 조절하는, PWM(pulse width modulation) 디지털 방식으로 제어될 수 있다.(도 3의 오른쪽 참조)렌즈(20)는 광원(10)과 미러(30) 사이에 배치될 수 있다. 광원(10)에서 출력된 광은 렌즈(20)를 투과하여 미러(30)에 입사할 수 있다. 렌즈(20)는 광원(10)에서 출력된 광을 투과시켜 선형(line shape) 패턴을 출력시킬 수 있다. 즉, 광원(10)에서 출력된 작은 점 형태의 포인트 광이 렌즈(10)를 통과하면서 광의 진행방향에 수직한 제1 방향으로 길게 연장된 선형으로 출력될 수 있다. 즉, 렌즈(20)는 광원(10)에서 출력된 광을 스트라이프 패턴을 구성하기 위한 선형(line shape)특성을 갖는 광으로 변환할 수 있다.
렌즈(20)는 도 5에서 나타내는 바와 같이 입사면(21)과 투과면(22)을 포함할 수 있다. 입사면(21)은 볼록한 형태로, 광원(10)에서 출력된 광을 집광하는 기능을 수행할 수 있다. 투과면(22)은 애너모틱(anamorphic)한 형태를 가질 수 있다. 투과면(22)의 일측 단면에는 곡률이 형성되어 있지 않을 수 있다. 즉, 투과면(22)의 일측 단면은 선형일 수 있다. 또, 투과면(22)의 타측 단면에는 볼록한 곡률이 형성될 수 있다. 그 결과, 투과면(22)을 투과하는 광은 일축으로는 평행화되고, 타축으로만 집광되어 선형 패턴 광으로 변환될 수 있다. 여기서 "선형 패턴 광"은 단일 띠 형태의 광일 수 있다.
미러(30)는 렌즈(20)를 투과한 선형 패턴 광을 반사시킬 수 있다. 미러(30)는 제1 축을 기준으로 회전할 수 있다. 미러(30)는 제1 축을 기준으로 정회전과 역회전을 반복할 수 있다. 미러(30)는 전자기력에 의해 구동되는 멤스 미러일 수 있다.
미러(30)는 제어회로(300)와 전기적으로 연결될 수 있다. 미러(30)의 회전 구동은 제어회로(300)에 의해 제어될 수 있다. 미러(30)의 회전 구동은 제2 주기 또는 제2 주파수를 가지도록 제어될 수 있다.
미러(30)에 반사된 선형 패턴 광은 패턴 광을 구성하는 단일 띠 간의 거리가 일정 간격씩 이격되어 순차적으로 배열될 수 있다. 즉, 광원(10)의 출력 세기는 제1 주기 또는 제1 주파수를 가지도록 제어되고, 미러(30)의 회전 구동은 제2 주기를 또는 제2 주파수를 가지도록 제어되어 제1 스트라이프 패턴(51-1)이 생성될 수 있다. 제어회로(300)는, 피사체에 반사되어 이미지 센서(200)로 입사되는 광이 형성하는 제1 프레임과 제2 프레임의 제1 스트라이프 패턴(51-1)과 제2 스트라이프 패턴(51-2)이 서로 위상차를 가지도록, 광원(10) 출력 세기의 제1 주기와 미러(30) 회전 구동의 제2 주기가 위상차를 가지도록 제어할 수 있다.
광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기는 순차적으로 제1 위상차, 제2 위상차 및 제3 위상차를 갖도록 구동될 수 있다. 제1 위상차, 제2 위상차 및 제3 위상차는 상호 간에 π/2의 차이를 가질 수 있다. 즉, 제1 위상차와 제2 위상차의 차이와 제2 위상차와 제3 위상차의 차이는 π/2일 수 있다. 다만, 제1 위상차, 제2 위상차 및 제3 위상차 상호 간의 차이가 이에 한정되는 것은 아니다. 일 예로, 제1 위상차, 제2 위상차 및 제3 위상차는 상호 간에 π/4의 차이를 가질 수 있다.
제1 위상차, 제2 위상차 및 제3 위상차의 차이는 다양한 제어방식에 의해 발생할 수 있다. 일 예로, 광원(10)의 출력과 미러(30)의 회전 중 적어도 하나가 지연(time delay)되어 발생할 수 있다.
광 출력 모듈(100)은 제1 위상차, 제2 위상차 및 제3 위상차의 차이에 의해 도 4에서 나타내는 바와 같이, 위상이 순차적으로 π/2만큼 이동된 위상 이동 스트라이프 패턴 광을 피사체(50)에 투영할 수 있다. 제1 스트라이프 패턴(51-1). 제2 스트라이프 패턴(51-2) 및 제3 스트라이프 패턴(51-3)은 상호 간에 π/2만큼의 위상 차이를 가질 수 있다. 이 경우, 제1 스트라이프 패턴(51-1)의 선형 패턴의 간격은 서로 동일하고, 제2 스트라이프 패턴(51-2)의 선형 패턴의 간격은 서로 동일하고, 제 3 스트라이프 패턴(51-3)의 선형 패턴의 간격은 서로 동일할 수 있다. 또, 제1 스트라이프 패턴(51-1)의 선형 패턴 간격, 제2 스트라이프 패턴(51-2)의 선형 패턴 간격 및 제3 스트라이프 패턴(51-3)의 선형 패턴 간격은 모두 동일할 수 있다.
즉, 두 번째로 조사된 제2 스트라이프 패턴(51-2)은 첫 번째로 조사된 제1 스트라이프 패턴(51-1)에서 π/2만큼 위상 이동하여 피사체(50)에 투영될 수 있다. 또, 세 번째로 조사된 제3 스트라이프 패턴(51-3)은 두 번째로 조사된 제2 스트라이프 패턴(51-2)에서 π/2만큼 위상 이동하여 피사체(50)에 투영될 수 있다.
다만, 순차적으로 조사되는 스트라이프 패턴(51)의 위상 차이가 π/2에 한정되는 것은 아니다. 일 예로, 순차적으로 조사되는 스트라이프 패턴(51)은 π/4의 위상 차이를 가질 수 있다.
포토다이오드(40)는 미러(30)와 피사체(50) 사이에 배치될 수 있다. 포토다이오드(40)는 미러(30)로부터 반사된 광 신호를 입력받아 광 강도에 따른 다양한 전기 신호를 발생시킬 수 있다. 포토다이오드(40)는 제어회로(300)와 전기적으로 연결될 수 있다. 포토다이오드(40)는 스트라이프 패턴(51)의 주파수를 감지하여 제어회로(300)로 전달할 수 있다. 제어회로(300)는 미러의 스캔 속도 또는 스캔 주파수를 감지하고, 미러 또는 광원의 출력을 보정 할 수 있다.
이하, 이미지 센서(200)에 대해서 설명한다. 이미지 센서(200)에는 광 출력 모듈(100)로부터 출력되어 피사체(50)에 반사된 광이 조사될 수 있다. 이미지 센서(200)는 광 출력 모듈(100)로부터 출력된 광을 이용하여 위상 이동 스트라이프 패턴이 투영된 피사체(50)의 정보를 획득하고, 프레임을 출력할 수 있다. 이미지 센서(200)가 출력하는 프레임은 이미지 정보를 포함할 수 있다.
이미지 센서(200)가 획득한 정보는 스트라이프 패턴(51) 정보를 포함할 수 있다. 또, 이미지 센서(200)가 획득한 정보는 이미지 센서(200)로부터 출력된 프레임을 구성하는 각 픽셀의 밝기 정보일 수 있다.
이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제1 위상차를 가질 때, 제1 정보를 획득할 수 있다. 이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제2 위상차를 가질 때, 제2 정보를 획득할 수 있다. 이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제3 위상차를 가질 때, 제3 정보를 획득할 수 있다.
제1 정보는, 제1 스트라이프 패턴(51-1)이 투영된 피사체(50)에 대한 정보일 수 있다. 제2 정보는, 제2 스트라이프 패턴(51-2)이 투영된 피사체(50)에 대한 정보일 수 있다. 제3 정보는, 제3 스트라이프 패턴(51-3)이 투영된 피사체(50)에 대한 정보일 수 있다.
이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제1 위상차를 가질 때, 제1 프레임을 출력할 수 있다. 이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제2 위상차를 가질 때, 제2 프레임을 출력할 수 있다. 이미지 센서(200)는 광원(10)의 출력 세기의 제1 주기와 미러(30)의 회전 구동의 제2 주기가 제3 위상차를 가질 때, 제3 프레임을 출력할 수 있다.
제1 프레임은 제1 스트라이프 패턴(51-1)이 투영된 피사체(50)에 대한 제1 정보를 가질 수 있다. 제2 프레임은 제2 스트라이프 패턴(51-2)이 투영된 피사체(50)에 대한 제2 정보를 가질 수 있다. 제3 프레임은 제3 스트라이프 패턴(51-3)이 투영된 피사체(50)에 대한 제3 정보를 가질 수 있다.
이미지 센서(200)는 제어회로(300)와 전기적으로 연결되어, 제1 정보, 제2 정보 및 제3 정보를 제어회로(300)에 전달할 수 있다. 또, 이미지 센서(200)는 제어회로(300)와 전기적으로 연결되어, 제1 프레임, 제2 프레임 및 제3 프레임의 이미지 정보를 제어회로(300)에 전달할 수 있다.
제어회로(300)는 광원(10), 미러(30), 포토다이오드(40) 및 이미지 센서(200)와 전기적으로 연결될 수 있다. 제어회로(300)는 복수 개의 제어부(control section)로 구성되어 다양한 기능을 수행할 수 있다. 제어회로(300)는 광원(10)의 출력 세기를 제어할 수 있다. 제어회로(300)는 광원(10)의 출력 세기가 제1 주기를 가지도록 제어할 수 있다. 제어회로(300)는 광원(10)의 출력 세기가 제1 주파수를 가지도록 제어할 수 있다. 제어회로(300)는 미러(30)의 회전 구동을 제어할 수 있다. 제어회로(300)는 미러(30)의 회전 구동이 제1 주기를 가지도록 제어할 수 있다. 제어회로(300)는 미러(30)의 회전 구동이 제1 주파수를 가지도록 제어할 수 있다. 제어회로(300)는 광원(10)의 출력 세기와 미러(30)의 회전 구동이 동기화되도록 제어할 수 있다. 그 결과, 광원에서 순차적으로 출력된 단일의 선형 패턴은 배열되어 스트라이프 패턴(51)으로 변조될 수 있다. 스트라이프 패턴(51)은 구조광일 수 있다. 구조광은 피사체(50)에 투영되고, 피사체(50)의 거리 정보에 의해, 이동(shift)될 수 있다. 제어회로(300)는 피사체(50)에 투영된 구조광의 이동량을 산출할 수 있다. 제어회로(300)는 피사체(50)에 투영된 구조광의 이동량으로부터, 삼각법에 의해 피사체(50)의 거리 정보를 추출할 수 있다.
이하, 광원(10)의 출력 세기가 COS 파형에 따라 변화하는 경우의 거리 정보 추출에 대해서 설명한다. 이미지 센서로부터 획득된 제1 프레임의 제1 정보로부터 아래의 (1) 방정식의 I1 값이 측정되고, 제2 프레임의 제2 정보로부터 아래의 I2 값이 측정되고, 제3 프레임의 제3 정보로부터 아래의 I3 값이 측정될 수 있다. 미지수는 I0, Im, φ이고, I1, I2, I3는 상술한 바와 같이, 이미지 센서(200)로부터 측정될 수 있다. 이 경우, θ는 피사체(50)에 순차적으로 조사되는 스트라이프 패턴의 위상 차이만큼 증가할 수 있다. 즉, 피사체(50)에 순차적으로 조사되는 스트라이프 패턴의 위상 차이가 π/2인 경우, θ1은 π/2이고, θ2는 π일 수 있다.
*(1) I0 + ImCOS(φ) = I1
(2) I0 + ImCOS(φ+θ1) = I2
(3) I0 + ImCOS(φ+θ2) = I3
미지수와 방정식의 개 수가 같으므로, 방정식의 해를 도출하여 위상값 φ(측정 위상값)를 결정할 수 있다. 피사체의 거리에 따른 기준 위상값과 측정 위상값을 비교하여 피사체 상의 상대적인 깊이 정보를 추출할 수 있다.
상술한 거리 정보 추출 방식은 일 예일 뿐, 본 실시예의 권리 범위가 이에 한정되는 것은 아니다. 본 실시예의 이미지 센서(200)는 제1 주기의 위상과 제2 주기의 위상이 제4 위상차를 가질 때, 제4 정보를 출력할 수 있고, 제1 정보, 제2 정보, 제3 정보 및 제4 정보를 이용하여 거리 정보를 추출할 수 있다. 이 경우, φ 값의 계산이 간편하며, 측정값의 정확성을 담보할 수 있다.
미지수는 I0, Im, φ이고, I1, I2, I3, I4는 상술한 바와 같이, 이미지 센서(200)로부터 측정될 수 있다. 따라서 아래의 4개의 방정식의 해를 구하여 φ을 도출할 수 있다.
(1) I0 + ImCOS(φ) = I1
(2) I0 + ImCOS(φ+θ1) = I2
(3) I0 + ImCOS(φ+θ2) = I3
(4) I0 + ImCOS(φ+θ2) = I4
또, 이보다 더 간편하게 아래의 수식을 통하여 φ(측정 위상값)를 직접 산출할 수 있다.
φ = tan-1(I4- I2/ I1- I3)
따라서 피사체의 거리에 따른 기준 위상값과 측정 위상값을 비교하여 피사체 상의 상대적인 깊이 정보를 추출할 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 광 출력 모듈 200: 이미지 센서
300: 제어회로
1000: 깊이 정보 추출 장치

Claims (12)

  1. 광을 출력하는 광원;
    상기 광원으로부터 출력된 광을 투과시키는 렌즈;
    상기 렌즈를 투과한 광을 반사시키고 제1축을 기준으로 회전하는 미러를 포함하고,
    상기 광원은 광의 출력 세기가 제1주기를 갖도록 동작하고,
    상기 미러의 회전은 제2주기를 갖도록 동작하고,
    상기 제1주기의 위상과 상기 제2주기의 위상의 차이로 인한 복수의 광 패턴이 형성되는 거리 정보 추출 장치.
  2. 제1항에 있어서,
    상기 복수의 광 패턴은 제1패턴 및 제2패턴을 포함하고,
    상기 제1패턴은 상기 제1주기의 위상과 상기 제2주기의 위상이 제1위상차를 갖는 패턴이고,
    상기 제2패턴은 상기 제1주기의 위상과 상기 제2주기의 위상이 제2위상차를 갖는 패턴인 거리 정보 추출 장치.
  3. 제1항에 있어서,
    상기 미러를 통해 출력된 광을 이용한 피사체의 정보를 획득하는 이미지 센서를 포함하고,
    상기 복수의 광 패턴이 각각 피사체에 반사되어 상기 이미지 센서에 입력되는 정보를 통해 상기 피사체에 대한 거리 정보를 추출하는 거리 정보 추출 장치.
  4. 제2항에 있어서,
    상기 광원의 광 출력과 상기 미러의 회전을 제어하는 제어회로를 포함하고,
    상기 렌즈는 입사면이 볼록하고 투과면이 애너모픽(anamorphic) 형상을 갖는 거리 정보 추출 장치.
  5. 제3항에 있어서,
    상기 이미지 센서가 획득하는 정보는 상기 이미지 센서로부터 출력되는 프레임을 구성하는 각 픽셀의 밝기 정보인 거리 정보 추출 장치.
  6. 제1항에 있어서,
    상기 광원의 출력 세기와 상기 미러의 회전은 동기화되어, 복수 개의 선형 패턴이 배열된 제1스트라이프 패턴이 피사체에 조사되는 거리 정보 추출 장치.
  7. 제4항에 있어서,
    상기 미러와 피사체 사이에 배치되고 상기 제1 및 제2패턴의 주파수를 감지하여 상기 제어회로로 전달하는 포토다이오드를 포함하는 거리 정보 추출 장치.
  8. 제2항에 있어서,
    상기 제1위상차와 상기 제2위상차의 차이는 상기 광원의 출력과 상기 미러의 회전 중 적어도 하나가 지연되어 발생하는 거리 정보 추출 장치.
  9. 제3항에 있어서,
    상기 이미지 센서는 상기 제1주기의 위상과 상기 제2주기의 위상이 제3위상차를 가질 때, 제3정보를 출력하고, 상기 제1정보, 상기 제2정보 및 상기 제3정보를 이용하여 거리 정보를 추출하는 거리 정보 추출 장치.
  10. 제9항에 있어서,
    상기 이미지 센서는 상기 제1주기의 위상(phase)과 상기 제2주기의 위상(Phase)이 제4위상차를 가질 때의 제4정보를 출력하고, 상기 제1정보, 상기 제2정보, 상기 제3정보 및 상기 제4정보를 이용하여 거리 정보를 추출하는 거리 정보 추출 장치.
  11. 제3항에 있어서,
    상기 이미지 센서는 패턴의 간격이 동일한 적어도 3개의 프레임을 추출하고,
    상기 적어도 3개의 프레임 상호간에는 패턴의 간격이 동일하며 위상(phase)차이가 있고,
    상기 적어도 3개의 프레임의 이미지 정보를 이용하여 거리정보를 추출하는 거리 정보 추출 장치.
  12. 제11항에 있어서,
    상기 이미지 센서는 패턴의 간격이 동일한 4개의 프레임을 추출하고, 상기 4개의 프레임 각각의 패턴은 π/4씩 위상차이가 나는 거리 정보 추출 장치.

KR1020220022671A 2017-03-09 2022-02-22 거리 정보 추출 장치 및 광학 기기 KR102500863B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220022671A KR102500863B1 (ko) 2017-03-09 2022-02-22 거리 정보 추출 장치 및 광학 기기

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170030262A KR102368105B1 (ko) 2017-03-09 2017-03-09 거리 정보 추출 장치 및 광학 기기
KR1020220022671A KR102500863B1 (ko) 2017-03-09 2022-02-22 거리 정보 추출 장치 및 광학 기기

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170030262A Division KR102368105B1 (ko) 2017-03-09 2017-03-09 거리 정보 추출 장치 및 광학 기기

Publications (2)

Publication Number Publication Date
KR20220029608A true KR20220029608A (ko) 2022-03-08
KR102500863B1 KR102500863B1 (ko) 2023-02-16

Family

ID=63718820

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170030262A KR102368105B1 (ko) 2017-03-09 2017-03-09 거리 정보 추출 장치 및 광학 기기
KR1020220022671A KR102500863B1 (ko) 2017-03-09 2022-02-22 거리 정보 추출 장치 및 광학 기기

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170030262A KR102368105B1 (ko) 2017-03-09 2017-03-09 거리 정보 추출 장치 및 광학 기기

Country Status (1)

Country Link
KR (2) KR102368105B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110943778B (zh) 2018-09-25 2021-12-07 北京外号信息技术有限公司 光通信装置以及用于传输和接收信息的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015513825A (ja) * 2012-02-15 2015-05-14 メサ・イメージング・アー・ゲーＭｅｓａ Ｉｍａｇｉｎｇ Ａｇ ストライプ照明の飛行時間型カメラ
KR20150090777A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 Ｔｏｆ 카메라 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101020999B1 (ko) * 2009-01-05 2011-03-09 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
US9936176B2 (en) 2014-01-07 2018-04-03 Mitsubishi Electric Corporation Image protection device and adjustment method
KR102117561B1 (ko) * 2014-01-29 2020-06-01 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015513825A (ja) * 2012-02-15 2015-05-14 メサ・イメージング・アー・ゲーＭｅｓａ Ｉｍａｇｉｎｇ Ａｇ ストライプ照明の飛行時間型カメラ
KR20150090777A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 Ｔｏｆ 카메라 장치

Also Published As

Publication number Publication date
KR102368105B1 (ko) 2022-02-28
KR102500863B1 (ko) 2023-02-16
KR20180103393A (ko) 2018-09-19

Similar Documents

Publication Publication Date Title
CN109798838B (zh) 一种基于激光散斑投射的ToF深度传感器及其测距方法
EP2894492B1 (en) A method for driving a time-of-flight system
US9316735B2 (en) Proximity detection apparatus and associated methods having single photon avalanche diodes for determining a quality metric based upon the number of events
KR102624984B1 (ko) ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
US9418425B2 (en) 3D image acquisition apparatus and method of calculating depth information in the 3D image acquisition apparatus
CN103748479B (zh) 用于提供距离信息的飞行时间摄像机及方法
US9894347B2 (en) 3D image acquisition apparatus and method of driving the same
CN107018295B (zh) 用于产生深度图像的方法和装置
CN113924507A (zh) 混合主动深度
CN111025315B (zh) 一种深度测量系统及方法
US11681025B2 (en) Simultaneous data transmission and depth image recording with time-of-flight cameras
CN110488251B (zh) 激光雷达系统及其激光雷达回波信号曲线的获得方法、装置
US11393115B2 (en) Filtering continuous-wave time-of-flight measurements, based on coded modulation images
WO2020221185A1 (zh) 基于异步ToF离散点云的3D成像装置及电子设备
KR20220029608A (ko) 거리 정보 추출 장치 및 광학 기기
WO2022161043A1 (zh) 一种获取距离信息的探测方法及探测系统
US20210329218A1 (en) Camera
JP6318663B2 (ja) レーザレーダ装置
US11709271B2 (en) Time of flight sensing system and image sensor used therein
US20190064356A1 (en) LiDAR DEVICE AND METHOD OF OPERATING THE SAME
KR20210036200A (ko) 라이다 장치 및 그 동작 방법
JP2014062982A (ja) 三次元情報取得機能付き画像投影装置
KR102111539B1 (ko) TOF(Time-Of-Flight) 카메라를 이용한 거리 측정 장치 및 방법
JP2018036144A (ja) 距離計測システム、および距離計測方法
KR20210072423A (ko) 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant