KR102312273B1 - 거리영상 측정용 카메라 및 그 동작방법 - Google Patents

거리영상 측정용 카메라 및 그 동작방법 Download PDF

Info

Publication number
KR102312273B1
KR102312273B1 KR1020140158061A KR20140158061A KR102312273B1 KR 102312273 B1 KR102312273 B1 KR 102312273B1 KR 1020140158061 A KR1020140158061 A KR 1020140158061A KR 20140158061 A KR20140158061 A KR 20140158061A KR 102312273 B1 KR102312273 B1 KR 102312273B1
Authority
KR
South Korea
Prior art keywords
regions
light
camera
modulator
operating
Prior art date
Application number
KR1020140158061A
Other languages
English (en)
Other versions
KR20160057166A (ko
Inventor
유장우
나병훈
박용화
박창영
윤희선
이상훈
전명제
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140158061A priority Critical patent/KR102312273B1/ko
Priority to US14/699,068 priority patent/US9769456B2/en
Publication of KR20160057166A publication Critical patent/KR20160057166A/ko
Application granted granted Critical
Publication of KR102312273B1 publication Critical patent/KR102312273B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes

Abstract

거리영상 측정용 카메라와 그 동작방법에 관해 개시되어 있다. 개시된 거리영상 측정용 카메라는 피사체에 광을 비추는 조명장치와, 피사체로부터 반사된 광을 수광하는 광 변조 광학계와, 상기 광 변조 광학계를 통해 입사되는 광을 수광하여 상기 피사체에 대한 영상을 제공하는 이미지 센서를 포함하고, 상기 광 변조 광학계는 광축이 동일한 복수의 렌즈와, 2가지 동작모드로 동작되는 광 변조기를 포함한다. 상기 광 변조기는 TOF 모드와 스테레오 모드로 동작되는 광 변조기일 수 있다. 상기 광 변조 광학계는 조리개를 포함하고, 상기 광 변조기는 상기 조리개에 근접하여 구비될 수 있다.

Description

거리영상 측정용 카메라 및 그 동작방법{Camera for depth image measure and method of operating the same}
본 개시는 카메라와 관련된 것으로, 보다 자세하게는 거리영상 측정용 카메라 및 그 동작방법에 관한 것이다.
피사체에 대한 거리영상(depth image)은 대표적으로 2가지 방법으로 측정할 수 있다.
첫째 방법은 키넥트(Kinect)와 같이 패턴 광과 광 삼각법을 이용하는 방법이다.
둘째 방법은 피사체에 적외선(Infra Red, IR)을 조사하고, 피사체에 반사되어 돌아오는 비행시간(Time-Of-Flight, TOF)으로부터 거리영상을 추출하는 방법이다.
TOF 카메라는 눈에 보이지 않는 근적외선을 수십 MHz 주파수로 광량 변조(modulation)하여 물체에 조명으로 조사하고, 물체로부터 되돌아 오는 광의 위상지연(phase delay)을 영상센서로 측정하여 상기 영상센서의 각 화소(pixel)에서 물체와 카메라 사이의 거리를 얻어 거리영상(depth image)을 만든다.
상기 방식 외에 스테레오(stero) 방식으로 영상을 센싱할 수도 있다. TOF 방식은 상대적으로 원거리의 영상인식이나 동작인식에 유리하고, 스테레오 방식은 상대적으로 근거리의 영상인식이나 동작인식에 유리하다.
본 개시는 피사체의 거리에 관계없이 높은 정밀도로 거리영상을 얻을 수 있는 거리영상 측정용 카메라 제공한다.
본 개시는 이러한 카메라의 동작방법을 제공한다.
본 개시의 일 실시예에 의한 거리영상 측정용 카메라는 피사체에 광을 조사하는 조명장치와, 상기 피사체로부터 반사된 광을 수광하는 광 변조 광학계와, 상기 광 변조 광학계를 통해 입사되는 광을 수광하여 상기 피사체에 대한 영상을 제공하는 이미지 센서를 포함하고, 상기 광 변조 광학계는 광축이 동일한 복수의 렌즈와 2가지 동작모드로 동작되는 광 변조기를 포함한다.
이러한 거리영상 측정용 카메라에서, 상기 광 변조기는 TOF 모드와 스테레오 모드로 동작되는 광 변조기일 수 있다.
상기 광 변조 광학계는 조리개를 포함하고, 상기 광 변조기는 상기 조리개에 근접하여 구비될 수 있다.
상기 광 변조기는 상기 복수의 렌즈들 사이에 마련될 수 있다.
상기 광 변조기는 상기 복수의 렌즈 외부에 구비될 수 있다.
상기 광 변조기의 광이 입사되는 액티브 영역은 독립적으로 구동되는 복수의 영역을 포함할 수 있다.
상기 액티브 영역은 독립적으로 구동되는 적어도 2개의 영역을 포함할 수 있다.
상기 복수의 영역은 모두 동일한 모양일 수 있다.
상기 복수의 영역 중 일부 영역은 나머지와 모양이 다를 수 있다.
본 개시에서 일 실시예에 의한 거리영상 측정용 카메라의 동작방법은 광 변조기는 광이 입사되고, 독립적으로 구동되는 복수의 영역을 포함하고, 상기 복수의 영역 중 적어도 한 영역을 턴온 또는 턴오프시킨다.
이러한 동작방법에서, 상기 복수의 영역은 모두 동일한 모양일 수 있다. 또는 상기 복수의 영역 중 일부 영역은 나머지와 모양이 다를 수 있다.
상기 복수의 영역 전체를 동시에 턴온 또는 턴오프시킬 수 있다.
상기 방법은 상기 복수의 영역 중 일부는 턴온시키고, 나머지는 턴오프시키는 과정과, 상기 일부는 턴오프시키고, 상기 나머지는 턴온시키는 과정과, 상기 두 과정을 반복하는 과정을 포함할 수 있다.
개시된 거리영상 측정용 카메라는 조리개(aperture)에 근접해서 다기능 광 변조기가 구비되어 있다. 상기 다기능 광 변조기는 복수로 분할된 영역을 포함하고, 상기 영역들을 선택적으로 구동(전체 혹은 부분구동)시킴으로써, TOF 방식 또는 스테레오 방식으로 구동될 수 있다. 따라서 원거리에 있는 피사체와 근거리에 있는 피사체에 대한 영상을 모두 높은 정밀도로 얻을 수 있다. 곧, 피사체의 거리에 관계없이 피사체에 대한 높은 정밀도의 영상을 얻을 수 있다.
도 1은 일 실시예에 의한 거리영상 측정 카메라의 개략적 구성을 나타낸 다이어그램이다.
도 2는 도 1의 광변조 광학계에 대한 일 실시예를 나타낸 단면도이다.
도 3은 도 1의 광변조 광학계에 대한 다른 실시예를 나타낸 단면도이다.
도 4 내지 도 8은 도 2 및 도 3의 분할된 복수 영역을 갖는 광 변조기의 예를 나타낸 정면도이다.
도 9 및 도 10은 일 실시예에 의한 거리영상 측정 카메라의 동작에 관련된 것으로, 광 변조기의 동작의 예를 나타낸 정면도이다.
이하, 일 실시예에 의한 거리영상 측정용 카메라와 그 동작방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 층이나 영역들의 두께는 명세서의 명확성을 위해 과장되게 도시된 것이다. 하기에서 카메라는 TOF 방식과 스테레오 방식을 겸하는 3D 카메라일 수 있다.
먼저, 거리영상 측정용 카메라에 대해 설명한다.
도 1은 일 실시예에 의한 거리영상 측정용 카메라(이하, 카메라)의 구성을 보여준다.
도 1을 참조하면, 카메라는 조명장치(40)와 광 변조 광학계(100)와 이미지 센서(200)를 포함한다. 이들 요소들을 제어하는 제어기와 이미지 센서(200)로부터 발생되는 거리영상 신호를 처리하기 위한 신호처리기는 편의 상 도시하지 않았다. 조명장치(40)는 적외선을 방출하는 광원일 수 있다. 조명장치(40)는, 예를 들면 적외선 혹은 근적외선을 방출하는 레이저 다이오드(Laser Diode, LD) 혹은 LED를 포함할 수 있다. 참조번호 40L은 조명장치(40)로부터 피사체(44)로 방출되는 광을 나타낸다. 피사체(44)에서 반사된 광(44L)은 광 변조 광학계(100)를 거쳐 이미지 센서(200)에 입사된다. 이미지 센서(200)는 칼라필터가 없는 모노(mono)(black and white) CCD(Charge coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 영상센서 또는 유기(organic) 영상센서 등일 수 있다. 광 변조 광학계(100)는 TOF 방식과 스테레오 방식으로 구동되는 광 변조기를 포함할 수 있다. 이러한 광 변조기는 전기신호를 인가하여 광 투과도를 조절할 수 있는 장치로써, 화합물 반도체 기반의 고속 광 변조기일 수 있다.
도 2는 이러한 광 변조 광학계(100)에 대한 제1 실시예를 보여준다.
도 2를 참조하면, 광 변조 광학계(100)는 광 변조기(46), 조리개(aperture)(48), 제1 내지 제4 렌즈(L1-L4), 제1 필터(F1)를 포함한다. 광 변조기(46)는 2가지 방식으로 구동될 수 있다. 이를 위해 광 변조기(46)의 액티브 영역(active area), 곧 광이 입사되는 영역은 복수 영역으로 분할될 수 있다. 이에 대해서는 후술된다.
광 변조 광학계(100)에 입사되는 광은 광 변조기(46)를 거친 다음, 제1 내지 제4 렌즈(L1-L4)를 순차적으로 통과하고, 제1 필터(F1)를 통과한 다음, 이미지 센서(200)에 입사된다. 조리개(48)는 광 변조기(46)와 제1 렌즈(L1) 사이에 위치한다. 조리개(48)에 의해 제1 렌즈(L1)에 입사되는 광량이 결정될 수 있다. 광 변조기(46)는 조리개에 근접할 수 있고, 조리개와 접촉할 수도 있다. 제1 내지 제4 렌즈(L1-L4)는 비구면 렌즈일 수 있다. 광 변조 광학계(100)에서 제1 내지 제4 렌즈(L1-L4)는 도면에서 볼 수 있듯이 일부는 포지티브 파워(positive power)를 갖고, 일부는 네거티브 파워(negative power)를 가질 수 있다. 제1 내지 제4 렌즈(L1-L4)의 직경은 다를 수 있다. 제1 필터(F1)는 밴드 패스 필터(band pass filter) 필터일 수 있는데, 예를 들면 적외선만 통과시키는 필터일 수 있다. 광 변조 광학계(100)에 포함된 구성요소들은 모두 동일한 광 축을 가질 수 있다.
도 3은 도 1의 광 변조 광학계(100)에 대한 제2 실시예를 보여준다.
도 3을 참조하면, 광 변조 광학계(100)는 제1 내지 제4 렌즈(L11-L44), 광 변조기(46), 조리개(58), 제2 및 제3 필터(F2, F3)를 포함한다. 제1 내지 제4 렌즈(L11-L44)는 순차적으로 배치되어 있다. 광 변조기(46)는 제1 렌즈(L11)와 제2 렌즈(L22) 사이에 마련되어 있다. 조리개(58)는 광 변조기(46)와 제2 렌즈(L22) 사이에 위치한다. 광 변조기(46)와 제2 렌즈(L22)는 조리개(58)에 근접할 수 있다. 광 변조기(46)와 조리개(58)는 접촉될 수 있다. 도면에서 광 변조기(46)와 제2 렌즈(L22)는 이격된 것으로 도시되어 있지만, 광 변조기(46)는 제2 렌즈(L22)의 광 입사면의 볼록한 부분과 접촉될 수도 있다. 제4 렌즈(L44)와 이미지 센서(200) 사이에 제2 및 제3 필터(F2, F3)가 순차적으로 배치되어 있다.
피사체(44)로부터 반사되어 입사되는 광은 제1 렌즈(L11), 광 변조기(46), 제2 렌즈(L22), 제3 렌즈(L33), 제4 렌즈(L44), 제2 필터(F2) 및 제3 필터(F3)를 순차적으로 통과한 다음, 이미지 센서(200)에 입사된다.
제1 내지 제4 렌즈(L11-L44)는 비구면 렌즈일 수 있다. 광 변조 광학계(100)에서 제1 내지 제4 렌즈(L11-L44)는 도면에서 볼 수 있듯이 일부는 포지티브 파워를, 일부는 네가티브 파워를 가질 수 있다. 제1 내지 제4 렌즈(L11-L44)의 직경은 다를 수 있다. 제1 내지 제3 렌즈(L11-L33)는 이격되어 있다. 제3 렌즈(L33)와 제4 렌즈(L44)는 인접하고, 서로 접촉될 수 있다. 제2 및 제3 필터(F2, F3)는 제4 렌즈(L44)로부터 이격되어 있다. 제2 및 제3 필터(F2, F3)는 입사광 중에서 일부를 거르는 밴드 패스 필터일 수 있다.
다음에는 광 변조기(46)에 대해 설명한다. 광 변조기(46)의 액티브 영역은 복수의 영역을 포함할 수 있다. 상기 복수의 영역은 구동 독립성을 위해 서로 분할된 것일 수 있다. 곧, 각 영역은 독립적으로 구동될 수 있다.
먼저, 도 4에 도시한 바와 같이, 광 변조기(46)는 서로 동일한 제1 및 제2 영역(A1, A2)을 포함한다. 광 변조기(46)는 또한 도 5에 도시한 바와 같이 분할된 제1 내지 제4 영역(B1-B4)을 포함할 수 있다. 제1 내지 제4 영역(B1-B4)은 서로 동일하고, 가로방향으로 분할된 영역들이다.
계속해서, 도 6을 참조하면, 광 변조기(46)는 서로 동일한 제1 내지 제4 영역(46a-46d)을 포함한다. 제1 내지 제4 영역(46a-46d)은 상하좌우로 분할되어 격자를 이루는 영역들이다.
도 7을 참조하면, 광 변조기(46)는 서로 동일한 제1 내지 제4 영역(C1-C4)을 포함한다. 제1 내지 제4 영역(C1-C4)은 액티브 영역을 세로방향으로 분할한 것이다.
도 8을 참조하면, 광 변조기(46)는 제1 내지 제4 영역(D1-D4)을 포함한다. 제1 내지 제4 영역(D1-D4)은 상술한 분할 영역들의 조합일 수 있다. 예를 들면, 제1 및 제2 영역(D1, D2)은 도 6의 제1 및 제3 영역(46a, 46c)에 해당할 수 있다. 그리고 제3 및 제4 영역(D3, D4)은 도 5의 제3 및 제4 영역(B3, B4)에 해당할 수 있다.
도 4 내지 도 8은 광 변조기(46)의 액티브 영역에 대한 다양한 분할방식을 보여주지만, 일부 예만 보인 것이다. 광 변조기(46)의 액티브 영역은 도 4 내지 도 8에 도시한 분할방식에 기초하여 다양한 조합으로 분할될 수 있다. 또한, 광 변조기(46)의 액티브 영역은 4개 이상으로 분할될 수도 있다.
다음에는 다른 실시예에 따른 카메라의 동작방법을 설명한다.
광 변조기(46)는 분할된 복수의 영역을 포함한다. 따라서 이러한 복수의 영역을 선택적으로 동작시킴으로써, 광 변조기(46)를 다양한 모드로 동작시킬 수 있고, 광 변조기(46)의 이러한 동작은 카메라의 모드 동작을 결정한다. 따라서 광 변조기(46)의 동작방법은 카메라의 동작방법이 된다.
먼저, 광 변조기(46)의 액티브 영역이 2개 영역, 곧 제1 및 제2 영역(A1, A2)으로 분할된 경우, 도 9를 참조하여 광 변조기(46)의 동작에 대해 설명한다.
도 9의 (a)는 광 변조기(46)의 제1 및 제2 영역(A1, A2)이 턴온(turn on)된 상태를 나타낸다. 곧, 광 변조기(46)의 액티브 영역 전체가 턴온된 상태를 나타낸다. 이때는 광 변조기(46)에 입사되는 광은 광 변조기(46)의 제1 및 제2 영역(A1, A2)을 통과하면서 동시에 변조될 수 있다.
도 9의 (b)는 광 변조기(46)의 제1 및 제2 영역(A1, A2)이 모두 턴오프(turn off)된 상태를 나타낸다. 이때는 광 변조기(46)의 액티브 영역 전체가 오프 상태이므로, 광 변조기(46)에 입사된 광은 차단된다. 제1 및 제2 영역(A1, A2)의 턴온과 턴오프는 광 변조기(46)의 제1 및 제2 영역(A1, A2) 각각에 동작전압을 인가하여 수행할 수 있다. 예를 들면, 상기 동작전압이 각 영역에 인가될 때, 제1 및 제2 영역(A1, A2)이 턴오프되고, 상기 동작전압이 각 영역에 인가되지 않을 때, 제1 및 제2 영역(A1, A2)이 턴온될 수 있으며, 반대로 될 수도 있다.
도 9의 (a) 및 (b)와 같이 광 변조기(46)의 액티브 영역 전체가 턴온, 턴오프되면서 광 변조가 이루어지는 동작은 TOF 동작모드이며, 이러한 변조동작은 고속으로(20MHz 이상으로) 이루어질 수 있다.
한편, 광 변조기(46)의 액티브 영역 전체가 광 변조 없이 턴온, 턴오프될 수 있는데, 이때는 광 변조기(46)는 단순히 초고속 광 셔터로 동작된다.
도 9의 (c)와 (d)는 광 변조기(46)의 스테레오 동작모드를 나타낸 것으로, 제1 및 제2 영역(A1, A2) 전체가 온/오프되는 것이 아니라 어느 한 영역만 온/오프된다. 곧, 제1 및 제2 영역(A1, A2) 중 어느 한 영역을 통해서만 광이 투과한다.
도 9의 (c)의 경우, 제1 영역(A1)은 오프 상태, 제2 영역(A2)은 온 상태이고, 도 9의 (d)의 경우는 (c)와 반대의 상태이다. 도 9의 (c)와 (d)와 같이 동작되는 경우, 시차(view point)가 다른 영상을 얻을 수 있다.
도 9의 (c)와 (d)의 동작이 반복되는 경우, 스테레오 동영상을 얻을 수 있다. 이때, (c)와 (d)의 반복동작(동작속도)은 동영상 디스플레이의 프레임에 맞출 수 있다. 따라서 TOF 방식보다는 동작속도가 느릴 수 있다.
다음에는 광 변조기(46)의 액티브 영역이 4개의 영역으로 분할된 경우(예컨대, 도 5의 경우), 광 변조기 동작모드에 대해 도 10을 참조하여 설명한다.
도 10의 (a)와 (b)는 광 변조기(46)의 TOF 동작모드를 나타낸 것으로, 제1 내지 제4 영역(B1-B4)은 동시에 턴온되거나(a) 턴오프(b)된다. 따라서 제1 내지 제4 영역(B1-B4)에서 동시에 광 변조동작이나 광 차단동작이 이루어질 수 있다. 광 변조기(46)가 단순히 광 셔터인 경우, (a)와 (b)와 같이 제1 내지 제4 영역(B1-B4)을 동시에 턴온 또는 턴오프시켜 고속 광 셔터 동작을 수행할 수도 있다. 고속 광 셔터 동작은 광 변조동작보다 빠를 수 있다.
도 10의 (c)-(d)는 광 변조기(46)의 스테레오 동작모드를 보여준다.
구체적으로, 광 변조기(46)는 (c)에 도시한 바와 같이 제1 및 제2 영역(B1, B2)은 오프 상태가 되고, 제3 및 제4 영역(B3, B4)은 온 상태가 되도록 동작될 수 있다. 그리고 광 변조기(46)는 (d)에 도시한 바와 같이, 제1 및 제2 영역(B1, B2)은 온 상태가 되고, 제3 및 제4 영역(B3, B4)은 오프 상태가 되도록 동작될 수 있다. 또한, 광 변조기(46)는 (e)에 도시한 바와 같이, 제1 및 제4 영역(B1, B4)은 온 상태가 되고, 제2 및 제3 영역(B2, B3)은 오프 상태가 되도록 동작될 수 있다.
광 변조기(46)가 스테레오 동작모드일 때, 광 변조기(46)의 제1 내지 제4 영역(B1-B4)은 도시되지 않은 다양한 조합으로도 동작될 수 있다. 예를 들면, 제2 및 제4 영역(B2, B4)은 온 상태가 되고, 제1 및 제3 영역(B1, B3)은 오프 상태가 되도록 동작될 수도 있다. 또한, 광 변조기(46)는 제1 내지 제4 영역(B1-B4) 중 어느 하나를 온 상태 혹은 오프 상태로 동작시키는 스테레오 동작모드로 수행될 수도 있다.
도 9 및 도 10의 동작모드 설명을 바탕으로 해서, 광 변조기(46)의 액티브 영역이 더 많은 영역으로 분할된 경우에도 광 변조기(46)를 TOF 모드나 광 셔터 모드나 스테레오 모드로 동작시킬 수 있다.
상기한 설명에서 많은 사항이 구체적으로 기재되어 있으나, 그들은 발명의 범위를 한정하는 것이라기보다, 바람직한 실시예의 예시로서 해석되어야 한다. 때문에 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고, 특허 청구범위에 기재된 기술적 사상에 의해 정하여져야 한다.
40:조명장치 40L:피사체에 입사되는 광
44:피사체 44L:피사체로부터 반사된 광
46:광 변조기 46a-46d:제1 내지 제4 영역
48, 58:조리개(aperture) 100:광 변조 광학계
200:이미지 센서 A1, A2:제1 및 제2 영역
B1-B4:제1 내지 제4 영역 C1-C4:제1 내지 제4 영역
D1-D4:제1 내지 제4 영역 F1-F3:제1 내지 제3 필터
L1-L4:제1 내지 제4 렌즈 L11-L44:제1 내지 제4 렌즈

Claims (14)

  1. 피사체에 광을 조사하는 조명장치;
    상기 피사체로부터 반사된 광을 수광하며 동일한 광축을 가지는 복수 개의 렌즈;
    2가지 동작모드로 동작되는 광 변조기; 및
    상기 2가지 동작모드에서 상기 복수 개의 렌즈 및 상기 광 변조기를 통해 입사되는 광을 수광하여 상기 피사체에 대한 영상을 제공하는 이미지 센서;를 포함하고,
    상기 광 변조기는 상기 복수 개의 렌즈와 동일한 광축을 가지며,
    상기 광 변조기의 2가지 동작모드는 TOF(time-of-flight) 모드와 스테레오 모드이며,
    상기 광 변조기는 광이 입사되는 액티브 영역을 포함하고,
    상기 액티브 영역은 독립적으로 구동되는 복수의 영역을 포함하며,
    상기 복수의 영역 각각에 전압이 인가됨에 따라서 상기 광 변조기는 상기 2가지 동작모드로 동작되는 거리영상 측정용 카메라.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 광 변조 광학계는 조리개를 포함하고,
    상기 광 변조기는 상기 조리개에 근접하여 구비된 거리영상 측정용 카메라.
  4. 제 3 항에 있어서,
    상기 광 변조기는 상기 복수의 렌즈들 사이에 마련된 거리영상 측정용 카메라.
  5. 제 3 항에 있어서,
    상기 광 변조기는 상기 복수의 렌즈 외부에 구비된 거리영상 측정용 카메라.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 액티브 영역은 독립적으로 구동되는 적어도 2개의 영역을 포함하는 거리영상 측정용 카메라.
  8. 제 1 항에 있어서,
    상기 복수의 영역은 모두 동일한 모양인 거리영상 측정용 카메라.
  9. 제 1 항에 있어서,
    상기 복수의 영역 중 일부 영역은 나머지와 모양이 다른 거리영상 측정용 카메라.
  10. 광 변조기를 포함하는 거리영상 측정용 카메라의 동작방법에서,
    상기 광 변조기는 광이 입사되는 액티브 영역을 포함하고,
    상기 액티브 영역은 독립적으로 구동되는 복수의 영역을 포함하고,
    상기 광 변조기의 동작모드는 TOF 모드와 스테레오 모드를 포함하며,
    상기 복수의 영역 중 적어도 한 영역을 상기 광 변조기의 동작모드에 기초하여 턴온 또는 턴오프시키며,
    상기 복수의 영역 각각에 전압이 인가됨에 따라서 상기 광 변조기는 상기 2가지 동작모드로 동작되는 거리영상 측정용 카메라의 동작방법.
  11. 제 10 항에 있어서,
    상기 복수의 영역은 모두 동일한 모양인 거리영상 측정용 카메라의 동작방법.
  12. 제 10 항에 있어서,
    상기 복수의 영역 중 일부 영역은 나머지와 모양이 다른 거리영상 측정용 카메라의 동작방법.
  13. 제 10 항에 있어서,
    상기 복수의 영역 전체를 동시에 턴온 또는 턴오프시키는 거리영상 측정용 카메라의 동작방법.
  14. 제 10 항에 있어서,
    상기 복수의 영역 중 일부는 턴온시키고, 나머지는 턴오프시키는 단계;
    상기 일부는 턴오프시키고, 상기 나머지는 턴온시키는 단계; 및
    상기 두 단계를 반복하는 단계;를 포함하는 거리영상 측정용 카메라의 동작방법.
KR1020140158061A 2014-11-13 2014-11-13 거리영상 측정용 카메라 및 그 동작방법 KR102312273B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140158061A KR102312273B1 (ko) 2014-11-13 2014-11-13 거리영상 측정용 카메라 및 그 동작방법
US14/699,068 US9769456B2 (en) 2014-11-13 2015-04-29 Camera for measuring depth image and method of measuring depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140158061A KR102312273B1 (ko) 2014-11-13 2014-11-13 거리영상 측정용 카메라 및 그 동작방법

Publications (2)

Publication Number Publication Date
KR20160057166A KR20160057166A (ko) 2016-05-23
KR102312273B1 true KR102312273B1 (ko) 2021-10-12

Family

ID=55961379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140158061A KR102312273B1 (ko) 2014-11-13 2014-11-13 거리영상 측정용 카메라 및 그 동작방법

Country Status (2)

Country Link
US (1) US9769456B2 (ko)
KR (1) KR102312273B1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
CN107745697A (zh) 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视系统
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN110458854B (zh) 2018-05-02 2022-11-15 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
US11023742B2 (en) 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
US11292480B2 (en) 2018-09-13 2022-04-05 Tusimple, Inc. Remote safe driving methods and systems
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US10585194B1 (en) 2019-01-15 2020-03-10 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods
CN113050112A (zh) * 2019-03-21 2021-06-29 深圳市光鉴科技有限公司 用于增强飞行时间分辨率的系统和方法
KR102191743B1 (ko) * 2019-03-27 2020-12-16 서울대학교산학협력단 거리 측정 장치
CN110196023B (zh) * 2019-04-08 2024-03-12 奥比中光科技集团股份有限公司 一种双变焦结构光深度相机及变焦方法
JP6768997B1 (ja) * 2019-04-23 2020-10-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
EP4156085A4 (en) * 2021-08-06 2023-04-26 Shenzhen Goodix Technology Co., Ltd. DEPTH IMAGE COLLECTION DEVICE, DEPTH IMAGE FUSION METHOD AND TERMINAL DEVICE

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020131170A1 (en) * 2001-01-12 2002-09-19 Bryan Costales Stereoscopic aperture valves
US20130250062A1 (en) * 2012-03-21 2013-09-26 Canon Kabushiki Kaisha Stereoscopic image capture

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2282505A (en) * 1993-09-23 1995-04-05 Sharp Kk Three dimensional imaging apparatus
JP4739291B2 (ja) * 2007-08-09 2011-08-03 富士フイルム株式会社 撮影画角算出装置
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
EP3396416A1 (en) * 2008-11-25 2018-10-31 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
US9298078B2 (en) * 2009-07-10 2016-03-29 Steropes Technologies, Llc Method and apparatus for generating three-dimensional image information using a single imaging path
TWI443308B (zh) * 2009-12-03 2014-07-01 Pixart Imaging Inc 測距裝置、３ｄ影像感測裝置以及光學式觸控系統
US9303989B2 (en) * 2010-02-23 2016-04-05 Ben-Gurion University Of The Negev System and method for providing 3D imaging
KR101012691B1 (ko) 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
JP5594067B2 (ja) 2010-11-02 2014-09-24 ソニー株式会社 画像処理装置および画像処理方法
KR101798063B1 (ko) * 2010-12-14 2017-11-15 삼성전자주식회사 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR101694797B1 (ko) * 2010-12-21 2017-01-11 삼성전자주식회사 3차원 이미지 센서의 구동 방법
KR101686079B1 (ko) * 2010-12-27 2016-12-13 삼성전자주식회사 깊이 영상 생성 장치 및 방법
WO2012137434A1 (ja) * 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
KR101799521B1 (ko) * 2011-05-24 2017-11-20 삼성전자 주식회사 광결정형 광변조기 및 이를 구비하는 3차원 영상 획득 장치
KR20130077330A (ko) 2011-12-29 2013-07-09 삼성전자주식회사 3ｄ 이미지 처리 시스템
US8860930B2 (en) * 2012-06-02 2014-10-14 Richard Kirby Three dimensional surface mapping system using optical flow
JP2014036362A (ja) 2012-08-09 2014-02-24 Canon Inc 撮像装置、その制御方法、および制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020131170A1 (en) * 2001-01-12 2002-09-19 Bryan Costales Stereoscopic aperture valves
US20130250062A1 (en) * 2012-03-21 2013-09-26 Canon Kabushiki Kaisha Stereoscopic image capture

Also Published As

Publication number Publication date
US9769456B2 (en) 2017-09-19
KR20160057166A (ko) 2016-05-23
US20160138910A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
KR102312273B1 (ko) 거리영상 측정용 카메라 및 그 동작방법
US10097741B2 (en) Camera for measuring depth image and method of measuring depth image using the same
US9998730B2 (en) Imaging optical system and 3D image acquisition apparatus including the imaging optical system
KR101951318B1 (ko) 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
US10237534B2 (en) Imaging device and a method for producing a three-dimensional image of an object
US10341584B2 (en) Imaging device for distinguishing foreground and sensor chip thereof
KR102184042B1 (ko) 카메라 장치
TW202043804A (zh) 包含具有多個通帶的帶通濾波器的三維感應器
JP2018534586A5 (ko)
KR102237828B1 (ko) 동작 인식 장치 및 이를 이용한 동작 인식 방법
US9743065B2 (en) Method and apparatus generating color and depth images
US20150138325A1 (en) Camera integrated with light source
US20150156479A1 (en) Wavelength separation device and 3-dimensional image acquisition apparatus including the same
KR102099935B1 (ko) Ｔｏｆ 카메라 장치
KR101691156B1 (ko) 조명 광학계와 결상 광학계가 통합된 광학계 및 이를 포함하는 3차원 영상 획득 장치
US9686517B2 (en) Optical system and image compensating method of optical apparatus
TWI452404B (zh) 具有投光角度自動調整功能的影像擷取系統
TW201709717A (zh) 攝像與照明裝置
US10778958B2 (en) Stereoscopic image capturing module and method for capturing stereoscopic images
US9507986B2 (en) Imaging system
KR20220147901A (ko) 카메라 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant