KR102165091B1 - 3차원 거리측정 카메라 - Google Patents

3차원 거리측정 카메라 Download PDF

Info

Publication number
KR102165091B1
KR102165091B1 KR1020180166504A KR20180166504A KR102165091B1 KR 102165091 B1 KR102165091 B1 KR 102165091B1 KR 1020180166504 A KR1020180166504 A KR 1020180166504A KR 20180166504 A KR20180166504 A KR 20180166504A KR 102165091 B1 KR102165091 B1 KR 102165091B1
Authority
KR
South Korea
Prior art keywords
image
image acquisition
acquisition section
noise
light source
Prior art date
Application number
KR1020180166504A
Other languages
English (en)
Other versions
KR20200077208A (ko
Inventor
손현성
Original Assignee
(주)미래컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)미래컴퍼니 filed Critical (주)미래컴퍼니
Priority to KR1020180166504A priority Critical patent/KR102165091B1/ko
Priority to PCT/KR2019/017173 priority patent/WO2020130440A1/ko
Publication of KR20200077208A publication Critical patent/KR20200077208A/ko
Application granted granted Critical
Publication of KR102165091B1 publication Critical patent/KR102165091B1/ko

Links

Images

Classifications

    • H04N5/35581—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/2254—
    • H04N5/357—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 피사체에 광을 조사하는 광원, 피사체에서 반사된 광을 인식하는 이미지센서 및 상기 광원과 상기 이미지센서의 동작을 제어하는 제어IC를 포함하는 3차원 거리측정 카메라에 있어서, 상기 제어IC는 제1 영상획득 구간에서 상기 광원의 조사 없이 상기 이미지센서가 적어도 하나의 영상정보를 획득하도록 제어하고, 상기 제1 영상획득 구간 이후의 제2 영상획득 구간에서는 상기 이미지센서의 노출시간이 상기 제1 영상획득 구간에서의 노출시간과 다르게 되도록 제어한다.
본 발명에 따르면, 3차원 거리측정 카메라 등과 같은 광원을 이용한 카메라의 촬영과정에서, 태양광 등과 같은 주변광에 의한 거리 오차를 최소화할 수 있다.

Description

3차원 거리측정 카메라{3 DIMENSIONAL DISTANCE MEASURING CAMERA}
본 발명은 광원을 이용한 3차원 거리측정 카메라에 관한 것이다. 보다 구체적으로, 본 발명은 태양광 등과 같은 주변광에 의한 거리 오차를 최소화할 수 있는 광원을 이용한 3차원 거리측정 카메라의 능동형 주변광 노이즈 감쇄 방법에 관한 것이다.
3차원 거리측정 카메라는 물체에 광을 조사하고 반사된 광신호를 센싱하여 거리를 계산하는 카메라로서 그 특성상 피사체에 조사된 광원 이외에 태양광 등과 같은 동기 되지 않은 주변광(노이즈)에 기인한 신호가 센서면에 도달하여 거리 계산에 오차가 발생하는 문제가 있다.
실 예로서, 3차원 거리측정 카메라가 탑재되어 있는 로봇청소기의 경우, 카메라 모듈에 있는 광원을 이용하여 전방에 있는 물체와의 거리를 센싱하여 물체와의 충돌 없이 청소를 수행하도록 되어 있지만, 다양한 외부조건에서 청소를 하기 때문에 주변의 광 노이즈로 인해 잘못된 거리계산을 함으로써 정확한 경로 안내를 할 수 없는 문제점이 발생할 수 있다.
이와 같은 광 노이즈를 없애기 위한 종래 기술의 하나로, 실생활 환경에서 찾기 힘든 파장대인 940nm 대의 광원을 사용하여 광 노이즈를 줄이는 기술이 알려져 있다.
그러나 일반적으로 알려진 바와 같이 태양광은 가시광선뿐만 아니라 적외선, 자외선을 포함하는 매우 광범위한 파장 대역에 분포하고 있기 때문에, 특정 파장 대역의 광원을 사용한다고 하여도 태양광 등과 같은 주변광에 기인하는 오차 발생을 방지할 수 없다는 문제점이 있다.
이러한 문제는 특히, 태양광이 강한 실외 환경에서 크게 강화되어, 광원을 이용한 3차원 거리측정 카메라의 품질을 저하시키는 주요 요인으로 작용하게 된다.
대한민국 공개특허공보 제10-2016-0054156호(공개일자: 2016년 05월 16일, 명칭: 거리 측정 장치) 대한민국 공개특허공보 제10-2017-0051752호(공개일자: 2017년 05월 12일, 명칭: TOF 카메라 제어방법)
본 발명은 태양광 등과 같은 주변광에 의한 거리 오차를 최소화할 수 있는 광원을 이용한 3차원 거리측정 카메라를 제공하는 것을 기술적 과제로 한다.
이러한 기술적 과제를 해결하기 위한 본 발명은 피사체에 광을 조사하는 광원, 피사체에서 반사된 광을 인식하는 이미지센서 및 상기 광원과 상기 이미지센서의 동작을 제어하는 제어IC를 포함하는 3차원 거리측정 카메라에 있어서, 상기 제어IC는 제1 영상획득 구간에서 상기 광원의 조사 없이 상기 이미지센서가 적어도 하나의 영상정보를 획득하도록 제어하고, 상기 제1 영상획득 구간 이후의 제2 영상획득 구간에서는 상기 이미지센서의 노출시간이 상기 제1 영상획득 구간에서의 노출시간과 다르게 되도록 제어한다.
본 발명에 따른 3차원 거리측정 카메라에 있어서, 상기 제어 IC는 상기 광원의 조사 없이 상기 이미지센서가 획득하는 영상정보에서 노이즈 정보를 센싱한다.
본 발명에 따른 3차원 거리측정 카메라에 있어서, 상기 제어 IC는 상기 제1 영상획득 구간에서 획득된 영상정보에 노이즈가 있을 경우, 상기 제2 영상획득 구간에서의 상기 이미지센서의 노출시간이 상기 제1 영상획득 구간에서의 노출시간 보다 짧게 되도록 제어한다.
본 발명에 따른 3차원 거리측정 카메라에 있어서, 상기 제어 IC는 상기 제1 영상획득 구간에서 획득된 영상정보에 노이즈가 없을 경우, 상기 제2 영상획득 구간에서의 상기 이미지센서의 노출시간이 상기 제1 영상획득 구간에서의 노출시간 보다 길게 되도록 제어한다.
본 발명에 따른 3차원 거리측정 카메라에 있어서, 상기 제어IC는 상기 영상획득 구간에서 광원 조사를 위한 적어도 하나의 프레임 신호를 생성하고 상기 이미지센서가 상기 프레임 신호에 동기화 되도록 한다.
본 발명에 따른 3차원 거리측정 카메라에 있어서, 상기 제1 영상획득 구간 및 상기 제2 영상획득 구간 사이에는 상기 제1 영상획득 구간에서 센싱한 노이즈 정보, 영상정보 또는 거리측정 정보 중 적어도 하나를 외부장치로 출력하는 구간을 더 포함한다.
본 발명에 따른 3차원 거리측정 카메라에 있어서, 상기 제어 IC는 상기 제2 영상획득 구간에서도 노이즈가 검출될 경우 노이즈가 검출되지 않을 때까지 지속적으로 이후 영상획득 구간의 이미지센서의 노출시간이 점차적으로 짧게 되도록 제어한다.
본 발명에 따른 3차원 거리측정 카메라에 있어서, 상기 제어 IC는 상기 제2 영상획득 구간에서도 노이즈가 검출되지 않을 경우 노이즈가 검출될 때까지 지속적으로 이후 영상획득 구간의 이미지센서의 노출시간이 점차적으로 길게 되도록 제어한다.
본 발명에 따르면, 태양광 등과 같은 주변광에 의한 거리 오차를 최소화할 수 있는 광원을 이용한 3차원 거리측정 카메라가 제공되는 효과가 있다.
또한, 거리정보를 계산하기 위해 획득한 영상, 즉, 거리 측정용 이미지 이외에 태양광 등을 포함하는 주변광의 세기를 유추할 수 있는 영상, 즉, 노이즈 판단용 이미지를 추가로 획득 및 분석하여 태양광 등을 포함하는 주변광의 세기에 따라 능동적으로 노출시간을 가변하여 보다 다양한 환경에 대응할 수 있는 효과가 있다.
또한, 태양광 등을 포함하는 주변광이 없는 환경에서는 노출시간을 길게 하여 거리정밀도를 높일 수 있으며 태양광을 포함하는 주변광이 많은 환경에서는 노출시간을 짧게 하여 태양광 등을 포함하는 주변광에 의한 거리오차는 최소화시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 3차원 거리측정 카메라의 분해사시도(a) 및 카메라 렌즈모듈의 단면(b)을 나타낸 도면이고,
도 2는 본 발명의 일 실시 예에 따른 3차원 거리측정 카메라의 능동형 주변광 노이즈 감쇄 방법을 나타낸 도면이고,
도 3은 본 발명의 일 실시 예에 있어서, 광원을 온(ON)시킨 상태에서 획득한 거리 측정용 이미지와 광원을 오프(OFF)시킨 상태에서 획득한 노이즈 판단용 이미지를 통해 주변광 노이즈가 존재하는 경우를 나타낸 도면이고,
도 4는 본 발명의 일 실시 예에 있어서, 광원을 온(ON)시킨 상태에서 획득한 거리 측정용 이미지와 광원을 오프(OFF)시킨 상태에서 획득한 노이즈 판단용 이미지를 통해 주변광 노이즈가 존재하지 않는 경우를 나타낸 도면이고,
도 5는 본 발명의 일 실시 예에 있어서, 광원을 오프(OFF)시킨 상태에서 획득한 노이즈 판단용 이미지에 포함된 노이즈 성분의 크기와 노출시간의 관계를 나타낸 도면이다.
본 명세서에 개시된 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 카메라 모듈을 나타낸 도면이다.
도 1 (a)를 참조하면, 카메라 모듈은 광원(8) 등의 부품이 실장되는 광원보드(1), 광원보드(1)에서 발생하는 열을 방출하는 히트 싱크(2), 렌즈모듈(5)이 결합되는 렌즈베이스(6), 카메라모듈의 동작을 전반적으로 제어하는 제어IC(4)를 구비하는 제어보드(7) 및 기타 결합부재들(3-1, 3-2, 3-3, 3-4)을 포함한다.
도 1 (b)를 참조하면, 렌즈모듈(5) 하부에는 피사체로부터 반사된 외부광을 집광하기 위한 이미지센서(100)가 구비될 수 있으며, 이러한 이미지 센서(100)로는 전자결합소자인 CCD(Charge Coupled Device) 또는 상보성 금속산화물 반도체인 CMOS(Complementary Metal Oxide Semiconductor)가 적용될 수 있으나, 이에 한정되지는 않는다.
도 2는 본 발명의 일 실시 예에 따른 광원을 이용한 카메라의 능동형 주변광 노이즈 감쇄 방법을 구현하기 위해 각 소자에 인가되는 신호를 나타낸 것이다.
카메라 모듈에서 광을 발생시키기 위한 광원(8)과 피사체에서 반사된 광을 집광하기 위한 이미지 센서(100)는 서로 동기화되어 있어 광원 발생(On) 시 이미지 센서(100)도 노출(On) 모드로 동작한다. 두 펄스 신호를 동기화함으로써 광원(8)에서 발생한 광이 피사체에 반사되어 이미지 센서(100)로 입사되게 되고 이를 통해 피사체의 영상을 확보할 수 있게 된다. 카메라 모듈이 탑재되는 다양한 제품의 종류에 따라 피사체와의 거리측정을 위해 필요한 피사체 영상정보의 개수가 달라질 수 있으며, 본 발명에서는 하나의 실시 예로서 총 5개의 프레임(frame) 신호를 활용하여 피사체 영상정보와 노이즈 정보를 확보하는 경우를 예로서 설명한다. 피사체 영상정보와 노이즈 정보를 확보하는 영상획득 구간 이후에는 확보된 영상정보와 영상정보로부터 연산된 거리정보 및 측정된 노이즈 정보를 카메라 모듈이 탑재된 최종제품에 전송하는 구간(노이즈 판단 및 거리연산/영상출력 구간)을 둠으로써 능동형 노이즈 저감기술을 구현할 수 있다.
이하에서는 도 1 및 도 2를 참조하여 본 발명에 따른 능동형 노이즈 저감기술을 보다 구체적으로 설명하고자 한다.
외부 전원 신호가 인가(On)되면 제어IC(4)에서는 광원(8) 및 이미지 센서(100)에 각각 도 2와 같은 구동펄스를 인가한다. 상술한 바와 같이, 각 구동펄스는 동기화되어 있으며 하나의 구동펄스가 인가될 때 마다 광원(8)에 의한 광이 피사체에 조사되고 조사된 광은 피사체에서 반사되어 다시 카메라 모듈에 있는 이미지 센서(100)에 입사되게 된다. 그리고 입사된 피사체에 대한 하나의 영상 프레임 정보는 이미지 센서(100)를 통해 제어IC(4)에 입력되게 된다. 구동펄스는 On/Off를 반복하며 인가되고, 순차적으로 처음부터 네 번째까지의 영상 프레임은 광원이 인가(On)되고 인가된 광원이 피사체에 반사된 영상정보가 이미지 센서(100)를 통해 제어IC(4)에 입력되게 된다. 광원을 이용하여 피사체 영상정보를 확보한 이후에는 제어IC(4)가 광원에 구동펄스를 인가하지 않고(Off) 이미지 센서(100)만을 노출(On)시켜 외부 노이즈 광의 정보를 더미 프레임(dummy frame)을 통해 얻게 된다. 구동펄스를 통해 피사체의 영상정보와 외부 노이즈 광의 정보를 얻는 제1 영상획득 구간이 종료되면 제어IC(4)가 확보된 영상정보를 연산된 거리정보와 함께 최종제품에 출력하며 동시에 외부 노이즈 광의 유무를 판단하는 구간(제1 노이즈 판단 및 거리연산/영상출력 구간)을 실행한다. 이 때 만약 제어IC(4)가 외부 노이즈 광을 센싱하면, 이후 제2 영상획득 구간에서의 구동펄스의 폭이 제1 영상획득 구간에서의 구동펄스 폭보다 좁게 되도록 제어IC(4)가 구동펄스를 인가한다. 만약 제2 영상획득 구간에서도 동일하게 외부 노이즈 광이 검출된다면 이후 제3 영상획득 구간에서 인가되는 구동펄스의 폭이 더 좁게 되도록 인가한다. 제어IC(4)가 이러한 과정을 반복함으로써 최종적으로 외부 노이즈 광이 없는 피사체 영상정보를 확보할 수 있고 이를 통해 보다 정확한 피사체와의 거리정보를 연산하여 최종제품에 전달할 수 있게 된다.
제어IC(4)가 구동펄스의 폭이 좁게 되도록 제어하여 외부 노이즈 광이 없는 피사체 영상정보를 확보한 이후에는 다시 구동펄스의 폭이 넓게 되도록 점차 제어하여 피사체가 광원에 의해 노출되는 강도를 강하게 만들고 이를 통해 피사체에서 반사되는 보다 정확한 영상정보를 통해 거리측정 오차를 줄일 수 있게 된다.
위에서 언급한 구동펄스의 폭을 제어한다는 것은 광원(8)에 전원이 인가(On)되는 시간과 이미지 센서(100)가 노출(On)되는 시간을 디지털(digital)적으로 제어한다는 것을 의미한다.
위에서 언급한 방법을 통해 외부 노이즈 광의 유무 또는 세기에 따라 능동적으로 노이즈를 저감시킨 영상정보를 최종제품에 제공할 수 있으며, 최종제품에서는 능동적으로 노이즈가 저감된 영상정보를 활용하여 다양한 기준에 따라 제품의 성능을 제고시킬 수 있게 된다.
도 3과 도 4는 본 발명의 일 실시 예에 있어서, 도 2에 따른 능동형 구동펄스를 각 소자에 인가하였을 때 실제 측정되는 영상이미지를 보여주는 것이다.
도 3과 도 4에 있어, (a) 영상이미지는 도 2의 제1 frame의 구동펄스에 따른 영상이미지에 대응하며, (b) 영상이미지는 제2 frame, (c) 영상이미지는 제3 frame, (d) 영상이미지는 제4 frame, 그리고 (e) 영상이미지는 더미 frame의 구동펄스에 따른 영상이미지에 각각 대응된다.
도 3에 있어, (a)부터 (d)까지의 영상이미지는, 광원(8)을 순차적으로 온(On) 시켰을 때 이미지센서(100)가 각각 받아들인 영상이미지 정보를 보여주는 것이다. 그리고 (e) 영상이미지는 광원(8)을 오프(Off) 시킨 상태에서 이미지센서(100)만을 노출(On) 시켜 얻은 것이며, 이 때 (e) 영상에서는 외광 등에 의한 노이즈가 있는 것으로 판별되었다.
도 3의 경우에 대해 도 2에 따른 능동형 노이즈 제거방법으로 해결하는 방법을 설명하면, 제1 영상획득 구간에서 외광 등에 의한 노이즈가 검출되었기 때문에 제어IC(4)는 이후 제2 영상획득 구간에서 구동펄스의 폭을 줄이며 이미지센서(100)의 노출(On) 시간을 줄이게 된다. 만약 제2 영상획득 구간의 더미 frame에서도 노이즈가 검출되면 이후 제3 영상획득 구간에서의 구동펄스 폭을 더 줄이게 되며, 도 4에서 보여지는 것처럼, 더 이상 노이즈가 검출되지 않을 때까지 이미지센서(100)의 노출(On) 시간을 지속적으로 줄여나가게 된다. 그리고 도 4에서 처럼 만약 더미 frame에서 더 이상 노이즈가 검출되지 않는다면 제어IC(4)는 이후 영상획득 구간에서의 구동펄스 폭을 이전 구간에서의 펄스 폭 보다 넓혀 인가를 하여 이미지센서(100)가 노출(On) 되는 시간을 더 길게 할 수 있다. 이렇게 함으로써 피사체에 보다 강한 광원을 조사할 수 있고 보다 정확한 피사체의 영상이미지를 센싱하여 거리측정 정밀도를 제고할 수 있게 된다.
상술한 바와 같이 본 발명에 따른 3차원 거리측정 카메라는 주변 노이즈 상황에 능동적으로 대응이 가능한 노이즈 저감 방식을 채택하고 있으며, 제어IC(4)가 더미 frame을 통해 센싱된 노이즈의 여부에 따라 이미지센서(100)의 노출(On) 시간을 가변적으로 제어하고 노이즈 정보와 영상정보 및 거리정보 등을 로봇청소기와 같은 최종제품에 제공함으로써 제품 성능을 제고시킬 수 있다.
도 5는 본 발명의 일 실시 예에 있어서, 광원(8)을 오프(OFF)시킨 상태에서 이미지센서(100)의 노출만으로 획득한 영상정보에 포함된 노이즈 성분의 크기와 노출시간의 관계를 나타낸 도면이다. 처음으로, 노출시간이 2ms일 경우 노이즈(525)가 있는 것으로 측정되었고 이후 노출시간을 0.2ms 줄인 1.8ms로 하여 노출시킬 경우 측정된 노이즈 성분의 크기가 440으로 약 85만큼 감소한 것을 확인할 수 있다. 이후 지속적으로 노출(On) 시간을 줄임에 따라 지속적으로 노이즈 크기가 감소하는 것을 확인할 수 있다.
이상에서 상세히 설명한 바와 같이 본 발명에 따르면, 태양광 등과 같은 주변광에 의한 거리 오차를 최소화할 수 있는 광원을 이용한 3차원 거리측정 카메라가 제공되는 효과가 있다.
또한, 거리정보를 계산하기 위해 획득한 영상, 즉, 거리 측정용 이미지 이외에 태양광 등을 포함하는 주변광의 세기를 유추할 수 있는 영상, 즉, 노이즈 판단용 이미지를 추가로 획득 및 분석하여 태양광 등을 포함하는 주변광의 세기에 따라 능동적으로 노출시간을 가변하여 보다 다양한 환경에 대응할 수 있는 효과가 있다.
또한, 태양광 등을 포함하는 주변광이 없는 환경에서는 노출시간을 길게 하여 거리정밀도를 높일 수 있으며 태양광을 포함하는 주변광이 많은 환경에서는 노출시간을 짧게 하여 태양광 등을 포함하는 주변광에 의한 거리오차는 최소화시킬 수 있는 효과가 있다.
1: 광원보드
2: 히트 싱크
3-1, 3-2, 3-3, 3-4: 결합부재들
4: 제어IC
5: 렌즈모듈
6: 렌즈베이스
7: 제어보드
8: 광원
100: 이미지센서

Claims (8)

  1. 피사체에 광을 조사하는 광원;
    피사체에서 반사된 광을 인식하는 이미지센서; 및
    상기 광원과 상기 이미지센서의 동작을 제어하는 제어IC를 포함하는 3차원 거리측정 카메라에 있어서,
    상기 제어IC는,
    제1 영상획득 구간에서 상기 광원의 조사 없이 상기 이미지센서가 적어도 하나의 영상정보를 획득하도록 제어하고, 상기 제1 영상획득 구간 이후의 제2 영상획득 구간에서는 상기 이미지센서의 노출시간이 상기 제1 영상획득 구간에서의 노출시간과 다르게 되도록 제어하고,
    상기 제1 영상획득 구간에서 상기 광원의 조사 없이 상기 이미지센서가 획득하는 영상정보에서 노이즈 정보를 센싱하고,
    상기 제1 영상획득 구간에서 획득된 영상정보에 노이즈가 있을 경우, 상기 제2 영상획득 구간에서의 상기 이미지센서의 노출시간이 상기 제1 영상획득 구간에서의 노출시간 보다 짧게 되도록 제어하는, 3차원 거리측정 카메라.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제어 IC는 상기 제1 영상획득 구간에서 획득된 영상정보에 노이즈가 없을 경우, 상기 제2 영상획득 구간에서의 상기 이미지센서의 노출시간이 상기 제1 영상획득 구간에서의 노출시간 보다 길게 되도록 제어하는, 3차원 거리측정 카메라.
  5. 제1항에 있어서,
    상기 제어IC는 상기 영상획득 구간에서 광원 조사를 위한 적어도 하나의 프레임 신호를 생성하고 상기 이미지센서가 상기 프레임 신호에 동기화 되도록 하는, 3차원 거리측정 카메라.
  6. 제1항에 있어서,
    상기 제1 영상획득 구간 및 상기 제2 영상획득 구간 사이에는 상기 제1 영상획득 구간에서 센싱한 노이즈 정보, 영상정보 또는 거리측정 정보 중 적어도 하나를 외부장치로 출력하는 구간을 더 포함하는, 3차원 거리측정 카메라.
  7. 제1항에 있어서,
    상기 제어 IC는 상기 제2 영상획득 구간에서도 노이즈가 검출될 경우 노이즈가 검출되지 않을 때까지 지속적으로 이후 영상획득 구간의 이미지센서의 노출시간이 점차적으로 짧게 되도록 제어하는, 3차원 거리측정 카메라.
  8. 제4항에 있어서,
    상기 제어 IC는 상기 제2 영상획득 구간에서도 노이즈가 검출되지 않을 경우 노이즈가 검출될 때까지 지속적으로 이후 영상획득 구간의 이미지센서의 노출시간이 점차적으로 길게 되도록 제어하는, 3차원 거리측정 카메라.
KR1020180166504A 2018-12-20 2018-12-20 3차원 거리측정 카메라 KR102165091B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180166504A KR102165091B1 (ko) 2018-12-20 2018-12-20 3차원 거리측정 카메라
PCT/KR2019/017173 WO2020130440A1 (ko) 2018-12-20 2019-12-06 3차원 거리측정 카메라

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180166504A KR102165091B1 (ko) 2018-12-20 2018-12-20 3차원 거리측정 카메라

Publications (2)

Publication Number Publication Date
KR20200077208A KR20200077208A (ko) 2020-06-30
KR102165091B1 true KR102165091B1 (ko) 2020-10-13

Family

ID=71102850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180166504A KR102165091B1 (ko) 2018-12-20 2018-12-20 3차원 거리측정 카메라

Country Status (2)

Country Link
KR (1) KR102165091B1 (ko)
WO (1) WO2020130440A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112218070B (zh) * 2020-10-10 2023-06-02 Oppo（重庆）智能科技有限公司 杂光检测方法、装置、存储介质与电子设备
KR20220055916A (ko) * 2020-10-27 2022-05-04 엘지이노텍 주식회사 거리 측정 카메라 장치
KR20230169720A (ko) * 2022-06-09 2023-12-18 한화비전 주식회사 영상 획득 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214743A (ja) * 2004-01-28 2005-08-11 Denso Corp 距離画像データ生成装置及び生成方法，プログラム
WO2015107869A1 (ja) 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
WO2017141957A1 (ja) 2016-02-17 2017-08-24 パナソニックＩｐマネジメント株式会社 距離測定装置
KR101887945B1 (ko) * 2017-08-10 2018-08-13 성균관대학교산학협력단 3d 카메라의 노출 시간 결정 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101341189B1 (ko) * 2011-03-10 2014-01-06 엄두간 표면각도 측정 광센서 및 이를 이용한 감지 방법
KR102144539B1 (ko) 2014-11-05 2020-08-18 주식회사 히타치엘지 데이터 스토리지 코리아 거리 측정 장치
KR20170051752A (ko) 2015-10-30 2017-05-12 현대위아 주식회사 Tof 카메라 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214743A (ja) * 2004-01-28 2005-08-11 Denso Corp 距離画像データ生成装置及び生成方法，プログラム
WO2015107869A1 (ja) 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
WO2017141957A1 (ja) 2016-02-17 2017-08-24 パナソニックＩｐマネジメント株式会社 距離測定装置
KR101887945B1 (ko) * 2017-08-10 2018-08-13 성균관대학교산학협력단 3d 카메라의 노출 시간 결정 방법 및 장치

Also Published As

Publication number Publication date
WO2020130440A1 (ko) 2020-06-25
KR20200077208A (ko) 2020-06-30

Similar Documents

Publication Publication Date Title
KR102165091B1 (ko) 3차원 거리측정 카메라
JP6882461B2 (ja) 飛行時間深度測定のためのリアルタイム較正
US10120066B2 (en) Apparatus for making a distance determination
US7436525B2 (en) Three-dimensional shape measuring method, three-dimensional shape measuring apparatus, and focus adjusting method
US20150241564A1 (en) Three-dimensional measuring device and three-dimensional measuring method
JP6286677B2 (ja) 測距システム、及び撮像センサ
EP2395370B1 (en) Time-of-flight imager
EP2112466B1 (en) Environment recognizing device
US20190007592A1 (en) Imaging device and solid-state imaging element used in same
US20130038882A1 (en) Object detecting device and information acquiring device
JP2019529931A5 (ko)
EP1191306B1 (en) Distance information obtaining apparatus and distance information obtaining method
JPWO2017209206A1 (ja) 光検出装置、及び電子機器
TWI722519B (zh) 飛時測距感測器以及飛時測距方法
JP2008032427A (ja) 距離画像作成方法及び距離画像センサ、及び撮影装置
KR101429838B1 (ko) 변위 센서
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
KR101802894B1 (ko) Tof 및 구조광 방식이 융합된 3차원 영상 획득 시스템
EP3156825B1 (en) Dimensioning system with multipath interference mitigation
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
JPH03200941A (ja) マルチ測距装置及びカメラのレンズ位置制御装置
JP6693757B2 (ja) 距離画像生成装置および方法
JP2011117942A (ja) オンライン型非破壊分光分析装置
KR20230123278A (ko) 3차원 이미지 획득 장치
KR20190114408A (ko) 변위 센서를 이용한 스크라이브 장치의 동작 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant