KR20220048196A - 라이다 장치 - Google Patents

라이다 장치 Download PDF

Info

Publication number
KR20220048196A
KR20220048196A KR1020200131056A KR20200131056A KR20220048196A KR 20220048196 A KR20220048196 A KR 20220048196A KR 1020200131056 A KR1020200131056 A KR 1020200131056A KR 20200131056 A KR20200131056 A KR 20200131056A KR 20220048196 A KR20220048196 A KR 20220048196A
Authority
KR
South Korea
Prior art keywords
image
sensor
laser light
lidar device
light
Prior art date
Application number
KR1020200131056A
Other languages
English (en)
Inventor
온백산
여태운
김대언
김은지
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020200131056A priority Critical patent/KR20220048196A/ko
Publication of KR20220048196A publication Critical patent/KR20220048196A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N5/335—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 출원은 라이다 장치에 관한 것으로서, 본 발명의 일 실시예에 의한 라이다 장치는, 대상 공간 내에 설정파장의 레이저 광을 조사(照射)하는 레이저광원부; 상기 대상 공간 내에서 반사된 상기 레이저 광 및 주변광을 감지하여 검출이미지를 생성하는 이미지센서부; 및 상기 검출이미지에서 상기 주변광에 의한 간섭을 제거한 수정이미지를 생성하고, 상기 수정이미지 내에 포함된 레이저 패턴을 이용하여, 상기 대상 공간 내에 위치하는 대상체를 감지하는 영상처리부를 포함할 수 있다.

Description

라이다 장치 {Apparatus for LIDAR}
본 출원은 삼각측량법을 이용하여 거리를 측정하는 라이다 장치에 관한 것으로, 더욱 상세하게는 주변광에 의한 광 간섭을 제거할 수 있는 라이다 장치에 관한 것이다.
레이저(Light Amplification by the Stimulated Emission of Radiation, LASER)는 유도방출(stimulated emission)에 의해 증폭된 빛으로, 전자공학, 광통신, 의약학, 국방분야 등 많은 분야에서 핵심기술로 활용되고 있다.
또한, 라이다(Light Detection and Ranging, LiDAR) 장치는 레이저를 이용하여 대상체까지의 거리를 측정하는 것으로, 최근 자율주행 자동차, 이동 로봇, 드론 등의 핵심 기술로 주목을 받고 있다.
종래의 라이다 장치는 레이저의 비행시간을 통한 거리를 산출하는 TOF(Time of Flight) 방식을 적용하므로, 고정밀도 및 고해상도의 측정이 가능한 장점이 있으나, 고가의 TOF 센서를 어레이로 배열해야하므로 가격이 비싸고, 전체 크기가 커지게 되는 등의 단점이 존재한다.
본 출원은 주변광에 의한 광 간섭을 제거하여, 정밀한 거리측정을 수행할 수 있는 라이다 장치를 제공하고자 한다.
본 발명의 일 실시예에 의한 라이다 장치는, 대상 공간 내에 설정파장의 레이저 광을 조사(照射)하는 레이저광원부; 상기 대상 공간 내에서 반사된 상기 레이저 광 및 주변광을 감지하여 검출이미지를 생성하는 이미지센서부; 및 상기 검출이미지에서 상기 주변광에 의한 간섭을 제거한 수정이미지를 생성하고, 상기 수정이미지 내에 포함된 레이저 패턴을 이용하여, 상기 대상 공간 내에 위치하는 대상체를 감지하는 영상처리부를 포함할 수 있다.
여기서 상기 이미지센서부는 상기 설정파장의 빛을 감지하는 제1 센서와, 참조파장의 빛을 감지하는 제2 센서가 배열된 센서 어레이(array)를 포함할 수 있다.
여기서 상기 이미지센서부는, 상기 제1 센서 및 제2 센서를, 상기 센서 어레이 내에서 반복하여 교차배열한 것일 수 있다.
여기서 상기 이미지센서부는, 상기 주변광의 파장 범위 중에서, 상기 설정파장에서의 빛의 세기와 오차범위 내에서 일치하는 파장 범위를, 상기 참조파장으로 설정할 수 있다.
여기서 상기 영상처리부는, 상기 검출이미지에서 상기 제1 센서에 대응하는 제1 픽셀들에 의한 제1 이미지와, 상기 제2 센서에 대응하는 제2 픽셀들에 의한 제2 이미지를 각각 추출하고, 상기 제1 이미지와 제2 이미지 사이의 차영상을 상기 수정이미지로 설정할 수 있다.
여기서 상기 영상처리부는, 상기 검출이미지로부터 상기 제1 센서에 대응하는 제1 픽셀들에 의한 제1 이미지를 추출하고, 상기 제1 이미지에 대한 이진화영상을 생성한 후, 상기 이진화영상에 상기 검출이미지를 결합하여 결합이미지를 생성할 수 있다.
여기서 상기 영상처리부는, 상기 검출이미지로부터 추출한 상기 제1 픽셀들의 픽셀값들을 디모자이싱(demosaicing)하여, 상기 제1 이미지를 생성할 수 있다.
여기서 상기 영상처리부는, 상기 결합이미지로부터 상기 제2 센서에 대응하는 제2 픽셀들에 의한 제2 이미지를 추출하고, 상기 제1 이미지와 상기 제2 이미지 사이의 차영상인 상기 수정이미지를 생성할 수 있다.
여기서 상기 영상처리부는, 상기 결합이미지로부터 추출한 상기 제2 픽셀들의 픽셀값들을 디모자이싱하여, 상기 제2 이미지를 생성할 수 있다.
여기서 상기 이미지센서부는, 상기 레이저 광 및 주변광을 필터링하는 대역통과필터(Band-Pass Filter)를 더 포함하고, 상기 대역통과필터는 적어도 상기 설정파장 및 참조파장의 빛을 통과시킬 수 있다.
여기서 상기 대역통과필터는, 와이드 밴드패스 필터(wide band-pass filter) 또는 듀얼 밴드패스 필터(dual band-pass filter)일 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 라이다 장치는, 주변광에 의한 광 간섭을 제거할 수 있으므로, 광 간섭에 의한 오탐지 등을 방지할 수 있다.
본 발명의 일 실시예에 의한 라이다 장치는, 영상처리를 이용하여 대상체까지의 거리 등을 측정할 수 있으므로, TOF를 이용하는 경우와 비교할 때, 제조 비용절감 및 제품 사이즈 축소를 구현할 수 있다.
도1은 본 발명의 일 실시예에 의한 라이다 장치를 나타내는 블록도이다.
도2는 본 발명의 일 실시예에 의한 라이다 장치를 이용한 대상체의 감지를 나타내는 개략도이다.
도3은 태양광의 파장별 세기와, 주변광에 의해 광 간섭이 발생한 검출이미지를 나타내는 도면이다.
도4는 본 발명의 일 실시예에 의한 이미지 센서부의 레이저 광 및 주변광의 감지를 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 라이다 장치의 센서 어레이를 나타내는 개략도이다.
도6은 본 발명의 일 실시예에 의한 제1 센서 및 제2 센서의 파장별 민감도를 나타내는 도면이다.
도7은 본 발명의 일 실시예에 의한 대역통과필터의 파장별 민감도를 나타내는 도면이다.
도8은 본 발명의 일 실시예에 의한 라이다 장치의 수정이미지 생성을 나타내는 개략도이다.
도9는 본 발명의 일 실시예에 의한 라이다 장치의 검출이미지를 나타내는 도면이다.
도10은 본 발명의 일 실시예에 의한 라이다 장치의 제1 이미지를 나타내는 도면이다.
도11은 본 발명의 일 실시예에 의한 라이다 장치의 제2 이미지를 나타내는 도면이다.
도12은 본 발명의 일 실시예에 의한 라이다 장치의 수정 이미지를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
라이다(LIDAR: Light Detection and Ranging) 장치는 레이저 광을 출력한 후, 반사된 레이저 광을 인식하여 대상체까지의 거리를 측정하는 장치이다. 일반적으로, 라이다 장치는 레이저광의 송수신 시간차(ToF: Time of Flight)를 이용하는 것과, 어레이 센서를 이용하여 삼각측량법으로 거리를 측정하는 것으로 분류할 수 있다.
송수신 시간차를 이용하는 경우, 레이저 광원부와 TOF 센서부를 포함할 수 있으며, 레이저 광원부에서 레이저 광을 출력한 시간과, TOF 센서부에서 레이저 광이 수신된 시간의 차이를 측정하여, 대상체까지의 거리를 계산할 수 있다. 여기서, 레이저 광이 되돌아오는 시간차이를 계산하기 위해서는, 높은 처리속도와 샘플링 레이트, 타이밍 정확도가 필요하며, 각도와 방향별 레이저 광의 송수신을 위한 제어장치도 필요하다.
반면에, 삼각측량법을 이용하는 경우에는, 레이저 광원부와 어레이 형태의 이미지 센서부를 포함할 수 있다. 레이저 광원부에서 방출된 레이저 광은 대상체의 표면에서 반사된 후, 어레이 형태의 이미지 센서부로 수신될 수 있으며, 이때, 레이저 광원부와 이미지 센서부 사이의 이격거리나 배치각도 등에 따라, 어레이의 특정 위치에 있는 센서들에게 수신될 수 있다. 따라서, 삼각측량법을 통해 대상체까지의 거리를 계산할 수 있으며, ToF 를 이용하는 방식에 비하여, 상대적으로 간단하게 라이다 장치에 대한 구동 및 제어를 수행하는 것이 가능하다. 이하에서는 삼각측량법을 이용하는 라이다 장치를 설명한다.
도1은 본 발명의 일 실시예에 의한 라이다 장치를 나타내는 블록도이고, 도2는 본 발명의 일 실시예에 의한 라이다 장치를 이용한 대상체의 감지를 나타내는 개략도이다.
도1 및 도2를 참조하면, 라이다 장치(100)는 레이저광원부(110), 이미지센서부(120) 및 영상처리부(130)를 포함할 수 있다.
이하 도1 및 도2를 참조하여 본 발명의 일 실시예에 의한 라이다 장치(100)를 설명한다.
레이저광원부(110)는 대상 공간(A) 내에 설정파장의 레이저 광을 조사(照射)할 수 있다. 레이저광원부(110)는 레이저 광을 발생시키는 레이저 다이오드(미도시) 등을 포함할 수 있으며, 레이저 다이오드에서 발광되는 레이저 광의 형상을 가공하여 대상 공간(A) 내에 출력할 수 있다. 이때, 미리 설정된 설정파장의 레이저 광을 조사하도록, 레이저 다이오드를 설계하거나 레이저 다이오드의 동작을 제어할 수 있다.
실시예에 따라서는, 레이저 다이오드가 점 형상의 레이저 광을 생성할 수 있으며, 레이저광원부(110)는 확산렌즈(미도시)를 이용하여 점 형상의 레이저 광을 선형의 라인 레이저(L, line laser)로 가공할 수 있다. 확산렌즈는 입사면으로 수광된 레이저 광을 평행하게 펴지도록 할 수 있으며, 이를 통하여 도2에 도시한 바와 같이, 선형의 라인 레이저(L)를 출력할 수 있다. 이때, 확산렌즈는 입사면에 무반사(anti-reflection: AR) 코팅을 더 포함하여, 입사면으로 입사되는 레이저 광의 반사를 최소화할 수 있다.
레이저 광이 조사되는 대상공간(A)은, 가정집이나 상점 등의 경비구역, 주행 또는 주차 중인 차량의 주변공간 등일 수 있다. 다만, 이에 한정되는 것은 아니며, 라이다 장치(100)가 설치되어 레이저 광을 조사할 수 있는 공간이면 어떠한 공간도 해당할 수 있다.
이미지센서부(120)는 대상 공간(A) 내에서 반사된 레이저 광 및 주변광을 감지하여 검출이미지를 생성할 수 있다. 실시예에 따라서는 이미지센서부(120)를 CCD(Charge-Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등으로 구현할 수 있으며, 이미지센서부(120)는 대상 공간(A) 내에서 반사되는 레이저 광의 휘도를 측정하여 전기적 신호로 변환할 수 있다. 즉, 측정된 레이저 광의 휘도값을 대응하는 각각의 픽셀들의 픽셀값으로 설정하여, 2차원의 검출이미지를 생성할 수 있다.
다만, 대상 공간(A) 내에는 레이저 광 이외에, 태양이나 조명장치 등에 의한 주변광이 조사될 수 있으며, 이미지센서부(120)가 생성한 검출이미지에는 레이저 광 이외에 주변광이 포함될 수 있다. 검출이미지 내에 주변광 등에 의한 광 간섭이 발생한 경우에는, 대상공간(A) 내에 대상체(S)가 위치하는 것으로 오인하거나, 반대로 대상공간(A) 내의 대상체(S)를 감지하지 못하는 등의 문제가 발생할 수 있다. 따라서, 검출이미지 내에 포함된 주변광에 의한 광 간섭을 제거할 필요가 있다.
실시예에 따라서는, 도4에 도시한 바와 같이, 이미지센서부(120)에 대역통과필터(122)를 더 포함할 수 있다. 즉, 이미지센서부(120)는 센서어레이(121), 렌즈(123)와 함께, 대역통과필터(122)를 더 포함하여, 주변광에 의한 효과를 감소시킬 수 있다.
여기서, 대역통과필터(122)는 레이저 광에 대응하는 파장의 빛은 통과시키고, 나머지 주변광에 해당하는 빛은 차단시킬 수 있다. 그러나, 도3(a)에 도시한 바와 같이, 태양광은 넓은 파장 대역에서 존재하며, 레이저 광의 설정파장 대역 내에도 태양광이 존재할 수 있다. 따라서, 대역통과필터(122)를 이용하더라도, 여전히 태양광에 의한 광 간섭을 포함할 수 있으며, 대역통과필터(122)만으로는 레이저 광 이외의 주변광들을 충분히 차단하지 못할 수 있다.
즉, 도3(b)에 도시한 바와 같이, 대역통과필터(122)를 적용하였음에 불구하고, 레이저 광 이외에 창문을 통해 들어오는 태양광과, 조명장치에 의한 광 등 주변광들이 검출이미지 내에 모두 포함되는 것을 확인할 수 있다.
이러한 문제점을 해결하기 위하여, 이미지센서부(120)는 도5에 도시한 바와 같이, 센서 어레이(121) 내에 복수의 제1 센서(a) 및 제2 센서(b)를 포함할 수 있다. 여기서, 제1 센서(a)는 레이저 광의 파장에 해당하는 설정파장의 빛을 감지하는 것이고, 제2 센서(b)는 설정파장과는 상이한 참조파장의 빛의 감지하는 것일 수 있다. 즉, 서로 다른 감지특성을 가지는 복수의 제1 센서(a) 및 제2 센서(b)를 반복하여 교차배열하여 센서 어레이(121)를 형성할 수 있다.
여기서, 도6에 도시한 바와 같이, 제1 센서(a)와 제2 센서(b)는 각각 상이한 파장에 따른 민감도를 가지도록 설정된 것일 수 있다. 즉, 제1 센서(a)는 설정파장(W1)의 빛을 감지하고, 제2 센서(b)는 참조파장(W2)의 빛을 감지하도록 설계될 수 있다. 여기서, 참조파장(W2)은, 주변광의 파장 범위 중에서, 설정파장(W1)에서의 빛의 세기와 오차범위 내에서 일치하는 파장 범위일 수 있다. 즉, 태양광 등 주변광은 설정파장(W1)과 참조파장(W2)에서 빛의 세기가 유사하게 나타날 수 있으므로, 이를 활용하여 주변광에 의한 광 간섭 현상을 제거할 수 있다.
구체적으로, 서로 인접하게 배치된 제1 센서(a)와 제2 센서(b)에는 동일한 광이 조사된다고 볼 수 있으나, 제1 센서(a)와 제2 센서(b)는 동일한 광에 대해 각각의 감지특성에 따라 상이한 픽셀값을 생성할 수 있다. 먼저, 태양광이 수신되는 경우, 인접한 제1 센서(a)와 제2 센서(b)의 픽셀값은, 설정파장(W1)과 참조파장(W2)에서의 태양광의 세기만큼 차이가 발생하게 된다. 여기서는 참조파장(W2)을 설정파장(W1)에서의 태양광에 의한 빛의 세기와 유사하도록 설정하였으므로, 픽셀값의 차이는 크게 나타나지 않게 된다.
반면에, 레이저 광이 수신되는 경우에는, 인접한 제1 센서(a)와 제2 센서(b) 사이의 픽셀값의 차이는 상대적으로 크게 발생할 수 있다. 즉, 제1 센서(a)는 레이저 광을 감지하여 레이저 광의 세기에 대응하는 픽셀값을 나타낼 수 있으나, 제2 센서(b)는 레이저 광을 감지할 수 없으므로, 레이저 광의 세기만큼 픽셀값의 차이가 발생할 수 있다.
따라서, 인접하는 제1 센서(a) 및 제2 센서(b)의 픽셀값을 통하여, 레이저 광의 수신여부를 판별할 수 있으며, 제2 센서(b)에서의 측정값을 바탕으로 검출이미지에 나타난 태양광 등 주변광에 의한 광 간섭을 제거하는 것이 가능하다.
한편, 도5에서는 제1 센서(a)와 제2 센서(b)가 하나씩 번갈아가면서 배열되는 것으로 도시하고 있으나, 실시예에 따라서는 제1 센서(a) 2개에 제2 센서(b) 1개를 배열하는 등 배열방식을 다양하게 변경할 수 있다.
추가적으로, 이미지센서부(120)에 대역통과필터(122)를 포함하는 경우, 대역통과필터(122)는 설정파장(W1)과 참조파장(W2)을 모두 통과시키도록 설계될 수있다. 즉, 도7(a)에 도시한 바와 같이, 설정파장(W1)과 참조파장(W2)을 포함하는 범위를 통과하도록 와이드 밴드패스 필터(wide band-pass filter)의 형태로 구현하거나, 도7(b)에 도시한 바와 같이, 설정파장(W1)과 참조파장(W2)을 각각 개별적으로 통과하도록 하는 듀얼 밴드패스 필터(dual band-pass filter)의 형태로 구현할 수 있다. 여기서, 듀얼 밴드패스 필터의 경우, 와이드 밴드패스 필터에 비하여 상대적으로 주변광에 대한 차단효과가 높으나, 실질적으로 정밀한 2개의 밴드패스 필터를 포함하는 것이므로, 비용의 측면에서는 불리하다. 즉, 와이드 밴드패스 필터와 듀얼 밴드패스 필터는 성능과 비용 사이의 트레이드 오프(trade off) 관계에 있으므로, 라이다 장치(100)의 용도나 목적 등에 따라 선택적으로 적용할 수 있다.
영상처리부(130)는 검출이미지에 대한 영상처리를 수행하여, 대상공간(A) 내에 위치하는 대상체(S)를 감지할 수 있다. 실시예에 따라서는, 영상처리부(130)가 검출이미지로부터 주변광에 의한 간섭을 제거한 수정이미지를 생성할 수 있으며, 수정이미지 내에 포함된 레이저 패턴을 이용하여, 대상 공간(A) 내에 위치하는 대상체(S)를 감지할 수 있다. 이후, 수정이미지에 대한 영상처리를 통하여, 라이다 장치(100)로부터 대상체(S)까지의 거리정보, 대상공간(A) 내의 대상체(S)의 위치정보 등을 생성할 수 있다.
구체적으로, 영상처리부(130)는 검출이미지에서 제1 센서(a)에 대응하는 제1 픽셀들을 추출하여 제1 이미지를 생성할 수 있으며, 제2 센서(b)에 대응하는 제2 픽셀들을 추출하여 제2 이미지를 생성할 수 있다. 여기서, 제1 이미지와 제2 이미지는 각각의 픽셀값들에 대한 디모자이싱(demosaicing)을 적용하여 생성할 수 있다. 즉, 이미지센서부(120) 내의 제1 센서(a) 및 제2 센서(b)의 배열에 따라 누락된 픽셀값들을 디모자이싱을 통해 복원할 수 있으며, 이를 통해 각각의 제1 이미지와 제2 이미지를 전체 센서어레이(120)에 대응하는 해상도로 생성할 수 있다.
이후, 제1 이미지와 제2 이미지의 차영상을 생성하여, 수정이미지로 설정할 수 있다. 즉, 제1 이미지는 레이저 광 및 주변광에 의하여 생성된 것이고, 제2 이미지에는 주변광에 의해 생성된 것이므로, 제1 이미지에서 제2 이미지를 빼면 주변광을 제거하는 것이 가능하다. 따라서, 영상처리부(130)는 제1 이미지와 제2 이미지의 차영상을 구하여 수정이미지로 설정할 수 있다.
또한, 실시예에 따라서는, 영상처리부(130)가 도8에 나타난 방법으로 수정이미지를 생성하는 것도 가능하다. 먼저, 영상처리부(130)는 검출이미지(I1)로부터 제1 센서(a)에 대응하는 제1 픽셀들(I1(a))에 의한 제1 이미지를 추출할 수 있다. 이때, 제1 이미지는 검출이미지(I1)로부터 추출한 제1 픽셀(I1(a))들의 픽셀값들을 디모자이싱하여 생성할 수 있다.
예를들어, 검출이미지(I1)는 도9와 같이 생성될 수 있으며, 검출이미지(I1) 내의 상부에 위치하는 첫번째 라인은 태양광에 의한 것이고, 하부에 위치하는 두번째 라인은 레이저 광에 의한 것일 수 있다. 또한, 제1 이미지는 도10에 도시한 바와 같이 나타날 수 있다. 즉, 제1 센서(a)는 레이저 광과 태양광을 모두 감지할 수 있으므로, 도10에 도시한 바와 같이 상부의 첫번째 라인과 하부의 두번째 라인을 모두 포함할 수 있다.
이후, 제1 이미지를 문턱값(thresholda)으로 이진화하여 이진화영상을 생성할 수 있으며, 이진화영상에 검출이미지(I1)를 결합하여 결합이미지(I1a)를 생성할 수 있다. 실시예에 따라서는, 결합이미지(I1a)의 각 픽셀값들은 대응하는 검출이미지(I1)의 픽셀값과 이진화영상의 픽셀값을 곱하여 생성할 수 있다. 이 경우, 결합이미지(I1a)는 검출이미지(I1)에 나타난 상부 라인과 하부 라인의 픽셀값들은 그대로 추출하고, 나머지 영역에 대한 픽셀값들은 모두 0으로 처리하여 생성할 수 있다.
결합이미지(I1a)가 생성되면, 영상처리부(130)는 결합이미지(I1a)로부터 제2 센서(b)에 대응하는 제2 픽셀(I1a(b))들에 의한 제2 이미지를 추출할 수 있다. 여기서, 제2 이미지는 제2 픽셀(I1a(b))들의 픽셀값들을 디모자이싱하여 생성할 수 있다. 제2 센서(b)는 레이저 광을 감지하지 못하므로, 도11에 도시한 바와 같이, 제2 이미지의 상부에 위치하는 첫번째 라인은 진하게 나타나지만, 하부에 위치하는 두번째 라인은 연하게 표시될 수 있다.
이후, 제1 이미지와 제2 이미지 사이의 차를 구하여, 수정이미지(I2)를 생성할 수 있다. 즉, 도12에 도시한 바와 같이 수정이미지(I2)가 생성될 수 있다. 도12를 참조하면, 수정이미지(I2)는 도10의 제1 이미지와 도11의 제2 이미지에서 공통적으로 포함된 상부의 첫번째 라인이 제거되고, 하부의 두번째 라인만을 포함함을 확인할 수 있다.
즉, 도8의 과정을 통하여, 태양광이 수신된 영역과 같이, 인접한 제1 센서(a)와 제2 센서(b)들의 픽셀값이 유사한 영역의 픽셀값은 감소시키고, 레이저 광이 수신된 영역과 같이, 인접한 제1 센서(a)와 제2 센서(b) 사이의 픽셀값의 차이가 큰 영역에 대하여는, 픽셀값을 증가시켜 수정이미지를 생성할 수 있음을 확인할 수 있다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 라이다 장치 110: 레이저광원부
120: 이미지센서부 130: 영상처리부

Claims (11)

  1. 대상 공간 내에 설정파장의 레이저 광을 조사(照射)하는 레이저광원부;
    상기 대상 공간 내에서 반사된 상기 레이저 광 및 주변광을 감지하여 검출이미지를 생성하는 이미지센서부; 및
    상기 검출이미지에서 상기 주변광에 의한 간섭을 제거한 수정이미지를 생성하고, 상기 수정이미지 내에 포함된 레이저 패턴을 이용하여, 상기 대상 공간 내에 위치하는 대상체를 감지하는 영상처리부를 포함하는 라이다(Lidar) 장치.
  2. 제1항에 있어서, 상기 이미지센서부는
    상기 설정파장의 빛을 감지하는 제1 센서와, 참조파장의 빛을 감지하는 제2 센서가 배열된 센서 어레이(array)를 포함하는 것을 특징으로 하는 라이다 장치.
  3. 제2항에 있어서, 상기 이미지센서부는
    상기 제1 센서 및 제2 센서를, 상기 센서 어레이 내에서 반복하여 교차배열한 것을 특징으로 하는 라이다 장치.
  4. 제2항에 있어서, 상기 이미지센서부는
    상기 주변광의 파장 범위 중에서, 상기 설정파장에서의 빛의 세기와 오차범위 내에서 일치하는 파장 범위를, 상기 참조파장으로 설정하는 것을 특징으로 하는 라이다 장치.
  5. 제2항에 있어서, 상기 영상처리부는
    상기 검출이미지에서 상기 제1 센서에 대응하는 제1 픽셀들에 의한 제1 이미지와, 상기 제2 센서에 대응하는 제2 픽셀들에 의한 제2 이미지를 각각 추출하고, 상기 제1 이미지와 제2 이미지 사이의 차영상을 상기 수정이미지로 설정하는 것을 특징으로 하는 라이다 장치.
  6. 제2항에 있어서, 상기 영상처리부는
    상기 검출이미지로부터 상기 제1 센서에 대응하는 제1 픽셀들에 의한 제1 이미지를 추출하고, 상기 제1 이미지에 대한 이진화영상을 생성한 후, 상기 이진화영상에 상기 검출이미지를 결합하여 결합이미지를 생성하는 것을 특징으로 하는 라이다 장치.
  7. 제6항에 있어서, 상기 영상처리부는
    상기 검출이미지로부터 추출한 상기 제1 픽셀들의 픽셀값들을 디모자이싱(demosaicing)하여, 상기 제1 이미지를 생성하는 것을 특징으로 하는 라이다 장치.
  8. 제6항에 있어서, 상기 영상처리부는
    상기 결합이미지로부터 상기 제2 센서에 대응하는 제2 픽셀들에 의한 제2 이미지를 추출하고, 상기 제1 이미지와 상기 제2 이미지 사이의 차영상인 상기 수정이미지를 생성하는 것을 특징으로 하는 라이다 장치.
  9. 제8항에 있어서, 상기 영상처리부는
    상기 결합이미지로부터 추출한 상기 제2 픽셀들의 픽셀값들을 디모자이싱하여, 상기 제2 이미지를 생성하는 것을 특징으로 하는 라이다 장치.
  10. 제2항에 있어서, 상기 이미지센서부는
    상기 레이저 광 및 주변광을 필터링하는 대역통과필터(Band-Pass Filter)를 더 포함하고,
    상기 대역통과필터는
    적어도 상기 설정파장 및 참조파장의 빛을 통과시키는 것을 특징으로 하는 라이다 장치.
  11. 제10항에 있어서, 상기 대역통과필터는
    와이드 밴드패스 필터(wide band-pass filter) 또는 듀얼 밴드패스 필터(dual band-pass filter)인 것을 특징으로 하는 라이다 장치.
KR1020200131056A 2020-10-12 2020-10-12 라이다 장치 KR20220048196A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200131056A KR20220048196A (ko) 2020-10-12 2020-10-12 라이다 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131056A KR20220048196A (ko) 2020-10-12 2020-10-12 라이다 장치

Publications (1)

Publication Number Publication Date
KR20220048196A true KR20220048196A (ko) 2022-04-19

Family

ID=81391808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131056A KR20220048196A (ko) 2020-10-12 2020-10-12 라이다 장치

Country Status (1)

Country Link
KR (1) KR20220048196A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220148760A (ko) 2021-04-29 2022-11-07 울산과학기술원 라이다 센서

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220148760A (ko) 2021-04-29 2022-11-07 울산과학기술원 라이다 센서

Similar Documents

Publication Publication Date Title
US12096121B2 (en) Precision reflectivity and ambient light removal for a geiger mode/single photon active sensor system
US11802943B2 (en) Noise adaptive solid-state LIDAR system
CN111781583B (zh) 可操作以识别虚假反射并补偿由虚假反射导致的误差的光电模块
CN107272020B (zh) 基于Gm-APD的高灵敏偏振激光雷达系统
EP2535742B1 (en) Method for reduction of optical noise
IL258130A (en) Flight time distance sensor
US20170234977A1 (en) Lidar system and multiple detection signal processing method thereof
US8480246B2 (en) System and method for reduction of optical noise
US20210333371A1 (en) Lidar system with fog detection and adaptive response
US11525917B2 (en) Distance measuring apparatus which detects optical system abnormality
US12063341B2 (en) Stereoscopic image capturing systems
US11754717B2 (en) Distance measurement device having external light illuminance measurement function and external light illuminance measurement method
JP2022534950A (ja) 画角に伴って照射波長を変更するアクティブ照射システム
US11567202B2 (en) SPAD-based LIDAR system
US20180091746A1 (en) Chip scale multispectral imaging and ranging
RU2544305C1 (ru) Лазерная локационная система
US20200300978A1 (en) Dynamic range improvements in lidar applications
KR20220048196A (ko) 라이다 장치
EP3428686B1 (en) A vision system and method for a vehicle
US20220317303A1 (en) Optical sensor
US20230007979A1 (en) Lidar with photon-resolving detector
CA2868210C (en) Optical sensor arrangement