KR20150068545A - System for sensing complex image - Google Patents

System for sensing complex image Download PDF

Info

Publication number
KR20150068545A
KR20150068545A KR1020130154079A KR20130154079A KR20150068545A KR 20150068545 A KR20150068545 A KR 20150068545A KR 1020130154079 A KR1020130154079 A KR 1020130154079A KR 20130154079 A KR20130154079 A KR 20130154079A KR 20150068545 A KR20150068545 A KR 20150068545A
Authority
KR
South Korea
Prior art keywords
laser light
light
pulse laser
visible light
receiving module
Prior art date
Application number
KR1020130154079A
Other languages
Korean (ko)
Other versions
KR101545971B1 (en
Inventor
백승호
박상덕
백경훈
조국
김진현
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020130154079A priority Critical patent/KR101545971B1/en
Publication of KR20150068545A publication Critical patent/KR20150068545A/en
Application granted granted Critical
Publication of KR101545971B1 publication Critical patent/KR101545971B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Abstract

The present invention relates to a complex image sensing system which; separates visible light and pulse laser light received by a single lens system through a filter system; produces three-dimensional point cloud data (PCD) by using the separated pulse laser light; and provides a complex image through the single lens system by producing two-dimensional image data by using the separated visible light. The complex image sensing system of the present invention for the same comprises; a light source unit which emits the pulse laser light; a light projection unit which projects the pulse laser light emitted from the light source unit toward an object to be measured with a predetermined field of view (FOV) as a line shape; a light direction control unit which changes a light projection direction of the light projection unit and projects the pulse laser light in the predetermined FOV shape; a light receiving unit including a lens system which receives the pulse laser light reflected from an object to be measured, the filter system which separates the visible light and the laser light received by the lens unit, a visible light receiving module which receives the visible light passing through the filter system and a pulse laser light receiving module which receives the pulse laser light passing through the filter system; and an image signal processing unit which produces an image of the object to be measured based on at least one data result between the visible data received by the visible receiving module and the pulse laser light data received by the pulse laser light receiving module.

Description

복합 영상 센싱 시스템{SYSTEM FOR SENSING COMPLEX IMAGE}{SYSTEM FOR SENSING COMPLEX IMAGE}

본 발명은 복합 영상 센싱 시스템에 관한 것으로서, 더욱 상세하게는, 단일의 렌즈계로 수신된 가시광과 펄스 레이저광을 필터계를 통해 각각 분리하고, 분리된 펄스 레이저광을 이용하여 3차원 포인트 클라우드 데이터(PCD, Point Cloud Data)를 생성하고, 분리된 가시광을 이용하여 2차원 영상 데이터를 생성함에 따라 단일의 렌즈계를 통해 복합의 영상을 제공할 수 있는 복합 영상 센싱 시스템에 관한 것이다. The present invention relates to a composite image sensing system, and more particularly, to a composite image sensing system that separates visible light and pulsed laser light received by a single lens system through a filter system and separates three-dimensional point cloud data PCD, and Point Cloud Data), and generates a two-dimensional image data using the separated visible light, thereby providing a composite image through a single lens system.

라이다(LIDAR - Light Detection And Ranging) 또는 레이다(LADAR - Laser Detection And Ranging)로 불리는 3차원 영상 센싱 시스템은 목표물을 향해 펄스 레이저광을 주사한 후 목표물에서 반사되어 돌아오는 펄스 레이저광을 광 수신소자를 통해 수신하고 이를 전기적 신호로 변환하여 도 1에 도시된 바와 같은 3차원 포인트 클라우드 데이터(PCD, Point Cloud Data)를 생성함으로써, 목표물까지의 거리나 목표물의 이동속도 등을 산출할 수 있는 시스템이다. A three-dimensional image sensing system called LIDAR (Light Detection And Ranging) or LADAR (Laser Detection And Ranging) scans a pulsed laser beam toward a target, (PCD, Point Cloud Data) as shown in FIG. 1 to obtain a distance to the target and a moving speed of the target, to be.

이러한 라이다 시스템은 로봇 및 무인자동차의 전방 장애물 검출용 센서, 속도측정용 레이더 건, 항공 지오-맵핑장치, 3차원 지상조사, 수중 스캐닝 등 다양한 분야에서 널리 적용되고 있다. Such a lidar system is widely applied in a variety of fields such as a sensor for detecting obstacles in front of a robot and an unmanned vehicle, a radar gun for speed measurement, an aerial geo-mapping device, a three-dimensional ground survey, and an underwater scanning.

최근, 라이다 시스템은 전방 또는 측방의 장애물 등에 의한 위험 상황이 발생할 경우 운전자에게 경고하거나 자동차의 속도를 조절하는 조치를 자동적으로 수행할 수 있게 하는 운전 보조용 애플리케이션이나, 운전자 없이 운행하는 트랙터와 같은 자동 운전장치로 그 적용 분야가 확대되고 있다. In recent years, the Raida system has been used as a driving assistant application, which allows the driver to be alerted or to take measures to automatically adjust the speed of the vehicle in the event of a dangerous situation such as a frontal or lateral obstacle, The application field of the automatic operation device is expanding.

한편, 도 2에 도시된 바와 같이, 종래의 일반적은 복합 영상 센싱 시스템은, 광원부(10), 광주사부(20), 펄스 레이저광 수신부(31)로 구성된 3차원 PCD 영상 센서와, 가시광 수신부(41)로 구성되는 카메라 센서를 별도로 구성하여, 펄스 레이저광 수신부(31)를 통해 얻은 포인트 클라우드 데이터(도 3의 (a))와 가시광 수신부(41)를 통해 얻은 2차원 영상(도 3의 (b))을 각각 독립적으로 수신하여 사용하도록 구성된다. 2, a conventional general composite image sensing system includes a three-dimensional PCD image sensor including a light source unit 10, a light scanning unit 20, and a pulse laser light receiving unit 31, a visible light receiving unit 3) obtained through the visible light receiving unit 41 and the point cloud data (FIG. 3 (a)) obtained through the pulse laser light receiving unit 31 b) are independently received and used.

이러한 종래의 복합 영상 센싱 시스템은, 포인트 클라우드 데이터의 생성을 위해 펄스 레이저광(L1)을 수신하는 펄스 레이저광용 렌즈계(30)와 2차원 영상의 생성을 위해 가시광(L2)을 수신하는 가시광용 렌즈계(40)가 각각 별도로 구비되는 구조로서, 전체 구성시스템의 크기가 커지고 펄스 레이저광용 렌즈계(30)의 광축과 가시광용 렌즈계(40)의 광축이 일치되지 않아, 도 3에 도시된 바와 같이, 두 데이터 간의 중심점을 포함하는 전체적인 영상 데이터가 서로 정합되지 않았다. Such a conventional composite image sensing system includes a pulsed laser light lens system 30 for receiving pulse laser light L1 for generating point cloud data and a lens system 30 for visible light receiving visible light L2 for generating a two- The size of the entire constituent system is increased and the optical axis of the lens system for a pulsed laser beam 30 and the optical axis of the optical system 40 for visible light do not coincide with each other, The overall image data including the center point between the data are not matched with each other.

이러한 구조적인 한계로 인하여, 상기 펄스 레이저광용 렌즈계(30)로 수신된 펄스 레이저광(L1)에 근거하여 생성된 포인트 클라우드 데이터와 상기 가시광용 렌즈계(40)로 수신된 가시광(L2)에 근거하여 생성된 2차원 영상 데이터를 융합한 영상을 사용하기 위해서는, 포인트 클라우드 데이터와 2차원 영상 데이터를 서로 정합시키기 위한 켈리브레이션 과정이 필수로 요구되는 문제점이 있었다. Due to such structural limitations, the point cloud data generated based on the pulse laser light L1 received by the pulse laser light system 30 and the visible light L2 received by the lens system 40 for visible light In order to use an image obtained by fusing the generated two-dimensional image data, a calibration process for matching the point cloud data with the two-dimensional image data is required.

등록특허 제1288030호(2013.07.15.)Registration No. 1288030 (July 15, 2013)

상기 종래 기술에 따른 문제점을 해결하기 위한 본 발명의 목적은, 단일의 렌즈계로 수신된 가시광과 펄스 레이저광을 필터계를 통해 각각 분리하고, 분리된 펄스 레이저광을 이용하여 3차원 포인트 클라우드 데이터(PCD, Point Cloud Data)를 생성하고, 분리된 가시광을 이용하여 2차원 영상 데이터를 생성함에 따라 단일의 렌즈계를 통해 복합의 영상을 제공할 수 있는 복합 영상 센싱 시스템을 제공함에 있다. SUMMARY OF THE INVENTION The object of the present invention is to solve the above problems in the prior art by separating visible light and pulsed laser light received by a single lens system through a filter system and extracting 3D point cloud data The present invention provides a composite image sensing system capable of generating a composite image through a single lens system by generating two-dimensional image data using separated visible light.

상기 기술적 과제를 해결하기 위한 본 발명의 복합 영상 센싱 시스템은, 펄스 레이저광을 출사하는 광원부; 피측정물을 향하여 상기 광원부에서 출사되는 펄스 레이저광을 소정의 시야각(FOV, Field Of View) 형태로 주사되도록 하는 광주사부; 가시광 및 상기 피측정물로부터 반사되는 펄스 레이저광을 수신하는 렌즈계, 상기 렌즈계로 수신된 가시광과 펄스 레이저광을 분리하는 필터계, 상기 필터계를 통과한 가시광을 수신하는 가시광 수신모듈, 상기 필터계를 통과한 펄스 레이저광을 수신하는 펄스 레이저광 수신모듈을 포함하는 광수신부; 및 상기 가시광 수신모듈로 수신된 가시광 데이터 및 상기 펄스 레이저광 수신모듈로 수신된 펄스 레이저광 데이터 중 적어도 어느 하나의 데이터에 근거하여 상기 피측정물의 화상을 생성하는 영상신호처리부;를 포함하여 구성된 것을 특징으로 하는 복합 영상 센싱 시스템. According to an aspect of the present invention, there is provided a composite image sensing system including: a light source unit emitting pulse laser light; A light scanning unit for scanning the pulsed laser light emitted from the light source unit toward the object in a form of a field of view (FOV); A filter system for separating the visible light and the pulsed laser light received by the lens system, a visible light receiving module for receiving the visible light passing through the filter system, And a pulse laser light receiving module for receiving the pulsed laser light having passed through the pulse laser light receiving module; And an image signal processor for generating an image of the object to be measured based on at least any one of visible light data received by the visible light receiving module and pulse laser light data received by the pulse laser light receiving module A composite video sensing system characterized by.

바람직하게, 상기 렌즈계는 상기 가시광과 상기 펄스 레이저광을 동시에 수광할 수 있도록 소정의 시야각을 갖는 단일 렌즈계이고, 상기 필터계는 가시광과 펄스 레이저광의 파장 차이를 이용하여 광경로를 분리하도록 구성되며, 상기 가시광 수신모듈은 상기 필터계를 통과함에 따라 분리된 가시광의 경로에 정렬되고, 상기 펄스 레이저광 수신모듈은 상기 필터계를 통과함에 따라 분리된 펄스 레이저광의 경로에 정렬되도록 구성될 수 있다. Preferably, the lens system is a single lens system having a predetermined viewing angle so that the visible light and the pulsed laser light can be received at the same time, and the filter system is configured to separate the optical path using the wavelength difference of visible light and pulsed laser light, The visible light receiving module may be arranged in a path of visible light separated as it passes through the filter system and the pulse laser light receiving module may be arranged in the path of the separated pulsed laser light as it passes through the filter system.

바람직하게, 상기 필터계는, 다이크로익 필터(dichroic filter)를 포함하여 구성될 수 있다. Preferably, the filter system may comprise a dichroic filter.

바람직하게, 상기 펄스 레이저광은, 적외선광일 수 있다. Preferably, the pulsed laser light may be infrared light.

바람직하게, 상기 영상신호처리부는, 상기 광원부에서 출사되는 펄스 레이저광을 조절하는 광원 조절모듈; 상기 광주사부에서 주사되는 펄스 레이저광을 조절하는 광주사 조절모듈; 상기 펄스 레이저광 수신모듈로 수신된 펄스 레이저광 데이터에 근거하여 포인트 클라우드 데이터(PCD, Point Cloud Data)를 생성하는 PCD 신호처리모듈; 상기 가시광 수신모듈로 수신된 가시광 데이터에 근거하여 2차원 영상 데이터를 생성하는 가시광 영상처리모듈; 및 상기 각 모듈을 제어하는 메인제어모듈;을 포함하여 구성될 수 있다. Preferably, the image signal processor includes: a light source control module for controlling pulsed laser light emitted from the light source; A light scanning adjustment module for adjusting pulse laser light scanned by the optical scanning unit; A PCD signal processing module for generating point cloud data (PCD, Point Cloud Data) based on the pulsed laser light data received by the pulse laser light receiving module; A visible light image processing module for generating two-dimensional image data based on visible light data received by the visible light receiving module; And a main control module for controlling the respective modules.

바람직하게, 상기 광주사부는, 피측정물을 향하여 상기 광원부에서 출사되는 펄스 레이저광을 상하좌우 방향으로 고속으로 가변시켜 상기 펄스 레이저광이 소정의 시야각(FOV, Filed Of View) 형태로 주사되도록 하는 광향조절부와 상기 광향조절부에서 주사된 레이저 광의 FOV를 확장시키는 광각렌즈부를 포함하여 구성될 수 있다.Preferably, the optical scanning unit changes the pulsed laser light emitted from the light source unit toward the object to be measured at high speed in the up, down, left, and right directions so that the pulsed laser light is scanned in a predetermined viewing angle (FOV) And a wide-angle lens unit for expanding the FOV of the laser beam scanned by the light control unit.

바람직하게, 상기 광향조절부는, 상기 펄스 레이저광을 소정 범위 각도로 반사시키도록 소정 각속도로 구동되는 맴스 미러(MEMS mirror) 또는 공진형 스캐너로 구성될 수 있다. The light source may be a MEMS mirror or a resonance type scanner which is driven at a predetermined angular velocity to reflect the pulse laser light at a predetermined angle.

상술한 바와 같은 본 발명은, 단일의 렌즈계로 수신된 가시광과 펄스 레이저광을 필터계를 통해 각각 분리하고, 분리된 펄스 레이저광을 이용하여 3차원 포인트 클라우드 데이터(PCD, Point Cloud Data)를 생성하고, 분리된 가시광을 이용하여 2차원 영상 데이터를 생성함에 따라 단일의 렌즈계를 통해 복합의 영상을 제공할 수 있다는 이점이 있다. In the present invention as described above, visible light and pulsed laser light received by a single lens system are separated through a filter system, and three-dimensional point cloud data (PCD, Point Cloud Data) is generated using the separated pulsed laser light And the two-dimensional image data is generated using the separated visible light, thereby providing a composite image through a single lens system.

또한, 가시광과 펄스 레이저광을 동시에 수광할 수 있는 단일의 렌즈계를 이용하여 포인트 클라우드 데이터(PCD, Point Cloud Data)와 2차원 영상 데이터를 생성할 수 있음에 따라 센서의 집적 밀도를 높여 소형화와 경량화를 이룰 수 있으며 두 영상의 광축이 일치하여 별도의 켈리브레이션(calibration)이 필요없이 사용할 수 있다는 이점이 있다. In addition, point cloud data (PCD, Point Cloud Data) and two-dimensional image data can be generated using a single lens system capable of receiving visible light and pulsed laser light at the same time, And the optical axes of the two images coincide with each other, so that there is an advantage that calibration can be used without requiring any additional calibration.

또한, 포인트 클라우드 데이터(PCD, Point Cloud Data)와 2차원 영상 데이터를 하나의 컨트롤러로 동시에 처리가 가능하여 임베디드화를 통해 독립형 센서(stand alone sensor)로 활용이 가능하다는 이점이 있다. In addition, point cloud data (PCD, Point Cloud Data) and two-dimensional image data can be simultaneously processed by a single controller, which is advantageous as a stand alone sensor through embedding.

도 1은 3차원 포인트 클라우드 데이터(PCD, Point Cloud Data)의 일예를 도시한 사진이다.
도 2는 종래의 복합 영상 센싱 시스템의 개략적인 구성을 도시한 블록도이다.
도 3는 종래의 복합 영상 센싱 시스템에 의해 생성된 PCD 데이터와 2차원 영상 데이터를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 복합 영상 센싱 시스템의 개략적인 구성을 도시한 블록도이다. 1 is a photograph showing an example of 3D point cloud data (PCD, Point Cloud Data).
2 is a block diagram showing a schematic configuration of a conventional composite image sensing system.
3 is a diagram illustrating PCD data and 2D image data generated by a conventional composite image sensing system.
4 is a block diagram illustrating a schematic configuration of a composite image sensing system according to an embodiment of the present invention.

본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안된다.The present invention may be embodied in many other forms without departing from its spirit or essential characteristics. Accordingly, the embodiments of the present invention are to be considered in all respects as merely illustrative and not restrictive.

제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성요소로 명명될 수 있다. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, .

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", "having", and the like are intended to specify the presence of stated features, integers, steps, operations, components, Steps, operations, elements, components, or combinations of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like or corresponding elements are denoted by the same reference numerals, and a duplicate description thereof will be omitted.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 일실시예에 따른 복합 영상 센싱 시스템은, 도 4에 도시된 바와 같이, 광원부(100), 광주사부(200), 광수신부(300), 영상신호처리부(400)를 포함하여 구성된다. A composite image sensing system according to an embodiment of the present invention includes a light source unit 100, a light scanning unit 200, a light receiving unit 300, and a video signal processing unit 400 as shown in FIG. 4 .

상기 광원부(100)는 펄스 레이저광(L1)을 출사하는 부분으로서, 상기 광원부(100)에서 출사되는 펄스 레이저광(L1)은 일반 가시광(L2)과 분리과 용이하도록 하기 위해 적외선광으로 구성될 수 있다. The light source unit 100 emits the pulsed laser light L1 and the pulse laser light L1 emitted from the light source unit 100 may be composed of infrared light to facilitate separation from the general visible light L2. have.

상기 광주사부(200)는 피측정물을 향하여 상기 광원부(100)에서 출사되는 펄스 레이저광(L1)을 소정의 시야각(FOV, Field Of View) 형태로 주사되도록 하는 부분이다. The optical scanning unit 200 is a unit for scanning the pulsed laser light L1 emitted from the light source unit 100 toward the object to be measured in the form of a field of view (FOV).

구체적으로, 상기 광주사부(200)는, 피측정물을 향하여 상기 광원부(100)에서 출사되는 펄스 레이저광(L1)을 상하좌우 방향으로 고속으로 가변시켜 상기 펄스 레이저광(L1)이 소정의 시야각(FOV, Filed Of View) 형태로 주사되도록 하는 광향조절부(210)와 상기 광향조절부(210)에서 주사된 펄스 레이저광(L1)의 FOV를 확장시키는 광각렌즈부(220)를 포함하여 구성된다. Specifically, the optical scanning unit 200 varies the pulsed laser light L1 emitted from the light source unit 100 toward the measured object at high speed in the vertical and horizontal directions so that the pulsed laser light L1 has a predetermined viewing angle And a wide angle lens unit 220 for expanding the FOV of the pulsed laser light L1 scanned by the light adjustment unit 210. The wide angle lens unit 220 includes a light source 210, do.

즉, 상기 광향조절부(210)와 광각렌즈부(220)에 의해 포인트 형태의 펄스 레이저광(L1)의 주사 방향이 전방의 넓은 FOV 영역을 스캔하듯이 가변됨에 따라 소정의 시야각(FOV, Field Of View)을 형성하는 형태, 즉, 3차원 형태로 펄스 레이저광(L1)을 주사할 수 있다. That is, the scanning direction of the pulsed laser light L1 in the point shape is changed by a wide viewing angle (FOV, Field) as the front FOV area is scanned by the light direction adjusting unit 210 and the wide angle lens unit 220, Of View), that is, the pulse laser light L1 can be scanned in a three-dimensional form.

한편, 상기 광향조절부(210)는 상기 펄스 레이저광(L1)을 소정 범위 각도로 반사시키도록 소정 각속도로 구동되는 맴스 미러(MEMS mirror)로 구성되는 것이 바람직하지만, 상기 펄스 레이저광(L1)을 소정 범위 각도로 반사시켜 주사할 수 있다면 공진형 스캐너, 일반 주사 미러 등 다양한 구성으로 이뤄질 수 있음은 물론이다. The light modulator 210 may be a MEMS mirror that is driven at a predetermined angular velocity to reflect the pulse laser light L1 at a predetermined angle. It is needless to say that the present invention can be implemented in various configurations such as a resonance type scanner and a general scanning mirror as long as the scanning can be performed by reflecting a predetermined range of angles.

예를 들어, 광향조절부(210)는 서로 직교하는 2개의 축에 대해 구동되는 2축 맴스 미러로 구성될 수 있다. For example, the light control unit 210 may be configured as a biaxial-type mirror mirror that is driven with respect to two mutually orthogonal axes.

상기 광수신부(300)는 상기 피측정물로부터 반사되는 펄스 레이저광(L1) 및 가시광(L2)을 동시에 함께 수신하는 렌즈계(310), 상기 렌즈계(310)로 수신된 펄스 레이저광(L1)과 가시광(L2)을 분리하는 필터계(320), 상기 필터계(320)를 통과한 펄스 레이저광(L1)을 수신하는 펄스 레이저광 수신모듈(330), 상기 필터계(320)를 통과한 가시광(L2)을 수신하는 가시광 수신모듈(340)을 포함하여 구성된다. The light receiving unit 300 includes a lens system 310 for simultaneously receiving pulsed laser light L1 and visible light L2 reflected from the object to be measured, pulse laser light L1 received by the lens system 310, A pulse laser light receiving module 330 for receiving the pulsed laser light L1 that has passed through the filter system 320, a visible light filter 320 for filtering the visible light L2 passing through the filter system 320, And a visible light receiving module 340 that receives the visible light L2.

상기 필터계(320)는, 상기 가시광(L2)과 상기 펄스 레이저광(L1)의 파장 차이를 이용하여 펄스 레이저광(L1)과 가시광(L2)을 분리하도록 구성될 수 있으며, 예를 들어, 상기 필터계(320)는 다이크로익 필터(dichroic filter)를 포함하여 구성될 수 있다. The filter system 320 may be configured to separate the pulsed laser light L1 and the visible light L2 using the wavelength difference between the visible light L2 and the pulsed laser light L1, The filter system 320 may include a dichroic filter.

한편, 상기 필터계(320)는 상기 렌즈계(310)로 수신되는 광수신방향에 대해 소정 각도로 상기 가시광(L2)을 반사시킴과 함께 상기 렌즈계(310)로 수신되는 광수신방향으로 상기 펄스 레이저광(L1)을 통과시킴에 따라 가시광(L2)과 펄스 레이저광(L1)을 분리하도록 구성될 수 있다. The filter system 320 reflects the visible light L2 at a predetermined angle with respect to the light receiving direction received by the lens system 310 and reflects the visible light L2 in the light receiving direction received by the lens system 310. [ And may be configured to separate the visible light L2 and the pulse laser light L1 by passing the light L1.

예를 들어, 상기 필터계는, 도 4에 도시된 바와 같이, 렌즈계(310)를 통과하는 광의 진행방향에 대해 대략 90°로 파장대역이 짧은 상기 가시광(L1)을 반사시키고, 파장대역이 긴 펄스 레이저광(L1)은 그대로 통과되도록 할 수 있다. For example, as shown in FIG. 4, the filter system reflects the visible light L 1 having a wavelength band shorter by about 90 ° with respect to the traveling direction of light passing through the lens system 310, The pulse laser light L1 can be passed as it is.

상기 레이저광 수신모듈(330)은 상기 필터계(320)를 통해 분리된 펄스 레이저광(L1)을 수신하는 모듈이고, 상기 가시광 수신모듈(340)은 상기 필터계(320)를 통해 분리된 가시광(L2)을 수신하는 모듈이다. The laser light receiving module 330 is a module for receiving the pulsed laser light L1 separated through the filter system 320. The visible light receiving module 340 is a module for receiving the pulsed laser light L1 separated through the filter system 320, (L2).

한편, 상기 레이저광 수신모듈(330)은 APD(avalanche photo diode)로 구성될 수 있다. Meanwhile, the laser light receiving module 330 may be formed of an avalanche photo diode (APD).

상기 영상신호처리부(400)는 상기 필터계(320)를 통해 분리된 펄스 레이저광(L1)으로부터 얻어진 거리정보(Z)와 상기 광주사부(200)의 주사 각도로부터 얻어진 위치정보(X, Y)를 이용하여 3차원 포인트 클라우드 데이터를 생성하고, 상기 필터계(320)를 통해 분리된 가시광(L2) 데이터를 이용하여 2차원 영상 데이터를 생성하며, 상기 포인트 클라우드 데이터와 상기 2차원 영상 데이터를 융합하여 피측정물의 융합화상을 생성하는 부분이다. The image signal processing unit 400 receives the distance information Z obtained from the pulsed laser light L1 separated through the filter system 320 and the position information X and Y obtained from the scanning angle of the optical scanning unit 200, Dimensional point cloud data by using the visible light (L2) data separated through the filter system 320, and converts the point cloud data and the two-dimensional image data into a fusion Thereby generating a fusion image of the measured object.

상기 영상신호처리부(400)는, 광원 조절모듈(410), 광주사 조절모듈(420), PCD 신호처리모듈(430), 가시광 영상처리모듈(440), 메인제어모듈(450)을 포함하여 구성된다. The image signal processing unit 400 includes a light source control module 410, a light scanning control module 420, a PCD signal processing module 430, a visible light image processing module 440, and a main control module 450, do.

상기 광원 조절모듈(410)은 상기 광원부(100)에서 출사되는 펄스 레이저광(L1)을 조절하는 모듈이다. The light source control module 410 is a module for controlling the pulsed laser light L1 emitted from the light source unit 100.

상기 PCD 신호처리모듈(430)은 상기 레이저광 수신모듈(330)로 수신된 펄스 레이저광(L1)에 근거하여 상기 포인트 클라우드 데이터를 생성하는 모듈이다. The PCD signal processing module 430 is a module for generating the point cloud data based on the pulsed laser light L1 received by the laser light receiving module 330.

상기 가시광 영상처리모듈(440)은 상기 가시광 수신모듈(340)로 수신된 가시광(L2)에 근거하여 2차원 영상 데이터를 생성하는 모듈이디. The visible light image processing module 440 is a module for generating two-dimensional image data based on the visible light L2 received by the visible light receiving module 340.

상기 메인제어모듈(450)은 상술한 광원 조절모듈(410), 광주사 조절모듈(420), PCD 신호처리모듈(430), 가시광 영상처리모듈(440)을 제어하는 모듈이다. The main control module 450 is a module for controlling the light source control module 410, the optical scanning adjustment module 420, the PCD signal processing module 430, and the visible light image processing module 440.

상술한 바와 같이 구성된 복합 영상 센싱 시스템에 따르면, 단일의 렌즈계로 수신된 가시광과 펄스 레이저광을 필터계를 통해 각각 분리하여 처리하는 바와 같이 동일한 광축을 형성하여 3차원 포인트 클라우드 데이터(PCD, Point Cloud Data)와 2차원 영상 데이터를 생성함에 따라 두 데이터 간의 정합이 이뤄져 별도의 켈리브레이션 없이도 융합 영상을 제공할 수 있게 된다.
According to the composite image sensing system configured as described above, visible light and pulsed laser light received through a single lens system are separated and processed through a filter system, so that the same optical axis is formed and three-dimensional point cloud data (PCD, Point Cloud Data and two-dimensional image data are generated, so that the matching between the two data is performed, so that a fusion image can be provided without any additional calibration.

본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 본 발명의 범주를 벗어남이 없이 많은 다양하고 자명한 변형이 가능하다는 것은 명백하다. 따라서 본 발명의 범주는 이러한 많은 변형예들을 포함하도록 기술된 특허청구범위에 의해서 해석돼야 한다.Although the present invention has been described with reference to the preferred embodiments thereof with reference to the accompanying drawings, it will be apparent to those skilled in the art that many other obvious modifications can be made therein without departing from the scope of the invention. Accordingly, the scope of the present invention should be interpreted by the appended claims to cover many such variations.

100:광원부 200:광주사부
210:광향조절부 220:광각렌즈부
300:광수신부 310:렌즈계
320:필터계 330:레이저광 수신모듈
340:가시광 수신모듈 400:영상신호처리부
410:광원 조절모듈 420:광주사 조절모듈
430:PCD 신호처리모듈 440:가시광 영상처리모듈
450:메인제어모듈100: light source unit 200:
210: a light control section 220: a wide angle lens section
300: light receiving part 310: lens system
320: filter system 330: laser light receiving module
340: Visible light receiving module 400: Video signal processor
410: light source control module 420: light source control module
430: PCD signal processing module 440: visible light image processing module
450: main control module

Claims (7)

펄스 레이저광을 출사하는 광원부;
피측정물을 향하여 상기 광원부에서 출사되는 펄스 레이저광을 소정의 시야각(FOV, Field Of View) 형태로 주사되도록 하는 광주사부;
가시광 및 상기 피측정물로부터 반사되는 펄스 레이저광을 수신하는 렌즈계, 상기 렌즈계로 수신된 가시광과 펄스 레이저광을 분리하는 필터계, 상기 필터계를 통과한 가시광을 수신하는 가시광 수신모듈, 상기 필터계를 통과한 펄스 레이저광을 수신하는 펄스 레이저광 수신모듈을 포함하는 광수신부; 및
상기 가시광 수신모듈로 수신된 가시광 데이터 및 상기 펄스 레이저광 수신모듈로 수신된 펄스 레이저광 데이터 중 적어도 어느 하나의 데이터에 근거하여 상기 피측정물의 화상을 생성하는 영상신호처리부;를 포함하여 구성된 것을 특징으로 하는 복합 영상 센싱 시스템. A light source section for emitting pulse laser light;
A light scanning unit for scanning the pulsed laser light emitted from the light source unit toward the object in a form of a field of view (FOV);
A filter system for separating the visible light and the pulsed laser light received by the lens system, a visible light receiving module for receiving the visible light passing through the filter system, And a pulse laser light receiving module for receiving the pulsed laser light having passed through the pulse laser light receiving module; And
And an image signal processing unit for generating an image of the object to be measured based on at least any one of visible light data received by the visible light receiving module and pulse laser light data received by the pulse laser light receiving module A composite image sensing system. 제1항에 있어서,
상기 렌즈계는 상기 가시광과 상기 펄스 레이저광을 동시에 수광할 수 있도록 소정의 시야각을 갖는 단일 렌즈계이고, 상기 필터계는 가시광과 펄스 레이저광의 파장 차이를 이용하여 광경로를 분리하도록 구성되며, 상기 가시광 수신모듈은 상기 필터계를 통과함에 따라 분리된 가시광의 경로에 정렬되고, 상기 펄스 레이저광 수신모듈은 상기 필터계를 통과함에 따라 분리된 펄스 레이저광의 경로에 정렬되도록 구성된 것을 특징으로 하는 복합 영상 센싱 시스템. The method according to claim 1,
Wherein the lens system is a single lens system having a predetermined viewing angle so as to receive the visible light and the pulsed laser light at the same time and the filter system is configured to separate the optical path using the wavelength difference of the visible light and the pulsed laser light, Wherein the module is arranged in a path of visible light separated as it passes through the filter system and the pulse laser light receiving module is arranged in the path of the separated pulsed laser light as it passes through the filter system. . 제1항에 있어서,
상기 필터계는,
다이크로익 필터(dichroic filter)를 포함하여 구성된 것을 특징으로 하는 복합 영상 센싱 시스템. The method according to claim 1,
The filter system comprises:
And a dichroic filter. The system of claim 1, wherein the dichroic filter comprises a dichroic filter. 제1항에 있어서,
상기 펄스 레이저광은,
적외선광인 것을 특징으로 하는 복합 영상 센싱 시스템. The method according to claim 1,
The pulse laser light,
Wherein the infrared light is infrared light. 제1항에 있어서,
상기 영상신호처리부는,
상기 광원부에서 출사되는 펄스 레이저광을 조절하는 광원 조절모듈;
상기 광주사부에서 주사되는 펄스 레이저광을 조절하는 광주사 조절모듈;
상기 펄스 레이저광 수신모듈로 수신된 펄스 레이저광 데이터에 근거하여 포인트 클라우드 데이터(PCD, Point Cloud Data)를 생성하는 PCD 신호처리모듈;
상기 가시광 수신모듈로 수신된 가시광 데이터에 근거하여 2차원 영상 데이터를 생성하는 가시광 영상처리모듈; 및
상기 각 모듈을 제어하는 메인제어모듈;을 포함하여 구성된 것을 특징으로 하는 복합 영상 센싱 시스템. The method according to claim 1,
Wherein the video signal processor comprises:
A light source control module for controlling pulsed laser light emitted from the light source;
A light scanning adjustment module for adjusting pulse laser light scanned by the optical scanning unit;
A PCD signal processing module for generating point cloud data (PCD, Point Cloud Data) based on the pulsed laser light data received by the pulse laser light receiving module;
A visible light image processing module for generating two-dimensional image data based on visible light data received by the visible light receiving module; And
And a main control module for controlling each of the modules. 제1항에 있어서,
상기 광주사부는,
피측정물을 향하여 상기 광원부에서 출사되는 펄스 레이저광을 상하좌우 방향으로 가변시켜 상기 펄스 레이저광이 소정의 시야각(FOV, Filed Of View) 형태로 주사되도록 하는 광향조절부와 상기 광향조절부에서 주사된 레이저 광의 FOV를 확장시키는 광각렌즈부를 포함하여 구성된 것을 특징으로 하는 복합 영상 센싱 시스템. The method according to claim 1,
The optical scanning unit includes:
An optical direction adjusting unit for varying the pulsed laser light emitted from the light source unit toward the object to be measured in the vertical and horizontal directions so that the pulsed laser light is scanned in a predetermined viewing angle (FOV, Filed Of View) And a wide-angle lens unit for expanding the FOV of the laser beam. 제6항에 있어서,
상기 광향조절부는,
상기 펄스 레이저광을 소정 범위 각도로 반사시키도록 소정 각속도로 구동되는 맴스 미러(MEMS mirror) 또는 공진형 스캐너로 구성된 것을 특징으로 하는 복합 영상 센싱 시스템. The method according to claim 6,
Preferably,
And a resonance type scanner (MEMS mirror) driven by a predetermined angular velocity to reflect the pulse laser light at a predetermined angle.
KR1020130154079A 2013-12-11 2013-12-11 System for sensing complex image KR101545971B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130154079A KR101545971B1 (en) 2013-12-11 2013-12-11 System for sensing complex image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130154079A KR101545971B1 (en) 2013-12-11 2013-12-11 System for sensing complex image

Publications (2)

Publication Number Publication Date
KR20150068545A true KR20150068545A (en) 2015-06-22
KR101545971B1 KR101545971B1 (en) 2015-08-24

Family

ID=53515945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130154079A KR101545971B1 (en) 2013-12-11 2013-12-11 System for sensing complex image

Country Status (1)

Country Link
KR (1) KR101545971B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017023106A1 (en) * 2015-08-03 2017-02-09 엘지이노텍(주) Light detection and ranging device
KR20170065061A (en) * 2015-12-02 2017-06-13 한국생산기술연구원 Three dimensional scanning system
KR20180061949A (en) * 2016-11-30 2018-06-08 주식회사 유진로봇 Obstacle Sensing Apparatus and Method for Multi-Channels Based Mobile Robot, Mobile Robot including the same
KR20190047595A (en) * 2017-10-27 2019-05-08 바이두 유에스에이 엘엘씨 A 3d lidar system using a dichroic mirror for autonomous driving vehicles
KR20190053747A (en) * 2017-11-10 2019-05-20 김진형 Measuring Instrument for Sizing Object at Long Distance
KR20210086543A (en) * 2019-12-31 2021-07-08 (주) 엠아이원 Image output apparatus and endoscope apparatus using the same and image output method using the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101288030B1 (en) * 2011-07-05 2013-07-22 김영원 Hybrid 3D scanner

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017023106A1 (en) * 2015-08-03 2017-02-09 엘지이노텍(주) Light detection and ranging device
KR20170016103A (en) * 2015-08-03 2017-02-13 엘지이노텍 주식회사 Apparatus for light detection and ranging
US10996321B2 (en) 2015-08-03 2021-05-04 Lg Innotek Co., Ltd. Light detection and ranging device
US11899135B2 (en) 2015-08-03 2024-02-13 Lg Innotek Co., Ltd. Light detection and ranging device
KR20170065061A (en) * 2015-12-02 2017-06-13 한국생산기술연구원 Three dimensional scanning system
KR20180061949A (en) * 2016-11-30 2018-06-08 주식회사 유진로봇 Obstacle Sensing Apparatus and Method for Multi-Channels Based Mobile Robot, Mobile Robot including the same
KR101878827B1 (en) * 2016-11-30 2018-07-17 주식회사 유진로봇 Obstacle Sensing Apparatus and Method for Multi-Channels Based Mobile Robot, Mobile Robot including the same
KR20190047595A (en) * 2017-10-27 2019-05-08 바이두 유에스에이 엘엘씨 A 3d lidar system using a dichroic mirror for autonomous driving vehicles
JP2019109219A (en) * 2017-10-27 2019-07-04 バイドゥ ユーエスエー エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ Three-dimensional lidar system for autonomous vehicle using dichroic mirror
US11758111B2 (en) 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
KR20190053747A (en) * 2017-11-10 2019-05-20 김진형 Measuring Instrument for Sizing Object at Long Distance
KR20210086543A (en) * 2019-12-31 2021-07-08 (주) 엠아이원 Image output apparatus and endoscope apparatus using the same and image output method using the same

Also Published As

Publication number Publication date
KR101545971B1 (en) 2015-08-24

Similar Documents

Publication Publication Date Title
KR102089036B1 (en) Information display apparatus, information providing system, mobile device, information display method and recording medium
KR101545971B1 (en) System for sensing complex image
US10754036B2 (en) Scanning illuminated three-dimensional imaging systems
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
KR102209500B1 (en) Lidar apparatus
US11754682B2 (en) LIDAR system with spatial beam combining
US10884127B2 (en) System and method for stereo triangulation
KR101884781B1 (en) Three dimensional scanning system
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
KR20200071960A (en) Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence
KR102216690B1 (en) Lidar Apparatus
US11828881B2 (en) Steered LIDAR system with arrayed receiver
US20190391592A1 (en) Positioning system
US11422372B2 (en) Distance measurement device, head-mounted display device, mobile information terminal, image display device, surroundings monitoring system, and distance measurement method
US11796643B2 (en) Adaptive LIDAR scanning methods
KR20170084966A (en) Local Positioning System
CN108195291B (en) Moving vehicle three-dimensional detection method and detection device based on differential light spots
KR20200055655A (en) Lidar sensors and methods for lidar sensors
KR101868293B1 (en) Apparatus for Providing Vehicle LIDAR
US11747449B2 (en) Scanning unit of an optical transmission and receiving device of an optical detection apparatus of a vehicle
KR20170088501A (en) Local Positioning System
US20210231945A1 (en) Hybrid lidar system
KR101744610B1 (en) Three dimensional scanning system
US11747481B2 (en) High performance three dimensional light detection and ranging (LIDAR) system for drone obstacle avoidance
KR20210122155A (en) Integrated fusion sensor apparatus including detachable light source with built-in intelligent camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 5