KR102420954B1 - Pattern laser based 3d information sensor - Google Patents

Pattern laser based 3d information sensor Download PDF

Info

Publication number
KR102420954B1
KR102420954B1 KR1020200077563A KR20200077563A KR102420954B1 KR 102420954 B1 KR102420954 B1 KR 102420954B1 KR 1020200077563 A KR1020200077563 A KR 1020200077563A KR 20200077563 A KR20200077563 A KR 20200077563A KR 102420954 B1 KR102420954 B1 KR 102420954B1
Authority
KR
South Korea
Prior art keywords
pattern
light
laser
image
light source
Prior art date
Application number
KR1020200077563A
Other languages
Korean (ko)
Other versions
KR20220000430A (en
Inventor
김영훈
김은규
Original Assignee
주식회사 유사이언스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유사이언스 filed Critical 주식회사 유사이언스
Priority to KR1020200077563A priority Critical patent/KR102420954B1/en
Publication of KR20220000430A publication Critical patent/KR20220000430A/en
Application granted granted Critical
Publication of KR102420954B1 publication Critical patent/KR102420954B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

본 발명은 점 광원으로 생성되는 레이저 빔을 조사하는 레이저 소스, 상기 레이저 소스의 일정 거리 선단에서 상기 점 광원을 투과시켜 라인 광으로 변화시키는 라인제너레이터 및 상기 라인제너레이터의 선단에 배치되어 상기 라인 광을 소정 각도로 회절 시키는 균일 격자체로 이루어져 2차원 패턴 광으로 변환시켜 방사하는 광원부와 상기 광원부에 방사된 2차원 패턴 광을 수신하기 위한 CCD 또는 CMOS 센서 중의 어느 하나를 사용하는 CCTV 카메라 모듈과 TOF(Time of Flight) 센서를 구비하는 ToF 카메라 모듈로 이루어진 수신부 및 상기 수신부에서 수신되는 2D 패턴 광의 TOF 영상 이미지와 CCTV 영상 이미지를 동기화 매핑(Mapping)하고 3D 깊이(depth) 기반 객체의 영역별 근접 거리를 검출하는 기능을 수행하는 제어부를 포함하여 구성되는 패턴 레이저 기반 3D 정보 센서에 관한 것이다.The present invention relates to a laser source irradiating a laser beam generated by a point light source, a line generator that transmits the point light source at a predetermined distance from the tip of the laser source and changes it into line light, and a line generator disposed at the tip of the line generator to generate the line light A CCTV camera module and TOF (Time of Flight) A receiver consisting of a ToF camera module having a sensor and a TOF image image of a 2D pattern light received from the receiver and a CCTV image image are synchronously mapped and the proximity distance of each area of a 3D depth-based object is detected. It relates to a pattern laser-based 3D information sensor configured to include a control unit that performs a function.

Description

패턴 레이저 기반 3D 정보 센서{PATTERN LASER BASED 3D INFORMATION SENSOR}PATTERN LASER BASED 3D INFORMATION SENSOR

본 발명은 패턴 레이저 기반 3D 정보 센서에 관한 것으로서, 더욱 상세하게는 패턴 레이저 광원을 기반으로 하는 공간 스캔을 통하여 3차원 정보를 추출할 수 있는 패턴 레이저 기반 3D 정보 센서에 관한 것이다.The present invention relates to a pattern laser-based 3D information sensor, and more particularly, to a pattern laser-based 3D information sensor capable of extracting three-dimensional information through a spatial scan based on a pattern laser light source.

최근 들어 라이다(LIDAR, Light Detection and Ranging) 센서를 이용한 물체감지 기술은 이동체(자율주행차, 드론, 전동휠체어 등)의 전후방 장애물 감지 시스템의 핵심으로 주목받고 있다. 또한, 초음파 센서, 적외선 센서, 영상카메라 등 차량 장애물 경고 장치 설치가 법적 의무화됨에 따라 차량의 주변 환경을 인식하여 다양한 정보를 복합적이고 통합적으로 제공하는 후방 및 서라운드 감지 시스템에 대한 요구가 늘어나고 있다.Recently, object detection technology using a LIDAR (Light Detection and Ranging) sensor is attracting attention as the core of the front and rear obstacle detection systems of moving objects (autonomous driving vehicles, drones, electric wheelchairs, etc.). In addition, as the installation of vehicle obstacle warning devices such as ultrasonic sensors, infrared sensors, and video cameras becomes legally mandatory, there is an increasing demand for rear and surround detection systems that provide various information in a complex and integrated manner by recognizing the surrounding environment of the vehicle.

이에 일반적으로 회전 방식과는 달리 단순한 구조의 저가화된 경량 라이다(Flash LIDAR)와 같이 제한된 시야각만을 커버하는 무회전 라이다 센서가 제품화 되고 있으며, 이는 근거리 감지 시스템에 적용하기 적합한 형태라 할 수 있다.Therefore, unlike the rotation method, a non-rotating lidar sensor that covers only a limited viewing angle, such as a low-cost, lightweight lidar (Flash LIDAR) with a simple structure, is being commercialized, and it can be said that it is a suitable form to be applied to a short-distance sensing system. .

이러한 무회전 라이다 센서는 다양한 형태의 실외 환경(야간, 우천, 안개 등)에서 신뢰도 높은 장애물 감지를 위하여 3차원 깊이(Depth) 정보를 검출하는 보다 진보적인 레이저빔을 이용하는 발광부를 제공할 필요가 있다.Such a non-rotating lidar sensor needs to provide a light emitting unit using a more advanced laser beam that detects 3D depth information for reliable obstacle detection in various types of outdoor environments (night, rain, fog, etc.) have.

한편, 레이저빔을 형성하기 위해 일반적으로 기능과 형상에 차이가 있는 다수계의 렌즈를 조합한 렌즈계를 사용하게 된다. 이러한 렌즈계를 이용하여 레이저빔을 형성하는 경우, 복수의 렌즈가 레이저 소스에서 방출되는 레이저빔을 일부 흡수하게 되므로 레이저빔의 에너지가 복수의 렌즈를 통과할수록 약해지는 문제점이 있다.On the other hand, in order to form a laser beam, a lens system in which a plurality of lenses having different functions and shapes are combined is generally used. In the case of forming a laser beam using such a lens system, since the plurality of lenses partially absorb the laser beam emitted from the laser source, there is a problem in that the energy of the laser beam becomes weaker as it passes through the plurality of lenses.

또한, 렌즈계를 사용하여 형성되는 레이저빔은 중앙으로 집중되고, 그로 인해 레이저빔의 균질도가 선형 빔이나 면형 빔의 중앙부와 가장자리부에서 편차가 심하므로 균일한 선형 빔이나 균일한 면형 빔을 형성하기가 어려우며, 장치가 복잡해지고, 복수의 렌즈를 정렬하는데 어려움이 있으며, 고가의 렌즈를 사용함으로 인해 제작비용이 상승하는 문제가 있다.In addition, the laser beam formed by using the lens system is focused to the center, and therefore the homogeneity of the laser beam is greatly different at the center and the edge of the linear or planar beam, so a uniform linear or planar beam is formed. It is difficult to do this, the apparatus is complicated, it is difficult to align a plurality of lenses, and there are problems in that the manufacturing cost increases due to the use of expensive lenses.

상기와 같은 문제점을 해결하기 위한 종래의 기술로서, 대한민국 공개특허공보 제10-2013-0055088호(2013.05.28.)에서 대상체로부터의 영상에서 구조광 패턴을 획득하는 스테레오 카메라 구성이 가능한 복수의 카메라; 및 구조광원부와 상기 복수의 카메라 중 하나의 카메라 간의 화소별 제1 깊이값과, 복수의 카메리로 구성된 스테레오 카메라에서 획득한 양안 영상으로부터 화소별 제2 깊이값을 대상체의 각 화소 영역에 대해 서로 일치하는 화소들의 시차값을 이용하여 추정하고, 추정한 화소별 제1 깊이값에 대한 제1 신뢰도값과 추정한 화소별 제2 깊이값에 대한 제2 신뢰도값을 깊이값 추정 과정에서 사용한 비용 함수를 이용하여 계산하며, 제1 신뢰도값과 제2 신뢰도값을 비교하여 신뢰도값이 높은 깊이값을 선택하여 최종 깊이맵을 획득하는 깊이맵 추정기를 포함하는 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법을 개시하고 있다.As a conventional technique for solving the above problems, a plurality of cameras capable of configuring a stereo camera for acquiring a structured light pattern from an image from an object in Korean Patent Application Laid-Open No. 10-2013-0055088 (2013.05.28.) ; and a first depth value for each pixel between the structured light source unit and one camera among the plurality of cameras, and a second depth value for each pixel from a binocular image obtained from a stereo camera configured with a plurality of cameras for each pixel area of the object. A cost function that is estimated using disparity values of matching pixels, and using a first reliability value for the estimated first depth value for each pixel and a second reliability value for the estimated second depth value for each pixel in the depth value estimation process A structured light pattern-based 3D image information estimation apparatus including a depth map estimator that calculates using and methods are disclosed.

본 발명은 전술한 종래기술의 문제점을 해결하기 위해 도출된 것으로, 본 발명의 목적은, 점광원으로 생성되는 레이저 빔을 라인 광으로 변화시켜 생성하는 라인제너레이터 및 격자(Grating) 구조를 기반으로 하는 격자 회절에 의해 넓은 방사각으로 일정한 방사 방향의 2D 패턴 광을 형성하는 패턴 레이저 기반 3D 정보 센서를 제공하고자 하는 것이다.The present invention was derived to solve the problems of the prior art, and an object of the present invention is to convert a laser beam generated as a point light source into line light and generate a line generator based on a grating structure. An object of the present invention is to provide a patterned laser-based 3D information sensor that forms 2D pattern light in a constant radiation direction with a wide radiation angle by grating diffraction.

또한, 본 발명의 다른 목적은 레이저 광원을 활용하여 빔을 일정한 간격으로 회절시켜 라인 빔을 형성하고, 형성된 격자패턴의 라인을 서로 직교하여 위치시킴으로써 일정한 2D 패턴 빔을 형성하는 면광용 2D-패턴 광원모듈을 제공하고자 하는 것이다.In addition, another object of the present invention is to form a line beam by diffracting the beam at regular intervals using a laser light source, and a 2D-pattern light source for surface light that forms a constant 2D pattern beam by locating the lines of the formed grating pattern at right angles to each other It is intended to provide a module.

또한, 본 발명은 격자(Grating) 기반 광회절 2D 패턴 레이저로 근접방사 120도 이상의 특성을 갖는 대면적 방사광원을 제공하는 광원모듈을 제공하는 목적이 있다.In addition, an object of the present invention is to provide a light source module that provides a large-area radiation light source having a near-radiation characteristic of 120 degrees or more with a grating-based light diffraction 2D pattern laser.

또한, 본 발명은 발광부와 수광부 및 제어(processing) 처리부를 통합한 모듈로서 3D 정보 센서를 제공하고자 하는 목적이 있다.Another object of the present invention is to provide a 3D information sensor as a module in which a light emitting unit, a light receiving unit, and a control (processing) processing unit are integrated.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 패턴 레이저 기반 3D 정보 센서는 점 광원으로 생성되는 레이저 빔을 조사하는 레이저 소스, 상기 레이저 소스의 일정 거리 선단에서 상기 점 광원을 투과시켜 라인 광으로 변화시키는 라인제너레이터 및 상기 라인제너레이터의 선단에 배치되어 상기 라인 광을 소정 각도로 회절 시키는 균일 격자체로 이루어져 2차원 패턴 광으로 변환시켜 방사하는 광원부와 상기 광원부에 방사된 2차원 패턴 광을 수신하기 위한 CCD 또는 CMOS 센서 중의 어느 하나를 사용하는 CCTV 카메라 모듈과 TOF(Time of Flight) 센서를 구비하는 ToF 카메라 모듈로 이루어진 수신부 및 상기 수신부에서 수신되는 2D 패턴 광의 TOF 영상 이미지와 CCTV 영상 이미지를 동기화 매핑(Mapping)하고 3D 깊이(depth) 기반 객체의 영역별 근접 거리를 검출하는 기능을 수행하는 제어부를 포함하여 구성되는 특징이 있다.A pattern laser-based 3D information sensor according to an aspect of the present invention for solving the above technical problem is a laser source that irradiates a laser beam generated by a point light source, and a line light by passing the point light source from the tip of the laser source at a predetermined distance. A line generator that converts into a line generator and a uniform grating that is disposed at the tip of the line generator and diffracts the line light at a predetermined angle. Synchronization mapping of the TOF image image of the 2D pattern light received by the receiver and the CCTV image (Mapping) and has a feature configured to include a control unit that performs a function of detecting a proximity distance for each area of a 3D depth-based object.

또한, 본 발명의 상기 광원부의 균일 격자체는 폴리카보네이트(Polycarbonate, PC) 또는 PET(polyethylene terephthalate) 소재로 이루어진 투명 필름 상에 일정 피치와 일정 경사각을 갖는 삼각라인 패턴 형태의 돌출부로 이루어진 격자 구조(grating)가 형성되어 이루어진 특징이 있다.In addition, the uniform lattice body of the light source unit of the present invention has a lattice structure consisting of protrusions in the form of a triangular line pattern having a predetermined pitch and a predetermined inclination angle on a transparent film made of polycarbonate (PC) or PET (polyethylene terephthalate) material ( It is characterized by the formation of gratings.

또한, 본 발명의 상기 균일 격자체의 삼각라인 패턴의 피치 간격은 100um이고, 경사각도가 35도 내지 40도로 형성되는 특징이 있다.In addition, the pitch interval of the triangular line pattern of the uniform lattice body of the present invention is 100 μm, and the inclination angle is 35 degrees to 40 degrees.

또한, 본 발명의 상기 균일 격자체는 삼각라인 격자 패턴의 방향이 상호 직교하도록 서로 포개어진 이중 구조로 형성되어 수직 및 수평 방향으로 일정하게 방사되는 2D 패턴 광을 형성하는 특징이 있다.In addition, the uniform lattice body of the present invention is formed in a double structure superimposed on each other so that the directions of the triangular line lattice pattern are orthogonal to each other to form a 2D pattern light that is uniformly emitted in vertical and horizontal directions.

또한, 본 발명의 상기 수신부는 수신되는 2D 패턴 광과 광원부에서 방사된 2D 패턴 광과의 위상차를 측정하여 보정하기 위한 위상측정기(Phase Meter)를 더 포함하는 특징이 있다.In addition, the receiver of the present invention is characterized in that it further includes a phase meter for measuring and correcting a phase difference between the received 2D pattern light and the 2D pattern light emitted from the light source unit.

또한, 본 발명의 상기 제어부는 수신되는 2D 패턴 광의 영상 이미지에서 깊이 값의 평균을 계산할 때, 객체 영역 중심점과 멀수록 가중치 감소 방식을 적용하는 특징이 있다.In addition, when calculating the average of depth values in the video image of the received 2D pattern light, the control unit of the present invention is characterized in that the weight reduction method is applied as the distance from the center point of the object region is increased.

또한, 본 발명의 상기 제어부는 수신되는 2D 패턴 광의 영상 이미지의 일정 영역에 대하여 깊이 값이 일정 범위 내에 있는 경우 주변 영역을 합성(merge) 및 확장하고, 깊이 값이 차이가 일정 범위 이상 큰 경우에는 세부 영역을 분할(split)하는 특징이 있다.In addition, the control unit of the present invention merges and expands the peripheral area when the depth value is within a certain range for a certain area of the video image of the received 2D pattern light, and when the difference in the depth value is greater than a certain range, There is a feature of splitting a detailed area.

전술한 본 발명의 패턴 레이저 기반 3D 정보 센서에 의하면, 기존의 장애물 감지 방식(초음파, 적외선, 영상카메라)과 달리 외부 환경에 강인한 레이저 방식의 고광각 고출력 광원부를 제공하여 다양한 이동체(자율주행차, 드론, 전동휠체어 등)의 전후방 장애물 감지 시스템에 적용 가능한 장점이 있다.According to the pattern laser-based 3D information sensor of the present invention described above, unlike the existing obstacle detection methods (ultrasound, infrared, image camera), it provides a laser-type high-wide-angle high-power light source unit that is robust to the external environment to provide a variety of moving objects (self-driving vehicles, It has the advantage of being applicable to the front and rear obstacle detection systems of drones, electric wheelchairs, etc.).

또한, 본 발명은 2D 패턴 광을 기반으로 3차원 Depth 정보를 검출함으로써, 다양한 형태의 실외 환경(야간, 우천, 안개 등)에서 적용되는 신뢰도 높은 장애물 감지 기능을 제공하는 효과 및 운전자 편의 및 도로 교통 안전과 생명 보호에 기여 하는 서라운드 센싱(Lidar, 영상 센서, 실시간 영상처리) 정보를 제공하는 효과가 있다.In addition, the present invention detects 3D depth information based on 2D pattern light, thereby providing a reliable obstacle detection function applied in various types of outdoor environments (night, rain, fog, etc.), driver convenience, and road traffic It has the effect of providing surround sensing (Lidar, image sensor, real-time image processing) information that contributes to safety and life protection.

또한, 본 발명은 높은 정확도의 3차원(대면적과 거리) 정보를 통합 제공하는 감지 시스템으로서 기존의 전후방카메라와 장애물 센서를 대체 가능할 수 있는 장점이 있다.In addition, the present invention has the advantage of being able to replace the existing front and rear cameras and obstacle sensors as a detection system that provides integrated three-dimensional (large area and distance) information with high accuracy.

도 1은 본 발명의 일실시예에 따른 패턴 레이저 기반 3D 정보 센서의 구성을 보여주는 블록도.
도 2는 본 발명의 일실시예에 따른 패턴 레이저 기반 3D 정보 센서의 2D 패턴 광의 생성 경로를 표현하는 예시도.
도 3은 본 발명의 일실시예에 따른 균일 격자체를 보여주는 사시도 및 세부 사항을 도시한 예시도.
도 4는 본 발명에 따른 2D 패턴 광원부에 의해 조사된 광원을 수신하는 TOF 카메라 모듈의 이미지 예시도.
도 5는 본 발명에 따른 3D Depth 데이터 기반 근접 객체 감지의 시연 영상을 보여주는 예시도이다.1 is a block diagram showing the configuration of a pattern laser-based 3D information sensor according to an embodiment of the present invention.
2 is an exemplary diagram illustrating a 2D patterned light generation path of a patterned laser-based 3D information sensor according to an embodiment of the present invention.
3 is a perspective view showing a uniform grid according to an embodiment of the present invention and an exemplary view showing details.
Figure 4 is an example image of the TOF camera module for receiving the light source irradiated by the 2D pattern light source according to the present invention.
5 is an exemplary view showing a demonstration image of proximity object detection based on 3D depth data according to the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present specification and claims should not be construed as being limited to their ordinary or dictionary meanings, and the inventor may properly define the concept of the term in order to best describe his invention. Based on the principle that there is, it should be interpreted as meaning and concept consistent with the technical idea of the present invention.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the configuration shown in the embodiments and drawings described in the present specification is only the most preferred embodiment of the present invention and does not represent all the technical spirit of the present invention, so various equivalents that can replace them at the time of the present application It should be understood that there may be water and variations.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description of the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

이하 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 아래와 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 패턴 레이저 기반 3D 정보 센서의 구성을 보여주는 예시도이고, 도 2는 본 발명의 일실시예에 따른 패턴 레이저 기반 3D 정보 센서의 2D 패턴 광의 생성 경로를 표현하는 예시도이며, 도 3의 (a)는 본 발명의 일실시예에 따른 균일 격자체를 보여주는 사시도이고, 도 3의 (b)는 균일 격자체의 세부 사항을 도시한 예시도이다.1 is an exemplary diagram showing the configuration of a pattern laser-based 3D information sensor according to an embodiment of the present invention, Figure 2 is a 2D pattern light generation path of the pattern laser-based 3D information sensor according to an embodiment of the present invention 3 (a) is a perspective view showing a uniform grid according to an embodiment of the present invention, and FIG. 3 (b) is an exemplary view showing details of the uniform grid.

도시를 참조하면, 본 발명의 패턴 레이저 기반 3D 정보 센서는 광원부(100)와 수신부(200) 및 제어부(300)를 포함하여 구성된다.Referring to the illustration, the pattern laser-based 3D information sensor of the present invention is configured to include a light source unit 100 , a receiver unit 200 , and a control unit 300 .

상기 광원부(100)은 레이저 빔을 발생시키는 레이저 소스(110), 상기 레이저 소스(110)에서 발생되는 점 광원을 라인 광으로 변화시키는 라인제너레이터(120), 생성된 라인 광을 소정 각도로 회절 시키기 위하여 균일 격자 구조로 형성되는 적어도 하나 이상의 균일 격자체(Uniform Grating)(130)로 이루어져 2D 패턴 레이저빔을 생성하게 된다.The light source unit 100 includes a laser source 110 for generating a laser beam, a line generator 120 for changing a point light source generated from the laser source 110 into line light, and diffracting the generated line light at a predetermined angle. For this purpose, at least one uniform grating body 130 is formed in a uniform grating structure to generate a 2D pattern laser beam.

상기 레이저 소스(110)는 광원이 되는 레이저 빔을 생성하는 것으로서, 발광 다이오드(light emitting diode, LED) 또는 레이저 다이오드(laser diode, LD)중 어느 하나로 구성될 수 있으며, 특히 하이파워 레이저 다이오드(LD)에 의한 집광 광원을 형성할 수 있는 광원이면 더욱 바람직하다.The laser source 110 generates a laser beam serving as a light source, and may be composed of either a light emitting diode (LED) or a laser diode (LD), and in particular, a high-power laser diode (LD). ), it is more preferable if it is a light source that can form a condensed light source.

이때 레이저 광의 집광을 위하여 레이저 소스(110) 전면에 초접점 집광렌즈가 구비될 수 있고, 이를 통하여 집광된 점 광원이 조사될 수 있다.In this case, a focal point condensing lens may be provided on the front surface of the laser source 110 for condensing the laser light, and the focused point light source may be irradiated therethrough.

상기 라인제너레이터(120)는 집광된 점 광을 라인 광으로 변화시켜 생성시키는 역할을 하는 것으로서, 레이저 소스(110)의 일정 거리 선단에서 출력되는 점 광원을 투과시켜 라인 광으로 변화시킨다.The line generator 120 serves to convert the focused point light into line light and generate it, and transmits the point light output from the tip of the laser source 110 at a predetermined distance to change it into line light.

이때, 상기 라인제너레이터(120)는 실린더 렌즈(Cylinder lens, CL) 형태 또는 그레이팅 구조체 형태 중의 어느 하나를 사용하여 적용될 수 있다.In this case, the line generator 120 may be applied using either a cylinder lens (CL) type or a grating structure type.

실린더 렌즈(CL)란 일반적으로 입사광을 한 줄에 초점을 맞추거나 단일 축에서만 이미지 확대가 가능하여 이미지의 화면 비(aspect ratio)를 변경하는데 사용되는 렌즈이다. 즉 상기 실린더 렌즈는 하나의 원통형의 형상으로 입사광을 한 줄로 초점을 맞추고 길게 늘이는 라인 생성에 적합한 렌즈라 할 수 있다.A cylinder lens (CL) is a lens used to change the aspect ratio of an image by focusing incident light on one line or by magnifying an image only on a single axis. That is, the cylinder lens can be said to be a lens suitable for generating a line in which incident light is focused in a single line in a cylindrical shape and is elongated.

또한, 본 발명의 균일 격자체(130)와 같은 구조를 이용하여 집광된 점 광을 복수개의 라인 형태로 투과시킬 수도 있으며, 점 광을 복수개의 라인 형태로 투과시킬 수 있는 광 필터를 사용할 수도 있다. 이에 본 발명의 상기 라인제너레이터(120)는 집광된 점 광을 투과하여 복수개의 라인 광으로 변화시킬 수 있는 것이면 어느 것이던 변경 적용이 가능하다.In addition, using the same structure as the uniform grating 130 of the present invention, the focused point light may be transmitted in a plurality of line forms, and an optical filter capable of transmitting the point light in a plurality of line forms may be used. . Accordingly, the line generator 120 of the present invention can be changed and applied as long as it can transmit the focused point light and change it into a plurality of line lights.

이에 따라 상기 레이저 소스(110)로부터의 점 광이 라인제너레이터(120)에 투과되어 라인 광이 형성되게 된다.Accordingly, the point light from the laser source 110 is transmitted through the line generator 120 to form line light.

상기 균일 격자체(130)는 라인제너레이터(120)의 일정 거리 선단에 배치되어 입사되는 레이저 광을 여러 다른 방향의 빛살로 회절 시킬 수 있는 회절격자(diffraction grating)로서, 본 발명의 균일 격자체(130)는 도시에서와 같이 일정 피치와 일정 경사각을 갖는 삼각라인 패턴 형태의 돌출부로 이루어진 격자 구조(grating)를 적용하여 이루어진 구조체를 적용한다. The uniform grating 130 is a diffraction grating that is disposed at the front end of the line generator 120 at a predetermined distance and can diffract the incident laser light into beams of different directions, and the uniform grating of the present invention ( 130 applies a structure formed by applying a grating made of protrusions in the form of a triangular line pattern having a predetermined pitch and a predetermined inclination angle as shown in the figure.

또한, 구현에 따라서, 상기 균일 격자체(130)는 삼각 라인 형태의 인접한 돌출부 사이에 소정 간격만큼 주면과 대략 평행한 저면부를 구비할 수 있다.In addition, according to implementation, the uniform grid body 130 may include a bottom portion substantially parallel to the main surface by a predetermined interval between adjacent protrusions in the shape of a triangular line.

이때, 상기 삼각라인 격자 구조의 피치 간격은 100um 내외이고, 접합(Brazing) 경사각도가 35도 내지 40도로 형성될 수 있다.In this case, the pitch interval of the triangular-line grid structure is about 100 μm, and the brazing inclination angle may be formed at 35 degrees to 40 degrees.

이에 도 3의 (b)에서와 같이 보다 바람직한 일실시예에 따르면, 상기 삼각라인 격자 구조의 피치 간격은 100.21um와 38도의 브레이징 경사각을 갖는 삼각라인 패턴으로 형성될 수 있다. 한편, 상기 삼각라인 격자 구조의 높이는 33.40um로 형성될 수 있으며, 두께는 0.20mm로 형성될 수 있다.Accordingly, according to a more preferred embodiment as shown in (b) of FIG. 3, the pitch interval of the triangular line grid structure may be formed in a triangular line pattern having a brazing inclination angle of 100.21 μm and 38 degrees. Meanwhile, the triangular-line grid structure may have a height of 33.40um and a thickness of 0.20mm.

이러한 상기 균일 격자체(130)의 재질은 0.2mm 내지 1mm의 균일한 폴리카보네이트(Polycarbonate, PC) 또는 PET(polyethylene terephthalate) 소재로 이루어진 투명 필름 상의 삼각 라인 격자 구조체이다.The material of the uniform grid body 130 is a triangular line grid structure on a transparent film made of a uniform polycarbonate (PC) or PET (polyethylene terephthalate) material of 0.2 mm to 1 mm.

본 발명의 상기 균일 격자체(130)는 상기 라인제너레이터(120)의 선단에서 상기 균일 격자체(130)의 삼각라인 격자 패턴의 라인 방향이 상호 직교되도록 하나의 쌍으로 서로 포개어져 결합시키거나 이중으로 형성하여, 광원이 수직(vertical) 및 수평(horizontal)의 일정한 방향으로 방사되는 2D 패턴 광을 형성하여 스캔에 활용할 수 있다.The uniform grid body 130 of the present invention is superimposed on each other in a pair so that the line directions of the triangular line grid pattern of the uniform grid body 130 are orthogonal to each other at the tip of the line generator 120 are combined or double , the light source can form a 2D pattern light that is emitted in a constant direction of vertical and horizontal, and can be used for scanning.

이에 상기 라인제너레이터(120)에서 입사되는 라인 광을 균일 격자체(130)에 의해 소정 각도로 회절되는 균일한 패턴 빔으로 형성되는 면광원으로 변환시킬 수 있다.Accordingly, the line light incident from the line generator 120 may be converted into a planar light source formed as a uniform pattern beam diffracted at a predetermined angle by the uniform grating body 130 .

상술된 구성으로 이루어진 광원부(100)는 파장이 850nm(혹은 850nm±10nm)의 레이저빔을 수평 120도 내외, 수직 70도 내외의 범위로 이루어진 방사각(Field of View, FOV)으로, 방사 거리는 최대 20m 전후로 일정한 좌표 형성이 가능한 2D 패턴의 광을 조사하게 된다.The light source unit 100 having the above configuration transmits a laser beam having a wavelength of 850 nm (or 850 nm ± 10 nm) to a radiation angle (Field of View, FOV) in a range of about 120 degrees horizontally and about 70 degrees vertically, and the radiation distance is the maximum. It is irradiated with light in a 2D pattern that can form constant coordinates around 20m.

또한, 본 발명의 수신부(200)는 상기 광원부(100)에 방사된 2차원 패턴 광을 수신하기 위하여 일정 속도 이상의 프레임 속도(Frame rate)를 구비하며 120도 이상의 넓은 화각을 확보할 수 있는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 중의 어느 하나를 사용한 고성능 컬러 이미지 센서를 구비한 CCTV 카메라 모듈(210)과 3D Depth 카메라의 여러 방식 중 안정적인 실외 동작을 위한 TOF(Time of Flight) 센서를 구비하는 3D ToF(Time of Flight) 카메라 모듈(220)을 포함하여 이루어질 수 있다.In addition, the receiving unit 200 of the present invention is provided with a frame rate of a certain rate or higher in order to receive the two-dimensional pattern light emitted from the light source unit 100, and CCD ( A CCTV camera module 210 having a high-performance color image sensor using either Charge Coupled Device) or CMOS (Complementary Metal-Oxide Semiconductor) and TOF (Time of Flight) for stable outdoor operation among various methods of 3D depth camera It may include a 3D Time of Flight (ToF) camera module 220 having a sensor.

이에 본 발명의 수신부(200)는 외부광원이나 신호에 무관하게 작동되도록 동기화 과정을 거치도록 설계된다. 상기 동기화 과정이란 광원부(100)에 따른 신호만을 받아들이고, 그 외 외부환경에 의한 다른 신호들을 제거하는 자체회로를 구비하여 이루어진다.Accordingly, the receiver 200 of the present invention is designed to go through a synchronization process to operate regardless of an external light source or signal. The synchronization process includes a circuit that receives only the signal according to the light source unit 100 and removes other signals caused by the external environment.

이에 따라 수신부(200)는 2차원 Pixel Matrix로 반사된 레이저 광을 수신하고, 송신된 광과 반사된 광의 위상차를 아날로그로 측정하여 A/D 변환(Converter)를 통해 디지털 값으로 변환하여, 변환된 디지털 값으로 2차원의 깊이(depth)로 계산하는 회로를 포함하여 이루어진다.Accordingly, the receiver 200 receives the laser light reflected by the two-dimensional pixel matrix, measures the phase difference between the transmitted light and the reflected light in analog form, converts it into a digital value through A/D conversion (Converter), and the converted It is made by including a circuit for calculating a two-dimensional depth (depth) as a digital value.

즉 수신부(200)는 광원부(100)에서 송신된 광의 위상(Phase)과 수신된 반사광의 위상차를 보정하는 위상측정기(Phase Meter)에 의하여 위상차를 보정함으로써, 외부환경에 의한 다른 신호들을 제거하여 광원부(100)에서 방사된 신호의 3D ToF (Time of Flight)를 계산하도록 이루어지게 된다.That is, the receiver 200 corrects the phase difference by using a phase meter that corrects the phase difference between the phase of the light transmitted from the light source 100 and the received reflected light, thereby removing other signals caused by the external environment. (100) is made to calculate the 3D ToF (Time of Flight) of the emitted signal.

또한, 상기 제어부(300)는 수신부(200)에서 수신되는 2D 패턴 광의 TOF 영상 이미지와 CCTV 영상 이미지를 동기화 매핑(Mapping)하고 3D 깊이(depth) 데이터를 클러스터링(Clustering;군집화)하고, 영상 이미지의 공간을 분할하여 객체의 영역별 근접 거리를 검출하는 기능을 수행한다.In addition, the control unit 300 synchronizes the TOF image image of the 2D pattern light received from the receiving unit 200 and the CCTV image image, and clusters the 3D depth data, and It divides the space and performs the function of detecting the proximity distance for each area of the object.

이를 위하여 상기 제어부(300)는 가시광 영상 및 3D 객체 영역 동기화(Sync)를 통한 유효 정보 표출 모듈, 3D depth별 영역 분할과 합성(split & merge)를 통한 공간 분할 모듈, 3D 객체별 평균 거리정보 검출 및 영상 합성 모듈, 광원부와 수신부의 TOF(Time of Flight)에 따른 위상 동기화 제어 모듈, TOF 카메라와 CCTV 카메라의 동기화 매핑을 통한 영상처리 모듈 및 모니터 인터페이스 등의 기능 모듈 등을 포함하는 다양한 영상 처리 기능 모듈들을 포함하여 이루어질 수 있다.To this end, the control unit 300 detects an effective information display module through visible light image and 3D object area synchronization (Sync), a space division module through 3D depth area division and synthesis (split & merge), and average distance information for each 3D object. And various image processing functions including an image synthesis module, a phase synchronization control module according to TOF (Time of Flight) of the light source and receiver, an image processing module through synchronization mapping between TOF cameras and CCTV cameras, and functional modules such as a monitor interface, etc. Modules may be included.

이때, 3D depth별 영역 분할과 합성을 통한 공간 분할 모듈은 depth 값이 유사한 경우 세부 영역을 합성(merge) 및 확장하고, depth 값이 차이가 큰 경우에는 세부 영역을 분할(split)하는 기능을 수행한다.At this time, the spatial division module through region division and synthesis by 3D depth performs a function of merging and expanding detailed regions when the depth values are similar, and splitting the detailed regions when the depth values are different. do.

또한, 3D 객체별 평균 거리정보 검출 및 영상 동기화(Sync) 모듈은 객체에 포함된 세부 영역의 3D depth의 평균을 계산하며, 객체 영역 중심점과 멀수록 가중치 감소 방식을 적용하여 수행할 수 있다. In addition, the average distance information detection and image synchronization (Sync) module for each 3D object calculates the average of the 3D depth of the detailed area included in the object, and may be performed by applying a weight reduction method as the distance from the center point of the object area increases.

이러한 상기 제어부(300)는 논리회로, 프로그래밍 로직 컨트롤러, 마이컴, 마이크로프로세서 등에서 선택되는 적어도 어느 하나의 장치로 구현될 수 있으며. 외부 장치와 연동하도록 통신모듈을 구비하거나, 통신모듈에 결합되어 적용될 수 있다.The control unit 300 may be implemented as at least one device selected from a logic circuit, a programming logic controller, a microcomputer, a microprocessor, and the like. A communication module may be provided to interwork with an external device, or may be applied by being coupled to the communication module.

도 4는 본 발명에 따른 2D 패턴 광원부에 의해 조사된 광원을 수신하는 TOF 카메라 모듈의 이미지 예시도이다.4 is an image example diagram of a TOF camera module that receives the light source irradiated by the 2D pattern light source unit according to the present invention.

도 4에서와 같이 TOF 카메라 모듈(220)은 외부환경의 2m거리에서 2D 패턴 광원에 대하여 객체(휴지통)의 3차원 거리정보를 추출하기 위한 영상을 획득할 수 있음을 알 수 있다.As shown in FIG. 4 , it can be seen that the TOF camera module 220 can acquire an image for extracting 3D distance information of an object (trash can) with respect to a 2D pattern light source at a distance of 2 m from the external environment.

또한, 도 5는 본 발명에 따른 3D Depth 데이터 기반 근접 객체 감지의 시연 영상을 보여주는 예시도로서, TOF 카메라 모듈(220)과 CCTV 카메라 모듈(210)에 의한 근접 객체 감지함에 있어서, TOF 카메라 모듈(220)과 CCTV 카메라 모듈(210)의 영상 이미지에 대한 3D depth별 영역 분할과 합성을 통한 공간 분할 및 3D 객체별 평균 거리정보 검출 및 영상 동기화 과정을 통해 근접 객체의 감지를 수행할 수 있음을 보여주고 있다.In addition, FIG. 5 is an exemplary view showing a demonstration image of 3D depth data-based proximity object detection according to the present invention. In detecting a proximity object by the TOF camera module 220 and the CCTV camera module 210, the TOF camera module ( 220) and CCTV camera module 210, it is shown that it is possible to detect a nearby object through spatial division through region division and synthesis by 3D depth and average distance information detection and image synchronization process for each 3D object. are giving

상술한 본 발명에서와 같이 균일 격자체(130)의 구조를 이용함으로써, 일반 렌즈에서 생성되는 초점 거리가 없어지게 되고, 깊은 심도에 따른 광의 방향성 방사로 인하여 측정 거리가 긴 균일한 광 분포를 유지할 수 있으며, 외부광원으로 부터의 영향이 적어 실내외 환경에서의 인식이 향상될 수 있고, 에너지 분산으로 인한 인체의 안정성 확보를 이룰 수 있는 패턴 레이저 기반 3D 정보 센서를 제공할 수 있는 것이다.By using the structure of the uniform grating 130 as in the present invention described above, the focal length generated by a general lens is eliminated, and a uniform light distribution with a long measurement distance is maintained due to the directional radiation of light according to a deep depth. It is possible to provide a pattern laser-based 3D information sensor that can improve recognition in indoor and outdoor environments due to less influence from external light sources, and achieve stability of the human body due to energy dissipation.

전술한 바와 같이 본 발명의 상세한 설명에서는 바람직한 실시예들에 관하여 설명하였지만, 본 발명의 기술분야에서 통상의 지식을 가진 사람이라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.As described above, in the detailed description of the present invention, preferred embodiments have been described, but those of ordinary skill in the art will not depart from the spirit and scope of the present invention as set forth in the following claims. It will be understood that various modifications and variations of the present invention may be made.

100: 광원부 110: 레이저 소스
120: 라인제네레이터 130: 균일 격자체
200: 수신부 210: CCTV 카메라
220: ToF 카메라 300: 제어부 100: light source unit 110: laser source
120: line generator 130: uniform grid
200: receiver 210: CCTV camera
220: ToF camera 300: control unit

Claims (7)

점 광원으로 생성되는 레이저 빔을 조사하는 레이저 소스, 상기 레이저 소스의 일정 거리 선단에서 상기 점 광원을 투과시켜 라인 광으로 변화시키는 라인제너레이터 및 상기 라인제너레이터의 선단에 배치되어 상기 라인 광을 소정 각도로 회절 시키는 균일 격자체로 이루어져 2차원 패턴 광으로 변환시켜 방사하는 광원부와
상기 광원부에 방사된 2차원 패턴 광을 수신하기 위한 CCD 또는 CMOS 센서 중의 어느 하나를 사용하는 CCTV 카메라 모듈과 TOF(Time of Flight) 센서를 구비하는 ToF 카메라 모듈로 이루어진 수신부 및
상기 수신부에서 수신되는 2D 패턴 광의 TOF 영상 이미지와 CCTV 영상 이미지를 동기화 매핑(Mapping)하고 3D 깊이(depth) 기반 객체의 영역별 근접 거리를 검출하는 기능을 수행하는 제어부를 포함하고,
상기 균일 격자체는,
삼각라인 격자 패턴의 방향이 상호 직교하도록 서로 포개어진 이중 구조로 형성되어 수직 및 수평 방향으로 일정하게 방사되는 2D 패턴 광을 형성하고,
상기 제어부는,
상기 3D 깊이(depth) 데이터를 클러스터링(Clustering;군집화)하고, 영상 이미지의 공간을 분할하여 객체의 영역별 근접 거리를 검출하되,
상기 제어부는,
가시광 영상 및 3D 객체 영역 동기화(Sync)를 통한 유효 정보 표출 모듈, 3D depth별 영역 분할과 합성(split & merge)를 통한 공간 분할 모듈, 3D 객체별 평균 거리정보 검출 및 영상 합성 모듈, 광원부와 수신부의 TOF(Time of Flight)에 따른 위상 동기화 제어 모듈, TOF 카메라와 CCTV 카메라의 동기화 매핑을 통한 영상처리 모듈을 포함하여 구성되는 것을 특징으로 하는 패턴 레이저 기반 3D 정보 센서.
A laser source that irradiates a laser beam generated by a point light source, a line generator that transmits the point light source from the tip of the laser source at a predetermined distance to change it into line light, and a line generator that is disposed at the tip of the line generator to direct the line light at a predetermined angle Consists of a uniform grating that diffracts, and a light source that converts and emits two-dimensional pattern light;
A receiver comprising a CCTV camera module using either a CCD or CMOS sensor for receiving the two-dimensional pattern light emitted from the light source and a ToF camera module having a TOF (Time of Flight) sensor;
And a control unit that performs a function of synchronizing the TOF image and the CCTV image image of the 2D pattern light received by the receiver and performing a function of detecting a proximity distance for each area of a 3D depth-based object,
The uniform lattice body,
It is formed in a double structure superimposed on each other so that the directions of the triangular line grid pattern are mutually orthogonal to form a 2D pattern light that is constantly radiated in vertical and horizontal directions,
The control unit is
The 3D depth data is clustered (clustered) and the space of the video image is divided to detect the proximity distance for each area of the object,
The control unit is
Effective information display module through visible light image and 3D object area synchronization (Sync), space division module through 3D depth area division and synthesis (split & merge), average distance information detection and image synthesis module for each 3D object, light source and receiver A pattern laser-based 3D information sensor, characterized in that it comprises a phase synchronization control module according to the TOF (Time of Flight), and an image processing module through synchronization mapping between the TOF camera and the CCTV camera.
 청구항 1에 있어서,
상기 광원부의 균일 격자체는 폴리카보네이트(Polycarbonate, PC) 또는 PET(polyethylene terephthalate) 소재로 이루어진 투명 필름 상에 일정 피치와 일정 경사각을 갖는 삼각라인 패턴 형태의 돌출부로 이루어진 격자 구조(grating)가 형성되어 이루어진 것을 특징으로 하는 패턴 레이저 기반 3D 정보 센서.The method according to claim 1,
The uniform grating body of the light source part has a grating structure composed of protrusions in the form of a triangular line pattern having a predetermined pitch and a predetermined inclination angle on a transparent film made of a polycarbonate (PC) or PET (polyethylene terephthalate) material. Pattern laser-based 3D information sensor, characterized in that made. 청구항 2에 있어서,
상기 균일 격자체의 삼각라인 패턴의 피치 간격은 100um이고, 경사각도가 35도 내지 40도로 형성되는 것을 특징으로 하는 패턴 레이저 기반 3D 정보 센서.
3. The method according to claim 2,
A pattern laser-based 3D information sensor, characterized in that the pitch interval of the triangular line pattern of the uniform grid is 100 μm, and the inclination angle is 35 to 40 degrees.
 삭제delete 청구항 1에 있어서,
상기 수신부는 수신되는 2D 패턴 광과 광원부에서 방사된 2D 패턴 광과의 위상차를 측정하여 보정하기 위한 위상측정기(Phase Meter)를 더 포함하는 것을 특징으로 하는 패턴 레이저 기반 3D 정보 센서.
The method according to claim 1,
The receiving unit is a pattern laser-based 3D information sensor, characterized in that it further comprises a phase meter (Phase Meter) for measuring and correcting the phase difference between the received 2D pattern light and the 2D pattern light emitted from the light source unit.
 청구항 1에 있어서,
상기 제어부는 수신되는 2D 패턴 광의 영상 이미지에서 깊이 값의 평균을 계산할 때, 객체 영역 중심점과 멀수록 가중치 감소 방식을 적용하는 것을 특징으로 하는 패턴 레이저 기반 3D 정보 센서.
The method according to claim 1,
The control unit is a pattern laser-based 3D information sensor, characterized in that when calculating the average of the depth values in the video image of the received 2D pattern light, the pattern laser-based 3D information sensor, characterized in that it applies a weight reduction method as the distance from the center point of the object region.
 청구항 1에 있어서,
상기 제어부는 수신되는 2D 패턴 광의 영상 이미지의 일정 영역에 대하여 깊이 값이 일정 범위 내에 있는 경우 주변 영역을 합성(merge) 및 확장하고, 깊이 값이 차이가 일정 범위 이상 큰 경우에는 세부 영역을 분할(split)하는 것을 특징으로 하는 패턴 레이저 기반 3D 정보 센서.
The method according to claim 1,
The control unit merges and expands the peripheral region when the depth value is within a certain range for a certain area of the video image of the received 2D pattern light, and divides the detailed area when the difference in the depth value is greater than a certain range ( pattern laser-based 3D information sensor, characterized in that split).
KR1020200077563A 2020-06-25 2020-06-25 Pattern laser based 3d information sensor KR102420954B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200077563A KR102420954B1 (en) 2020-06-25 2020-06-25 Pattern laser based 3d information sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200077563A KR102420954B1 (en) 2020-06-25 2020-06-25 Pattern laser based 3d information sensor

Publications (2)

Publication Number Publication Date
KR20220000430A KR20220000430A (en) 2022-01-04
KR102420954B1 true KR102420954B1 (en) 2022-08-10

Family

ID=79342372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200077563A KR102420954B1 (en) 2020-06-25 2020-06-25 Pattern laser based 3d information sensor

Country Status (1)

Country Link
KR (1) KR102420954B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2680228B1 (en) * 2012-06-25 2014-11-26 Softkinetic Software Improvements in or relating to three dimensional close interactions.
KR101527002B1 (en) * 2013-11-18 2015-06-09 주식회사 유알테크놀로지 Laser beam generator
KR102596053B1 (en) * 2018-08-27 2023-11-01 엘지이노텍 주식회사 Image processing apparatus and image processing method

Also Published As

Publication number Publication date
KR20220000430A (en) 2022-01-04

Similar Documents

Publication Publication Date Title
JP4405155B2 (en) Image analysis system
JP6387407B2 (en) Perimeter detection system
US9967545B2 (en) System and method of acquiring three-dimensional coordinates using multiple coordinate measurment devices
Hussmann et al. A performance review of 3D TOF vision systems in comparison to stereo vision systems
US8803967B2 (en) Time of flight camera with rectangular field of illumination
US8767186B2 (en) Object detection system
CN111344647A (en) Intelligent laser radar system with low-latency motion planning update
CN106772431A (en) A kind of Depth Information Acquistion devices and methods therefor of combination TOF technologies and binocular vision
JP2020003236A (en) Distance measurement device, moving body, distance measurement method, and distance measurement system
US20120242829A1 (en) Apparatus for obtaining 3-dimensional content
US11418695B2 (en) Digital imaging system including plenoptic optical device and image data processing method for vehicle obstacle and gesture detection
KR20050099623A (en) Device for a motor vehicle used for the three-dimensional detection of a scene inside or outside said motor vehicle
TW294778B (en) Scanning optical rangefinder
US7495746B2 (en) Optical method and device for measuring a distance from an obstacle
KR20180058068A (en) Mirror rotational optical structure for 360˚ multichannel scanning and 3d lidar system comprising the same
KR20180015093A (en) System and method for stereo triangulation
KR101545971B1 (en) System for sensing complex image
JP2021517635A (en) Road surface monitoring systems and methods using infrared rays, automobiles
GB2374228A (en) A collision warning device
CN112255639B (en) Depth perception sensor and depth perception sensing module for region of interest
KR102420954B1 (en) Pattern laser based 3d information sensor
KR101868293B1 (en) Apparatus for Providing Vehicle LIDAR
CN213091888U (en) Depth measurement system and electronic device
CN115720633A (en) Device and method for detecting the surroundings of a vehicle
CN209400691U (en) A kind of laser radar based on line laser

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right