KR20220037922A - 3d image acquisition device - Google Patents

3d image acquisition device Download PDF

Info

Publication number
KR20220037922A
KR20220037922A KR1020200183820A KR20200183820A KR20220037922A KR 20220037922 A KR20220037922 A KR 20220037922A KR 1020200183820 A KR1020200183820 A KR 1020200183820A KR 20200183820 A KR20200183820 A KR 20200183820A KR 20220037922 A KR20220037922 A KR 20220037922A
Authority
KR
South Korea
Prior art keywords
image
light
lens
acquisition device
target
Prior art date
Application number
KR1020200183820A
Other languages
Korean (ko)
Other versions
KR102634094B1 (en
Inventor
문명일
Original Assignee
문명일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 문명일 filed Critical 문명일
Priority to JP2023518452A priority Critical patent/JP2023543443A/en
Priority to US18/044,629 priority patent/US20230341557A1/en
Priority to CN202180062827.3A priority patent/CN116235491A/en
Priority to EP21869603.7A priority patent/EP4199509A1/en
Priority to PCT/KR2021/011988 priority patent/WO2022059981A1/en
Publication of KR20220037922A publication Critical patent/KR20220037922A/en
Application granted granted Critical
Publication of KR102634094B1 publication Critical patent/KR102634094B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B60R25/04Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens operating on the propulsion system, e.g. engine or drive motor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1004Alarm systems characterised by the type of sensor, e.g. current sensing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R2025/1013Alarm systems characterised by the type of warning signal, e.g. visual, audible

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

The present invention relates to a 3D image acquisition device. The 3D image acquisition device includes a VCSEL-based light emitting module that emits surface light from the inside of a main housing, a beam splitter, a TOF receiving sensor, and an RGB image sensor that can detect a color image. So, it can measure the 3D spatial structure of a target such as surrounding terrain and a subject with a simple motion.

Description

3차원 이미지 획득 장치{3D IMAGE ACQUISITION DEVICE}3D image acquisition device {3D IMAGE ACQUISITION DEVICE}

본 발명은 3차원 이미지 획득 장치에 관한 것으로서, 더욱 상세하게는 주변 지형 및 피사체 등의 목표물에 대한 이미지를 획득하고 이에 의한 3차원 공간 구조를 측정할 수 있는 3차원 이미지 획득 장치에 관한 것이다.The present invention relates to a three-dimensional image acquisition apparatus, and more particularly, to a three-dimensional image acquisition apparatus capable of acquiring an image of a target, such as a surrounding terrain and a subject, and measuring a three-dimensional spatial structure thereby.

종래의 3차원 영상획득 장치로 두 개의 카메라를 사용하여 대상 물체의 대응하는 화소와의 거리 정보를 얻는 수동형 스테레오 비전과 이 스테레오 비전의 카메라 하나를 프로젝터로 대체한 능동형 스테레오 비전과 같은 방식을 적용하고 있다. 그러나 수동형 스테레오 비전은 고속의 장점을 가지고 있으나, 단조로운 환경이나 주위의 조명으로 인해 심각한 영향을 받기 때문에 정확한 3차원 영상을 얻는데 한계가 있으며, 또한, 가시광선 기반의 구조 광(structural)을 사용한 능동형 스테레오 비전은 어느 정도 향상된 3차원 영상을 제공하지만, 가시광선 패턴으로 인해 가정용 로봇 등에 사용할 경우, 사람의 눈에 거슬리게 될 수 있다.As a conventional 3D image acquisition device, the same method as passive stereo vision, which uses two cameras to obtain distance information from the corresponding pixel of the target object, and active stereo vision, in which one camera of this stereo vision is replaced with a projector, is applied. there is. However, passive stereo vision has the advantage of high speed, but has limitations in obtaining accurate 3D images because it is seriously affected by a monotonous environment or ambient lighting. Also, active stereo vision using visible light-based structural light Vision provides a somewhat improved three-dimensional image, but due to the visible light pattern, when used in household robots, etc., it can be unobtrusive to the human eye.

이에 최근에는 TOF(Time Of Flight) 방식으로서, 광을 인식 대상체에 조사하여 발광시간과 인식 대상체로부터 반사되는 광의 수광시간 사이의 시간적 차이를 이용함으로써, 카메라와 인식 대상체와의 거리 또는 깊이(depth)를 측정하고 이로부터 3차원 영상을 획득하는 방식이 제공되고 있다.Accordingly, in recent years, as a TOF (Time Of Flight) method, the distance or depth between the camera and the recognition object is measured by irradiating light to the object to be recognized and using the temporal difference between the emission time and the receiving time of the light reflected from the object to be recognized. A method of measuring and obtaining a 3D image is provided.

또한, 3차원 영상획득의 종래의 기술로서 대한민국 공개특허 10-2005-0026949(2005.03.16.)에서는 적외선 플래시 방식의 능동형 3차원 거리 영상 측정 장치가 공지되어 있다. 이에 상기 기술은 플래시 방식의 적외선 광원을 사용하고, 다양한 광 조사 패턴을 이용하여 실시간 거리 측정을 수행하기 위해 DMD(Digital Micromirror Device) 소자를 사용하는 3차원 거리 영상 측정 장치에 관한 것으로서, 본 발명에서와 같이 어레이 형태로 모듈화되어 일정 시간 간격의 펄스 패턴으로 레이저광을 면 발광시키는 빅셀모듈(VCSEL)과 빔스플리터를 사용하여 수신되는 펄스 패턴의 레이저광을 수광하고 시간 타이밍에 따른 위상차를 측정하는 TOF 수신 방식과 컬러 이미지 영상을 결합하여 3차원 공간 구조를 측정할 수 있는 3차원 이미지 획득 장치와는 차이가 있다.In addition, as a conventional technique for obtaining a three-dimensional image, an infrared flash type active three-dimensional distance image measuring apparatus is known in Korean Patent Laid-Open Publication No. 10-2005-0026949 (March 16, 2005). Accordingly, the technology relates to a three-dimensional distance image measuring device using a flash type infrared light source and using a DMD (Digital Micromirror Device) device to perform real-time distance measurement using various light irradiation patterns, and in the present invention A TOF that receives the laser light of the received pulse pattern and measures the phase difference according to the time timing using a VICSEL module (VCSEL), which is modularized in an array form and emits laser light in a pulse pattern at regular intervals, and a beam splitter. It is different from a 3D image acquisition device that can measure a 3D spatial structure by combining a reception method and a color image image.

본 발명은 전술한 종래기술의 문제점을 해결하기 위해 도출된 것으로, 그 목적은 본체하우징의 내측에서 펄스 패턴의 레이저를 면 발광으로 발신하는 빅셀(VCSEL)모듈과 적외선과 가시광을 분리 굴절시키는 빔스플리터 및 TOF 수신센서와 영상 이미지센서를 갖는 구조의 장치를 제공하여, TOF 방식의 깊이 정보를 측정하면서도 일반 컬러 영상을 추가로 결합하여 목표물에 대한 3차원 공간 구조를 더욱 정밀하게 측정할 수 있는 3차원 이미지 획득 장치를 제공하고자 하는 것이다.The present invention was derived to solve the problems of the prior art described above, and its purpose is a VCSEL (VCSEL) module that emits a laser in a pulse pattern from the inside of the main housing as surface emission, and a beam splitter that separates and refracts infrared and visible light. And by providing a device having a structure having a TOF receiving sensor and an image image sensor, while measuring depth information of the TOF method, a three-dimensional (3D) spatial structure of a target can be measured more precisely by additionally combining a general color image An object of the present invention is to provide an image acquisition device.

또한, 본 발명의 다른 목적은 획득되는 3차원 공간 구조의 영상을 네트워크를 통하여 연동되는 스마트폰이나 컴퓨팅 장치에 출력될 수 있도록 하는 3차원 이미지 획득 장치를 제공하고자 하는 것이다.Another object of the present invention is to provide a three-dimensional image acquisition device capable of outputting an obtained image of a three-dimensional spatial structure to a smart phone or a computing device that is linked through a network.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 3차원 이미지 획득 장치는 본체하우징, 상기 본체하우징의 내측 상단에 장착되어 광의 발신 및 수신 타이밍을 제어하고, 감지된 신호를 외부의 장치에 전달하기 위한 제어부 기판 및 상기 제어부 기판에 결합되어 적외선 레이저의 발신과 입사되는 외부광의 수신을 위한 광 송수신 유닛이 배치되고, 상기 광 송수신 유닛은 다수의 도트(dot) 어레이 형태로 모듈화되어 펄스 패턴의 적외선 레이저를 면 발광으로 발신하는 빅셀모듈, 목표물에 반사되어 돌아오는 적외선은 수평으로 투과시키고, 입사되는 가시광은 수직으로 굴절시키도록 이루어진 빔스플리터, 상기 빔스플리터로 뒷단으로 투과되는 적외선을 수광하여 적외선 영역에서의 구조 영상을 생성하는 TOF 수신센서, 상기 빔스플리터의 하부로 굴절되는 가시광을 수광하여 목표물의 컬러 영상을 생성하는 이미지센서 및 상기 빔스플리터의 전단에서 적어도 두 개 이상의 렌즈 엘리먼트(element)로 구성되는 광학 렌즈계를 구비하여 이루어지는 것을 특징으로 할 수 있다.A three-dimensional image acquisition device according to an aspect of the present invention for solving the above technical problem is mounted on a main housing, an inner upper portion of the main housing to control the timing of transmission and reception of light, and transmit the sensed signal to an external device A control substrate for performing the function and a light transmission/reception unit coupled to the control substrate for transmission of infrared laser and reception of incident external light are disposed. A Bixel module that emits laser as surface light emission, a beam splitter configured to horizontally transmit infrared rays reflected back to a target and refract incident visible light vertically, and receive infrared rays transmitted through the beam splitter to the rear end of the infrared region A TOF receiving sensor that generates a structural image in the beam splitter, an image sensor that receives visible light refracted to the lower part of the beam splitter to generate a color image of a target, and at least two or more lens elements at the front end of the beam splitter It may be characterized in that it is provided with an optical lens system.

또한, 본 발명의 상기 광학 렌즈계는 각각의 렌즈 엘리먼트마다 입사되는 광의 방향에 대하여 빛을 제어할 수 있도록 일정 형태의 렌즈 조립체(assembly)로 이루어질 수 있다.In addition, the optical lens system of the present invention may be formed of a lens assembly of a certain shape so as to control the light with respect to the direction of the incident light for each lens element.

또한, 본 발명의 상기 광학 렌즈계는 상기 TOF 수신센서 및 이미지센서에 맺히는 초점의 위치에서 상이 또렷하게 맺히도록 굴절률이 조정될 수 있다.In addition, in the optical lens system of the present invention, the refractive index may be adjusted so that the image is clearly formed at the position of the focal point focused on the TOF receiving sensor and the image sensor.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 3차원 이미지 획득 장치는 일 측면으로 펄스 레이저광을 외부로 방출하며 외부에서 들어오는 광의 투과를 위한 광투과성 윈도우가 배치되는 본체하우징, 상기 본체하우징 내부의 하단에서 결합되어 장착되는 제어부 기판 및 상기 제어부 기판의 상부로 결합되어 적외선 레이저의 발신과 입사되는 외부광의 수신을 위한 광 송수신 유닛이 배치되고, 상기 광 송수신 유닛은 다수의 도트(dot) 어레이 형태로 모듈화되어 펄스 패턴의 적외선 레이저를 면 발광으로 발신하는 빅셀모듈, 목표물에 반사되어 돌아오는 적외선 레이저는 수평으로 투과시키고, 입사되는 가시광은 수직으로 굴절시키도록 이루어진 빔스플리터, 상기 빔스플리터의 뒷단으로 투과되는 상기 적외선 레이저를 수광하여 적외선 영역에서의 구조 영상을 생성하는 TOF 수신센서 및 상기 빔스플리터의 하부로 굴절되는 가시광의 수광을 위하여 다수의 렌즈 요소로 구성되는 카메라렌즈와 상기 카메라렌즈를 광축 방향으로 진퇴 운동시켜 초점조절을 가능하게 하는 렌즈구동부와 목표물의 컬러 영상을 생성하는 이미지센서를 포함하는 카메라 모듈로 이루어지는 것을 특징으로 할 수 있다.A three-dimensional image acquisition device according to another aspect of the present invention for solving the above technical problem is a main housing that emits pulsed laser light to the outside on one side and a light-transmitting window for transmitting light coming from the outside is disposed, the main housing A control substrate coupled and mounted from the bottom of the inside and an optical transceiving unit coupled to the upper portion of the control substrate for emitting infrared laser and receiving incident external light are disposed, and the optical transceiving unit includes a plurality of dot arrays. A Bixel module that is modularized in the form of a pulse pattern and emits surface light emission of an infrared laser beam, a beam splitter configured to horizontally transmit an infrared laser reflected back from a target and refract incident visible light vertically, and the rear end of the beam splitter A TOF receiving sensor for generating a structural image in the infrared region by receiving the infrared laser transmitted through It may be characterized in that it comprises a camera module including a lens driving unit for enabling focus adjustment by moving forward and backward in the direction and an image sensor for generating a color image of a target.

또한, 본 발명의 상기 광 송수신 유닛은 상기 윈도우 방향으로 위치되는 전면렌즈가 배치되고, 상기 전면렌즈의 일부분에서 상기 빅셀모듈에서 방출되는 적외선 레이저를 외부로 발산시키기 위한 필터렌즈가 상기 전면렌즈의 일정 위치에서 삽입되는 구조 또는 외측에 추가로 장착되어 이루어지는 특징이 있다.In addition, in the light transmitting/receiving unit of the present invention, a front lens positioned in the window direction is disposed, and a filter lens for emitting the infrared laser emitted from the vixel module in a part of the front lens to the outside is a constant of the front lens. It has a structure that is inserted at the position or is characterized by being additionally mounted on the outside.

또한, 본 발명의 상기 필터렌즈는 상기 빅셀모듈의 적외선 레이저 광원에 사용된 파장만 통과시키기 위한 대역통과 필터인 특징이 있다.In addition, the filter lens of the present invention is characterized in that it is a bandpass filter for passing only the wavelength used in the infrared laser light source of the vixel module.

또한, 본 발명의 상기 제어부 기판은 상기 빅셀모듈, TOF 수신센서 및 카메라 모듈과 연동하여 레이저의 발신 및 수신 동작을 제어하는 제어모듈과, 상기 TOF 수신센서에서 수광된 목표물의 구조 영상과 상기 이미지센서에서 수광된 목표물의 컬러 영상 데이터를 결합하여 목표물에 대한 3차원 공간 구조를 측정하는 3D 이미지처리모듈을 포함하는 특징이 있다.In addition, the control board of the present invention includes a control module for controlling the sending and receiving operations of the laser in conjunction with the big cell module, the TOF receiving sensor and the camera module, the structural image of the target received by the TOF receiving sensor, and the image sensor It has a feature of including a 3D image processing module for measuring the three-dimensional spatial structure of the target by combining the color image data of the target received from the.

또한, 본 발명의 상기 3D 이미지처리모듈은 적외선 구조 영상의 깊이 정보를 계산하고, RGB 컬러 영상과의 텍스쳐 성분의 대비를 비교하여 영상의 선명도가 높은 영상값을 선택하는 알고리즘을 사용하여 3차원 공간 구조를 측정하는 특징이 있다.In addition, the 3D image processing module of the present invention calculates the depth information of the infrared structure image, compares the contrast of the texture component with the RGB color image, and uses an algorithm to select an image value with high image clarity in a three-dimensional space There is a characteristic that measures the structure.

또한, 본 발명의 상기 제어부 기판은 상기 제어모듈이 외부 장치와 통신하기 위한 WiFi 또는 LAN 연결 방식을 제공하는 통신모듈을 더 포함하는 특징이 있다.In addition, the control board of the present invention is characterized in that it further includes a communication module that provides a WiFi or LAN connection method for the control module to communicate with an external device.

또한, 상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 3차원 이미지 획득 장치는 일 측면으로 펄스 레이저광을 외부로 방출하며 외부에서 들어오는 광의 투과를 위한 광투과성 윈도우가 배치되는 본체하우징, 상기 본체하우징 내부의 하단에서 결합되어 장착되어 광의 발신 및 수신 타이밍을 제어하고, 감지된 신호를 외부의 장치에 전달하기 위한 제어부 기판 및 상기 제어부 기판의 상부로 결합되어 적외선 레이저 광의 발신과 입사되는 외부광의 수신을 위한 광 송수신 유닛이 배치되고, 상기 광 송수신 유닛은 다수의 도트(dot) 어레이 형태로 모듈화되어 펄스 패턴의 적외선 레이저를 면 발광으로 발신하는 빅셀모듈, 목표물에 반사되어 돌아오는 적외선 레이저는 수평으로 투과시키고, 입사되는 가시광은 수직으로 굴절시키도록 이루어진 빔스플리터, 상기 빔스플리터로 투과되는 상기 적외선 레이저를 수광하여 적외선 영역에서의 구조 영상을 생성하는 TOF 수신센서 및 상기 빔스플리터의 하부로 굴절되는 가시광을 수광하여 목표물의 컬러 영상을 생성하는 이미지센서를 포함하여 이루어지며, 상기 제어부 기판은 상기 TOF 수신센서에서 수광된 목표물의 구조 영상과 상기 이미지센서에서 수광된 목표물의 컬러 영상 데이터를 결합하여 목표물에 대한 3차원 공간 구조를 측정하는 3D 이미지처리모듈을 포함하는 것을 특징으로 할 수 있다.In addition, a three-dimensional image acquisition device according to another aspect of the present invention for solving the above technical problem is a main housing in which a light-transmitting window is disposed for emitting pulsed laser light to the outside on one side and transmitting light coming from the outside; It is coupled and mounted at the lower end of the main body housing to control the timing of transmission and reception of light, and a control board for transmitting a sensed signal to an external device and an external coupled to the upper portion of the control board to emit and incident infrared laser light A light transmitting/receiving unit for receiving light is disposed, and the light transmitting/receiving unit is modularized in the form of a plurality of dot arrays to emit a pulse pattern infrared laser as a surface light emission module, and the infrared laser reflected back to the target is A beam splitter that transmits horizontally and refracts incident visible light vertically, a TOF receiving sensor that receives the infrared laser transmitted through the beam splitter to generate a structural image in the infrared region, and refracts downward of the beam splitter and an image sensor for generating a color image of the target by receiving visible light, wherein the control board combines the structural image of the target received by the TOF receiving sensor and the color image data of the target received by the image sensor. It may be characterized in that it comprises a 3D image processing module for measuring the three-dimensional spatial structure of the target.

전술한 3차원 이미지 획득 장치의 특징적 구성에 따라, 본 발명은 TOF 방식으로 피사체에 대한 거리 및 깊이 정보를 측정하면서도 컬러영상을 감지할 수 있는 이미지센서를 더 구비하여 정보의 해상도를 높이며, 간단한 동작만으로도 주변 지형 및 피사체 등의 목표물에 대한 정밀한 3차원 공간 구조를 측정할 수 있는 효과가 있다.According to the characteristic configuration of the three-dimensional image acquisition device described above, the present invention further includes an image sensor capable of detecting a color image while measuring distance and depth information on a subject in a TOF method to increase the resolution of information and to perform a simple operation It has the effect of being able to measure the precise three-dimensional spatial structure of the target such as the surrounding terrain and the subject.

또한, 본 발명의 3차원 이미지 획득 장치에서 감지한 목표물의 공간 구조 및 주변 지형 등의 정보 데이터를 외부 장치에 전송할 수 있어 네트워크상에서 데이터를 재가공할 수 있는 장점이 있다.In addition, since information data such as the spatial structure and surrounding topography of the target sensed by the three-dimensional image acquisition device of the present invention can be transmitted to an external device, there is an advantage in that the data can be reprocessed over a network.

또한, 본 발명의 3차원 이미지 획득 장치는 광 경로 상의 전단 렌즈를 구비하되, 하나의 단일 렌즈로서도 광 수신을 위한 광학 렌즈의 기능을 수행할 수 있으며, 입사되는 광을 제어하기 위한 일정 형태의 렌즈 엘리먼트들을 복합적으로 결합한 렌즈 조립체(assembly)로서의 광학 렌즈계를 구비하여, 광 경로 상에서 광학 성능의 향상과 제품의 소형화 설계가 가능하도록 하는 효과가 있다.In addition, the three-dimensional image acquisition device of the present invention includes a front-end lens on the optical path, and can perform the function of an optical lens for light reception even as a single lens, and a lens of a certain type for controlling incident light By providing an optical lens system as a lens assembly in which elements are complexly combined, there is an effect of improving optical performance on an optical path and enabling a miniaturized design of a product.

또한, 본 발명의 3차원 이미지 획득 장치는 일반적으로 차량의 라이다 장치의 성능 향상을 위해 적용될 수 있을 뿐만 아니라, 로봇, 선박, 헬기, 드론 등 이동이 가능한 이동 장치에 적용이 가능하고, 아울러 건물, 기둥, 탑 등의 이동이 제한된 고정 장치에도 제한 없이 적용될 수 있는 장점이 있다.In addition, the three-dimensional image acquisition apparatus of the present invention can be generally applied to improve the performance of a vehicle's lidar device, and can also be applied to a mobile device that can move, such as a robot, a ship, a helicopter, a drone, and a building. There is an advantage that can be applied without limitation to fixed devices with limited movement such as , pillars, towers, etc.

도 1은 본 발명의 일실시예에 따른 3차원 이미지 획득 장치의 본체 하우징을 보여주는 외부 사시도이고,
도 2는 도 1에 따른 3차원 이미지 획득 장치의 내부 구조를 보여주는 예시도이고,
도 3a는 본 발명의 일실시예에 따른 광 송수신 유닛의 구조를 보여주는 예시도이고,
도 3b는 본 발명의 다른 실시예에 따른 도 3a의 광 송수신 유닛의 구조에서 판형 빔스플리터를 보여주는 예시도이다.
도 4는 본 발명에 따른 3차원 이미지 획득 장치의 구성을 보여주는 블록도이다.
도 5a는 본 발명의 일실시예에 따른 사각 박스 형태의 3차원 이미지 획득 장치의 면 발광을 예시하는 도면이다.
도 5b는 본 발명의 다른 실시예에 따른 원통 형태의 3차원 이미지 획득 장치의 면 발광을 예시하는 도면이다.
도 6은 본 발명의 일실시예에 따른 광 송수신 유닛에서의 전체적인 광 송수신 유닛의 구조 및 경로의 설명을 위한 예시도이다.
도 7은 본 발명의 다른 실시예에 따른 광 송수신 유닛의 구조 및 광 송수신 경로의 설명을 위한 예시도이다.
도 8은 광학 렌즈계가 구비된 3차원 이미지 획득 장치의 면 발광을 예시하는 도면이다.
도 9는 도 8에 따른 3차원 이미지 획득 장치의 내부 구조를 보여주는 예시도이다.
도 10은 도 8에 따른 광학 렌즈계가 구비된 3차원 이미지 획득 장치의 광 송수신 경로의 설명을 위한 예시도이다.
1 is an external perspective view showing a body housing of a three-dimensional image acquisition device according to an embodiment of the present invention;
Figure 2 is an exemplary view showing the internal structure of the three-dimensional image acquisition device according to Figure 1,
3A is an exemplary diagram showing the structure of an optical transmission/reception unit according to an embodiment of the present invention;
3B is an exemplary diagram illustrating a plate-shaped beam splitter in the structure of the optical transceiving unit of FIG. 3A according to another embodiment of the present invention.
4 is a block diagram showing the configuration of a three-dimensional image acquisition device according to the present invention.
5A is a diagram illustrating surface emission of a three-dimensional image acquisition device having a rectangular box shape according to an embodiment of the present invention.
5B is a diagram illustrating surface emission of a cylindrical 3D image acquisition device according to another embodiment of the present invention.
6 is an exemplary diagram for explaining the structure and path of the entire optical transmission/reception unit in the optical transmission/reception unit according to an embodiment of the present invention.
7 is an exemplary diagram for explaining the structure of an optical transmission/reception unit and an optical transmission/reception path according to another embodiment of the present invention.
8 is a diagram illustrating surface emission of a three-dimensional image acquisition device equipped with an optical lens system.
9 is an exemplary view showing an internal structure of the 3D image acquisition device according to FIG. 8 .
FIG. 10 is an exemplary diagram for explaining a light transmission/reception path of the 3D image acquisition device provided with the optical lens system according to FIG. 8 .

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present specification and claims should not be construed as being limited to their ordinary or dictionary meanings, and the inventor may properly define the concept of the term in order to best describe his invention. Based on the principle that there is, it should be interpreted as meaning and concept consistent with the technical idea of the present invention.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the configuration shown in the embodiments and drawings described in this specification is only the most preferred embodiment of the present invention and does not represent all of the technical idea of the present invention, so various equivalents that can be substituted for them at the time of the present application It should be understood that there may be water and variations.

이하 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 아래와 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 3차원 이미지 획득 장치의 본체 하우징을 보여주는 외부 사시도이다.1 is an external perspective view showing a body housing of a three-dimensional image acquisition device according to an embodiment of the present invention.

도 1에서와 같이 본 발명의 3차원 이미지 획득 장치는 밀폐된 내부 공간을 가지는 본체하우징(100)과, 본체하우징(100)의 일 측면에서 면 발광의 펄스 레이저광을 외부로 방출하며 외부에서 들어오는 광의 투과를 용이하게 하는 윈도우(110)가 배치된다. 상기 윈도우(110)는 3차원 이미지 획득 장치의 내외부로 광 투과를 용이하게 하고 본체하우징(100)을 보호하기 위한 광투과성 부재로 이루어질 수 있다.As shown in FIG. 1 , the three-dimensional image acquisition device of the present invention emits a surface-emission pulsed laser light from one side of the main housing 100 and the main housing 100 having an enclosed inner space to the outside and enters from the outside. A window 110 that facilitates light transmission is disposed. The window 110 may be formed of a light-transmitting member for facilitating light transmission to and from the 3D image acquisition device and protecting the body housing 100 .

이에 본 발명의 본체하우징(100)은 도 1에서와 같이 일정 높이의 사각 박스 형태로 이루어질 수 있으나, 이에 한정하지는 않으며, 도 5b에서와 같이 원통 형상으로 이루어진 하우징에서도 적용될 수 있다.Accordingly, the main housing 100 of the present invention may be formed in a rectangular box shape of a certain height as shown in FIG. 1 , but is not limited thereto, and may also be applied to a housing having a cylindrical shape as shown in FIG. 5B .

또한, 도 2는 도 1에 의한 3차원 이미지 획득 장치의 내부 구조를 보여주는 예시도이고, 도 3a는 본 발명의 일실시예에 따른 광 송수신 유닛의 구조를 보여주는 예시도이고, 도 3b는 본 발명의 다른 실시예에 따른 도 3a의 광 송수신 유닛의 구조에서 판형 빔스플리터를 보여주는 예시도이며, 도 4는 본 발명의 일실시예에 따른 3차원 이미지 획득 장치의 구성을 보여주는 블록도이다.In addition, FIG. 2 is an exemplary view showing the internal structure of the 3D image acquisition device according to FIG. 1 , FIG. 3A is an exemplary view showing the structure of an optical transmitting/receiving unit according to an embodiment of the present invention, and FIG. 3B is the present invention It is an exemplary view showing a plate-shaped beam splitter in the structure of the optical transmission/reception unit of FIG. 3A according to another embodiment of the present invention, and FIG. 4 is a block diagram showing the configuration of a three-dimensional image acquisition device according to an embodiment of the present invention.

도시에서와 같이 본 발명의 3차원 이미지 획득 장치는 본체하우징(100)의 내부의 하단에서 결합되어 장착되는 제어부 기판(300), 상기 제어부 기판(300)의 상부에서 광의 송신과 수신을 위한 광 송수신 유닛(200)이 배치되어 이루어지고, 상기 광 송수신 유닛(200)은 전면렌즈(210), 빅셀모듈(220), 빔스플리터(240), TOF 수신센서(230), 카메라 모듈(250)을 포함하여 이루어진다.As shown in the figure, the three-dimensional image acquisition device of the present invention includes a control board 300 that is coupled and mounted at the lower end of the inside of the main housing 100 , and optical transmission and reception for transmitting and receiving light from the upper portion of the control board 300 . The unit 200 is arranged and the optical transmission/reception unit 200 includes a front lens 210 , a vixel module 220 , a beam splitter 240 , a TOF reception sensor 230 , and a camera module 250 . is done by

또한, 광 송수신 유닛(200)은 유닛케이스(201)에 의하여 감싸지는 형태로 보호되도록 이루어지는데, 이에 유닛케이스(201)의 전단에는 본체하우징(100)의 윈도우(110)의 방향으로 위치되는 전면렌즈(210)이 위치되고, 상기 전면렌즈(210)의 뒷단에서는 외부로부터 입사되는 광을 적외선과 가시광의 파장대로 분리하여 굴절시키는 빔스플리터(Beam splitter)(240)가 구비되며, 상기 빔스플리터(240)의 수평방향 뒷단에서 적외선 파장 대를 감지하는 TOF 수신센서(230)가 구비된다.In addition, the optical transmission/reception unit 200 is formed to be protected in a form wrapped by the unit case 201 , and thus the front end of the unit case 201 has a front surface positioned in the direction of the window 110 of the main housing 100 . A lens 210 is positioned, and at the rear end of the front lens 210, a beam splitter 240 that separates and refracts light incident from the outside into wavelength bands of infrared and visible light is provided, and the beam splitter ( A TOF receiving sensor 230 for detecting an infrared wavelength band is provided at the rear end of the horizontal direction of 240).

본 발명의 상기 빔스플리터(240)는 도 3a에서와 같이 삼각 프리즘 형태로 이루어져 입사면과 출사면을 형성하거나, 또는 도 3b와 같이 판(plate)형 빔스플리터를 사용하여 일정 기울기의 비스듬한 입사면과 출사면을 구현되도록 할 수 있다.The beam splitter 240 of the present invention is formed in the form of a triangular prism as in FIG. 3A to form an incident surface and an exit surface, or an oblique incident surface of a certain inclination using a plate-type beam splitter as shown in FIG. 3B . and the exit surface can be realized.

또한, 상기 빔스플리터(240)가 수직의 하방으로 굴절시키는 가시광 파장 대의 수광을 위하여, 상기 빔스플리터(240)의 하부에는 다수의 렌즈 요소로 구성되는 카메라렌즈(251)와 상기 카메라렌즈(251)를 광축 방향으로 진퇴 운동하여 초점조절을 가능하게 하는 렌즈구동부(252) 및 상기 렌즈구동부(252)의 하부에서 카메라렌즈(251)로 입사되는 가시광 파장 대의 RGB 광 신호를 감지하기 위한 이미지센서(253)로 이루어진 카메라 모듈(250)이 구비된다.In addition, in order to receive light in a visible light wavelength band that the beam splitter 240 refracts vertically downward, a camera lens 251 and the camera lens 251 are formed under the beam splitter 240 with a plurality of lens elements. An image sensor 253 for detecting an RGB optical signal of a visible light wavelength band incident to the camera lens 251 from the lens driving unit 252 and the lens driving unit 252 under the lens driving unit 252 to enable focus adjustment by moving forward and backward in the optical axis direction. ) is provided with a camera module 250 made of.

그러나 본 발명의 다른 실시예로서, 후술하는 도 7에서와 같이 상기 카메라 모듈(250)에서 카메라렌즈(251)와 렌즈구동부(252)를 제외한 이미지센서(253)를 상기 빔스플리터(240)가 하부로 직접 위치시켜 목표물의 컬러 영상을 획득할 수 도 있다. However, as another embodiment of the present invention, the beam splitter 240 is lower than the image sensor 253 except for the camera lens 251 and the lens driving unit 252 in the camera module 250 as shown in FIG. 7 to be described later. It is also possible to obtain a color image of the target by directly positioning it with

이때 본 발명에서의 상기 이미지센서(253)는 일정 프레임(예를 들어 30fps)과 일정 해상도(예를 들어 1280 x 720)를 지원하는 CMOS(Complementary metal-oxide-semiconductor)형의 RGB Image 센서일 수 있다.In this case, the image sensor 253 in the present invention may be a complementary metal-oxide-semiconductor (CMOS) type RGB image sensor supporting a certain frame (eg 30 fps) and a predetermined resolution (eg, 1280 x 720). there is.

또한, 본 발명의 유닛케이스(201)는 광 송수신 유닛(200)의 일정 구성 부품들을 조립 장착하기 위한 공간을 형성하여, 내측으로 일정 구성 부품들이 조립 결합되는 보호 케이스로서, 내부에서 방출되는 광과 외부에서 입사되는 광이 밖으로 새어나가지 않도록 밀폐되는 구조를 갖는 것으로서, 전면렌즈(210), 빅셀모듈(220), 빔스플리터(240), TOF 수신센서(230) 및 상기 카메라 모듈(250)의 카메라렌즈(251)가 유닛케이스(201)에 의하여 감싸지는 형태로 보호되도록 이루어진다.In addition, the unit case 201 of the present invention forms a space for assembling and mounting certain components of the optical transmission/reception unit 200, and as a protective case in which certain components are assembled and coupled to the inside, the light emitted from the inside and As having a sealed structure so that light incident from the outside does not leak out, the front lens 210 , the vixel module 220 , the beam splitter 240 , the TOF receiving sensor 230 and the camera of the camera module 250 . The lens 251 is made to be protected in a form wrapped by the unit case 201 .

이때, 상기 빅셀모듈(220)은 수직 캐비티 표면 광방출 레이저(VCSEL, Vertical-Cavity Surface Emitting Laser)가 다수의 도트(dot) 어레이 형태로 모듈화 되어 빠른 펄스 패턴의 레이저를 면 발광으로 발신하는 모듈로서, 전면렌즈(210)의 일정거리 뒷단에서 유닛케이스(201) 내부의 상단에 장착되어 위치하게 된다. 이때, 빅셀모듈(220)에서는 940nm의 내외의 근적외선 파장대를 점멸하며 방출하게 된다.At this time, the VICSEL module 220 is a module in which a Vertical-Cavity Surface Emitting Laser (VCSEL) is modularized in the form of a plurality of dot arrays to emit a laser of a fast pulse pattern as a surface light emission module. , is mounted on the upper end of the unit case 201 at the rear end of the front lens 210 at a certain distance and is located. At this time, the big cell module 220 emits while blinking a near-infrared wavelength band of about 940 nm.

또한, 도 2 내지 도 4에서와 같이 빅셀모듈(220)은 펄스 패턴으로 면 발광되는 레이저 광을 앞단의 전면렌즈(210)의 일부분을 통해 외부로 방출하도록 이루어지는데, 이에 상기 빅셀모듈(220)의 앞면에 위치하는 전면렌즈(210)의 일부분이 상기 빅셀모듈(220)에서 방출되는 광을 외부로 발산시키기 위한 필터렌즈(211)로 구비될 수 있다.In addition, as shown in FIGS. 2 to 4 , the vixel module 220 emits surface-emitted laser light in a pulse pattern to the outside through a part of the front lens 210 at the front end, and thus the vixel module 220 A part of the front lens 210 positioned on the front side of may be provided as a filter lens 211 for radiating the light emitted from the vixel module 220 to the outside.

이때, 상기 필터렌즈(211)는 빅셀모듈(220)의 자체 레이저 광원에 사용된 파장만 통과시키기 위한 대역통과 필터의 기능을 하는 렌즈일 수 있다.In this case, the filter lens 211 may be a lens that functions as a bandpass filter for passing only the wavelength used for the laser light source of the vixel module 220 .

즉 상기 유닛케이스(201)에 구비되는 전면렌즈(210)는 전체적으로 광 수신용을 위한 광학 렌즈의 기능을 수행하되, 상기 빅셀모듈(220)의 앞단에 위치되는 일정 부분에서는 광 발신을 위한 필터렌즈(211)가 전면렌즈(210)의 일정 위치에서 삽입되는 구조이거나, 외측에 추가로 장착되어 이루어지는 구성을 갖도록 이루어진다.That is, the front lens 210 provided in the unit case 201 as a whole performs the function of an optical lens for receiving light, but a filter lens for transmitting light in a certain portion positioned at the front end of the vixel module 220 . The 211 is configured to be inserted at a predetermined position of the front lens 210 or to have a configuration that is additionally mounted on the outside.

이에 도 5a는 본 발명의 일실시예에 따른 사각 박스 형태의 3차원 이미지 획득 장치의 면 발광을 예시하는 도면이고, 도 5b는 본 발명의 다른 실시예에 따른 원통 형태의 3차원 이미지 획득 장치의 면 발광을 예시하는 도면으로서, 본 발명은 본체하우징(100, 100a)의 내측의 빅셀모듈(220)에서 방출되는 광이 전면렌즈(210)의 일단에 구지되는 필터렌즈(211)를 통과하여 본체 윈도우(110, 110b)의 특정부위에서 외부로 발산되어 면 발광으로 조사될 수 있음을 알 수 있다.Accordingly, FIG. 5A is a diagram illustrating the surface emission of a three-dimensional image acquisition device in the form of a square box according to an embodiment of the present invention, and FIG. As a diagram illustrating surface light emission, in the present invention, light emitted from the vixel module 220 inside the main body housings 100 and 100a passes through the filter lens 211 held at one end of the front lens 210 and passes through the main body. It can be seen that a specific portion of the windows 110 and 110b is radiated to the outside and can be irradiated with surface light emission.

또한, 빅셀모듈(220)의 VCSEL에서 광을 쏠 때 굉장히 빠른 간격으로 점멸을 시키기 위한 모듈레이션(modulation)(221)이 구비되고, 여기서 빅셀모듈(220)의 레이저가 켜있는 동안을 in phase라 부르고 레이저가 꺼져있는 동안을 out phase라 하며, TOF 수신센서(230)는 각각의 셀이 2개씩의 감지 센서(receptor) 쌍으로 구성되어 반사되어 돌아오는 빛을 상기 모듈레이션(221)의 점멸 간격과 동기화되어 출사된 광 펄스와 정확히 동기화되도록 실행됨으로서 시간 타이밍에 따른 위상차를 측정하기 위한 적외선 이미지 센서라 할 수 있다.In addition, a modulation 221 is provided for flickering at very fast intervals when the VCSEL of the vixel module 220 emits light, and the period while the laser of the vixel module 220 is on is called in phase. The period while the laser is off is called out phase, and the TOF receiving sensor 230 synchronizes the reflected light with the blinking interval of the modulation 221 as each cell is composed of two pairs of sensors. It can be said to be an infrared image sensor for measuring the phase difference according to time timing by being precisely synchronized with the emitted light pulse.

즉 일반적인 적외선(IR) 센서는 신호 강도만 측정하고 사물의 반사율에 영향을 받기 쉽지만, TOF 수신센서는 VCSEL에서 발신되는 적외선 레이저를 수광하여 이에 따른 비행시간 방식 거리를 계산하기 때문에 더 정밀한 값을 얻을 수 있다.That is, a general infrared (IR) sensor measures only the signal strength and is easily affected by the reflectivity of an object, but the TOF receiving sensor receives the infrared laser emitted from the VCSEL and calculates the time-of-flight distance accordingly. can

본 발명에서의 TOF 수신센서(230)는 일정 픽셀 피치(예를 들어 15μ일정 프레임(예를 들어 초당 최대 150 프레임)의 속도에서 일정 해상도(예를 들어 VGA 640x480)의 분해능 데이터를 제공할 수 있다.The TOF receiving sensor 230 in the present invention may provide resolution data of a certain resolution (for example, VGA 640x480) at a speed of a certain pixel pitch (for example, 15 μ constant frame (for example, up to 150 frames per second)). .

또한, TOF 수신센서(230)에서 나오는 신호가 아날로그 신호인 경우, A/D 컨버터(ADC, Analog to Digital Converter)(223)에 의해서 디지털 신호로 변환되어 3D 이미지처리모듈(320)로 전달될 수 있다.In addition, when the signal from the TOF receiving sensor 230 is an analog signal, it is converted into a digital signal by an A/D converter (ADC, Analog to Digital Converter) 223 and transmitted to the 3D image processing module 320. there is.

도 4에서와 같이 본 발명의 제어부 기판(300)은 빅셀모듈(220)의 펄스형 레이저(VCSEL)의 빠른 점멸을 위한 구동신호를 인가하기 위한 광 발신 제어 및 가시광 영역의 수신을 위한 이미지센서(253)에 초점 조절 기능을 수행하기 위하여 카메라 모듈(250)을 제어하는 제어모듈(310)과, TOF 수신센서(230)와 이미지센서(253)와 연동하여 주변 지형 및 피사체 등의 목표물에 대한 영상 데이터를 수신 받아, 이를 결합하여 목표물에 대한 3차원 공간 구조를 측정하는 3D 이미지처리모듈(320)을 포함하여 이루어진다.As shown in FIG. 4 , the control board 300 of the present invention includes an image sensor for controlling light transmission and receiving a visible light region for applying a driving signal for fast blinking of the pulsed laser (VCSEL) of the vixel module 220 ( 253), the control module 310 for controlling the camera module 250, the TOF receiving sensor 230 and the image sensor 253 in conjunction with the image of the target such as the surrounding terrain and subject and a 3D image processing module 320 for receiving data, combining them, and measuring a three-dimensional spatial structure of the target.

즉 상기 3D 이미지처리모듈(320)은 목표물에 대한 영상 데이터를 수신 받아 노이즈를 제거하는 전처리 과정을 수행하며, TOF 수신센서(230)에서 수광된 목표물에 대한 적외선 영역에서의 일그러진 구조 영상에 대한 깊이 정보를 계산하고, 또한, 이미지센서(253)에서 수신된 컬러 영상과의 텍스쳐 성분의 대비를 비교하여 영상의 선명도가 높은 영상값을 선택하는 방식으로 두 영상을 융합하는 알고리즘 과정을 수행하게 된다. 상기 알고리즘을 통해 결합된 영상을 통하여 목표물에 대한 3차원 공간 구조를 정밀하게 측정할 수 있게 된다.That is, the 3D image processing module 320 receives image data of the target and performs a pre-processing process to remove noise, and the depth of the distorted structure image in the infrared region of the target received by the TOF receiving sensor 230 An algorithm process for merging the two images is performed by calculating information and selecting an image value with high image sharpness by comparing the contrast of the texture component with the color image received from the image sensor 253 . Through the combined image through the algorithm, it is possible to precisely measure the three-dimensional spatial structure of the target.

이를 위해 제어부 기판(300)은 논리회로, 프로그래밍 로직 컨트롤러, 마이컴, 마이크로프로세서 등에서 선택되는 적어도 어느 하나의 장치로 구현될 수 있고, 이를 아우르는 FPGA(Field-Programmable Logic Array) 보드로 구현될 수 있다.To this end, the control board 300 may be implemented as at least one device selected from a logic circuit, a programming logic controller, a microcomputer, a microprocessor, etc., and may be implemented as an FPGA (Field-Programmable Logic Array) board encompassing them.

또한, 제어부 기판(300)은 무선의 WiFi 또는 유선의 LAN(Local Area Network) 연결을 위한 통신 연결 수단을 위한 통신모듈(330)을 별도로 구비하거나 일체로 결합되어 구성될 수 있다. 상기 통신모듈(330)은 인트라넷, 인터넷, 차량 네트워크 등을 통해 외부의 사용자 PC 또는 스마트폰과 같은 사용자 모바일 장치와 통신하게 되며, 감지한 주변 지형 및 피사체 등의 목표물에 대한 정보 데이터를 이러한 사용자 장치에 전송할 수 있다. 이는 인터넷과 같은 외부 네트워크에서 연동되는 사용자 컴퓨팅 장치에서 디지털 영상으로 변환되어 데이터를 재가공할 수 있는 편의를 제공하기 위함이다.In addition, the control board 300 may be configured with a separate communication module 330 for a communication connection means for wireless WiFi or wired LAN (Local Area Network) connection, or may be integrally combined with each other. The communication module 330 communicates with an external user PC or a user mobile device such as a smart phone through an intranet, the Internet, a vehicle network, etc. can be sent to This is to provide the convenience of reprocessing data that is converted into a digital image in a user computing device that is linked in an external network such as the Internet.

한편, 제어부 기판(300)은 본 발명의 3차원 이미지 획득 장치의 전원 공급을 위한 배선이나 어댑터 또는 전원공급수단을 구비할 수 있고, 상기 전원공급수단은 내부전원 또는 재충전 가능한 전원장치로 구비될 수 있다.On the other hand, the control board 300 may include a wiring, an adapter, or a power supply means for supplying power to the three-dimensional image acquisition device of the present invention, and the power supply means may be provided as an internal power source or a rechargeable power supply device. there is.

도 6은 본 발명의 일실시예에 따른 광 송수신 유닛에서의 전체적인 광 송수신 유닛의 구조 및 경로의 설명을 위한 예시도로서, 적외선을 면 발광하는 빅셀모듈(220)에서 방출된 광이 필터렌즈(211)를 통과하여 목표물에 조사되고, 목표물에서 반사되어 입사되는 적외선과 가시광이 빔스플리터(240)에 의하여 따로 분리되고, 적외선을 수신하는 TOF 수신센서(230)에서는 투사된 다량의 Dot 레이저 형태에 의하여 일그러진 구조 영상이 생성됨을 보여주고 있으며, 또한, 카메라모듈(250)의 카메라렌즈(251)와 렌즈구동부(252)를 통해 초점이 조절되어 가시광을 수신한 이미지센서(253)에서 목표물에 대한 컬러 영상이 생성됨을 보여주고 있다.6 is an exemplary view for explaining the structure and path of the overall optical transmission/reception unit in the optical transmission/reception unit according to an embodiment of the present invention. 211), the infrared and visible light reflected from the target are separated by the beam splitter 240, and the TOF receiving sensor 230 that receives the infrared rays is projected in the form of a large amount of Dot laser. It shows that a distorted structure image is generated by the method, and in addition, the focus is adjusted through the camera lens 251 and the lens driver 252 of the camera module 250 and the image sensor 253 that receives the visible light receives the color of the target. It shows that an image is being created.

또한, 도 7은 본 발명의 다른 실시예에 따른 광 송수신 유닛의 구조 및 광 송수신 경로의 설명을 위한 예시도로서, 도 6과의 차이점은 카메라모듈(250)의 카메라렌즈(251)와 렌즈구동부(252)에 의한 초점 조절 과정을 거치지 않고 직접적으로 이미지센서(253)에서 가시광을 수신하여 목표물의 컬러 영상을 생성할 수 있음을 보여주고 있는 것이다. 이는 도 7에서와 같이 직접적으로 이미지센서(253)에서 가시광을 수광함으로써, 카메라모듈(250)의 카메라렌즈(251)와 렌즈구동부(252)를 적용하지 않게 되어 전자회로의 수를 최소화하여 부피 및 비용을 저감시킬 수 있는 장점이 있게 된다.In addition, FIG. 7 is an exemplary view for explaining the structure of the optical transmission/reception unit and the optical transmission/reception path according to another embodiment of the present invention, and the difference from FIG. 6 is the camera lens 251 and the lens driving unit of the camera module 250 It shows that a color image of a target can be generated by directly receiving visible light from the image sensor 253 without going through the focus adjustment process by 252 . As shown in FIG. 7, by directly receiving visible light from the image sensor 253, the camera lens 251 and the lens driving unit 252 of the camera module 250 are not applied, thereby minimizing the number of electronic circuits to reduce the volume and There is an advantage that the cost can be reduced.

또한, 도 8 내지 도 10은 본 발명의 또 다른 실시예로서, 광학 경로 상의 빔스플리터(240) 전면에 광학 렌즈계(260)를 구비하여 이루어진 3차원 이미지 획득 장치를 나타내고 있다.In addition, FIGS. 8 to 10 show a three-dimensional image acquisition device comprising an optical lens system 260 in front of a beam splitter 240 on an optical path as another embodiment of the present invention.

이에 도 8은 빔스플리터의 전단에 광학 렌즈계가 구비된 3차원 이미지 획득 장치의 면 발광을 예시하는 도면이고, 도 9는 도 8에 따른 3차원 이미지 획득 장치의 내부 구조를 보여주는 예시도이고, 도 10은 광학 렌즈계가 구비된 3차원 이미지 획득 장치의 광 송수신 경로의 설명을 위한 예시도이다.Accordingly, FIG. 8 is a view exemplifying the surface emission of a 3D image acquisition device having an optical lens system at the front end of the beam splitter, and FIG. 9 is an exemplary view showing the internal structure of the 3D image acquisition device according to FIG. 10 is an exemplary diagram for explaining an optical transmission/reception path of a 3D image acquisition device equipped with an optical lens system.

도 8 내지 도 10을 참조하는 실시예에 따르면, 본 발명의 광 송수신 유닛의 구조에 있어서, 앞서 상술한 실시예에서와 같이 유닛케이스(201)에 구비되는 단순히 하나의 단일 렌즈로 이루어지는 전면렌즈(210) 대신에 두 개 이상으로서 복합적인 기능을 수행하는 적어도 두 개 이상의 렌즈가 엘리먼트(element)로 구성되어 나열된 광학 렌즈계(260)로서의 전면렌즈를 구비하고자 하는 것이다.8 to 10, in the structure of the optical transmission/reception unit of the present invention, as in the above-described embodiment, the front lens ( 210) instead of two or more, at least two or more lenses that perform a complex function are configured as elements to provide a front lens as the optical lens system 260 .

즉 하나의 단일 렌즈로도 광 수신을 위한 광학 렌즈의 기능을 수행할 수 있으나, 이보다 입사되는 광을 제어하기 위하여 렌즈 엘리먼트마다 각각의 방향대로 빛을 제어하는 일정 형태의 렌즈 조립체(assembly)로서의 광학 렌즈계(260)를 구비하여, 광 경로 상에서 광학 성능의 향상과 제품의 소형화 설계가 가능하도록 할 수 있다.That is, even a single lens can perform the function of an optical lens for receiving light, but in order to control incident light, the optical lens assembly is a certain type of lens assembly that controls light in each direction for each lens element. By providing the lens system 260 , it is possible to improve the optical performance on the optical path and to design a miniaturized product.

이는 일반적으로 근접한 피사체의 광 입사각은 광축을 기준으로 크게 되고, 원거리의 피사체일수록 입사각이 광축에 수평에 가깝게 됨으로서, TOF 수신센서(230) 및 이미지센서(253)에 맺히는 초점이 달라질 수 있는데, 본 발명과 같이 장착된 광학 렌즈계(260)의 구성으로 인하여, 통과한 광의 굴절률을 피사체의 위치에 따라 조정되도록 함으로써 TOF 수신센서(230) 및 이미지센서(253)에 맺히는 초점의 위치에서 상이 또렷하게 맺히도록 할 수 있는 것이다.In general, the light incident angle of a nearby subject becomes larger with respect to the optical axis, and the more distant the subject, the closer the incident angle to the optical axis becomes horizontal, so that the focus on the TOF receiving sensor 230 and the image sensor 253 may be different. Due to the configuration of the optical lens system 260 mounted as in the invention, the refractive index of the passing light is adjusted according to the position of the subject, so that the image is clearly formed at the focal point of the TOF receiving sensor 230 and the image sensor 253 it can be done

이에 따른 실시예로서의 3차원 이미지 획득 장치는 도 9 내지 10에서와 같이 빅셀모듈(220)에서 방출되는 광이 바로 조사될 수 있도록 빅셀모듈(220)과 빅셀렌즈(211)를 유닛케이스(201) 내부 상단에 장착하여 위치시킬 수 있다. 이때, 상기 빅셀모듈(220)은 유닛케이스(201) 내부 상단에서 제어부 기판(300)과 연결되어 이루어질 수 있다.According to this embodiment, the 3D image acquisition device includes the vixell module 220 and the vixell lens 211 inside the unit case 201 so that the light emitted from the vixel module 220 can be directly irradiated as shown in FIGS. 9 to 10 . It can be installed and positioned on the top. In this case, the big cell module 220 may be connected to the control board 300 at the top inside the unit case 201 .

즉 도 10을 참조하여 설명되는 본 실시예는 광 송수신 유닛의 구조에 따라 적외선을 면 발광하는 빅셀모듈(220)에서 방출된 적외선 광이 빅셀렌즈(211)를 통과하여 목표물에 조사되고, 목표물에서 반사되어 입사되는 광은 광학 렌즈계(260)를 통과하여 적외선과 가시광이 빔스플리터(240)에 의하여 분리되어 각각의 경로 상에 위치하는 TOF 수신센서(230)와 이미지센서(253)로 목표물의 상이 뚜렷이 맺히게 된다. That is, in the present embodiment described with reference to FIG. 10, the infrared light emitted from the vixel module 220 that emits infrared light according to the structure of the light transmitting/receiving unit passes through the vixell lens 211 and is irradiated to the target, and at the target. The reflected and incident light passes through the optical lens system 260, and infrared and visible light are separated by the beam splitter 240, and the TOF receiving sensor 230 and the image sensor 253 located on each path are different from the target. will come out clearly.

이때 적외선을 수신하는 TOF 수신센서(230)에서는 투사된 다량의 Dot 레이저 형태에 의하여 일그러진 구조 영상을 생성하고, 가시광을 수신한 이미지센서(253)에서 목표물에 대한 컬러 영상을 생성할 수 있는 것이다.At this time, the TOF receiving sensor 230 that receives the infrared generates a distorted structure image by the form of a large amount of projected Dot laser, and the image sensor 253 that receives the visible light can generate a color image of the target.

전술한 바와 같이 본 발명의 3차원 이미지 획득 장치는 다양한 실시예를 통한 구성을 하나로 조합하여 이루어거나, 바람직한 실시예에 따른 각각의 구성을 선택적으로 이용하여 이루어질 수 있다. 즉 본 발명은 본 발명의 기술분야에서 통상의 지식을 가진 사람이라면 하기의 청구범위에 기재된 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.As described above, the three-dimensional image acquisition apparatus of the present invention may be formed by combining the configurations through various embodiments into one, or may be made by selectively using each configuration according to the preferred embodiment. That is, it will be understood that the present invention can be variously modified and changed by a person skilled in the art of the present invention without departing from the spirit and scope of the following claims.

100: 본체하우징 110: 윈도우
200: 광 송수신 유닛 201: 유닛케이스
210: 전면렌즈 211: 필터렌즈
220: 빅셀모듈 221: 모듈레이션
223: A/D 컨버터 230: TOF 수신센서
240: 빔스플리터 250: 카메라 모듈
251: 카메라렌즈 252: 렌즈구동부
253: 이미지센서 260: 광학 렌즈계
300: 제어부 기판 310: 제어모듈
320: 3D 이미지처리모듈 330: 통신모듈
100: body housing 110: window
200: optical transmission/reception unit 201: unit case
210: front lens 211: filter lens
220: big cell module 221: modulation
223: A/D converter 230: TOF receiving sensor
240: beam splitter 250: camera module
251: camera lens 252: lens driving unit
253: image sensor 260: optical lens system
300: control board 310: control module
320: 3D image processing module 330: communication module

Claims (14)

3차원 이미지 획득 장치에 있어서,
본체하우징,
상기 본체하우징의 내측 상단에 장착되어 광의 발신 및 수신 타이밍을 제어하고, 감지된 신호를 외부의 장치에 전달하기 위한 제어부 기판 및
상기 제어부 기판에 결합되어 적외선 레이저의 발신과 입사되는 외부광의 수신을 위한 광 송수신 유닛이 배치되고,
상기 광 송수신 유닛은
다수의 도트(dot) 어레이 형태로 모듈화되어 펄스 패턴의 적외선 레이저를 면 발광으로 발신하는 빅셀모듈,
목표물에 반사되어 돌아오는 적외선은 수평으로 투과시키고, 입사되는 가시광은 수직으로 굴절시키도록 이루어진 빔스플리터,
상기 빔스플리터로 투과되는 적외선을 수광하여 적외선 영역에서의 구조 영상을 생성하는 TOF 수신센서,
상기 빔스플리터의 하부로 굴절되는 가시광을 수광하여 목표물의 컬러 영상을 생성하는 이미지센서 및
상기 빔스플리터의 전단에서 적어도 두 개 이상의 렌즈 엘리먼트(element)로 구성되는 광학 렌즈계를 구비하여 이루어지는 것을 특징으로 하는 3차원 이미지 획득 장치.
A three-dimensional image acquisition device comprising:
body housing,
a control board mounted on the inner upper part of the main housing to control the timing of light transmission and reception, and to transmit the sensed signal to an external device; and
A light transmitting/receiving unit coupled to the control board for transmitting an infrared laser and receiving incident external light is disposed,
The optical transceiver unit
A big cell module that is modularized in the form of a plurality of dot arrays and emits an infrared laser of a pulse pattern as surface light emission;
A beam splitter configured to horizontally transmit infrared rays reflected back to the target and refract incident visible light vertically;
a TOF receiving sensor that receives the infrared rays transmitted through the beam splitter and generates a structural image in the infrared region;
an image sensor for generating a color image of a target by receiving visible light refracted to a lower portion of the beam splitter; and
and an optical lens system including at least two lens elements at the front end of the beam splitter.
청구항 1에 있어서,
상기 광학 렌즈계는 각각의 렌즈 엘리먼트마다 입사되는 광을 조정할 수 있도록 일정 형태의 렌즈 조립체로 이루어지는 것을 특징으로 하는 3차원 이미지 획득 장치.
The method according to claim 1,
The optical lens system is a three-dimensional image acquisition device, characterized in that consisting of a lens assembly of a certain shape to adjust the incident light for each lens element.
청구항 2에 있어서,
상기 광학 렌즈계는 상기 TOF 수신센서 및 이미지센서에 맺히는 초점의 위치에서 목표물의 상이 또렷하게 맺히도록 굴절률이 조정될 수 있도록 하는 것을 특징으로 하는 3차원 이미지 획득 장치.
3. The method according to claim 2,
The optical lens system is a three-dimensional image acquisition device, characterized in that the refractive index can be adjusted so that the image of the target is clearly formed at the position of the focus on the TOF receiving sensor and the image sensor.
청구항 1에 있어서,
상기 제어부 기판은 상기 TOF 수신센서에서 수광된 목표물의 구조 영상과 상기 이미지센서에서 수광된 목표물의 컬러 영상 데이터를 결합하여 목표물에 대한 3차원 공간 구조를 측정하는 3D 이미지처리모듈을 포함하는 것을 특징으로 하는 3차원 이미지 획득 장치.
The method according to claim 1,
The control board comprises a 3D image processing module for measuring the three-dimensional spatial structure of the target by combining the structural image of the target received by the TOF receiving sensor and the color image data of the target received by the image sensor. 3D image acquisition device.
일 측면으로 펄스 레이저광을 외부로 방출하며 외부에서 들어오는 광의 투과를 위한 광투과성 윈도우가 배치되는 본체하우징,
상기 본체하우징 내부의 하단에서 결합되어 장착되어 광의 발신 및 수신 타이밍을 제어하고, 감지된 신호를 외부의 장치에 전달하기 위한 제어부 기판 및
상기 제어부 기판의 상부로 결합되어 적외선 레이저 광의 발신과 입사되는 외부광의 수신을 위한 광 송수신 유닛이 배치되고,
상기 광 송수신 유닛은
다수의 도트(dot) 어레이 형태로 모듈화되어 펄스 패턴의 적외선 레이저를 면 발광으로 발신하는 빅셀모듈,
목표물에 반사되어 돌아오는 적외선 레이저는 수평으로 투과시키고, 입사되는 가시광은 수직으로 굴절시키도록 이루어진 빔스플리터,
상기 빔스플리터로 투과되는 상기 적외선 레이저를 수광하여 적외선 영역에서의 구조 영상을 생성하는 TOF 수신센서 및
상기 빔스플리터의 하부로 굴절되는 가시광을 수광하여 목표물의 컬러 영상을 생성하는 이미지센서를 포함하여 이루어지는 것을 특징으로 하는 3차원 이미지 획득 장치.
A body housing that emits pulsed laser light to the outside on one side and has a light-transmitting window for transmitting light coming from the outside;
a control board mounted at the lower end of the main body housing to control the transmission and reception timing of light, and to transmit the sensed signal to an external device; and
A light transmitting/receiving unit coupled to the upper portion of the control board to transmit infrared laser light and receive incident external light is disposed,
The optical transceiver unit
A big cell module that is modularized in the form of a plurality of dot arrays and emits an infrared laser of a pulse pattern as surface light emission;
A beam splitter configured to horizontally transmit the infrared laser reflected back from the target and refract the incident visible light vertically;
a TOF receiving sensor that receives the infrared laser transmitted through the beam splitter to generate a structural image in the infrared region; and
and an image sensor for generating a color image of a target by receiving visible light refracted to a lower portion of the beam splitter.
청구항 5에 있어서,
상기 광 송수신 유닛은 상기 윈도우 방향으로 위치되는 전면렌즈가 배치되고, 상기 전면렌즈의 일부분에서 상기 빅셀모듈에서 방출되는 적외선 레이저를 외부로 발산시키기 위한 필터렌즈가 상기 전면렌즈의 일정 위치에서 삽입되는 구조 또는 외측에 추가로 장착되어 이루어지는 것을 특징으로 하는 3차원 이미지 획득 장치.
6. The method of claim 5,
The optical transmission/reception unit has a structure in which a front lens positioned in the window direction is disposed, and a filter lens for emitting the infrared laser emitted from the vixel module in a portion of the front lens to the outside is inserted at a predetermined position of the front lens Or a three-dimensional image acquisition device, characterized in that it is additionally mounted on the outside.
청구항 6에 있어서,
상기 필터렌즈는 상기 빅셀모듈의 적외선 레이저 광원에 사용된 파장만 통과시키기 위한 대역통과 필터인 것을 특징으로 하는 3차원 이미지 획득 장치.
7. The method of claim 6,
The filter lens is a three-dimensional image acquisition device, characterized in that the band-pass filter for passing only the wavelength used in the infrared laser light source of the big cell module.
청구항 5에 있어서,
상기 제어부 기판은 상기 TOF 수신센서에서 수광된 목표물의 구조 영상과 상기 이미지센서에서 수광된 목표물의 컬러 영상 데이터를 결합하여 목표물에 대한 3차원 공간 구조를 측정하는 3D 이미지처리모듈을 포함하는 것을 특징으로 하는 3차원 이미지 획득 장치.
6. The method of claim 5,
The control board comprises a 3D image processing module for measuring the three-dimensional spatial structure of the target by combining the structural image of the target received by the TOF receiving sensor and the color image data of the target received by the image sensor. 3D image acquisition device.
일 측면으로 펄스 레이저광을 외부로 방출하며 외부에서 들어오는 광의 투과를 위한 광투과성 윈도우가 배치되는 본체하우징,
상기 본체하우징 내부의 하단에서 결합되어 장착되는 제어부 기판 및
상기 제어부 기판의 상부로 결합되어 적외선 레이저의 발신과 입사되는 외부광의 수신을 위한 광 송수신 유닛이 배치되고,
상기 광 송수신 유닛은
다수의 도트(dot) 어레이 형태로 모듈화되어 펄스 패턴의 적외선 레이저를 면 발광으로 발신하는 빅셀모듈,
목표물에 반사되어 돌아오는 적외선 레이저는 수평으로 투과시키고, 입사되는 가시광은 수직으로 굴절시키도록 이루어진 빔스플리터,
상기 빔스플리터로 투과되는 상기 적외선 레이저를 수광하여 적외선 영역에서의 구조 영상을 생성하는 TOF 수신센서 및
상기 빔스플리터의 하부로 굴절되는 가시광의 수광을 위하여 다수의 렌즈 요소로 구성되는 카메라렌즈와 상기 카메라렌즈를 광축 방향으로 진퇴 운동시켜 초점조절을 가능하게 하는 렌즈구동부와 목표물의 컬러 영상을 생성하는 이미지센서를 포함하는 카메라 모듈로 이루어지는 것을 특징으로 하는 3차원 이미지 획득 장치.
A body housing that emits pulsed laser light to the outside on one side and has a light-transmitting window for transmitting light coming from the outside;
a control board coupled to and mounted at the lower end inside the body housing; and
A light transmitting/receiving unit coupled to the upper portion of the control board to transmit infrared laser and receive incident external light is disposed,
The optical transceiver unit
A big cell module that is modularized in the form of a plurality of dot arrays and emits an infrared laser of a pulse pattern as surface light emission;
A beam splitter configured to horizontally transmit the infrared laser reflected back from the target and refract the incident visible light vertically;
a TOF receiving sensor that receives the infrared laser transmitted through the beam splitter to generate a structural image in the infrared region; and
In order to receive the visible light refracted to the lower part of the beam splitter, a camera lens composed of a plurality of lens elements and a lens driver that enables focus adjustment by moving the camera lens forward and backward in the optical axis direction and an image generating a color image of the target A three-dimensional image acquisition device comprising a camera module including a sensor.
청구항 9에 있어서,
상기 광 송수신 유닛은 상기 윈도우 방향으로 위치되는 전면렌즈가 배치되고, 상기 전면렌즈의 일부분에서 상기 빅셀모듈에서 방출되는 적외선 레이저를 외부로 발산시키기 위한 필터렌즈가 상기 전면렌즈의 일정 위치에서 삽입되는 구조 또는 외측에 추가로 장착되어 이루어지는 것을 특징으로 하는 3차원 이미지 획득 장치.
10. The method of claim 9,
The optical transmission/reception unit has a structure in which a front lens positioned in the window direction is disposed, and a filter lens for emitting the infrared laser emitted from the vixel module in a portion of the front lens to the outside is inserted at a predetermined position of the front lens Or a three-dimensional image acquisition device, characterized in that it is additionally mounted on the outside.
청구항 10에 있어서,
상기 필터렌즈는 상기 빅셀모듈의 적외선 레이저 광원에 사용된 파장만 통과시키기 위한 대역통과 필터인 것을 특징으로 하는 3차원 이미지 획득 장치.
11. The method of claim 10,
The filter lens is a three-dimensional image acquisition device, characterized in that the band-pass filter for passing only the wavelength used in the infrared laser light source of the big cell module.
청구항 9에 있어서,
상기 제어부 기판은
상기 빅셀모듈, TOF 수신센서 및 카메라 모듈과 연동하여 레이저의 발신 및 수신 동작을 제어하는 제어모듈과, 상기 TOF 수신센서에서 수광된 목표물의 구조 영상과 상기 이미지센서에서 수광된 목표물의 컬러 영상 데이터를 결합하여 목표물에 대한 3차원 공간 구조를 측정하는 3D 이미지처리모듈을 포함하는 것을 특징으로 하는 3차원 이미지 획득 장치.
10. The method of claim 9,
The control board is
A control module for controlling the laser transmission and reception operation in conjunction with the Big Cell module, the TOF receiving sensor and the camera module, and the structural image of the target received by the TOF receiving sensor and the color image data of the target received by the image sensor 3D image acquisition device comprising a 3D image processing module for measuring the 3D spatial structure of the target by combining the 3D image processing module.
청구항 12에 있어서,
상기 3D 이미지처리모듈은 적외선 구조 영상의 깊이 정보를 계산하고, RGB 컬러 영상과의 텍스쳐 성분의 대비를 비교하여 영상의 선명도가 높은 영상값을 선택하는 알고리즘을 사용하여 3차원 공간 구조를 측정하는 것을 특징으로 하는 3차원 이미지 획득 장치.
13. The method of claim 12,
The 3D image processing module calculates the depth information of the infrared structure image, compares the contrast of the texture component with the RGB color image, and measures the three-dimensional spatial structure using an algorithm that selects an image value with high image clarity. A three-dimensional image acquisition device, characterized in that.
청구항 12에 있어서,
상기 제어부 기판은 상기 제어모듈이 외부 장치와 통신하기 위한 WiFi 또는 LAN 연결 방식을 제공하는 통신모듈을 더 포함하는 것을 특징으로 하는 3차원 이미지 획득 장치.
13. The method of claim 12,
The control board further comprises a communication module for providing a WiFi or LAN connection method for the control module to communicate with an external device.
KR1020200183820A 2020-09-18 2020-12-24 3d image acquisition device KR102634094B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023518452A JP2023543443A (en) 2020-09-18 2021-09-06 3D image acquisition device
US18/044,629 US20230341557A1 (en) 2020-09-18 2021-09-06 Three-dimensional image obtainment device
CN202180062827.3A CN116235491A (en) 2020-09-18 2021-09-06 Three-dimensional image acquisition device
EP21869603.7A EP4199509A1 (en) 2020-09-18 2021-09-06 3d image acquisition device
PCT/KR2021/011988 WO2022059981A1 (en) 2020-09-18 2021-09-06 3d image acquisition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200120726 2020-09-18
KR20200120726 2020-09-18

Publications (2)

Publication Number Publication Date
KR20220037922A true KR20220037922A (en) 2022-03-25
KR102634094B1 KR102634094B1 (en) 2024-02-07

Family

ID=80935518

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020200138390A KR102505817B1 (en) 2020-09-18 2020-10-23 3d image acquisition device
KR1020200183820A KR102634094B1 (en) 2020-09-18 2020-12-24 3d image acquisition device
KR1020210050697A KR102483975B1 (en) 2020-09-18 2021-04-19 3d image acquisition device having phase modulation function
KR1020210062579A KR102623088B1 (en) 2020-09-18 2021-05-14 3d imaging device with digital micromirror device and operating method thereof
KR1020210067075A KR20220037939A (en) 2020-09-18 2021-05-25 3d imaging device with digital micromirror device and operating method thereof

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200138390A KR102505817B1 (en) 2020-09-18 2020-10-23 3d image acquisition device

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020210050697A KR102483975B1 (en) 2020-09-18 2021-04-19 3d image acquisition device having phase modulation function
KR1020210062579A KR102623088B1 (en) 2020-09-18 2021-05-14 3d imaging device with digital micromirror device and operating method thereof
KR1020210067075A KR20220037939A (en) 2020-09-18 2021-05-25 3d imaging device with digital micromirror device and operating method thereof

Country Status (1)

Country Link
KR (5) KR102505817B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010003142A1 (en) * 1999-12-03 2001-06-07 Olympus Optical Co., Ltd. Endoscope apparatus
KR101974578B1 (en) * 2012-10-22 2019-05-02 삼성전자주식회사 Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
KR101994473B1 (en) * 2017-12-20 2019-07-31 (주)이더블유비엠 Method, apparatus and program sotred in recording medium for refocucing of planar image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136157B2 (en) * 2003-08-22 2006-11-14 Micron Technology, Inc. Method and apparatus for testing image sensors
KR101820503B1 (en) * 2011-03-10 2018-01-22 에스케이플래닛 주식회사 Service systembased on face recognition inference, and face recognition inference method and storage medium thereof
KR101799522B1 (en) * 2011-06-07 2017-11-21 삼성전자 주식회사 3D image acquisition apparatus employing interchangeable lens type
KR102056904B1 (en) * 2013-05-22 2019-12-18 삼성전자주식회사 3D image acquisition apparatus and method of driving the same
KR102153045B1 (en) * 2013-12-04 2020-09-07 삼성전자주식회사 Wavelength separation device and 3-dimensional image acquisition apparatus including the wavelength separation device
KR20170116635A (en) * 2016-04-11 2017-10-20 한국전자통신연구원 Scanning device and operating method thereof
KR101924890B1 (en) * 2017-09-28 2018-12-04 광주과학기술원 Optical Phased Array Antenna and LiDAR Having The Same
KR102590900B1 (en) * 2018-08-27 2023-10-19 엘지이노텍 주식회사 Image processing apparatus and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010003142A1 (en) * 1999-12-03 2001-06-07 Olympus Optical Co., Ltd. Endoscope apparatus
KR101974578B1 (en) * 2012-10-22 2019-05-02 삼성전자주식회사 Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
KR101994473B1 (en) * 2017-12-20 2019-07-31 (주)이더블유비엠 Method, apparatus and program sotred in recording medium for refocucing of planar image

Also Published As

Publication number Publication date
KR20220037932A (en) 2022-03-25
KR102483975B1 (en) 2023-01-05
KR20220037915A (en) 2022-03-25
KR102623088B1 (en) 2024-01-10
KR20220037938A (en) 2022-03-25
KR20220037939A (en) 2022-03-25
KR102505817B1 (en) 2023-03-06
KR102634094B1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
JP6942966B2 (en) Object detection device and mobile device
KR20210040987A (en) Improved 3D sensing
KR102568462B1 (en) A detector for determining the position of at least one object
JP2022516854A (en) Solid-state electron-scanning laser array with high-side and low-side switches for increased channels
US20210321080A1 (en) Apparatus and method for generating three-dimensional image
KR20150057011A (en) A camera intergrated with a light source
US7221437B1 (en) Method and apparatus for measuring distances using light
KR20220006638A (en) Synchronized Image Capture for Electronic Scanning LIDAR Systems
US20220201264A1 (en) Mems mirror-based extended reality projection with eye-tracking
CN113325392A (en) Wide-angle TOF module and application thereof
KR102567502B1 (en) Time of flight apparatus
CN113238248A (en) 3D imaging device with structured light and TOF technology integrated
CN115702363A (en) Stereoscopic image capturing system
KR102634094B1 (en) 3d image acquisition device
JP7389578B2 (en) Distance sensor
CN111344598B (en) Laser range finder for common-path digital imaging
WO2022059981A1 (en) 3d image acquisition device
CN213091888U (en) Depth measurement system and electronic device
KR20230099402A (en) 3d image acquisition device
US20210333405A1 (en) Lidar projection apparatus
KR20230123278A (en) 3d image acquisition device
CN115580766A (en) Image pickup apparatus, method, electronic device, and storage medium
KR20200023927A (en) Image processing apparatus and image processing method
CN218213436U (en) Transmitting module, depth camera and mobile robot
US20230384428A1 (en) Laser-safety control for lidar applications

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right