KR101868293B1 - Apparatus for Providing Vehicle LIDAR - Google Patents
Apparatus for Providing Vehicle LIDAR Download PDFInfo
- Publication number
- KR101868293B1 KR101868293B1 KR1020170149556A KR20170149556A KR101868293B1 KR 101868293 B1 KR101868293 B1 KR 101868293B1 KR 1020170149556 A KR1020170149556 A KR 1020170149556A KR 20170149556 A KR20170149556 A KR 20170149556A KR 101868293 B1 KR101868293 B1 KR 101868293B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- region
- high resolution
- laser
- image sensor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
- G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
-
- G01S17/936—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
본 실시예는 차량용 라이다 장치에 관한 것이다. The present embodiment relates to an apparatus for use in a vehicle.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment and do not constitute the prior art.
최근 들어, 차량은 고도로 지능화되어 차량에 탑재된 각종 센서를 이용하여 다양한 지능화 기능을 수행한다. 고도화된 차량용 지능화 기능 중 전방 차량을 감지하여 충돌을 미연에 방지하는 전방 충돌 방지(FCW: Forward Collision Warning) 기술이 있다.In recent years, vehicles are highly intelligent and perform various intelligent functions using various sensors mounted on the vehicle. Forward collision warning (FCW) technology is used to prevent collision by sensing forward vehicles among advanced automotive intelligence functions.
전방 충돌 방지 기술에서 전방 충돌을 효과적으로 방지하기 위해서는, 라이다(Lidar) 센서 또는 카메라 센서와 같은 특정 센서를 이용하여, 전방 차량 간의 거리정보를 정확하게 파악하고, 전방에 있는 전방 물체와 비물체에 대한 정확한 판별력을 가져야 한다.In order to effectively prevent the front collision in the front collision prevention technique, a specific sensor such as a Lidar sensor or a camera sensor is used to precisely grasp the distance information between the front vehicle and the frontal object and the non- It must have accurate discrimination power.
일반적인 전방 충돌 방지 기술에서 이용하는 라이다 센서는 물체 판별 정확성은 다소 떨어지나 정확한 거리정보를 얻을 수 있는 장점이 있다. 카메라 센서는 획득되는 영상은 단안 영상이기에 거리정보의 정확성은 떨어지나 높은 물체 판별 정확성을 보이는 장점이 있다.The LIDAR sensor used in the general front collision prevention technology is advantageous in that accurate object information can be obtained although the object discrimination accuracy is somewhat low. The camera sensor is advantageous in that the obtained image is a monocular image, so that accuracy of distance information is low but accuracy of object discrimination is high.
일반적인 전방 충돌 방지 기술은 라이다(Lidar) 센서만을 이용하여 전방 차량을 인식하거나, 카메라 센서만을 이용하여 전방 차량을 인식하기 때문에, 물체 판별 정확성 또는 거리정보의 정확성이 떨어져 제대로 된 물체 인식이 불가능한 문제가 있다.In general, the front collision prevention technology recognizes the forward vehicle by using only the Lidar sensor or recognizes the forward vehicle by using only the camera sensor. Therefore, it is impossible to recognize the object accurately or the accuracy of the distance information .
본 실시예는 차량의 전면 영역을 인식하기 위해 레이저 펄스를 360˚로 회전하면서 방출하는 구조가 아니라, 기 설정된 방향으로 레이저 펄스를 방출하고, 기 설정된 영역을 촬영하는 이미지 센서를 두 개의 영역으로 분리하여 라이다 영역과 영상 영역을 함께 처리하도록 하는 차량용 라이다 장치를 제공하는 데 목적이 있다.The present embodiment is not a structure that radiates laser pulses while rotating the laser pulses in order to recognize the front area of the vehicle, but emits laser pulses in a predetermined direction and separates the image sensor for photographing a predetermined area into two areas The present invention has been made to solve the above-mentioned problems occurring in the prior art.
본 실시예의 일 측면에 의하면, 차량용 라이다(LIDAR: Light Detection And Ranging) 장치에 있어서, 차량의 전면에 배치되며, 중앙에 위치하여 레이저 펄스를 기 설정된 방향으로 방출하는 라이다 발광부; 및 상기 라이다 발광부를 기준으로 기 설정된 거리로 이격되어 양측(좌우측)에 각각 배치되며, 상기 레이저 펄스에 의해 검출된 객체로부터 반사된 레이저 펄스를 수신하며, 이미지 픽셀 영역의 일측에 상기 반사된 레이저 펄스에 의한 조사 가능 영역의 라이다 데이터를 기록하며, 이미지 픽셀 영역의 타측에 촬영된 이미지 데이터를 기록하는 고해상도 이미지 센서를 포함하는 것을 특징으로 하는 차량용 라이다 장치를 제공한다.According to an aspect of the present invention, there is provided a LIDAR (Light Detection And Ranging) apparatus for a vehicle, comprising: a light emitting unit disposed at a front surface of a vehicle and positioned at a center to emit a laser pulse in a predetermined direction; And a plurality of laser pulses arranged on both sides (left and right) spaced apart from each other by a predetermined distance with respect to the ladder emitting portion, receiving laser pulses reflected from the object detected by the laser pulses, And a high resolution image sensor for recording the radar data of the irradiable region by the pulse and recording the photographed image data on the other side of the image pixel region.
상기 라이다 발광부는 상기 레이저 펄스를 방출하는 멀티 LD(Multi LD(Laser Diode)); 상기 레이저 펄스를 집광하는 집광 렌즈; 및 상기 레이저 펄스를 부채꼴 형상으로 확산하는 확산 렌즈를 포함한다.The LD light emitting unit includes a multi LD (Laser Diode) emitting laser pulses; A condenser lens for condensing the laser pulse; And a diffusion lens for diffusing the laser pulse in a sector shape.
상기 라이다 발광부는 상기 집광 렌즈 및 상기 확산 렌즈를 경유하여 상기 레이저 펄스가 다수 레이어상에 부채꼴 레이저면을 형성하도록 한다.The laser light emitting unit causes the laser pulse to form a sectorial laser surface on a plurality of layers via the condenser lens and the diffusion lens.
상기 고해상도 이미지 센서는 이미지 픽셀 영역을 라이다 영역과 영상 영역으로 분리하여 각각 데이터를 처리한다.The high-resolution image sensor separates the image pixel region into a LADIA region and an image region, and processes the data.
상기 고해상도 이미지 센서는 이미지 픽셀 영역을 세로방향으로 이분할하며, 세로 이분할 영역 중 상측 영역에 상기 반사된 레이저 펄스를 수신하기 위한 라이다용 수광 렌즈 및 적외선 필터를 구비하고, 세로 이분할 영역 중 하측 영역에 영상을 촬영하기 위한 촬상 렌즈, 상기 촬상 렌즈로부터 들어온 빛을 전기 신호로 바꾸어 칼라 이미지로 저장해 주는 이미지 픽셀을 구비한다.Wherein the high resolution image sensor comprises a light receiving lens for receiving a reflected laser pulse and an infrared ray filter for dividing an image pixel region in the vertical direction and an upper region of the divided region in the vertical direction, An imaging lens for imaging an image in the lower area, and an image pixel for converting light from the imaging lens into an electric signal and storing it as a color image.
상기 상측 영역에 적외선 이미지가 저장되도록 이미지 픽셀 영역의 표면에 칼라 필터를 미적용하며, 상기 하측 영역에 이미지 픽셀 영역에만 칼라 필터를 적용한다.A color filter is not applied to the surface of the image pixel region so that an infrared image is stored in the upper region and a color filter is applied only to the image pixel region in the lower region.
상기 고해상도 이미지 센서는 하나의 센서 이미지를 두 개로 분리하여 경계면에 투명도 및 이미지 일관성을 저하하여 하나의 렌즈에서 필터가 있는 부분과 없는 부분이 구분되도록 한다.The high-resolution image sensor separates one sensor image into two, thereby reducing the transparency and image consistency at the interface so that a portion of a lens separated from a portion of the filter is absent.
상기 고해상도 이미지 센서는 복수의 픽셀을 포함하며, 각 픽셀의 신호를 판독한 출력 신호를 기반으로 검출된 상기 객체까지의 거리를 결정하는 거리 결정부를 추가로 포함한다.The high resolution image sensor further includes a plurality of pixels, and further includes a distance determination unit that determines a distance to the detected object based on an output signal from which the signal of each pixel is read.
상기 고해상도 이미지 센서는 상기 조사 가능 영역을 이미지 픽셀 영역에 투영하기 위한 광학적 렌즈를 포함한다.The high resolution image sensor includes an optical lens for projecting the irradiable region onto an image pixel region.
상기 고해상도 이미지 센서는 상기 라이다 데이터 및 상기 이미지 데이터 각각으로부터 상호 정합을 위한 정합 기본 요소를 추출하고, 상기 정합 기본 요소들 간에 상호적 일치하는 관계를 수립하고, 상기 상호 일치하는 관계로 수신된 정합 기본 요소가 일치하도록 상기 영상 데이터의 외부요소를 조정하는 정합부를 추가로 포함한다.Wherein the high resolution image sensor extracts a matching base element for mutual matching from each of the Lidar data and the image data, establishes a mutually matching relationship between the matching base elements, And a matching unit for adjusting an external element of the image data so that the basic elements coincide with each other.
이상에서 설명한 바와 같이 본 실시예에 의하면, 360˚로 회전하는 구조가 아니라 차량의 전면에 배치되는 형태로서, 이미지 센서를 두 개의 영역으로 분리하여 라이다 영역과 실영상 영역을 함께 처리하는 효과가 있다.As described above, according to the present embodiment, the image sensor is disposed at the front of the vehicle instead of 360 °, and the image sensor is divided into two regions, and the Lada region and the real image region are processed together have.
본 실시예에 의하면, 차량에 장착되어 라이다와 영상을 함께 처리하여 운전자에게 원거리로부터 사고발생 원인을 미리 감지하고, 안개 또는 폭우 시 전방 또는 후방 이동체의 정보를 제공하여 결과적으로 사고발생을 줄일 수 있는 효과가 있다.According to the present embodiment, the driver is able to sense the cause of an accident from a remote location by processing the image together with the vehicle mounted on the vehicle, and provides information on the forward or rearward moving object when the vehicle is foggy or heavy, There is an effect.
본 실시예에 의하면, 영상을 촬영하는 블랙박스 기능에 라이다 기능을 부가하여 모니터 상에 실제 영상을 제공하는 동시에 라이다를 이용하여 객체를 인식할 수 있는 효과가 있다.According to the present embodiment, an Lada function is added to a black box function for photographing an image to provide an actual image on a monitor, and an object can be recognized using a ladder.
도 1은 본 실시예에 따른 차량용 라이다 장치를 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 차량용 라이다 장치를 차량에 적용한 도면이다.
도 3은 본 실시예에 따른 차량용 라이다 장치의 내부 모듈을 구체적으로 나타낸 도면이다.
도 4는 본 실시예에 따른 이미지 픽셀 영역을 나타낸 도면이다.1 is a view schematically showing an apparatus for use in a vehicle according to the present embodiment.
FIG. 2 is a diagram showing a vehicle applied to a vehicle for use in a vehicle according to the present embodiment.
3 is a view showing an internal module of the Rada apparatus for a vehicle according to the present embodiment.
4 is a view showing an image pixel region according to the present embodiment.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.
도 1은 본 실시예에 따른 차량용 라이다 장치를 개략적으로 나타낸 도면이다.1 is a view schematically showing an apparatus for use in a vehicle according to the present embodiment.
본 실시예에 따른 차량용 라이다 장치(110)는 라이다 발광부(112), 라이다 수광부(114), 촬상부(116)를 포함한다. 차량용 라이다 장치(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The
본 실시예에 따른 차량용 라이다 장치(110)는 차량의 전면의 영역을 인식하기 위해 레이저 펄스를 360˚로 회전하면서 방출하는 구조가 아니라, 기 설정된 방향으로 레이저 펄스를 방출하고, 기 설정된 영역을 촬영하는 이미지 센서를 두 개의 영역으로 분리하여 라이다 영역과 영상 영역을 함께 처리하는 장치를 의미한다.The present invention is not limited to a structure in which a laser pulse is rotated and rotated 360 degrees in order to recognize an area on the front surface of a vehicle, but a laser pulse is emitted in a predetermined direction, Means an apparatus that processes the image area of the image sensor together with the LIDAR area by separating the image sensor into two areas.
라이다(LIDAR: Light Detection And Ranging)는 빛 또는 주로 레이저를 사용해서 물체와의 거리나 위치를 측정하는 방식을 의미한다. 차량용 라이다 장치(110)는 라이다 발광부(112)를 이용하여 레이저 펄스를 방출하고, 반사되는 레이저 펄스를 측정해서 객체와의 거리를 측정한다.Light Detection And Ranging (LIDAR) is a method of measuring distance or position with an object using light or mainly a laser. The
차량용 라이다 장치(110)는 라이다 수광부(114)를 라이다 발광부(112)에서 나온 레이저 광선이 피사체에서 반사된 뒤 다시 라이다 센서로 돌아오기 까지의 시간을 측정해 라이다 발광부(112)로부터 주변 물체까지의 거리를 측정한다. The
차량용 라이다 장치(110)는 스마트 자동차 또는 자율주행 자동차에 적용되는 것이 바람직하다. 차량용 라이다 장치(110)는 도 2에 도시된 바와 같이, 라이다 및 영상취득 통합 센서로서 차량 내에 장착된다. 차량용 라이다 장치(110)는 운전자에게 원거리로부터 사고발생 원인을 미리 감지하고, 안개 또는 폭우 시 전방 또는 후방 이동체의 정보를 제공하여 결과적으로 사고발생을 줄일 수 있는 운전자를 위한 보조하는 동작을 수행한다.The
차량용 라이다 장치(110)는 ADAS(Advanced Driver Assistance Systems)의 기본 기능 중의 하나인 영상과 라이다 기능이 고도화되고 집적화된 센서 부품 및 모듈을 포함한다. 더불어 차량용 라이다 장치(110)는 각종 사고 및 오류 회피 알고리즘을 제공한다. 차량용 라이다 장치(110)는 도 1에 도시된 바와 같이, 영상을 촬영하는 블랙박스 기능에 라이다 기능을 부가하여 모니터 상에 실제 영상을 제공하는 동시에 라이다를 이용하여 객체를 인식한다.The
라이다 발광부(112)는 레이저 펄스를 기 설정된 방향으로 방출한다. 라이다 수광부(114)는 라이다 발광부(112)에서 방출한 레이저 펄스가 객체에 충돌하고, 객체로부터 반사된 레이저 펄스를 수신한다. 라이다 수광부(114)는 조사 가능 영역)에 있는 객체들에 의해서 반사된 레이저 펄스를 검출한다. 라이다 수광부(114)는 이미지 센서(310, 320) 내에 포함된다. 촬상부(116)는 복수의 픽셀을 포함하며, 영상을 촬영하여 기록한다. The laser
도 2는 본 실시예에 따른 차량용 라이다 장치를 차량에 적용한 도면이다.FIG. 2 is a diagram showing a vehicle applied to a vehicle for use in a vehicle according to the present embodiment.
차량용 라이다 장치(110)는 도 2에 도시된 바와 같이, 차량(120)의 전면에 배치된다. 다시 말해, 차량용 라이다 장치(110)는 차량(120)의 블랙박스가 장착되는 위치에 장착되는 것이 바람직하다. 차량용 라이다 장치(110)는 라이다 및 영상취득 통합 센서로서 차량(120) 내에서 동작한다.The
차량용 라이다 장치(110)는 레이저 펄스를 기 설정된 방향으로 방출하고, 레이저 펄스에 의해 검출된 객체로부터 반사된 레이저 펄스를 수신한다. 차량용 라이다 장치(110)는 이미지 픽셀 영역의 일측에 반사된 레이저 펄스에 의한 조사 가능 영역의 라이다 데이터를 기록하며, 이미지 픽셀 영역의 타측에 촬영된 이미지 데이터를 기록한다.The
차량용 라이다 장치(110)는 일반 차량(120)에 적용할 수도 있으며, 더 나아가 스마트 자동차 또는 자율주행 자동차에 적용될 수 있다. 차량용 라이다 장치(110)는 차량(120)에 장착되어, 운전자에게 원거리로부터 사고발생 원인을 미리 감지하고, 안개 또는 폭우 시 전방 또는 후방 이동체의 정보를 제공하여 결과적으로 사고발생을 줄일 수 있다.The
도 3은 본 실시예에 따른 차량용 라이다 장치의 내부 모듈을 구체적으로 나타낸 도면이다.3 is a view showing an internal module of the Rada apparatus for a vehicle according to the present embodiment.
본 실시예에 따른 차량용 라이다 장치(110)는 이미지 센서(310,320), 라이다 발광부(112)를 포함한다. 차량용 라이다 장치(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The
라이다 발광부(112)는 차량(120)의 전면에 배치된다. 라이다 발광부(112)는 중앙에 위치하여 레이저 펄스를 기 설정된 방향으로 방출한다. 라이다 발광부(112)는 멀티 LD(Multi LD(Laser Diode))(332), 집광 렌즈(334), 확산 렌즈(336)를 포함한다. 멀티 LD(332)는 레이저 펄스를 방출한다. 집광 렌즈(334)는 멀티 LD(332)에서 방출한 레이저 펄스를 집광한다. 확산 렌즈(336)는 집광 렌즈(334)를 경유한 레이저 펄스를 부채꼴 형상으로 확산한다. 라이다 발광부(112)는 집광 렌즈(334) 및 확산 렌즈(336)를 경유하여 레이저 펄스가 다수 레이어상에 부채꼴 레이저면을 형성하도록 한다.The
고해상도 이미지 센서(310,320)는 두 개의 고해상도 이미지 센서로서, 각각의 센서를 약 10 cm 간격으로 배치하고, 각각의 고해상도 이미지 센서(310,320) 사이에는 레이저 펄스를 출력하는 라이다 발광부(112)를 배치한다.The high-
고해상도 이미지 센서(310,320)는 이미지 픽셀(318,328)의 영역을 두 개의 공간으로 분리한다. 고해상도 이미지 센서(310,320)는 이미지 픽셀(318,328)의 영역을 도 4에 도시된 바와 같이, 라이다 영역과 영상 영역으로 구분한다. 고해상도 이미지 센서(310,320)는 라이다 영역과 영상 영역을 각각 제어하는 알고리즘을 적용한다. 고해상도 이미지 센서(310, 320)는 검출된 레이저 펄스가 픽셀 방식으로 수집하여 객체를 픽셀 방식으로 투영한다.The high
고해상도 이미지 센서(310,320)는 라이다 발광부(112)를 기준으로 기 설정된 거리로 이격되어 양측(좌우측)에 각각 배치된다. 고해상도 이미지 센서(310,320)는 레이저 펄스에 의해 검출된 객체로부터 반사된 레이저 펄스를 수신한다. 고해상도 이미지 센서(310,320)는 이미지 픽셀 영역의 일측에 반사된 레이저 펄스에 의한 조사 가능 영역의 라이다 데이터를 기록한다. 고해상도 이미지 센서(310,320)는 이미지 픽셀 영역의 타측에 촬영된 이미지 데이터를 기록한다.The high
고해상도 이미지 센서(310,320)는 이미지 픽셀(318,328)의 영역을 라이다 영역과 영상 영역으로 분리하여 각각 데이터를 처리한다. 고해상도 이미지 센서(310,320)는 이미지 픽셀(318,328)의 영역을 세로방향으로 이분할한다. 세로 이분할 영역 중 상측 영역에 반사된 레이저 펄스를 수신하기 위한 라이다용 수광 렌즈(312,322) 및 적외선 필터(316, 326)를 구비한다. 세로 이분할 영역 중 하측 영역에 영상을 촬영하기 위한 촬상 렌즈(318,328), 촬상 렌즈(318,328)로부터 들어온 빛을 전기 신호로 바꾸어 칼라 이미지로 저장해 주는 이미지 픽셀(318,328)을 구비한다.The high
세로 이분할 영역 중 상측 영역에 적외선 이미지가 저장되도록 이미지 픽셀 영역의 표면에 칼라 필터를 미적용한다. 세로 이분할 영역 중 하측 영역에 이미지 픽셀 영역에만 칼라 필터를 적용한다. 고해상도 이미지 센서(310,320)는 하나의 센서 이미지를 두 개로 분리하여 경계면에 투명도 및 이미지 일관성을 저하하여 하나의 렌즈에서 필터가 있는 부분과 없는 부분이 구분되도록 한다. The color filter is not used on the surface of the image pixel area so that the infrared image is stored in the upper area of the vertical divided area. The color filter is applied only to the image pixel region in the lower region of the vertical divided region. The high
고해상도 이미지 센서(310,320)는 복수의 픽셀을 포함한다. 고해상도 이미지 센서(310,320)는 각 픽셀의 신호를 판독한 출력 신호를 기반으로 검출된 객체까지의 거리를 결정하는 거리 결정부를 포함한다. The high
고해상도 이미지 센서(310,320)는 조사 가능 영역을 이미지 픽셀 영역에 투영하기 위한 광학적 렌즈를 포함한다.The high
고해상도 이미지 센서(310,320)는 라이다 데이터 및 이미지 데이터 각각으로부터 상호 정합을 위한 정합 기본 요소를 추출한다. 고해상도 이미지 센서(310,320)는 정합 기본 요소들 간에 상호적 일치하는 관계를 수립한다. 고해상도 이미지 센서(310,320)는 상호 일치하는 관계로 수신된 정합 기본 요소가 일치하도록 영상 데이터의 외부요소를 조정하는 정합부를 포함한다.The high
고해상도 이미지 센서(310,320)가 이미지 픽셀(318,328)의 상측 영역은 적외선 이미지를 받아들이기 위해 픽셀 표면에 아무런 칼라 필터가 설치되지 않는다. 이미지 픽셀(318,328)의 하측 영역은 일반적인 칼라 이미지 센서와 동일한 칼라 필터가 설치된다. The high-
고해상도 이미지 센서(310,320)는 라이다 수광부(114) 및 촬상부(116)를 포함한다.The high
라이다 수광부(114)는 고해상도 이미지 센서(310,320)를 세로 방향으로 2분하여 상측 부위를 이용하여 라이다 기능을 수행한다. 라이다 수광부(114)는 라이다용 수광렌즈(312,322), 적외선 필터(314,324)를 포함한다. 라이다용 수광렌즈(312,322)는 레이저 펄스에 의해 검출된 객체로부터 반사된 레이저 펄스를 일차적으로 수신한다. 적외선 필터(314,324)는 라이다용 수광렌즈(312,322)로부터 수신된 레이저 펄스를 적외선 이미지로 저장하기 위한 필터링을 수행한다.The
촬상부(116)는 고해상도 이미지 센서(310,320)를 세로 방향으로 2분할하여 하측 부위를 이용하여 HD 칼라 영상을 획득하고, 일반적인 실시간 영상 제공 기능을 수행한다. 촬상부(116)는 촬상렌즈(316,326), 이미지 픽셀(318,328)를 포함한다. 촬상렌즈(316,326)는 영상을 촬영하는 렌즈를 의미한다. 이미지 픽셀(318,328)는 촬영된 영상을 이미지로 기록한다.The
도 4는 본 실시예에 따른 이미지 픽셀 영역을 나타낸 도면이다.4 is a view showing an image pixel region according to the present embodiment.
차량용 라이다 장치(110)의 중심부에는 다수개의 펄스 레이저를 방출하는 멀티 LD(332)를 설치한다. 차량용 라이다 장치(110)는 집광 렌즈(334) 및 확산 렌즈(336)를 거쳐 다수 레이어의 부채꼴 레이저 면을 형성하도록 한다.A multi LD (332) for emitting a plurality of pulsed lasers is installed in the center of the ladder device (110) for a vehicle. The
일반적으로 하나의 센서 이미지를 커버하는 렌즈를 두 개로 분리하여 설계하여 중앙 경계면의 이미지는 버려지는 영역이 되어 투명도 및 이미지의 일관성을 잃어버리게 된다. 하지만, 본 실시예에 따른 고해상도 이미지 센서(310,320)는 하나의 렌즈를 통해 IR 필터 및 No IR 필터 구성이 가능한 설게 기법을 적용하여 사이즈를 소형화하고 저가격화가 가능하도록 할 수 있다.Generally, the lens that covers one sensor image is designed to be separated into two, so that the image at the center interface is discarded and the transparency and image consistency are lost. However, the high-
고해상도 이미지 센서(310,320)는 이미지 픽셀(318,328)의 영역을 두 개의 공간으로 분리한다. 고해상도 이미지 센서(310,320)는 이미지 픽셀(318,328)의 영역을 도 4에 도시된 바와 같이, 라이다 영역과 영상 영역으로 구분한다. 차량용 라이다 장치(110)는 라이다 수광부(114)를 구비하고, 고해상도 이미지 센서(310,320) 내의 이미지 픽셀 영역을 라이다 영역과 영상 영역으로 구분한다. 차량용 라이다 장치(110)는 고해상도 이미지 센서(310,320) 내의 구분된 이미지 픽셀 영역을 라이다 영역과 영상 영역을 각각 처리한다.The high
차량용 라이다 장치(110)는 구분된 라이다 영역에서 처리하는 라이다 데이터와 구분된 영상 영역에서 처리하는 이미지 데이터 각각으로부터 상호 정합을 위한 정합 기본 요소를 추출한다. 차량용 라이다 장치(110)는 정합 기본 요소들 간에 상호적 일치하는 관계를 수립한다. 차량용 라이다 장치(110)는 상호 일치하는 관계로 수신된 정합 기본 요소가 일치하도록 영상 데이터의 외부요소를 조정한다.The
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.
110: 차량용 라이다 장치
112: 라이다 발광부 114: 라이다 수광부
116: 촬상부
310,320: 고해상도 이미지 센서
312,322: 수광렌즈 314,324: 적외선 필터
316,326: 촬상렌즈 318,328: 이미지 픽셀
332: 멀티 LD 334: 집광 렌즈
336: 확산 렌즈110: vehicle ladder device
112: Lidar light emitting part 114: Lidar light receiving part
116:
310,320: High resolution image sensor
312, 322: receiving
316, 326:
332: Multi LD 334: condensing lens
336: diffusion lens
Claims (10)
차량의 전면에 배치되며, 중앙에 위치하여 레이저 펄스를 기 설정된 방향으로 방출하는 라이다 발광부; 및
상기 라이다 발광부를 기준으로 기 설정된 거리로 이격되어 양측(좌우측)에 각각 배치되며, 상기 레이저 펄스에 의해 검출된 객체로부터 반사된 레이저 펄스를 수신하며, 이미지 픽셀 영역의 일측에 상기 반사된 레이저 펄스에 의한 조사 가능 영역의 라이다 데이터를 기록하며, 이미지 픽셀 영역의 타측에 촬영된 이미지 데이터를 기록하는 고해상도 이미지 센서;를 포함하되,
상기 고해상도 이미지 센서는,
이미지 픽셀 영역을 세로방향으로 이분할하며,
세로 이분할 영역 중 상측 영역에 상기 반사된 레이저 펄스를 수신하기 위한 라이다용 수광 렌즈 및 적외선 필터를 구비하고,
세로 이분할 영역 중 하측 영역에 영상을 촬영하기 위한 촬상 렌즈, 상기 촬상 렌즈로부터 들어온 빛을 전기 신호로 바꾸어 칼라 이미지로 저장해 주는 이미지 픽셀을 구비하는 것을 특징으로 하는 차량용 라이다 장치.In a LIDAR (Light Detection And Ranging) system,
A light emitting unit disposed at a front surface of the vehicle and positioned at a center to emit a laser pulse in a predetermined direction; And
A plurality of laser pulses arranged on both sides (left and right sides) spaced from each other by a predetermined distance on the basis of the Lidar emission portion, receiving laser pulses reflected from an object detected by the laser pulses, And a high-resolution image sensor for recording the radar data of the irradiable region by the image sensor and recording photographed image data on the other side of the image pixel region,
The high resolution image sensor includes:
Divides the image pixel region in the longitudinal direction,
And an infrared ray filter for receiving the reflected laser pulses in an upper region of the vertical divided region,
An imaging lens for imaging an image in a lower region of the vertical divided region, and an image pixel for converting light received from the imaging lens into an electrical signal and storing the electrical signal as a color image.
상기 라이다 발광부는,
상기 레이저 펄스를 방출하는 멀티 LD(Multi LD(Laser Diode));
상기 레이저 펄스를 집광하는 집광 렌즈; 및
상기 레이저 펄스를 부채꼴 형상으로 확산하는 확산 렌즈
를 포함하는 것을 특징으로 하는 차량용 라이다 장치.The method according to claim 1,
The ladder-
A multi LD (Laser Diode) emitting the laser pulse;
A condenser lens for condensing the laser pulse; And
A diffusion lens for diffusing the laser pulse in a sector shape
And a control unit for controlling the vehicle.
상기 라이다 발광부는 상기 집광 렌즈 및 상기 확산 렌즈를 경유하여 상기 레이저 펄스가 다수 레이어상에 부채꼴 레이저면을 형성하도록 하는 것을 특징으로 하는 차량용 라이다 장치.3. The method of claim 2,
Wherein the laser light emitting portion forms the sector laser surface on a plurality of layers of the laser pulses via the condenser lens and the diffusion lens.
상기 고해상도 이미지 센서는,
이미지 픽셀 영역을 라이다 영역과 영상 영역으로 분리하여 각각 데이터를 처리하는 것을 특징으로 하는 차량용 라이다 장치.The method according to claim 1,
The high resolution image sensor includes:
And separates the image pixel region into a ladder region and an image region, and processes the data.
상기 상측 영역에 적외선 이미지가 저장되도록 이미지 픽셀 영역의 표면에 칼라 필터를 미적용하며, 상기 하측 영역에 이미지 픽셀 영역에만 칼라 필터를 적용하는 것을 특징으로 하는 차량용 라이다 장치.The method according to claim 1,
Wherein a color filter is not applied to a surface of an image pixel region so that an infrared image is stored in the upper region, and a color filter is applied only to an image pixel region in the lower region.
상기 고해상도 이미지 센서는,
하나의 센서 이미지를 두 개로 분리하여 경계면에 투명도 및 이미지 일관성을 저하하여 하나의 렌즈에서 필터가 있는 부분과 없는 부분이 구분되도록 하는 것을 특징으로 하는 차량용 라이다 장치.The method according to claim 6,
The high resolution image sensor includes:
Wherein one sensor image is divided into two to reduce transparency and image consistency at the interface so that a portion of the lens with the filter is distinguished from the portion without the filter.
상기 고해상도 이미지 센서는,
복수의 픽셀을 포함하며, 각 픽셀의 신호를 판독한 출력 신호를 기반으로 검출된 상기 객체까지의 거리를 결정하는 거리 결정부를 추가로 포함하는 것을 특징으로 하는 차량용 라이다 장치.The method according to claim 1,
The high resolution image sensor includes:
Further comprising a distance determination unit that includes a plurality of pixels and determines a distance to the detected object based on an output signal from which a signal of each pixel is read out.
상기 고해상도 이미지 센서는,
상기 조사 가능 영역을 이미지 픽셀 영역에 투영하기 위한 광학적 렌즈를 포함하는 것을 특징으로 하는 차량용 라이다 장치.The method according to claim 1,
The high resolution image sensor includes:
And an optical lens for projecting the irradiable region onto an image pixel region.
상기 고해상도 이미지 센서는,
상기 라이다 데이터 및 상기 이미지 데이터 각각으로부터 상호 정합을 위한 정합 기본 요소를 추출하고, 상기 정합 기본 요소들 간에 상호적 일치하는 관계를 수립하고, 상기 상호 일치하는 관계로 수신된 정합 기본 요소가 일치하도록 영상 데이터의 외부요소를 조정하는 정합부를 추가로 포함하는 것을 특징으로 하는 차량용 라이다 장치.
The method according to claim 1,
The high resolution image sensor includes:
Extracting a matching primitive element for mutual matching from each of the LIDAR data and the image data, establishing a mutually matching relationship between the matching primitive elements, and matching the received matching primitive elements Further comprising a matching unit for adjusting an external element of the image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170149556A KR101868293B1 (en) | 2017-11-10 | 2017-11-10 | Apparatus for Providing Vehicle LIDAR |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170149556A KR101868293B1 (en) | 2017-11-10 | 2017-11-10 | Apparatus for Providing Vehicle LIDAR |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101868293B1 true KR101868293B1 (en) | 2018-07-17 |
Family
ID=63048791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170149556A KR101868293B1 (en) | 2017-11-10 | 2017-11-10 | Apparatus for Providing Vehicle LIDAR |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101868293B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200077004A (en) * | 2018-12-20 | 2020-06-30 | 전자부품연구원 | Road Object Map Generation Method using Road Radar Information Generated by V2X Base Station |
WO2020263390A1 (en) * | 2019-06-28 | 2020-12-30 | Waymo Llc | Beam homogenization for occlusion resistance |
CN112902945A (en) * | 2019-11-19 | 2021-06-04 | 珠海市一微半导体有限公司 | Apply to mobile robot of indoor navigation |
CN113138393A (en) * | 2020-01-17 | 2021-07-20 | 阿里巴巴集团控股有限公司 | Environment sensing system, control device and environment sensing data fusion device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0821878A (en) * | 1994-07-07 | 1996-01-23 | Nec Corp | Laser surveying device |
KR20050099623A (en) * | 2003-02-13 | 2005-10-14 | 아담오펠아크티엔게젤샤프트 | Device for a motor vehicle used for the three-dimensional detection of a scene inside or outside said motor vehicle |
KR20130015326A (en) * | 2011-08-03 | 2013-02-14 | 삼성전기주식회사 | Camera system and method for recognition distance using the same |
KR20140011810A (en) * | 2012-07-20 | 2014-01-29 | 이선구 | Sensor system for detecting a object and drive method of the same |
JP2014228351A (en) * | 2013-05-21 | 2014-12-08 | 株式会社デンソー | Object recognition device |
KR20150011098A (en) * | 2013-07-22 | 2015-01-30 | 현대모비스 주식회사 | Image Processing Method and Apparatus therefor |
-
2017
- 2017-11-10 KR KR1020170149556A patent/KR101868293B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0821878A (en) * | 1994-07-07 | 1996-01-23 | Nec Corp | Laser surveying device |
KR20050099623A (en) * | 2003-02-13 | 2005-10-14 | 아담오펠아크티엔게젤샤프트 | Device for a motor vehicle used for the three-dimensional detection of a scene inside or outside said motor vehicle |
KR20130015326A (en) * | 2011-08-03 | 2013-02-14 | 삼성전기주식회사 | Camera system and method for recognition distance using the same |
KR20140011810A (en) * | 2012-07-20 | 2014-01-29 | 이선구 | Sensor system for detecting a object and drive method of the same |
JP2014228351A (en) * | 2013-05-21 | 2014-12-08 | 株式会社デンソー | Object recognition device |
KR20150011098A (en) * | 2013-07-22 | 2015-01-30 | 현대모비스 주식회사 | Image Processing Method and Apparatus therefor |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200077004A (en) * | 2018-12-20 | 2020-06-30 | 전자부품연구원 | Road Object Map Generation Method using Road Radar Information Generated by V2X Base Station |
KR102177268B1 (en) * | 2018-12-20 | 2020-11-10 | 한국전자기술연구원 | Road Object Map Generation Method using Road Radar Information Generated by V2X Base Station |
WO2020263390A1 (en) * | 2019-06-28 | 2020-12-30 | Waymo Llc | Beam homogenization for occlusion resistance |
US11525892B2 (en) | 2019-06-28 | 2022-12-13 | Waymo Llc | Beam homogenization for occlusion resistance |
US11789123B2 (en) | 2019-06-28 | 2023-10-17 | Waymo Llc | Beam homogenization for occlusion resistance |
CN112902945A (en) * | 2019-11-19 | 2021-06-04 | 珠海市一微半导体有限公司 | Apply to mobile robot of indoor navigation |
CN113138393A (en) * | 2020-01-17 | 2021-07-20 | 阿里巴巴集团控股有限公司 | Environment sensing system, control device and environment sensing data fusion device |
CN113138393B (en) * | 2020-01-17 | 2024-05-31 | 浙江菜鸟供应链管理有限公司 | Environment sensing system, control device and environment sensing data fusion device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11427193B2 (en) | Methods and systems for providing depth maps with confidence estimates | |
US11346951B2 (en) | Object detection system | |
US11270134B2 (en) | Method for estimating distance to an object via a vehicular vision system | |
CN106650708B (en) | Automatic driving obstacle vision detection method and system | |
KR101868293B1 (en) | Apparatus for Providing Vehicle LIDAR | |
KR101030763B1 (en) | Image acquisition unit, acquisition method and associated control unit | |
EP2889641B1 (en) | Image processing apparatus, image processing method, program and image processing system | |
KR102059244B1 (en) | Apparatus for Light Detection and Ranging | |
US9823340B2 (en) | Method for time of flight modulation frequency detection and illumination modulation frequency adjustment | |
JP2020003236A (en) | Distance measurement device, moving body, distance measurement method, and distance measurement system | |
US11418695B2 (en) | Digital imaging system including plenoptic optical device and image data processing method for vehicle obstacle and gesture detection | |
JP6782433B2 (en) | Image recognition device | |
EP3428677B1 (en) | A vision system and a vision method for a vehicle | |
US20220137218A1 (en) | Detecting Retroreflectors in NIR Images to Control LIDAR Scan | |
JP7255259B2 (en) | detector, rangefinder, time measurement method, program, moving object | |
US20180276844A1 (en) | Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device | |
US20210286082A1 (en) | Distance measuring device and distance measuring device control method | |
US20210291750A1 (en) | Vehicle-mounted camera and drive control system using vehicle-mounted camera | |
JP7525936B2 (en) | Method and system for providing a depth map with confidence estimates - Patents.com | |
CN211032395U (en) | Autonomous vehicle | |
WO2023152422A1 (en) | Light-emitting device | |
KR20220089788A (en) | Method And Apparatus for Parking Assistance Using Camera for Vehicle | |
CN115606194A (en) | Sensing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |