KR20220087693A - Device for integrating camera and lidar information - Google Patents

Device for integrating camera and lidar information Download PDF

Info

Publication number
KR20220087693A
KR20220087693A KR1020200177986A KR20200177986A KR20220087693A KR 20220087693 A KR20220087693 A KR 20220087693A KR 1020200177986 A KR1020200177986 A KR 1020200177986A KR 20200177986 A KR20200177986 A KR 20200177986A KR 20220087693 A KR20220087693 A KR 20220087693A
Authority
KR
South Korea
Prior art keywords
information
lidar
resolution
image
distance
Prior art date
Application number
KR1020200177986A
Other languages
Korean (ko)
Inventor
김기범
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200177986A priority Critical patent/KR20220087693A/en
Publication of KR20220087693A publication Critical patent/KR20220087693A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 카메라와 라이다 정보 통합 장치에 대한 것이다. 본 발명은, 차량 주변의 영상을 촬영하는 카메라부; 물체와의 거리를 감지하는 라이다 센서; 및 상기 라이다 센서의 거리 정보와 상기 카메라부의 영상 정보의 프레임 차이 및 해상도 차이에 따라 상기 라이다 센서의 상기 거리 정보를 산출하는 거리 측정부;를 포함하고, 상기 거리 측정부는, 상기 카메라부의 상기 영상 정보와 상기 라이다 센서의 상기 거리 정보의 프레임 수가 다를 경우, 상기 차량의 이동 정보를 이용하여 상기 거리 정보를 상기 영상 정보의 프레임 수에 대응하도록 보간 처리하는 프레임 조정부와, 상기 카메라부의 상기 영상의 해상도와 상기 라이다 센서의 상기 거리 정보의 해상도가 다를 경우, 상기 거리 정보의 해상도를 상기 영상 정보에 대응하도록 처리하는 해상도 조정부를 포함하는 것을 특징으로 하는 카메라와 라이다 정보 통합 장치를 제공한다. The present invention relates to an apparatus for integrating camera and lidar information. The present invention, a camera unit for taking an image around the vehicle; a lidar sensor that detects the distance to an object; and a distance measuring unit configured to calculate the distance information of the lidar sensor according to a frame difference and a resolution difference between the distance information of the lidar sensor and the image information of the camera unit; When the number of frames of the image information and the distance information of the lidar sensor is different, a frame adjusting unit that interpolates the distance information to correspond to the number of frames of the image information using the vehicle movement information; and the image of the camera unit When the resolution of the LIDAR sensor is different from the resolution of the distance information of the lidar sensor, it provides a camera and lidar information integration device comprising a resolution adjusting unit that processes the resolution of the distance information to correspond to the image information. .

Description

카메라와 라이다 정보 통합 장치 {DEVICE FOR INTEGRATING CAMERA AND LIDAR INFORMATION}DEVICE FOR INTEGRATING CAMERA AND LIDAR INFORMATION

본 발명은 카메라와 라이다 정보 통합 장치에 대한 것이다. The present invention relates to an apparatus for integrating camera and lidar information.

자동차에 탑재되는 전자 장치 및 관련 센서 기술의 발전에 따라 운전자의 편의/안전을 지원하는 ADAS(Advanced Driver Assistance System) 기능이 널리 사용되고 있다. 또한, 차량의 자율주행 기술도 괄목한만한 발전이 이루어지고 있다. With the development of electronic devices mounted in automobiles and related sensor technologies, an ADAS (Advanced Driver Assistance System) function that supports driver's convenience/safety has been widely used. In addition, the autonomous driving technology of the vehicle is making remarkable progress.

차량 센서 기술에서, 물체를 감지하기 위한 센서로 카메라와 같은 이미징 장치와 레이다(Radar)나 라이다(Lidar)가 개별적 또는 통합 형태로 사용된다. In vehicle sensor technology, as a sensor for detecting an object, an imaging device such as a camera and radar or lidar are used individually or in an integrated form.

카메라와 라이다의 통합 사용을 통해 물체와의 거리를 측정하는 기술로서, 본 발명자는 대한민국 등록특허 제10-2176376호에 차량 주행 정보를 에피폴라 지오메트리(Epipolar Geometry)에 적용하여 카메라를 통해 획득한 영상 정보와 라이다를 통해 획득한 라이다 정보 간의 리프레쉬 비율차이로 인한 부족한 거리 정보를 보간하는 방안을 제시하였다. 위 선행 특허에서는, 라이다 센서의 스캔 주기와 카메라의 주파수가 상이한 점을 보완하기 위하여, 카메라 주파수와 라이다 주파수를 비교하여 물체의 거리를 보간하는 것을 기재하고 있다(선행 특허의 도 3 참조).As a technology for measuring the distance to an object through the integrated use of a camera and lidar, the present inventor applies vehicle driving information to epipolar geometry in Korean Patent No. 10-2176376 and obtained through the camera. A method for interpolating insufficient distance information due to the difference in the refresh rate between image information and lidar information acquired through lidar was proposed. In the preceding patent, in order to compensate for the difference between the scan period of the lidar sensor and the frequency of the camera, it is described that the distance of the object is interpolated by comparing the camera frequency and the lidar frequency (refer to FIG. 3 of the prior patent) .

등록특허공보 제10-2176376호Registered Patent Publication No. 10-2176376

위에 제시된 선행 특허에서는, 라이다와 카메라의 스캔 주기 및 주파수 차이를 보간하는 것을 제시하고 있으나, 카메라에서 획득된 영상의 해상도와 라이다에서 수신된 거리 정보의 해상도가 달라 카메라에서 획득된 영상에서의 물체에 대한 거리 정보를 정확히 매칭시키지 못하는 것에 대해서는 해결 수단을 제시하지 못하였다.The prior patent presented above suggests interpolating the scan period and frequency difference between the lidar and the camera, but the resolution of the image acquired from the camera and the resolution of the distance information received from the lidar are different. It did not provide a solution for the inability to accurately match distance information to an object.

이에 본 발명에서는, 카메라와 라이다의 해상도 차이를 보간하여 카메라에서 제공되는 영상에 라이다에서 획득한 거리 정보를 매칭하는 카메라와 라이다 정보 통합 장치를 제공하는 것을 목적으로 한다. Accordingly, an object of the present invention is to provide an apparatus for integrating camera and lidar information that matches distance information obtained from lidar with an image provided from the camera by interpolating the difference in resolution between the camera and lidar.

본 발명은, 차량 주변의 영상을 촬영하는 카메라부; 물체와의 거리를 감지하는 라이다 센서; 및 상기 라이다 센서의 거리 정보와 상기 카메라부의 영상 정보의 프레임 차이 및 해상도 차이에 따라 상기 라이다 센서의 상기 거리 정보를 산출하는 거리 측정부;를 포함하고, 상기 거리 측정부는, 상기 카메라부의 상기 영상 정보와 상기 라이다 센서의 상기 거리 정보의 프레임 수가 다를 경우, 상기 차량의 이동 정보를 이용하여 상기 거리 정보를 상기 영상 정보의 프레임 수에 대응하도록 보간 처리하는 프레임 조정부와, 상기 카메라부의 상기 영상의 해상도와 상기 라이다 센서의 상기 거리 정보의 해상도가 다를 경우, 상기 거리 정보의 해상도를 상기 영상 정보에 대응하도록 처리하는 해상도 조정부를 포함하는 것을 특징으로 하는 카메라와 라이다 정보 통합 장치를 제공한다. The present invention, a camera unit for taking an image around the vehicle; a lidar sensor that detects the distance to an object; and a distance measuring unit configured to calculate the distance information of the lidar sensor according to a frame difference and a resolution difference between the distance information of the lidar sensor and the image information of the camera unit; When the number of frames of the image information and the distance information of the lidar sensor is different, a frame adjusting unit that interpolates the distance information to correspond to the number of frames of the image information using the vehicle movement information; and the image of the camera unit When the resolution of the LIDAR sensor is different from the resolution of the distance information of the lidar sensor, it provides a camera and lidar information integration device comprising a resolution adjusting unit that processes the resolution of the distance information to correspond to the image information. .

본 발명에 따르면, 라이다 스캔 정보와 이미징 장치의 영상을 효과적으로 매칭시킬 수 있는 장점이 있다. 특히, 이미징 장치에서 제공하는 영상의 해상도와 라이다에서 제공하는 라이다 정보의 해상도를 매칭하여 보다 정확한 통합 정보를 획득할 수 있는 장점이 있다. According to the present invention, there is an advantage in that the lidar scan information and the image of the imaging device can be effectively matched. In particular, there is an advantage in that it is possible to obtain more accurate integrated information by matching the resolution of the image provided by the imaging device and the resolution of the lidar information provided by the lidar.

도 1 은 본 발명의 일 실시예에 따른 이미징 장치와 라이다 통합 장치의 블럭 구성도이다.
도 2는 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서, 영상 정보와 라이다 센서 획득 정보의 리프레쉬 차이로 인한 부족한 거리 정보를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서, 영상 정보와 라이다 센서 획득 정보의 해상도 차이로 인해 부족한 거리 정보를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 시간에 따른 차량의 이동을 예시한 도면이다.
도 5은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 해상도 조정부의 상세 구성을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 라이다 이미지를 보간 방식으로 해상도 조정하는 것을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 라이다 이미지를 모션 벡터를 이용하여 해상도 조정하는 것을 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 라이다 이미지를 인공 신경망을 이용하여 해상도 조정하는 것을 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 라이다 이미지를 인공 신경망을 이용하여 해상도 조정할 때의 Feature map을 예시적으로 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 해상도 조정부의 제1 거리정보 산출부의 예시적인 블럭도이다.
도 11은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 해상도 조정부의 제2 거리정보 산출부의 예시적인 블럭도이다.1 is a block diagram of an imaging apparatus and a lidar integrated apparatus according to an embodiment of the present invention.
2 is a diagram illustrating insufficient distance information due to a refresh difference between image information and lidar sensor acquisition information in the apparatus for integrating camera and lidar information according to an embodiment of the present invention.
3 is a diagram illustrating insufficient distance information due to a difference in resolution between image information and information obtained from a lidar sensor in an apparatus for integrating camera and lidar information according to an embodiment of the present invention.
4 is a diagram illustrating movement of a vehicle according to time in an apparatus for integrating camera and lidar information according to an embodiment of the present invention.
5 is a diagram illustrating a detailed configuration of a resolution adjusting unit in an apparatus for integrating camera and lidar information according to an embodiment of the present invention.
6 is a diagram illustrating resolution adjustment of a lidar image in an interpolation method in the apparatus for integrating camera and lidar information according to an embodiment of the present invention.
7 is a diagram illustrating an example of adjusting a resolution of a lidar image using a motion vector in an apparatus for integrating camera and lidar information according to an embodiment of the present invention.
8 is a diagram illustrating an example of adjusting a resolution of a lidar image using an artificial neural network in the apparatus for integrating camera and lidar information according to an embodiment of the present invention.
9 is a diagram exemplarily illustrating a feature map when the resolution of a lidar image is adjusted using an artificial neural network in the apparatus for integrating camera and lidar information according to an embodiment of the present invention.
10 is an exemplary block diagram of a first distance information calculating unit of a resolution adjusting unit in an apparatus for integrating camera and lidar information according to an embodiment of the present invention.
11 is an exemplary block diagram of a second distance information calculating unit of a resolution adjusting unit in an apparatus for integrating camera and lidar information according to an embodiment of the present invention.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.Hereinafter, the content of the present invention will be described clearly and in detail to the extent that a person skilled in the art can easily implement it using the drawings.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.Since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 혹은 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.The above terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it is understood that other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 혹은 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Other expressions describing the relationship between elements, such as "between" and "immediately between" or "neighboring to" and "directly adjacent to", should be interpreted similarly. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 출원에서, "포함하다" 혹은 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 혹은 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 혹은 이들을 조합한 것들의 존재 혹은 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In the present application, terms such as “comprise” or “have” are intended to designate the existence of an embodied feature, number, step, operation, component, part, or combination thereof, but one or more other features or numbers , it should be understood that it does not preclude the possibility of the existence or addition of steps, operations, components, parts, or combinations thereof. Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as meanings consistent with the context of the related art, and unless explicitly defined in the present application, they are not to be interpreted in an ideal or excessively formal meaning. .

도 1 은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치의 블럭 구성도이다.1 is a block diagram of an apparatus for integrating camera and lidar information according to an embodiment of the present invention.

도 1 을 참조하면, 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치는 카메라부(10), 라이다 센서(20), 판단부(30), 거리 측정부(40) 및 맵핑부(50)를 포함한다.1 , an apparatus for integrating camera and lidar information according to an embodiment of the present invention includes a camera unit 10 , a lidar sensor 20 , a determination unit 30 , a distance measurement unit 40 , and a mapping unit (50).

카메라부(10)는 차량에 설치되어 차량 전방의 영상을 촬영한다. 카메라부(10)는 예컨데 60Hz의 카메라 주파수로 초당 60 프레임을 획득할 수 있다. 참고로, 본 실시예에서는 60Hz의 카메라 주파수로 60 프레임을 획득하는 것을 예시로 설명하였으나, 본 발명의 기술적 범위는 이에 한정되는 것은 아니다. 예컨데, 30Hz의 카메라 주파수의 카메라부(10)도 이용 가능하다.The camera unit 10 is installed in the vehicle to take an image in front of the vehicle. The camera unit 10 may acquire 60 frames per second at a camera frequency of, for example, 60 Hz. For reference, the present embodiment has been described as an example of acquiring 60 frames with a camera frequency of 60 Hz, but the technical scope of the present invention is not limited thereto. For example, the camera unit 10 with a camera frequency of 30 Hz can also be used.

라이다 센서(20)는 차량 전방에 레이저를 방출하고 물체에 반사되어 되돌아 오는 레이저를 수신하여 물체와의 거리를 측정한다. 라이다 센서(20)는 차량 전방에 레이저를 방출하는 송신부(미도시), 송신부에 의해 방출된 후 물체에 반사되어 되돌아 오는 레이저를 수신하는 수신부(미도시), 및 수신부에 의해 레이저가 수신되면 송신부에 의한 레이저 방출 시각과 수신부에 의해 레이저가 수신된 시각 간의 시간차를 이용하여 차량 전방의 물체와의 거리를 측정하는 거리 산출부(미도시)를 포함한다.The lidar sensor 20 emits a laser in front of the vehicle and receives the laser reflected back from the object to measure the distance to the object. The lidar sensor 20 includes a transmitter (not shown) that emits a laser to the front of the vehicle, a receiver (not shown) that receives a laser that is emitted by the transmitter and then reflects back to an object (not shown), and when the laser is received by the receiver and a distance calculator (not shown) for measuring a distance to an object in front of the vehicle by using a time difference between the laser emission time by the transmitter and the time the laser is received by the receiver.

라이다 센서(20)는 카메라부(10)에 의해 촬영되는 촬영 영역으로 레이저를 조사한다. 라이다 센서(20)는 회전 구동되어 소정 스캔 주파수(예를 들면, 10 Hz)로 물체에 레이저를 조사하여 물체와의 거리를 측정할 수 있다. 즉, 라이다 센서(20)는 스캔 방식의 라이다일 수 있다. 다른 실시예로서, 상기 라이다 센서(20)는 비스캔 방식으로 구현되는 것도 가능할 수 있다. The lidar sensor 20 irradiates a laser to the photographing area photographed by the camera unit 10 . The lidar sensor 20 is rotationally driven to irradiate a laser to the object at a predetermined scan frequency (eg, 10 Hz) to measure the distance to the object. That is, the lidar sensor 20 may be a scan type lidar. As another embodiment, the lidar sensor 20 may be implemented in a non-scan method.

판단부(30)는 카메라부(10)에 의해 영상이 촬영되고 라이다 센서(20)에 의해 물체와의 거리 측정에 대한 정보가 처리되면, 라이다 센서(20)의 측정 결과에 대한 보간 여부를 판단한다. When an image is captured by the camera unit 10 and information on distance measurement with an object is processed by the lidar sensor 20 , the determination unit 30 interpolates whether the measurement result of the lidar sensor 20 is interpolated. to judge

도 2는 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서, 영상 정보와 라이다 센서 획득 정보의 리프레쉬 차이로 인한 부족한 거리 정보를 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서, 영상 정보와 라이다 센서 획득 정보의 해상도 차이로 인해 부족한 거리 정보를 나타낸 도면이다. 2 is a view showing insufficient distance information due to a refresh difference between image information and lidar sensor acquisition information in the camera and lidar information integration apparatus according to an embodiment of the present invention, and FIG. 3 is an embodiment of the present invention In the apparatus for integrating camera and lidar information according to an example, it is a diagram showing insufficient distance information due to a difference in resolution between image information and lidar sensor acquisition information.

도 2의 경우를 설명하면, 라이다 센서(20)가 스캔 방식이라고 할 때, 라이다 센서(20)의 스캔 주기 사이에 존재하는 카메라부(10)의 프레임(2번 프레임 내지 6번 프레임, 8번 프레임 내지 12번 프레임, 14번 프레임 내지 18번 프레임, 20번 프레임 내지 24번 프레임, 26번 프레임 내지 30번 프레임, 32번 프레임 내지 36번 프레임, 38번 프레임 내지 42번 프레임, 44번 프레임 내지 48번 프레임, 50번 프레임 내지 54번 프레임, 56번 프레임 내지 60번 프레임)은 스캔 데이터와 매핑될 수 없으며, 그 결과 해당 프레임들에 대해서는 물체와의 거리가 존재하지 않게 된다.2, when the lidar sensor 20 is a scan method, the frames (frames 2 to 6, Frames 8 to 12, frames 14 to 18, frames 20 to 24, frames 26 to 30, frames 32 to 36, frames 38 to 42, and 44 Frames to 48, 50 to 54, and 56 to 60) cannot be mapped with scan data, and as a result, there is no distance to an object for the corresponding frames.

도 3의 경우를 참조하면, 라이다 센서(20)에서 1 프레임당 640×480의 해상도를 갖는 거리 정보를 제공하고, 카메라부(10)는 1 프레임당 1920×1080의 해상도를 갖는 영상 정보를 제공한다. 이에 따라, 카메라부(10)에서 제공하는 영상의 픽셀에 대하여 라이다 센서(20)에서 제공하는 거리 정보가 매칭되지 않는 픽셀이 존재한다.Referring to FIG. 3 , the lidar sensor 20 provides distance information having a resolution of 640×480 per frame, and the camera unit 10 provides image information having a resolution of 1920×1080 per frame. to provide. Accordingly, there are pixels in which distance information provided by the lidar sensor 20 does not match with respect to the pixels of the image provided by the camera unit 10 .

판단부(30)는 도 2 또는 도 3의 경우에 어떠한 보간 처리를 수행하여야 할지를 판단한다. The determination unit 30 determines which interpolation processing is to be performed in the case of FIG. 2 or FIG. 3 .

거리 측정부(40)는, 판단부(30)의 판단에 따라 라이다 센서(20)에서 제공하는 거리 정보를 보간하는 기능을 수행한다. 거리 측정부(40)는, 프레임 조정부(42)와 해상도 조정부(44)를 포함할 수 있다. The distance measuring unit 40 performs a function of interpolating the distance information provided by the lidar sensor 20 according to the determination of the determining unit 30 . The distance measuring unit 40 may include a frame adjusting unit 42 and a resolution adjusting unit 44 .

프레임 조정부(42)는 도 2와 같은 경우에 대하여, 거리 정보가 존재하지 않는 영상 프레임에 대하여 거리 정보를 추정 또는 보간한다. The frame adjuster 42 estimates or interpolates distance information for an image frame in which distance information does not exist in the case shown in FIG. 2 .

영상의 프레임 중 라이다 센서(20)의 스캔 주기 사이에 존재하는 프레임에 대해 물체와의 거리를 보간하는 것으로 결정되면, 프레임 조정부(42)는 차량의 주행에 따른 차량 정보를 이용하여 차량 이동에 따른 차량 이동거리를 검출하고, 차량 이동 전후의 영상 내 물체의 위치 픽셀 좌표와 차량 이동거리를 기반으로, 영상의 프레임 중 라이다 센서(20)의 스캔 주기 사이에 존재하는 프레임 각각에 대응되게 물체와의 거리를 각각 측정한다.If it is determined that the distance to the object is interpolated with respect to a frame existing between the scan periods of the lidar sensor 20 among the frames of the image, the frame adjusting unit 42 uses vehicle information according to the driving of the vehicle to control the movement of the vehicle. The vehicle movement distance is detected according to the vehicle movement distance, and based on the pixel coordinates of the position of the object in the image before and after the vehicle movement and the vehicle movement distance, the object corresponds to each frame existing between the scan period of the lidar sensor 20 among the frames of the image Measure the distance to and

도 4는 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 시간에 따른 차량의 이동을 예시한 도면이다. 4 is a diagram illustrating movement of a vehicle according to time in an apparatus for integrating camera and lidar information according to an embodiment of the present invention.

프레임 조정부(42)는 차량의 조향각, 속도, 이동 거리 등에 대한 정보를 입력받고 시간에 따른 차량의 이동 상태를 추정한다. 차량이 ④번 위치에서 라이다 센서(20)의 거리 정보가 출력된 것으로 가정한다. 차량이 ④번 위치에서 ⑤번 위치로 이동한 경우, ④, ⑤를 잇는 선분(카메라부(10)의 위치를 기준으로 꼭지점을 설정)과, 차량의 종축에 수직한 선분을 이어 만나는 가상의 삼각형(T1)이 형성된다. 다른 가상의 삼각형(T2)은 ④, ⑤와 물체(장애물)를 이어 형성될 수 있다. The frame adjusting unit 42 receives information on a steering angle, speed, moving distance, etc. of the vehicle and estimates the moving state of the vehicle over time. It is assumed that the vehicle has outputted distance information of the lidar sensor 20 from the position ④. When the vehicle moves from position ④ to position ⑤, an imaginary triangle that connects a line segment connecting ④ and ⑤ (a vertex is set based on the position of the camera unit 10) and a line segment perpendicular to the vertical axis of the vehicle (T1) is formed. Another imaginary triangle T2 may be formed by connecting ④, ⑤ and an object (obstacle).

가상의 삼각형(T1)의 각 선분의 길이는 차량 상태 정보 등으로부터 산출할 수 있다. The length of each line segment of the virtual triangle T1 may be calculated from vehicle state information or the like.

가상 삼각형(T2)의 세 개의 변(도 4의 ②,③,⑥) 중 일측 변(도 5의 ②)의 길이는 이미 알고 있는 정보이고, 나머지 두 변(도 4의 ③,⑥)의 길이는 차량이 이동하기 전의 카메라부(10)에서 촬영한 영상의 물체의 위치, 및 차량이 이동한 후의 카메라부(10)에서 촬영한 영상의 물체와의 위치를 에피폴라 지오메트리(Epipolar geometry)에 적용하여 산출할 수 있다.The length of one side (② in FIG. 5) among the three sides (②,③,⑥ in FIG. 4) of the virtual triangle T2 is known information, and the length of the other two sides (③,⑥ in FIG. 4) The position of the object of the image photographed by the camera unit 10 before the vehicle moves and the position with the object of the image photographed by the camera unit 10 after the vehicle moves are applied to epipolar geometry can be calculated by

도 3의 경우에 대하여 설명하면, 카메라부(10)에 의해 획득된 1번 프레임과 1번 스캔 데이터가 획득된 상태에서, 프레임 조정부(42)는 차량 정보를 이용하여 2번 프레임을 획득하면 상기한 바와 같은 과정을 수행하여 차량 이동거리를 기반으로 한 2번 프레임에 대응되는 물체와의 거리를 획득한다. 이러한 과정은 다음 스캔 데이터를 획득할 때까지 반복적으로 수행됨으로써, 스캔 주기 사이에 존재하는 프레임(2번 프레임 내지 6번 프레임, 8번 프레임 내지 12번 프레임, 14번 프레임 내지 18번 프레임, 20번 프레임 내지 24번 프레임, 26번 프레임 내지 30번 프레임, 32번 프레임 내지 36번 프레임, 38번 프레임 내지 42번 프레임, 44번 프레임 내지 48번 프레임, 50번 프레임 내지 54번 프레임, 56번 프레임 내지 60번 프레임) 각각에 대응되는 물체와의 거리를 획득하게 된다.3, when frame 1 and scan data 1 obtained by the camera unit 10 are obtained, the frame adjuster 42 obtains frame 2 using vehicle information. By performing the same process as described above, the distance to the object corresponding to the second frame is obtained based on the moving distance of the vehicle. This process is repeatedly performed until the next scan data is acquired, so that frames existing between scan periods (frames 2 to 6, frames 8 to 12, frames 14 to 18, and frames 20) Frames to 24, 26 to 30, 32 to 36, 38 to 42, 44 to 48, 50 to 54, and 56 to frame 60), the distance to the object corresponding to each is obtained.

이와 같이, 프레임 조정부(42)가 영상의 프레임 중 라이다 센서(20)의 스캔 주기 사이에 존재하는 프레임 각각에 대응되게 물체와의 거리를 각각 측정함에 따라, 맵핑부(50)는 이들 영상의 프레임 중 라이다 센서(20)의 스캔 주기 사이에 존재하는 프레임 각각에 대응되게 물체와의 거리를 해당 프레임 각각에 일대일 맵핑시킨다.As such, as the frame adjuster 42 measures the distance to the object corresponding to each frame existing between the scan periods of the lidar sensor 20 among the frames of the image, the mapping unit 50 determines the The distance to the object is mapped one-to-one to each frame corresponding to each frame existing between the scan periods of the lidar sensor 20 among the frames.

도 5은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 해상도 조정부의 상세 구성을 도시한 도면이다. 5 is a diagram illustrating a detailed configuration of a resolution adjusting unit in an apparatus for integrating camera and lidar information according to an embodiment of the present invention.

해상도 조정부(44)는 도 3과 같이 라이다 센서(20)의 수신 해상도와 카메라부(10)의 해상도가 상이한 경우, 라이다 센서(20) 수신 해상도를 카메라부(10)의 해상도에 맞게 조정한다. 즉, 해상도 조정부(44)는 획득된 라이다 정보로부터 카메라부(10)의 영상 해상도에 비해 부족한 픽셀에 대응하는 거리 정보를 보간 또는 산출한다. The resolution adjustment unit 44 adjusts the reception resolution of the lidar sensor 20 to match the resolution of the camera unit 10 when the reception resolution of the lidar sensor 20 and the resolution of the camera unit 10 are different from each other as shown in FIG. 3 . do. That is, the resolution adjusting unit 44 interpolates or calculates distance information corresponding to pixels that are insufficient compared to the image resolution of the camera unit 10 from the obtained lidar information.

일 실시예에 있어서, 해상도 조정부(44)는 Super-resolution 기법을 적용하여 라이다 센서(20)에서 수신된 거리 정보의 해상도를 카메라부(10)의 영상 해상도에 매칭되도록 조정한다. In an embodiment, the resolution adjusting unit 44 adjusts the resolution of the distance information received from the lidar sensor 20 to match the image resolution of the camera unit 10 by applying the super-resolution technique.

도 5를 참조하면, 해상도 조정부(44)는, 저해상도의 라이다 이미지(L1)를입력받는 라이다 이미지 입력부(110)와, 라이다 이미지(L1)를입력받아 해상도를 조정하는 제1 거리정보 산출부(120) 및 제2 거리정보 산출부(130)와, 라이다 이미지(L1)를 임시 저장하는 메모리(140)와, 제1 거리정보 산출부(120)와 제2 거리정보 산출부(130)의 결과를 비교하는 보간정보 비교기(150)와, 이들의 작동을 제어하는 제어부(100)를 포함할 수 있다. Referring to FIG. 5 , the resolution adjusting unit 44 includes the lidar image input unit 110 receiving a low-resolution lidar image L1 and first distance information receiving the lidar image L1 and adjusting the resolution. A calculator 120 and a second distance information calculator 130, a memory 140 for temporarily storing the lidar image L1, a first distance information calculator 120 and a second distance information calculator ( 130) may include an interpolation information comparator 150 for comparing the results, and a control unit 100 for controlling their operation.

라이다 이미지(L1)는 라이다 센서(20)에서 제공되는 것으로서, 카메라부(10)로 취득하는 영상에 대응하는 영역에 대한 거리 정보를 포함한 것일 수 있다. 라이다 이미지(L1)는 소정 해상도(예를 들면, 640×480)를 가지며, 라이다 이미지(L1)의 각 픽셀에는 거리 정보가 포함된다. The lidar image L1 is provided by the lidar sensor 20 and may include distance information on an area corresponding to an image acquired by the camera unit 10 . The lidar image L1 has a predetermined resolution (eg, 640×480), and distance information is included in each pixel of the lidar image L1.

라이다 이미지 입력부(110)에는 필요에 따라 복수의 라이다 이미지(L1)가 순차적으로 입력될 수 있고, 메모리(140)에는 복수의 라이다 이미지(L1)가 임시 저장될 수 있다. A plurality of lidar images L1 may be sequentially input to the lidar image input unit 110 as necessary, and a plurality of lidar images L1 may be temporarily stored in the memory 140 .

제1 거리정보 산출부(120)는 라이다 이미지(L1)의 해상도를 카메라부(10)에서 제공하는 영상의 해상도에 맞도록 증가시킴에 있어서, 비어 있는 픽셀의 거리 정보를 인접 픽셀의 거리 정보를 이용하여 보간함으로써 채울 수 있다. When the first distance information calculator 120 increases the resolution of the lidar image L1 to match the resolution of the image provided by the camera unit 10 , the distance information of an empty pixel is converted into distance information of an adjacent pixel. It can be filled by interpolating using

제2 거리정보 산출부(130)는 복수의 라이다 이미지(L1)에서, 특정 객체의 모션 벡터(MV)를 고려하여 비어 있는 픽셀의 거리 정보를 채움으로써 라이다 이미지(L1)의 해상도를 향상시킬 수 있다. The second distance information calculator 130 improves the resolution of the LiDAR image L1 by filling the distance information of the empty pixels in consideration of the motion vector MV of a specific object in the plurality of LiDAR images L1. can do it

다른 실시예에 있어서, 제2 거리정보 산출부(130)는 DNN, CNN 등의 인공 신경망 또는 딥러닝을 이용하여 거리 정보를 추정함으로써 라이다 이미지(L1)의 해상도를 향상시키도록 구성될 수 있다. In another embodiment, the second distance information calculator 130 may be configured to improve the resolution of the lidar image L1 by estimating distance information using an artificial neural network such as DNN or CNN or deep learning. .

보간정보 비교기(150)는 제1 거리정보 산출부(120)에서 산출된 해상도가 향상된 라이다 이미지와, 제2 거리정보 산출부(130)에서 산출된 해상도가 향상된 라이다 이미지를 비교하여 그 차이가 Threshold 이내인지를 판단할 수 있다. 보간정보 비교기(150)는 제1 거리정보 산출부(120)에서 산출된 해상도가 향상된 라이다 이미지와, 제2 거리정보 산출부(130)에서 산출된 해상도가 향상된 라이다 이미지의 차이가 소정 Threshold를 벗어나는 경우, 제1 거리정보 산출부(120) 또는 제2 거리정보 산출부(130)의 보간 커널, 예측 모델 또는 학습모델을 보정하거나 수정하도록 할 수 있다. The interpolation information comparator 150 compares the LIDAR image with improved resolution calculated by the first distance information calculating unit 120 with the LIDAR image with improved resolution calculated by the second distance information calculating unit 130, and the difference It can be determined whether is within the Threshold. The interpolation information comparator 150 determines the difference between the improved resolution LiDAR image calculated by the first distance information calculating unit 120 and the improved resolution LiDAR image calculated by the second distance information calculating unit 130 by a predetermined threshold. , the interpolation kernel, prediction model, or learning model of the first distance information calculating unit 120 or the second distance information calculating unit 130 may be corrected or modified.

한편, 상술한 설명에서 제1 거리정보 산출부(120)는 보간 방식을 이용하고, 제2 거리정보 산출부(130)는 모션 벡터(MV)를 이용하거나, 인공 지능을 이용하는 것을 예시하였으나, 해상도 조정부(44)에는 제1 거리정보 산출부(120)나 제2 거리정보 산출부(130) 중 어느 하나만 구비되거나, 제1 거리정보 산출부(120)와 제2 거리정보 산출부(130)가 보간 방식, 모션 벡터 방식, 또는 인공 방식 중 어느 2개를 선택적으로 구비하는 것도 가능할 수 있음은 물론이다. Meanwhile, in the above description, the first distance information calculator 120 uses an interpolation method, and the second distance information calculator 130 uses a motion vector (MV) or uses artificial intelligence. The adjusting unit 44 is provided with either one of the first distance information calculating unit 120 and the second distance information calculating unit 130 , or the first distance information calculating unit 120 and the second distance information calculating unit 130 . Of course, it is also possible to selectively provide any two of an interpolation method, a motion vector method, or an artificial method.

도 6은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 라이다 이미지를 보간 방식으로 해상도 조정하는 것을 예시한 도면이다. 6 is a diagram illustrating resolution adjustment of a lidar image by an interpolation method in the camera and lidar information integration apparatus according to an embodiment of the present invention.

도 6을 참조하면, 제1 거리정보 산출부(120)는 거리정보를 포함하는 저해상도의 라이다 이미지(L1)를 입력받고(도 6의 (a) 참조), 고해상도의 라이다 이미지(L2)로 확장하고(도 6의 (b) 참조), 고해상도 라이다 이미지(L2)에서 convolution 커널을 이용하여 서브 레이어를 분리하며 비어있는 픽셀에 거리 정보를 채움으로써 해상도가 향상된 라이다 이미지를 생성한다. Referring to FIG. 6 , the first distance information calculator 120 receives a low-resolution lidar image L1 including distance information (refer to FIG. 6(a) ), and a high-resolution lidar image L2. (refer to (b) of FIG. 6), separating sub-layers using a convolution kernel in the high-resolution lidar image L2, and filling empty pixels with distance information to generate a lidar image with improved resolution.

도 7은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 라이다 이미지를 모션 벡터를 이용하여 해상도 조정하는 것을 예시한 도면이다. 7 is a diagram illustrating an example of adjusting a resolution of a lidar image using a motion vector in the apparatus for integrating camera and lidar information according to an embodiment of the present invention.

도 7을 참조하면, 제2 거리정보 산출부(130)의 복수의 라이다 이미지(L11, L12)를 수신하고, 특정 픽셀(또는 픽셀 그룹)에 대한 모션 벡터를 산출하고, 모션 벡터를 이용하여 거리정보를 예측한다. Referring to FIG. 7 , a plurality of lidar images L11 and L12 of the second distance information calculator 130 are received, a motion vector for a specific pixel (or group of pixels) is calculated, and the motion vector is used to Predict distance information.

도 8은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 라이다 이미지를 인공 신경망을 이용하여 해상도 조정하는 것을 예시한 도면이다. 도 9는 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 라이다 이미지를 인공 신경망을 이용하여 해상도 조정할 때의 Feature map을 예시적으로 도시한 도면이다. 8 is a diagram illustrating an example of adjusting a resolution of a lidar image using an artificial neural network in an apparatus for integrating camera and lidar information according to an embodiment of the present invention. 9 is a diagram exemplarily illustrating a feature map when the resolution of a lidar image is adjusted using an artificial neural network in the apparatus for integrating camera and lidar information according to an embodiment of the present invention.

다른 실시예에서, 제2 거리정보 산출부(130)는 딥러닝 기반으로 구현될 수 있다. 제2 거리정보 산출부(130)는 복수의 라이다 이미지(L1)를 입력받고 해당 거리 정보에 대한 feature map을 도출한다. 이러한 feature map을 이용하여 라이다 이미지(L1)에 대한 업스케일링을 수행하여 해상도가 향상된 라이다 이미지를 생성한다. In another embodiment, the second distance information calculator 130 may be implemented based on deep learning. The second distance information calculator 130 receives a plurality of lidar images L1 and derives a feature map for the corresponding distance information. By performing upscaling on the lidar image L1 using this feature map, a lidar image with improved resolution is generated.

도 8의 (a)는 저해상도의 라이다 이미지(L1)를나타내고, 도 8의 (b)는 복수의 라이다 이미지에 대한 feature map을 도출하는 것을 예시하며, 도 8의 (c)는 고해상도의 라이다 이미지를 나타낸다. Fig. 8(a) shows a low-resolution lidar image L1, Fig. 8(b) illustrates deriving a feature map for a plurality of lidar images, and Fig. 8(c) shows a high-resolution lidar image. Represents a lidar image.

도 10은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 해상도 조정부의 제1 거리정보 산출부의 예시적인 블럭도이고, 도 11은 본 발명의 일 실시예에 따른 카메라와 라이다 정보 통합 장치에 있어서 해상도 조정부의 제2 거리정보 산출부의 예시적인 블럭도이다.10 is an exemplary block diagram of a first distance information calculating unit of a resolution adjusting unit in an apparatus for integrating camera and lidar information according to an embodiment of the present invention, and FIG. 11 is a camera and lidar according to an embodiment of the present invention. It is an exemplary block diagram of the second distance information calculating unit of the resolution adjusting unit in the information integration apparatus.

도 10을 참조하면, 도 6에 도시된 기법에 따른 제1 거리정보 산출부(120)의 블록 구성이 예시된다. Referring to FIG. 10 , a block configuration of the first distance information calculating unit 120 according to the technique shown in FIG. 6 is exemplified.

도 11을 참조하면, 도 8에 도시된 기법에 따른 제2 거리정보 산출부(130)의 블록 구성이 예시된다. Referring to FIG. 11 , a block configuration of the second distance information calculating unit 130 according to the technique shown in FIG. 8 is exemplified.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions are possible within the range that does not depart from the essential characteristics of the present invention by those of ordinary skill in the art to which the present invention pertains. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are for explaining, not limiting, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings . The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

10 : 카메라부
20 : 라이다 센서
30 : 판단부
40 : 거리 측정부
42 : 프레임 조정부
44 : 해상도 조정부
50 : 맵핑부10: camera unit
20: lidar sensor
30: judgment unit
40: distance measuring unit
42: frame adjustment unit
44: resolution adjustment unit
50: mapping unit

Claims (1)

차량 주변의 영상을 촬영하는 카메라부;
물체와의 거리를 감지하는 라이다 센서; 및
상기 라이다 센서의 거리 정보와 상기 카메라부의 영상 정보의 프레임 차이 및 해상도 차이에 따라 상기 라이다 센서의 상기 거리 정보를 산출하는 거리 측정부;를 포함하고,
상기 거리 측정부는, 상기 카메라부의 상기 영상 정보와 상기 라이다 센서의 상기 거리 정보의 프레임 수가 다를 경우, 상기 차량의 이동 정보를 이용하여 상기 거리 정보를 상기 영상 정보의 프레임 수에 대응하도록 보간 처리하는 프레임 조정부와,
상기 카메라부의 상기 영상의 해상도와 상기 라이다 센서의 상기 거리 정보의 해상도가 다를 경우, 상기 거리 정보의 해상도를 상기 영상 정보에 대응하도록 처리하는 해상도 조정부를 포함하는 것을 특징으로 하는 카메라와 라이다 정보 통합 장치.a camera unit for capturing images around the vehicle;
a lidar sensor that detects the distance to an object; and
a distance measuring unit calculating the distance information of the lidar sensor according to a frame difference and a resolution difference between the distance information of the lidar sensor and the image information of the camera unit;
The distance measuring unit, when the number of frames of the image information of the camera unit and the distance information of the lidar sensor is different, using the vehicle movement information to interpolate the distance information to correspond to the number of frames of the image information frame adjustment unit;
When the resolution of the image of the camera unit and the resolution of the distance information of the lidar sensor are different, the camera and lidar information, characterized in that it comprises a resolution adjusting unit for processing the resolution of the distance information to correspond to the image information integrated device.
KR1020200177986A 2020-12-18 2020-12-18 Device for integrating camera and lidar information KR20220087693A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200177986A KR20220087693A (en) 2020-12-18 2020-12-18 Device for integrating camera and lidar information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177986A KR20220087693A (en) 2020-12-18 2020-12-18 Device for integrating camera and lidar information

Publications (1)

Publication Number Publication Date
KR20220087693A true KR20220087693A (en) 2022-06-27

Family

ID=82246853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177986A KR20220087693A (en) 2020-12-18 2020-12-18 Device for integrating camera and lidar information

Country Status (1)

Country Link
KR (1) KR20220087693A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633224B1 (en) 2022-11-30 2024-02-06 (주)에스유엠 Object recognition apparatus and method for autonomous vehicles

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102176376B1 (en) 2019-06-24 2020-11-10 현대오트론 주식회사 Apparatus and method for measuring distance of object

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102176376B1 (en) 2019-06-24 2020-11-10 현대오트론 주식회사 Apparatus and method for measuring distance of object

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633224B1 (en) 2022-11-30 2024-02-06 (주)에스유엠 Object recognition apparatus and method for autonomous vehicles

Similar Documents

Publication Publication Date Title
US10937231B2 (en) Systems and methods for updating a high-resolution map based on binocular images
CN111223135B (en) System and method for enhancing range estimation by monocular cameras using radar and motion data
CN105711597B (en) Front locally travels context aware systems and method
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
WO2020097796A1 (en) Methods and systems for color point cloud generation
EP3676796A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
CN109532662B (en) Method and device for calculating distance between vehicles and collision time
WO2020140164A1 (en) Systems and methods for updating a high-definition map
CN105578009A (en) Light spot imaging device
US11802772B2 (en) Error estimation device, error estimation method, and error estimation program
US11335019B2 (en) Method for the 3D reconstruction of a scene
KR102176376B1 (en) Apparatus and method for measuring distance of object
GB2548970A (en) Method and device for generating an image of an area surrounding a vehicle
KR20220087693A (en) Device for integrating camera and lidar information
JP5162412B2 (en) Tunnel wall surface photographing device
KR20100066952A (en) Apparatus for tracking obstacle using stereo vision and method thereof
US11866056B2 (en) Ballistic estimation of vehicle data
CN113091756A (en) Position estimation device and position estimation method
WO2021062587A1 (en) Systems and methods for automatic labeling of objects in 3d point clouds
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
KR20210125583A (en) Systems and methods for compensating for movement of vehicle components
JP2021081272A (en) Position estimating device and computer program for position estimation
US11740103B2 (en) Map creation device, map creation system, map creation method, and storage medium
JP7147729B2 (en) Movement amount estimation device, movement amount estimation method, movement amount estimation program, and movement amount estimation system