KR20200071960A - 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 - Google Patents

카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 Download PDF

Info

Publication number
KR20200071960A
KR20200071960A KR1020180159606A KR20180159606A KR20200071960A KR 20200071960 A KR20200071960 A KR 20200071960A KR 1020180159606 A KR1020180159606 A KR 1020180159606A KR 20180159606 A KR20180159606 A KR 20180159606A KR 20200071960 A KR20200071960 A KR 20200071960A
Authority
KR
South Korea
Prior art keywords
camera
lidar
data
image
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180159606A
Other languages
English (en)
Other versions
KR102151815B1 (ko
Inventor
박태형
권순섭
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020180159606A priority Critical patent/KR102151815B1/ko
Publication of KR20200071960A publication Critical patent/KR20200071960A/ko
Application granted granted Critical
Publication of KR102151815B1 publication Critical patent/KR102151815B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06K9/20—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 실시예는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하고, 이를 활용하여 객체를 검출함으로써 추가적인 융합 알고리즘 및 범위 제한의 한계 없이 보다 단순화된 네트워크를 통해 객체 검출이 효율적으로 이루어질 수 있도록 하는 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치에 관한 것이다.

Description

카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치{Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence}
본 발명의 실시예는 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
자율주행 자동차란 운전자가 자동차의 주행을 조작하는 것이 아닌 자동차 자체적으로 주행을 제어하여 목적지까지 이동하는 자동차를 말한다. 자율주행 자동차의 구동을 위해서는 운전자를 대신해 주변 환경을 감시하기 위한 다양한 종류의 센서가 필요로 하며, 이를 이용하여 사람, 장애물, 주변 차량 등을 검출하는 것은 매우 중요한 작업 중 하나이다.
최근 자율주행 자동차와 관련된 연구에서는 사람이나 차량을 보다 정확하게 인식하기 위해 다양한 센서(예: 라이다, 카메라, 레이더, 초음파센서 등)를 융합하는 방식이 제안되고 있다. 예컨대, 카메라와 라이다 센서의 융합 방법으로는 도 1a와 같이 각 센서별로 객체를 검출한 결과를 가지고 융합하는 방법, 도 1b와 같이 라이다로 객체 후보군들을 찾고, 카메라로 최종 객체를 찾는 방법, 도 1c와 같이 카메라, 라이다 데이터를 복잡한 딥러닝 네트워크에 넣어 객체를 찾는 방법이 존재한다.
하지만, 이러한, 종래의 방법에는 단점이 존재한다. 먼저, 첫 번째 방법의 경우 추가적으로 융합하는 시스템을 만들어야 한다는 문제점이 있다. 두 번째 방법은 카메라 영역만 객체를 찾을 수 있고, 그 외의 영역에서는 객체를 찾을 수 없다는 문제점이 있다. 마지막 방법은 카메라와 라이다 데이터는 차원과 성질이 다르기 때문에 복잡한 딥러닝 네트워크를 사용할 수 밖에 없다는 점에서 문제점이 존재한다. 이에 따라, 본 발명에서는 데이터 투영을 이용한 카메라와 라이다 센서 간의 융합 방법을 통해 보다 효율적인 객체 검출이 가능토록 하는 새로운 기술을 제안한다.
본 실시예는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하고, 이를 활용하여 객체를 검출함으로써 추가적인 융합 알고리즘 및 범위 제한의 한계 없이 보다 단순화된 네트워크를 통해 객체 검출이 효율적으로 이루어질 수 있도록 하는 데 그 목적이 있다.
본 실시예는, 카메라 및 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하는 센서부; 상기 라이다 데이터를 카메라 파라미터 정보를 기반으로, 상기 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하는 영상 처리부; 및 상기 라이다 영상 데이터를 기반으로 객체를 검출하는 객체 검출부를 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 라이다 센서 및 카메라를 이용하여 객체를 검출하는 방법에 있어서, 상기 카메라 및 상기 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하는 과정; 상기 라이다 데이터를 카메라 파라미터를 기반으로, 상기 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하는 과정; 및 상기 라이다 영상 데이터를 기반으로 객체를 검출하는 과정을 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출방법을 제공한다.
본 실시예에 의하면, 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하고, 이를 활용하여 객체를 검출함으로써 추가적인 융합 알고리즘 및 범위 제한의 한계 없이 보다 단순화된 네트워크를 통해 객체 검출이 효율적으로 이루어질 수 있는 효과가 있다.
도 1a 내지 1c는 일반적으로 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 도면이다.
도 2는 본 실시예에 따른 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 객체 검출장치를 개략적으로 나타낸 블록 구성도이다.
도 4는 본 실시예에 따른 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 순서도이다.
도 5 내지 도 7은 본 실시예에 따른 라이다 센서와 카메라 융합 방법을 설명하기 위한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어, '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 실시예는 자율주행 자동차에 배치되는 적어도 하나의 라이다(LiDAR: Light Detection and Ranging) 센서 및 카메라를 융합하는 방식에 대해 기재하고 있으나 이는 일 실시예에 따른 것으로서, 라이다 데이터 및 영상을 융합하여 객체를 검출하는 다양한 분야에 적용될 수 있다.
도 2는 본 실시예에 따른 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 도면이다.
본 실시예에서는 도 2에 도시된 바와 같이, 데이터 투영을 이용한 카메라와 라이다 센서 간의 융합 방법을 통해 보다 효율적인 객체 검출이 가능토록 하는 새로운 기술을 제안한다.
보다 구체적으로, 본 실시예에 따른 객체 검출방법에 의하는 경우, 카메라 및 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하고, 라이다 데이터를 카메라 파라미터 정보를 기반으로 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다. 한편, 본 실시예의 경우, 데이터 투영을 이용한 카메라와 라이다 센서 간의 융합을 위해, 카메라의 내부, 외부 파라미터, 화각을 알고 있으며, 카메라와 라이다 센서 사이에 캘리브레이션이 적용되었다고 가정한다.
이후, 생성된 라이다 영상 데이터에서 최종적으로 객체를 검출하는 동작을 수행한다. 한편, 본 실시예에 따른 라이다 영상 데이터의 경우 카메라의 영상 데이터와 성질이 비슷하게 때문에 하나의 객체 검출 알고리즘을 사용하여 객체 검출이 이루어질 수 있는 효과가 있다.
본 실시예에 따른 객체 검출방법에 의하는 경우, Raw 데이터 단계에서 카메라의 영상 데이터와 라이다 센서의 라이다 데이터 간의 융합을 진행하기 때문에 추가적인 융합 알고리즘이 필요 없어 리소스가 적게 든다는 장점이 존재한다. 이와 더불어, 카메라 및 라이다 센서의 융합과정에서 문제가 되었던 범위 제한이나, 데이터 특성의 상이함으로 인한 복잡한 딥러닝 네트워크의 사용에 대한 문제를 해결할 수 있다.
도 3은 본 실시예에 따른 객체 검출장치를 개략적으로 나타낸 블록 구성도이다.
객체 검출장치(300)는 라이다 센서 및 카메라와 연동하여 객체(예: 차량)을 검출하는 장치로서, 본 실시예에 따른 객체 검출장치(300)는 카메라와 라이다 센서 간의 융합을 통해 생성된 라이다 영상 데이터를 기반으로 소정의 거리에 있는 전방의 객체를 검출한다. 구체적으로, 객체 검출장치(300)는 라이다 데이터를 카메라 파라미터 정보를 기반으로 카메라로 촬영된 이미지 영역 상에 투영하여 제공함으로써 보다 효율적인 객체의 검출이 이루어질 수 있도록 동작한다.
본 실시예에 따른 객체 검출장치(300)는 센서부(310), 영상 처리부(320) 및 객체 검출부(330)를 포함한다. 여기서, 본 실시예에 따른 객체 검출장치(300)에 포함되는 구성 요소는 반드시 이에 한정되는 것은 아니다. 예컨대, 객체 검출장치(300)는 객체 검출부(330)를 미포함하는 형태로 구현될 수 있으며, 이 경우, 카메라와 라이다 센서의 융합 기능만을 수행하게 된다.
센서부(310)는 적어도 하나의 센서를 구비하고, 구비된 센서를 이용하여 차량 주변의 교통조건과 주행환경의 감지를 위한 데이터를 수집하는 장치를 의미한다.
본 실시예에 있어서, 센서부(310)는 라이다 센서 및 카메라를 센싱수단으로서 구비하고, 구비된 라이다 센서 및 카메라를 이용하여 라이다 데이터 및 영상 데이터를 수집할 수 있다. 즉, 센서부(310)는 카메라로부터 감지 영역을 촬영한 영상 데이터를 수집하고, 라이다 센서로부터 감지 영역의 주변에 위치하는 객체의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지한 라이다 데이터를 수집한다.
라이다 센서는 차량의 주변(전방)을 향하여 레이저를 발사한다. 라이다 센서에 의해 발사된 레이저는 산란되거나 반사되어 차량으로 되돌아올 수 있다.
라이다 센서는 레이저를 이용하여 측정한 거리정보(Distance Information)를 3D 공간에서 점들의 집합(Point의 Set) 형태로 나타내며, 이러한 거리정보를 포함하는 라이다 데이터를 제공한다. 예를 들어, 라이다 센서는 레이저가 되돌아오는 시간, 강도, 주파수의 변화, 편광 상태의 변화를 기초로, 차량의 주변에 위치하는 타겟의 물리적 특성에 대한 정보를 획득할 수 있다.
라이다 센서는 차량의 배치 위치에 따라 복수 개가 설치되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 라이다 센서는 복수의 저해상도 라이다 센서를 이용하여 고해상도 라이다 센서를 이용한 것과 같은 결과물을 도출할 수 있다. 라이다 센서는 일정 각도(Angle)마다 주변의 물체(장애물)까지의 거리(Distance)를 측정한다. 여기서, 일정 각도는 축(Axis)에 따라 수평각 해상도 및 수직각 해상도(horizontal/vertical angular resolution)로 구분된다.
카메라는 차량의 주변환경(전방)을 촬영한 영상을 생성하고, 생성된 영상을 제공한다. 여기서, 영상은 복수의 이미지를 포함하고, 각각의 이미지에는 사람의 눈과 비슷한 컬러정보가 포함되어 있는 2D 형태의 이미지 데이터를 의미한다. 카메라는 차량 주변의 영상에 대한 이미지를 생성할 수 있다면 다양한 형태의 영상 촬영장치로 구현될 수 있다.
다른 실시예에서 라이다 센서 및 카메라는 센서부(310)의 구성요소로서 미포함되는 형태로 구현될 수 있으며, 이 경우, 센서부(310)는 차량에 설치된 라이다 센서 및 카메라와의 연동을 통해 상기의 라이다 데이터 및 영상 데이터를 수집하고, 이를 영상 처리부(320) 및 객체 검출부(330)로 제공하는 중계 기능을 수행한다.
영상 처리부(320)는 카메라와 라이다 센서 간의 융합 절차를 수행하는 장치를 의미한다. 본 실시예에 따른 영상 처리부(320)는 데이터 투영 방식을 통해 카메라와 라이다 센서 간의 융합을 진행한다.
보다 자세하게는, 영상 처리부(320)는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다. 즉, 영상 처리부(320)는 라이다 데이터를 카메라로 촬영된 이미지 영역 상에 투영함으로써 마치 라이다 데이터가 카메라의 영상 데이터인것 처럼 변환하여 출력한다.
한편, 라이다 센서로 수집되는 라이다 데이터만으로도 어느 정도 차량이나 사람 같은 객체의 검출이 가능하다. 하지만, 영상 데이터의 경우 객체의 검출이 라이다 데이터보다 보다 정확하게 이루어질 수 있다. 이점에 기인하여, 영상 처리부(320)는 라이다 데이터를 카메라로 촬영된 이미지 영역 상에 투영하고, 이를 통해 라이다 데이터를 영상 데이터와 비슷한 성질의 라이다 영상 데이터로 변환하여 제공한다. 이는, 라이다 데이터를 그대로 사용하는 경우 대비 객체의 검출이 보다 정확하게 이루어질 수 있도록 하면서도, 하나의 객체 검출 알고리즘을 통해 객체의 검출이 가능토록 하는 효과가 있다.
이하, 도 5 내지 도 7을 함께 참조하여, 본 실시예에 따른 영상 처리부(320)의 구체적인 동작에 대해 설명하도록 한다.
먼저 영상 처리부(320)는 생성할 라이다 영상 데이터의 개수를 정한다. 본 실시예에 있어서, 영상 처리부(320)는 카메라의 화각 정보를 기반으로 라이다 데이터로부터 생성하고자 하는 라이다 영상 데이터의 개수를 정한다. 이때, 카메라의 화각 정보는 사전에 영상 처리부(320) 상에 수집될 수 있다.
도 5를 참조하면, 영상 처리부(320)는 카메라의 경우 화각(FOV)이 정해져 있고, 라이다 데이터는 360°촬영이 가능하기 때문에 카메라의 화각을 가지고 생성할 라이다 영상 데이터의 개수(n)을 정한다. 즉, 영상 처리부(320)는 라이다 데이터를 카메라의 화각 정보를 기반으로 복수 개의 영역으로 분할하고, 각 분할 영역별로 대응되는 라이다 영상 데이터를 생성한다. 이를 수학식으로 나타내면 수학식 1과 같다.
Figure pat00001
이때, 구한 n은 실수로 나오기 때문에 소수점을 버려 영상의 개수를 정한다. 도 5의 (a) 및 (b)를 참조하면, 화각이 60°인 카메라를 가지고 있다면 생성되는 라이다 영상 데이터는 6개가 만들어지고, 90°인 카메라를 가지고 있다면 생성되는 라이다 영상 데이터의 개수는 4개가 만들어진다. 그리도, 70°인 카메라를 가지고 있다면, 수학식 1을 통해 마찬가지로 6개의 라이다 영상 데이터가 만들어진다.
한편, 생성되는 라이다 영상 데이터의 경우 현재 카메라의 자세와 라이다 센서의 자세를 가지고 만든 파라미터이기 때문에, 카메라와 라이다 센서가 겹쳐진 영역이 아니면 라이다 영상 데이터가 제대로 나오지 않는다는 문제점이 존재한다. 이를 해결하기 위해, 영상 처리부(320)는 앞서 카메라의 화각 정보를 기반으로 분할된 복수 개의 분할 영역 중 카메라의 화각 범위 상에 매칭되는 분할 영역을 제외한 나머지 분할 영역에 대한 라이다 영상 데이터를 생성 시 해당 분할 영역과 카메라의 화각 정보가 매칭되도록 조정한다. 예컨대, 영상 처리부(320)는 도 6의 (a) 및 (b)에 도시된 바와 같이, 라이다 데이터를 회전시켜 라이다 영상 데이터를 만들 영역을 카메라와 겹치도록 조정한다.
영상 처리부(320)는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다. 보다 상세하게는, 영상 처리부(320)는 라이다 데이터의 포인트 좌표, 카메라 파라미터, 카메라와 라이다 센서 사이의 회전 행렬 및 이동 벡터 중 적어도 하나의 변수를 이용하여 라이다 데이터의 3D 데이터를 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다.
영상 처리부(320)는 라이다 데이터의 포인트 좌표를 회전 행렬 및 이동 벡터를 이용하여 카메라 좌표계로 변경한다.
영상 처리부(320)는 카메라 좌표계를 카메라 파라미터를 이용하여 이미지 영역에 투영하여 라이다 영상 데이터를 생성한다. 즉, 영상 처리부(320)는 카메라 좌표계를 카메라의 초점거리 및 중점 중 적어도 하나의 카메라 파라미터를 이용하여 영상 좌표계로 변경한다.
영상 처리부(320)가 위의 과정을 이용하여 라이다 데이터를 라이다 영상 데이터로 변환하는 것은 수학식 2와 같이 나타낼 수 있다.
Figure pat00002
여기서 xc, yc는 이미지 내의 픽셀 좌표, xi, yi, zi는 라이다 데이터의 포인트 좌표를 의미한다. 또한, K는 카메라 내부 파라미터로 3 × 3 행렬이고, R은 라이다 센서와 카메라의 회전 관계 행렬, T는 이동 벡터를 의미한다.
영상 처리부(320)는 라이다 데이터의 거리, 밝기 강도 및 높이 중 적어도 하나의 변수값을 이용하여 영상 좌표계에 상응하는 거리, 밝기 강도 및 높이 값을 산출한다. 한편, 라이다 데이터는 L(L={pi}, pi={xi, yi, zi, Ii})로 구성되어 있으며(pi는 라이다 데이터의 포인트 좌표), 컬러 영상은 일반적으로 3채널로 구성되어 있다. 이에, 라이다 데이터를 영상으로 변환할 때 거리(r), 밝기 강도(
Figure pat00003
), 높이(
Figure pat00004
)를 사용하며 식으로 표현하면 수학식 3과 같다.
Figure pat00005
영상 처리부(320)가 위의 과정을 이용하여 라이다 데이터를 라이다 영상 데이터로 변환한 결과는 도 7을 통해 확인할 수 있다.
객체 검출부(330)는 영상 처리부(320)에 의해 생성된 라이다 영상 데이터를 기반으로 객체를 검출한다.
본 실시예에 있어서, 객체 검출부(330)는 객체 검출 알고리즘을 이용하여 라이다 영상 데이터 내 객체를 검출할 수 있다. 한편, 객체 검출부(330)가 객체 검출 알고리즘을 이용하여 라이다 영상 데이터 내 객체를 검출하는 방법은 종래의 객체 검출 알고리즘을 이용하여 영상 데이터 내 객체를 검출하는 방법과 동일한 바 자세한 설명은 생략하도록 한다.
도 4는 본 실시예에 따른 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 순서도이다.
객체 검출장치(300)는 카메라 및 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집한다(S402).
객체 검출장치(300)는 카메라의 화각 정보를 기반으로 단계 S402의 라이다 센서를 복수 개의 영역으로 분할한다(S404). 단계 S404에서 객체 검출장치(300)는 카메라의 경우 화각(FOV)이 정해져 있고, 라이다 데이터는 360°촬영이 가능하기 때문에 카메라의 화각을 가지고 생성할 라이다 영상 데이터의 개수(n)을 정한다.
객체 검출장치(300)는 단계 S404의 각 분할 영역별로 대응되는 라이다 영상 데이터를 생성하기 앞서, 대상이되는 분할 영역이 카메라의 화각 범위 상에 매칭되는지 여부를 확인하고(S406), 확인결과에 따라 대상이되는 분할 영역과 카메라의 화각 정보가 매칭되도록 라이다 데이터를 회전시킨다(S408). 단계 S408에서 객체 검출장치(300)는 라이다 데이터를 회전시켜 라이다 영상 데이터를 만들 영역을 카메라와 겹치도록 조정한다.
객체 검출장치(300)는 라이다 데이터를 카메라 파라미터 정보를 기반으로, 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다(S410). 단계 S410에서 객체 검출장치(300)는 라이다 데이터의 포인트 좌표, 카메라 파라미터, 카메라와 라이다 센서 사이의 회전 행렬 및 이동 벡터 중 적어도 하나의 변수를 이용하여 라이다 데이터의 3D 데이터를 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성한다.
객체 검출장치(300)는 단계 S410에서 생성한 라이다 영상 데이터를 기반으로 객체를 검출한다(S412).
여기서, 단계 S402 내지 S412는 앞서 설명된 객체 검출장치(300)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
도 4에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 4에 기재된 객체 검출방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.
이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
300: 객체 검출장치 310: 센서부
320: 영상 처리부 330: 객체 검출부

Claims (8)

  1. 카메라 및 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하는 센서부;
    상기 라이다 데이터를 카메라 파라미터 정보를 기반으로, 상기 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하는 영상 처리부; 및
    상기 라이다 영상 데이터를 기반으로 객체를 검출하는 객체 검출부
    를 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  2. 제 1항에 있어서,
    상기 영상 처리부는,
    상기 라이다 데이터의 포인트 좌표, 상기 카메라 파라미터, 상기 카메라와 상기 라이다 센서 사이의 회전 행렬 및 이동 벡터 중 적어도 하나의 변수를 이용하여 상기 라이다 데이터의 3D 데이터를 상기 이미지 영역 상에 투영하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  3. 제 2항에 있어서,
    상기 영상 처리부는,
    상기 라이다 데이터의 포인트 좌표를 상기 회전 행렬 및 상기 이동 벡터를 이용하여 카메라 좌표계로 변경하고, 상기 카메라 좌표계를 상기 카메라 파라미터를 이용하여 상기 이미지 영역에 투영하여 상기 라이다 영상 데이터를 생성하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  4. 제 3항에 있어서,
    상기 영상 처리부는,
    상기 카메라 좌표계를 상기 카메라의 초점거리 및 중점 중 적어도 하나의 상기 카메라 파라미터를 이용하여 영상 좌표계로 변경하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  5. 제 4항에 있어서,
    상기 영상 처리부는,
    상기 라이다 데이터의 거리, 밝기 강도 및 높이 중 적어도 하나의 변수값을 이용하여 상기 영상 좌표계에 상응하는 거리, 밝기 강도 및 높이 값을 산출하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  6. 제 1항에 있어서,
    상기 영상 처리부는,
    상기 라이다 데이터를 복수 개의 영역으로 분할하여, 각 분할 영역별로 대응되는 상기 라이다 영상 데이터를 생성하되, 상기 분할 영역에 대한 개수는 상기 카메라의 화각 정보를 기반으로 결정되는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  7. 제 6항에 있어서,
    상기 영상 처리부는,
    상기 복수 개의 분할 영역 중 상기 카메라의 화각 범위 상에 매칭되는 분할 영역을 제외한 나머지 분할 영역에 대한 상기 라이다 영상 데이터를 생성 시 상기 라이다 데이터를 회전시켜 상기 라이다 영상 데이터의 생성 대상이 되는 분할 영역이 상기 카메라의 화각 범위 상에 매칭되도록 조정하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  8. 라이다 센서 및 카메라를 이용하여 객체를 검출하는 방법에 있어서,
    상기 카메라 및 상기 라이다 센서로부터 영상 데이터와 라이다 데이터를 수집하는 과정;
    상기 라이다 데이터를 카메라 파라미터를 기반으로, 상기 카메라로 촬영된 이미지 영역 상에 투영하여 라이다 영상 데이터를 생성하는 과정; 및
    상기 라이다 영상 데이터를 기반으로 객체를 검출하는 과정
    을 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출방법.
KR1020180159606A 2018-12-12 2018-12-12 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 Active KR102151815B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180159606A KR102151815B1 (ko) 2018-12-12 2018-12-12 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180159606A KR102151815B1 (ko) 2018-12-12 2018-12-12 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치

Publications (2)

Publication Number Publication Date
KR20200071960A true KR20200071960A (ko) 2020-06-22
KR102151815B1 KR102151815B1 (ko) 2020-09-03

Family

ID=71142539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180159606A Active KR102151815B1 (ko) 2018-12-12 2018-12-12 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치

Country Status (1)

Country Link
KR (1) KR102151815B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348294B1 (ko) * 2020-08-24 2022-01-12 한국철도기술연구원 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
KR20220071999A (ko) * 2020-11-23 2022-06-02 한국전자통신연구원 객체 분류 기반의 오류 제거를 이용한 자율 주행 시스템의 객체 인식 장치 및 이를 이용한 방법
KR102433287B1 (ko) * 2021-10-12 2022-08-18 주식회사 에너자이(ENERZAi) 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备
KR102479774B1 (ko) * 2022-09-15 2022-12-21 주식회사 라스테크 로봇팔을 구비하는 휴머노이드 로봇
KR20230052208A (ko) * 2021-10-12 2023-04-19 주식회사 에너자이(ENERZAi) 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
WO2023071909A1 (zh) * 2021-10-28 2023-05-04 华为技术有限公司 测量流体表面流速的方法、装置及存储介质
KR20230109406A (ko) 2022-01-13 2023-07-20 경북대학교 산학협력단 열화상 카메라와 라이다 센서 융합 기반 객체 탐지 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250064377A (ko) 2023-11-02 2025-05-09 충남대학교산학협력단 카메라 및 라이다 센서 융합에 기반한 객체 검출방법 및 장치
KR102812738B1 (ko) 2023-12-15 2025-05-27 주식회사 에이아이블루 LiDAR 스캔 데이터와 원격탐사 데이터를 융합하여 데이터를 분석하는 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160047863A (ko) * 2014-10-23 2016-05-03 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
KR20160077684A (ko) * 2014-12-24 2016-07-04 한국항공우주연구원 객체 추적 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160047863A (ko) * 2014-10-23 2016-05-03 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
KR20160077684A (ko) * 2014-12-24 2016-07-04 한국항공우주연구원 객체 추적 장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348294B1 (ko) * 2020-08-24 2022-01-12 한국철도기술연구원 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
KR20220071999A (ko) * 2020-11-23 2022-06-02 한국전자통신연구원 객체 분류 기반의 오류 제거를 이용한 자율 주행 시스템의 객체 인식 장치 및 이를 이용한 방법
KR102433287B1 (ko) * 2021-10-12 2022-08-18 주식회사 에너자이(ENERZAi) 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
KR20230052208A (ko) * 2021-10-12 2023-04-19 주식회사 에너자이(ENERZAi) 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
WO2023063661A1 (ko) * 2021-10-12 2023-04-20 주식회사 에너자이 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
WO2023071909A1 (zh) * 2021-10-28 2023-05-04 华为技术有限公司 测量流体表面流速的方法、装置及存储介质
KR20230109406A (ko) 2022-01-13 2023-07-20 경북대학교 산학협력단 열화상 카메라와 라이다 센서 융합 기반 객체 탐지 장치 및 방법
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备
KR102479774B1 (ko) * 2022-09-15 2022-12-21 주식회사 라스테크 로봇팔을 구비하는 휴머노이드 로봇

Also Published As

Publication number Publication date
KR102151815B1 (ko) 2020-09-03

Similar Documents

Publication Publication Date Title
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
Liu et al. A novel real-time moving target tracking and path planning system for a quadrotor UAV in unknown unstructured outdoor scenes
US7684590B2 (en) Method of recognizing and/or tracking objects
US20200355820A1 (en) Selective attention mechanism for improved perception sensor performance in vehicular applications
Oliveira et al. Multimodal inverse perspective mapping
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
US20170030722A1 (en) Vehicle localization system
CN110178156A (zh) 包括可调节焦距成像传感器的距离传感器
CN111045000A (zh) 监测系统和方法
CN108364304A (zh) 一种用于单目机载目标检测的系统和方法
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP6032034B2 (ja) 物体検知装置
WO2022135594A1 (zh) 目标物体的检测方法及装置、融合处理单元、介质
JP6669182B2 (ja) 乗員監視装置
JP2016085602A (ja) センサ情報統合方法、及びその装置
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
KR20120065067A (ko) 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
Benli et al. Thermal multisensor fusion for collaborative robotics
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
KR20120108256A (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
JP2020077293A (ja) 区画線検出装置及び区画線検出方法
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
KR20210112672A (ko) 객체를 검출하기 위한 프로세서 및 객체 검출 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181212

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200408

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200824

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200828

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200831

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240627

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250618

Start annual number: 6

End annual number: 6