KR102151814B1 - 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치 - Google Patents

레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치 Download PDF

Info

Publication number
KR102151814B1
KR102151814B1 KR1020180159602A KR20180159602A KR102151814B1 KR 102151814 B1 KR102151814 B1 KR 102151814B1 KR 1020180159602 A KR1020180159602 A KR 1020180159602A KR 20180159602 A KR20180159602 A KR 20180159602A KR 102151814 B1 KR102151814 B1 KR 102151814B1
Authority
KR
South Korea
Prior art keywords
image
data
radar sensor
detected
current image
Prior art date
Application number
KR1020180159602A
Other languages
English (en)
Other versions
KR20200071959A (ko
Inventor
박태형
이재설
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020180159602A priority Critical patent/KR102151814B1/ko
Publication of KR20200071959A publication Critical patent/KR20200071959A/ko
Application granted granted Critical
Publication of KR102151814B1 publication Critical patent/KR102151814B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G06K9/20—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G06K9/46—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 실시예는 적어도 하나의 카메라 및 레이더 센서로부터 영상 데이터와 레이더 센서 데이터를 수집하고, 이를 기반으로 생성된 융합 데이터를 활용하여 객체를 인식함으로써 객체에 대한 구별 및 위치 측정이 보다 정확하게 이루어질 수 있도록 하는 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치에 관한 것이다.

Description

레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치{Method and Apparatus for Vehicle Detection Using Ladar Sensor and Camera}
본 발명의 실시예는 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
자율주행 자동차란 운전자가 자동차의 주행을 조작하는 것이 아닌 자동차 자체적으로 주행을 제어하여 목적지까지 이동하는 자동차를 말한다. 자율주행 자동차의 구동을 위해서는 운전자를 대신해 주변 환경을 감시하기 위한 다양한 종류의 센서가 필요로 하며, 이를 이용하여 사람, 장애물, 주변 차량 등을 검출하는 것은 매우 중요한 작업 중 하나이다.
최근 자율주행 자동차와 관련된 연구에서는 사람이나 차량을 인식하기 위해 이중 카메라를 사용한 객체의 구별 및 위치 측정에 대한 연구가 활발히 이루어지고 있다. 하지만 카메라를 사용할 경우 객체의 구별정확도는 매우 높은 수준이지만, 객체의 정확한 위치를 측정하는 데 큰 제한이 있다. 이에, 객체의 정확한 위치를 측정하기 위해 다양한 센서(예: 라이다, 카메라, 레이더, 초음파센서 등)를 융합하는 방식이 제안되고 있다.
따라서, 다양한 센서 중 장단점이 서로 상반되는 센서 특히, 레이더 센서와 카메라를 융합하여 객체 구별 및 정확한 위치 측정이 가능토록 하는 새로운 기술을 필요로 한다.
본 실시예는 적어도 하나의 카메라 및 레이더 센서로부터 영상 데이터와 레이더 센서 데이터를 수집하고, 이를 기반으로 생성된 융합 데이터를 활용하여 객체를 인식함으로써 객체에 대한 구별 및 위치 측정이 보다 정확하게 이루어질 수 있도록 하는 데 그 목적이 있다.
본 실시예는, 적어도 하나의 카메라 및 레이더 센서로부터 영상 데이터와 레이더 센서 데이터를 수집하는 센서부; 상기 영상 데이터를 기반으로 이전 영상의 특징점에 대응하는 현재 영상의 특징점을 추적하여 상기 현재 영상 내 객체의 위치를 예측한 추적 데이터를 산출하는 영상 객체 추적부; 및 상기 추적 데이터 및 상기 레이더 센서 데이터를 융합하여 융합 데이터를 생성하고, 상기 융합 데이터를 기반으로 상기 객체에 대한 거리정보를 포함한 객체 데이터를 제공하는 영상 처리부를 포함하는 것을 특징으로 객체 인식장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 적어도 하나의 카메라 및 레이더 센서로부터 영상 데이터와 레이더 센서 데이터를 수집하는 과정; 상기 영상 데이터를 기반으로 이전 영상의 특징점에 대응하는 현재 영상의 특징점을 추적하여 상기 현재 영상 내 객체의 위치를 예측한 추적 데이터를 산출하는 과정; 및 상기 추적 데이터 및 상기 레이더 센서 데이터를 융합하여 융합 데이터를 생성하고, 상기 융합 데이터를 기반으로 상기 객체에 대한 거리정보를 포함한 객체 데이터를 제공하는 과정을 포함하는 것을 특징으로 객체 인식방법을 제공한다.
본 실시예에 의하면, 적어도 하나의 카메라 및 레이더 센서로부터 영상 데이터와 레이더 센서 데이터를 수집하고, 이를 기반으로 생성된 융합 데이터를 활용하여 객체를 인식함으로써 객체에 대한 구별 및 위치 측정이 보다 정확하게 이루어질 수 있는 효과가 있다.
또한, 본 실시예에 의하면, KLT 추적기를 사용하여 객체의 위치를 정확하게 예측하고, KLT 추적기가 예측에 실패할 경우 칼만필터를 사용하여 객체의 위치를 예측함으로써 차량이 이동함에 따라 카메라의 위치가 변하거나 흔들림이 발생하는 경우에도 객체의 위치를 정확하게 예측 가능한 효과가 있다.
도 1은 본 실시예에 따른 객체 인식방법을 설명하기 위한 개념도이다.
도 2는 본 실시예에 따른 객체 인식장치를 개략적으로 나타낸 블록 구성도이다.
도 3 내지 도 4는 본 실시예에 따른 객체 위치 예측방법을 설명하기 위한 도면이다.
도 5a 내지 도 5b는 본 실시예에 따른 데이터 결합 방법을 설명하기 위한 예시도이다.
도 6은 본 실시예에 따른 융합 데이터 생성방법을 설명하기 위한 예시도이다.
도 7은 본 실시예에 따른 융합 데이터를 기반으로 한 객체 데이터 생성방법을 설명하기 위한 예시도이다.
도 8은 본 실시예에 따른 객체 인식방법을 설명하기 위한 순서도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어, '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
객체 인식방법 중 레이더 센서를 이용하는 방식은 기 설정된 감지영역으로 송신된 레이더신호의 반사 신호를 수집한 후 수집된 반사 신호를 분석하여 객체정보를 수집하는 방식으로서, 객체위치 및 속도에 대한 검출의 정확도가 우수할 뿐만아니라 외부 환경에 영향을 적게 받으며, 종 방향에 대한 객체 검출이 뛰어난 장점을 가진다. 그러나 이러한 레이더를 이용한 방식은 객체에 대한 분류 및 정보 검출의 정확도가 떨어지는 단점을 가진다.
카메라는 사람의 눈과 비슷한 컬러정보가 들어 있어 객체 인식 기술에서 많이 사용한다. 카메라의 단점으로는 객체의 구별 정확도는 매우 높은 수준이지만, 객체의 정확한 위치를 측정하는 데 큰 제한이 있다는 점이 있다.
[표 1]에서는 레이더 센서와 카메라의 특징을 기재한다.
Figure 112018124444844-pat00001
이 점에 기인하여, 본 실시예에서는 도 1에 도시된 바와 같이, 서로 장단점이 상반되는 레이더 센서와 카메라를 융합하여 객체 구별 및 정확한 위치 측정이 가능토록 하는 방법을 제안한다. 즉, 도 1을 참조하면, 본 실시예에 따른 객체 인식방법에 의하는 경우, 카메라 및 레이더 센서로부터 영상 데이터와 레이더 센서 데이터를 수집하고, 이를 기반으로 생성된 융합 데이터를 활용하여 객체를 인식함으로써 객체에 대한 구별 및 위치 측정이 보다 정확하게 이루어질 수 있도록 동작한다.
도 2는 본 실시예에 따른 객체 인식장치를 개략적으로 나타낸 블록 구성도이다.
객체 인식장치(200)는 레이더 센서 및 카메라와 연동하여 객체(예: 차량)을 검출하는 장치로서, 객체 인식장치(200)는 레이더 센서 및 카메라를 사용하여 소정의 거리에 있는 전방의 차량을 검출한다. 구체적으로 객체 인식장치(200)는 영상 데이터를 이용하여 객체를 검출 및 추적함과 동시에 레이더 센서 데이터를 이용하여 레이더의 좌표를 영상 데이터 상에 투영시킨 융합 데이터를 생성하여 제공함으로써 객체의 종류를 판별함과 동시에 거리정보 또한 획득될 수 있도록 동작한다.
본 실시예에 따른 객체 인식장치(200)는 센서부(210), 영상 객체 추적부(220), 영상 처리부(230) 및 저장부(240)를 포함한다. 여기서, 본 실시예에 따른 객체 인식장치(200)에 포함되는 구성 요소는 반드시 이에 한정되는 것은 아니다.
센서부(210)는 적어도 하나의 센서를 구비하고, 구비된 센서를 이용하여 차량 주변의 교통조건과 주행환경의 감지를 위한 데이터를 수집하는 장치를 의미한다.
본 실시예에 있어서, 센서부(210)는 레이더 센서 및 카메라를 센싱수단으로서 구비하고, 구비된 레이더 센서 및 카메라를 이용하여 레이더 센서 데이터 및 영상 데이터를 수집할 수 있다. 즉, 센서부(210)는 카메라로부터 감지 영역을 촬영한 영상 데이터를 수집하고, 레이더 센서로부터 감지 영역의 주변에 위치하는 객체의 상대방향, 상대속도, 상대위치 등을 감지한 레이더 센서 데이터를 수집한다.
다른 실시예에서 레이더 센서 및 카메라는 센서부(210)의 구성요소로서 미포함되는 형태로 구현될 수 있으며, 이 경우, 센서부(210)는 차량에 설치된 레이더 센서 및 카메라와의 연동을 통해 상기의 레이더 센서 데이터 및 영상 데이터를 수집하고, 이를 영상 객체 추적부(220) 및 영상 처리부(230)로 제공하는 중계 기능을 수행한다.
영상 객체 추적부(220)는 영상 데이터를 기반으로 객체 인식과 추적을 수행하는 장치를 의미한다. 즉, 영상 객체 추적부(220)는 영상 데이터를 기반으로 객체 검출, 데이터 결합(Association), 객체 예측 및 추적 등의 기능을 수행한다.
이하, 도 3 내지 도 5b를 함께 참조하여, 본 실시예에 따른 영상 객체 추적부(220)의 구체적인 동작에 대해 설명하도록 한다.
도 3은 본 실시예에 따른 영상 객체 추적부(220)의 동작을 설명하기 위한 구조도이다.
도 3을 참조하면, 본 실시예에 있어서, 영상 객체 추적부(220)의 동작은 기본적으로 객체 검출, 객체 추적, 특징 추출 순서로 진행되며, 객체 검출과 객체 추적을 하기 위해 현재 영상(It(x,y)을 입력으로 하여 객체 검출에서 검출된 객체의 바운딩 박스(O_Bt(i)를 출력한다. 객체 추적은 이전 객체의 위치 추적, 객체의 추적정보(Target Data) 관리 및 위치보정, 특징 추출 순으로 진행된다.
처음 객체 위치를 예측하기 위해 입력으로는 현재 영상(It(x,y)과 이전 객체(i)의 특징점(F_Ptt-1(i))이 입력으로 들어가며, 영상 객체 추적부(220)는 KLT 추적기를 사용하여 현재 영상에서의 객체(i)의 예측된 바운딩박스(Bounding Box, P_Bt(i))를 출력한다. 다음으로, 영상 객체 추적부(220)는 Target Data 관리 및 객체(i)의 위치 보정을 위해 검출된 객체(i)의 바운딩 박스(O_Bt(i))와 예측된 바운딩박스(P_Bt(i))를 입력으로 사용되며, 최종적으로 보정된 객체(i)의 바운딩 박스(C_Bt(i)가 출력된다. 마지막으로 보정된 객체(i)의 바운딩 박스(C_Bt(i))에서 현재 영상의 특징점(F_Ptt(i)을 추출한다.
영상 객체 추적부(220)에 의해 수행되는 각 단계에 대해 보다 구체적으로 설명하면, 먼저 객체 검출의 경우 영상 객체 추적부(220)는 YOLO, v3, SSD, Fast RCCN 등의 딥러닝 방법들을 사용하여 현재 영상 내에서 객체를 검출할 수 있다. 본 실시예에 있어서, 영상 객체 추적부(220)는 객체 검출 방법으로서, 바람직하게는 YOLO v3 알고리즘을 사용하나 반드시 이에 한정되는 것은 아니다.
한편, 본 실시예에 있어서, 영상 객체 추적부(220)는 단순 검출만을 통해 객체를 검출하는 경우 발생할 수 있는 연속된 영상에서의 객체 검출 오류에 대한 문제점을 해결하고, 이를 통해 검출 성능을 높이기 위해 추적 알고리즘을 사용한다.
영상 객체 추적부(220)는 영상 데이터를 기반으로 이전 영상의 특징점에 대응하는 현재 영상의 특징점을 추적하여 현재 영상 내 객체의 위치를 예측한 추적 데이터를 산출한다. 이때, 영상 객체 추적부(220)는 추적 데이터 산출 시 카메라가 흔들리거나 객체의 움직임이 급격하게 변할 경우에도 강인한 추적을 위해 KLT(Kanade-Lucas-Tomasi) 추적기를 활용한다. KLT 추적기는 광류추정(Optical Flow) 기반의 추적기로서 Mean Square Error를 사용하여 특징점의 유사도를 측정하여 특징점의 대응 관계를 구한다.
영상 객체 추적부(220)가 KLT 추적기를 사용하여 현재 영상에서 객체의 바운딩 박스를 예측하는 방법은 단계 ① 내지 ④의 단계로 이루어진다.
① 영상 객체 추적부(220)는 이전 객체의 특징점(F_Ptt-1(i))과 현재 영상(It(x,y))을 입력받는다. 이전 객체의 특징점에 대한 정보는 도 3의 특징 추출 단계에서 획득할 수 있다. 단계 ①에서, 영상 객체 추적부(220)는 이전 영상에서 보정된 객체의 바운딩 박스(C_Bt-1(i))에서 이전 영상의 관심 영역을 추출한 뒤 같은 방법으로 특징점(F_Ptt-1(i))을 추출할 수 있다.
② 영상 객체 추적부(220)는 KLT 추적기를 사용하여 현재 영상 내 이전 객체의 특징점(F_Ptt-1(i))에 대응되는 점(Ptt(i))을 구한다. 단계 ②에서 영상 객체 추적부(220)는 단계 ①에서 추출된 특징점으로부터 특징점의 모션벡터를 광류추정 알고리즘을 사용하여 계산하고, 특징점의 모션벡터로부터 대응되는 위치를 계산할 수 있다. 이와 같은 방법으로, 본 실시예에 따른, 영상 객체 추적부(220)는 이전 객체의 특징점에서 현재 영상에서의 객체의 바운딩 박스를 예측할 수 있다.
③ 영상 객체 추적부(220)는 이전 객체의 특징점(F_Ptt-1(i))과 이에 대응되어 산출된 현재 영상의 특징점(Ptt(i)) 사이에 매칭 여부를 확인한다. 단계 ③에서, 영상 객체 추적부(220)는 이전 객체의 특징점(F_Ptt-1(i))과 현재 영상의 특징점(Ptt(i)) 사이의 오차를 Mean Square Error 방식을 통해 계산하고, 계산된 오차가 일종 임계값 이하인 점들만을 선택한다. 이후, 선택된 점들의 수가 전체 특징점의 수보다 1/3이하이면 KLT 추적기에 의한 매칭이 실패하였다고 가정한다. 영상 객체 추적부(220)는 매칭이 실패한 것으로 확인되는 경우 칼만 필터를 활용하여 현재 영상의 특징점을 재산출한다. 즉, 영상 객체 추적부(220)는 먼저 칼만 필터의 단점을 해결하기 위해 KLT 추적기를 사용하여 객체 위치를 정확하게 예측하고, KLT 추적기가 예측에 실패할 경우를 대비하여 칼만필터를 사용하여 예측한다. 이러한, 영상 객체 추적부(220)의 동작에 의하는 경우 도 4의 (a) 및 (b)에 도시된 바와 같이 KLT 추적기를 적용시킨 방법에서 칼만 필터가 추적하지 못하는 경우에도 객체의 움직임을 정확하게 측정하여 객체 추적을 강인하게 할 수 있는 효과가 있다.
④ 영상 객체 추적부(220)는 매칭이된 특징점으로부터 객체의 스케일 및 이동변화를 계산하여 현재 영상 내 객체의 위치를 예측한 추적 데이터를 산출한다. 단계 ④에서 매칭이 성공적으로 이루어진 경우 이전 영상에서 추출된 특징점이(x, y), 현재 영상에서 매칭된 점이(x', y')라면 스케일 변화 및 이동 변화는 수학식 1, 2를 통해 나타낼 수 있다.
Figure 112018124444844-pat00002
a, b, c, d를 구하기 위해 모든 특징점과 대응점들을 수학식 2와 같이 나타낸 뒤 pesudo invers를 사용하며, 수학식 1,2를 통해 이전 영상에서 객체의 위치를 현재 영상에서 예측할 수 있다.
Figure 112018124444844-pat00003
한편, 다중 객체를 추적하기 위해서는 각 객체들의 위치를 예측, 예측된 객체와 검출된 객체를 결합 등 객체들의 관리가 필요하다. 이를 위해, 본 실시예에 따른 영상 객체 추적부(220)는 추적하고 있는 객체의 데이터(Target Data)를 정의하고, 이를 관리한다.
예컨대, 본 실시예에 따른 영상 객체 추적부(220)는 도 5a에 도시된 바와 같이, 현재 영상과 이전 영상에서 검출된 객체와의 사이에 관계를 정의하는 데이터 결합(Association) 절차를 수행할 수 있다. 이때, 데이터 결합 절차 수행 시 검출된 객체 간의 연결은 중복이 없어야 한다. 이를 위해, 영상 객체 추적부(220)는 도 5b에 도시된 바와 같이, 객체 간의 비용(Cost)를 정의하고, 비용의 합이 최소로 되게 하는 알고리즘을 사용한다. 본 실시예에서 영상 객체 추적부(220)는 바람직하게는 최적회 기법 중 하나인 Hungarian 알고리즘을 사용할 수 있다.
이와 더불어, 영상 객체 추적부(220)는 칼만 모델의 업데이트 및 객체 오차 보정 등의 동작을 수행할 수 있다.
영상 처리부(230)는 영상 객체 추적부(220)로부터 산출된 추적 데이터 및 레이더 센서로부터 수집된 레이더 센서 데이터를 융합하고, 이를 기반으로, 객체에 대한 거리정보를 포함한 객체 데이터를 생성하는 기능을 수행한다.
한편, 레이더 센서와 카메라의 융합을 위해서는 레이더 센서 데이터 및 영상 데이터가 하나의 좌표계로 나타내야 한다. 이를 위해, 영상 처리부(230)는 도 6에 도시된 바와 같이, 호모그래피 행렬 계산을 사용하여 레이더 센서 데이터를 영상 데이터 보다 자세하게는 영상 객체 추적부(220)를 통해 산출된 추적 데이터 상에 투영하고, 이를 통해, 융합 데이터를 생성한다.
영상 처리부(230)는 융합 데이터를 기반으로 객체의 구별뿐만 아니라 정확한 위치 측정 또한 가능한 객체 데이터를 제공한다. 본 실시예에 있어서, 영상 처리부(230)는 현재 영상 내 검출된 객체의 소정 포인트와 가장 가까이 투영된 레이더 센서 데이터를 기반으로 객체에 대한 거리정보를 산출하여 제공할 수 있다.
예컨대, 도 7을 참조하여 설명하면, 영상 처리부(230)는 영상에서 검출된 객체의 바운딩 박스의 중간 바닥 포인트와 가장 가까이 투영된 레이더 센서 데이터를 기반으로 객체에 대한 거리정보를 산출할 수 있다.
한편, 단순히 거리 값으로만 결정된 레이더 센서 데이터를 기반으로 객체에 대한 거리정보를 산출하는 경우 정확히 같은 물체에 연결이 안되는 경우가 발생할 수 있게 된다. 이에, 본 실시예에 따른 영상 처리부(230)는 거리 값뿐만 아니라, 객체의 방향 및 움직임 정보를 추가로 고려하여, 거리정보의 산출을 위한 레이저 센서 데이터를 결정할 수 있다.
저장부(240)는 객체의 인식 과정에서 필요한 정보들을 기 수집하여 저장한다. 본 실시예에 있어서, 저장부(240)는 객체 인식 과정에서 산출한 영상의 특징점에 대한 정보를 저장하고, 이를 이전 영상의 특징점에 대한 정보로서 제공할 수 있다.
도 8은 본 실시예에 따른 객체 인식방법을 설명하기 위한 순서도이다.
객체 인식장치(200)는 적어도 하나의 카메라 및 레이더 센서로부터 영상 데이터 및 레이더 센서 데이터를 수집한다(S802).
객체 인식장치(200)는 단계 S802에서 수집한 영상 데이터를 기반으로 이전 영상의 특징점에 대응하는 현재 영상의 특징점을 추적하여 현재 영상 내 객체의 위치를 예측한 추적 데이터를 산출한다(S804). 단계 S804에서 객체 인식장치(200)는 카메라가 흔들리거나 객체의 움직임이 급격하게 변할 경우에도 강인한 추적을 위해 KLT 추적기를 활용한다. 즉, 객체 인식장치(200)는 먼저 칼만 필터의 단점을 해결하기 위해 KLT 추적기를 사용하여 객체 위치를 정확하게 예측하고, KLT 추적기가 예측에 실패할 경우를 대비하여 칼만필터를 사용하여 예측한다.
객체 인식장치(200)는 단계 S804에서 산출한 추적 데이터 및 단계 S802의 레이더 센서 데이터를 융합하여 융합 데이터를 생성한다(S806). 단계 S806에서 객체 인식장치(200)는 호모그래피 행렬 계산을 사용하여 레이더 센서 데이터를 단계 S804의 추적 데이터 상에 투영하고, 이를 통해, 융합 데이터를 생성한다.
객체 인식장치(200)는 단계 S806에서 생성한 융합 데이터를 기반으로 객체에 대한 거리정보를 포함한 객체 데이터를 생성한다(S808). 단계 S808에서 객체 인식장치(200)는 영상에서 검출된 객체의 바운딩 박스의 중간 바닥 포인트와 가장 가까이 투영된 레이더 센서 데이터를 기반으로 객체에 대한 거리정보를 산출할 수 있다. 다른 실시예에서, 객체 인식장치(200)는 거리 값뿐만 아니라, 객체의 방향 및 움직임 정보를 추가로 고려하여, 거리정보의 산출을 위한 레이저 센서 데이터를 결정할 수 있다.
여기서, 단계 S802 내지 S808은 앞서 설명된 객체 인식장치(200)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
도 8에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 8에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 8은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 8에 기재된 객체 인식방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.
이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 객체 인식장치 210: 센서부
220: 영상 객체 추적부 230: 영상 처리부
240: 저장부

Claims (11)

  1. 적어도 하나의 카메라 및 레이더 센서로부터 영상 데이터와 레이더 센서 데이터를 수집하는 센서부;
    상기 영상 데이터를 기반으로 이전 영상의 특징점에 대응하는 현재 영상의 특징점을 추적하여 상기 현재 영상 내 객체의 위치를 예측한 추적 데이터를 산출하는 영상 객체 추적부; 및
    상기 추적 데이터 및 상기 레이더 센서 데이터를 융합하여 융합 데이터를 생성하고, 상기 융합 데이터를 기반으로 상기 객체에 대한 거리정보를 포함한 객체 데이터를 제공하는 영상 처리부를 포함하되,
    상기 영상 객체 추적부는,
    상기 이전 영상의 특징점의 위치정보 및 상기 현재 영상을 입력으로 하여, 상기 이전 영상의 특징점의 변위를 기초로 KLT 추적기를 이용하여 상기 이전 영상의 특징점에 대응되는 상기 현재 영상의 특징점을 추적하여 매칭하고, 매칭된 특징점 간 오차값을 계산하고, 계산된 오차값이 일정 임계값 이하인 점들의 수가 전체 특징점 수 대비 일정 비율 미만인 경우 상기 매칭이 실패한 것으로 판별하여 칼만 필터를 이용하여 특징점을 재산출하되,
    상기 이전 영상 내 객체를 검출하고, 상기 현재 영상 내 상기 객체를 검출하여, 상기 이전 영상 내 검출된 객체 및 상기 현재 영상 내 검출된 객체 간 유사도 강도(cost)를 계산하고, 상기 유사도 강도의 합이 최소가 되도록 하는 상기 이전 영상 내 검출된 객체와 상기 현재 영상 내 검출된 객체 간 관계를 기초로, 예측된 객체와 상기 현재 영상 내 검출된 객체를 결합(associate)하는 것
    을 특징으로 하는 객체 인식장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1항에 있어서,
    상기 영상 처리부는,
    호모그래피 행렬 계산을 사용하여 상기 레이더 센서 데이터를 상기 추적 데이터 상에 투영하는 것을 특징으로 하는 객체 인식장치.
  8. 제 7항에 있어서,
    상기 영상 처리부는,
    상기 현재 영상 내 검출된 상기 객체의 소정 포인트와 가장 가까이 투영된 레이더 센서 데이터를 기반으로 상기 객체에 대한 거리정보를 산출하는 것을 특징으로 하는 객체 인식장치.
  9. 제 8항에 있어서,
    상기 영상 처리부는,
    상기 객체에 상응하는 바운딩 박스의 중간 바닥 포인트와 가장 가까이 투영된 레이더 센서 데이터를 기반으로 상기 객체에 대한 거리정보를 산출하는 것을 특징으로 하는 객체 인식장치.
  10. 제 7항에 있어서,
    상기 영상 처리부는,
    상기 객체의 방향 및 움직임 정보를 고려하여 결정된 소정 포인트 상에 투영된 레이더 센서 데이터를 기반으로 상기 객체에 대한 거리정보를 산출하는 것을 특징으로 하는 객체 인식장치.
  11. 적어도 하나의 카메라 및 레이더 센서로부터 영상 데이터와 레이더 센서 데이터를 수집하는 과정;
    상기 영상 데이터를 기반으로 이전 영상의 특징점에 대응하는 현재 영상의 특징점을 추적하여 상기 현재 영상 내 객체의 위치를 예측한 추적 데이터를 산출하는 과정; 및
    상기 추적 데이터 및 상기 레이더 센서 데이터를 융합하여 융합 데이터를 생성하고, 상기 융합 데이터를 기반으로 상기 객체에 대한 거리정보를 포함한 객체 데이터를 제공하는 과정을 포함하되,
    상기 추적 데이터를 산출하는 과정은,
    상기 이전 영상의 특징점의 위치정보 및 상기 현재 영상을 입력으로 하여, 상기 이전 영상의 특징점의 변위를 기초로 KLT 추적기를 이용하여 상기 이전 영상의 특징점에 대응되는 상기 현재 영상의 특징점을 추적하여 매칭하고, 매칭된 특징점 간 오차값을 계산하고, 계산된 오차값이 일정 임계값 이하인 점들의 수가 전체 특징점 수 대비 일정 비율 미만인 경우 상기 매칭이 실패한 것으로 판별하여 칼만 필터를 이용하여 특징점을 재산출하되,
    상기 이전 영상 내 객체를 검출하고, 상기 현재 영상 내 상기 객체를 검출하여, 상기 이전 영상 내 검출된 객체 및 상기 현재 영상 내 검출된 객체 간 유사도 강도(cost)를 계산하고, 상기 유사도 강도의 합이 최소가 되도록 하는 상기 이전 영상 내 검출된 객체와 상기 현재 영상 내 검출된 객체 간 관계를 기초로, 예측된 객체와 상기 현재 영상 내 검출된 객체를 결합(associate)하는 것
    을 특징으로 하는 객체 인식방법.
KR1020180159602A 2018-12-12 2018-12-12 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치 KR102151814B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180159602A KR102151814B1 (ko) 2018-12-12 2018-12-12 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180159602A KR102151814B1 (ko) 2018-12-12 2018-12-12 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치

Publications (2)

Publication Number Publication Date
KR20200071959A KR20200071959A (ko) 2020-06-22
KR102151814B1 true KR102151814B1 (ko) 2020-09-03

Family

ID=71142210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180159602A KR102151814B1 (ko) 2018-12-12 2018-12-12 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치

Country Status (1)

Country Link
KR (1) KR102151814B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054969A1 (ko) * 2021-10-01 2023-04-06 주식회사 골프존 영상과 레이더에 기반한 볼 궤적 산출방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348294B1 (ko) * 2020-08-24 2022-01-12 한국철도기술연구원 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
KR102406240B1 (ko) * 2020-09-17 2022-06-08 충북대학교 산학협력단 강인한 스테레오 비주얼 관성 항법 장치 및 방법
CN112233097B (zh) * 2020-10-19 2022-10-28 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
KR102638711B1 (ko) * 2021-11-22 2024-02-22 (주)노바코스 레이더와 카메라 융합 기반의 차량인식시스템
CN114200442B (zh) * 2021-12-10 2024-04-05 合肥工业大学 一种基于毫米波雷达和视觉的道路目标检测与关联方法
KR102425271B1 (ko) 2021-12-29 2022-07-27 주식회사 파이엇 장애물회피방법을 구비한 자율주행로봇
KR102513382B1 (ko) * 2022-02-09 2023-03-24 포티투닷 주식회사 보행자의 위치를 결정하는 방법 및 장치
KR102618924B1 (ko) * 2023-10-18 2023-12-28 한화시스템(주) Fmcw 레이다 기반의 객체 탐지 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665386B1 (ko) * 2010-11-15 2016-10-12 한화테크윈 주식회사 로봇 위치 추정 장치 및 방법
KR101644370B1 (ko) * 2014-10-23 2016-08-01 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
KR101672732B1 (ko) * 2014-12-24 2016-11-07 한국항공우주연구원 객체 추적 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054969A1 (ko) * 2021-10-01 2023-04-06 주식회사 골프존 영상과 레이더에 기반한 볼 궤적 산출방법
KR20230047580A (ko) * 2021-10-01 2023-04-10 주식회사 골프존 영상과 레이더에 기반한 볼 궤적 산출방법
KR102570340B1 (ko) 2021-10-01 2023-08-25 주식회사 골프존 영상과 레이더에 기반한 볼 궤적 산출방법

Also Published As

Publication number Publication date
KR20200071959A (ko) 2020-06-22

Similar Documents

Publication Publication Date Title
KR102151814B1 (ko) 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치
Dewan et al. Motion-based detection and tracking in 3d lidar scans
US8831872B2 (en) Apparatus and method for estimating location of mobile body and generating map of mobile body environment using upper image of mobile body environment, and computer readable recording medium storing computer program controlling the apparatus
CN109870698B (zh) 一种超声波阵列障碍物检测结果处理方法及系统
KR102075844B1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
KR102592830B1 (ko) 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN115113206B (zh) 井下有轨车辅助驾驶的行人与障碍物检测方法
KR20230026130A (ko) 자율 주행을 위한 단일 계층 3차원 다중 객체 검출 장치 및 방법
US11080562B1 (en) Key point recognition with uncertainty measurement
Fioretti et al. A single camera inspection system to detect and localize obstacles on railways based on manifold Kalman filtering
CN113741550B (zh) 移动机器人跟随方法和系统
Diaz-Ruiz et al. Vision-only 3d tracking for self-driving cars
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
KR102456151B1 (ko) 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법
Azri et al. Visual analytics of 3D LiDAR point clouds in robotics operating systems
EP3905113A1 (en) Camera height calculation method and image processing apparatus
Rezaei et al. A Deep Learning-Based Approach for Vehicle Motion Prediction in Autonomous Driving
JP2019144900A (ja) 状態推定装置及びプログラム
KR102353617B1 (ko) 야생동물의 위치 예측 시스템
CN115273015A (zh) 一种预测方法、装置、智能驾驶系统和车辆
KR101002776B1 (ko) 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성 장치및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
Kunjumon et al. Implementation of vision and lidar sensor fusion using kalman filter algorithm [J]
Ziegler et al. A Comprehensive Framework for Evaluating Vision-Based on-Board Rail Track Detection
Hsu et al. Object detection and recognition by using sensor fusion

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right