KR102029850B1 - 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 - Google Patents

카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR102029850B1
KR102029850B1 KR1020190035839A KR20190035839A KR102029850B1 KR 102029850 B1 KR102029850 B1 KR 102029850B1 KR 1020190035839 A KR1020190035839 A KR 1020190035839A KR 20190035839 A KR20190035839 A KR 20190035839A KR 102029850 B1 KR102029850 B1 KR 102029850B1
Authority
KR
South Korea
Prior art keywords
dimensional coordinates
image
candidate region
object candidate
camera
Prior art date
Application number
KR1020190035839A
Other languages
English (en)
Inventor
이성주
김태오
Original Assignee
세종대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교 산학협력단 filed Critical 세종대학교 산학협력단
Priority to KR1020190035839A priority Critical patent/KR102029850B1/ko
Application granted granted Critical
Publication of KR102029850B1 publication Critical patent/KR102029850B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G01S17/023—
    • G01S17/895—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Abstract

본 발명은 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 카메라 및 라이다 센서로부터 이미지 및 라이다 데이터를 획득하는 획득부와, 이미지를 영상 처리하여 검출된 객체 후보 영역이 객체일 확률에 해당하는 점수를 연산하여 객체인지 여부를 초기 판별하는 제1 검출부와, 초기 판별 결과 객체가 아닌 경우, 상기 객체 후보 영역을 구성하는 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 변환부와, 상기 라이다 데이터 내의 좌표 지점들 중 상기 3차원 좌표에 대응된 지점 상에 3차원 점군 데이터가 존재하는 경우, 상기 객체 후보 영역에 대한 이미지 확대 및 화질 개선 중 적어도 하나의 재처리를 수행하는 재처리부와, 재처리된 객체 후보 영역에 대해 상기 점수를 재연산하여 객체인지 여부를 재판별하는 제2 검출부, 및 상기 초기 판별 또는 재판별 결과 객체인 경우, 상기 검출된 객체 후보 영역 또는 상기 재처리된 객체 후보 영역에 대한 객체 분류를 수행하는 분류부를 포함하는 객체 검출 장치를 제공한다.
본 발명에 의하면, 카메라 데이터와 라이다 센서 데이터를 효율적으로 융합하여 객체 검출 효율 및 성능을 높임은 물론, 연산의 복잡도 및 소요 시간을 줄일 수 있다.

Description

카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법{Object detecting apparatus using camera and lidar sensor and method thereof}
본 발명은 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 카메라와 라이다 센서의 데이터를 융합하여 객체 검출 효율 및 성능을 높일 수 있는 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법에 관한 것이다.
최근에 운전자를 보조하여 차량 제어를 하고 궁극적으로 운전자를 대체하도록 개발되는 ADAS(Advanced Driver Assistance System)의 기술 개발이 한창이다.
ADAS는 카메라, 라이다(Lidar), 레이다(Radar) 등 여러 센서들을 이용하여 차량 주행 시 발생할 수 있는 사고를 미리 감지해 알려주고 운전자를 대신해 자동차의 움직임을 제어하여 위험을 막을 수 있다.
ADAS에서 사용되는 센서 중 라이다 센서는 레이저 펄스를 송신하여 타겟에 비추고 반사되어 들어오는 시간을 기록하며, 이를 위치 정보와 결합하여 거리 측정치를 얻는 측량 방법을 사용한다.
라이다는 레이다보다 높은 정밀도와 해상도를 갖고 우수한 범위 정보를 제공하지만 대상 식별에 한계가 있다. 이에 반해, 카메라는 레이다와 라이다를 통해서는 파악할 수 없는 형상 정보를 파악한다는 장점이 있지만, 고해상도 범위 정보에 대한 제한이 있고 안개가 껴있거나 불순물 등이 묻어 있을 경우 인식이 어렵다는 단점이 있다.
이처럼 각 선세들은 뚜렷한 장단점을 가지고 있다. 이러한 점 때문에 각 센서들이 가지고 있는 단점들을 보완할 수 있도록 하는 센서들의 조합에 대한 연구가 활발하게 진행되고 있다.
카메라 센서의 경우, 객체 검출을 위해 라이다와 레이다의 데이터를 추가적으로 이용하여 인식률을 올리는 방법이 있다. 그런데, 라이다 센서의 데이터는 3차원으로 표현된 포인트 클라우드(point cloud) 형태로서, 이를 카메라 센서의 데이터와 융합하기 위해서는 데이터를 2차원 평면으로 투영하거나 다른 데이터 형태로 변환하여 매칭시키는 부가적인 작업을 필요로 한다.
이와 같은 부가적인 작업을 거칠 경우 정보 손실이 발생할 수 있으며, 어떠한 프로세스를 적용했는지에 따라 성능이 달라질 수 있기 때문에 프로세스 의존도가 높다. 또한, 라이다 센서는 일반적으로 초당 10개의 프레임을 스캔하여 초당 약 100만 개의 3D 포인트 클라우드를 캡쳐하기 때문에, 처리해야 할 데이터가 방대하다. 이러한 이유로 카메라 데이터에 라이다 데이터를 융합하는 데에는 많은 계산량과 처리 시간을 필요로 한다.
특히, 데이터 융합을 위해서는 라이다 데이터를 2D 이미지 또는 그리드 형태로 변환해야 하는데, 변환 과정에서 많은 계산량과 긴 소요 시간을 필요로 하며, 그 과정에서 라이다 센서에서 캡쳐한 모든 포인트 클라우드가 인식에 필요하지 않음에도 불구하고 불필요한 데이터까지 변환에 사용된다는 문제점이 있다.
본 발명의 배경이 되는 기술은 한국공개특허 제2016-0083792호(2016.07.12 공개)에 개시되어 있다.
본 발명은, 카메라와 라이다 센서의 데이터를 효율적으로 융합하여 객체 검출 효율 및 성능을 높임은 물론 연산의 복잡도 및 소요 시간을 줄일 수 있는 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 카메라와 라이다 센서를 이용한 객체 검출 장치에 있어서, 카메라 및 라이다 센서로부터 이미지 및 라이다 데이터를 획득하는 획득부와, 상기 이미지를 영상 처리하여 검출된 객체 후보 영역이 객체일 확률에 해당하는 점수를 연산하여 객체인지 여부를 초기 판별하는 제1 검출부와, 상기 초기 판별 결과 객체가 아닌 경우, 상기 객체 후보 영역을 구성하는 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 변환부와, 상기 라이다 데이터 내에서 상기 3차원 좌표에 해당한 지점 상에 3차원 점군 데이터가 존재하는 경우, 상기 객체 후보 영역에 대한 이미지 확대 및 화질 개선 중 적어도 하나의 재처리를 수행하는 재처리부와, 상기 재처리된 객체 후보 영역에 대해 상기 점수를 재연산하여 객체인지 여부를 재판별하는 제2 검출부, 및 상기 초기 판별 또는 재판별 결과 객체인 경우, 상기 검출된 객체 후보 영역 또는 상기 재처리된 객체 후보 영역에 대한 객체 분류를 수행하는 분류부를 포함하는 객체 검출 장치를 제공한다.
또한, 상기 제1 검출부는, 상기 점수를 기준값과 비교하여, 상기 점수가 기 설정된 기준값보다 크면 객체이고 기준값 이하이면 객체가 아닌 것으로 판별할 수 있다.
또한, 상기 재처리부는, 상기 점수가 상기 기준값 이하이면서 기 설정된 제1 임계값보다 큰 제1 조건을 만족하면, 상기 객체 후보 영역에 대한 이미지 확대 또는 화질 개선 중 선택된 하나의 재처리만 수행할 수 있다.
또한, 상기 재처리부는, 상기 점수가 상기 제1 임계값 이하이면서 기 설정된 제2 임계값보다 큰 제2 조건을 만족하면, 상기 객체 후보 영역에 대한 이미지 확대 및 화질 개선을 모두 수행할 수 있다.
또한, 상기 변환부는, 아래의 수학식을 이용하여 상기 객체 후보 영역의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환할 수 있다.
Figure 112019031924485-pat00001
여기서, (X,Y,Z)는 상기 라이다 센서의 좌표계인 월드 좌표계 상의 3차원 좌표, R 및 T는 월드 좌표계를 카메라 좌표계로 변환시키기 위한 외부 행렬(extrinsic matrix)인 회전 행렬 및 이동 변환 행렬, K는 카메라 좌표계를 이미지 상에 매핑하는 내부 행렬(intrinsic matrix), C = [x y 1]-1 이며, (x,y)는 이미지 상의 상기 2차원 좌표이다.
또한, 상기 객체 검출 장치는, 상기 카메라의 이미지 내 모든 2차원 좌표와 상기 2차원 좌표에 대응된 3차원 좌표가 상호 매핑된 좌표 변환 테이블을 구축하여 저장한 저장부를 더 포함하고, 상기 변환부는, 상기 좌표 변환 테이블을 기초로 상기 객체 후보 영역 내의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환할 수 있다.
또한, 상기 분류부는, 상기 3차원 좌표에 대응된 지점 상에 3차원 점군 데이터가 존재하지 않으면, 해당 객체 후보 영역이 객체가 아닌 것으로 확정하고 해당 객체 후보 영역에 대해 객체 분류를 수행하지 않도록 할 수 있다.
그리고, 본 발명은, 카메라와 라이다 센서를 이용한 객체 검출 장치의 객체 검출 방법에 있어서, 카메라 및 라이다 센서로부터 이미지 및 라이다 데이터를 획득하는 단계와, 상기 이미지를 영상 처리하여 검출된 객체 후보 영역이 객체일 확률에 해당하는 점수를 연산하여 객체인지 여부를 초기 판별하는 단계와, 상기 초기 판별 결과 객체가 아닌 경우, 상기 객체 후보 영역을 구성하는 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 단계와, 상기 라이다 데이터 내에서 상기 3차원 좌표에 해당한 지점 상에 3차원 점군 데이터가 존재하는 경우, 상기 객체 후보 영역에 대한 이미지 확대 및 화질 개선 중 적어도 하나의 재처리를 수행하는 단계와, 상기 재처리된 객체 후보 영역에 대해 상기 점수를 재연산하여 객체인지 여부를 재판별하는 단계, 및 상기 초기 판별 또는 재판별 결과 객체인 경우, 상기 검출된 객체 후보 영역 또는 상기 재처리된 객체 후보 영역에 대한 객체 분류를 수행하는 단계를 포함하는 객체 검출 방법을 제공한다.
또한, 상기 초기 판별하는 단계는, 상기 점수를 기준값과 비교하여, 상기 점수가 기 설정된 기준값보다 크면 객체이고 기준값 이하이면 객체가 아닌 것으로 판별할 수 있다.
또한, 상기 재처리를 수행하는 단계는, 상기 점수가 상기 기준값 이하이면서 기 설정된 제1 임계값보다 큰 제1 조건을 만족하면, 상기 객체 후보 영역에 대한 이미지 확대 또는 화질 개선 중 선택된 하나의 재처리만 수행할 수 있다.
또한, 상기 재처리를 수행하는 단계는, 상기 점수가 상기 제1 임계값 이하이면서 기 설정된 제2 임계값보다 큰 제2 조건을 만족하면, 상기 객체 후보 영역에 대한 이미지 확대 및 화질 개선을 모두 수행할 수 있다.
또한, 상기 변환하는 단계는, 아래의 수학식을 이용하여 상기 객체 후보 영역의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환할 수 있다.
Figure 112019031924485-pat00002
여기서, (X,Y,Z)는 상기 라이다 센서의 좌표계인 월드 좌표계 상의 3차원 좌표, R 및 T는 월드 좌표계를 카메라 좌표계로 변환시키기 위한 외부 행렬(extrinsic matrix)인 회전 행렬 및 이동 변환 행렬, K는 카메라 좌표계를 이미지 상에 매핑하는 내부 행렬(intrinsic matrix), C = [x y 1]-1 이며, (x,y)는 이미지 상의 상기 2차원 좌표이다.
또한, 상기 객체 검출 방법은, 상기 카메라의 이미지 내 모든 2차원 좌표와 상기 2차원 좌표에 대응된 3차원 좌표가 상호 매핑된 좌표 변환 테이블을 구축하여 저장하는 단계를 더 포함하고, 상기 변환하는 단계는, 상기 좌표 변환 테이블을 기초로 상기 객체 후보 영역 내의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환할 수 있다.
또한, 상기 분류하는 단계는, 상기 3차원 좌표에 대응된 지점 상에 3차원 점군 데이터가 존재하지 않으면, 해당 객체 후보 영역이 객체가 아닌 것으로 확정하고 해당 객체 후보 영역에 대해 객체 분류를 수행하지 않도록 할 수 있다.
본 발명에 의하면, 카메라와 라이다 센서의 데이터를 효율적으로 융합하여 객체 검출 효율 및 성능을 높임은 물론 연산의 복잡도 및 소요 시간을 줄일 수 있는 이점을 제공한다.
또한, 본 발명은 카메라의 데이터 상에서 객체가 아닌 것으로 초기 판별된 경우만 라이다 센서의 데이터를 추가로 활용하므로, 분석에 필요한 계산량을 줄임과 동시에 카메라 데이터만을 사용하여 분석할 경우에 대한 객체 검출 오류를 효과적으로 보완할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라와 라이다 센서를 이용한 객체 검출 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 각 구성요소 간 데이터 흐름을 설명하는 도면이다.
도 3은 본 발명의 실시예에서 좌표 변환을 통한 라이다 데이터 상의 검증 예시를 설명한 도면이다.
도 4는 본 발명의 실시예에서 좌표 변환을 위한 룩업 테이블을 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 객체 검출 방법을 설명하는 도면이다.
도 6은 본 발명의 실시예에서 라이다 데이터를 이용한 추가 검증 과정에서 수행하는 이미지 재처리 동작을 구체적으로 설명한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 카메라와 라이다 센서를 이용한 객체 검출 장치의 구성을 나타낸 도면이고, 도 2는 도 1의 각 구성요소 간 데이터 흐름을 설명하는 도면이다.
도 1 및 도 2에 나타낸 것과 같이, 본 발명의 실시예에 따른 카메라와 라이다 센서를 이용한 객체 검출 장치(100)는 획득부(110), 제1 검출부(120), 분류부(160), 변환부(130), 제2 검출부(150), 재처리부(140), 저장부(170)를 포함한다.
객체 검출 장치(100)는 카메라(10)와 라이다 센서(20)의 데이터를 융합하여 감시 대상 영역 내 객체를 효율적으로 검출하고 분류한다.
객체 검출 장치(100)는 도 1에서와 같이 외부 카메라(10) 및 라이다 센서(20)와 연결되어 동작할 수도 있지만, 카메라(10) 및 라이다 센서(20)를 내장하는 형태로 구성될 수도 있다.
객체 검출 장치(100)가 차량 등의 이동체에 장착된 경우, 차량의 전, 후, 측방 등을 감시하도록 설치된 카메라(10)와 라이다 센서(20)의 데이터로부터 객체를 검출하고 검출한 객체를 분류할 수 있다. 여기서, 객체를 사람, 차량 객체 등으로 분류할 수도 있고 차량을 차종 별로 분류할 수도 있다. 객체 분류 예시는 매우 다양하게 존재할 수 있다.
다음은 도 1과 도 2를 기초로 객체 검출 장치(100)를 더욱 상세히 설명한다.
획득부(110)는 데이터를 획득하는 부분으로서 카메라(10) 및 라이다 센서(20)로부터 이미지 및 라이다 데이터를 획득한다.
제1 검출부(120)는 카메라(10)로부터 획득된 이미지를 영상 처리(이미지 프로세싱)하여 이미지 내에서 적어도 하나의 객체 후보 영역을 검출한다. 또한, 제1 검출부(120)는 검출한 객체 후보 영역이 객체일 확률에 해당하는 점수(가능성 지수)를 연산하고 객체인지 여부를 초기 판별한다.
제1 검출부(120)는 객체 검출 및 인식을 위한 알고리즘의 하나인 SVM(Support Vector Machine) 알고리즘을 이용하여 객체 후보 영역이 실제 객체에 해당할 가능성에 대한 점수를 연산할 수 있다.
SVM 알고리즘은 객체 별 특징들을 기 학습하여 학습한 결과를 기초로 현재의 이미지 내에서 객체 후보 영역을 검출한다. 그리고, 객체 후보 영역이 실제 객체일 확률에 대응된 점수를 연산하고 연산된 점수를 기준값과 비교하여 해당 객체 후보 영역이 객체인지 여부를 초기 판별한다.
예를 들어, 제1 검출부(120)는 객체 후보 영역에 대한 점수 P가 기준값 0보다 클 경우(P>0), 이를 객체로 판별하고, 0보다 작거나 같을 경우(P≤0)에는 객체가 아닌 것으로 판별할 수 있다.
분류부(160)는 점수가 0보다 커서 객체인 것으로 판별된 객체 후보 영역에 대해서는 객체 분류 알고리즘을 즉시 적용하여, 해당 객체 후보 영역에 대한 객체 분류를 수행한다.
분류부(160)는 점수가 0 이하인 객체 후보 영역의 경우 객체 분류 대상이 되지 않기 때문에, 객체 분류를 수행하지 않을 수 있다. 여기서, SVM 알고리즘에 객체 분류 기능이 포함되어 있을 경우, 분류부(160)는 SVM 알고리즘을 이용하여 객체 분류를 수행하면 된다.
하지만, 안개, 눈, 비 등의 악천후, 야간 시간대 등의 환경이거나, 객체가 너무 멀리 위치한 경우에는, 카메라(10)의 촬영 이미지 만으로는 객체 검출과 인식이 어려울 수 있으며, 검출 및 인식 성능이 매우 저하되어 검출 오류가 발생할 가능성이 높다.
즉, 날씨 또는 다양한 요인으로 인하여 객체 임에도 불구하고 검출 결과 값이 기준값보다 낮을 경우 해당 영역이 객체임에도 불구하고 객체가 아닌 것으로 오판정할 수 있는 문제점이 있다.
본 발명의 실시예의 경우, 객체가 아닌 것으로 초기 판별된 객체 후보 영역에 대해 라이다 센서(20)에 의한 라이다 데이터를 추가로 활용하여 객체인지 여부를 한번 더 검증하고 재판별한다.
이를 위해, 객체 후보 영역에 대한 이미지 상의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 과정, 그리고 변환된 3차원 좌표 지점 상에 실제로 3차원 점군 데이터가 존재하는지 판단하여 실제로 존재할 경우 해당 객체 후보 영역을 재처리(확대 또는 화질 개선)한 후 점수를 재연산하여 기준값과 비교하는 과정을 거친다.
이처럼, 카메라(10)의 데이터를 통해 객체가 아닌 것으로 초기 판별된 경우에만 라이다 센서(20)의 데이터를 추가로 활용하므로 계산량 및 복잡도를 크게 줄임은 물론, 카메라 데이터만을 활용할 경우에 대한 검출 오류를 보완함으로써 객체 검출 및 분류 성능을 높일 수 있다.
이를 위해, 변환부(130)는 제1 검출부(120)의 초기 판별 결과 객체가 아닌 경우에, 해당 객체 후보 영역을 구성하는 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하고 변환한 결과를 재처리부(140)로 전달한다. 여기서, 객체 후보 영역에 해당한 박스(box) 내 모든 픽셀들을 3차원 좌표로 변환할 수도 있고 연산량을 줄이도록 일부만 변환할 수도 있다.
변환부(130)는 아래의 수학식 1을 이용하여 객체 후보 영역의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환할 수 있다.
Figure 112019031924485-pat00003
여기서, (X,Y,Z)는 라이다 센서의 좌표계인 월드(World) 좌표계 상의 3차원 좌표, R 및 T는 월드 좌표계를 카메라 좌표계로 변환시키기 위한 외부 행렬(extrinsic matrix)인 회전 행렬 및 이동 변환 행렬, K는 카메라 좌표계를 이미지 상에 매핑하는 내부 행렬(intrinsic matrix), C = [x y 1]-1 이며, (x,y)는 이미지 상의 2차원 좌표이다.
이처럼, 수학식 1을 이용하면 이미지 상의 2차원 좌표를 라이다 센서에 의한 라이다 데이터 상의 3차원 좌표로 변환할 수 있다.
여기서, 변환부(130)는 수학식 1을 이용하여 좌표 변환을 수행할 수도 있지만, 수학식 1을 기반으로 기 구축한 좌표 변환 테이블을 이용하여 좌표 변환을 수행할 수도 있다.
도 4는 본 발명의 실시예에서 좌표 변환을 위한 룩업 테이블을 예시한 도면이다.
도 4에 나타낸 것과 같이, 본 발명의 실시예에서 저장부(170)는 카메라의 이미지 내 모든 2차원 좌표와 2차원 좌표에 대응된 3차원 좌표가 상호 매핑된 좌표 변환 테이블을 구축하여 미리 저장해 둔다.
변환부(130)는 저장부(170)에 저장된 좌표 변환 테이블을 기초로 객체 후보 영역 내의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환할 수 있다. 이러한 경우, 테이블 상에 매칭된 좌표를 탐색하기만 하면 되므로, 직접적인 수학적 연산 과정을 배제하면서 간단하고 편리하게 좌표 변환을 수행할 수 있고 연산량 및 복잡도를 크게 줄일 수 있다.
재처리부(140)는 변환부(130)에서 변환된 3차원 좌표와, 라이다 센서(20)에서 얻은 라이다 데이터를 이용하여 이미지의 재처리(이미지 확대, 화질 개선 중 적어도 하나)를 수행할지 여부를 판단한다.
구체적으로, 재처리부(140)는 라이다 데이터 내의 3차원 좌표 지점들 중 변환부(130)에서 변환한 3차원 좌표에 해당한 지점 상에 실제로 3차원 점군 데이터가 존재하지 여부를 판단한다.
이때, 3차원 점군 데이터가 존재한다는 것은 해당 영역이나 지점 상에 객체가 존재한다는 것을 의미한다. 물론 이는 곧 제1 검출부(120)에서 초기 판별한 결과가 잘못되었을 가능성이 높음을 의미한다.
라이다 센서(20)는 물체로부터 반사되어 되돌아오는 정보를 기초로 객체, 장애물 등에 대해 3차원 점군 데이터를 획득하므로, 라이다 데이터 상에는 객체가 존재하는 지점이나 영역에 대응해서만 3차원 점군 데이터가 존재한다.
재처리부(140)는 라이다 데이터 상의 해당 3차원 좌표 지점에 실제로 3차원 점군 데이터가 존재하는 경우, 해당 객체 후보 영역에 대한 이미지 확대(Zoom In) 및 화질 개선 중 적어도 하나의 재처리를 수행한다. 여기서, 화질 개선의 경우 화질을 향상시키는 필터링, 마스크 적용 등과 같은 다양한 영상 보정 알고리즘을 이용할 수 있다.
도 3은 본 발명의 실시예에서 좌표 변환을 통한 라이다 데이터 상의 검증 예시를 설명한 도면이다.
좌측 도면은 카메라(10)로부터 획득한 이미지 데이터이며, 우측 도면은 라이다 센서(20)로부터 획득한 라이다 데이터를 나타낸다. 좌측 도면 상에서 박스 영역은 검출된 객체 후보 영역을 나타낸다. 여기서, 해당 박스 영역에 대해 연산한 점수가 기준값(예를 들어, 0)보다 크다면 바로 객체 분류를 수행하면 된다.
하지만, 점수가 기준값보다 작거나 같다면, 해당 박스 상의 2차원 좌표를 3차원 좌표로 변환하여 우측 도면과 같이 라이다 데이터 상에 매핑시킨다. 매핑된 박스 영역 상에 3차원 점군 데이터가 존재하는 도 3의 경우, 좌측 도면의 2차원 이미지에서 해당 박스 영역 부분만을 확대 또는 화질 개선한 후에 점수를 재연산하도록 한다.
여기서, 재처리부(140)는 이미지 확대 또는 화질 개선 중 하나만 수행할 수도 있고, 이미지 확대 및 화질 개선을 모두 수행할 수도 있다. 해당 영역에 대한 점수가 기준값으로부터 아래로 멀어질수록 객체 검출과 인식이 어려우므로, 이미지 확대 및 화질 개선을 모두 수행하는 것이 바람직하다. 그 구체적인 실시예는 다음과 같다.
재처리부(140)는 해당 객체 후보 영역에 대해 연산된 점수(P)가 기준값(예를 들어, 0) 이하이면서, 기 설정된 제1 임계값(Threshold1)보다 큰 수학식 2의 조건을 만족하면, 객체 후보 영역에 대한 이미지 확대 또는 화질 개선 중 선택된 하나의 재처리만 수행한다.
Figure 112019031924485-pat00004
즉, 해당 객체 후보 영역에 대해 연산된 점수가 기준값 0보다는 작지만 기준값에 매우 근접한 경우에는 객체 후보 영역의 확대 또는 화질 개선 중 어느 하나만 수행하도록 한다.
하지만, 점수(P)가 제1 임계값(Threshold1) 이하이면서 기 설정된 제2 임계값(Threshold2)보다 큰 수학식 3의 조건을 만족하는 경우, 재처리부(140)는 객체 후보 영역에 대한 이미지 확대 및 화질 개선을 모두 수행하도록 한다.
Figure 112019031924485-pat00005
즉, 해당 객체 후보 영역에 대해 연산된 점수가 제1 임계값보다는 작지만 제2 임계값 이상의 값 즉, 충분히 객체라고 생각될 수 있는 값이면, 이미지 확대 및 화질 개선을 모두 적용하여 보다 정밀한 측정과 분석이 가능하게 한다. 물론, 제2 임계값보다 작은 경우에는 해당 영역에 객체가 없는 것으로 확정하여 그 어떠한 재처리를 수행하지 않고 작업을 종료할 수도 있다.
객체 후보 영역의 확대 또는 화질 개선의 재처리가 완료된 이후, 제2 검출부(150)는 재처리된 객체 후보 영역에 대해 앞서와 동일한 방식으로 점수(가능성 지수)를 재연산하여 객체인지 여부를 재판별한다. 여기서 제2 검출부(150)는 제1 검출부(120)에 포함될 수도 있고, 제1 검출부(120)와 함께 하나의 검출부 또는 검출 모듈을 형성할 수도 있다.
만일, 재판별 결과, 점수가 0보다 크게 도출된 경우 즉, 초기 판별 때와 달리 객체로 판별된 경우, 분류부(160)는 재처리된 객체 후보 영역에 대한 객체 분류를 수행하도록 한다. 하지만, 점수가 0보다 작거나 같은 경우 즉, 초기 판별 시와 동일하게, 객체가 아닌 것으로 재차 판별된 경우, 분류부(160)는 해당 객체 후보 영역이 객체가 아닌 것으로 확정하고 객체 분류를 수행하지 않는다.
일반적으로 라이다 센서는 초당 10 프레임을 스캔하여 초당 약 100만 개의 3D 포인트 클라우드를 캡쳐하기 때문에 처리해야 할 데이터가 방대하다. 하지만, 본 발명의 실시예는 상술한 대용량의 라이다 데이터의 전체를 사용하지 않고, 카메라 이미지의 분석 결과 추가 검증이 필요한 부분에 대응된 일부 데이터만을 사용함으로써 계산량과 소요 시간을 줄일 수 있다.
또한, 카메라 이미지를 이용한 객체 검출 시 다양한 환경으로 인해 객체가 제대로 인식되지 못하는 문제를 라이다 센서 데이터를 통해 보완할 수 있어 객체 검출 및 인식률을 높일 수 있다.
도 5는 본 발명의 실시예에 따른 객체 검출 방법을 설명하는 도면이다.
먼저, 획득부(110)는 카메라(10) 및 라이다 센서(20)로부터 각각 이미지 데이터 및 라이다 데이터를 획득한다(S510).
제1 검출부(120)는 획득된 이미지 데이터를 영상 처리(이미지 프로세싱)하여 객체 후보 영역을 검출하고(S520), 검출한 객체 후보 영역이 객체일 확률에 해당하는 점수를 연산하여 이를 기준값과 비교한다(S530).
제1 검출부(120)는 점수(P)가 기준값보다 큰지 여부에 따라 객체인지 여부를 초기 판별한다(S540). 예를 들어, 연산된 점수가 기준값보다 크면(P>0) 해당 객체 후보 영역이 실제로 객체인 것으로 판별하고, 기준값 이하(P≤0)이면 객체가 아닌 것으로 판별한다.
만일, S540 단계에 의한 초기 판별 결과, 객체로 판별된 경우, 분류부(160)는 객체로 판별된 해당 객체 후보 영역을 바로 분석하여 객체 분류를 수행한다(S550). 이를 통해, 해당 객체 후보 영역의 객체가 사람인지, 차량인지, 혹은 어떤 차종인지 등을 분류할 수 있다.
하지만, S540 단계에서 객체가 아닌 것으로 초기 판별된 경우라면, 라이다 데이터를 통한 추가적인 검증을 수행하고 이를 통해 객체인지 여부를 재판별하는 과정을 거칠 수 있다.
즉, S540 단계의 초기 판별 결과 객체가 아닌 것으로 판별된 경우, 변환부(130)는 해당 객체 후보 영역을 구성하는 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환한다(S560).
이때, 수학식 1의 연산 과정을 통하여 좌표 변환을 수행할 수도 있지만, 도 4에 도시된 좌표 변환 테이블(룩업 테이블)을 이용하여 좌표 변환을 수행할 수도 있다.
재처리부(140)는 변환된 3차원 좌표를 라이다 데이터 상에 매칭시키고(S560), 라이다 데이터 내의 해당 3차원 좌표 지점 상에 실제로 3차원 점군 데이터가 존재하는지 여부를 판단한다(S570).
만일, 라이다 데이터 내에서 객체 후보 영역에 대응된 3차원 좌표 지점 상에 3차원 점군 데이터가 존재하지 않는다면, 앞서 제1 검출부(120)를 통한 초기 판별 결과가 정상인 것으로 판단하여, 해당 객체 후보 영역에 대한 추가적인 분석을 수행하지 않고 종료한다.
하지만, 라이다 데이터 내에서 객체 후보 영역에 대응된 3차원 좌표 지점 상에 3차원 점군 데이터가 존재한다면, 초기 판별 결과에 오류가 있다고 판단하여 해당 객체 후보 영역에 대한 재처리를 수행한다.
즉, 재처리부(140)는 해당 객체 후보 영역에 대한 이미지 확대 및 화질 개선 중 적어도 하나의 재처리를 수행한다(S580). 이때, 해당 객체 후보 영역에 대해 기 연산한 점수가 수학식 2의 조건을 만족하면 확대 및 화질 개선 중 어느 하나만 수행하고, 수학식 3의 조건을 만족하면 확대 및 화질 개선을 모두 수행하도록 한다.
이후, 제2 검출부(150)는 재처리된 객체 후보 영역에 대해 앞서와 동일한 방법으로 점수를 재연산하고 이를 기준값과 비교하여 객체인지 여부를 재판별한다(S530,S540).
분류부(160)는 재연산한 점수가 0보다 큰 경우 해당 객체 후보 영역의 객체에 대한 객체 분류를 수행하도록 한다(S550). 다만, 라이다 데이터를 추가적으로 이용하여 재판별한 결과 역시 초기 판별 결과와 같이 객체가 아닌 것으로 판별된 경우, 해당 객체 후보 영역을 객체가 아닌 것으로 확정하여 객체 분류를 수행하지 않고 종료한다.
도 6은 본 발명의 실시예에서 라이다 데이터를 이용한 추가 검증 과정에서 수행하는 이미지 재처리 동작을 구체적으로 설명한 도면이다.
이하에서는 설명의 편의상, 이미지 상의 객체 후보 영역의 2차원 좌표점에 대응된 라이다 데이터 상의 3차원 좌표점 상에 3차원 점군 데이터가 존재하여, 해당 객체 후보 영역에 대한 이미지의 재처리(확대 및 화질 개선 중 적어도 하나)가 필요한 상황을 가정하여 설명한다.
본 발명의 실시예에 따른 객체 검출 장치(100)는 제1 검출부(120)를 통한 초기 판별 결과(S610), 객체 후보 영역에 대한 점수가 기준값보다 큰 경우 바로 객체 분류를 수행하도록 한다(S660). 이러한 개념은 앞서 설명한 바 있다.
하지만, 초기 판별 결과(S610), 객체 후보 영역에 대한 점수가 기준값 이하인 경우, 다시 점수를 제1 임계값(T1; Threshold1)과 비교한다(S620).
만일, S620 단계의 비교 결과, 점수가 제1 임계값보다 크다면, 수학식 2의 조건을 만족하므로, 해당 객체 후보 영역에 대해 이미지 확대 또는 화질 개선 중 어느 하나의 재처리를 수행한다(S630).
하지만, S620 단계의 비교 결과, 점수가 제1 임계값 이하이면, 점수를 다시 제2 임계값(T2; Threshold2)과 비교한다(S670). 만일 점수가 제2 임계값보다 크다면, 수학식 3의 조건을 만족하므로, 해당 객체 후보 영역에 대한 재처리를 수행하되, 이미지 확대 및 화질 개선을 순차로 수행한다(S680,S690). 물론, 점수가 제2 임계값보다도 작다면 더이상의 객체 검출 및 추출이 어렵다고 판단하여 진행을 종료한다.
S630 단계 또는 S670 단계가 종료된 이후에는, S630 단계 또는 S690 단계를 통해 재처리가 완료된 객체 후보 영역을 대상으로 점수를 재연산한다(S640).
그리고, 재연산한 점수를 기준값과 비교하여 객체인지 여부를 재판별한다(S650). 만일, 재연산된 점수가 기준값보다 크면 객체가 맞다고 판단하여, 재처리된 객체 후보 영역에 대한 객체 분류를 진행하고(S660), 그렇지 않은 경우 종료한다.
이상과 같은 본 발명에 의하면, 카메라와 라이다 센서의 데이터를 융합하여 객체 검출 효율 및 성능을 높일 수 있다. 또한, 본 발명에 따르면, 카메라의 데이터를 통하여 객체가 아닌 것으로 초기 판별된 경우에 한해 라이다 센서의 데이터를 추가로 활용하므로 분석에 필요한 계산량 및 복잡도를 줄일 수 있으며 카메라 데이터만을 활용할 경우에 대한 검출 오류를 보완할 수 있어 처리 속도는 물론 객체 검출 및 분류 성능을 높일 수 있는 이점을 제공한다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10: 카메라 20: 라이다 센서
100: 객체 검출 장치 110: 획득부
120: 제1 검출부 130: 변환부
140: 재처리부 150: 제2 검출부
160: 분류부 170: 저장부

Claims (14)

  1. 카메라와 라이다 센서를 이용한 객체 검출 장치에 있어서,
    카메라 및 라이다 센서로부터 이미지 및 라이다 데이터를 획득하는 획득부;
    상기 이미지를 영상 처리하여 검출된 객체 후보 영역이 객체일 확률에 해당하는 점수를 연산하여 객체인지 여부를 초기 판별하되, 상기 점수가 기 설정된 기준값보다 크면 객체이고 기준값 이하이면 객체가 아닌 것으로 판별하는 제1 검출부;
    상기 초기 판별 결과 객체가 아닌 경우, 상기 객체 후보 영역을 구성하는 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 변환부;
    상기 라이다 데이터 내에서 상기 3차원 좌표에 해당한 지점 상에 3차원 점군 데이터가 존재하는 경우, 상기 객체 후보 영역에 대한 이미지 확대 및 화질 개선 중 적어도 하나의 재처리를 수행하는 재처리부;
    상기 재처리된 객체 후보 영역에 대해 상기 점수를 재연산하여 객체인지 여부를 재판별하는 제2 검출부; 및
    상기 초기 판별 또는 상기 재판별 결과 객체인 경우, 상기 검출된 객체 후보 영역 또는 상기 재처리된 객체 후보 영역에 대한 객체 분류를 수행하는 분류부를 포함하며,
    상기 분류부는,
    상기 3차원 좌표에 대응된 지점 상에 3차원 점군 데이터가 존재하지 않으면, 해당 객체 후보 영역이 객체가 아닌 것으로 확정하고 해당 객체 후보 영역에 대해 객체 분류를 수행하지 않도록 하는 객체 검출 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 재처리부는,
    상기 점수가 상기 기준값 이하이면서 기 설정된 제1 임계값보다 큰 제1 조건을 만족하면, 상기 객체 후보 영역에 대한 이미지 확대 또는 화질 개선 중 선택된 하나의 재처리만 수행하는 객체 검출 장치.
  4. 청구항 3에 있어서,
    상기 재처리부는,
    상기 점수가 상기 제1 임계값 이하이면서 기 설정된 제2 임계값보다 큰 제2 조건을 만족하면, 상기 객체 후보 영역에 대한 이미지 확대 및 화질 개선을 모두 수행하는 객체 검출 장치.
  5. 청구항 1에 있어서,
    상기 변환부는,
    아래의 수학식을 이용하여 상기 객체 후보 영역의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 객체 검출 장치:
    Figure 112019031924485-pat00006

    여기서, (X,Y,Z)는 상기 라이다 센서의 좌표계인 월드 좌표계 상의 3차원 좌표, R 및 T는 월드 좌표계를 카메라 좌표계로 변환시키기 위한 외부 행렬(extrinsic matrix)인 회전 행렬 및 이동 변환 행렬, K는 카메라 좌표계를 이미지 상에 매핑하는 내부 행렬(intrinsic matrix), C = [x y 1]-1 이며, (x,y)는 이미지 상의 상기 2차원 좌표이다.
  6. 청구항 1 또는 청구항 5에 있어서,
    상기 카메라의 이미지 내 모든 2차원 좌표와 상기 2차원 좌표에 대응된 3차원 좌표가 상호 매핑된 좌표 변환 테이블을 구축하여 저장한 저장부를 더 포함하고,
    상기 변환부는,
    상기 좌표 변환 테이블을 기초로 상기 객체 후보 영역 내의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 객체 검출 장치.
  7. 삭제
  8. 카메라와 라이다 센서를 이용한 객체 검출 장치의 객체 검출 방법에 있어서,
    카메라 및 라이다 센서로부터 이미지 및 라이다 데이터를 획득하는 단계;
    상기 이미지를 영상 처리하여 검출된 객체 후보 영역이 객체일 확률에 해당하는 점수를 연산하여 객체인지 여부를 초기 판별하되, 상기 점수가 기 설정된 기준값보다 크면 객체이고 기준값 이하이면 객체가 아닌 것으로 판별하는 단계;
    상기 초기 판별 결과 객체가 아닌 경우, 상기 객체 후보 영역을 구성하는 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 단계;
    상기 라이다 데이터 내에서 상기 3차원 좌표에 해당한 지점 상에 3차원 점군 데이터가 존재하는 경우, 상기 객체 후보 영역에 대한 이미지 확대 및 화질 개선 중 적어도 하나의 재처리를 수행하는 단계;
    상기 재처리된 객체 후보 영역에 대해 상기 점수를 재연산하여 객체인지 여부를 재판별하는 단계; 및
    상기 초기 판별 또는 상기 재판별 결과 객체인 경우, 상기 검출된 객체 후보 영역 또는 상기 재처리된 객체 후보 영역에 대한 객체 분류를 수행하는 단계를 포함하며,
    상기 3차원 좌표에 대응된 지점 상에 3차원 점군 데이터가 존재하지 않으면, 해당 객체 후보 영역이 객체가 아닌 것으로 확정하고 해당 객체 후보 영역에 대해 객체 분류를 수행하지 않는 객체 검출 방법.
  9. 삭제
  10. 청구항 8에 있어서,
    상기 재처리를 수행하는 단계는,
    상기 점수가 상기 기준값 이하이면서 기 설정된 제1 임계값보다 큰 제1 조건을 만족하면, 상기 객체 후보 영역에 대한 이미지 확대 또는 화질 개선 중 선택된 하나의 재처리만 수행하는 객체 검출 방법.
  11. 청구항 10에 있어서,
    상기 재처리를 수행하는 단계는,
    상기 점수가 상기 제1 임계값 이하이면서 기 설정된 제2 임계값보다 큰 제2 조건을 만족하면, 상기 객체 후보 영역에 대한 이미지 확대 및 화질 개선을 모두 수행하는 객체 검출 방법.
  12. 청구항 8에 있어서,
    상기 변환하는 단계는,
    아래의 수학식을 이용하여 상기 객체 후보 영역의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 객체 검출 방법:
    Figure 112019031924485-pat00007

    여기서, (X,Y,Z)는 상기 라이다 센서의 좌표계인 월드 좌표계 상의 3차원 좌표, R 및 T는 월드 좌표계를 카메라 좌표계로 변환시키기 위한 외부 행렬(extrinsic matrix)인 회전 행렬 및 이동 변환 행렬, K는 카메라 좌표계를 이미지 상에 매핑하는 내부 행렬(intrinsic matrix), C = [x y 1]-1 이며, (x,y)는 이미지 상의 상기 2차원 좌표이다.
  13. 청구항 8 또는 청구항 12에 있어서,
    상기 카메라의 이미지 내 모든 2차원 좌표와 상기 2차원 좌표에 대응된 3차원 좌표가 상호 매핑된 좌표 변환 테이블을 구축하여 저장하는 단계를 더 포함하고,
    상기 변환하는 단계는,
    상기 좌표 변환 테이블을 기초로 상기 객체 후보 영역 내의 2차원 좌표를 라이다 데이터 상의 3차원 좌표로 변환하는 객체 검출 방법.
  14. 삭제
KR1020190035839A 2019-03-28 2019-03-28 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 KR102029850B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190035839A KR102029850B1 (ko) 2019-03-28 2019-03-28 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190035839A KR102029850B1 (ko) 2019-03-28 2019-03-28 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102029850B1 true KR102029850B1 (ko) 2019-10-08

Family

ID=68208866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190035839A KR102029850B1 (ko) 2019-03-28 2019-03-28 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102029850B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110794405A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及系统
KR102162439B1 (ko) * 2019-12-17 2020-10-06 에스케이텔레콤 주식회사 자율이동지원장치 및 자율이동지원장치의 동작 방법
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
KR102270827B1 (ko) * 2020-02-21 2021-06-29 한양대학교 산학협력단 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
KR20210119133A (ko) 2020-03-24 2021-10-05 연세대학교 산학협력단 딥러닝 기반의 자세 추정을 이용한 3차원 전역 위치 인식 장치 및 이동 로봇
CN113587933A (zh) * 2021-07-29 2021-11-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
KR102343054B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 데이터 어노테이션 결과물의 대체 및 확대 적용 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN114192809A (zh) * 2021-10-29 2022-03-18 江苏大学 基于三维成像激光雷达修正熔覆层平整度的装置及方法
CN115700812A (zh) * 2021-07-23 2023-02-07 上海宝信软件股份有限公司 适用再生钢铁自动判级的移取装置识别系统、方法及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160146567A (ko) * 2015-06-12 2016-12-21 신동한 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR20190014908A (ko) * 2017-08-04 2019-02-13 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160146567A (ko) * 2015-06-12 2016-12-21 신동한 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR20190014908A (ko) * 2017-08-04 2019-02-13 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110794405A (zh) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达融合的目标检测方法及系统
KR102162439B1 (ko) * 2019-12-17 2020-10-06 에스케이텔레콤 주식회사 자율이동지원장치 및 자율이동지원장치의 동작 방법
KR102270827B1 (ko) * 2020-02-21 2021-06-29 한양대학교 산학협력단 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
WO2021167189A1 (ko) * 2020-02-21 2021-08-26 한양대학교 산학협력단 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
KR20210119133A (ko) 2020-03-24 2021-10-05 연세대학교 산학협력단 딥러닝 기반의 자세 추정을 이용한 3차원 전역 위치 인식 장치 및 이동 로봇
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN111965624B (zh) * 2020-08-06 2024-04-09 阿波罗智联(北京)科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
KR102343054B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 데이터 어노테이션 결과물의 대체 및 확대 적용 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN115700812A (zh) * 2021-07-23 2023-02-07 上海宝信软件股份有限公司 适用再生钢铁自动判级的移取装置识别系统、方法及介质
CN113587933A (zh) * 2021-07-29 2021-11-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113587933B (zh) * 2021-07-29 2024-02-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN114192809A (zh) * 2021-10-29 2022-03-18 江苏大学 基于三维成像激光雷达修正熔覆层平整度的装置及方法

Similar Documents

Publication Publication Date Title
KR102029850B1 (ko) 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
JP3367170B2 (ja) 障害物検出装置
EP3179445B1 (en) Outside environment recognition device for vehicles and vehicle behavior control device using same
JP3424334B2 (ja) 走行路検出装置
JP6614247B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP4070437B2 (ja) 前方車両認識装置及び認識方法
US11935250B2 (en) Method, device and computer-readable storage medium with instructions for processing sensor data
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN110794406B (zh) 多源传感器数据融合系统和方法
CN109410264B (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
WO2017130640A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6597795B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP3727400B2 (ja) 横断者の検出装置
JP6597792B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP4407920B2 (ja) 障害物認識方法及び障害物認識装置
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
JP6547841B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP4052291B2 (ja) 車両用画像処理装置
CN113408324A (zh) 目标检测方法、装置及系统、高级驾驶辅助系统
JP2017151535A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2017207874A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2007233440A (ja) 車載用画像処理装置
US20240153106A1 (en) Object tracking device
JP4106163B2 (ja) 障害物検出装置及びその方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant