KR101899549B1 - 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법 - Google Patents

카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR101899549B1
KR101899549B1 KR1020170180606A KR20170180606A KR101899549B1 KR 101899549 B1 KR101899549 B1 KR 101899549B1 KR 1020170180606 A KR1020170180606 A KR 1020170180606A KR 20170180606 A KR20170180606 A KR 20170180606A KR 101899549 B1 KR101899549 B1 KR 101899549B1
Authority
KR
South Korea
Prior art keywords
image data
data
lidar
sensor
frame rate
Prior art date
Application number
KR1020170180606A
Other languages
English (en)
Inventor
박재률
유종호
송명호
김용훈
김주영
Original Assignee
재단법인 경북아이티융합 산업기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 경북아이티융합 산업기술원 filed Critical 재단법인 경북아이티융합 산업기술원
Priority to KR1020170180606A priority Critical patent/KR101899549B1/ko
Application granted granted Critical
Publication of KR101899549B1 publication Critical patent/KR101899549B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G01S17/936—
    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Abstract

본 발명은 카메라 및 라이다 센서를 이용하는 장애물 인식 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 라이다센서 및 카메라센서를 포함하는 장애물 인식 장치를 이용한 장애물 인식 방법에 있어서, 장애물 인식 방법은 상기 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신하는 단계, 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 상기 라이다데이터와 영상데이터를 동기화하는 단계, 상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출하는 단계, 상기 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성하는 단계, 기 설정된 딥러닝 알고리즘을 통해 상기 검출된 2차원 좌표와 상기 재구성영상데이터의 좌표를 비교하여 특징점을 검출하는 단계, 그리고 상기 검출된 특징점을 이용하여 상기 재구성영상데이터로부터 상기 피사체를 인식하는 단계를 포함한다. 이와 같이 본 발명에 따르면, 기존의 단일 센서를 이용하는 객체 인식 기술보다 객체의 인식률을 향상시킬 수 있다. 또한 카메라 영상의 전체 지역을 탐지 대상으로 하지 않고 라이다를 통해 탐색 영역을 줄임으로써 객체 인식 속도를 크게 향상시킬 수 있다.

Description

카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법{OBSTACLE RECOGNITION APPARATUS OF OBSTACLE RECOGNITION USING CAMARA AND LIDAR SENSOR AND METHOD THEREOF}
본 발명은 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 차량에 부착된 카메라 및 라이다 센서의 동기화를 이용하여 차량 전방의 객체 인식률을 향상시키기 위한 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법에 관한 것이다.
자동차 사고 발생 시 사람의 생명에 끼치는 영향으로 인해 자동차의 안전성 강화를 위한 각국 정부의 안전규제가 강화됨에 따라 주요 선진국들은 국가적인 측면에서 사회 안전성 증대를 위해 차량의 안전성과 관련된 전장 시스템을 의무 장착하도록 하는 제도가 확대하고 있다. 이를 위한 대표적인 전장 기술 시스템으로는 교차로에서 자동차의 사고위험이 높은 전방 객체에 대한 자동긴급제동시스템이 있으며, 세부적으로 차량용 다기능 전방카메라를 사용하는 전방객체 인식 기술 및 LiDAR 센서를 이용한 전방 물체 감지 기술이 있다.
LiDAR 센서에서 감지된 객체 및 거리에 대한 신호는 차량용 2D 전방 카메라에서 한번 더 객체 인식 및 객체의 종류를 구분하게 되며, LiDAR의 감지 기능과 2D 전방 카메라의 인식 기술을 이용하여 자동긴급제동시스템의 신뢰성 및 감지 범위를 높일 수 있다. 하지만 LiDAR 와 2D 전방 카메라의 감지 및 인식 기술을 적용하기 위해서는 두 신호의 동기화를 통해 동 시간대의 신호를 저장 및 감지할 수 있어야 한다. 이에 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법을 제안한다.
본 발명의 배경이 되는 기술은 한국공개특허 제10-2012-0114611호(2012.10.16.공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 차량에 부착된 카메라 및 라이다 센서의 동기화를 이용하여 차량 전방의 객체 인식률을 향상시키기 위한 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면 라이다센서 및 카메라센서를 포함하는 장애물 인식 장치를 이용한 장애물 인식 방법에 있어서, 장애물 인식 방법은 상기 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신하는 단계, 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 상기 라이다데이터와 영상데이터를 동기화하는 단계, 상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 포인트의 2차원 좌표를 검출하는 단계, 상기 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성하는 단계, 기 설정된 딥러닝 알고리즘을 통해 상기 검출된 2차원 좌표와 상기 재구성영상데이터의 좌표를 비교하여 특징점을 검출하는 단계, 그리고 상기 검출된 특징점을 이용하여 상기 재구성영상데이터로부터 상기 피사체를 인식하는 단계를 포함한다.
상기 라이다데이터와 영상데이터를 동기화하는 단계는, 타임스템프(timestemp)를 이용하여 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정한 후, bypass함수를 적용하여 상기 동기화 프레임 속도로 설정된 라이다데이터와 영상데이터를 동기화할 수 있다.
상기 포인트 클라우드에 대한 2차원 좌표를 검출하는 단계는, 상기 동기화된 라이다데이터의 포인트들을 기 설정된 조건에 따라 군집화하여 복수의 포인트 클라우드를 생성하는 단계, 포인트 클라우드에 포함된 포인트들을 병합하여 포인트 클라우드에 대응하는 복수의 분할영역을 생성하는 단계, 그리고 상기 복수의 분할영역에 포함된 임의의 객체에 대한 3차원 좌표를 2차원 좌표로 변환하는 단계를 포함할 수 있다.
상기 재구성영상데이터를 생성하는 단계는, 상기 카메라센서의 렌즈 파라미터에 따라 상기 동기화된 영상데이터를 캘리브레이션하는 단계, 영상의 흔들림 및 색상 중 적어도 하나를 보정하여 상기 캘리브레이션된 영상데이터를 개선하는 단계, 그리고 가우시안 필터(Gaussian Filter) 및 미디언 필터(median filter)를 이용하여 상기 개선된 영상데이터에서 잡음을 제거하는 단계, 그리고 잡음이 제거된 영상데이터와 기 저장된 영상재건 알고리즘을 이용하여 재구성영상데이터를 생성할 수 있다.
상기 특징점을 검출하는 단계는, 상기 재구성영상데이터에서 상기 임의의 객체에 대한 2차원 좌표에 대응하는 ROI 영역을 검출한 후 상기 ROI 영역의 특징점을 검출할 수 있다.
상기 피사체를 인식하는 단계는, 상기 검출된 특징점을 기 저장된 딥러닝 학습 알고리즘에 입력하여 상기 피사체의 종류를 분류하고, 상기 특징점에 대응하는 재구성영상데이터의 좌표에 위치한 피사체를 상기 분류된 종류의 장애물로 인식할 수 있다.
상기 라이다센서 및 카메라센서는 하나의 지그(jig)에 결합되어 차량에 고정되며, 상기 라이다센서는 상기 지그에 고정된 채 좌우로 조정되고, 상기 카메라센서는 상기 지그에 고정된 채 상하로 조정될 수 있다.
본 발명의 다른 실시예에 따른 장애물 인식 장치는 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신하는 수신부, 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 상기 라이다데이터와 영상데이터를 동기화하는 동기화부, 상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출하는 라이다처리부, 상기 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성하는 영상처리부, 기 설정된 딥러닝 알고리즘을 통해 상기 검출된 2차원 좌표와 상기 재구성영상데이터의 좌표를 비교하여 특징점을 검출하는 검출부, 그리고 상기 검출된 특징점을 이용하여 상기 재구성영상데이터로부터 상기 피사체를 인식하는 인식부를 포함한다.
이와 같이 본 발명에 따르면, 기존의 단일 센서를 이용하는 객체 인식 기술보다 객체의 인식률을 향상시킬 수 있다. 또한 카메라 영상의 전체 지역을 탐지 대상으로 하지 않고 라이다를 통해 탐색 영역을 줄임으로써 객체 인식 속도를 크게 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 장애물 인식 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 장애물 인식 방법에 대한 순서도이다.
도 3은 도 2의 S230 단계를 상세하게 나타낸 순서도이다.
도 4는 도 2의 S240 단계를 상세하게 나타낸 순서도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
우선 도 1을 통해 본 발명의 실시예에 따른 장애물 인식 장치의 구성에 대해 살펴보도록 한다.
도 1은 본 발명의 실시예에 따른 장애물 인식 장치의 구성도이다.
도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 장애물 인식 장치(100)는 수신부(110), 동기화부(120), 라이다처리부(130), 영상처리부(140), 검출부(150) 및 인식부(160)를 포함한다.
수신부(110)는 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신한다.
동기화부(120)는 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 라이다데이터와 영상데이터를 동기화한다.
구체적으로 동기화부(120)는 타임스템프(timestemp)를 이용하여 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정한다. 그리고 동기화부(120)는 bypass함수를 적용하여 동기화 프레임 속도로 설정된 라이다데이터와 영상데이터를 동기화한다.
라이다처리부(130)는 상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출한다.
구체적으로 라이다처리부(130)는 상기 동기화된 라이다데이터의 포인트들을 기 설정된 조건에 따라 군집화하여 복수의 포인트 클라우드를 생성하고, 포인트 클라우드에 포함된 포인트들을 병합하여 포인트 클라우드에 대응하는 복수의 분할영역을 생성하며, 복수의 분할영역에 포함된 임의의 객체에 대한 3차원 좌표를 2차원 좌표로 변환한다.
영상처리부(140)는 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성한다.
영상처리부(140)는 카메라센서의 렌즈 파라미터에 따라 동기화된 영상데이터를 캘리브레이션하고, 영상의 흔들림 및 색상 중 적어도 하나를 보정하여 캘리브레이션된 영상데이터를 개선하며, 가우시안 필터(Gaussian Filter) 및 미디언 필터(median filter)를 이용하여 개선된 영상데이터에서 잡음을 제거한다. 그리고 영상처리부(140)는 잡음이 제거된 영상데이터와 기 저장된 영상재건 알고리즘을 이용하여 재구성영상데이터를 생성한다.
검출부(150)는 기 설정된 딥러닝 알고리즘을 통해 검출된 2차원 좌표와 재구성영상데이터의 좌표를 비교하여 특징점을 검출한다.
구체적으로 검출부(150)는 재구성영상데이터에서 임의의 객체에 대한 2차원 좌표에 대응하는 ROI 영역을 검출한 후 ROI 영역의 특징점을 검출한다.
인식부(160)는 검출된 특징점을 이용하여 재구성영상데이터로부터 피사체를 인식한다.
구체적으로 인식부(160)는 검출된 특징점을 기 저장된 딥러닝 학습 알고리즘에 입력하여 피사체의 종류를 분류하고, 특징점에 대응하는 재구성영상데이터의 좌표에 위치한 피사체를 분류된 종류의 장애물로 인식한다.
한편 라이다센서 및 카메라센서는 하나의 지그(jig)에 결합되어 차량에 고정된다. 라이다센서는 지그에 고정된 채 좌우로 조정되고, 카메라센서는 지그에 고정된 채 상하로 조정된다. 라이다센서 및 카메라센서의 좌우 또는 상하 조정은 사용자에 조작에 의해 제어되거나 본 발명의 실시예에 따른 장애물 인식 장치(100)에 의해 제어될 수 있다.
이하에서는 도 2 내지 도 4를 통해 본 발명의 실시예에 따른 장애물 인식 장치를 이용한 장애물 인식 방법에 대해 살펴보도록 한다.
도 2는 본 발명의 실시예에 따른 장애물 인식 방법에 대한 순서도이다.
우선 수신부(110)는 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신한다(S210).
그러면 동기화부(120)는 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 라이다데이터와 영상데이터를 동기화한다(S220).
구체적으로 동기화부(120)는 타임스템프(timestemp)를 이용하여 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정한다. 그리고 동기화부(120)는 동기화 프레임 속도로 프레임 속도가 설정된 라이다데이터와 영상데이터에 bypass함수를 적용하여 동기화 프레임 속도로 설정된 라이다데이터와 영상데이터를 동기화시킨다.
그러면 동기화부(120)는 동기화된 라이다데이터와 영상데이터를 메모리에 저장한다.
다음으로 라이다처리부(130)는 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출한다(S230).
도 3은 도 2의 S230 단계를 상세하게 나타낸 순서도이다.
도 3에 나타난 바와 같이, 우선 라이다처리부(130)는 동기화된 라이다데이터의 포인트들을 기 설정된 조건에 따라 군집화하여 복수의 포인트 클라우드를 생성한다(S232). 군집화를 위한 기 설정된 조건은 사용자에 의해 설계변경이 가능하다.
그러면 라이다처리부(130)는 포인트 클라우드에 포함된 포인트들을 병합하여 포인트 클라우드에 대응하는 복수의 분할영역을 생성한다(S234).
그러면 라이다처리부(130)는 복수의 분할영역에 포함된 포인트의 3차원 좌표를 2차원 좌표로 변환한다(S236).
그리고 영상처리부(140)는 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성한다(S240).
도 4는 도 2의 S240 단계를 상세하게 나타낸 순서도이다.
도 4에 나타난 바와 같이, 우선 영상처리부(140)는 카메라센서의 렌즈 파라미터에 따라 동기화된 영상데이터를 캘리브레이션한다(S242). 예를 들어 영상처리부(140)는 카메라센서의 렌즈의 굴절류을 이용하여 영상데이터의 방사왜곡을 보정, 즉 캘리브레이션 할 수 있다.
그리고 영상처리부(140)는 영상의 흔들림 및 색상 중 적어도 하나를 보정하여 상기 캘리브레이션된 영상데이터를 개선한다(S244).
그리고 영상처리부(140)는 가우시안 필터(Gaussian Filter) 및 미디언 필터(median filter)를 이용하여 개선된 영상데이터에서 잡음을 제거한다(S246).
그러면 영상처리부(140)는 잡음이 제거된 영상데이터와 기 저장된 영상재건 알고리즘을 이용하여 재구성영상데이터를 생성한다(S248). 영상재건 알고리즘은 S250 단계 및 S260 단계에서 이용할 수 있는 규격으로 영상을 재구성하는 알고리즘을 의미한다.
한편 본 발명의 실시예에 따른 장애물 인식 장치(100)는 폴트 모니터링 모듈(Fault Monitoring Module)을 더 포함할 수 있다. 폴트 모니터링 모듈은 S230 및 S240 단계에서 실행함수의 상태를 검사하는 모듈이다. 구체적으로 폴트 모니터링 모듈은 S232, S234, S236, S242, S244, S246, S248 단계에서의 결과물에 대해 데이터의 신뢰도를 검사한다. 데이터가 기 설정된 신뢰도를 만족하지 못하면, 해당 실행함수의 결과는 반영하지 않고 인식장치를 처음으로 이동해서 수행한다.
그러면 검출부(150)는 기 설정된 딥러닝 알고리즘을 통해 검출된 2차원 좌표와 재구성영상데이터의 좌표를 비교하여 특징점을 검출한다(S250).
구체적으로 검출부(150)는 재구성영상데이터에서 S230 단계에서 검출된 2차원 좌표에 대응하는 ROI 영역을 검출한 후 ROI 영역의 특징점을 검출한다.
다음으로 인식부(160)는 검출된 특징점을 이용하여 재구성영상데이터로부터 피사체를 인식한다(S260).
구체적으로 인식부(160)는 검출된 특징점을 기 저장된 딥러닝 학습 알고리즘에 입력하여 피사체의 종류를 분류한다. 피사체의 종류는 차량, 오토바이, 자전거와 같은 운전 중 조우할 수 있는 장애물의 카테고리를 의미한다.
그러면 인식부(160)는 특징점에 대응하는 재구성영상데이터의 좌표에 위치한 피사체를 분류된 종류의 장애물로 인식한다.
본 발명의 실시예에 따르면, 기존의 단일 센서를 이용하는 객체 인식 기술보다 객체의 인식률을 향상시킬 수 있다. 또한 카메라 영상의 전체 지역을 탐지 대상으로 하지 않고 라이다를 통해 탐색 영역을 줄임으로써 객체 인식 속도를 크게 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 장애물 인식 장치 110 : 수신부
120 : 동기화부 130 : 라이다처리부
140 : 영상처리부 150 : 검출부
160 : 인식부

Claims (14)

  1. 라이다센서 및 카메라센서를 포함하는 장애물 인식 장치를 이용한 장애물 인식 방법에 있어서,
    상기 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신하는 단계,
    상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 상기 라이다데이터와 영상데이터를 동기화하는 단계,
    상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출하는 단계,
    상기 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성하는 단계,
    기 설정된 딥러닝 알고리즘을 통해 상기 검출된 2차원 좌표와 상기 재구성영상데이터의 좌표를 비교하여 특징점을 검출하는 단계, 그리고
    상기 검출된 특징점을 기 저장된 딥러닝 학습 알고리즘에 입력하여 상기 피사체의 종류를 분류하고, 상기 특징점에 대응하는 재구성영상데이터의 좌표에 위치한 피사체를 상기 분류된 종류의 장애물로 인식하는 단계를 포함하는 장애물 인식 방법.
  2. 제1항에 있어서,
    상기 라이다데이터와 영상데이터를 동기화하는 단계는,
    타임스템프(timestemp)를 이용하여 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정한 후, bypass함수를 적용하여 상기 동기화 프레임 속도로 설정된 라이다데이터와 영상데이터를 동기화하는 장애물 인식 방법.
  3. 제1항에 있어서,
    상기 포인트 클라우드에 대한 2차원 좌표를 검출하는 단계는,
    상기 동기화된 라이다데이터의 포인트들을 기 설정된 조건에 따라 군집화하여 복수의 포인트 클라우드를 생성하는 단계,
    포인트 클라우드에 포함된 포인트들을 병합하여 포인트 클라우드에 대응하는 복수의 분할영역을 생성하는 단계, 그리고
    상기 복수의 분할영역에 포함된 임의의 객체에 대한 3차원 좌표를 2차원 좌표로 변환하는 단계를 포함하는 장애물 인식 방법.
  4. 제1항에 있어서,
    상기 재구성영상데이터를 생성하는 단계는,
    상기 카메라센서의 렌즈 파라미터에 따라 상기 동기화된 영상데이터를 캘리브레이션하는 단계,
    영상의 흔들림 및 색상 중 적어도 하나를 보정하여 상기 캘리브레이션된 영상데이터를 개선하는 단계, 그리고
    가우시안 필터(Gaussian Filter) 및 미디언 필터(median filter)를 이용하여 상기 개선된 영상데이터에서 잡음을 제거하는 단계, 그리고
    잡음이 제거된 영상데이터와 기 저장된 영상재건 알고리즘을 이용하여 재구성영상데이터를 생성하는 단계를 포함하는 장애물 인식 방법.
  5. 제1항에 있어서,
    상기 특징점을 검출하는 단계는,
    상기 재구성영상데이터에서 상기 임의의 객체에 대한 2차원 좌표에 대응하는 ROI 영역을 검출한 후 상기 ROI 영역의 특징점을 검출하는 장애물 인식 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 라이다센서 및 카메라센서는 하나의 지그(jig)에 결합되어 차량에 고정되며,
    상기 라이다센서는 상기 지그에 고정된 채 좌우로 조정되고,
    상기 카메라센서는 상기 지그에 고정된 채 상하로 조정되는 장애물 인식 방법.
  8. 라이다센서 및 카메라센서로부터 피사체를 측정한 라이다데이터 및 영상데이터를 수신하는 수신부,
    상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정하여 상기 라이다데이터와 영상데이터를 동기화하는 동기화부,
    상기 동기화된 라이다데이터의 포인트 클라우드에 포함된 임의의 객체에 대한 2차원 좌표를 검출하는 라이다처리부,
    상기 동기화된 영상데이터를 영상처리하여 재구성영상데이터를 생성하는 영상처리부,
    기 설정된 딥러닝 알고리즘을 통해 상기 검출된 2차원 좌표와 상기 재구성영상데이터의 좌표를 비교하여 특징점을 검출하는 검출부, 그리고
    상기 검출된 특징점을 기 저장된 딥러닝 학습 알고리즘에 입력하여 상기 피사체의 종류를 분류하고, 상기 특징점에 대응하는 재구성영상데이터의 좌표에 위치한 피사체를 상기 분류된 종류의 장애물로 인식하는 인식부를 포함하는 장애물 인식 장치.
  9. 제8항에 있어서,
    상기 동기화부는,
    타임스템프(timestemp)를 이용하여 상기 라이다데이터와 영상데이터의 프레임 속도를 동기화 프레임 속도로 설정한 후, bypass함수를 적용하여 상기 동기화 프레임 속도로 설정된 라이다데이터와 영상데이터를 동기화하는 장애물 인식 장치.
  10. 제8항에 있어서,
    상기 라이다처리부는,
    상기 동기화된 라이다데이터의 포인트들을 기 설정된 조건에 따라 군집화하여 복수의 포인트 클라우드를 생성하고, 포인트 클라우드에 포함된 포인트들을 병합하여 포인트 클라우드에 대응하는 복수의 분할영역을 생성하며, 상기 복수의 분할영역에 포함된 임의의 객체에 대한 3차원 좌표를 2차원 좌표로 변환하는 장애물 인식 장치.
  11. 제8항에 있어서,
    상기 영상처리부는,
    상기 카메라센서의 렌즈 파라미터에 따라 상기 동기화된 영상데이터를 캘리브레이션하고, 영상의 흔들림 및 색상 중 적어도 하나를 보정하여 상기 캘리브레이션된 영상데이터를 개선하며, 가우시안 필터(Gaussian Filter) 및 미디언 필터(median filter)를 이용하여 상기 개선된 영상데이터에서 잡음을 제거하고, 잡음이 제거된 영상데이터와 기 저장된 영상재건 알고리즘을 이용하여 재구성영상데이터를 생성하는 장애물 인식 장치.
  12. 제8항에 있어서,
    상기 검출부는,
    상기 재구성영상데이터에서 상기 임의의 객체에 대한 2차원 좌표에 대응하는 ROI 영역을 검출한 후 상기 ROI 영역의 특징점을 검출하는 장애물 인식 장치.
  13. 삭제
  14. 제8항에 있어서,
    상기 라이다센서 및 카메라센서는 하나의 지그(jig)에 결합되어 차량에 고정되며,
    상기 라이다센서는 상기 지그에 고정된 채 좌우로 조정되고,
    상기 카메라센서는 상기 지그에 고정된 채 상하로 조정되는 장애물 인식 장치.
KR1020170180606A 2017-12-27 2017-12-27 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법 KR101899549B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170180606A KR101899549B1 (ko) 2017-12-27 2017-12-27 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170180606A KR101899549B1 (ko) 2017-12-27 2017-12-27 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101899549B1 true KR101899549B1 (ko) 2018-09-17

Family

ID=63721924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170180606A KR101899549B1 (ko) 2017-12-27 2017-12-27 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101899549B1 (ko)

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109239720A (zh) * 2018-10-18 2019-01-18 清华大学苏州汽车研究院（吴江） 一种智能激光雷达装置、系统及其数据处理方法
CN110082739A (zh) * 2019-03-20 2019-08-02 深圳市速腾聚创科技有限公司 数据同步方法和设备
CN110261869A (zh) * 2019-05-15 2019-09-20 深圳市速腾聚创科技有限公司 目标探测系统和数据融合方法
KR20200040431A (ko) * 2018-10-10 2020-04-20 현대자동차주식회사 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
KR20200049337A (ko) * 2018-10-31 2020-05-08 에스케이텔레콤 주식회사 영상 정합 장치 및 방법
KR102114558B1 (ko) 2018-11-28 2020-05-22 연세대학교 산학협력단 라이다를 이용한 지면 및 비지면 검출 장치 및 방법
CN111598901A (zh) * 2020-05-19 2020-08-28 南京佳和牙科技术有限公司 基于深度图像的牙科修复制品的加工进度的估算方法
KR20200105125A (ko) * 2019-02-28 2020-09-07 한국과학기술원 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체
WO2021007038A1 (en) * 2019-07-09 2021-01-14 Waymo Llc Laser waveform embedding
KR20210026139A (ko) * 2019-08-29 2021-03-10 (주) 오토노머스에이투지 라이다 센서의 포인트 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
CN112529783A (zh) * 2019-09-19 2021-03-19 北京京东乾石科技有限公司 图像处理方法、图像处理装置、存储介质和电子设备
CN112541416A (zh) * 2020-12-02 2021-03-23 深兰科技（上海）有限公司 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
WO2021101933A1 (en) * 2019-11-19 2021-05-27 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with lidar timing
KR20210061875A (ko) 2019-11-20 2021-05-28 국민대학교산학협력단 포인트 클라우드 데이터를 이용한 3d lidar 센서 결함 검출 방법
KR20210062379A (ko) * 2019-11-21 2021-05-31 한국전자기술연구원 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템
KR20210063720A (ko) * 2019-11-25 2021-06-02 한국교통대학교산학협력단 정밀지도 생성 시스템
KR102263152B1 (ko) * 2020-03-06 2021-06-09 주식회사 카르타 3차원 포인트 클라우드의 객체 탐지 방법 및 장치
KR102270827B1 (ko) * 2020-02-21 2021-06-29 한양대학교 산학협력단 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
KR20210094926A (ko) * 2020-01-22 2021-07-30 서울대학교산학협력단 카메라 기반 구조색 센서의 스트레인 측정 방법 및 이를 위한 시스템
CN113311444A (zh) * 2021-06-22 2021-08-27 山东高速建设管理集团有限公司 一种水膜识别与处理装置及其使用方法
KR20210111052A (ko) * 2020-03-02 2021-09-10 건국대학교 산학협력단 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법
KR20210122155A (ko) * 2020-03-27 2021-10-08 우창정보기술(주) 통합 퓨전 센서 장치
CN113496163A (zh) * 2020-04-01 2021-10-12 北京京东乾石科技有限公司 障碍物识别方法和装置
KR102310601B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이저 프리뷰를 이용한 학습 데이터 수집 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310608B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이더 및 라이다를 기반으로 하는 자율주행 학습 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310606B1 (ko) 2021-07-08 2021-10-14 주식회사 인피닉 자율주행 데이터 수집을 위한 센서 간의 위상차 제어 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310602B1 (ko) 2021-06-17 2021-10-14 주식회사 인피닉 다중 센서의 오차 보정 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310605B1 (ko) 2021-06-17 2021-10-14 주식회사 인피닉 데이터 수집용 다중 센서의 제어 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310604B1 (ko) 2021-06-17 2021-10-14 주식회사 인피닉 다중 센서에 의해 수집된 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313918B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 3d 데이터와 2d 이미지의 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113807184A (zh) * 2021-08-17 2021-12-17 北京百度网讯科技有限公司 障碍物检测方法、装置、电子设备及自动驾驶车辆
KR102356910B1 (ko) * 2021-08-05 2022-02-08 주식회사 인피닉 객체의 선제 검출 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20220086043A (ko) * 2020-12-16 2022-06-23 한국건설기술연구원 사각지대 안전을 위한 스마트 도로정보제공 시스템
KR20220088059A (ko) 2020-12-18 2022-06-27 국민대학교산학협력단 차량의 객체 검출 장치 및 방법
KR102439678B1 (ko) 2021-03-09 2022-09-01 최지훈 Cctv와 라이다센서를 이용한 통합 관리 시스템
US11488391B2 (en) 2020-08-24 2022-11-01 Samsung Electronics Co., Ltd. Method and apparatus for estimating position
KR102490526B1 (ko) 2021-09-30 2023-01-27 주식회사 모빌테크 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR102490524B1 (ko) 2021-09-30 2023-01-27 주식회사 모빌테크 라이다의 간섭을 피하기 위한 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR102490525B1 (ko) 2021-09-30 2023-01-27 주식회사 모빌테크 카메라의 반응시간을 고려한 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR102490523B1 (ko) 2021-09-30 2023-01-27 주식회사 모빌테크 다중 신호를 이용한 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR102525563B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치
KR20230086310A (ko) 2021-12-08 2023-06-15 주식회사 에이치엘클레무브 라이다 장치
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
CN117420143A (zh) * 2023-12-19 2024-01-19 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
KR102646041B1 (ko) * 2023-08-07 2024-03-11 (주)보고텍 교통사고 방지 효과를 높인 삼거리 차량 진입 안내 시스템
US11933647B2 (en) 2020-03-03 2024-03-19 Waymo Llc Sensor region of interest selection based on multisensor data
US11962924B2 (en) 2019-09-05 2024-04-16 Waymo, LLC Smart sensor with region of interest capabilities

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171005A1 (ja) * 2016-04-01 2017-10-05 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171005A1 (ja) * 2016-04-01 2017-10-05 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102545105B1 (ko) * 2018-10-10 2023-06-19 현대자동차주식회사 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
KR20200040431A (ko) * 2018-10-10 2020-04-20 현대자동차주식회사 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
CN109239720A (zh) * 2018-10-18 2019-01-18 清华大学苏州汽车研究院（吴江） 一种智能激光雷达装置、系统及其数据处理方法
KR20200049337A (ko) * 2018-10-31 2020-05-08 에스케이텔레콤 주식회사 영상 정합 장치 및 방법
KR102109814B1 (ko) * 2018-10-31 2020-05-13 에스케이텔레콤 주식회사 영상 정합 장치 및 방법
KR102114558B1 (ko) 2018-11-28 2020-05-22 연세대학교 산학협력단 라이다를 이용한 지면 및 비지면 검출 장치 및 방법
KR20200105125A (ko) * 2019-02-28 2020-09-07 한국과학기술원 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체
KR102237970B1 (ko) * 2019-02-28 2021-04-08 한국과학기술원 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체
CN110082739A (zh) * 2019-03-20 2019-08-02 深圳市速腾聚创科技有限公司 数据同步方法和设备
CN110082739B (zh) * 2019-03-20 2022-04-12 深圳市速腾聚创科技有限公司 数据同步方法和设备
CN110261869A (zh) * 2019-05-15 2019-09-20 深圳市速腾聚创科技有限公司 目标探测系统和数据融合方法
US11630209B2 (en) 2019-07-09 2023-04-18 Waymo Llc Laser waveform embedding
WO2021007038A1 (en) * 2019-07-09 2021-01-14 Waymo Llc Laser waveform embedding
KR20210026139A (ko) * 2019-08-29 2021-03-10 (주) 오토노머스에이투지 라이다 센서의 포인트 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
KR102267277B1 (ko) * 2019-08-29 2021-06-21 (주)오토노머스에이투지 라이다 센서의 포인트 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
US11962924B2 (en) 2019-09-05 2024-04-16 Waymo, LLC Smart sensor with region of interest capabilities
CN112529783A (zh) * 2019-09-19 2021-03-19 北京京东乾石科技有限公司 图像处理方法、图像处理装置、存储介质和电子设备
CN112529783B (zh) * 2019-09-19 2024-01-16 北京京东乾石科技有限公司 图像处理方法、图像处理装置、存储介质和电子设备
WO2021101933A1 (en) * 2019-11-19 2021-05-27 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with lidar timing
US11665450B2 (en) 2019-11-19 2023-05-30 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with lidar timing
US11252366B2 (en) 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
KR20210061875A (ko) 2019-11-20 2021-05-28 국민대학교산학협력단 포인트 클라우드 데이터를 이용한 3d lidar 센서 결함 검출 방법
KR20210062379A (ko) * 2019-11-21 2021-05-31 한국전자기술연구원 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템
KR102357469B1 (ko) * 2019-11-21 2022-02-04 한국전자기술연구원 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템
KR102278307B1 (ko) 2019-11-25 2021-07-15 한국교통대학교산학협력단 정밀지도 생성 시스템
KR20210063720A (ko) * 2019-11-25 2021-06-02 한국교통대학교산학협력단 정밀지도 생성 시스템
KR102408045B1 (ko) * 2020-01-22 2022-06-14 서울대학교 산학협력단 카메라 기반 구조색 센서의 스트레인 측정 방법 및 이를 위한 시스템
KR20210094926A (ko) * 2020-01-22 2021-07-30 서울대학교산학협력단 카메라 기반 구조색 센서의 스트레인 측정 방법 및 이를 위한 시스템
WO2021167189A1 (ko) * 2020-02-21 2021-08-26 한양대학교 산학협력단 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
KR102270827B1 (ko) * 2020-02-21 2021-06-29 한양대학교 산학협력단 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
KR20210111052A (ko) * 2020-03-02 2021-09-10 건국대학교 산학협력단 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법
KR102338665B1 (ko) 2020-03-02 2021-12-10 건국대학교 산학협력단 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법
US11933647B2 (en) 2020-03-03 2024-03-19 Waymo Llc Sensor region of interest selection based on multisensor data
US11908210B2 (en) 2020-03-06 2024-02-20 Meissa Inc. Method and apparatus for detecting object in three-dimensional (3D) point cloud
KR102263152B1 (ko) * 2020-03-06 2021-06-09 주식회사 카르타 3차원 포인트 클라우드의 객체 탐지 방법 및 장치
KR20210122155A (ko) * 2020-03-27 2021-10-08 우창정보기술(주) 통합 퓨전 센서 장치
KR102610855B1 (ko) * 2020-03-27 2023-12-08 우창정보기술 (주) 통합 퓨전 센서 장치
CN113496163B (zh) * 2020-04-01 2024-01-16 北京京东乾石科技有限公司 障碍物识别方法和装置
CN113496163A (zh) * 2020-04-01 2021-10-12 北京京东乾石科技有限公司 障碍物识别方法和装置
CN111598901A (zh) * 2020-05-19 2020-08-28 南京佳和牙科技术有限公司 基于深度图像的牙科修复制品的加工进度的估算方法
US11488391B2 (en) 2020-08-24 2022-11-01 Samsung Electronics Co., Ltd. Method and apparatus for estimating position
CN112541416B (zh) * 2020-12-02 2023-07-14 深兰科技（上海）有限公司 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
CN112541416A (zh) * 2020-12-02 2021-03-23 深兰科技（上海）有限公司 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
KR20220086043A (ko) * 2020-12-16 2022-06-23 한국건설기술연구원 사각지대 안전을 위한 스마트 도로정보제공 시스템
KR102428420B1 (ko) * 2020-12-16 2022-08-03 한국건설기술연구원 사각지대 안전을 위한 스마트 도로정보제공 시스템
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
KR20220088059A (ko) 2020-12-18 2022-06-27 국민대학교산학협력단 차량의 객체 검출 장치 및 방법
KR102439678B1 (ko) 2021-03-09 2022-09-01 최지훈 Cctv와 라이다센서를 이용한 통합 관리 시스템
KR102313918B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 3d 데이터와 2d 이미지의 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310605B1 (ko) 2021-06-17 2021-10-14 주식회사 인피닉 데이터 수집용 다중 센서의 제어 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310604B1 (ko) 2021-06-17 2021-10-14 주식회사 인피닉 다중 센서에 의해 수집된 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310602B1 (ko) 2021-06-17 2021-10-14 주식회사 인피닉 다중 센서의 오차 보정 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113311444A (zh) * 2021-06-22 2021-08-27 山东高速建设管理集团有限公司 一种水膜识别与处理装置及其使用方法
KR102310608B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이더 및 라이다를 기반으로 하는 자율주행 학습 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310606B1 (ko) 2021-07-08 2021-10-14 주식회사 인피닉 자율주행 데이터 수집을 위한 센서 간의 위상차 제어 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310601B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이저 프리뷰를 이용한 학습 데이터 수집 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102356910B1 (ko) * 2021-08-05 2022-02-08 주식회사 인피닉 객체의 선제 검출 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113807184A (zh) * 2021-08-17 2021-12-17 北京百度网讯科技有限公司 障碍物检测方法、装置、电子设备及自动驾驶车辆
KR102490524B1 (ko) 2021-09-30 2023-01-27 주식회사 모빌테크 라이다의 간섭을 피하기 위한 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR102490523B1 (ko) 2021-09-30 2023-01-27 주식회사 모빌테크 다중 신호를 이용한 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR102490526B1 (ko) 2021-09-30 2023-01-27 주식회사 모빌테크 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR102490525B1 (ko) 2021-09-30 2023-01-27 주식회사 모빌테크 카메라의 반응시간을 고려한 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR20230086310A (ko) 2021-12-08 2023-06-15 주식회사 에이치엘클레무브 라이다 장치
KR102525563B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치
KR102646041B1 (ko) * 2023-08-07 2024-03-11 (주)보고텍 교통사고 방지 효과를 높인 삼거리 차량 진입 안내 시스템
CN117420143A (zh) * 2023-12-19 2024-01-19 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备
CN117420143B (zh) * 2023-12-19 2024-03-15 斯润天朗（北京）科技有限公司 基于多源传感器融合的路面缺陷检测方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
KR101899549B1 (ko) 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
US9352690B2 (en) Apparatus and method for detecting obstacle adaptively to vehicle speed
US10818172B2 (en) Method, device and system for processing startup of preceding vehicle
JP6611353B2 (ja) 画像処理装置、外界認識装置
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP6888950B2 (ja) 画像処理装置、外界認識装置
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
EP1361543A2 (en) Determining object motion from optical flow analysis
US10762656B2 (en) Information processing device, imaging device, apparatus control system, information processing method, and computer program product
KR100630842B1 (ko) 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
WO2019202628A1 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
JP2017010498A (ja) 車両制御装置
CN117994763A (zh) 用于机动车辆的视觉系统和方法
US10776649B2 (en) Method and apparatus for monitoring region around vehicle
JP4807733B2 (ja) 車外環境認識装置
JP6547841B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6891082B2 (ja) 物体距離検出装置
JP2018163530A (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム
KR20170133756A (ko) 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법
JP2021113767A (ja) 障害物検知装置、及び障害物検知システム
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JPWO2020129517A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant