KR20200065945A - 라이다 데이터와 카메라 객체 인식 데이터를 결합한 정지 신호 발생 방법 - Google Patents

Abstract

본 발명은 라이다 센서와 카메라로부터 획득한 정보를 결합하여 차량 등의 정지 신호를 발생하는 방법으로, 정지 신호를 발생시키기 위한 컨디션을 설정하는 입력부; 주변의 3차원 데이터를 획득하는 라이다 센서; 주변의 2차원 데이터를 획득하는 카메라; 카메라에서 획득한 데이터로 객체 인식 처리를 진행하고, 라이다에서 획득한 3차원 데이터를 카메라로 투영하여 객체의 거리 값으로 환산하는 계산을 담당하는 제어부를 포함한다.
이에 따르면, 카메라 영상으로부터 정확한 객체 구분을 할 수 있으며, 라이다 센서로는 각 객체와 센서 간 정확한 거리를 측정할 수 있어 각 센서만을 별도로 사용하는 경우보다 정확하게 정지 신호를 발생시킬 수 있는 효과가 있다.

Description

라이다 데이터와 카메라 객체 인식 데이터를 결합한 정지 신호 발생 방법 {Method for stop signal generation that combines LiDAR data with object recognition data from camera}

본 발명은 물체의 라이다를 통해 획득한 3차원 거리 데이터와, 카메라를 통해 획득한 2차원 객체 인식 정보를 결합하여 임의의 객체가 특정 거리에 있음을 파악하고 일정 거리 이하에 객체가 있는 경우 정지 신호를 발생시키는 방법에 관한 것이다.

자율 주행 차량 등에서 주행해야 하는지, 정지해야 하는지를 파악하기 위해서는 주변 환경을 인식하는 것이 중요하다. 차량 주변에 장애물이 있거나, 사람이나 차량이 갑자기 들어오는 경우 정지 신호를 발생시켜야 하는데 이러한 경우에 라이다 장비를 사용하면 넓은 주변 환경을 빠르게 획득할 수 있다는 장점을 가진다. 하지만 주변 환경에 정확하게 어떤 것이 있는지는 확인이 거의 불가능하기 때문에 다양한 환경에 대응하기 어렵다.

반면에 카메라는 거리를 파악할 수는 없으나 주변 환경에 어떤 물체들이 있는지는 파악이 가능하다. 카메라에 객체 인식을 적용하면 현재 카메라에서 획득한 영상에 사람이 지나가는지, 차량이 지나가는지, 주변에 나무나 전봇대 등이 있는지도 파악할 수 있다.

이러한 두 가지의 센서 (LiDAR + 카메라) 를 이용하면 주변 환경을 보다 명확하게 파악하는 것이 가능하고, 이런 정보를 이용하여 정지 신호를 발생시키는 것이 가능하다.

본 발명의 목적은 라이다 센서와 카메라를 이용해 정지 신호를 발생시키는 방법에 관한 것으로, 센서 주변의 물체의 거리를 라이다 센서로 측정하고, 카메라에서 영상을 획득하고 그로부터 객체 정보를 추출한 뒤 객체 정보와 거리 정보를 결합하여 센서와 객체 거리에 따른 정지 신호 발생 방법을 제공하는데 있다.

본 발명에 따른 정지 신호 발생 방법은, 정지 신호를 발생시키기 위한 컨디션을 설정하는 입력부; 주변의 3차원 데이터를 획득하는 라이다 센서; 주변의 2차원 데이터를 획득하는 카메라; 카메라에서 획득한 데이터로 객체 인식 처리를 진행하고, 라이다에서 획득한 3차원 데이터를 카메라로 투영하여 객체의 거리 값으로 환산하는 계산을 담당하는 제어부; 로 구성되어 있다.

또한, 상기 라이다 센서는 360도로 전 방향을 볼 수도 있고, 일부만 볼 수 있는 장비의 경우 차량의 전면이나 양 측면, 혹은 후면에 부착하는 것도 가능하며, 두 개 이상의 복수의 센서를 부착하여 사용할 수도 있다.

또한, 상기 카메라는 한 개의 카메라만 사용하거나 두 개 이상의 카메라를 동시에 사용할 수 있다. 이 때 두 개 이상의 카메라를 사용하는 경우 여러 개의 카메라에서 획득한 영상을 하나의 영상으로2 합쳐 사용할 수 있으며 혹은 개별적으로 각각 사용할 수도 있다.

또한, 상기 제어부는 상기 3차원 데이터를 상기 카메라로 투영하기 위해 사전에 계산된 캘리브레이션 정보를 사용할 수 있다.

또한, 상기 제어부는 상기 카메라 데이터에서 객체 인식 처리를 진행하기 위해 딥러닝 알고리즘을 사용할 수 있다. 이 때 사용되는 알고리즘은 센서의 사용 용도에 따라 보다 정확한 값을 낼 수 있도록 트레이닝 시켜 사용할 수 있다.

상기와 같이 구성되는 본 발명에 따른 정지 신호 발생 방법에 따르면, 카메라 영상으로부터 정확한 객체 구분을 할 수 있으며, 라이다 센서로는 각 객체와 센서 간 정확한 거리를 측정할 수 있어 각 센서만을 별도로 사용하는 경우보다 정확하게 정지 신호를 발생시킬 수 있는 효과가 있다.

또한, 본 발명은 응답 특성이 서로 다른 두 센서를 결합하여 사용하여 라이다나 카메라 중 한 센서가 객체 추적을 실패하였을 경우에도 다른 센서의 정보를 통해 이를 보정하여 사용할 수 있는 효과가 있다.

도 1 은 본 발명에 따른 라이다 센서에서 획득한 데이터의 예가 도시된 도이다.
도 2 는 본 발명에 따른 카메라에서 획득한 객체 인식 결과가 도시된 도이다.
도 3 은 본 발명에 따른 정지 신호를 발생시키기 위해 각 장치들이 연결된 연결도이다.
도 4 는 본 발명에 따른 정지 신호가 발생되는 것을 나타낸 순서도이다.
도 5 는 본 발명에 따른 장치가 구성된 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하에서는 도면을 참조하여 본 발명의 실시 예에 대해서 구체적으로 설명하기로 한다.

도 1 은 본 발명에 따른 라이다 센서에서 획득한 데이터의 예가 도시된 도이다.

상기 도 1에서 표시되는 것과 같이, 라이다 센서에서 획득한 데이터는 센서 주변의 물체 혹은 공간의 표면의 3차원 위치 정보 데이터이다. 라이다 센서에서 획득한 데이터는 센서로부터의 거리나 라이다 신호의 반사 세기 등 다양한 조건을 이용하여 분리할 수 있다.

예를 들어 도 1의 좌측 그림에서 사람 형상의 물체는 보다 센서에 가깝기 때문에 적색에 가까운 색으로 표시되고, 주위 배경은 녹색으로 표시되는 것을 확인할 수 있다. 이 때 각 점들의 센서로부터의 거리 정보를 이용하여 거리가 유사한 점들을 연결하면 도 1의 우측 그림과 같이 3차원 위치 정보 데이터를 각 물체 혹은 공간별로 분리해 낼 수 있다.

도 2 는 본 발명에 따른 카메라에서 획득한 객체 인식 결과가 도시된 도이다.

상기 도 2를 보면 2차원 영상에서 버스나 자동차 등의 객체 정보를 확인하고 객체의 위치 및 크기를 녹색 박스로 나타낸 것을 확인할 수 있다. 도 1에서 나타나는 라이다 센서로부터 획득한 3차원 데이터에 비해서 높은 해상도로 데이터를 획득할 수 있으며 다양한 객체 인식 알고리즘의 개발되어 있기 때문에 2차원 영상으로부터 객체 인식 정보를 획득하는 것이 보다 정확하다.

이 때, 상기 라이다 센서와 상기 카메라 간 위치 보정 정보를 가지고 있으면, 상기 3차원 데이터를 상기 2차원 데이터 위의 같은 대상의 위치에 투영할 수 있다. 따라서 상기 3차원 데이터를 그룹화하여 각 구역별로 나눈 다음에, 상기 그룹화된 결과를 상기 2차원 데이터에 투영한 후 투영 위치 주변의 객체 정보와 결합하면 상기 2차원 영상으로부터 획득한 객체 정보를 3차원 데이터와 결합하는 것이 가능하다.

또한, 상기 라이다를 이용하여 상기 3차원 데이터를 획득할 경우 360도를 측정할 수 있는 센서를 사용할 수 있다. 360도 측정용 센서를 사용하게 되면 센서 주위의 전 방향의 물체 정보를 확인할 수 있어 자동차와 연결되어 자율 주행 등에 사용하는 데 있어 사각이 없이 충돌 정보를 확인할 수 있다.

혹은 여러 개의 라이다 센서를 이용하여 동시에 3차원 데이터를 획득하고, 동시에 획득한 3차원 데이터들을 하나로 합쳐 360도를 측정하여 사용할 수도 있다.

이와 마찬가지로 360도를 측정 가능한 한 대의 카메라로부터 360도 2차원 데이터를 획득하거나 카메라 여러대로 획득한 여러 개의 2차원 데이터를 합성하여 하나의 360도 2차원 데이터를 획득하여 사용할 수 있다.

도 3 은 본 발명에 따른 정지 신호를 발생시키기 위해 각 장치들이 연결된 연결도이다.

이 때 입력부에서는 제어부에서 라이다 센서로부터 획득한 3차원 데이터와 카메라로부터 획득한 2차원 데이터의 정보를 이용하여 연산하는 경우에 대한 파라미터 조정을 할 수 있다. 예를 들어 안전 거리 정보를 50m로 입력하는 경우 제어부에서는 객체의 3차원 거리를 측정하여 50m 이내에 있는 객체에 대한 충돌 가능성 여부를 판별하여 차량에 정지 신호를 전달할 수 있다. 보다 저속으로 운행하는 경우 안전 거리 정보를 낮추어 입력하여 연산량을 줄일 수 있으며 반대로 고속으로 운행하는 경우에는 보다 긴 안전 거리 정보를 입력할 수 있다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 본 발명의 목적 범위 안에서라면, 실시예에 따라서는 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

Claims (4)

1. 주변 물체 혹은 공간의 3차원 위치 데이터를 획득할 수 있는 라이다 센서; 상기 물체 혹은 공간의 2차원 데이터를 획득할 수 있는 카메라; 상기 2차원 데이터를 이용하여 객체 인식 처리를 진행하여 객체 정보를 추출하고, 상기 3차원 데이터를 상기 2차원 데이터에 투영하여 상기 객체 정보의 거리를 계산하는 제어부; 및 상기 거리 정보를 이용하여 정지 신호를 발생시키는 것을 특징으로 하는 정지 신호 발생 방법.
   
2. 청구항 1에 있어서,
   상기 라이다 센서는 센서 주위의 수평 방향으로 360도 전방의 3차원 데이터를 획득하는 것을 특징으로 하는 정지 신호 발생 방법.
   
3. 청구항 1에 있어서,
   상기 라이다 센서는 두 개 이상의 복수로 구성되어 있으며 상기 제어부는 상기 복수의 3차원 위치 데이터를 합성하여 사용하는 것을 특징으로 하는 정지 신호 발생 방법.
   
4. 청구항 1에 있어서,
   상기 카메라 센서는 두 개 이상의 복수로 구성되어 있으며 상기 제어부는 상기 복수의 2차원 데이터를 합성하여 사용하는 것을 특징으로 하는 정지 신호 발생 방법.

Images