KR101916779B1

KR101916779B1 - 단일 후방 카메라 기반 장애물 거리 측정 장치 및 방법

Info

Publication number: KR101916779B1
Application number: KR1020170082415A
Authority: KR
Inventors: 김기범
Original assignee: 현대오트론 주식회사
Priority date: 2017-06-29
Filing date: 2017-06-29
Publication date: 2018-11-09

Abstract

본 발명은 단일 후방 카메라 기반 장애물 거리 측정 장치 및 방법에 관한 것으로, 차량의 후방 영상을 촬영하는 단일 후방 카메라; 상기 후방 영상에서 거리 측정 대상인 장애물을 선택하는 장애물 선택부; 적어도 하나 이상의 차량 정보를 상기 차량의 전자제어장치로부터 수신하는 차량 정보 수신부; 및 상기 차량 정보와 상기 차량의 이동 전후의 각 후방 영상에 기초하여 상기 선택한 장애물에 대한 장애물 거리를 산출하는 제어부;를 포함한다.

Description

단일 후방 카메라 기반 장애물 거리 측정 장치 및 방법{APPARATUS AND METHOD FOR MEASURING DISTANCE OF OBSTACLE BASED ON SINGLE REAR VIEW CAMERA}

본 발명은 단일 후방 카메라 기반 장애물 거리 측정 장치 및 방법에 관한 것으로, 보다 상세하게는 차량 후방에 설치된 단일 후방 카메라에서 촬영된 영상을 바탕으로 에피폴라 지오메트리(epipolar geometry)를 적용하여 차량의 후방에서 장애물까지의 거리를 측정할 수 있도록 하는 단일 후방 카메라 기반 장애물 거리 측정 장치 및 방법에 관한 것이다.

일반적으로 최근에 출시되는 차량에는 카메라를 장착하여 차량 주변의 영상을 AVN(Audio Video Navigation) 장치의 화면을 통해 제공함으로써 사용자의 편의성을 향상시키고 있다. 대표적으로 어라운드 뷰 모니터링 시스템이 있다.

하지만, 상기 어라운드 뷰 모니터링 시스템은 고가이기 때문에 대형 차량에 주로 부착(장착)되며, 통상적으로는 후방 카메라(또는 후방 감시 카메라)가 주로 부착되고 있는 상황이다. 다만 상기 후방 카메라는 후방 영상을 디스플레이하는 것에 목적이 있을 뿐이며, 후방의 장애물을 감시하기 위해서는 초음파 센서가 추가로 장착되어야 한다.

그러나 상기 초음파 센서는 지정된 거리 이내에 장애물이 있을 경우에 이를 알려주기만 할 뿐, 차량과 장애물 간의 거리를 측정하여 알려주는 것은 아니기 때문에 차량의 후진에 의한 주차나 정차 시 장애물과 차량 간의 정확한 거리를 고려하지 못하는 문제점이 있다.

이에 따라 기존에는 차량과 장애물 간의 거리를 측정하기 위하여 스테레오 카메라를 이용해 촬영한 영상을 처리하여 차량에서 장애물까지 거리를 측정하거나, 단일 카메라를 이용해 촬영한 영상에서 피사체의 크기에 대응하여 차량에서 장애물까지 거리를 측정하는 방법이 공지되어 있으나, 사용자들은 단순히 거리 측정만을 위해서 고비용이면서 유지보수가 어려운 스테레오 카메라를 설치하지는 않으며, 또한 피사체의 크기에 대응하여 거리를 측정하기 위해서는 피사체의 정확한 인식을 위해서 대량의 데이터베이스를 구축해야 되는 등의 문제점이 있다.

따라서 대부분의 차량에 설치되는 단일 후방 카메라를 이용해서 저비용으로 간편하게 장애물까지의 거리를 측정하여 알려주는 기술이 필요한 상황이다.

본 발명의 배경기술은 대한민국 공개특허 10-2016-0111678호(2016.09.27. 공개, 단일 카메라를 이용한 거리 측정 장치 및 방법)에 개시되어 있다.

본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 차량 후방에 설치된 단일 후방 카메라에서 촬영된 영상을 바탕으로 에피폴라 지오메트리(epipolar geometry)를 적용하여 차량의 후방에서 장애물까지의 거리를 측정할 수 있도록 하는 단일 후방 카메라 기반 장애물 거리 측정 장치 및 방법을 제공하는 데에 그 목적이 있다.

본 발명의 일 측면에 따른 단일 후방 카메라 기반 장애물 거리 측정 장치는, 차량의 후방 영상을 촬영하는 단일 후방 카메라; 상기 후방 영상에서 거리 측정 대상인 장애물을 선택하는 장애물 선택부; 적어도 하나 이상의 차량 정보를 상기 차량의 전자제어장치로부터 수신하는 차량 정보 수신부; 및 상기 차량 정보와 상기 차량의 이동 전후의 각 후방 영상에 기초하여 상기 선택한 장애물에 대한 장애물 거리를 산출하는 제어부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 거리 측정 대상인 장애물은, 사용자로부터 매뉴얼 방식으로 선택받거나, 상기 제어부가 기 설정된 조건에 따라 자동으로 선택할 수 있는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 상기 선택된 거리 측정 대상인 장애물에 아이디(ID)를 부여하여 감시 범위를 완전히 벗어날 때까지, 혹은 차량 시동이 종료될 때까지 감시하며, 상기 감시 범위는 카메라 촬영 범위, 및 초음파 센서의 센싱 범위 중 적어도 어느 하나를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 차량 정보 수신부는, 상기 차량 내의 전자제어장치(ECU)와 통신하여 차량의 주행에 따른 차량 정보로서, 이동거리, 조향각, 차량속도, 및 이동시간 중 적어도 하나 이상을 수신하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 장애물 거리를 산출하기 위하여, 상기 차량의 전자제어장치로부터 수신하는 차량 정보 중 이동거리와 조향각, 및 이동각(θ) 정보를 바탕으로 차량 이동거리를 산출하되, 상기 차량 이동거리는 차량의 이동 시작 전 위치와 이동 완료 후 위치를 연결하는 직선거리인 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 장애물 거리를 산출하기 위하여, 상기 산출된 차량 이동거리를 일측 변으로 하고, 반지름(r)을 다른 일측 변으로 하는 제1 가상 삼각형을 생성하고, 상기 반지름(r)은 차량이 원호 형태로 이동할 때 상기 원호에 대응하는 가상의 원에서의 반지름이며, 이동각(θ)은 차량이 원호 형태로 이동한 원호의 길이와 반지름(r)에 따라 결정되며, 상기 반지름(r)은 조향각에 따라 결정되어 내부 메모리에 테이블 형태로 미리 저장되는 것을 특징으로 한다.

본 발명에 있어서, 상기 제1 가상 삼각형은, 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 상기 이동하기 전과 후의 각 차량의 후방 범퍼에 접하는 각 평행선을 조향각 내측으로 연장했을 때 상기 각 평행선이 만나는 접점의 위치를 꼭짓점으로 하는 가상의 삼각형이며, 상기 조향각 내측은 차량이 원호 형태로 이동할 때의 가상의 원의 내측인 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 상기 제1 가상 삼각형이 생성되면, 상기 제1 가상 삼각형 정보를 기초로 장애물 거리를 산출하기 위하여 상기 제1 가상 삼각형의 일측 변을 공유하는 제2 가상 삼각형을 생성하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제2 가상 삼각형은, 상기 제1 가상 삼각형을 구성하는 세 변 중, 상기 이동하기 전과 후의 각 차량의 후방 카메라의 위치를 연결한 직선에 해당하는 일측 변을 상기 제2 가상 삼각형의 일측 변과 공유하며, 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 거리 측정 대상인 장애물의 중심 위치를 꼭짓점으로 하는 가상의 삼각형인 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 차량이 이동하기 전의 후방 카메라에서 촬영한 영상에서의 장애물의 위치, 및 차량이 이동한 후의 후방 카메라에서 촬영한 영상에서의 장애물의 위치를 에피폴라 지오메트리(epipolar geometry)에 적용하여 상기 제2 가상 삼각형을 구성하는 두 변의 길이를 산출하며, 상기 제2 가상 삼각형을 구성하는 세 개의 변 중, 차량이 이동한 후의 후방 카메라의 위치에서 장애물의 중심 위치를 연결하는 직선에 해당하는 변의 길이를 장애물 거리로서 산출하는 것을 특징으로 한다.

본 발명의 다른 측면에 따른 단일 후방 카메라 기반 장애물 거리 측정 방법은, 제어부가 단일 후방 카메라를 통해 차량의 후방 영상을 촬영하는 단계; 상기 제어부가 장애물 선택부를 통해 상기 후방 영상에서 거리 측정 대상인 장애물을 선택하는 단계; 상기 제어부가 차량 정보 수신부를 통해 적어도 하나 이상의 차량 정보를 상기 차량의 전자제어장치로부터 수신하는 단계; 및 상기 제어부가 상기 차량 정보와 상기 차량의 이동 전후의 각 후방 영상에 기초하여 상기 선택한 장애물에 대한 장애물 거리를 산출하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 장애물 거리를 산출하기 위하여, 상기 제어부는, 상기 차량의 전자제어장치로부터 수신하는 차량 정보 중 이동거리와 조향각, 및 이동각(θ) 정보를 바탕으로 차량 이동거리를 산출하되, 상기 차량 이동거리는 차량의 이동 시작 전 위치와 이동 완료 후 위치를 연결하는 직선거리인 것을 특징으로 한다.

본 발명에 있어서, 상기 장애물 거리를 산출하기 위하여, 상기 제어부는, 상기 산출된 차량 이동거리를 일측 변으로 하고, 반지름(r)을 다른 일측 변으로 하는 제1 가상 삼각형을 생성하고, 상기 반지름(r)은 차량이 원호 형태로 이동할 때 상기 원호에 대응하는 가상의 원에서의 반지름이며, 이동각(θ)은 차량이 원호 형태로 이동한 원호의 길이와 반지름(r)에 따라 결정되며, 상기 반지름(r)은 조향각에 따라 결정되어 내부 메모리에 테이블 형태로 미리 저장되는 것을 특징으로 한다.

본 발명에 있어서, 상기 제1 가상 삼각형이 생성되면, 상기 제어부는, 상기 제1 가상 삼각형 정보를 기초로 장애물 거리를 산출하기 위하여 상기 제1 가상 삼각형의 일측 변을 공유하는 제2 가상 삼각형을 생성하는 것을 특징으로 한다.

본 발명의 또 다른 측면에 따른 단일 후방 카메라 기반 장애물 거리 측정 방법은, 제어부가 차량의 후방에 장착되어 있는 단일 후방 카메라를 통해 촬영되어 디스플레이 수단을 통해 표시되는 차량의 후방 영상에서 거리 측정 대상인 장애물을 선택하는 단계; 상기 제어부가 차량 내의 전자제어장치(ECU)와 통신하여 차량의 주행에 따른 차량 정보로서 이동거리, 조향각, 차량속도, 및 이동시간을 수신하는 단계; 상기 제어부가 상기 차량 정보 중 이동거리와 조향각, 및 이동각(θ) 정보를 바탕으로 산출하는 차량 이동거리로서, 차량의 이동 시작 전 후방 카메라의 위치와 이동 완료 후 후방 카메라의 위치를 연결하는 직선거리를 산출하는 단계; 상기 제어부가 상기 차량 이동거리, 이동각(θ), 및 상기 조향각에 따라 결정되는 반지름(r) 정보를 바탕으로 제1 가상 삼각형을 생성하고, 상기 제1 가상 삼각형의 일측 변을 공유하는 제2 가상 삼각형을 생성하는 단계; 상기 제어부가 차량이 이동하기 전의 후방 카메라에서 촬영한 영상에서의 장애물의 위치, 및 차량이 이동한 후의 후방 카메라에서 촬영한 영상에서의 장애물의 위치를 에피폴라 지오메트리(epipolar geometry)에 적용하여 상기 제2 가상 삼각형을 구성하는 다른 두 변의 길이를 산출하는 단계; 및 상기 제어부가 상기 제2 가상 삼각형을 구성하는 세 개의 변 중, 차량이 이동한 후의 후방 카메라의 위치에서 장애물의 중심 위치를 연결하는 직선에 해당하는 변의 길이를 장애물 거리로서 산출하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제1 가상 삼각형과 제2 가상 삼각형이 공유하는 일측 변은, 상기 차량 이동거리로서, 차량의 이동 시작 전 후방 카메라의 위치와 이동 완료 후 후방 카메라의 위치를 연결하는 직선거리인 것을 특징으로 한다.

본 발명에 있어서, 상기 제1 가상 삼각형은, 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 상기 이동하기 전과 후의 각 차량의 후방 범퍼에 접하는 각 평행선을 조향각 내측으로 연장했을 때 상기 각 평행선이 만나는 접점의 위치를 꼭짓점으로 하는 가상의 삼각형이며, 상기 제2 가상 삼각형은, 상기 제1 가상 삼각형을 구성하는 세 변 중, 상기 이동하기 전과 후의 각 차량의 후방 카메라의 위치를 연결한 직선에 해당하는 일측 변을 상기 제2 가상 삼각형의 일측 변과 공유하며, 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 거리 측정 대상인 장애물의 중심 위치를 꼭짓점으로 하는 가상의 삼각형이며, 상기 조향각 내측은 차량이 원호 형태로 이동할 때의 가상의 원의 내측인 것을 특징으로 한다.

본 발명의 일 측면에 따르면, 본 발명은 차량 후방에 설치된 단일 후방 카메라에서 촬영된 영상을 바탕으로 에피폴라 지오메트리(epipolar geometry)를 적용하여 차량의 후방에서 장애물까지의 거리를 저비용으로 간편하게 측정하여 알려줄 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 단일 후방 카메라 기반 장애물 거리 측정 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 단일 후방 카메라 기반 장애물 거리 측정 방법을 설명하기 위한 흐름도.
도 3은 상기 도 1에 있어서, 장애물 선택 방법을 설명하기 위한 예시도.
도 4는 상기 도 1에 있어서, 제어부가 차량 이동거리를 산출하여 제1 가상 삼각형을 생성하는 방법을 설명하기 위한 예시도.
도 5는 상기 도 1에 있어서, 제어부가 조향각과 반지름 정보를 이용하여 제1 가상 삼각형을 생성하는 방법을 설명하기 위한 예시도.
도 6은 상기 도 1에 있어서, 제어부가 장애물 거리를 산출하기 위한 제2 가상 삼각형을 생성하는 방법을 설명하기 위한 예시도.
도 7은 상기 도 6에 있어서, 제2 가상 삼각형과 에피폴리 지오메트리 기법을 바탕으로 장애물 거리를 산출하는 방법을 설명하기 위한 예시도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 단일 후방 카메라 기반 장애물 거리 측정 장치 및 방법의 일 실시예를 설명한다.

이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 단일 후방 카메라 기반 장애물 거리 측정 장치의 개략적인 구성을 보인 예시도이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 단일 후방 카메라 기반 장애물 거리 측정 장치는, 카메라부(110), 장애물 선택부(120), 차량 정보 수신부(130), 제어부(140), 및 장애물 거리 출력부(150)를 포함한다.

상기 카메라부(110)는 차량의 후방에 장착되어 후방 영상을 촬영하는 후방 카메라를 포함한다.

상기 장애물 선택부(120)는 차량에서 장애물까지의 거리를 측정하기 위한 장애물(또는 장애물 영역)을 사용자로부터 선택받거나, 상기 제어부(140)가 자동으로 선택하게 할 수 있다(도 3 참조). 이때 사용자로부터 선택받거나 자동으로 선택할 수 있는 장애물은 적어도 하나 이상일 수 있다.

예컨대, 도 3의 (a)에 도시된 바와 같이, 사용자는 AVN 장치의 디스플레이 수단, 또는 헤드 업 디스플레이(Head Up Display, HUD) 등을 통해 디스플레이 되는 영상에서 거리를 측정하기 위한 장애물을 매뉴얼 방식으로 선택할 수 있다. 이때 사용자로부터 선택받거나 자동으로 선택되는 대상(즉, 거리 측정 대상)은, 도 3의 (b)에 도시된 바와 같이, 각 초음파 센서를 통해 측정되는 영역(즉, 장애물이 있는 영역)이 될 수 있다.

상기와 같이 장애물이 선택되면, 상기 제어부(140)는 상기 선택된 장애물에 아이디(ID)를 부여하고, 상기 아이디가 부여된 장애물이 감시 범위(예 : 카메라 촬영 범위, 초음파 센서의 센싱 범위)를 완전히 벗어날 때까지, 혹은 차량 시동(즉, 주행)이 종료될 때까지 감시한다.

상기 차량 정보 수신부(130)는 차량 내의 전자제어장치(ECU)와 통신하여 차량의 주행에 따른 차량 정보(예 : 이동거리, 조향각, 차량속도, 이동시간 등)를 수신한다.

상기 제어부(140)는 상기 차량 정보(예 : 이동거리와 조향각 정보)를 수신하여 장애물 거리(즉, 차량의 단일 후방 카메라에서 장애물까지의 거리)를 산출하기 위한 가상의 삼각형(제1 가상 삼각형)을 생성한다(도 4 참조).

이때 상기 가상의 삼각형(제1 가상 삼각형)을 생성하기 위한 일측 변의 길이(r)(또는 차량이 조향각에 따라 원호 형태로 이동할 때 상기 원호에 대응하는 가상의 원에서의 반지름)는 조향각에 따라 미리 결정되어 내부 메모리(미도시)에 테이블 형태로 미리 저장될 수 있으며, 이동각(θ)은 차량이 원호 형태로 이동한 원호의 길이와 상기 반지름(r)에 따라 결정된다(도 5 참조).

물론 상기 조향각이 검출되면 기 설정된 특정 수식에 의해서도 상기 가상의 삼각형(제1 가상 삼각형)을 생성하기 위한 일측 변의 길이(r)(또는 차량이 조향각에 따라 원호 형태로 이동할 때 상기 원호에 대응하는 가상의 원에서의 반지름)를 산출할 수도 있다.

따라서 상기 가상의 삼각형(제1 가상 삼각형)은, 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 상기 이동하기 전과 후의 각 차량의 후방 범퍼에 접하는 각 평행선을 조향각 내측(즉, 차량이 원호 형태로 이동할 때의 내측)으로 연장했을 때 상기 각 평행선이 만나는 접점의 위치가 꼭짓점이 된다.

이에 따라 상기 제어부(140)는 상기 세 개의 꼭짓점에 의한 가상의 삼각형(제1 가상 삼각형)을 생성함으로써, 상기 가상의 삼각형(제1 가상 삼각형)의 세 변의 길이를 산출할 수 있다. 특히 상기 이동하기 전과 후의 각 차량의 후방 카메라의 위치를 직선으로 연결한 변(도 6의 ②)의 길이가 산출되며, 상기 이동하기 전과 후의 각 차량의 후방 카메라의 위치를 직선으로 연결한 변(도 6의 ②)을 일측 변으로 하는 다른 가상의 삼각형(제2 가상 삼각형)을 생성한다.

상기 다른 가상의 삼각형(제2 가상 삼각형)은 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 상기 선택하거나 선택받은 장애물의 중심 위치가 꼭짓점이 된다(도 6의 (b) 참조). 즉, 상기 다른 가상의 삼각형(제2 가상 삼각형)은 세 개의 변(도 6의 ②,③,⑥)으로 형성된 삼각형이다.

여기서 상기 제2 가상 삼각형의 세 개의 변(도 6의 ②,③,⑥) 중, 차량이 이동한 후의 후방 카메라의 위치에서 장애물의 중심 위치를 연결하는 직선에 해당하는 변(도 6의 ③)의 길이가 장애물 거리(즉, 차량의 단일 후방 카메라에서 장애물까지의 거리)가 된다.

이때 상기 제2 가상 삼각형의 세 개의 변(도 6의 ②,③,⑥) 중 일측 변(도 6의 ②)의 길이는 이미 알고 있는 정보이고, 나머지 두 변(도 6의 ③,⑥)의 길이는 차량이 이동하기 전의 후방 카메라에서 촬영한 영상의 장애물의 위치, 및 차량이 이동한 후의 후방 카메라에서 촬영한 영상의 장애물의 위치를 에피폴라 지오메트리(epipolar geometry)에 적용하여 산출할 수 있다(도 7 참조).

여기서 상기 에피폴라 지오메트리 기법은 공지된 기술이므로 이에 대해서는 구체적으로 설명하지 않지만, 참고로 도 7에서 O_R이 차량이 이동하기 전의 후방 카메라의 위치에 대응하며, O_L이 차량이 이동한 후의 후방 카메라의 위치에 대응하며, X(또는 X₁ ~ X_L)가 장애물의 중심 위치에 대응하는 것이다. 그리고 라이트 뷰(Right view)가 이동 전 차량에서 촬영한 영상이고, 레프트 뷰(Left view)가 이동 후 차량에서 촬영한 영상에 해당하는 것이다.

한편 본 실시예에서 상기 도 4 및 도 6에 도시된 도면은 편의상 차량이 원호 형태로 이동하는 조향각의 크기가 다소 과장되게 그려진 것이며, 실제로는 사용자가 후진 주행 중 핸들(스티어링 휠)을 계속해서 조작하기 때문에 주행 중 조향각이 계속해서 변경될 것이다. 따라서 도 4 및 도 6에 도시된 도면은 주행 중 조향각이 변경되지 않고 유지될 때의 구간을 이해가 용이하도록 가정하여 도시된 것으로 이해되어야 한다.

상술한 바와 같이 장애물 거리(즉, 차량의 단일 후방 카메라에서 장애물까지의 거리)가 산출되면, 상기 제어부(140)는 장애물 거리 출력부(150)를 통해 차량의 후방에서 장애물까지의 장애물 거리를 출력한다.

상기 장애물 거리 출력부(150)는 AVN 장치의 디스플레이 수단, 또는 헤드 업 디스플레이(HUD) 등을 통해 후방 영상 및 장애물 거리(즉, 차량의 단일 후방 카메라에서 장애물까지의 거리) 정보를 출력한다.

도 2는 본 발명의 일 실시예에 따른 단일 후방 카메라 기반 장애물 거리 측정 방법을 설명하기 위한 흐름도이다.

도 2에 도시된 바와 같이, 제어부(140)는 차량의 후방에 장착되어 있는 단일 후방 카메라를 통해 촬영되어 디스플레이 수단(예 : AVN 장치의 디스플레이 수단, 헤드 업 디스플레이 등)을 통해 표시되는 차량의 후방 영상에서 거리 측정 대상(즉, 장애물)을 선택한다(S101).

이때 상기 거리 측정 대상(장애물)은 사용자로부터 선택받거나, 상기 제어부(140)가 기 설정된 조건(예 : 영상의 측방에 있는 대상 중 차선 또는 주차 가이드라인에 근접한 대상, 영상의 중앙에 있는 대상 등)에 따라 자동으로 선택할 수 있으며(도 3 참조), 상기 선택되는 거리 측정 대상(장애물)은 적어도 하나 이상일 수 있다. 이때 사용자로부터 선택받거나 자동으로 선택되는 대상(즉, 거리 측정 대상)은, 차량 후방에 설치된 적어도 하나 이상의 각 초음파 센서를 통해 측정되는 영역(즉, 장애물이 있는 영역)이 될 수도 있다.

상기 제어부(140)는 상기 선택된 거리 측정 대상(장애물)에 아이디(ID)를 부여하여 감시 범위(예 : 카메라 촬영 범위, 초음파 센서의 센싱 범위)를 완전히 벗어날 때까지, 혹은 차량 시동(즉, 주행)이 종료될 때까지 감시한다.

아울러 상기 제어부(140)는 차량 정보 수신부(130)를 통해 차량 내의 전자제어장치(ECU)와 통신하여 차량의 주행에 따른 차량 정보(즉, 차량 상태 정보)(예 : 이동거리, 조향각, 차량속도, 이동시간 등)를 수신한다(S102).

다음 상기 수신된 차량 정보(예 : 이동거리와 조향각 정보)를 바탕으로 차량 이동거리(즉, 차량의 이동 시작 전 위치와 이동 완료 후 위치를 연결하는 직선거리)(도 6의 ②)를 산출한다(S103).

이때 상기 산출된 차량 이동거리(즉, 차량의 이동 시작 전 위치와 이동 완료 후 위치를 연결하는 직선거리)(도 6의 ②)가 본 실시예에서 장애물 거리(즉, 차량의 단일 후방 카메라에서 장애물까지의 거리)를 산출하기 위해 생성하는 가상의 삼각형(제1 가상 삼각형)의 일측 변에 해당한다(도 6 참조).

이때 상기 가상의 삼각형(제1 가상 삼각형)을 생성하기 위한 다른 일측 변의 길이(r)(또는 차량이 조향각에 따라 원호 형태로 이동할 때 상기 원호에 대응하는 가상의 원에서의 반지름)는 상기 차량 정보 중 조향각에 따라 결정되며, 내부 메모리(미도시)에 테이블 형태로 미리 저장될 수 있다(도 5 참조).

다만, 상기 가상의 삼각형(제1 가상 삼각형)을 생성하기 위한 일측 변의 길이(r)(또는 차량이 조향각에 따라 원호 형태로 이동할 때 상기 원호에 대응하는 가상의 원에서의 반지름)는 기 설정된 특정 수식에 상기 조향각 정보를 대입하여 산출할 수도 있다.

이에 따라 상기 제어부(140)는 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 상기 이동하기 전과 후의 각 차량의 후방 범퍼에 접하는 각 평행선을 조향각 내측(즉, 차량이 원호 형태로 이동할 때의 내측)으로 연장했을 때 상기 각 평행선이 만나는 접점의 위치를 각기 꼭짓점으로 하는 가상의 삼각형(제1 가상 삼각형)을 생성할 수 있다.

상기와 같이 차량 이동거리(이동하기 전과 후의 각 차량의 후방 카메라의 위치를 연결한 직선), 이동각(θ), 및 상기 조향각에 따라 결정되는 반지름(즉, 차량이 조향각에 따라 원호 형태로 이동할 때 상기 원호에 대응하는 가상의 원에서의 반지름) 정보를 바탕으로 상기 가상의 삼각형(제1 가상 삼각형)이 생성되면, 상기 제어부(140)는 상기 가상의 삼각형(제1 가상 삼각형) 정보에 기초하여 장애물 거리를 산출한다(S104).

예컨대 상기 제어부(140)는 상기 생성한 가상의 삼각형(제1 가상 삼각형)을 구성하는 세 변 중, 상기 이동하기 전과 후의 각 차량의 후방 카메라의 위치를 연결한 직선(즉, 차량 이동거리)(도 6의 ②), 즉, 상기 이동하기 전과 후의 각 차량의 후방 카메라의 위치를 연결한 직선(도 6의 ②)을 일측 변으로 하는 다른 가상의 삼각형(제2 가상 삼각형)을 생성한다.

여기서 상기 제2 가상 삼각형에서, 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 상기 선택하거나 선택받은 장애물의 중심 위치가 꼭짓점이 된다(도 6의 (b) 참조). 즉, 상기 제2 가상 삼각형은 세 개의 변(도 6의 ②,③,⑥)으로 형성된 삼각형이다.

이때 상기 제2 가상 삼각형의 세 개의 변(도 6의 ②,③,⑥) 중, 차량이 이동한 후의 후방 카메라의 위치에서 장애물의 중심 위치를 연결하는 직선에 해당하는 변(도 6의 ③)의 길이가 장애물 거리(즉, 차량의 단일 후방 카메라에서 장애물까지의 거리)가 된다.

다시 말해, 상기 제어부(140)는 상기 제2 가상 삼각형의 세 개의 변(도 6의 ②,③,⑥) 중 이미 알고 있는 정보인 일측 변(도 6의 ②)의 길이 이외에, 상기 차량이 이동하기 전의 후방 카메라에서 촬영한 영상의 장애물의 위치, 및 차량이 이동한 후의 후방 카메라에서 촬영한 영상의 장애물의 위치를 에피폴라 지오메트리(epipolar geometry)에 적용하여 나머지 두 변(도 6의 ③,⑥)의 길이를 산출할 수 있다(도 7 참조).

이때 상기 두 변(도 6의 ③,⑥) 중 차량이 이동한 후의 후방 카메라의 위치에서 장애물의 중심 위치를 연결하는 직선에 해당하는 변(도 6의 ③)의 길이가 장애물 거리(즉, 차량의 단일 후방 카메라에서 장애물까지의 거리)가 된다.

상기와 같이 장애물 거리(즉, 차량의 단일 후방 카메라에서 장애물까지의 거리)가 산출되면, 상기 제어부(140)는 장애물 거리 출력부(150)를 통해 차량의 후방(정확하게는 후방 카메라)에서 장애물까지의 장애물 거리를 장애물 거리 출력부(150)를 통해 후방 영상에 합성하여 출력한다(S105).

상기와 같이 본 실시예는 차량 후방에 설치된 단일 후방 카메라에서 촬영된 영상을 바탕으로 에피폴라 지오메트리(epipolar geometry)를 적용하여 차량의 후방에서 장애물까지의 거리를 저비용으로 간편하게 측정하여 알려줌으로써, 사용자의 편의성을 향상시키는 효과가 있다.

이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

110 : 카메라부
120 : 장애물 선택부
130 : 차량 정보 수신부
140 : 제어부
150 : 장애물 거리 출력부

Claims

차량의 후방 영상을 촬영하는 단일 후방 카메라;
상기 후방 영상에서 거리 측정 대상인 장애물을 선택하는 장애물 선택부;
적어도 하나 이상의 차량 정보를 상기 차량의 전자제어장치로부터 수신하는 차량 정보 수신부; 및
상기 차량 정보와 상기 차량의 이동 전후의 각 후방 영상에 기초하여 상기 선택한 장애물에 대한 장애물 거리를 산출하는 제어부;를 포함하고,
상기 제어부는, 상기 차량의 전자제어장치로부터 수신하는 차량 정보를 바탕으로 차량 이동거리를 산출하되, 상기 차량 이동거리는 차량의 이동 시작 전 위치와 이동 완료 후 위치를 연결하는 직선거리이며,
상기 제어부는, 장애물 거리를 산출하기 위하여, 상기 산출된 차량 이동거리를 일측 변으로 하고, 반지름(r)을 다른 일측 변으로 하는 제1 가상 삼각형을 생성하고, 상기 제1 가상 삼각형의 일측 변을 공유하는 제2 가상 삼각형을 생성하는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 장치.
제 1항에 있어서, 상기 거리 측정 대상인 장애물은,
사용자로부터 매뉴얼 방식으로 선택받거나,
상기 제어부가 기 설정된 조건에 따라 자동으로 선택할 수 있는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 장치.
제 1항에 있어서, 상기 제어부는,
상기 선택된 거리 측정 대상인 장애물에 아이디(ID)를 부여하여 감시 범위를 완전히 벗어날 때까지, 혹은 차량 시동이 종료될 때까지 감시하며,
상기 감시 범위는 카메라 촬영 범위, 및 초음파 센서의 센싱 범위 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 장치.
제 1항에 있어서, 상기 차량 정보 수신부는,
상기 차량 내의 전자제어장치(ECU)와 통신하여 차량의 주행에 따른 차량 정보로서, 이동거리, 조향각, 차량속도, 및 이동시간 중 적어도 하나 이상을 수신하는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 장치.
제 1항에 있어서, 상기 제어부는,
상기 차량의 전자제어장치로부터 수신하는 차량 정보 중 이동거리와 조향각, 및 이동각(θ) 정보를 바탕으로 차량 이동거리를 산출하는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 장치.
제 5항에 있어서,
상기 반지름(r)은 차량이 원호 형태로 이동할 때 상기 원호에 대응하는 가상의 원에서의 반지름이며, 이동각(θ)은 차량이 원호 형태로 이동한 원호의 길이와 반지름(r)에 따라 결정되며, 상기 반지름(r)은 조향각에 따라 결정되어 내부 메모리에 테이블 형태로 미리 저장되는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 장치.
제 6항에 있어서, 상기 제1 가상 삼각형은,
차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 상기 이동하기 전과 후의 각 차량의 후방 범퍼에 접하는 각 평행선을 조향각 내측으로 연장했을 때 상기 각 평행선이 만나는 접점의 위치를 꼭짓점으로 하는 가상의 삼각형이며,
상기 조향각 내측은 차량이 원호 형태로 이동할 때의 가상의 원의 내측인 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 장치.
삭제
제 6항에 있어서, 상기 제2 가상 삼각형은,
상기 제1 가상 삼각형을 구성하는 세 변 중, 이동하기 전과 후의 각 차량의 후방 카메라의 위치를 연결한 직선에 해당하는 일측 변을 상기 제2 가상 삼각형의 일측 변과 공유하며,
차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 거리 측정 대상인 장애물의 중심 위치를 꼭짓점으로 하는 가상의 삼각형인 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 장치.
제 6항에 있어서, 상기 제어부는,
차량이 이동하기 전의 후방 카메라에서 촬영한 영상에서의 장애물의 위치, 및 차량이 이동한 후의 후방 카메라에서 촬영한 영상에서의 장애물의 위치를 에피폴라 지오메트리(epipolar geometry)에 적용하여 상기 제2 가상 삼각형을 구성하는 두 변의 길이를 산출하며,
상기 제2 가상 삼각형을 구성하는 세 개의 변 중,
차량이 이동한 후의 후방 카메라의 위치에서 장애물의 중심 위치를 연결하는 직선에 해당하는 변의 길이를 장애물 거리로서 산출하는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 장치.
제어부가 단일 후방 카메라를 통해 차량의 후방 영상을 촬영하는 단계;
상기 제어부가 장애물 선택부를 통해 상기 후방 영상에서 거리 측정 대상인 장애물을 선택하는 단계;
상기 제어부가 차량 정보 수신부를 통해 적어도 하나 이상의 차량 정보를 상기 차량의 전자제어장치로부터 수신하는 단계; 및
상기 제어부가 상기 차량 정보와 상기 차량의 이동 전후의 각 후방 영상에 기초하여 상기 선택한 장애물에 대한 장애물 거리를 산출하는 단계;를 포함하고,
상기 장애물 거리를 산출하는 단계에서, 상기 제어부는, 상기 차량의 전자제어장치로부터 수신하는 차량 정보를 바탕으로 차량 이동거리를 산출하며, 상기 산출된 차량 이동거리를 일측 변으로 하고 반지름(r)을 다른 일측 변으로 하는 제1 가상 삼각형을 생성하고, 상기 제1 가상 삼각형의 일측 변을 공유하는 제2 가상 삼각형을 생성하되, 상기 차량 이동거리는 차량의 이동 시작 전 위치와 이동 완료 후 위치를 연결하는 직선거리인 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 방법.
제 11항에 있어서, 상기 장애물 거리를 산출하기 위하여,
상기 제어부는,
상기 차량의 전자제어장치로부터 수신하는 차량 정보 중 이동거리와 조향각, 및 이동각(θ) 정보를 바탕으로 차량 이동거리를 산출하는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 방법.
제 12항에 있어서,
상기 반지름(r)은 차량이 원호 형태로 이동할 때 상기 원호에 대응하는 가상의 원에서의 반지름이며, 이동각(θ)은 차량이 원호 형태로 이동한 원호의 길이와 반지름(r)에 따라 결정되며, 상기 반지름(r)은 조향각에 따라 결정되어 내부 메모리에 테이블 형태로 미리 저장되는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 방법.
제 13항에 있어서, 상기 제1 가상 삼각형은,
차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 상기 이동하기 전과 후의 각 차량의 후방 범퍼에 접하는 각 평행선을 조향각 내측으로 연장했을 때 상기 각 평행선이 만나는 접점의 위치를 꼭짓점으로 하는 가상의 삼각형이며,
상기 조향각 내측은 차량이 원호 형태로 이동할 때의 가상의 원의 내측인 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 방법.
삭제
제 13항에 있어서, 상기 제2 가상 삼각형은,
상기 제1 가상 삼각형을 구성하는 세 변 중, 이동하기 전과 후의 각 차량의 후방 카메라의 위치를 연결한 직선에 해당하는 일측 변을 상기 제2 가상 삼각형의 일측 변과 공유하며,
차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 거리 측정 대상인 장애물의 중심 위치를 꼭짓점으로 하는 가상의 삼각형인 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 방법.
제 13항에 있어서, 상기 제어부는,
차량이 이동하기 전의 후방 카메라에서 촬영한 영상에서의 장애물의 위치, 및 차량이 이동한 후의 후방 카메라에서 촬영한 영상에서의 장애물의 위치를 에피폴라 지오메트리(epipolar geometry)에 적용하여 상기 제2 가상 삼각형을 구성하는 두 변의 길이를 산출하며,
상기 제2 가상 삼각형을 구성하는 세 개의 변 중,
차량이 이동한 후의 후방 카메라의 위치에서 장애물의 중심 위치를 연결하는 직선에 해당하는 변의 길이를 장애물 거리로서 산출하는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 방법.
제어부가 차량의 후방에 장착되어 있는 단일 후방 카메라를 통해 촬영되어 디스플레이 수단을 통해 표시되는 차량의 후방 영상에서 거리 측정 대상인 장애물을 선택하는 단계;
상기 제어부가 차량 내의 전자제어장치(ECU)와 통신하여 차량의 주행에 따른 차량 정보로서 이동거리, 조향각, 차량속도, 및 이동시간을 수신하는 단계;
상기 제어부가 상기 차량 정보 중 이동거리와 조향각, 및 이동각(θ) 정보를 바탕으로 산출하는 차량 이동거리로서, 차량의 이동 시작 전 후방 카메라의 위치와 이동 완료 후 후방 카메라의 위치를 연결하는 직선거리를 산출하는 단계;
상기 제어부가 상기 차량 이동거리, 이동각(θ), 및 상기 조향각에 따라 결정되는 반지름(r) 정보를 바탕으로 제1 가상 삼각형을 생성하고, 상기 제1 가상 삼각형의 일측 변을 공유하는 제2 가상 삼각형을 생성하는 단계;
상기 제어부가 차량이 이동하기 전의 후방 카메라에서 촬영한 영상에서의 장애물의 위치, 및 차량이 이동한 후의 후방 카메라에서 촬영한 영상에서의 장애물의 위치를 에피폴라 지오메트리(epipolar geometry)에 적용하여 상기 제2 가상 삼각형을 구성하는 다른 두 변의 길이를 산출하는 단계; 및
상기 제어부가 상기 제2 가상 삼각형을 구성하는 세 개의 변 중, 차량이 이동한 후의 후방 카메라의 위치에서 장애물의 중심 위치를 연결하는 직선에 해당하는 변의 길이를 장애물 거리로서 산출하는 단계;를 포함하는 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 방법.
제 18항에 있어서,
상기 제1 가상 삼각형과 제2 가상 삼각형이 공유하는 일측 변은,
상기 차량 이동거리로서, 차량의 이동 시작 전 후방 카메라의 위치와 이동 완료 후 후방 카메라의 위치를 연결하는 직선거리인 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 방법.
제 18항에 있어서,
상기 제1 가상 삼각형은, 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 상기 이동하기 전과 후의 각 차량의 후방 범퍼에 접하는 각 평행선을 조향각 내측으로 연장했을 때 상기 각 평행선이 만나는 접점의 위치를 꼭짓점으로 하는 가상의 삼각형이며,
상기 제2 가상 삼각형은, 상기 제1 가상 삼각형을 구성하는 세 변 중, 상기 이동하기 전과 후의 각 차량의 후방 카메라의 위치를 연결한 직선에 해당하는 일측 변을 상기 제2 가상 삼각형의 일측 변과 공유하며, 차량이 이동하기 전의 후방 카메라의 위치, 차량이 이동한 후의 후방 카메라의 위치, 및 거리 측정 대상인 장애물의 중심 위치를 꼭짓점으로 하는 가상의 삼각형이며,
상기 조향각 내측은 차량이 원호 형태로 이동할 때의 가상의 원의 내측인 것을 특징으로 하는 단일 후방 카메라 기반 장애물 거리 측정 방법.