KR102071720B1 - 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법 - Google Patents

Abstract

본 발명은 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법에 관한 것으로, 2D 비전 영상을 Top View 영상으로 생성하는 단계; 상기 Top View 영상에 레이다 영상을 매핑하는 단계; 기 설정된 변환 테이블 매트릭스를 이용하여 상기 Top View 영상에 매핑된 상기 레이다 영상의 목표물을 상기 Top View 영상의 목표물로 계산하는 단계; 및 역매트릭스를 통해 상기 Top View 영상의 목표물의 좌표를 구하는 단계를 포함한다.

Description

차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법{Method for matching radar target list and target of vision image}

본 발명은 차량용 레이다 목표 리스트와 비전 영상의 목표물을 정합하는 방법에 관한 것이다.

현재 3차원 목표물을 가져오는 레이다의 경우(r, θ)의 형태로 물체의 위치를 인식하게 된다. 인식된 물체들은 목표물 리스트(Target List) 형태로 돌려주게 되며, 목표물 리스트들 가운데 우선순위에 따라 응용 시스템에서 처리하게 된다.

스마트카 안전 서비스 개발을 하거나 자율 주행 차량을 개발할 때 레이다 단독 목표 검출 리스트를 사용하지 않고 카메라 영상과 융합하여 카메라 영상의 관심영역(ROI, Region Of Interest)를 만들고, 이 관심영역 내부에 차량과 사람 혹은 표지판 등을 구분해내고 목표물이 무엇인지 찾아내어 응용 서비스 시스템에서 활용한다.

이와 관련하여, 한국공개특허공보 제2015-0020839 호(발명의 명칭: 전방 영상 분석을 통한 하이빔 제어 장치 및 방법)는, 차량의 전방을 카메라를 통해 촬영하기 위한 전방 촬영부, 차량의 전방을 레이다를 통해 촬영하기 위한 레이다 센서부, 상기 전방 촬영부를 통해 획득된 전방 영상과, 상기 레이다 센서부를 통해 획득된 레이다 영상을 분석하는 영상 분석부, 차량의 전방에 하이 빔 또는 로우 빔을 출력하는 헤드 램프부, 소정의 제어 신호에 따라 상기 헤드 램프부에서 하이 빔 또는 로우 빔이 출력되도록 구동하는 램프 구동부, 상기 전방 영상과 상기 레이다 영상을 분석한 결과, 전방 영상과 레이다 영상 모두 선행 차량이 있는 경우에만 로우 빔이 출력되도록 하고, 전방 영상과 레이다 영상 중 하나라도 선행 차량이 없는 경우에 하이 빔이 출력되도록 하는 제어 신호를 상기 램프 구동부에 전달하는 제어부를 포함하는 전방 영상 분석을 통한 하이빔 제어 장치를 개시하고 있다.

하지만, 이러한 비전 시스템은 2차원으로 촬영된 결과 화면이라서 관심영역을 정확하게 찾기 어려운 문제점이 있다.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은, 3차원 레이다의 목표 검출 리스트의 좌표(r, θ, h)를 이용해서 비전의 관심영역 중심점 주변을 찾을 수 있는 차량용 레이다 목표 리스트와 비전 영상의 목표물의 정합 방법을 제공함에 있다.

다만, 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법은, 2D 비전 영상을 Top View 영상으로 생성하는 단계; 상기 Top View 영상에 레이다 영상을 매핑하는 단계; 기 설정된 변환 테이블 매트릭스를 이용하여 상기 Top View 영상에 매핑된 상기 레이다 영상의 목표물을 상기 Top View 영상의 목표물로 계산하는 단계; 및 역매트릭스를 통해 상기 Top View 영상의 목표물의 좌표를 구하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명에서는 비전 영상과 레이다 영상을 매핑하여 비전 영상에서 목표물의 위치를 구함으로써, 목표물이 위치한 관심 영역을 정확하게 찾을 수 있다.

본 발명에서는 레이다 영상의 목표 검출 리스트의 좌표(r, θ, h)를 기초로 해서 매트릭스 변환과 계산을 통해 비전 영상의 관심영역을 쉽게 구할 수 있다.

도 1은 본 발명의 실시 예에 따른 2D 비전 영상을 Top View 영상으로 이미지 처리하는 과정을 나타내는 도면이다.
도 2는 Top View 영상과 레이다 영상간의 특징을 비교한 도면이다.
도 3은 Top View 영상과 레이다 영상을 매핑한 도면이다.
도 4는 레이다 영상과 비전 영상의 Top View 영상과의 차이를 나타내는 도면이다.
도 5는 비전 영상의 Tor View 영상에서 레이다 목표물(Target)을 재매핑한 결과도이다.
도 6은 본 발명의 차량용 레이다 목표 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법을 나타내는 설명도이다.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하에서는, 도면을 참조하여 본 발명의 일 실시예에 따른 차량용 레이다 목표 검출 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법에 대하여 상세히 설명하도록 한다.

이하, 도 1 내지 6을 참조하여 본 발명의 실시 예에 따른 차량용 레이다 목표 검출 리스트와 비전 영상의 목표물의 정합 방법에 대해서 설명하도록 한다.

도 1은 본 발명의 실시 예에 따른 2D 비전 영상을 Top View 영상으로 이미지 처리하는 과정을 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명은 2D 카메라에서 입력되는 영상에서 특징점을 추출하고, Top 에서 보는 영상인 Top View 영상을 생성한다.

본 발명에서는 Top View 영상을 생성할 때, 레이다가 3차원 좌표를 만들어 오는 것을 h=0으로 매핑할 경우 동일한 Top View 영상을 형성할 수 있기 때문에 위치의 매핑을 간단하게 처리할 수 있다.

도 2는 Top View 영상과 레이다 영상간의 특징을 비교한 도면이다.

도 2에 도시된 바와 같이, 본 발명에서는 비전 영상의 Top View 영상을 레이다 목표물 리스트의 좌표와 매핑할 수 있는 형태로 이미지 처리할 수 있다.

레이다 영상에서 Target1과 Target2는 목표물 리스트로서, 본 발명에서는 Target1을 레이다 목표물1이라 하고, Target2를 레이다 목표물2라고 한다.

도 3은 Top View 영상과 레이다 영상을 매핑한 도면이다.

도 3에 도시된 바와 같이, 본 발명은 비전 영상의 Top View 영상과 레이다 영상을 매핑할 수 있다. 이때, 레이다에서 바라보는 중심점과 Top View 영상에서 바라보는 중심점이 다를 수 있으며, Top View 영상에서 전방으로 보는 꼭지점과 레이다가 바라보는 꼭지점은 초기 캘리브레이션에서 일치시켜 두고, 장착 위치에 따라 Top View 영상과 레이다 영상 사이의 꼭지점 거리(Distance D)를 구할 수 있다.

도 4는 레이다 영상과 비전 영상의 Top View 영상과의 차이를 나타내는 도면이다.

도 4에 도시된 바와 같이, 레이다 영상과 Top View 영상의 FOV(Field Of View) 값에 따라 레이다에서 형성된 레이다 목표물1(Target1)과 레이다 목표물2(Target2)를 Top View 영역에 매핑할 수 있다.

θ1은 레이다의 FOV에 의해 형성된 각도이고, θ2는 Top View 영상의 FOV에 의해 형성된 각도이다. θ1과 θ2사이의 변환 테이블은 캘리브레이션을 통해 이미 설정된 값으로 계산된다.

도 5는 비전 영상의 Top View 영상에서 레이다 목표물(Target)을 재매핑한 결과도이다.

본 발명은 비전 영상의 Top View 영상에 매핑된 레이다 목표물1(Target1)과 레이다 목표물2(Target2)의 좌표를 θ1과 θ2사이의 변환 테이블 매트릭스를 이용하여 Vtartget1과 Vtarget2를 계산한다.

본 발명에서는 Vtratget1을 비전 영상 목표물1이라 하고, Vtarget2를 비전 영상 목표물2라고 한다.

그리고, 역매트릭스 통해 Top View 영상에서의 목표물(Vtarget1, Vtarget2)의 x,y 좌표를 구할 수 있다.

도 6은 본 발명의 차량용 레이다 목표 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법을 나타내는 설명도이다.

도 6에 도시된 바와 같이, 본 발명은 2D카메라로 촬영된 2D 비전 영상을 Top View 영상으로 생성한다(S610).

비전 영상의 Top View 영상에 레이다 영상을 매핑한다(S620).

이때, 레이다 영상의 목표물 리스트(Target1, Target2)는 Top View 영상에 매핑될 수 있으며, 레이다 영상의 FOV 값과 Top View 영상의 FOV 값에 차이가 있다.

본 발명에서는 레이다의 FOV에 의해 형성되는 각도(θ1)와 Top View 영상의 FOV에 의해 형성되는 각도(θ2)를 고려하여, Top View 영상과 레이다 영상 사이의 변환 테이블은 캘리브레이션을 통해 기 설정된 값으로 계산될 수 있다.

본 발명에서는 기 설정된 변환 테이블 매트릭스를 이용하여 Top View 영상에 표시된 레이다 영상의 목표물(Target1, Target2)을 Top View 영상의 목표물(Vtarget1, Vtarget2)로 계산한다(S630).

마지막으로, 본 발명은 역매트릭스를 통해 Top View 영상의 목표물의 좌표(x,y)를 산출할 수 있다(S640). 이때, Top View 영상의 목표물은 Top View 영상의 관심 영역 중심점 주변일 수도 있다.

본 발명에서는 비전 영상과 레이다 영상을 매핑하여 비전 영상에서 목표물의 위치를 구함으로써, 목표물이 위치한 관심 영역을 보다 정확하게 찾을 수 있다.

본 발명에서는 레이다 영상의 목표 검출 리스트의 좌표(r, θ, h)를 기초로 해서 매트릭스 변환과 계산을 통해 비전 영상의 관심영역을 보다 쉽게 구할 수 있다.

본 발명의 일 실시예에 따른 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

S610 : Top View 영상 생성단계
S620 : 영상 매핑단계
S630 : 목표물 계산단계
S640 : 목표물 좌표 산출단계

Claims (4)

1. 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법에 있어서,
   2D 비전 영상을 Top View 영상으로 생성하는 단계;
   상기 Top View 영상에 레이다 영상을 매핑하는 단계;
   기 설정된 변환 테이블 매트릭스를 이용하여 상기 Top View 영상에 매핑된 상기 레이다 영상의 목표물을 상기 Top View 영상의 목표물로 계산하는 단계; 및
   역매트릭스를 통해 상기 Top View 영상의 목표물의 좌표를 구하는 단계를 포함하되,
   상기 매핑하는 단계는, 상기 Top View 영상의 FOV(Field Of view) 값과 상기 레이다 영상의 FOV 값에 따라 상기 레이다 영상의 목표물을 상기 Top View 영상에 매핑하는 단계를 포함하는 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법.
2. 삭제
3. 제 1 항에 있어서,
   상기 변환 테이블 매트릭스는 상기 레이다 영상의 FOV에 의해 형성되는 각도와 상기 Top View 영상의 FOV에 의해 형성되는 각도에 대한 고려를 바탕으로 이루어지는 캘리브레이션을 통해 설정되는 것
   인 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법.
4. 제 1 항에 있어서,
   상기 계산하는 단계는, 상기 변환 테이블 매트릭스를 이용하여 상기 Top View 영상에 매칭된 레이다 영상의 목표물의 좌표를 상기 Top View 영상의 목표물로 계산하는 단계
   인 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법.
   

Images