KR102177268B1

KR102177268B1 - V2x 기지국에서 생성한 도로 레이더 정보를 이용한 도로 객체 지도 생성 방법

Info

Publication number: KR102177268B1
Application number: KR1020180166087A
Authority: KR
Inventors: 진성근; 임기택; 신대교; 윤상훈; 정한균; 장수현
Original assignee: 한국전자기술연구원
Priority date: 2018-12-20
Filing date: 2018-12-20
Publication date: 2020-11-10
Also published as: KR20200077004A

Abstract

차량에서 촬영한 영상과 노변에 설치된 V2X 기지국에서 생성한 레이더 영상을 기반으로 도로 객체 지도를 생성하는 방법이 제공된다. 본 발명의 실시예에 따른 도로 객체 지도 생성 방법은 차량에서 제1 영상을 생성하는 단계; 기지국으로부터 제2 영상을 수신하는 단계; 생성한 제1 영상과 수신한 제2 영상을 매칭시켜 제3 영상으로 생성하는 단계;를 포함한다.
이에 의해, 차량에서 촬영한 영상과 노변에 설치된 V2X 기지국에서 생성한 레이더 영상을 기반으로 도로 객체 지도를 생성할 수 있어, 레이더를 구비하지 않은 차량에서도 넓은 영역에 대한 고품질의 도로 객체 지도를 이용할 수 있게 된다.

Description

V2X 기지국에서 생성한 도로 레이더 정보를 이용한 도로 객체 지도 생성 방법{Road Object Map Generation Method using Road Radar Information Generated by V2X Base Station}

본 발명은 도로 객체 지도 생성 기술에 관한 것으로, 더욱 상세하게는 이종의 영상/정보를 결합하여 위치 정확도가 향상된 도로 객체 지도를 생성하는 방법에 관한 것이다.

기술의 발전에 따라 차량에 다양한 종류의 센서들을 장착하고 있는데, 이들을 활용한 정확한 위치 정보 획득과 도로 지도 생성이 가능하게 되어, 차량 편의/안전 시스템의 기능을 향상시켰다.

하지만, 차량에서 획득할 수 있는 주변 영상에는 한계가 있는데, 특히, 차고가 낮은 승용차의 경우에는 더욱 그러하다.

나아가, 레이더와 같은 고성능의 센서를 구비하지 않은 차량의 경우, 향상된 차량 편의/안전 서비스가 불가능할 수도 있다는 문제가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 차량에서 촬영한 영상과 노변에 설치된 V2X 기지국에서 생성한 레이더 영상을 기반으로 도로 객체 지도를 생성하는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 도로 객체 지도 생성 방법은 차량에서 제1 영상을 생성하는 단계; 기지국으로부터 제2 영상을 수신하는 단계; 생성한 제1 영상과 수신한 제2 영상을 매칭시켜 제3 영상으로 생성하는 단계;를 포함한다.

제2 영상은, 기지국에서 생성한 영상일 수 있다.

제2 영상은, 레이더 영상으로부터 생성된 영상일 수 있다.

제2 영상은, 레이더 영상에 등장한 도로 상 객체들의 상관 관계들이 나타난 영상일 수 있다.

상관 관계 패턴은, 객체들로부터 수신한 위치 정보들을 기초로 보정될 수 있다.

제1 영상은, 차량에서 전방을 촬영하여 생성한 전방 영상으로부터 생성된 영상일 수 있다.

제1 영상은, 전방 영상에서 도로 상 객체들과 차선들 만을 추출하여 나타낸 영상일 수 있다.

제3 영상 생성단계는, 제2 영상에 제1 영상의 객체들과 차선들을 매칭하여, 제3 영상을 생성하는 것일 수 있다.

제2 영상이 커버하는 영역은, 제1 영상이 커버하는 영역 보다 넓을 수 있다.

본 발명의 다른 측면에 따르면, 제1 영상을 생성하는 촬영부; 기지국으로부터 제2 영상을 수신하는 통신부; 생성한 제1 영상과 수신한 제2 영상을 매칭시켜 제3 영상으로 생성하는 프로세서;를 포함하는 것을 특징으로 하는 차량이 제공된다.

본 발명의 또다른 측면에 따르면, 차량이 제1 영상을 생성하는 단계; 기지국이 제2 영상을 생성하는 단계; 차량이, 생성한 제1 영상과 수신한 제2 영상을 매칭시켜 제3 영상으로 생성하는 단계;를 포함하는 것을 특징으로 하는 도로 객체 지도 생성 방법이 제공된다.

본 발명의 또다른 측면에 따르면, 제1 영상을 생성하는 차량; 및 제2 영상을 생성하는 기지국;를 포함하고, 차량은, 생성한 제1 영상과 수신한 제2 영상을 매칭시켜 제3 영상으로 생성하는 것을 특징으로 하는 도로 객체 지도 생성 시스템이 제공된다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 차량에서 촬영한 영상과 노변에 설치된 V2X 기지국에서 생성한 레이더 영상을 기반으로 도로 객체 지도를 생성할 수 있어, 레이더를 구비하지 않은 차량에서도 넓은 영역에 대한 고품질의 도로 객체 지도를 이용할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 도로 객체 지도 생성 방법의 설명에 제공되는 순서도,
도 2는 도로 객체 상관 관계 패턴 영상을 예시한 도면,
도 3은 객체/차선의 패턴 영상을 예시한 도면,
도 4는 매칭 영상을 예시한 도면,
도 5는 도로 객체 지도을 예시한 도면,
도 6은, 도 1에 도시된 V2X 기지국의 상세 블럭도, 그리고,
도 7은, 도 1에 도시된 차량의 상세 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 도로 객체 지도 생성 방법의 설명에 제공되는 순서도이다.

본 발명의 실시예에 따른 도로 객체 지도 생성 방법에서는, 차량(200)에서 촬영한 전방 영상 외에 노변에 설치된 V2X 기지국(100)에서 생성한 레이더 영상을 기반으로 도로 객체 지도를 생성한다.

이를 위해, 먼저, 노변에 설치되어 있는 V2X 기지국(100)은 레이더 영상을 생성한다(S310). 본 발명의 실시예에 따른 V2X 기지국(100)은 레이더를 보유하고 있으므로, S310단계를 수행하는 것이 가능하다.

다음, V2X 기지국(100)은 S310단계에서 생성된 레이더 영상으로부터 '레이더 영상에 등장한 도로 상 객체들(주로 차량들)의 상관 관계들이 나타난 영상'을 생성한다(S320).

S320단계는 V2X 기지국(100)이 레이더 영상을 가공하는 과정으로 이해하여도 무방하다.

도 2에는 S310단계와 S320단계를 통해, V2X 기지국(100)이 생성하는 레이더 영상에 등장한 도로 상 객체들의 상관 관계들이 나타난 영상(도 2의 최우측)을 예시하였다.

한편, V2X 기지국(100)은 도로 상의 차량들로부터 V2X 통신을 통해 위치 좌표들을 수신할 수 있다. 이에, V2X 기지국(100)은 수신한 차량들의 위치 좌표들을 이용하여, S320단계에서 생성되는 영상에 나타나는 상관 관계 패턴을 보정할 수 있다(S330).

이후, V2X 기지국(100)은 S310단계 내지 S330단계를 통해 생성한 도로 객체 상관 관계 패턴 영상을 차량(200)으로 전송한다(S340). S340단계에서의 통신 역시 V2X 통신으로 수행한다.

한편, 차량(100)은 보유하고 있는 영상 촬영 장비로 전방을 촬영하여 전방 영상을 생성한다(S350). 영상 촬영 장비는, 이를 테면, 블랙 박스 장치일 수 있는데, 그 밖의 다른 장비를 이용하는 것을 배제하지 않는다.

다음, 차량(100)의 영상 처리 장비는 S350단계에서 생성된 전방 영상에서 도로 상 객체들과 차선들 만을 추출하여, 객체/차선 패턴이 나타난 영상을 생성한다(S360).

도 3에는 S350단계와 S360단계를 통해, 차량(100)의 영상 장비가 생성하는 전방 영상(도 3의 상부)에 등장한 객체/차선의 패턴 영상(도 3의 하부)을 예시하였다.

이후, 차량(100)의 영상 처리 장비는 S340단계를 통해 수신한 객체 상관 관계 패턴 영상에 S350단계와 S360단계를 통해 생성한 객체/차선의 패턴 영상을 매칭시킨다(S370).

도 4에는 S370단계를 통해, 차량(100)의 영상 처리 장비가 생성하는 매칭 영상을 예시하였다.

그리고, 차량(100)의 영상 처리 장비는 S370단계를 통해 생성한 매칭 영상에 대해, 차선을 연장하고 차량(100)의 위치를 표시하여, 도로 객체 지도를 완성한다(S380).

S380단계에서 완성된 도로 객체 지도는 차량(100)의 운전자에게 제공되어 주행에 참조된다. 도 5에는 S380단계를 통해 차량(100)의 영상 처리 장비에 의해 완성되는 도로 객체 지도를 예시하였다.

도 6은, 도 1에 도시된 V2X 기지국(100)의 상세 블럭도이다. 본 발명의 실시예에 따른 V2X 기지국(100)은, 도 6에 도시된 바와 같이, 레이더(110), 프로세서(120) 및 통신부(130)를 포함한다.

레이더(110)는 레이더 영상을 생성한다. 프로세서(120)는 레이더(110)에서 생성된 레이더 영상을 가공하여 도로 객체 상관 관계 패턴 영상을 생성한다.

통신부(130)는 프로세서(120)에 의해 생성된 도로 객체 상관 관계 패턴 영상을 차량(200)으로 전송한다. 이를 위해, 통신부(130)는 V2X 통신을 지원한다.

도 7은, 도 1에 도시된 차량(200)의 상세 블럭도이다. 본 발명의 실시예에 따른 차량(200)은, 도 7에 도시된 바와 같이, 촬영부(210), 통신부(220), 프로세서(230), 저장부(240) 및 출력부(250)를 포함한다.

촬영부(210)는 전방 영상을 생성하기 위한 촬영 수단이다. 블랙 박스 장치로 촬영부(210)를 구현하는 것이 가능하다.

통신부(220)는 V2X 기지국(100)으로부터 도로 객체 상관 관계 패턴 영상을 수신한다. 이를 위해, 통신부(220)는 V2X 통신을 지원한다.

프로세서(230)는 촬영부(210)에서 생성된 전방 영상에서 도로 상 객체들과 차선들 만을 추출하여 객체/차선 패턴이 나타난 영상을 생성한다.

또한, 프로세서(230)는 통신부(220)를 통해 수신한 객체 상관 관계 패턴 영상에 객체/차선의 패턴 영상을 매칭시키고, 매칭 영상의 차선을 연장하고 차량(100)의 위치를 표시하여 도로 객체 지도를 완성한다.

출력부(250)는 프로세서(230)에 의해 생성된 도로 객체 지도를 표시하여, 운전자가 주행시 참조할 수 있도록 한다.

저장부(240)는 프로세서(230)가 기능하고 동작함에 있어 필요한 저장공간을 제공한다.

지금까지, V2X 기지국에서 생성한 도로 레이더 정보를 이용한 도로 객체 지도 생성 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.

본 발명의 실시예에서는, 차량(200)에서 생성하는 전방 영상 외에, 그 보다 커버하는 영역이 더 큰 V2X 기지국(100)에서 생성하는 레이더 영상을 융합하여, 도로 객체 지도를 생성하였다.

또한, 본 발명의 실시예에서는, 도로 객체 지도에서 위치 정확도를 향상시키기 위해, 절대 좌표의 위치 정보가 아닌 도로를 이용하는 차량들과 도로 인프라와의 상관 관계를 파악하여 차량이 주행함에 있어 안정성을 높이고 자율주행 등 신기술의 발전을 도모하였다.

이에 의해, 저렴한 비용으로 차선 구분 등 위치를 파악할 수 있고 최신의 자동차가 아니더라도 내 차량의 위치와 주변 차량과의 상관 관계를 파악하여 안전한 도로 주행이 가능해진다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : V2X 기지국
110 : 레이더
120 : 프로세서
130 : 통신부
200 : 차량
210 : 촬영부
220 : 통신부
230 : 프로세서
240 : 저장부
250 : 출력부

Claims

차량에서 제1 영상을 생성하는 단계;
기지국으로부터 제2 영상을 수신하는 단계;
생성한 제1 영상과 수신한 제2 영상을 매칭시켜 제3 영상으로 생성하는 단계;를 포함하고,
제2 영상은,
기지국이 생성한 영상에 등장한 도로 상 객체들의 상관 관계들이 나타난 상관 관계 패턴 영상이며,
도로 상 객체들로부터 수신한 위치 정보들을 기초로 보정되는 것을 특징으로 하는 도로 객체 지도 생성 방법.
청구항 1에 있어서,
제2 영상은,
기지국에서 생성한 영상인 것을 특징으로 하는 도로 객체 지도 생성 방법.
청구항 2에 있어서,
제2 영상은,
레이더 영상으로부터 생성된 영상인 것을 특징으로 하는 도로 객체 지도 생성 방법.
청구항 3에 있어서,
제2 영상은,
레이더 영상에 등장한 도로 상 객체들의 상관 관계들이 나타난 영상인 것을 특징으로 하는 도로 객체 지도 생성 방법.
삭제
청구항 4에 있어서,
제1 영상은,
차량에서 전방을 촬영하여 생성한 전방 영상으로부터 생성된 영상인 것을 특징으로 하는 도로 객체 지도 생성 방법.
청구항 6에 있어서,
제1 영상은,
전방 영상에서 도로 상 객체들과 차선들 만을 추출하여 나타낸 영상인 것을 특징으로 하는 도로 객체 지도 생성 방법.
청구항 7에 있어서,
제3 영상 생성단계는,
제2 영상에 제1 영상의 객체들과 차선들을 매칭하여, 제3 영상을 생성하는 것을 특징으로 하는 도로 객체 지도 생성 방법.
청구항 8에 있어서,
제2 영상이 커버하는 영역은,
제1 영상이 커버하는 영역 보다 넓은 것을 특징으로 하는 도로 객체 지도 생성 방법.
제1 영상을 생성하는 촬영부;
기지국으로부터 제2 영상을 수신하는 통신부;
생성한 제1 영상과 수신한 제2 영상을 매칭시켜 제3 영상으로 생성하는 프로세서;를 포함하고,
제2 영상은,
기지국이 생성한 영상에 등장한 도로 상 객체들의 상관 관계들이 나타난 상관 관계 패턴 영상이며,
도로 상 객체들로부터 수신한 위치 정보들을 기초로 보정되는 것을 특징으로 하는 차량.
차량이 제1 영상을 생성하는 단계;
기지국이 제2 영상을 생성하는 단계;
차량이, 생성한 제1 영상과 수신한 제2 영상을 매칭시켜 제3 영상으로 생성하는 단계;를 포함하고,
제2 영상은,
기지국이 생성한 영상에 등장한 도로 상 객체들의 상관 관계들이 나타난 상관 관계 패턴 영상이며,
도로 상 객체들로부터 수신한 위치 정보들을 기초로 보정되는 것을 특징으로 하는 도로 객체 지도 생성 방법.
제1 영상을 생성하는 차량; 및
제2 영상을 생성하는 기지국;를 포함하고,
차량은,
생성한 제1 영상과 수신한 제2 영상을 매칭시켜 제3 영상으로 생성하며,
제2 영상은,
기지국이 생성한 영상에 등장한 도로 상 객체들의 상관 관계들이 나타난 상관 관계 패턴 영상이고,
도로 상 객체들로부터 수신한 위치 정보들을 기초로 보정되는 것을 특징으로 하는 도로 객체 지도 생성 시스템.