KR102539162B1

KR102539162B1 - 다중 카메라 차량 추적 시스템 장치에 기반하여 로컬 동적 지도를 생성하는 방법 및 장치

Info

Publication number: KR102539162B1
Application number: KR1020210147974A
Authority: KR
Inventors: 김형원
Original assignee: 주식회사 엠시스랩
Priority date: 2021-08-19
Filing date: 2021-11-01
Publication date: 2023-06-02
Also published as: KR20230028090A

Abstract

일 실시예에 따른 로컬 동적 지도(local dynamic map, LDM) 데이터를 생성하는 방법은, 차량에 탑재된 다중 카메라 차량 추적 시스템(multi-camera vehicle track system, MTS) 장치가 차량 주변의 객체에 대한 부분 LDM 데이터를 생성하는 단계, V2I(vehicle to infrastructure) 통신 네트워크를 이용하여 생성된 부분 LDM 데이터를 클라우드 서버에 전송하는 단계, 및 부분 LDM 데이터에 기초하여 생성된 확대 LDM 데이터를 클라우드 서버로부터 수신하는 단계를 포함할 수 있다.

Description

다중 카메라 차량 추적 시스템 장치에 기반하여 로컬 동적 지도를 생성하는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING LOCAL DYNAMIC MAP BASED ON MULTI-CAMERA VEHICLE TRACKING SYSTEM}

이하에서는, 다중 카메라 차량 추적 시스템 장치에 기반하여 로컬 동적 지도를 생성하는 기술이 제공된다.

교통 사고 예방을 위한 최근의 첨단 운전자 보조 시스템(advanced driver assistance systems, ADAS) 기술은 카메라 뿐만 아니라 레이저와 라이더를 사용하여 차량 주변의 차량을 감지할 수 있다. 그러나, 최근의 ADAS 기술은 센서의 센싱 범위 내의 차량만을 감지할 수 있기 때문에, 교차로나 음역 지역, 먼 거리에 위치한 주변 차량들은 감지하기 어려운 문제가 존재한다. 최근의 자율 주행 차량에 적용되는 센싱 기술들은 주변의 차량의 인식 정확도를 높이기 위하여, 인공 지능 영상 인식 기술을 적용하기 시작하였으나, 여전히 인식 범위는 센서의 센싱 범위로 한정되는 문제점이 존재한다.

이에, V2X(vehicle to everything) 통신 기술을 이용하여 주변 차량들의 위치를 인식하고, 인식된 주변 차량들의 위치에 기초하여 로컬 동적 지도(local dynamic map, LDM) 데이터를 생성하는 기술이 개발되고 있다. 그러나, 대부분의 V2X 통신기술은 V2X 통신을 통해 GPS 위치 정보를 제공하는 차량만이 LDM 데이터에 포함되는 한계점이 존재한다.

일 실시예에 따른 로컬 동적 지도(local dynamic map, LDM) 데이터를 생성하는 방법은, 차량에 탑재된 다중 카메라 차량 추적 시스템(multi-camera vehicle track system, MTS) 장치가 카메라에 의해 촬영된 이미지로부터 상기 차량 주변의 객체를 검출하여 제1 부분 LDM 데이터를 생성하는 단계, V2I(vehicle to infrastructure) 통신 네트워크를 이용하여 상기 생성된 제1 부분 LDM 데이터를 클라우드 서버에 전송하는 단계, 및 상기 부분 LDM 데이터에 기초하여 생성된 제1 확대 LDM 데이터를 상기 클라우드 서버로부터 수신하는 단계를 포함할 수 있다.

상기 제1 부분 LDM 데이터를 생성하는 단계는, 상기 카메라에 의해 촬영된 이미지로부터 검출된 대상 객체에 대하여, 상기 대상 객체와 상기 MTS 장치 사이의 종방향 거리 및 횡방향 거리를 산출하는 단계, 및 상기 대상 객체에 대하여 산출된 종방향 거리 및 횡방향 거리에 기초하여, 상기 대상 객체의 상대적 위치를 추정하는 단계를 포함할 수 있다.

상기 제1 부분 LDM 데이터를 생성하는 단계는, 상기 이미지에서 상기 대상 객체에 대응하는 바운딩 박스(bounding box)의 높이 및 상기 바운딩 박스의 하단 선분과 상기 카메라 위치까지의 수직 거리에 기초하여, 상기 MTS 장치와 상기 대상 객체 사이의 종방향 거리를 산출하는 단계를 포함할 수 있다.

상기 제1 부분 LDM 데이터를 생성하는 단계는, 상기 이미지에 차선 인식 기술을 적용하여 차선들을 인식하는 단계, 상기 인식된 차선들 중 상기 MTS 장치와 가장 가까운 기준 차선들과 상기 대상 객체에 대응하는 바운딩 박스의 중심점(center point)을 지나는 수평선(horizontal line)과의 교차점들에 기초하여, 상기 대상 객체가 위치하는 차로를 판단하는 단계, 및 상기 대상 객체가 위치하는 차로에 기초하여 상기 MTS 장치와 상기 대상 객체 사이의 횡방향 거리를 산출하는 단계를 포함할 수 있다.

상기 대상 객체가 위치하는 차로를 판단하는 단계는, 상기 교차점들 중 상기 바운딩 박스의 중심점으로부터 가장 가까운 교차점이 2개인 경우, 상기 대상 객체가 상기 MTS 장치가 탑재된 기준 차량과 동일한 차로에 존재하는 것으로 판단하는 단계를 포함할 수 있다.

상기 대상 객체가 위치하는 차로를 판단하는 단계는, 상기 교차점들 중 상기 바운딩 박스의 중심점으로부터 가장 가까운 교차점이 1개이고, 상기 가장 가까운 교차점이 상기 바운딩 박스의 좌측에 존재하는 경우, 상기 대상 객체가 상기 MTS 장치가 탑재된 기준 차량이 위치하는 차로를 기준으로 우측 차로에 존재하는 것으로 판단하는 단계, 및 상기 교차점들 중 상기 바운딩 박스의 중심점으로부터 가장 가까운 교차점이 1개이고, 상기 가장 가까운 교차점이 상기 바운딩 박스의 우측에 존재하는 경우, 상기 대상 객체가 상기 기준 차량이 위치하는 차로를 기준으로 좌측 차로에 존재하는 것으로 판단하는 단계를 포함할 수 있다.

상기 제1 부분 LDM 데이터를 생성하는 단계는, 상기 대상 객체의 기준 각도를 상기 대상 객체가 위치하는 차로의 종방향 각도로 설정하는 단계, 및 상기 대상 객체의 이동 방향이 지시하는 각도를 상기 설정된 기준 각도에 기초하여 산출하는 단계를 포함할 수 있다.

상기 제1 부분 LDM 데이터를 생성하는 단계는, 상기 대상 객체의 특징 데이터에 기초하여 상기 제1 부분 LDM 데이터를 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 로컬 동적 지도(local dynamic map, LDM) 데이터를 생성하는 방법은, 상기 MTS 장치와 다른 MTS 장치로부터 V2V(vehicle to vehicle) 통신 네트워크를 통해 제2 부분 LDM 데이터를 수신하는 단계, 및 상기 MTS 장치에 저장된 기존 확대 LDM 데이터에 상기 제2 부분 LDM 데이터를 융합하여 제2 확대 LDM 데이터를 생성하는 단계를 더 포함할 수 있다.

상기 제2 확대 LDM 데이터를 생성하는 단계는, 상기 제2 부분 LDM 데이터에 포함된 제1 객체와 동일한 객체를 상기 기존 확대 LDM 데이터가 포함하는지 여부를 판단하는 단계를 포함할 수 있다.

상기 제2 확대 LDM 데이터를 생성하는 단계는, 상기 제1 객체와 상기 기존 확대 LDM 데이터에 포함된 제2 객체와 동일한 객체인 것으로 판단한 경우, 상기 제2 객체에 할당된 ID를 상기 제1 객체에 동일하게 할당하는 단계, 및 상기 제1 객체와 동일한 객체를 상기 기존 확대 LDM 데이터가 포함하지 않는 경우, 상기 제1 객체에 새로운 ID를 할당하는 단계를 포함할 수 있다.

일 실시예에 따른 다중 카메라 차량 추적 시스템(multi-camera vehicle track system, MTS) 장치는, 카메라에 의해 촬영된 이미지로부터 상기 MTS 장치가 탑재된 상기 차량 주변의 객체를 검출하여 제1 부분 LDM 데이터를 생성하는 프로세서, 및 V2I(vehicle to infrastructure) 통신 네트워크를 이용하여 상기 생성된 제1 부분 LDM 데이터를 클라우드 서버에 전송하고, 상기 부분 LDM 데이터에 기초하여 생성된 제1 확대 LDM 데이터를 상기 클라우드 서버로부터 수신하는 통신부를 포함할 수 있다.

상기 프로세서는, 상기 카메라에 의해 촬영된 이미지로부터 검출된 대상 객체에 대하여, 상기 대상 객체와 상기 MTS 장치 사이의 종방향 거리 및 횡방향 거리를 산출하고, 상기 대상 객체에 대하여 산출된 종방향 거리 및 횡방향 거리에 기초하여, 상기 대상 객체의 상대적 위치를 추정할 수 있다.

상기 프로세서는, 상기 이미지에서 상기 대상 객체에 대응하는 바운딩 박스(bounding box)의 높이 및 상기 바운딩 박스의 하단 선분과 상기 카메라 위치까지의 수직 거리에 기초하여, 상기 MTS 장치와 상기 대상 객체 사이의 종방향 거리를 산출할 수 있다.

상기 프로세서는, 상기 이미지에 차선 인식 기술을 적용하여 차선들을 인식하고, 상기 인식된 차선들 중 상기 MTS 장치와 가장 가까운 기준 차선들과 상기 대상 객체에 대응하는 바운딩 박스의 중심점(center point)을 지나는 수평선(horizontal line)과의 교차점들에 기초하여, 상기 대상 객체가 위치하는 차로를 판단하며, 상기 대상 객체가 위치하는 차로에 기초하여 상기 MTS 장치와 상기 대상 객체 사이의 횡방향 거리를 산출할 수 있다.

상기 프로세서는, 상기 대상 객체의 기준 각도를 상기 대상 객체가 위치하는 차로의 종방향 각도로 설정하고, 상기 대상 객체의 이동 방향이 지시하는 각도를 상기 설정된 기준 각도에 기초하여 산출할 수 있다.

상기 통신부는, 상기 MTS 장치와 다른 MTS 장치로부터 제2 부분 LDM 데이터를 수신하고, 상기 프로세서는, 상기 MTS 장치에 저장된 기존 확대 LDM 데이터에 상기 제2 부분 LDM 데이터를 융합하여 제2 확대 LDM 데이터를 생성할 수 있다.

상기 프로세서는, 상기 제2 부분 LDM 데이터에 포함된 제1 객체와 동일한 객체를 상기 기존 확대 LDM 데이터가 포함하는지 여부를 판단할 수 있다.

상기 프로세서는, 상기 제1 객체와 상기 기존 확대 LDM 데이터에 포함된 제2 객체와 동일한 객체인 것으로 판단한 경우, 상기 제2 객체에 할당된 ID를 상기 제1 객체에 동일하게 할당하고, 상기 제1 객체와 동일한 객체를 상기 기존 확대 LDM 데이터가 포함하지 않는 경우, 상기 제1 객체에 새로운 ID를 할당할 수 있다.

일 실시예에 따른 로컬 동적 지도(local dynamic map, LDM) 데이터를 생성하는 서버는, 복수의 다중 카메라 차량 추적 시스템(multi-camera vehicle track system, MTS) 장치들 각각으로부터, V2I(vehicle to infrastructure) 통신 네트워크를 통해 해당 MTS 장치가 차량 주변의 객체를 검출하여 생성하는 부분 LDM 데이터를 수신하는 통신부, 및 상기 복수의 MTS 장치들로부터 수신된 부분 LDM 데이터들을 융합하여 확대 LDM 데이터를 생성하고, 상기 생성된 확대 LDM 데이터를 상기 복수의 MTS 장치들 각각에 전송하는 처리부를 포함할 수 있다.

일 실시예에 따른 다중 카메라 차량 추적 시스템(multi-camera vehicle track system, MTS) 장치는 주변에 위치한 차량을 인식하여 부분 LDM 데이터를 생성할 수 있다.

일 실시예에 따르면, MTS 장치는 생성된 부분 LDM 데이터를 다른 MTS 장치 또는 클라우드 서버로 전송할 수 있다. 일 실시예에 따르면, MTS 장치는 다른 MTS 장치 또는 클라우드 서버로부터 확대 LDM 데이터를 수신할 수 있고, 수신된 확대 LDM 데이터에 기초하여 차로 상에 위치하는 모든 차량들의 위치 및 이동 상태를 파악할 수 있다.

도 1은 일 실시예에 따른 로컬 동적 지도(Local Dynamic Map, LDM) 데이터를 생성하는 시스템을 도시한다.
도 2는 일 실시예에 따른 MTS 장치가 클라우드 서버로부터 확대 LDM 데이터를 수신하는 과정을 설명하는 도면이다.
도 3은 일 실시예에 따른 확대 LDM 데이터의 구조를 나타내는 도면이다.
도 4a 내지 도 4b는 일 실시예에 따른 MTS 장치가 MTS 장치와 대상 객체 사이의 종방향 거리를 추정하는 방법에 관하여 설명한다.
도 5a 내지 도 5b는 일 실시예에 따른 MTS 장치가 MTS 장치와 대상 객체 사이의 횡방향 거리를 추정하는 방법에 관하여 설명한다.
도 6은 일 실시예에 따른 MTS 장치가 대상 객체의 이동 방향이 지시하는 각도를 추정하는 방법을 설명하는 흐름도이다.
도 7은 일 실시예에 따른 MTS 장치가 부분 LDM 데이터를 생성하여 외부 장치에 전송하는 과정을 설명하는 흐름도이다.
도 8에서는 일 실시예에 따라 확대 LDM 데이터를 생성하는 과정을 설명하는 흐름도이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시예에 따른 로컬 동적 지도(local dynamic map, LDM) 데이터를 생성하는 시스템(100)을 도시한다.

일 실시예에 따른 LDM 데이터를 생성하는 시스템(100)은, 기준 차량에 탑재된 다중 카메라 차량 추적 시스템(multi-camera vehicle track system, MTS) 장치(110), 상기 기준 차량과 다른 차량에 탑재된 MTS 장치(120), 무선 통신 기지국(130), 클라우드 서버(140)를 포함할 수 있다.

일 실시예에 따른 MTS 장치(110)는 인공지능 기반으로 기준 차량 주변의 다른 차량, 보행자, 차선, 및 교통 신호를 포함하는 객체(object)를 검출할 수 있다. 예를 들어, MTS 장치(110)는 카메라를 포함할 수 있고, 카메라로부터 촬영된 이미지에 기초하여 복수의 객체들을 검출할 수 있다. 다른 예를 들어, MTS 장치(110)는 카메라를 포함하지 않고, 기준 차량 내부에 배치된 카메라로부터 촬영된 이미지를 수신하고, 수신된 이미지에 기초하여 복수의 객체들을 검출할 수도 있다.

일 실시예에 따르면, MTS 장치(110)는 카메라에 의해 시점 별로 촬영된 이미지들에 기초하여 객체의 속도, 가속도, 이동 방향, 및 현재 위치 등을 추정할 수 있다. 더 나아가, 일 실시예에 따른 MTS 장치는 인식 오류에 의해 객체가 사라지는 경우, 촬영된 이미지들에 기초하여 사라진 객체의 현재 위치를 추정함으로써 사라진 객체에 관한 오류를 복구할 수 있다.

일 실시예에 따르면, MTS 장치(110)는 카메라에 의해 촬영된 이미지로부터 인공 지능 영상 인식 기술을 통해 MTS 장치(110)가 탑재된 기준 차량 주변의 객체들을 검출할 수 있고(111), 객체 검출을 통해 부분 로컬 동적 지도 데이터(이하, '부분 LDM 데이터')(112)를 생성할 수 있다. 마찬가지로, 다른 차량에 탑재된 MTS 장치(120) 또한 MTS 장치(120)가 탑재된 차량 주변의 객체들을 검출할 수 있고(121), 객체 검출을 통해 부분 LDM 데이터(122)를 생성할 수 있다. LDM 데이터는 정보 수집의 대상 범위 내에 있는 객체(예를 들어, 이동 물체 또는 고정 물체)에 관한 정적 정보 및 동적 정보를 나타낼 수 있다. 특히, 부분 LDM 데이터는 하나의 MTS 장치가 생성하는 데이터로, MTS 장치가 검출 가능한 범위 내에 있는 객체에 관한 정적 정보 및 동적 정보를 나타낼 수 있고, 확장 LDM 데이터는 복수의 MTS 장치들로부터 생성된 LDM 데이터들이 융합되어 일정 범위 내에 있는 객체에 관한 정적 정보 및 동적 정보를 나타낼 수 있다.

일 실시예에 따르면, MTS 장치(110)는 생성된 부분 LDM 데이터(112)를 무선 통신을 통해 외부 장치로 전송할 수 있다. 여기서, 외부 장치는 다른 MTS 장치(예를 들어, MTS 장치(120)) 또는 클라우드 서버(140)일 수 있다. 예를 들어, MTS 장치는 무선 통신 모듈을 포함할 수 있고, 무선 통신 모듈을 통해 무선 통신을 수행할 수 있다. MTS 장치는 무선 통신 모듈을 통해 V2V(vehicle to vehicle) 통신, V2I(vehicle to infrastructure) 통신, LTE 통신 등을 수행할 수 있다.

일 실시예에 따르면, MTS 장치(110)는 확대 LDM 데이터를 클라우드 서버(140)로부터 수신할 수 있다. MTS 장치(110)는 V2I 통신 네트워크를 이용하여 부분 LDM 데이터(112)를 클라우드 서버(140)에 전송할 수 있다. MTS 장치(110)는 V2I 통신 네트워크를 이용하여 무선 통신 기지국(130)과 통신을 수립할 수 있다. 무선 통신 기지국(130)은 클라우드 서버(cloud server)(140)와 데이터를 송수신할 수 있기 때문에, MTS 장치(110)는 무선 통신 기지국(130)을 거쳐 클라우드 서버(140)로 생성된 부분 LDM 데이터(112)를 전송할 수 있다. 클라우드 서버(140)는 MTS 장치(110)로부터 수신된 부분 LDM 데이터(112)에 기초하여 확대 LDM 데이터를 생성할 수 있고, 생성된 확대 LDM 데이터를 MTS 장치(110)에 전송할 수 있다. 다른 일 실시예에 따르면, MTS 장치(110)는 확대 LDM 데이터를 자체적으로 생성할 수 있다. MTS 장치(110)는 V2V(vehicle to vehicle) 통신 네트워크를 통해 다른 MTS 장치(120)로부터 부분 LDM 데이터(122)를 수신할 수 있다. MTS 장치(110)는 다른 MTS 장치(120)로부터 수신된 부분 LDM 데이터(122)와 자체적으로 생성된 부분 LDM 데이터(112)를 융합하여 확대 LDM 데이터를 생성할 수 있다.

도 2는 일 실시예에 따른 MTS 장치가 클라우드 서버로부터 확대 LDM 데이터를 수신하는 과정을 설명하는 도면이다.

일 실시예에 따른 MTS 장치(210)는 클라우드 서버로 V2I 통신 네트워크를 통해 부분 LDM 데이터(212)를 전송할 수 있고, 클라우드 서버로부터 부분 LDM 데이터(212)에 기초하여 생성된 확대 LDM 데이터를 수신할 수 있다. MTS 장치들(210, 220, 231, 232)은 무선 통신을 통해 무선 통신 기지국(230)을 거쳐 클라우드 서버(240)로 부분 LDM 데이터를 전송할 수 있다. 일 실시예에 따르면, 클라우드 서버(240)는 MTS 장치들(210, 220, 231, 232)로부터 수신된 부분 LDM 데이터들에 기초하여 확대 LDM 데이터를 생성할 수 있다. 클라우드 서버(240)는 기존의 확대 LDM 데이터에 MTS 장치들로부터 수신된 부분 LDM 데이터를 융합하여 지속적으로 업데이트할 수 있다. 클라우드 서버(240)는 확대 LDM 데이터를 MTS 장치들(210, 220, 231, 232)로 전송할 수 있다. MTS 장치(210)는 클라우드 서버(240)에 의해 생성된 확대 LDM 데이터를 클라우드 서버(240)로부터 수신할 수 있다.

일 실시예에 따르면, MTS 장치(210)는 클라우드 서버(240)의 데이터베이스(database)에 저장된 확대 LDM 데이터를 모두 수신하는 대신, 무선 데이터 전송량을 줄이고 서비스 속도를 빠르게 하기 위하여 MTS 장치(210)가 탑재된 기준 차량의 GPS 위치를 중심으로 일정 반경(예를 들어, 1Km) 내의 객체 정보에 대응하는 일부 확대 LDM 데이터만을 클라우드 서버(240)로부터 수신할 수도 있다. MTS 장치가 수신한 확대 LDM 데이터는 주변 차량 또는 보행자와의 충돌 예측, 제동 장치 제어를 통한 충돌의 회피에 사용될 수 있다.

도 3은 일 실시예에 따른 확대 LDM 데이터(300)의 구조를 나타내는 도면이다.

일 실시예에 따르면, 클라우드 서버 또는 MTS 장치에서 생성되는 확대 LDM 데이터(300)는 다수의 레벨(level)로 구성될 수 있다. 일 실시예에 따르면, 확대 LDM 데이터(300)는 제1 레벨(301), 제2 레벨(302), 제3 레벨(303), 제4 레벨(304)의 구조로 구성될 수 있다. 제1 레벨(301)에는 영구 정적 데이터(permanent static data)가 포함될 수 있다. 예를 들어, 고정된 지도에 관한 데이터가 제1 레벨(301)로 분류될 수 있다. 제2 레벨(302)에는 일시적 정적 데이터(transient static data)가 포함될 수 있다. 예를 들어, 건축물 또는 교통 표지판에 관한 데이터가 제2 레벨(302)로 분류될 수 있다. 제3 레벨(303)에는 일시적 동적 데이터(transient dynamic data)가 포함될 수 있다. 예를 들어, 교통 혼잡이나 미끄러운 길 등의 교통 상황 및 교통 신호에 관한 데이터가 제3 레벨(303)로 분류될 수 있다. 제4 레벨(304)에는 높은 동적 데이터(highly dynamic data)가 포함될 수 있다. 예를 들어, 차량, 보행자 등에 관한 데이터가 제4 레벨(304)로 분류될 수 있다.

일 실시예에 따르면, MTS 장치는 카메라에 의해 촬영된 이미지로부터 검출된 하나의 대상 객체에 대하여, 대상 객체와 MTS 장치 사이의 종방향 거리 및 횡방향 거리를 산출할 수 있다. MTS 장치는 대상 객체에 대하여 산출된 종방향 거리 및 횡방향 거리에 기초하여, MTS 장치를 탑재한 기준 차량을 기준으로 한 대상 객체의 상대적 위치를 추정할 수 있다. 이하, 도 4a 내지 도 4b에서는 MTS 장치가 MTS 장치와 대상 객체 사이의 종방향 거리를 추정하는 방법에 관하여 설명하고, 도 5a 내지 도 5b에서는 MTS 장치가 MTS 장치와 대상 객체 사이의 횡방향 거리를 추정하는 방법에 관하여 설명한다.

도 4a 내지 도 4b는 일 실시예에 따른 MTS 장치가 MTS 장치와 대상 객체 사이의 종방향 거리를 추정하는 방법에 관하여 설명한다.

도 4a를 참조하면, MTS 장치는 MTS 장치를 탑재한 기준 차량 주변의 객체들을 검출할 수 있다. MTS 장치는 MTS 장치와 대상 객체(410)(예를 들어, 주변 차량)까지의 종방향 거리를 산출할 수 있다.

일 실시예에 따르면, MTS 장치는 카메라에 의해 촬영된 이미지(400)로부터 대상 객체(410)를 검출할 수 있다. MTS 장치는 이미지(400)에서 대상 객체(410)에 대응하는 바운딩 박스(420)를 표시할 수 있다. 바운딩 박스란 이미지 상에서 객체 전체를 포함하는 최소 크기의 사각형을 나타낼 수 있다. 일 실시예에 따르면, MTS 장치는 바운딩 박스(420)의 높이(431) 및 바운딩 박스(420)의 하단 선분과 카메라 위치까지의 수직 거리(432)에 기초하여, MTS 장치와 대상 객체 사이의 종방향 거리를 산출할 수 있다. 보다 구체적으로, MTS 장치는 바운딩 박스(420)의 높이(height)(431)에 대응하는 제1 픽셀수, 및 바운딩 박스(420)의 하단 선분과 카메라 위치까지의 수직 거리(432)에 대응하는 제2 픽셀수를 각각 산출할 수 있다. MTS 장치는 산출된 제1 픽셀수 및 제2 픽셀수를 사용하여 대상 객체까지의 종방향 거리를 미터값으로 환산할 수 있다.

도 4b에서는, MTS 장치가 MTS 장치로부터 대상 객체(420)까지의 종방향 거리를 산출하는 방법을 보다 구체적으로 설명한다. 도 4b에서, 지면으로부터 이미지(400)를 촬영하는 카메라까지의 높이(Camera Height)(441), 카메라의 초점(focal point)(451), 카메라의 초점 거리(focal length)(452), 및 소실점(vanishing point)(460)이 표시된다. 여기서, 소실점이란 이미지 상에서 차가 소실되는 지점을 나타낼 수 있다. 예를 들어, 도 4a를 참조하면, MTS 장치는 이미지(400)로부터 차선 인식 기술을 적용하여 기준 차량 주변의 차선들(421, 422, 423, 424)을 인식할 수 있고, 인식된 차선들(421, 422, 423, 424)이 교차하는 지점을 소실점(460)으로 판단할 수 있다. MTS 장치는 하기 수학식 1을 통해 MTS 장치와 대상 객체 사이의 예상 거리를 산출할 수 있다.

여기서, d_i는 MTS 장치와 대상 객체 사이의 예상 거리를 나타내고, f는 카메라의 초점 거리를 나타내며, C_h는 지면에서부터 카메라까지의 높이를 나타낸다.

일 실시예에 따르면, MTS 장치는 소실점(460)의 높이 변화량과 카메라의 초점 거리(452)를 이용하여 차로의 오르막 각도를 추정할 수 있다. MTS 장치는 MTS 장치와 대상 객체 사이의 예상 거리를 추정된 오르막 각도를 사용하여 조정함으로써, MTS 장치와 대상 객체 사이의 종방향 거리를 최종적으로 산출할 수 있다. MTS 장치는 MTS 장치와 대상 객체 사이의 종방향 거리를 산출함으로써, 대상 객체의 종방향 위치를 MTS 장치를 기준으로 산출할 수 있다.

도 5a 내지 도 5b는 일 실시예에 따른 MTS 장치가 MTS 장치와 대상 객체 사이의 횡방향 거리를 추정하는 방법에 관하여 설명한다.

도 5a를 참조하면, MTS 장치는 MTS 장치를 탑재한 기준 차량 주변의 객체를 검출할 수 있다. MTS 장치는 해당 MTS 장치와 대상 객체(510)(예를 들어, 주변 차량)까지의 횡방향 거리를 산출할 수 있다.

일 실시예에 따르면, MTS 장치는 이미지(501)에서 대상 객체(510)에 대응하는 바운딩 박스(520)를 표시할 수 있다. MTS 장치는 이미지(501)에 차선 인식 기술을 적용하여 기준 차량 주변의 차선들(521, 522, 523, 524)을 인식할 수 있다. MTS 장치는 인식된 차선들(521, 522, 523, 524)이 교차하는 지점을 소실점(560)으로 판단할 수 있다. 예를 들어, MTS 장치는 하나의 차선을 하나의 선분으로 인식할 수 있다. MTS 장치는 대상 객체(510)에 대응하는 바운딩 박스(520)의 중심점(center point)(530)을 식별할 수 있다. MTS 장치는 이미지(501)에 바운딩 박스(520)의 중심점(530)을 지나고 x축과 평행한 수평선(541), 및 소실점(560)을 지나고 y축과 평행한 수직선(542)을 각각 표시할 수 있다.

일 실시예에 따르면, MTS 장치는 인식된 차선들 중 MTS 장치와 가장 가까운 기준 차선들(522, 523)과 바운딩 박스(520)의 중심점(530)을 지나는 수평선(horizontal line)(541)과의 교차점들에 기초하여, 대상 객체가 위치하는 차로를 판단할 수 있다. MTS 장치는 대상 객체가 위치하는 차로에 기초하여, MTS 장치와 대상 객체 사이의 횡방향 거리를 산출할 수 있다. 이하 명세서에서, 기준 차선은 MTS 장치와 가장 가까운 차선을 나타낼 수 있고, 보다 구체적으로, MTS 장치를 기준으로 좌측으로 가장 가까운 좌측 기준 차선(522), 우측으로 가장 가까운 우측 기준 차선(523)을 나타낼 수 있다. MTS 장치는 수평선(541)과 좌측 기준 차선(522)의 교차점(intersection point)(551) 및 수평선(541)과 우측 기준 차선(523)과의 교차점(552)을 식별할 수 있다. MTS 장치는 이미지(501)에서, 교차점들(551, 552) 각각과 중심점(530) 사이의 거리를 산출함으로써 대상 객체(510)가 위치하는 차로를 판단할 수 있다. MTS 장치는 판단된 대상 객체(510)가 위치하는 차로에 기초하여 MTS 장치로부터 대상 객체(510) 까지의 횡방향 거리를 산출할 수 있다.

도 5b를 참조하면, MTS 장치는 카메라에 의해 촬영된 이미지(502)로부터 기준 차량 주변에 위치한 복수의 대상 객체들(510-1, 510-2, 510-3)을 검출할 수 있다. MTS 장치는 검출된 복수의 대상 객체들(510-1, 510-2, 510-3) 각각에 대하여 MTS 장치까지의 횡방향 거리를 산출할 수 있다.

첫째로, MTS 장치가 MTS 장치를 탑재한 기준 차량과 동일한 차로에 위치하는 대상 객체(510-1)까지의 횡방향 거리를 산출하는 방법에 관하여 설명한다.

먼저, MTS 장치는 대상 객체(510-1)가 기준 차량과 동일한 차로에 존재하는지 여부를 판단할 수 있다. 일 실시예에 따르면, MTS 장치는 이미지(502)에 대상 객체(510-1)에 대응하는 바운딩 박스(520-1)를 표시할 수 있고, 바운딩 박스(520-1)의 중심점(530-1)을 식별할 수 있다. MTS 장치는 식별된 중심점(530-1)을 지나고 x축과 평행한 수평선(541-1)을 이미지(502)에 표시할 수 있다. MTS 장치는 MTS 장치와 가장 가까운 두개의 기준 차선들(522, 523) 각각과 수평선(541-1)과의 교차점들(561, 562)를 식별할 수 있다.

일 실시예에 따르면, MTS 장치는 바운딩 박스(520-1)의 중심점(530-1)과 식별된 교차점들(561, 562) 각각과의 거리를 산출할 수 있다. MTS 장치는 식별된 교차점들(561, 562) 중 바운딩 박스(520-1)의 중심점(530-1)으로부터 가장 가까운 교차점이 2개인 경우, 대상 객체(510-1)가 탑재된 기준 차량과 동일한 차로에 존재하는 것으로 판단할 수 있다. 예를 들어, MTS 장치는 바운딩 박스(520-1)의 중심점(530-1)과 교차점(561) 사이의 제1 거리, 바운딩 박스(520-1)의 중심점(530-1)과 교차점(562) 사이의 제2 거리가 동일한 경우, 대상 객체(510-1)가 기준 차량과 동일한 차로에 존재하는 것으로 판단할 수 있다. 일 실시예에 따르면, MTS 장치는 제1 거리와 제2 거리 간의 차이가 제1 임계 거리 미만인 경우, 제1 거리와 제2 거리가 동일한 것으로 판단할 수 있다. 이러한 경우, MTS 장치는 기준 차량과 동일한 차로 구간에 존재하는 대상 객체(510-1)에 대하여, MTS 장치에서 대상 객체(510-1)까지의 거리를 0미터(meter)로 산출할 수 있다.

둘째로, MTS 장치가 MTS 장치를 탑재한 기준 차량이 위치한 차로를 기준으로 우측 차로에 위치하는 대상 객체(510-2)까지의 횡방향 거리를 산출하는 방법에 관하여 설명한다.

먼저, MTS 장치는 대상 객체(510-2)가 기준 차량이 위치한 차로를 기준으로 우측 차로에 존재하는지 여부를 판단할 수 있다. 일 실시예에 따르면, MTS 장치는 이미지(502)에 대상 객체(510-2)에 대응하는 바운딩 박스(520-2)를 표시할 수 있고, 바운딩 박스(520-2)의 중심점(530-2)을 식별할 수 있다. MTS 장치는 식별된 중심점(530-2)을 지나고 x축과 평행한 수평선(541-2)을 이미지(502)에 표시할 수 있다. MTS 장치는 MTS 장치와 가장 가까운 두개의 기준 차선들(522, 523) 각각과 수평선(541-2)과의 교차점들(571, 572)을 식별할 수 있다.

일 실시예에 따르면, MTS 장치는 바운딩 박스(520-2)의 중심점(530-2)과 식별된 교차점들(571, 572) 각각과의 거리를 산출할 수 있다. MTS 장치는 식별된 교차점들(571, 572) 중 바운딩 박스(520-2)의 중심점(530-2)으로부터 가장 가까운 교차점이 1개이고, 가장 가까운 교차점이 바운딩 박스(520-2)의 중심점(530-2) 보다 좌측에 존재하는 경우, 대상 객체(510-2)가 기준 차량이 위치하는 차로를 기준으로 우측 차로에 존재하는 것으로 판단할 수 있다.

예를 들어, MTS 장치가 기준 차량이 위치한 차로, 기준 차량이 위치한 차로와 인접한 우측 차로, 및 기준 차량이 위치한 차로와 인접한 좌측 차로를 포함하는 3개의 차로를 검출하는 경우를 가정한다. 대상 객체(510-2)가 기준 차량이 위치하는 차로를 기준으로 우측 차로에 존재하는 경우, MTS 장치는 대상 객체(510-2)가 기준 차량이 위치하는 차로와 인접한 우측 차로에 존재하는 것으로 판단할 수 있다. 이러한 경우, MTS 장치는 MTS 장치로부터 대상 객체(510-2)까지의 횡방향 거리를 한 개의 차로 폭(width)에 대응하는 거리로 산출할 수 있다. 예를 들어, 차로의 폭이 4미터인 경우, MTS 장치는 MTS 장치로부터 대상 객체(510-2)까지의 횡방향 거리를 4미터로 산출할 수 있다.

셋째로, MTS 장치가 MTS 장치를 탑재한 기준 차량이 위치한 차로를 기준으로 좌측 차로에 위치하는 대상 객체(510-3)까지의 횡방향 거리를 산출하는 방법에 관하여 설명한다.

먼저, MTS 장치는 대상 객체(510-3)가 기준 차량이 위치한 차로를 기준으로 좌측 차로에 존재하는지 여부를 판단할 수 있다. 일 실시예에 따르면, MTS 장치는 이미지(502)에 대상 객체(510-3)에 대응하는 바운딩 박스(520-3)를 표시할 수 있고, 바운딩 박스(520-3)의 중심점(530-3)을 식별할 수 있다. MTS 장치는 식별된 중심점(530-3)을 지나고 x축과 평행한 수평선(541-3)을 이미지(502)에 표시할 수 있다. MTS 장치는 MTS 장치와 가장 가까운 두개의 기준 차선들(522, 523) 각각과 수평선(541-3)과의 교차점들(581, 582)을 식별할 수 있다.

일 실시예에 따르면, MTS 장치는 바운딩 박스(520-3)의 중심점(530-3)과 식별된 교차점들(581, 582) 각각과의 거리를 산출할 수 있다. MTS 장치는 식별된 교차점들(581, 582) 중 바운딩 박스(520-3)의 중심점(530-3)으로부터 가장 가까운 교차점이 1개이고, 가장 가까운 교차점이 바운딩 박스(520-3)의 중심점(530-3) 보다 우측에 존재하는 경우, 대상 객체(510-3)가 기준 차량이 위치하는 차로를 기준으로 좌측 차로에 존재하는 것으로 판단할 수 있다.

예를 들어, MTS 장치가 기준 차량이 위치한 차로, 기준 차량이 위치한 차로와 인접한 우측 차로, 및 기준 차량이 위치한 차로와 인접한 좌측 차로를 포함하는 3개의 차로를 인식하는 경우를 가정한다. 대상 객체(510-3)는 기준 차량이 위치하는 차로를 기준으로 좌측 차로에 존재하는 경우, MTS 장치는 대상 객체(510-3)가 기준 차량이 위치하는 차로와 인접한 좌측 차로에 존재하는 것으로 판단할 수 있다. 이러한 경우, MTS 장치는 MTS 장치로부터 대상 객체(510-3)까지의 횡방향 거리를 한 개의 차로 폭에 대응하는 거리로 산출할 수 있다. 예를 들어, 차로의 폭이 4미터인 경우, MTS 장치는 MTS 장치로부터 대상 객체(510-3)까지의 횡방향 거리를 4미터로 산출할 수 있다.

더 나아가, MTS 장치는 기준 차량이 위치한 차로를 포함하여 3개 이상의 차로를 인식할 수 있다. 이때, MTS 장치는 도 5a 내지 도 5b에서와 유사한 방법으로, 대상 객체가 위치하는 차로를 판단할 수 있다. MTS 장치는 MTS 장치로부터 대상 객체까지의 횡방향 거리를 대상 객체가 위치하는 차로와 기준 차로 사이의 거리로 산출할 수 있다. 예를 들어, MTS 장치는 대상 객체가 위치하는 차로와 기준 차로 사이에 n개의 차로가 존재하는 경우, (n+1)개의 차로 폭에 대응하는 거리로 MTS 장치로부터 대상 객체까지의 횡방향 거리를 산출할 수 있다.

도 6은 일 실시예에 따른 MTS 장치가 대상 객체의 이동 방향이 지시하는 각도를 추정하는 방법을 설명하는 흐름도이다.

먼저 동작(610)에서 일 실시예에 따른 MTS 장치는 차로 별로 종방향 각도를 산출할 수 있다. 차로의 종방향 각도는 정북 방향과 차로가 향하는 방향 사이의 각도를 나타낼 수 있다. MTS 장치는 정북 방향을 기준으로 시계 방향으로 차로가 향하는 방향 까지의 각도를 계산하여 차로의 종방향 각도를 산출할 수 있다.

그리고 동작(620)에서 MTS 장치는 대상 객체의 기준 각도를 대상 객체가 위치하는 차로의 종방향 각도로 설정할 수 있다.

동작(630)에서 MTS 장치는 대상 객체의 이동 방향이 지시하는 각도를 대상 객체의 기준 각도에 기초하여 산출할 수 있다. 대상 객체의 이동 방향이 지시하는 각도는 대상 객체가 위치하는 차로가 향하는 방향과 대상 객체가 향하는 방향 사이의 각도를 나타낼 수 있다. 일 실시예에 따르면, MTS 장치는 정북 방향과 대상 객체가 향하는 방향 사이의 각도로부터 기준 각도 만큼 차감하여 산출된 각도를 대상 객체의 이동 방향이 지시하는 각도로 산출할 수 있다.

더 나아가, 일 실시예에 따른 MTS 장치는 대상 객체의 이동 방향이 지시하는 각도가 제1 임계 각도 미만인 경우에는, 대상 객체의 이동 방향과 차로가 향하는 방향이 일치하는 것으로 판단할 수 있다. 다시 말해, MTS 장치는 대상 객체의 이동 방향이 지시하는 각도가 제1 임계 각도 미만인 경우는 오차 범위 내로 판단하여, 대상 객체의 이동 방향이 지시하는 각도를 0도로 산출할 수 있다. 이러한 기술은 GPS(global positioning system) 오류 및 IMU(inertial meaurement units) 오차 값을 제거함으로써 지도 일치(map matching)가 된 대상 객체의 이동 방향을 유지할 수 있는 장점이 존재한다. 더 나아가, 클라우드 서버(예를 들어, 도 2의 클라우드 서버(240)) 또한 상술한 방법으로 대상 객체의 이동 방향이 지시하는 각도를 산출할 수 있다.

도 7은 일 실시예에 따른 MTS 장치가 부분 LDM 데이터를 생성하여 외부 장치에 전송하는 과정을 설명하는 흐름도이다.

동작(710)에서 일 실시예에 따른 MTS 장치는 카메라로부터 촬영된 이미지로부터 MTS 장치가 탑재된 기준 차량 주변의 객체들을 검출할 수 있다.

동작(720)에서 MTS 장치는 검출된 객체들 각각의 위치를 기준 차량의 GPS 좌표를 기준으로 산출할 수 있다. 예를 들어, MTS 장치는 MTS 장치로부터 하나의 객체까지의 종방향 거리 및 횡방향 거리를 산출할 수 있고, 산출된 종방향 거리 및 횡방향 거리에 기초하여 MTS 장치의 위치를 기준으로 해당 객체의 상대적 위치를 산출할 수 있다.

동작(730)에서 MTS 장치는 검출된 객체들 각각의 이동 상태를 추정할 수 있다. 객체의 이동 상태는 객체의 이동 방향 및 객체의 이동 속도를 포함할 수 있다. 예를 들어, MTS 장치는 객체의 이동 방향이 지시하는 각도를 도 6에서 설명된 방법에 따라 산출할 수 있고, 카메라로부터 촬영된 복수의 이미지들로부터 객체의 위치를 지속적으로 추적함으로써 이동 속도를 산출할 수 있다.

동작(740)에서 MTS 장치는 검출된 객체들에 관한 정보를 포함하는 부분 LDM 데이터를 생성할 수 있다. 일 실시예에 따르면, MTS 장치는 검출된 객체들 별로 특징 데이터를 포함하는 부분 LDM 데이터를 생성할 수 있다. 특징 데이터는 객체에 대하여 추정된 위치, 이동 방향, 및 이동 속도, 표면 텍스처(texture), 형태, 엣지 정보, 색상, 구조를 포함하는 객체의 특징이 되는 데이터들을 통합된 형태로 나타낸 데이터 구조(data structure)를 나타낼 수 있다. 일 실시예에 따르면, MTS 장치는 객체의 특징 데이터에 기초하여 부분 LDM 데이터를 생성할 수 있다. 예를 들어, MTS 장치는 객체 별로 특징 데이터를 합성하여 부분 LDM 데이터를 생성할 수 있다.

동작(760)에서 MTS 장치는 생성된 부분 LDM 데이터를 외부 장치(예를 들어, 클라우드 서버 또는 다른 차량에 탑재된 MTS 장치)에 주기적으로 전송할 수 있다.

도 8에서는 일 실시예에 따라 확대 LDM 데이터를 생성하는 과정을 설명하는 흐름도이다.

일 실시예에 따르면, MTS 장치 또는 클라우드 서버는 부분 LDM 데이터들을 융합하여 확대 LDM 데이터를 생성할 수 있다. MTS 장치 또는 클라우드 서버는 기존의 확대 LDM 데이터에 부분 LDM 데이터를 추가로 융합함으로써 기존의 확대 LDM 데이터를 업데이트할 수 있다. 이하에서는, 설명의 편의를 위하여 MTS 장치가 기존 확대 LDM 데이터에 부분 LDM 데이터를 융합하여 확대 LDM 데이터를 업데이트하는 과정을 설명하나, 상술한 바와 같이 클라우드 서버가 확대 LDM 데이터를 생성 및 업데이트할 수도 있다.

동작(810)에서 MTS 장치는 다른 MTS 장치로부터 부분 LDM 데이터를 수신할 수 있다. 다른 MTS 장치는 부분 LDM 데이터를 자체적으로 생성할 수 있고, 생성된 부분 LDM 데이터를 MTS 장치로 전송할 수 있다. MTS 장치는 다른 MTS 장치로부터 V2V 통신 네트워크를 통해 부분 LDM 데이터를 수신할 수 있다.

동작(820)에서 MTS 장치는 기존 확대 LDM 데이터 및 다른 MTS 장치로부터 수신된 부분 LDM 데이터 내에서 각 객체의 특징 데이터를 이용하여 동일한 객체를 검색할 수 있다.

일 실시예에 따르면, MTS 장치는 해당 MTS 장치가 생성한 부분 LDM 데이터 및 이전 시점에 외부 장치로부터 수신된 부분 LDM 데이터들이 융합된 기존의 확대 LDM 데이터(이하, '기존 확대 LDM 데이터')를 업데이트할 수 있다. MTS 장치는 기존 확대 LDM 데이터에 다른 MTS 장치로부터 수신된 부분 LDM 데이터를 융합하여 기존 확대 LDM 데이터를 업데이트할 수 있다.

먼저, MTS 장치는 다른 MTS 장치로부터 수신된 부분 LDM 데이터에 포함된 객체가 기존 확대 LDM 데이터에 포함되는지 여부를 판단하여, 동적 지도 상에 동일한 객체에 대한 정보가 중복하여 표시되는 것을 방지할 수 있다. 보다 구체적으로, MTS 장치는 다른 MTS 장치로부터 수신된 부분 LDM 데이터 내에서 각 객체의 특징 데이터를 추출할 수 있고, 기존 확대 LDM 데이터 내에서 각 객체의 특징 데이터를 추출할 수 있으며, 추출된 특징 데이터들을 이용하여 동일한 객체가 존재하는지 여부를 검색할 수 있다. 동일한 객체는 유사한 특징 데이터를 가지기 때문에, MTS 장치는 특징 데이터를 이용하여 부분 LDM 데이터 및 기존 확대 LDM 데이터에 동일한 객체가 존재하는지 여부를 판단할 수 있다.

일 실시예에 따르면, MTS 장치는 부분 LDM 데이터에 포함된 제1 객체와 동일한 객체를 기존 확대 LDM 데이터가 포함하는지 여부를 판단할 수 있다. MTS 장치는 부분 LDM 데이터로부터 제1 객체에 관한 정보를 추출할 수 있고, 기존의 확대 LDM 데이터로부터 제2 객체에 관한 정보를 추출할 수 있다. MTS 장치는 제1 객체에 관한 정보와 제2 객체에 관한 정보를 서로 비교함으로써 제1 객체와 제2 객체가 서로 동일한 객체인지 여부를 판단할 수 있다. 예를 들어, MTS 객체는 제1 객체의 위치 및 제2 객체의 위치 간의 거리가 제2 임계 거리 미만이고, 제1 객체의 이동 방향이 지시하는 각도와 제2 객체의 이동 방향이 지시하는 각도 사이의 차이가 제2 임계 각도 미만이며, 제1 객체에 관한 특징 데이터와 제2 객체에 관한 특징 데이터가 서로 유사한 경우, MTS 장치는 제1 객체와 제2 객체가 동일한 객체인 것으로 판단할 수 있다.

보다 구체적으로, MTS 장치가 제1 객체에 관한 정보와 제2 객체에 관한 정보를 서로 비교하는 경우, 기존의 확대 LDM 데이터로부터 추출된 제2 객체에 관한 정보를 업데이트하여 제1 객체에 관한 정보와 비교할 수 있다. 부분 LDM 데이터로부터 추출된 제1 객체에 관한 정보에 대응하는 제1 시점과 기존의 확대 LDM 데이터로부터 추출된 제2 객체에 관한 정보에 대응하는 제2 시점은 서로 상이하기 때문에, 기존의 확대 LDM 데이터로부터 추출된 제2 객체에 관한 정보를 업데이트하여 제1 객체에 관한 정보와 비교할 필요가 있다. 예를 들어, MTS 장치는 기존의 확대 LDM 데이터로부터 추출된 제2 시점에서 제2 객체의 이동 속도 및 제2 객체의 이동 방향에 기초하여, 제1 시점에서 제2 객체의 예상 위치를 추정할 수 있다. MTS 장치는 추정된 제2 객체의 예상 위치와 제1 객체의 위치를 서로 비교함으로써, 제1 객체와 제2 객체가 동일한 객체인지 여부를 판단할 수 있다.

동작(830)에서 MTS 장치는 부분 LDM 데이터에 포함된 제1 객체와 기존의 확대 LDM 데이터에 포함된 제2 객체가 동일한 객체인 것으로 판단한 경우, 기존의 확대 LDM 데이터에서 제2 객체에 할당된 ID를 제1 객체에 동일하게 할당할 수 있다. 여기서, ID(Identification)는 객체 별로 서로 구별하기 위한 식별 번호를 나타낼 수 있다. 더 나아가, MTS 장치는 기존의 확대 LDM 데이터를 부분 LDM 데이터를 사용하여 업데이트함으로써 신규 확대 LDM 데이터를 생성할 수 있다. 예를 들어, MTS 장치는 기존의 확대 LDM 데이터에 포함된 제2 객체에 관한 정보를 부분 LDM 데이터로부터 추출된 제1 객체에 관한 정보로 업데이트하여 신규 확대 LDM 데이터를 생성할 수 있다.

동작(840)에서, MTS 장치는 부분 LDM 데이터에 포함된 제1 객체를 기존의 확대 LDM 데이터가 포함하지 않는 경우, 제1 객체에 새로운 ID를 할당할 수 있다. 이러한 경우, MTS 장치는 기존의 확대 LDM 데이터에서 제1 객체에 관한 정보를 추가하여 기존의 확대 LDM 데이터를 업데이트할 수 있다.

동작(850)에서 MTS 장치는 기존의 확대 LDM 데이터에 포함된 객체들 중 부분 LDM 데이터가 포함하지 않는 객체에 관한 위치를 업데이트하여 기존의 확대 LDM 데이터를 업데이트할 수 있다. MTS 장치는 기존의 확대 LDM 데이터에 포함된 객체들과 부분 LDM 데이터에 포함된 객체들을 서로 매칭시킬 수 있다. 이때, MTS 장치는 기존의 확대 LDM 데이터에는 포함되나, 부분 LDM 데이터에는 포함되지 않는 객체에 대하여서는, 객체의 위치를 기존 확대 LDM 데이터를 사용하여 업데이트할 수 있다. 예를 들어, MTS 장치는 기존 확대 LDM 데이터에는 포함되나 부분 LDM 데이터에 포함되지 않는 제3 객체에 관한 정보를 기존 확대 LDM 데이터로부터 추출할 수 있고, 제3 객체의 이동 속도 및 이동 방향에 기초하여 제3 객체의 현재 예상 위치를 추정할 수 있다. MTS 장치는 추정된 제3 객체의 예상 위치로 확대 LDM 데이터에 포함된 제3 객체에 관한 위치를 업데이트할 수 있다.

더 나아가, 일 실시예에 따른 MTS 장치는 기존의 확대 LDM 데이터를 수신된 부분 LDM 데이터를 사용하여 업데이트할 수 있고, 부분 LDM 데이터를 다른 MTS 장치로부터 지속적으로 수신하여 확대 LDM 데이터를 업데이트할 수 있다. 일 실시예에 따르면, 확대 LDM 데이터에 포함된 특정 객체에 대하여, 특정 객체가 부분 LDM 데이터에서 검색되지 않는 횟수가 임계 횟수를 초과하는 경우, 특정 객체에 관한 정보를 확대 LDM 데이터에서 삭제할 수 있다.

일 실시예에 따른 MTS 장치는 프로세서 및 통신부를 포함할 수 있다. 프로세서는, 카메라에 의해 촬영된 이미지로부터 MTS 장치가 탑재된 차량 주변의 객체를 검출하여 부분 LDM 데이터를 생성할 수 있다. 통신부는, V2I(Vehicle to Infrastructure) 통신 네트워크를 이용하여 생성된 부분 LDM 데이터를 클라우드 서버에 전송하고, 부분 LDM 데이터에 기초하여 생성된 확대 LDM 데이터를 클라우드 서버로부터 수신할 수 있다. 통신부는, V2V(Vehicle to Vehicle) 통신 네트워크를 이용하여 생성된 부분 LDM 데이터를 다른 MTS 장치에 전송할 수도 있다. 더 나아가, MTS 장치의 프로세서 및 통신부는 도 2 내지 도 8에서 설명된 MTS 장치의 전반적인 동작을 수행할 수 있다.

일 실시예에 따른 서버(예를 들어, 도 2의 클라우드 서버(240))는 통신부 및 처리부를 포함할 수 있다. 통신부는, 복수의 MTS 장치들 각각으로부터, V2I 통신 네트워크를 통해 해당 MTS 장치가 차량 주변의 객체를 검출하여 생성하는 부분 LDM 데이터를 수신할 수 있다. 처리부는 복수의 MTS 장치들로부터 수신된 부분 LDM 데이터들을 융합하여 확대 LDM 데이터를 생성할 수 있고, 생성된 확대 LDM 데이터를 복수의 MTS 장치들 각각에 전송할 수 있다. 더 나아가, 서버의 통신부 및 처리부는 도 2 내지 도 8에서 설명된 서버의 전반적인 동작을 수행할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

로컬 동적 지도(local dynamic map, LDM) 데이터를 생성하는 방법에 있어서,
차량에 탑재된 다중 카메라 차량 추적 시스템(multi-camera vehicle track system, MTS) 장치가 카메라에 의해 촬영된 이미지로부터 상기 차량 주변의 객체를 검출하는 단계;
상기 이미지에 차선 인식 기술을 적용하여 인식된 차선들 중 상기 MTS 장치와 가장 가까운 기준 차선들과 대상 객체에 대응하는 바운딩 박스(bounding box)의 중심점(center point)을 지나는 수평선(horizontal line) 및 상기 수평선과의 교차점들을 식별하는 단계;
상기 바운딩 박스의 중심점과 상기 식별된 교차점들 각각과의 거리를 산출하는 단계;
상기 산출된 거리에 기초하여, 상기 대상 객체가 위치하는 차로를 판단하는 단계;
상기 대상 객체가 위치하는 차로에 기초하여 상기 MTS 장치와 상기 대상 객체 사이의 횡방향 거리를 산출하는 단계;
상기 대상 객체에 대하여 산출된 횡방향 거리에 기초하여 제1 부분 LDM 데이터를 생성하는 단계;
V2I(vehicle to infrastructure) 통신 네트워크를 이용하여 상기 생성된 제1 부분 LDM 데이터를 클라우드 서버에 전송하는 단계; 및
상기 부분 LDM 데이터에 기초하여 생성된 제1 확대 LDM 데이터를 상기 클라우드 서버로부터 수신하는 단계
를 포함하는 LDM 데이터를 생성하는 방법.
제1항에 있어서,
상기 제1 부분 LDM 데이터를 생성하는 단계는,
상기 카메라에 의해 촬영된 이미지로부터 검출된 대상 객체에 대하여, 상기 대상 객체와 상기 MTS 장치 사이의 종방향 거리를 산출하는 단계; 및
상기 대상 객체에 대하여 산출된 종방향 거리 및 상기 횡방향 거리에 기초하여, 상기 대상 객체의 상대적 위치를 추정하는 단계
를 포함하는 LDM 데이터를 생성하는 방법.
제2항에 있어서,
상기 제1 부분 LDM 데이터를 생성하는 단계는,
상기 이미지에서 상기 대상 객체에 대응하는 바운딩 박스(bounding box)의 높이 및 상기 바운딩 박스의 하단 선분과 상기 카메라 위치까지의 수직 거리에 기초하여, 상기 MTS 장치와 상기 대상 객체 사이의 종방향 거리를 산출하는 단계
를 포함하는 LDM 데이터를 생성하는 방법.
삭제
제2항에 있어서,
상기 대상 객체가 위치하는 차로를 판단하는 단계는,
상기 교차점들 중 상기 바운딩 박스의 중심점으로부터 가장 가까운 교차점이 2개인 경우, 상기 대상 객체가 상기 MTS 장치가 탑재된 기준 차량과 동일한 차로에 존재하는 것으로 판단하는 단계
를 포함하는 LDM 데이터를 생성하는 방법.
제2항에 있어서,
상기 대상 객체가 위치하는 차로를 판단하는 단계는,
상기 교차점들 중 상기 바운딩 박스의 중심점으로부터 가장 가까운 교차점이 1개이고, 상기 가장 가까운 교차점이 상기 바운딩 박스의 좌측에 존재하는 경우, 상기 대상 객체가 상기 MTS 장치가 탑재된 기준 차량이 위치하는 차로를 기준으로 우측 차로에 존재하는 것으로 판단하는 단계; 및
상기 교차점들 중 상기 바운딩 박스의 중심점으로부터 가장 가까운 교차점이 1개이고, 상기 가장 가까운 교차점이 상기 바운딩 박스의 우측에 존재하는 경우, 상기 대상 객체가 상기 기준 차량이 위치하는 차로를 기준으로 좌측 차로에 존재하는 것으로 판단하는 단계
를 포함하는 LDM 데이터를 생성하는 방법.
제2항에 있어서,
상기 제1 부분 LDM 데이터를 생성하는 단계는,
상기 대상 객체의 기준 각도를 상기 대상 객체가 위치하는 차로의 종방향 각도로 설정하는 단계; 및
상기 대상 객체의 이동 방향이 지시하는 각도를 상기 설정된 기준 각도에 기초하여 산출하는 단계
를 포함하는 LDM 데이터를 생성하는 방법.
제2항에 있어서,
상기 제1 부분 LDM 데이터를 생성하는 단계는,
상기 대상 객체의 특징 데이터에 기초하여 상기 제1 부분 LDM 데이터를 생성하는 단계
를 포함하는 LDM 데이터를 생성하는 방법.
제1항에 있어서,
다른 MTS 장치로부터 V2V(vehicle to vehicle) 통신 네트워크를 통해 제2 부분 LDM 데이터를 수신하는 단계; 및
상기 MTS 장치에 저장된 기존 확대 LDM 데이터에 상기 제2 부분 LDM 데이터를 융합하여 제2 확대 LDM 데이터를 생성하는 단계
를 더 포함하는 LDM 데이터를 생성하는 방법.
제9항에 있어서,
상기 제2 확대 LDM 데이터를 생성하는 단계는,
상기 제2 부분 LDM 데이터에 포함된 제1 객체와 동일한 객체를 상기 기존 확대 LDM 데이터가 포함하는지 여부를 판단하는 단계
를 포함하는 LDM 데이터를 생성하는 방법.
제10항에 있어서,
상기 제2 확대 LDM 데이터를 생성하는 단계는,
상기 제1 객체와 상기 기존 확대 LDM 데이터에 포함된 제2 객체와 동일한 객체인 것으로 판단한 경우, 상기 제2 객체에 할당된 ID를 상기 제1 객체에 동일하게 할당하는 단계; 및
상기 제1 객체와 동일한 객체를 상기 기존 확대 LDM 데이터가 포함하지 않는 경우, 상기 제1 객체에 새로운 ID를 할당하는 단계
를 포함하는 LDM 데이터를 생성하는 방법.
하드웨어와 결합되어 제1항 내지 제3항 및 제5항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
다중 카메라 차량 추적 시스템(Multi-Camera Vehicle Track System, MTS) 장치에 있어서,
카메라에 의해 촬영된 이미지로부터 상기 MTS 장치가 탑재된 상기 차량 주변의 객체를 검출하여 제1 부분 LDM 데이터를 생성하는 프로세서; 및
V2I(Vehicle to Infrastructure) 통신 네트워크를 이용하여 상기 생성된 제1 부분 LDM 데이터를 클라우드 서버에 전송하고, 상기 부분 LDM 데이터에 기초하여 생성된 제1 확대 LDM 데이터를 상기 클라우드 서버로부터 수신하는 통신부
를 포함하고,
상기 프로세서는,
상기 이미지에 차선 인식 기술을 적용하여 인식된 차선들 중 상기 MTS 장치와 가장 가까운 기준 차선들과 대상 객체에 대응하는 바운딩 박스(bounding box)의 중심점(center point)을 지나는 수평선(horizontal line) 및 상기 수평선과의 교차점들을 식별하고,
상기 바운딩 박스의 중심점과 상기 식별된 교차점들 각각과의 거리를 산출하고,
상기 산출된 거리에 기초하여, 상기 대상 객체가 위치하는 차로를 판단하고,
상기 대상 객체가 위치하는 차로에 기초하여 상기 MTS 장치와 상기 대상 객체 사이의 횡방향 거리를 산출하고,
상기 대상 객체에 대하여 산출된 횡방향 거리에 기초하여 상기 제1 부분 LDM 데이터를 생성하는,
MTS 장치.
제13항에 있어서,
상기 프로세서는,
상기 카메라에 의해 촬영된 이미지로부터 검출된 대상 객체에 대하여, 상기 대상 객체와 상기 MTS 장치 사이의 종방향 거리를 산출하고, 상기 대상 객체에 대하여 산출된 종방향 거리 및 상기 횡방향 거리에 기초하여, 상기 대상 객체의 상대적 위치를 추정하는,
MTS 장치.
제14항에 있어서,
상기 프로세서는,
상기 이미지에서 상기 대상 객체에 대응하는 바운딩 박스(bounding box)의 높이 및 상기 바운딩 박스의 하단 선분과 상기 카메라 위치까지의 수직 거리에 기초하여, 상기 MTS 장치와 상기 대상 객체 사이의 종방향 거리를 산출하는,
MTS 장치.
삭제
제14항에 있어서,
상기 프로세서는,
상기 대상 객체의 기준 각도를 상기 대상 객체가 위치하는 차로의 종방향 각도로 설정하고, 상기 대상 객체의 이동 방향이 지시하는 각도를 상기 설정된 기준 각도에 기초하여 산출하는,
MTS 장치.
제13항에 있어서,
상기 통신부는,
상기 MTS 장치와 다른 MTS 장치로부터 제2 부분 LDM 데이터를 수신하고,
상기 프로세서는,
상기 MTS 장치에 저장된 기존 확대 LDM 데이터에 상기 제2 부분 LDM 데이터를 융합하여 제2 확대 LDM 데이터를 생성하는,
MTS 장치.
제18항에 있어서,
상기 프로세서는,
상기 제2 부분 LDM 데이터에 포함된 제1 객체와 동일한 객체를 상기 기존 확대 LDM 데이터가 포함하는지 여부를 판단하는,
MTS 장치.
제19항에 있어서,
상기 프로세서는,
상기 제1 객체와 상기 기존 확대 LDM 데이터에 포함된 제2 객체와 동일한 객체인 것으로 판단한 경우, 상기 제2 객체에 할당된 ID를 상기 제1 객체에 동일하게 할당하고, 상기 제1 객체와 동일한 객체를 상기 기존 확대 LDM 데이터가 포함하지 않는 경우, 상기 제1 객체에 새로운 ID를 할당하는,
MTS 장치.
로컬 동적 지도(local dynamic map, LDM) 데이터를 생성하는 서버에 있어서,
복수의 다중 카메라 차량 추적 시스템(multi-camera vehicle track system, MTS) 장치들 각각으로부터, V2I(vehicle to infrastructure) 통신 네트워크를 통해 해당 MTS 장치가 차량 주변의 객체를 검출하여 생성하는 부분 LDM 데이터를 수신하는 통신부; 및
상기 복수의 MTS 장치들로부터 수신된 부분 LDM 데이터들을 융합하여 확대 LDM 데이터를 생성하고, 상기 생성된 확대 LDM 데이터를 상기 복수의 MTS 장치들 각각에 전송하는 처리부
를 포함하고,
상기 MTS 장치는,
상기 카메라에 의해 촬영된 이미지에 차선 인식 기술을 적용하여 인식된 차선들 중 상기 MTS 장치와 가장 가까운 기준 차선들과 대상 객체에 대응하는 바운딩 박스(bounding box)의 중심점(center point)을 지나는 수평선(horizontal line) 및 상기 수평선과의 교차점들을 식별하고,
상기 바운딩 박스의 중심점과 상기 식별된 교차점들 각각과의 거리를 산출하고,
상기 산출된 거리에 기초하여, 상기 대상 객체가 위치하는 차로를 판단하고,
상기 대상 객체가 위치하는 차로에 기초하여 상기 MTS 장치와 상기 대상 객체 사이의 횡방향 거리를 산출하고,
상기 대상 객체에 대하여 산출된 횡방향 거리에 기초하여 상기 부분 LDM 데이터를 생성하는,
서버.