KR102631777B1 - 경로 안내 방법 및 경로 안내 시스템 - Google Patents

Abstract

프로세서에 의해 수행되는 경로 안내 방법은, 차량의 경로를 안내하는 경로 안내 장치를 통해 상기 차량의 주행 경로를 탐색하여 경로 안내 서비스를 제공하는 단계, 상기 차량의 GPS 정보에 기초하여 상기 차량이 소정의 경로 가변 구간 범위 내에 진입하는지를 판단하는 단계, 상기 차량이 상기 경로 가변 구간 범위 내에 진입하면, 상기 차량에 구비된 카메라로부터 촬영된 주행 영상을 수신하는 단계, 이미지로부터 복수의 주행 참조물 각각을 감지하도록 학습된 인식 모델을 이용하여 상기 주행 영상으로부터 상기 복수의 주행 참조물 중 하나의 주행 참조물을 감지하는 단계, 상기 주행 영상 중 상기 하나의 주행 참조물의 위치를 상기 차량의 위치와 비교하여 상기 경로 가변 구간 범위에서의 상기 차량의 주행 위치를 결정하는 단계, 상기 안내 장치에 상기 주행 위치를 나타내는 정보를 전송하고 상기 차량의 주행 경로의 재탐색을 요청하는 단계, 및 상기 경로 안내 장치의 응답에 기초하여 상기 차량에 경로 안내 서비스를 제공하는 단계를 포함한다.

Description

경로 안내 방법 및 경로 안내 시스템{Route guidance method and route guidance system}

본 발명은 경로 안내 방법 및 경로 안내 시스템에 관한 것이다.

오늘날의 도로에서는 고가 도로, 지하 도로 등 입체적 도로 구역의 활용이 증대되고 있고, 도로 중앙부에서는 고속도로, 자동차 전용 도로로 이용되고 도로의 가장자리는 일반도로로 구성되어 차로 별 위계가 다른 도로가 혼재 구성되는 경우가 많다.

차량의 도로 주행 안내는 GPS와 같이 위성 정보를 활용한 전파 항법 방식의 측위 기술이 대중적으로 사용되고 있다.

다만 GPS 측위 기반의 내비게이션은 입체화된 도로 상에서의 위치 정보를 측정하거나 도로 상의 정확한 위치 정보를 측정하는 것에 한계가 있다.

국내 등록특허 제10-0839578호(2008년06월12일 등록)

본 발명의 목적은 상기와 같은 문제점을 해결하기 위한 것으로, GPS 측위 기반의 경로 안내에 있어서 카메라를 이용하여 도로 상의 차량의 주행 위치를 감지하고, 감지한 주행 위치에 기초하여 정확도 높은 경로 안내가 가능하도록 하는 경로 안내 방법 및 경로 안내 시스템을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 실시예에 따르면, 프로세서에 의해 수행되는 경로 안내 방법은, 차량의 경로를 안내하는 경로 안내 장치를 통해 상기 차량의 주행 경로를 탐색하여 경로 안내 서비스를 제공하는 단계, 상기 차량의 GPS 정보에 기초하여 상기 차량이 소정의 경로 가변 구간 범위 내에 진입하는지를 판단하는 단계, 상기 차량이 상기 경로 가변 구간 범위 내에 진입하면, 상기 차량에 구비된 카메라로부터 촬영된 주행 영상을 수신하는 단계, 이미지로부터 복수의 주행 참조물 각각을 감지하도록 학습된 인식 모델을 이용하여 상기 주행 영상으로부터 상기 복수의 주행 참조물 중 하나의 주행 참조물을 감지하는 단계, 상기 주행 영상 중 상기 하나의 주행 참조물의 위치를 상기 차량의 위치와 비교하여 상기 경로 가변 구간 범위에서의 상기 차량의 주행 위치를 결정하는 단계, 상기 안내 장치에 상기 주행 위치를 나타내는 정보를 전송하고 상기 차량의 주행 경로의 재탐색을 요청하는 단계, 및 상기 경로 안내 장치의 응답에 기초하여 상기 차량에 경로 안내 서비스를 제공하는 단계를 포함한다.

상기 복수의 주행 참조물은, 볼라드, 노면 표시, 및 충돌 감쇠기를 포함할 수 있다.

상기 경로 가변 구간 범위는, 상기 차량이 현재 주행 중인 제1 도로로부터 제2 도로로 진입할 수 있는 경로 가변 구간을 기준으로 일정 거리 내의 범위이고, 상기 주행 위치를 결정하는 단계는, 상기 하나의 주행 참조물의 위치가 상기 차량의 우측인지 또는 좌측인지에 기초하여 상기 주행 위치를 상기 제1 도로 상의 위치 및 상기 제2 도로 상의 위치 중 하나로 결정하는 단계를 포함할 수 있다.

상기 주행 위치를 상기 제1 도로 상의 위치 및 상기 제2 도로 상의 위치 중 하나로 결정하는 단계는, 상기 주행 영상이 나타내는 영상 이미지의 너비를 기준으로 중심 x좌표를 산정하는 단계, 상기 영상 이미지로부터 탐지된 제1 주행 참조물을 나타내는 모든 픽셀의 x좌표를 상기 중심 x좌표와 비교하여, 상기 모든 픽셀 중 상기 중심 x좌표의 좌측에 위치하는 제1 픽셀 수 및 상기 중심 x좌표의 우측에 위치하는 제2 픽셀 수를 카운팅하는 단계, 및 상기 제1 픽셀 수 및 상기 제2 픽셀 수를 비교하여 상기 제1 주행 참조물이 상기 차량의 좌측에 위치하는지, 또는 우측에 위치하는지를 판단하는 단계를 포함할 수 있다.

상기 카메라로부터 제1 주행 영상을 수신하는 단계, 상기 제1 주행 영상으로부터 소정의 단위 주기로 추출한 프레임에 대응하는 복수의 이미지를 추출하는 단계, 상기 복수의 이미지 중 상기 복수의 주행 참조물 중 적어도 하나를 포함하는 것으로 라벨링된 복수의 제1 이미지를 학습 데이터셋으로 결정하는 단계, 및 상기 학습 데이터셋에 기초하여 상기 인식 모델에 대하여 이미지로부터 상기 복수의 주행 참조물 각각을 감지하는 방법을 학습시키는 단계를 더 포함할 수 있다.

상기 차량이 소정의 경로 가변 구간 범위 내에 진입하는지를 판단하는 단계는, 상기 경로 안내 장치로부터 복수의 경로 가변 구간을 나타내는 정보를 수신하고 GPS 장치에 전송하는 단계, 상기 GPS 장치에 상기 복수의 경로 가변 구간 각각에 진입 시 응답을 요청하는 단계, 및 상기 GPS 장치로부터 상기 복수의 경로 가변 구간 중 하나에 진입하였음을 응답 받으면, 상기 카메라를 온 시키는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 경로 안내 시스템은, 차량의 경로를 안내하는 경로 안내 장치, 상기 차량의 위치를 감지하여 상기 차량이 소정의 경로 가변 구간 범위 내에 진입하는지를 판단하는 GPS 장치, 상기 차량에 구비되어 상기 차량의 전방 영상을 촬영하는 카메라, 및 상기 경로 안내 장치를 통해 상기 차량의 주행 경로를 탐색하여 경로 안내 서비스를 제공하고, 상기 GPS 장치에 상기 차량이 소정의 경로 가변 구간 범위 내인지의 확인을 요청하며, 상기 차량이 상기 경로 가변 구간 범위 내에 진입하면 상기 차량에 카메라로부터 촬영된 주행 영상을 수신하고, 이미지로부터 복수의 주행 참조물 각각을 감지하도록 학습된 인식 모델을 이용하여 상기 주행 영상으로부터 상기 복수의 주행 참조물 중 하나의 주행 참조물을 감지하며, 상기 주행 영상 중 상기 하나의 주행 참조물의 위치를 상기 차량의 위치와 비교하여 상기 경로 가변 구간 범위에서의 상기 차량의 주행 위치를 결정하고, 상기 안내 장치에 상기 주행 위치를 나타내는 정보를 전송하고 상기 차량의 주행 경로의 재탐색을 요청하는 프로세서를 포함한다.

상기 복수의 주행 참조물은, 볼라드, 노면 표시, 및 충돌 감쇠기를 포함할 수 있다.

상기 경로 가변 구간 범위는, 상기 차량이 현재 주행 중인 제1 도로로부터 제2 도로로 진입할 수 있는 경로 가변 구간을 기준으로 일정 거리 내의 범위이고, 상기 프로세서는, 상기 하나의 주행 참조물의 위치가 상기 차량의 우측인지 또는 좌측인지에 기초하여 상기 주행 위치를 상기 제1 도로 상의 위치 및 상기 제2 도로 상의 위치 중 하나로 결정할 수 있다.

상기 프로세서는, 상기 주행 영상이 나타내는 영상 이미지의 너비를 기준으로 중심 x좌표를 산정하고, 상기 영상 이미지로부터 탐지된 제1 주행 참조물을 나타내는 모든 픽셀의 x좌표를 상기 중심 x좌표와 비교하여, 상기 모든 픽셀 중 상기 중심 x좌표의 좌측에 위치하는 제1 픽셀 수 및 상기 중심 x좌표의 우측에 위치하는 제2 픽셀 수를 카운팅하며, 상기 제1 픽셀 수 및 상기 제2 픽셀 수를 비교하여 상기 제1 주행 참조물이 상기 차량의 좌측에 위치하는지, 또는 우측에 위치하는지를 판단할 수 있다.

상기 프로세서는, 상기 카메라로부터 제1 주행 영상을 수신하고, 상기 제1 주행 영상으로부터 소정의 단위 주기로 추출한 프레임에 대응하는 복수의 이미지를 추출하며, 상기 복수의 이미지 중 상기 복수의 주행 참조물 중 적어도 하나를 포함하는 것으로 라벨링된 복수의 제1 이미지를 학습 데이터셋으로 결정하고, 상기 학습 데이터셋에 기초하여 상기 인식 모델에 대하여 이미지로부터 상기 복수의 주행 참조물 각각을 감지하는 방법을 학습시킬 수 있다.

상기 프로세서는, 상기 경로 안내 장치로부터 복수의 경로 가변 구간을 나타내는 정보를 수신하고 상기 GPS 장치에 전송하며, 상기 GPS 장치에 상기 복수의 경로 가변 구간 각각에 진입 시 응답을 요청하고, 상기 GPS 장치로부터 상기 복수의 경로 가변 구간 중 하나에 진입하였음을 응답 받으면, 상기 카메라를 온 시킬 수 있다.

본 발명의 또 다른 실시예에 따르면, 경로 안내 시스템은, 차량의 주행 경로를 탐색하여 출발지로부터 목적지까지의 최적 경로를 산출하여 상기 최적 경로를 나타내는 화면을 제공하는 최적 경로 산출부, 및 상기 차량이 소정의 경로 가변 구간 범위 내에 진입하면 카메라로부터 촬영된 주행 영상을 수신하고, 이미지로부터 복수의 주행 참조물 각각을 감지하도록 학습된 인식 모델을 이용하여 상기 주행 영상으로부터 상기 복수의 주행 참조물 중 하나의 주행 참조물을 감지하고, 상기 하나의 주행 참조물의 위치에 기초하여 상기 차량의 주행 위치를 결정하고, 상기 주행 위치에 기초하여 상기 출발지로부터 목적지까지의 주행 경로의 재탐색을 요청하는 경로 조정부를 포함한다.

본 발명은 차량을 중심으로 주행 참조물의 상대적 위치를 통해 차량이 진입한 도로를 판단하여 해당 정보를 지도(경로 안내 장치)에 전송하고, 이러한 정보를 활용하여 운전자에게 주행 위치에 맞는 정보, 즉 속도 정보, 과속 단속 카메라 정보, 전방 돌발 상황 정보 등을 안내할 수 있다.

본 발명에 따르면, 운전자가 경로 안내 서비스를 이미 받고 있었다면, 경로 이탈 여부에 따라 빠른 경로 모니터링을 통해 경로 이탈 시 재빠른 경로 재탐색을 통하여 보다 정확한 경로 안내를 수행할 수 있다.

본 발명에 따르면, 정확하고 빠른 경로 안내를 통해 시간 소요와 추가 비용을 감소시키고, 주행 거리 증가로 인한 사회적 비용을 감소시킬 수 있다.

본 발명에 따르면, 차량이 경로 변경 가능 구간에서 진출입한 도로 정보를 바탕으로 수직, 수평적으로 정확한 GPS 수신이 어려운 기하 구조의 도로 진입 시에도 판단된 정보를 활용하여 차량 주행 위치를 추적하여 지도에 표현하고 안내할 수 있다.

본 발명에 따르면, 측위 오차를 저비용의 장비로 해소할 수 있어 운전자의 정밀 측위 기술에 대한 접근성을 향상시킬 수 있다.

본 발명에 따르면 GPS에 의존적인 주행 안내 또는 차량의 주행 도로 탐색 기술에서 탈피하여 영상 기반의 주행 참조물 인식과 주행 참조물에 대비한 차량의 상대적 위치를 통해 현재 차량이 주행 중인 도로를 정확하게 인식할 수 있다.

본 발명에 따르면 별도의 장비를 추가로 장착할 필요 없이 차량에 구비된 블랙 박스 또는 전방 카메라, 주행 위치 판단 알고리즘이 적용될 프로세서와 내비게이션을 활용하여 주행 참조물을 인지하고, 이를 통해 차량의 주행 위치를 판단할 수 있다.

본 발명에 따르면 차량의 현재 주행 위치 또는 주행 도로를 빠르게 판단하여 현재 주행 환경에 맞는 교통 정보와 경로 탐색 서비스를 저비용, 접근성 높은 장비로 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 경로 안내 시스템의 블록도이다.
도 2는 경로 가변 구간의 예시도이다.
도 3은 도 1에 도시된 프로세서를 자세히 도시한 블록도이다.
도 4는 볼라드, 노면 표시, 및 충돌 감쇠기의 예시도이다.
도 5는 차량이 주행 참조물의 우측 및 좌측을 주행하는 경우의 영상의 예시도이다.
도 6a, 도 6b, 도 6c, 및 도 6d는 본 발명의 일 실시예에 따른 입출력부가 제공하는 화면의 예시도이다.
도 7은 본 발명의 일 실시예에 따른 경로 안내 방법의 순서도이다.

본 발명은 취지를 벗어나지 않는 한도에서 다양하게 변경하여 실시할 수 있고, 하나 이상의 실시 예를 가질 수 있다. 그리고 본 발명에서 "발명을 실시하기 위한 구체적인 내용" 및 "도면" 등에 기재한 실시 예는, 본 발명을 구체적으로 설명하기 위한 예시이며, 본 발명의 권리 범위를 제한하거나 한정하는 것은 아니다.

따라서, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자가, 본 발명의 “발명을 실시하기 위한 구체적인 내용” 및 “도면” 등으로부터 용이하게 유추할 수 있는 것은, 본 발명의 범위에 속하는 것으로 해석할 수 있다.

또한, 도면에 표시한 각 구성 요소들의 크기와 형태는, 실시 예의 설명을 위해 과장되어 표현한 것 일 수 있으며, 실제로 실시되는 발명의 크기와 형태를 한정하는 것은 아니다.

본 발명의 명세서에서 사용되는 용어를 특별히 정의하지 않는 이상, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 것과 동일한 의미를 가질 수 있다.

이하, 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 경로 안내 시스템의 블록도이다.

도 1을 참조하면 경로 안내 시스템(1)은, 입출력부(10), GPS 장치(20), 프로세서(30), 메모리(40), 카메라(50), 및 경로 안내 장치(60)를 포함할 수 있다.

경로 안내 시스템(1)은 고가 도로, 지하 도로 등의 입체적 도로에서, 또는 도로가 소정의 주행 참조물로 구분되고 도로의 일부는 고속도로, 자동차 전용 도로 등으로 이용되며 나머지 일부는 일반 도로로 이용되는 등의 도로 형태에서 현재 주행 중인 도로를 정확히 구분하여 경로 안내 서비스를 제공할 수 있도록 한다.

입출력부(10)는 사용자로부터 선택된 데이터 및/또는 신호를 입력 받거나, 및/또는 화면을 출력하여 사용자에게 제공할 수 있다. 입출력부(10)는 프로세서(30)의 제어에 따라 경로 안내 화면을 제공할 수 있다.

GPS 장치(20)는 차량의 위치 정보를 파악할 수 있다. GPS 장치(20)는 위성 정보를 활용한 전파 항법 방식을 사용하여 차량의 위치 정보를 생성할 수 있다. 다만 이러한 GPS 장치만으로 차량의 주행 경로를 안내함에 있어서, 입체화된 도로나, 도로 중앙부에서는 고속도로, 자동차 전용 도로로 이용되고 도로의 가장자리는 일반도로로 구성되어 차로 별 위계가 다른 도로가 혼재 구성되어 있는 등의 도로에서 도로 중 정확한 위치 정보를 측정하는 것에 한계가 있을 수 있다. 따라서 GPS에만 의존하는 방식의 측위는 입체 도로나 복잡한 구조의 분류 구간에서 차량의 정확한 위치를 파악하지 못하기 때문에 차량이 경로를 이탈하는 등의 상황 발생 시 경로를 재탐색하거나 주행 중인 도로에 맞는 교통 정보를 제공하는 등의 대처가 어려울 수 있다.

본 발명의 일 실시예에 따르면, 도로 상에서 자동차 전용 도로 등 고규격 도로로 연결되는 위치(예를 들어, 도로 중간부), 그리고 일반 도로로 연결되는 위치(예를 들어, 도로 바깥 가장자리)를 구분하기 위하여 카메라(50)에서 촬영되는 영상을 활용할 수 있다.

따라서 본 발명의 일 실시예에서는 GPS 장치(20), 카메라(50), 및 학습된 인식 모델을 이용하여 보다 정확한 경로 안내 서비스를 제공하고자 한다.

GPS 장치(20)는 주행 참조물의 인식을 활성화할 지역에 진입 여부를 판단할 수 있다. 주행 참조물은, 차량이 주행 중인 도로가 어느 도로인지를 판단함에 있어 참조할 수 있는 물체일 수 있다. GPS 장치(20)는 프로세서(30)로부터 소정의 경로 가변 구간 범위 내에 진입하는지에 대한 응답 요청을 수신하면, 차량의 위치를 소정의 경로 가변 구간 범위와 비교하여 차량이 경로 가변 구간 범위 내에 진입하면 프로세서(30)에 경로 가변 구간 진입을 응답할 수 있다.

도 2는 경로 가변 구간의 예시도이다.

도 2를 참조하면, 경로 가변 구간은 고가 도로 등이 포함된 입체 도로 구간, 다른 도로로의 진출입로를 포함하는 터널, 또는 톨게이트 진입 구간, 제1 방향으로 주행 가능한 제1 도로와 제2 방향으로 주행 가능한 제2 도로가 하나의 도로 상에 혼재되어 있는 차로 혼재 구간 등을 포함할 수 있다.

여기서 경로 가변 구간 범위는, 차량이 현재 주행 주인 도로로부터 다른 도로에 진입할 수 있는 복수의 경로 가변 구간 각각을 기준으로 일정 거리 내의 범위를 나타낼 수 있다. 예를 들어, 경로 가변 구간 범위는, 도로 A로부터 도로 B로 진입할 수 있는 C지점을 기준으로 일정 거리에 속하는 범위이다. 이하에서 복수의 경로 가변 구간 각각은 현재 주행 주인 도로로부터 다른 도로에 진입할 수 있는 구간인 것으로 하나, 이는 설명의 편의를 위함이고 발명이 이에 한정되지 않는다. 복수의 경로 가변 구간은, 하나의 도로가 복수의 도로 갈리는 갈림길 등을 포함할 수 있다.

프로세서(30)는 입출력부(10), GPS 장치(20), 메모리(40), 카메라(50), 및 경로 안내 장치(60) 각각의 동작을 제어할 수 있다. 프로세서(30)는 주행 참조물 인식이 가능한 컴퓨팅 장치일 수 있다. 프로세서(30)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Device), FPGA(Field Programmable Gate Array), CPU(Central Processing Unit), 마이크로컨트롤러(microcontroller), 및 마이크로프로세서(microprocessor) 등의 처리 장치(Processor) 중 적어도 하나를 포함할 수 있다.

프로세서(30)는 경로 안내 장치(60)를 이용하여 사용자에게 경로 안내 서비를 제공함에 있어서, 카메라(50)로부터 촬영된 영상에 기초하여 차량의 주행 위치를 결정하고, 차량의 주행 위치에 기초하여 경로 안내 장치(60)에 정확한 경로 안내 서비스를 제공하도록 할 수 있다.

메모리(40)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(40)는 예를 들어, 경로 안내 시스템(1)이 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여 입출력부(10), GPS 장치(20), 프로세서(30), 메모리(40), 카메라(50), 및 경로 안내 장치(60)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.

메모리(40)에 저장되는 프로그램은 차량의 주행 위치를 고려하여 정확한 경로 안내 서비스를 제공하기 위한 경로 안내 프로그램을 포함할 수 있다.

프로세서(30)는 메모리(40)에 저장된 하나 이상의 프로그램을 실행하여 경로 안내 시스템(1)의 전반적인 동작을 제어할 수 있다.

예를 들어, 프로세서(30)는 메모리(40)에 저장된 경로 안내 프로그램을 실행하여 다수의 경로 안내 화면들을 생성하고, 생성한 화면들이 입출력부(10)에 표시되도록 할 수 있다. 또한 프로세서(30)는 입출력부(10)로부터 수신되는 학습 데이터 및 카메라(50)로부터 수신되는 영상에 기초하여 차량의 주행 위치를 자동으로 결정하고, 차량의 주행 위치를 고려한 차량의 최적 경로를 제안할 수 있다.

프로세서(30)는 GPS 장치(20)로부터 경로 가변 구간 진입을 나타내는 응답을 수신하면 카메라(50)를 온(ON) 시키고, 카메라(50)에 촬영 요청을 전송하여 주행 참조물의 인식을 시작할 수 있다.

카메라(50)는 차량에 구비되어 차량의 전방을 나타내는 주행 영상을 촬영할 수 있다. 카메라(50)는 블랙 박스, Built-in Camera 등일 수 있다. 카메라(50)는 스마트폰 등의 사용자 장치에 구비되어 있는 카메라일 수도 있다. 카메라(50)가 사용자 장치에 구비된 카메라인 경우, 카메라(50)가 촬영한 영상은 사용자 장치에 구비된 메모리에 저장될 수 있다.

카메라(50)는 촬영한 주행 영상을 프로세서(30)에 전달할 수 있다. 카메라(50)는 프로세서(30)로부터 촬영 요청을 수신하면 온(ON) 되어 촬영을 시작할 수 있다. 카메라(50)는 촬영된 영상을 실시간으로 프로세서(30)에 송출할 수 있다. 프로세서(30)는 카메라(50)로부터 수신하는 영상을 메모리(40)에 저장할 수 있다.

경로 안내 장치(60)는 GPS 장치(20)로부터 수신한 GPS 측위 정보를 이용하여 차량의 경로를 검색하여 안내하는 내비게이션 장치일 수 있다. 이하에서 차량의 경로는 차량의 출발지로부터 목적지까지의 최적 경로를 나타낼 수 있다. 최적 경로는 최소 거리, 최단 시간, 최소 환승 등의 다양한 경로 검색 요소를 고려한 경로일 수 있다.

경로 안내 장치(60)는 차량의 경로 안내를 위한 지도 데이터를 포함할 수 있다. 지도 데이터에는, 복수의 경로 가변 구간 각각에 대한 정보, 복수의 도로에 포함된 주행 참조물을 기준으로 각 도로가 어느 방향에 위치하는지 등에 관한 정보가 포함될 수 있다. 예를 들어, 지도 데이터는 제1 방향으로 주행하는 제1 도로는 제1 주행 참조물의 좌측에 위치하고, 제2 방향으로 주행하는 제2 도로는 제1 주행 참조물의 우측에 위치함을 나타내는 정보를 포함할 수 있다.

경로 안내 장치(60)는 프로세서(30)에 경로 가변 구간에 대한 정보를 제공할 수 있다. 경로 가변 구간에 대한 정보는, 복수의 경로 가변 구간 각각의 위치를 나타내는 정보를 포함할 수 있다. 프로세서(30)로부터 차량의 주행 위치(주행 중인 도로)를 나타내는 정보와 함께 경로 재탐색을 요청 받으면, 경로 안내 장치(60)는 차량의 주행 위치에 기초하여 차량의 주행 경로를 재 검색하여 안내할 수 있다. 경로 안내 장치(60)는, 최적 경로를 제공하는 것 이외에도 최적 경로 상의 속도 정보, 과속 단속 카메라 정보, 전방 돌발 상황 정보 등을 함께 제공할 수 있다. 또한 경로 안내 장치(60)가 제공하는 최적 경로는 최적 경로 상에서 필요한 운전자 주행 보조 정보를 포함할 수 있다. 경로 안내 장치(60)가 제공하는 경로, 정보 등을 나타내는 화면은 프로세서(30)의 제어에 따라 입출력부(10)를 통해 제공될 수 있다.

도 3은 도 1에 도시된 프로세서를 자세히 도시한 블록도이다.

도 3을 참조하면, 프로세서(30)는 최적 경로 산출부(301) 및 경로 조정부(302)를 포함할 수 있다.

최적 경로 산출부(301)는 경로 안내 장치(60)를 통해 차량에 대하여 출발지로부터 목적지까지의 최적 경로를 산출하고, 최적 경로를 나타내는 화면을 입출력부(10)를 통해 제공할 수 있다.

경로 조정부(302)는 GPS 장치(20)로부터의 응답에 기초하여 상기 차량이 소정의 경로 가변 구간 범위 내에 진입하는지를 판단하고, 상기 차량이 상기 경로 가변 구간 범위 내에 진입하면, 상기 차량에 구비된 카메라로부터 촬영된 주행 영상을 수신할 수 있다. 경로 조정부(302)는 학습된 인식 모델을 이용하여 주행 영상으로부터 복수의 주행 참조물 각각을 감지할 수 있다. 여기서 학습된 인식 모델은, 이미지로부터 복수의 주행 참조물 각각을 감지하도록 학습된 모델일 수 있다.

프로세서(30)는 기 학습된 인식 모델을 이용할 수도 있고, 또는 인식 모델을 생성하여 학습 데이터셋으로 인식 모델을 학습시킬 수도 있다. 프로세서(30)가 인식 모델을 학습시키는 동작은, 카메라(50)로부터 수신한 주행 영상을 소정의 단위 주기로 추출한 프레임에 대응하는 복수의 이미지를 추출하고, 복수의 이미지 중 주행 참조물을 포함하는 이미지에 대하여 라벨링된 복수의 제1 이미지를 학습 데이터셋으로 하며, 학습 데이터셋에 기초하여 인식 모델에 대하여 이미지로부터 주행 참조물을 감지하는 방법을 학습시키는 동작을 포함할 수 있다. 프로세서(30)가 주행 참조물을 포함하는 이미지에 대하여 라벨링하기 위해서는, 입출력부(10)를 통해 사용자로부터 복수의 이미지 중 복수의 주행 참조물 중 적어도 하나를 포함하는 이미지를 선택받고, 사용자가 선택한 이미지를 주행 참조물을 포함하는 이미지로 라벨링할 수 있다. 다만 발명이 이에 한정되는 것은 아니고 프로세서(30)는 다양한 방법으로 학습 데이터셋을 생성할 수 있다.

복수의 주행 참조물은, 볼라드, 노면 표시, 충돌 감쇠기 등을 포함할 수 있다.

도 4는 볼라드, 노면 표시, 및 충돌 감쇠기의 예시도이다.

도 4를 참조하면, 볼라드는 도로 상에서 자동차가 다른 차선으로 진입하는 것을 막기 위해 차선 경계면에 세워둔 구조물을 포함할 수 있다. 또한 노면 표시는 갈림길 등을 표시하기 위한 노면 상의 황색 표시를 포함할 수 있다. 또한 충돌 감쇠기는 차선 사이에 자동차 충돌로 인한 구조물, 차량, 운전자 등의 손상을 줄이기 위한 장치일 수 있다.

복수의 주행 참조물은 도 4에 도시된 것 이외에도 도로에 설치된 공통적인 교통안전표지를 포함할 수 있다. 이하에서는 설명의 편의를 위해 복수의 주행 참조물은 볼라드, 노면 표시, 및 충돌 감쇠기인 것으로 한다.

도로에는 도로 및 교통 시설물 관련 제구정에 따라 일관성 있고 통일된 방식으로 교통 안전 시설물이 설치될 수 있다. 그 중에서도 도로의 갈림길 또는 분류부에서는 공통적으로 복수의 주행 참조물이 설치될 수 있고, 경로 안내 시스템(1)은 이러한 복수의 주행 참조물을 인식하고, 인식 결과에 기초하여 차량의 주행 위치(주행 중인 도로)를 파악할 수 있다.

여기서 경로 조정부(302)가 학습된 인식 모델을 통해 영상으로부터 주행 참조물을 인식하는 것은 공지된 다양한 객체 탐지 알고리즘을 통해 구현될 수 있다. 예를 들어 인식 모델은, BlendMask, FPNet, Mask R-CNN 등의 딥러닝 모델로 구현되는 Object Detection 및 Segmentation 모델일 수 있다. 또한 인식 모델은, pytorch 기반의 모듈과 텐서플로우(tensorflow) 기반의 모듈로 경량 및 고속 탐지가 가능하도록 구현될 수 있다.

경로 조정부(302)는 학습된 인식 모델을 통해, 주행 영상이 나타내는 영상 이미지 각각에 대하여 주행 참조물을 나타내는 객체를 픽셀 단위로 분류할 수 있다. 경로 조정부(302)는 감지된 주행 참조물을 나타내는 모든 픽셀 각각의 x좌표 및 y좌표를 추출할 수 있다.

이하, 경로 조정부(302)가 인식 모델의 경량화 및 고속화를 위해 양자화(Quantization) 과정을 수행하는 동작을 설명한다.

양자화(Quantization)는, 실수형 변수(floating point type)를 정수형 변수(integer of fixed point)로 변환하는 과정을 나타낸다. 경로 조정부(302)는 인식 모델의 사이즈 축소, 인식 모델의 연산량 감소, 및 효율적인 하드웨어 사용을 위해 양자화를 이용할 수 있다.

인식 모델의 파라미터는 32자리 실수(FP32)일 수 있다. 경로 조정부(302)는 인식 모델의 32자리 실수(FP32)인 파라미터를 텐서로 바로 변환할 수도 있으나, 또는 32자리 실수(FP)인 파라미터를 8자리 정수(INT8)로 변경한 후, 8자리 정수(INT8)를 텐서로 변환할 수 있다. 이를 인식 모델의 양자화라 한다. 여기서 인식 모델의 파라미터는, 인식 모델에서 적용되는 가중치(Weight), 활성 함수(Activation function) 값 등을 나타낼 수 있다.

여기서 경로 조정부(302)가 32자리 실수로부터 8자리 정수로 변경하는 방식은 다양한 방식으로 동작될 수 있다. 경로 조정부(302)는 32자리 실수의 최소 값과 최대 값을 8자리 정수의 최소 값과 최대 값으로 매치하고, 최소 값으로부터 최대 값까지의 실수를 균등하게 또는 exponential 하게 각 정수에 매치할 수 있다. 예를 들어, 학습된 인식 모델의 가중치가 -10~30의 범위에 있다고 가정할 때, 최소 값인 -10을 INT8의 0에 대응시키고, 최대 값인 30을 INT8의 최대 값인 255에 대응시켜 사용한다면, 32비트 자료형이 8비트 자료형으로 줄어들어 전체 메모리 사용량 및 수행 속도가 감소할 수 있다.

양자화를 통해 용량을 감소시킬 수 있고, 비트 수를 감소시켜 계산 복잡도도 감소시킬 수 있다. 일반적으로 정수형 변수의 비트 수를 N배 줄이면, 곱셈 복잡도는 N*N배로 감소할 수 있다. 따라서 FP32 대신 INT8을 사용하면, 인식 모델의 크기가 보통의 모델 크기의 1/4로 감소할 수 있고, 실행 속도(inference speed)가 2-4배 빨라지며, 메모리 대역폭(bandwidth)도 2-4배 가벼워질 수 있다.

인식 모델의 딥러닝에서의 Quantization을 할 때 하기의 5가지 전제조건이 필요하다.

① Inference Only: Quantization은 inference에서만 사용, 학습 시간을 줄이기 위한 것과는 관련이 없음

② Not every layer can be quantized: 구현한 딥러닝 모델의 모든 layer가 quantization이 될 수 없는 경우가 존재함, 이것은 각 layer 자체의 특수성으로 어려운 부분도 있지만 Pytorch와 같은 Framework가 지원하지 않는 경우

③ Not every layer shoud be quantized: 모든 layer가 반드시 quantization이 되어야 하는 것이 가장 효율적인 것은 아니며, 경우에 따라서는 layer를 fusion 하여 한번에 quantization을 하기도 함

④ Not every model reacts the same way to quantization: 같은 quantization을 적용하더라도 모든 딥러닝 모델이 동일한 효과가 나타나는 것이 아니며, layer의 특성이 있기 때문에 layer의 집합인 model에서는 그 현상이 더 크게 나타남

⑤ Most available implementations are CPU only: quantization이 적용된 많은 연산이 아직 CPU에서 사용해야 하는 경우가 있음

또한 딥러닝에서의 Quantization은 하기와 같이 6가지 단계로 구성될 수 있다.

① Module Fusion

- layer들을 하나로 묶어주는 Fusion 단계를 의미

- 이 단계는 반드시 필요한 것은 아니지만 좋은 성능을 위해서 많이 사용

- 대표적으로 Conv-BatchNorm-ReLU를 Fusion 하는 방법을 많이 사용

- 필요시에만 사용

② Formula Definition

- Qunaitization 시 사용하는 식을 정의

- 일반적으로 FP32 -> INT8 의 방식을 사용하며 반대로 다시 Floting Point로 변경 시 INT8 -> FP32로 변경하는 Dequantization 방법도 정의

③ Hardware Deployment

- 하드웨어에 따라서 어떻게 calibration하는 지 달라짐

- 대표적으로 인텔계열과 ARM계열에 따라 다름

④ Dataset Calibration

- weight를 변환하기 위한 식의 파라미터를 Dataset을 이용하여 계산

⑤ Weight Conversion

- 실제 weight를 FP 타입에서 INT 타입으로 변환

⑥ Dequantization

- 마지막으로 inference를 통해 얻은 출력을 dequantization을 통하여 다시 Floating 타입으로 변경하며, 이 작업은 필요시에만 사용

경로 조정부(302)는 학습된 인식 모델을 이용하여 카메라(50)로부터 수신한 주행 영상으로부터 복수의 주행 참조물 중 하나를 감지할 수 있다. 경로 조정부(302)는 영상에서 인식된 주행 참조물의 위치를 차량의 위치와 비교하여 상기 경로 가변 구간 범위에서의 상기 차량의 주행 위치를 결정할 수 있다.

경로 조정부(302)가 차량의 주행 위치를 결정하는 것은, 주행 영상으로부터 중심점을 도출하고, 해당 중심점으로부터 주행 참조물이 좌측에 위치하는지, 또는 우측에 위치하는지를 판단하는 동작을 포함할 수 있다.

도 5는 차량이 주행 참조물의 우측 및 좌측을 주행하는 경우의 영상의 예시도이다.

도 5를 참조하면, 경로 조정부(302)는 인식된 주행 참조물이 차량 기준 좌측에 위치하면, 차량이 주행 참조물의 우측의 도로 상의 위치를 주행하는 것으로 판단하고, 인식된 주행 참조물이 차량 기준 우측에 위치하면 차량이 주행 참조물의 좌측의 도로 상의 위치를 주행하는 것으로 판단할 수 있다.

예를 들어, GPS 장치(20)로부터 제1 도로를 주행하던 중 제1 도로의 우측에 제2 도로로 갈아탈 수 있는 경로 가변 구간으로부터 일정 범위 내에 속함을 나타내는 응답을 수신하고, 카메라(50)로부터 수신한 영상이 나타내는 주행 참조물이 주행 영상의 중심점으로부터 우측에 감지되는 경우에는, 경로 조정부(302)는 차량이 주행 참조물의 좌측 도로인 제1 도로 상의 위치를 주행하는 것으로 판단할 수 있다.

여기서 경로 조정부(302)가 영상으로부터 주행 참조물의 방향이 차량의 좌측인지, 또는 우측인지를 판단하는 것은 다양한 알고리즘을 통해 구현될 수 있다. 경로 조정부(302)는 주행 영상이 나타내는 적어도 하나의 영상 이미지의 너비를 기준으로 중심 x좌표를 산정할 수 있다. 경로 조정부(302)는 영상 이미지의 중심 x좌표와 영상 이미지로부터 탐지된 주행 참조물 객체를 나타내는 모든 픽셀의 x좌표를 비교하여 주행 참조물 객체를 나타내는 모든 픽셀 중 중심 x좌표의 좌측에 위치하는 픽셀 수와 중심 x좌표의 우측에 위치하는 픽셀 수를 카운팅할 수 있다. 경로 조정부(302)는 중심 x좌표보다 x 좌표 값이 크면 중심 x좌표의 우측에 위치하는 픽셀로 카운팅하고, 중심 x좌표보다 x 좌표 값이 작으면 중심 x좌표의 좌측에 위치하는 픽셀로 카운팅할 수 있다. 경로 조정부(302)는 주행 참조물 객체를 나타내는 모든 픽셀 중 중심 x좌표의 오른쪽 픽셀 수와 중심 x좌표의 왼쪽 픽셀 수를 비교하여 카운터 수가 더 많은 쪽을 기준으로 주행 참조물이 차량의 좌측 또는 우측에 위치하였는지를 확인할 수 있다. 예를 들어, 영상 이미지의 모든 픽셀의 x좌표 중 중심 x좌표의 왼쪽에 위치하는 카운터 수가 중심 x좌표의 오른쪽에 위치하는 카운터 수 보다 많은 경우, 경로 조정부(302)는 주행 참조물이 차량의 좌측에 위치하는 것으로 판단하고, 차량은 주행 참조물의 우측으로 주행하는 것으로 판단할 수 있다.

다만 경로 조정부(302)가 주행 참조물이 차량의 좌측에 위치하는지, 또는 우측에 위치하는지를 판단하는 알고리즘은 이에 한정되지 않는다. 예를 들어, 영상의 중심점을 지나는 세로선을 기준으로 주행 참조물이 노면상에 나열된 선의 각도가 차량 기준 우측에 위치하는 것을 나타내는 각도인 경우에는 경로 조정부(302)는 차량이 주행 참조물의 좌측 도로를 주행하는 것으로 판단할 수 있다.

차량이 주행 참조물의 좌측으로 주행하는지, 또는 우측으로 주행하는지에 기초하여 경로 조정부(302)는 차량이 현재 주행 중인 도로가 제1 도로인지, 또는 제2 도로인지를 결정할 수 있다. 예를 들어, 차량이 주행 중인 도로가 제1 도로의 우측에 주행 참조물, 및 제2 도로의 순으로 위치하는 경우, 차량이 제1 도로를 주행 중 차량이 주행 참조물의 우측으로 주행하는 것으로 판단한 경우에는 경로 조정부(302)는 차량의 주행 위치를 제2 도로 상의 위치로 결정할 수 있다.

차량이 제1 도로로부터 제2 도로로 갈아타고자 하는 경우, 차량의 현재 위치가 제1 도로 상인 경우와 차량의 현재 위치가 제2 도로 상인 경우 각각에서 차량의 현재 위치로부터 목적지까지의 최적 경로가 달라질 수 있다.

따라서 차량이 제1 도로를 주행 중인지, 또는 제2 도로를 주행 중인지 결정하면, 경로 조정부(302)는 최적 경로 산출부(301)에 차량의 주행 위치를 나타내는 정보와 함께 경로 재탐색을 요청할 수 있다.

최적 경로 산출부(310)는 경로 재탐색을 요청 받으면, 경로 안내 장치(50)를 통해 차량의 주행 위치가 제1 도로 상의 위치인지 또는 제2 도로 상의 위치인지에 기초하여 현재 위치로부터 목적지까지의 최적 경로를 산출할 수 있다.

도 6a, 도 6b, 도 6c, 및 도 6d는 본 발명의 일 실시예에 따른 입출력부가 제공하는 화면의 예시도이다.

도 6a를 참조하면, 입출력부(10)는 권한 확인 페이지를 나타내는 화면을 제공할 수 있다. 본 발명의 일 실시예에 따른 경로 안내 시스템(1)을 제공하는 애플리케이션이 실행되면, 권한 확인 페이지를 나타내는 화면이 첫 페이지로 제공될 수 있다. 권한 확인 페이지에서는, 카메라(50)의 사진 촬영 허용 여부 확인, 카메라(50)가 촬영한 영상이 저장되는 메모리에의 파일 접근 권한 허용 여부 확인 등을 위한 인터페이스가 출력될 수 있다. 권환 확인 페이지에서는 권한 허용을 나타내는 허용 버튼 및 권한 거부를 나타내는 거부 버튼을 나타내는 인터페이스가 출력될 수 있다.

도 6b를 참조하면, 입출력부(10)는 메인 페이지를 나타내는 화면을 제공할 수 있다. 메인 페이지는 이미지 출력 화면이 출력되고, 탐지 버튼, 사전 이미지 선택 버튼, 선택 버튼, 실시간 버튼 등을 나타내는 인터페이스가 출력될 수 있다.

이미지 출력 화면은, 사전에 삽입된 기본 이미지를 출력하거나, 사전 이미지 선택 버튼에 의해 전환된 이미지, 선택 버튼에 의해 선택된 이미지, 카메라(50)가 촬영한 영상 등을 출력할 수 있다. 이미지 출력 화면은, 탐지 버튼이 선택되어, 출력되어 있는 이미지에 탐지 기능이 수행되면, 탐지 결과가 이미지에 오버레이되어 출력될 수 있다.

탐지 버튼이 선택되면, 이미지 출력 화면에 나타난 이미지로부터 인식 모델을 통해 객체(예를 들어, 주행 참조물) 탐지 기능을 나타내는 신호를 프로세서(30)에 제공할 수 있다.

사전 이미지 선택 버튼이 선택되면, 이미지 출력 화면에 표시되는 이미지가 사전에 삽입된 이미지로 전환될 수 있다.

선택 버튼이 선택되면, 사진 촬영, 메모리(예를 들어, 갤러리 등 파일 저장소)에 저장된 이미지 파일이 선택될 수 있다.

실시간 버튼이 선택되면, 카메라(50)를 통해 실시간으로 촬영된 영상을 이미지 출력 화면에 제공하며, 객체를 탐지하는 기능을 나타내는 신호를 프로세서(30)에 제공할 수 있다.

도 6c를 참조하면, 입출력부(10)는 선택 버튼 팝업 페이지를 나타내는 화면을 제공할 수 있다. 선택 버튼 팝업 페이지는 메인 페이지에서 선택 버튼이 선택되면 메인 페이지에 팝업으로 제공될 수 있다. 선택 버튼이 선택되면, 이미지 선택 버튼, 사진 촬영 버튼, 및 이전 화면 버튼 등을 나타내는 인터페이스가 제공될 수 있다.

이미지 선택 버튼이 선택되면, 프로세서(30)에 의해 메모리에 저장된 이미지 파일을 불러오는 기능이 수행될 수 있다.

사진 촬영 버튼이 선택되면, 카메라(50)를 이용하여 사진을 촬영하고 프로세서(30)에 의해 촬영한 사진을 불러오는 기능이 수행될 수 있다.

이미지 선택 버튼 또는 사진 촬영 버튼이 선택되어 출력되는 이미지는 메인 페이지에 포함된 이미지 출력 화면에 표시될 수 있다.

이전 화면 버튼이 선택되면, 선택 버튼 팝업 페이지가 사라지고 메인 페이지를 나타내는 화면이 제공될 수 있다.

도 6d를 참조하면, 입출력부(10)는 실시간 영상 출력 페이지를 나타내는 화면을 제공할 수 있다.

메인 페이지에서 실시간 버튼이 선택되면, 카메라(50)를 통해 영상이 촬영되고, 실시간으로 객체 탐지가 이루어져 탐지 결과가 이미지 출력 화면에 표시될 수 있다.

도 7은 본 발명의 일 실시예에 따른 경로 안내 방법의 순서도이다.

이하, 상술한 경로 안내 시스템(1)의 동작 중 중복되는 동작에 대한 설명은 생략될 수 있다.

도 7을 참조하면, 프로세서(30)는 경로 안내 장치(60)로부터 경로 가변 구간 정보를 수신할 수 있다(S100).

차량이 복수의 경로 가변 구간 범위 중 하나에 진입하여 GPS 장치(20)로부터 응답을 수신하면(S200), 프로세서(30)는 카메라(50)에 촬영 요청을 전송하고 카메라(50)를 온(ON)시킬 수 있다.

차량이 복수의 경로 가변 구간 범위 중 하나에 진입하여 GPS 장치(20)로부터 응답을 수신하지 않으면(S200), GPS 장치(20)로부터 응답을 수신할 때까지 S200 단계를 반복할 수 있다.

카메라(50)는 주행 영상을 촬영하여(S300), 영상을 프로세서(30)에 송출할 수 있다(S300).

프로세서(30)는 카메라(50)로부터 수신한 영상으로부터 주행 참조물을 감지할 수 있다(S400).

프로세서(30)는 학습된 인식 모델을 이용하여 주행 참조물을 감지하며, 학습된 인식 모델은, 이미지로부터 복수의 주행 참조물 각각을 감지하는 방법이 학습된 모델일 수 있다.

프로세서(30)는 인식한 주행 참조물의 위치가 차량을 중심으로 우측인지, 또는 좌측인지에 따라 차량의 주행 위치를 결정할 수 있다(S500).

S200 단계에서 차량이 진입한 경로 가변 구간이 제1 도로로부터 제1 도로 및 제2 도로로 갈리는 갈림길인 경우에는, 프로세서(30)는 주행 참조물의 위치에 따라 차량이 제1 도로 상의 위치 또는 제2 도로 상의 위치를 주행 중인 것으로 결정할 수 있다.

프로세서(30)는 경로 안내 장치(60)에 주행 위치를 나타내는 정보를 전송하고 차량의 주행 경로의 재탐색을 요청할 수 있다(S600).

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.　

이상을 통해 본 발명의 실시 예에 대하여 설명하였지만, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 취지를 벗어나지 않고 효과를 저해하지 않는 한, 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 다양하게 변경하여 실시할 수 있다. 또한 그러한 실시 예가 본 발명의 범위에 속하는 것은 당연하다.

1 : 경로 안내 시스템
10: 입출력부
20: GPS 장치
30: 프로세서
301: 최적 경로 산출부
302: 경로 조정부
40: 메모리
50: 카메라
60: 경로 안내 장치

Claims (13)

1. 프로세서에 의해 수행되는 경로 안내 방법으로서,
   차량의 경로를 안내하는 경로 안내 장치를 통해 상기 차량의 주행 경로를 탐색하여 경로 안내 서비스를 제공하는 단계;
   상기 차량의 GPS 정보에 기초하여 상기 차량이 경로 가변 구간 범위 내에 진입하는지를 판단하는 단계;
   상기 차량이 상기 경로 가변 구간 범위 내에 진입하면, 상기 차량에 구비된 카메라로부터 촬영된 주행 영상을 수신하는 단계;
   이미지로부터 복수의 볼라드, 노면 표시, 및 충돌 감쇠기를 포함하는 주행 참조물 각각을 감지하도록 학습된 인식 모델을 이용하여 상기 주행 영상으로부터 상기 복수의 주행 참조물 중 하나의 주행 참조물을 감지하는 단계;
   상기 주행 영상 중 상기 하나의 주행 참조물의 위치를 상기 차량의 위치와 비교하여 상기 경로 가변 구간 범위에서의 상기 차량의 주행 위치를 결정하는 단계;
   상기 안내 장치에 상기 주행 위치를 나타내는 정보를 전송하고 차량의 주행위치에 따라 경로 재탐색을 요청 받으면 상기 차량의 주행 경로의 재탐색을 요청하는 단계; 및
   상기 경로 안내 장치의 응답에 기초하여 상기 차량에 경로 안내 서비스를 제공하는 단계;를 포함하되
   상기 경로 가변 구간 범위는,
   상기 차량이 현재 주행 중인 제1 도로로부터 제2 도로로 진입할 수 있는 경로 가변 구간을 기준으로 일정 거리 내의 범위이고,
   상기 주행 위치를 결정하는 단계는,
   상기 하나의 주행 참조물의 위치가 상기 차량의 우측인지 또는 좌측인지에 기초하여 상기 주행 위치를 상기 제1 도로 상의 위치 및 상기 제2 도로 상의 위치 중 하나로 결정하는 단계를
   를 포함하는 경로안내방법.
   
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 주행 위치를 상기 제1 도로 상의 위치 및 상기 제2 도로 상의 위치 중 하나로 결정하는 단계는,
   상기 주행 영상이 나타내는 영상 이미지의 너비를 기준으로 중심 x좌표를 산정하는 단계;
   상기 영상 이미지로부터 탐지된 제1 주행 참조물을 나타내는 모든 픽셀의 x좌표를 상기 중심 x좌표와 비교하여, 상기 모든 픽셀 중 상기 중심 x좌표의 좌측에 위치하는 제1 픽셀 수 및 상기 중심 x좌표의 우측에 위치하는 제2 픽셀 수를 카운팅하는 단계; 및
   상기 제1 픽셀 수 및 상기 제2 픽셀 수를 비교하여 상기 제1 주행 참조물이 상기 차량의 좌측에 위치하는지, 또는 우측에 위치하는지를 판단하는 단계를 포함하는,
   경로안내방법.
   
5. 제1항에 있어서,
   상기 카메라로부터 제1 주행 영상을 수신하는 단계;
   상기 제1 주행 영상으로부터 소정의 단위 주기로 추출한 프레임에 대응하는 복수의 이미지를 추출하는 단계;
   상기 복수의 이미지 중 상기 복수의 주행 참조물 중 적어도 하나를 포함하는 것으로 라벨링된 복수의 제1 이미지를 학습 데이터셋으로 결정하는 단계; 및
   상기 학습 데이터셋에 기초하여 상기 인식 모델에 대하여 이미지로부터 상기 복수의 주행 참조물 각각을 감지하는 방법을 학습시키는 단계를 더 포함하는,
   경로안내방법.
   
6. 제1항에 있어서,
   상기 차량이 소정의 경로 가변 구간 범위 내에 진입하는지를 판단하는 단계는,
   상기 경로 안내 장치로부터 복수의 경로 가변 구간을 나타내는 정보를 수신하고 GPS 장치에 전송하는 단계;
   상기 GPS 장치에 상기 복수의 경로 가변 구간 각각에 진입 시 응답을 요청하는 단계; 및
   상기 GPS 장치로부터 상기 복수의 경로 가변 구간 중 하나에 진입하였음을 응답 받으면, 상기 카메라를 온 시키는 단계를 포함하는,
   경로안내방법.
   
7. 차량의 경로를 안내하는 경로 안내 장치;
   상기 차량의 위치를 감지하여 상기 차량이 소정의 경로 가변 구간 범위 내에 진입하는지를 판단하는 GPS 장치;
   상기 차량에 구비되어 상기 차량의 전방 영상을 촬영하는 카메라; 및
   상기 경로 안내 장치를 통해 상기 차량의 주행 경로를 탐색하여 경로 안내 서비스를 제공하고, 상기 GPS 장치에 상기 차량이 경로 가변 구간 범위 내인지의 확인을 요청하며, 상기 차량이 상기 경로 가변 구간 범위 내에 진입하면 상기 차량에 카메라로부터 촬영된 주행 영상을 수신하고, 이미지로부터 복수의 볼라드, 노면 표시, 및 충돌 감쇠기를 포함하는 주행 참조물 각각을 감지하도록 학습된 인식 모델을 이용하여 상기 주행 영상으로부터 상기 복수의 주행 참조물 중 하나의 주행 참조물을 감지하며,
   상기 주행 영상 중 상기 하나의 주행 참조물의 위치가 상기 차량의 우측인지 또는 좌측인지에 기초하여 주행 위치를 제1 도로 상의 위치 및 제2 도로 상의 위치 중 하나로 결정하고, 상기 안내 장치에 상기 주행 위치를 나타내는 정보를 전송하고 차량의 주행위치에 따라 경로 재탐색을 요청 받으면 상기 차량의 주행 경로의 재탐색을 요청하는 프로세서;를 포함하는 경로 안내 시스템.
   
8. 삭제
9. 삭제
10. 제7항에 있어서,
    상기 프로세서는,
    상기 주행 영상이 나타내는 영상 이미지의 너비를 기준으로 중심 x좌표를 산정하고, 상기 영상 이미지로부터 탐지된 제1 주행 참조물을 나타내는 모든 픽셀의 x좌표를 상기 중심 x좌표와 비교하여, 상기 모든 픽셀 중 상기 중심 x좌표의 좌측에 위치하는 제1 픽셀 수 및 상기 중심 x좌표의 우측에 위치하는 제2 픽셀 수를 카운팅하며, 상기 제1 픽셀 수 및 상기 제2 픽셀 수를 비교하여 상기 제1 주행 참조물이 상기 차량의 좌측에 위치하는지, 또는 우측에 위치하는지를 판단하는,
    경로 안내 시스템.
    
11. 제7항에 있어서,
    상기 프로세서는,
    상기 카메라로부터 제1 주행 영상을 수신하고, 상기 제1 주행 영상으로부터 소정의 단위 주기로 추출한 프레임에 대응하는 복수의 이미지를 추출하며, 상기 복수의 이미지 중 상기 복수의 주행 참조물 중 적어도 하나를 포함하는 것으로 라벨링된 복수의 제1 이미지를 학습 데이터셋으로 결정하고, 상기 학습 데이터셋에 기초하여 상기 인식 모델에 대하여 이미지로부터 상기 복수의 주행 참조물 각각을 감지하는 방법을 학습시키는,
    경로 안내 시스템.
    
12. 제7항에 있어서,
    상기 프로세서는,
    상기 경로 안내 장치로부터 복수의 경로 가변 구간을 나타내는 정보를 수신하고 상기 GPS 장치에 전송하며, 상기 GPS 장치에 상기 복수의 경로 가변 구간 각각에 진입 시 응답을 요청하고, 상기 GPS 장치로부터 상기 복수의 경로 가변 구간 중 하나에 진입하였음을 응답 받으면, 상기 카메라를 온 시키는,
    경로 안내 시스템.
    
13. 삭제

Images