KR20170048029A - 딥 러닝 기반 도로 정보 제공 방법 및 장치 - Google Patents

딥 러닝 기반 도로 정보 제공 방법 및 장치 Download PDF

Info

Publication number
KR20170048029A
KR20170048029A KR1020150148881A KR20150148881A KR20170048029A KR 20170048029 A KR20170048029 A KR 20170048029A KR 1020150148881 A KR1020150148881 A KR 1020150148881A KR 20150148881 A KR20150148881 A KR 20150148881A KR 20170048029 A KR20170048029 A KR 20170048029A
Authority
KR
South Korea
Prior art keywords
road
information
vehicle
image
deep learning
Prior art date
Application number
KR1020150148881A
Other languages
English (en)
Other versions
KR101797818B1 (ko
Inventor
조용진
Original Assignee
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오토에버 주식회사 filed Critical 현대오토에버 주식회사
Priority to KR1020150148881A priority Critical patent/KR101797818B1/ko
Publication of KR20170048029A publication Critical patent/KR20170048029A/ko
Application granted granted Critical
Publication of KR101797818B1 publication Critical patent/KR101797818B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 차량으로부터 GPS(DGPS) 신호 및 상기 차량이 운행 중인 제1 도로에 대한 영상 정보를 수신하는 단계, 상기 수신된 GPS(DGPS) 신호에 기초하여 상기 제1 도로의 위치 정보를 판단하는 단계, 상기 제1 도로에 대한 영상 정보와 도로 별로 설정된 딥 러닝 모델에 기반하여 상기 판단된 제1 도로의 위치 정보를 검증하는 단계 및 상기 제1 도로의 위치 정보가 검증되면, 상기 제1 도로의 위치 정보에 따라 상기 제1 도로에 대한 정보를 상기 차량으로 전송하는 단계를 포함하는 딥 러닝 기반 도로 정보 제공 방법을 제공한다.

Description

딥 러닝 기반 도로 정보 제공 방법 및 장치{APPARATUS AND METHOD FOR PROVIDING ROAD INFORMATION BASED ON DEEP LEARNIG}
본 발명은 딥 러닝 기반 도로 정보를 제공하는 기술에 관한 것이다.
최근에는 차량이 스스로 주변 환경을 인식하여 운전자의 조작 없이 자율적으로 주행하는 자율 운전 기술이 개발되고 있다. 이러한 자율 주행 차량에서는 차량 스스로 주변 환경을 인식하게 되므로, 차량의 주변 환경에 대한 인식은 자율 운행의 성능은 물론 운전자의 안전과도 밀접한 연관이 된다.
또한, 자율 주행 이외에도 차량에 적용되는 다양한 안전 시스템에서 주변 환경을 인식하는 기술이 이용됨에 따라 주변 환경을 인식하기 위한 기술의 수요는 나날이 증가하고 있다.
다만, 현재 적용되고 있는 차량에서 주변 환경을 인식하는 기술에 있어서는 탐지 가능 영역, 정밀도, 신뢰도 및 계산량 등에 있어서 성능 개선이 요구된다. 구체적으로, 현재 적용되는 주변 환경 인식 기술은 저 레벨과 중간 레벨의 특징(feature)들이 혼합되어 있는 경우나 특정 상황에 대한 인식률이 떨어지는 등 복합 상황 인식에 한계가 있다.
또한, 모든 영상에 같은 이미지 피라미드(image pyramid) 및 스케일 스페이스(scale space) 및 마스크 디텍터(mask detector)를 통해 주변 환경에 대한 인식을 수행하므로 많은 계산량과 정확도의 한계가 있다.
이러한 배경에서, 본 발명의 목적은, 일 측면에서, 차량에서 센서를 통해 획득한 정보를 이용하여 딥 러닝 기반으로 차량이 운행 중인 도로에 대한 도로 정보를 제공하는 기술에 관한 것이다.
다른 측면에서, 본 발명의 목적은, GPS(Global Positioning System)(DGPS)(Differential GPS) 신호를 통해 판단한 차량의 위치 정보를 검증함으로써 보다 정확하게 차량의 위치를 판단하고, 판단된 차량의 위치에 따라 주변 상황 인식에 이용되는 영상 정보의 스케일을 조정하는 기술을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 차량으로부터 GPS(DGPS) 신호 및 상기 차량이 운행 중인 제1 도로에 대한 영상 정보를 수신하는 단계, 상기 수신된 GPS(DGPS) 신호에 기초하여 상기 제1 도로의 위치 정보를 판단하는 단계. 상기 제1 도로에 대한 영상 정보와 도로 별로 설정된 딥 러닝 모델에 기반하여 상기 판단된 제1 도로의 위치 정보를 검증하는 단계 및 상기 제1 도로의 위치 정보가 검증되면, 상기 제1 도로의 위치 정보에 따라 상기 제1 도로에 대한 정보를 상기 차량으로 전송하는 단계를 포함하는 딥 러닝 기반 도로 정보 제공 방법을 제공한다.
다른 측면에서, 본 발명은, 차량으로부터 GPS(DGPS) 신호 및 상기 차량이 운행 중인 제1 도로에 대한 영상 정보를 수신하는 통신부, 상기 수신된 GPS(DGPS) 신호에 기초하여 상기 제1 도로의 위치 정보를 판단하는 판단부, 상기 제1 도로에 대한 영상 정보와 도로 별로 설정된 딥 러닝 모델에 기반하여 상기 판단된 제1 도로의 위치 정보를 검증하고, 상기 제1 도로의 위치 정보가 검증되면, 상기 제1 도로의 위치 정보에 따라 상기 제1 도로에 대한 정보를 상기 통신부를 통해 상기 차량으로 전송하는 검증부를 포함하는 딥 러닝 기반 도로 정보 제공 장치를 제공한다.
도 1은 본 발명의 일 실시예에 따른 도로 정보 제공 장치의 구조도이다.
도 2는 본 발명의 일실시예에 따른 도로 정보 제공 장치 및 차량과의 관계를 도식화한 도면이다.
도 3은 본 발명의 일실시예에 따른 도로 정보 제공 방법의 흐름도이다.
도 4는 본 발명의 일실시예에 따른 도로의 위치 정보를 검증하는 방법의 흐름도이다.
도 5는 본 발명의 일실시예에 따른 주변 환경 인식을 위한 영상의 스케일을 조정하는 방법의 흐름도이다.
도 6a 내지 도 6c는 본 발명의 일실시예에 따른 수신된 도로 정보에 따라 스케일이 조정된 주변 환경 인식을 위한 영상을 도시한다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 도로 정보 제공 장치의 구조도이다.
본 발명의 일 실시예에 따르면, 도로 정보 제공 장치(100)는 통신부(110), 판단부(120), 검증부(130) 및 저장부(140)를 포함할 수 있다.
일 실시예에 따르면, 통신부(110)는 차량으로부터 GPS(DGPS) 신호 및 상기 차량이 운행 중인 제1 도로에 대한 영상 정보를 수신할 수 있다. 상기 차량은 GPS(DGPS) 수신부를 통하여 GPS(DGPS) 신호를 수신하고, 주변 환경을 인식하기 위한 적어도 하나의 센서를 통하여 제1 도로에 대한 영상 정보를 획득할 수 있다. 상기 차량은 상기 제1 도로에 대한 보다 정확한 정보를 수신하기 위하여 도로 정보 제공 장치(100)로 상기 GPS(DGPS) 신호 및 제1 도로에 대한 영상 정보를 송신할 수 있다. 상기 적어도 하나의 센서는 영상 센서(예: 카메라 등), 레이더, 라이더 등을 포함할 수 있다.
일 실시예에 따르면, 판단부(120)는 수신된 GPS(DGPS) 신호에 기초하여 차량이 운행 중인 제1 도로의 위치 정보를 판단할 수 있다. 상기 판단부(120)는 GPS(DGPS) 신호에 기초하여 판단된 제1 도로의 위치 정보를 이용하여 상기 제1 도로의 종류를 더 판단할 수 있다. 도로의 종류는 도로의 위치에 기초하여 설정되어 있으며, 각 도로 별 설정된 도로의 종류에 대한 정보는 저장부(140)에 저장될 수 있다.
저장부(140)는 도로 별로 도로의 종류, 도로의 제한 속도 등과 같은 도로에 관련된 정보 및 도로 별로 설정된 딥 러닝 모델(Deep Learning Model)을 저장한다. 도로 별로 설정된 딥 러닝 모델은 영상 정보를 통해 차량이 운행 중인 도로의 위치 정보 및 도로의 종류 중 적어도 하나를 판단하기 위한 정보 처리 알고리즘일 수 있다. 상기 딥 러닝 모델은 저장부(140)에 저장된 복수의 도로들에 대한 영상 정보에 기초하여 학습되거나 업데이트 된다. 이러한 딥 러닝 모델으로는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Newtwork) 등의 알고리즘이 이용된다. 또한, 저장부(140)는 도로에 관련된 정보는 도로의 위치 정보와 연관시켜 저장한다.
일 실시예에 따르면, 검증부(130)는 차량으로부터 수신한 제1 도로에 대한 영상 정보와 도로 별로 설정된 딥 러닝 모델에 기반하여 판단부(120)에서 판단된 제1 도로의 위치 정보를 검증할 수 있다. 판단부(120)에서는 GPS(DGPS) 신호를 이용하여 제1 도로의 위치 정보를 판단하기 때문에, GPS(DGPS) 신호를 수신할 시의 기상 상황과 GPS(DGPS) 신호를 통해 위치 정보 확인이 어려운 지역(예: 군사 지역, 개인 사유지 등)을 차량이 운행 중인 경우에는 GPS(DGPS) 신호를 통해 판단된 제1 도로의 위치 정보가 부정확하다. 따라서, 보다 정확한 제1 도로의 위치를 결정하기 위하여 판단부(120)에서 판단된 제1 도로의 위치 정보를 검증할 필요가 있다.
또한, 검증부(130)는 제1 도로의 위치 정보 뿐만 아니라 판단부(120)에서 판단된 제1 도로의 종류, 제1 도로의 제한 속도 등 제1 도로에 관련된 정보 역시 검증할 수 있다. 판단된 도로의 종류에 따라 차량에서 주변 상황을 인식하기 위한 영상의 스케일을 조정하게 되므로, 도로의 종류에 대한 판단 역시 정확하게 수행될 필요가 있다. 따라서, 검증부(130)는 제1 도로의 위치 정보 뿐만 아니라 제1 도로에 관련된 정보 역시 검증할 수 있다.
일 실시예에 따르면, 검증부(130)는 저장부(140)에 저장된 복수의 도로들에 대한 영상 정보 중 상기 제1 도로의 위치 정보에 대응하는 제1 영상 정보를 검색할 수 있다. 검증부(130)는 판단부(120)에서 판단된 도로의 위치 정보에 대응하는 제1 영상 정보를 이용하여 판단부(120)에서 판단된 도로의 위치 정보에 대한 정확성을 검증한다.
또한, 검증부(130)는 저장부(140)에 저장된 도로 별로 설정된 딥 러닝 모델들 중에서 제1 도로의 위치 정보에 대응하는 제1 딥 러닝 모델을 검색할 수 있다. 위에서 설명한 바와 같이, 딥 러닝 모델은 영상 정보를 통해 차량이 운행 중인 도로의 위치 정보 및 도로의 종류 중 적어도 하나를 처리하기 위한 정보 처리 알고리즘으로서, 도로 별로 상이하게 설정된다.
검증부(130)는 검색된 제1 영상 정보를 제1 딥 러닝 모델에 적용하고, 상기 적용 결과와 차량으로부터 수신된 제1 도로에 대한 영상 정보를 비교할 수 있다. 검증부(130)는 상기 비교 결과를 통하여 판단부(120)에 의하여 판단된 제1 도로의 위치 정보가 정확한 위치 정보 인지를 검증할 수 있다.
예를 들어, 검증부(130)는 제1 영상 정보를 제1 딥 러닝 모델에 적용한 결과와 상기 제1 도로에 대한 영상 정보를 비교함으로써, 상기 적용 결과에 포함된 제1 도로에 관련된 적어도 하나의 특징 정보가 상기 제1 도로에 대한 영상 정보에 포함되는지 여부를 판단할 수 있다. 검증부(130)는 제1 도로에 관련된 적어도 하나의 특징 정보가 상기 제1 도로에 대한 영상 정보에 포함되어 있는 경우, 판단부(120)에 의해서 판단된 제1 도로의 위치 정보가 정확한 것으로 검증하고, 적어도 하나의 특징 정보가 상기 제1 도로에 대한 영상 정보에 포함되어 있지 않은 경우, 판단부(120)에 의해서 판단된 제1 도로의 위치 정보가 정확하지 않은 것으로 검증할 수 있다.
아울러, 검증부(130)는 상기 적용 결과 뿐만 아니라, 판단부(120)에 의하여 판단된 제1 도로의 위치 정보에 대응하는 지도 정보, 차량으로부터 추가적으로 수신한 주행/환경 정보 및 V2X(Vehicle To Everything) 정보 중 적어도 하나를 이용하여 보다 정확하게 제1 도로의 위치 정보를 검증할 수 있다.
또한, 상기 검증부(130)는 상기 제1 도로의 위치 정보가 정확한 것으로 검증되고, 상기 제1 도로에 대한 영상 정보에 상기 적용 결과에 포함된 제1 도로에 대한 적어도 하나의 특징 정보와 다른 특징 정보가 존재하는 경우, 상기 다른 특징 정보가 상기 적용 결과에 포함될 수 있도록 상기 제1 딥 러닝 모델을 학습시키거나 업데이트한다. 이를 통하여, 도로의 주변 환경이 변화되는 경우 변화되는 주변 환경에 대한 정보가 딥 러닝 모델을 통해 학습되거나 업데이트 될 수 있다.
일 실시예에서, 검증부(130)는 제1 도로의 위치 정보가 검증되면, 제1 도로의 위치 정보에 따라 제1 도로에 대한 정보를 차량으로 전송할 수 있다. 검증부(130)는 제1 도로의 위치 정보에 따라 저장부(140)에 저장된 복수의 도로들에 대한 정보들 중 제1 도로의 위치 정보에 대응하는 정보를 검색하고, 검색된 제1 도로에 대한 정보를 차량으로 전송할 수 있다.
또한, 검증부(130)는 제1 도로의 위치 정보 뿐만 아니라 판단부(120)에 의해서 판단된 제1 도로의 종류 역시 검증되는 경우, 제1 도로의 위치 정보 및 도로의 종류에 따라 제1 도로에 대한 정보를 검색하고, 검색된 제1 도로에 대한 정보를 차량으로 전송할 수 있다.
이러한 제1 도로에 대한 정보는 차량이 자율 운행 또는 안전 시스템의 동작을 위하여 차량이 복수의 센서를 통하여 획득하는 운행 중인 제1 도로에 대한 영상 정보의 스케일에 대한 정보이다. 차량은 상기 제1 도로에 대한 정보에 기초하여, 제1 도로에 대한 영상 정보의 스케일을 조정할 수 있으며, 이를 통하여 제1 도로에 대한 영상 정보를 통해 주변 환경에 대한 인식의 정확도에는 영향을 주지 않으면서도 주변 환경을 인식하는 데에 소요되는 계산량이 감소된다.
일 실시예에서, 검증부(130)는 판단부(120)에 의해 판단된 제1 도로의 위치 정보가 검증되지 않으면, 제1 도로에 대한 영상 정보를 제1 딥 러닝 모델에 적용하여 제1 도로의 위치 정보를 보정할 수 있다. 예를 들어, 검증부(130)는 제1 도로의 보다 정확한 위치를 결정하기 위하여, 차량으로부터 수신한 제1 도로에 대한 영상 정보를 제1 딥 러닝 모델에 적용할 수 있다. 검증부(130)는 제1 도로에 대한 영상 정보를 제1 딥 러닝 모델에 적용한 결과에 포함된 도로를 판단하기 위한 적어도 하나의 특징 정보를 통해 판단부(120)에 의해 판단된 제1 도로의 위치 정보를 보정할 수 있다.
아울러, 판단부(120)에 의해 판단된 제1 도로의 위치 정보가 실제 제1 도로의 위치 정보와 오차가 큰 경우, 검색된 제1 딥 러닝 모델과는 다른 딥 러닝 모델이 적용되어야 할 수도 있다. 이에 따라, 검증부(130)는 보정된 제1 도로의 위치 정보를 재차 검증하고, 검증 결과에 따라 제1 딥 러닝 모델과는 다른 딥 러닝 모델의 적용 여부를 결정한다. 예를 들어, 검증부(130)는 보정된 제1 도로의 위치 정보 역시 정확한 위치 정보로 검증되지 않는 경우, 상기 보정된 제1 도로의 위치 정보를 기준으로 주변 도로에 설정된 적어도 하나의 딥 러닝 모델을 확인한다. 검증부(130)는 확인된 적어도 하나의 딥 러닝 모델 중 하나의 딥 러닝 모델을 선택하여 제1 도로의 위치 정보가 정확한 도로의 위치 정보로 검증될 때까지 계속하여 검증 과정을 수행한다.
검증부(130)는 이와 같이 보정된 제1 도로의 위치 정보가 검증되는 경우, 보정된 제1 도로의 위치 정보에 따라 제1 도로에 대한 정보를 차량으로 전송할 수 있다. 아울러, 검증부(130)는 판단부(120)에 의해 판단된 제1 도로의 종류 역시 동일한 방법으로 검증하고 보정할 수 있다.
이와 같이 도로 정보 제공 장치(100)는 차량으로부터 수신되는 GPS(DGPS) 신호 및 차량이 운행 중인 제1 도로에 대한 영상 정보를 이용하여 제1 도로에 대한 보다 정확한 위치 정보를 판단 및 검증하고, 판단 및 검증된 제1 도로의 위치 정보에 대응되는 제1 도로에 관련된 정보를 차량으로 전송한다. 이에 따라 차량은 주변 환경을 인식하기 위한 영상의 스케일을 조정하더라도 정확도에 영향 없이 주변 환경에 대한 인식을 수행할 수 있으며, 스케일이 조정됨에 따라 주변 환경을 인식하기 위한 계산량이 감소된다.
도 2는 본 발명의 일실시예에 따른 도로 정보 제공 장치 및 차량과의 관계를 도식화한 도면이다.
도 2를 참조하면, 차량(200)은 주변 환경에 대한 인식을 수행하기 위하여 레이더(210), 라이더(211) 및 영상 센서(212)를 통하여 운행 중인 제1 도로에 대한 영상 정보를 획득한다. 또한, 차량은 제1 도로의 위치 정보를 판단하기 위하여 GPS(DGPS) 수신부(213)를 통해 위성으로부터 GPS(DGPS) 신호를 수신한다.
차량(200)에 포함된 처리부(220)는 레이더(210), 라이더(211) 및 영상 센서(212)를 통하여 획득된 제1 도로에 대한 영상 정보 및 GPS(DGPS) 수신부(213)를 통해 수신한 GPS(DGPS) 신호를 처리한다. 처리부(220)는 제1 도로에 대한 정보를 수신하기 위하여 도로 정보 제공 장치(100)로 상기 제1 도로에 대한 영상 정보 및 GPS(DGPS) 신호를 전송한다. 또한, 처리부(220)는 보다 정확하게 도로 정보를 제공받기 위하여 상기 도로 정보 제공 장치(100)로 현재 차량(200)의 주행/환경 정보 및 V2X 정보를 도로 정보 제공 장치(100)로 추가적으로 전송할 수 있다. 도로 정보 제공 장치(100)가 수신된 제1 도로에 대한 영상 정보 및 GPS(DGPS) 신호를 이용하여 차량(200)으로 정보를 제공하는 방법에 대해서는 도 1에서 설명한 것과 동일하므로 별도의 설명은 생략하도록 한다.
또한, 처리부(220)는 자체적으로 주변 환경에 대한 인식을 수행하기 위하여 제1 도로에 대한 영상 정보 및 GPS(DGPS) 신호를 차량(200)에 포함된 장애물(보행자) 인식부(230), 교통 신호 인식부(231) 및 주차선/차선 인식부(232)로 전달할 수 있다. 장애물(보행자) 인식부(230), 교통 신호 인식부(231) 및 주차선/차선 인식부(232)는 주변 상황을 인식하기 위한 여러 종류의 인식부를 설명하기 위한 일 예일 뿐, 이에 제한되는 것은 아니며, 자율 주행 또는 차량에 적용된 다양한 안전 시스템의 동작을 위해 요구되는 다양한 인식부가 차량(200)에 포함될 수 있다.
장애물(보행자) 인식부(230), 교통 신호 인식부(231) 및 주차선/차선 인식부(232)는 처리부(220)를 통하여 전달받은 제1 도로에 대한 영상 정보 및 GPS(DGPS) 신호를 이용하여 장애물(보행자), 교통 신호 및 주차선/차선을 인식한 결과를 차량(200)에 포함된 통합 상황 인식부(240)로 전달한다.
통합 상황 인식부(240)는 각 인식부를 통해 수행된 인식 결과에 기초하여 차량(200)의 주변 환경을 통합적으로 인식하며, 상기 인식 결과에 따라 차량(200)의 자율 운행 시스템 또는 각종 안전 시스템에 전달한다.
통합 상황 인식부(240)는 주변 환경에 대한 인식을 위하여 딥 러닝 로직(241)을 포함한다. 딥 러닝 로직(241)은 주변 상황을 인식하기 위하여 이용되는 정보 처리 알고리즘으로서, 도로 별로 각기 다른 변수의 형태를 통해 주변 상황을 인식하기 위한 정보 처리 알고리즘이다.
예를 들어, 통합 상황 인식부(240)는 딥 러닝 로직(241)을 통해 도로 정보 제공 장치(100)로부터 수신한 운행 중인 제1 도로에 대한 정보를 이용하여 다른 스케일의 이미지 피라미드(Image Pyramid), 스케일 스페이스(Scale Space) 및 마스크 디텍터(mask detector)를 통해 주변 상황 인식을 위한 계산량을 감소시킬 수 있다. 또한, 딥 러닝 로직(241)을 통해 주변 상황 인식 결과에 대한 정밀도 및 신뢰도를 향상시킬 수 있다.
예를 들어, 통합 상황 인식부(240)는 수신한 제1 도로에 대한 정보를 이용하여 주변 상황을 인식하기 위해 이용되는 영상의 스케일을 조정할 수 있다. 예를 들어, 상기 제1 도로가 도심에 위치한 도로인 경우, 통합 상황 인지부(240)는 제1 도로에 대한 정보에 기초하여 주변 상황을 인식하기 위해 이용되는 영상의 스케일을 최대로 조정할 수 있다.
이에 반하여, 상기 제1 도로가 고속도로인 경우, 통합 상황 인지부(240)는 제1 도로에 대한 정보에 기초하여 주변 상황을 인식하기 위해 이용되는 영상의 스케일을 최소로 조정할 수 있다.
이와 같이, 통합 상황 인지부(240)는 수신되는 제1 도로에 대한 정보에 기초하여 주변 상황을 인식하기 위해 이용되는 영상의 스케일을 조정하고, 이에 따라 정확도에 영향 없이 주변 상황을 인식하기 위해 소요되는 계산량을 감소시킬 수 있다.
또한, 딥 러닝 로직(241)을 통한 주변 상황 인식은 차량(200) 내 자원을 통한 병렬 컴퓨팅을 통해 수행됨으로써, 주변 상황 인식을 위한 계산 속도가 향상될 수 있다. 병렬 컴퓨팅 알고리즘은 GPGPUs, MPI, OpenMP, Open CL 등이 사용될 수 있다. 아울러, 미니-배치(mini-batch)를 통해 계산 시간을 줄일 수도 있다.
보다 구체적으로 딥 러닝 로직(241)을 딥 러닝 로직(241)의 한 예인 CNN을 중심으로 설명하도록 한다. CNN에서는, 대용량 학습 데이터를 이용하여 각 장소에 따라 최적의 레이어(Layer)와 노드(node)의 갯수를 정한다. 또한, 뉴런들의 로컬 연결성(local connectivity)과 변수 공유(parameter sharing)를 통해 변수 갯수를 줄일 수 있다. 아울러, 깊이(depth), 스트라이드(stride) 및 제로-패딩(zero-padding)이라는 세가지 하이퍼 파라미터를 이용하여 출력 볼륨의 크기 역시 조절할 수 있다. 이와 같이 딥 러닝 로직(241)을 통해 주변 상황 인식을 위하여는 sigmoid, linear, softmax, tanh, rectrifier 등이 사용될 수 있으며, 풀링(Pooling)은 평균 풀링(average pooling), LP-norm 풀링(1≤p≤∞) 등이 사용될 수 있다. 아울러, 과적합을 피하기 위해 Weight decay, Weight sharing, Early stopping, Model averaging(ensemble), Drop-out, Pre-training(good initialization), Adding noise to training data, Bayesian 등의 방법이 사용될 수 있다.
도 3은 본 발명의 일실시예에 따른 도로 정보 제공 방법의 흐름도이다.
도 3을 참조하면, 도로 정보 제공 장치(100)는 차량(200)으로부터 GPS(DGPS) 신호 및 상기 차량이 운행 중인 제1 도로에 대한 영상 정보를 수신할 수 있다(S310). 상기 차량은 상기 제1 도로에 대한 보다 정확한 정보를 수신하기 위하여 도로 정보 제공 장치(100)로 상기 GPS(DGPS) 신호 및 제1 도로에 대한 영상 정보를 송신할 수 있다.
S320 단계에서, 도로 정보 제공 장치(100)는 수신된 GPS(DGPS) 신호에 기초하여 차량이 운행 중인 제1 도로의 위치 정보를 판단할 수 있다. 도로 정보 제공 장치(100)는 GPS(DGPS) 신호에 기초하여 판단된 제1 도로의 위치 정보를 이용하여 상기 제1 도로의 종류를 더 판단할 수 있다. 도로의 종류는 도로의 위치에 기초하여 설정되어 있으며, 각 도로 별 설정된 도로의 종류에 대한 정보는 도로 정보 제공 장치(100) 내의 저장부(140)에 저장될 수 있다.
S330 단계에서, 도로 정보 제공 장치(100)는 차량으로부터 수신한 제1 도로에 대한 영상 정보와 도로 별로 설정된 딥 러닝 모델에 기반하여 판단부(120)에서 판단된 제1 도로의 위치 정보를 검증할 수 있다. GPS(DGPS) 신호를 수신할 시의 기상 상황과 GPS(DGPS) 신호를 통해 위치 정보 확인이 어려운 지역(예: 군사 지역, 개인 사유지 등)을 차량이 운행 중인 경우에는 GPS(DGPS) 신호를 통해 판단된 제1 도로의 위치 정보가 부정확하다. 따라서, 보다 정확한 제1 도로의 위치를 결정하기 위하여 GPS(DGPS) 신호에 기초하여 판단된 제1 도로의 위치 정보를 검증할 필요가 있다.
S340 단계에서, 도로 정보 제공 장치(100)는 제1 도로의 위치 정보가 검증되면, 제1 도로의 위치 정보에 따라 제1 도로에 대한 정보를 차량으로 전송할 수 있다. 도로 정보 제공 장치(100)는 제1 도로의 위치 정보에 따라 저장부(140)에 저장된 복수의 도로들에 대한 정보들 중 제1 도로의 위치 정보에 대응하는 정보를 검색하고, 검색된 제1 도로에 대한 정보를 차량으로 전송할 수 있다.
이러한 제1 도로에 대한 정보는 차량이 자율 운행 또는 안전 시스템의 동작을 위하여 차량이 복수의 센서를 통하여 획득하는 운행 중인 제1 도로에 대한 영상 정보의 스케일에 대한 정보이다. 차량은 상기 제1 도로에 대한 정보에 기초하여, 제1 도로에 대한 영상 정보의 스케일을 조정할 수 있으며, 이를 통하여 제1 도로에 대한 영상 정보를 통해 주변 환경에 대한 인식의 정확도에는 영향을 주지 않으면서도 주변 환경을 인식하는 데에 소요되는 계산량이 감소된다.
도 4는 본 발명의 일실시예에 따른 도로의 위치 정보를 검증하는 방법의 흐름도이다.
도 4를 참조하면, S410 단계에서, 도로 정보 제공 장치(100)는 저장부(140)에 저장된 복수의 도로들에 대한 영상 정보 중 상기 제1 도로의 위치 정보에 대응하는 제1 영상 정보를 검색할 수 있다.
S420 단계에서, 도로 정보 제공 장치(100)는 저장부(140)에 저장된 도로 별로 설정된 딥 러닝 모델들 중에서 제1 도로의 위치 정보에 대응하는 제1 딥 러닝 모델을 검색할 수 있다. 딥 러닝 모델은 영상 정보를 통해 차량이 운행 중인 도로의 위치 정보 및 도로의 종류 중 적어도 하나를 처리하기 위한 정보 처리 알고리즘으로서, 도로 별로 상이하게 설정된다.
S430 단계에서, 도로 정보 제공 장치(100)는 제1 영상 정보를 제1 딥 러닝 모델에 적용하고, 상기 적용 결과와 차량으로부터 수신된 제1 도로에 대한 영상 정보를 비교할 수 있다.
S440 단계에서, 도로 정보 제공 장치(100)는 상기 비교 결과가 상기 제1 도로에 대한 영상 정보에 대응되는지 여부를 판단할 수 있다. 예를 들어, 도로 정보 제공 장치(100)는 제1 영상 정보를 제1 딥 러닝 모델에 적용한 결과와 상기 제1 도로에 대한 영상 정보를 비교함으로써, 상기 적용 결과에 포함된 제1 도로에 관련된 적어도 하나의 특징 정보가 상기 제1 도로에 대한 영상 정보에 포함되는지 여부를 판단할 수 있다.
S450 단계에서, 도로 정보 제공 장치(100)는 상기 비교 결과가 상기 제1 도로에 대한 영상 정보에 대응되는 경우, 제1 도로의 위치 정보가 정확한 것으로 검증된 것으로 판단하고, 제1 도로의 위치 정보에 따라 제1 도로에 대한 정보를 차량으로 전송할 수 있다.
S460 단계에서, 도로 정보 제공 장치(100)는 상기 비교 결과가 상기 제1 도로에 대한 영상 정보에 대응되지 않은 경우, 제1 도로의 위치 정보가 정확하지 않으므로, 검증되지 않은 것으로 판단하고, 제1 도로에 대한 영상 정보를 제1 딥 러닝 모델에 적용하여 제1 도로의 위치 정보를 보정할 수 있다.
또한, 도로 정보 제공 장치(100)는 보정된 제1 도로의 위치 정보를 재차 검증하고, 검증 결과에 따라 제1 딥 러닝 모델과는 다른 딥 러닝 모델의 적용 여부를 결정한다. 도로 정보 제공 장치(100)는 보정된 제1 도로의 위치 정보 역시 정확한 위치 정보로 검증되지 않는 경우, 상기 보정된 제1 도로의 위치 정보를 기준으로 주변 도로에 설정된 적어도 하나의 딥 러닝 모델을 확인한다. 도로 정보 제공 장치(100)는 확인된 적어도 하나의 딥 러닝 모델 중 하나의 딥 러닝 모델을 선택하여 제1 도로의 위치 정보가 정확한 도로의 위치 정보로 검증될 때까지 계속하여 검증 과정을 수행한다.
도 5는 본 발명의 일실시예에 따른 주변 환경 인식을 위한 영상의 스케일을 조정하는 방법의 흐름도이다.
도 5를 참조하면, S510 단계에서, 차량(200)은 복수의 센서들을 통해 획득한 운행 중인 제1 도로에 대한 영상 정보 및 GPS(DGPS) 수신부를 통해 수신한 GPS(DGPS) 신호를 도로 정보 제공 장치(100)로 전송할 수 있다. 차량(200)은 운행 중인 도로에 대해 보다 정확한 정보를 수신하기 위하여 도로 정보 제공 장치(100)로 제1 도로에 대한 영상 정보 및 GPS(DGPS) 신호를 전송할 수 있다.
S520 단계에서, 차량(200)은 도로 정보 제공 장치(200)(100)가 상기 제1 도로에 대한 영상 정보 및 GPS(DGPS) 신호를 이용하여 판단한 제1 도로에 대한 정보를 수신할 수 있다. 제1 도로에 대한 정보는 차량(200)이 자율 운행 또는 안전 시스템의 동작을 위하여 차량이 복수의 센서를 통하여 획득하는 운행 중인 제1 도로에 대한 영상 정보의 스케일에 대한 정보이다.
S530 단계에서, 차량(200)은 수신된 제1 도로에 대한 정보를 이용하여 차량(200)이 현재 운행 중인 제1 도로의 위치 및 제1 도로의 종류를 확인할 수 있다.
S540 단계에서, 차량(200)은 미리 설정된 주변 환경을 인식하기 위한 영상의 복수의 스케일들 중 확인된 제1 도로의 위치 및 제1 도로의 종류에 대응하는 제1 스케일을 확인할 수 있다.
주변 환경을 인식하기 위한 영상의 복수의 스케일들은 제1 도로의 위치 및 제1 도로의 종류 별로 다양하게 설정될 수 있다. 예를 들어, 제1 도로가 도심에 위치한 도로인 경우, 주변 환경을 인식하기 위한 영상의 스케일은 최댓값으로 설정될 수 있고, 제1 도로가 고속 도로이거나 도심 외곽의 도로인 경우, 주변 환경을 인식하기 위한 영상의 스케일은 최솟값으로 설정될 수 있다. 이와 같이, 주변 환경에 따라 주변 환경을 인식하기 위하여 파악해야 할 특징 정보가 차이가 있을 수 있으며, 이러한 주변 환경의 특징에 기초하여 주변 환경을 인식하기 위한 영상의 스케일이 미리 설정되어 저장될 수 있다.
S550 단계에서, 차량(200)은 주변 환경을 인식하기 위한 영상의 스케일을 확인된 제1 스케일로 조정할 수 있다.
도 6a 내지 도 6c는 본 발명의 일실시예에 따른 수신된 도로 정보에 따라 스케일이 조정된 주변 환경 인식을 위한 영상을 도시한다.
도 6a 내지 도 6c를 참조하면, 수신된 도로 정보에 따라 스케일이 조정된 주변 환경 인식을 위한 영상을 도시한다. 이하에서는, 설명의 편의를 위하여 도 6a에서는 주변 환경을 인식하기 위해 파악해야 할 특징 정보가 제일 많고, 도 6b에서는 주변 환경을 인식하기 위해 파악해야 할 특징 정보가 도 6a에서보다 적으며, 도 6c에서는 주변 환경을 인식하기 위해 파악해야 할 특징 정보가 제일 적은 것으로 상정하도록 한다.
차량(200)은 도로 정보 제공 장치(100)로 부터 수신한 차량(200)이 운행 중인 제1 도로에 대한 정보에 기초하여, 제1 도로의 위치 및 제1 도로의 종류를 확인할 수 있다. 차량(200)은 확인된 제1 도로의 위치 및 제1 도로의 종류에 따라 설정된 주변 환경을 인식하기 위한 영상의 스케일을 결정하고, 결정된 스케일로 주변 환경을 인식하기 위한 영상의 스케일을 조정할 수 있다.
예를 들어, 도 6a에서와 같이, 차량(200)이 현재 운행 중인 제1 도로가 도심에 위치한 도로로서 주변 환경을 인식하기 위해 파악해야 할 특징 정보가 많은 경우에는, 주변 환경을 인식하기 위한 영상의 스케일이 최대로 설정될 수 있다. 이에 따라, 차량(200)은 수신된 제1 도로에 대한 정보에 기초하여 확인된 제1 도로의 위치 및 종류에 따라 주변 환경을 인식하기 위한 영상의 스케일을 최댓값으로 조정할 수 있다.
또한, 도 6b에서와 같이, 차량(200)이 현재 운행 중인 제1 도로가 도심 외곽에 위치한 도로로서, 주변 환경을 인식하기 위해 파악해야 할 특징 정보가 비교적 적은 것은 경우에는, 주변 환경을 인식하기 위한 영상의 스케일이 다소 낮게 설정될 수 있다. 이에 따라, 차량(200)은 수신된 제1 도로에 대한 정보에 기초하여 확인된 제1 도로의 위치 및 종류에 따라 주변 환경을 인식하기 위한 영상의 스케일을 최댓값과 최솟값 사이에서 설정된 값으로 조정할 수 있다.
반면에, 도 6c에서와 같이, 차량(200)이 현재 운행 중인 제1 도로가 고속도로로서, 주변 환경을 인식하기 위해 파악해야 할 특징 정보가 매우 적은 것은 경우에는, 주변 환경을 인식하기 위한 영상의 스케일이 최솟값으로 설정될 수 있다. 이에 따라, 차량(200)은 수신된 제1 도로에 대한 정보에 기초하여 확인된 제1 도로의 위치 및 종류에 따라 주변 환경을 인식하기 위한 영상의 스케일을 최솟값으로 조정할 수 있다.
이와 같이, 차량(200)은 운행 중인 제1 도로에 대한 정보를 수신하고, 수신된 제1 도로에 대한 정보에 기초하여 주변 환경을 인식하기 위한 영상의 스케일을 조정할 수 있다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

  1. 차량으로부터 GPS(DGPS) 신호 및 상기 차량이 운행 중인 제1 도로에 대한 영상 정보를 수신하는 단계;
    상기 수신된 GPS(DGPS) 신호에 기초하여 상기 제1 도로의 위치 정보를 판단하는 단계;
    상기 제1 도로에 대한 영상 정보와 도로 별로 설정된 딥 러닝 모델에 기반하여 상기 판단된 제1 도로의 위치 정보를 검증하는 단계; 및
    상기 제1 도로의 위치 정보가 검증되면, 상기 제1 도로의 위치 정보에 따라 상기 제1 도로에 대한 정보를 상기 차량으로 전송하는 단계
    를 포함하는 딥 러닝 기반 도로 정보 제공 방법.
  2. 제1항에 있어서,
    상기 제1 도로에 대한 영상 정보는,
    상기 차량이 자율 운행을 위하여 상기 차량의 복수의 센서들을 통하여 획득되는 것을 특징으로 하는 딥 러닝 기반 도로 정보 제공 방법.
  3. 제2항에 있어서,
    상기 복수의 센서들은,
    레이더, 라이더 및 영상 인식 센서를 포함하는 것을 특징으로 하는 딥 러닝 기반 도로 정보 제공 방법.
  4. 제1항에 있어서,
    상기 제1 도로의 위치 정보를 판단하는 단계는,
    상기 GPS(DGPS) 신호에 따라 판단되는 상기 제1 도로의 위치 정보에 따라 상기 제1 도로의 종류를 더 판단하는 것을 특징으로 하는 딥 러닝 기반 도로 정보 제공 방법.
  5. 제4항에 있어서,
    상기 제1 도로의 위치 정보를 검증하는 단계는,
    상기 판단된 제1 도로의 종류를 더 검증하는 것을 특징으로 하는 딥 러닝 기반 도로 정보 제공 방법.
  6. 제5항에 있어서,
    상기 제1 도로에 대한 정보를 상기 차량으로 전송하는 단계는,
    상기 제1 도로의 위치 정보 및 상기 제1 도로의 종류가 검증되면, 상기 제1 도로의 위치 정보 및 상기 제1 도로의 종류에 따라 상기 제1 도로에 대한 정보를 검색하는 단계; 및
    상기 검색된 제1 도로에 대한 정보를 상기 차량으로 전송하는 단계
    를 포함하는 딥 러닝 기반 도로 정보 제공 방법.
  7. 제1항에 있어서,
    상기 판단된 제1 도로의 위치 정보를 검증하는 단계는,
    미리 저장된 복수의 도로들에 대한 영상 정보 중 상기 제1 도로의 위치 정보에 대응하는 제1 영상 정보를 검색하는 단계; 및
    상기 제1 도로의 위치 정보에 대응하는 제1 딥 러닝 모델을 검색하는 단계
    를 포함하는 딥 러닝 기반 도로 정보 제공 방법.
  8. 제7항에 있어서,
    상기 판단된 제1 도로의 위치 정보를 검증하는 단계는,
    상기 제1 영상 정보를 상기 제1 딥 러닝 모델에 적용하는 단계; 및
    상기 적용 결과와 상기 수신된 제1 도로에 대한 영상 정보를 비교함으로써 상기 제1 도로의 위치 정보를 검증하는 단계
    를 더 포함하는 딥 러닝 기반 도로 정보 제공 방법.
  9. 제1항에 있어서,
    상기 딥 러닝 모델은,
    차량이 운행 중인 도로의 위치 정보 및 도로의 종류 중 적어도 하나를 판단하기 위한 정보 처리 알고리즘인 것을 특징으로 하는 딥 러닝 기반 정보 제공 방법.
  10. 제8항에 있어서,
    상기 제1 도로의 위치 정보가 검증되지 않으면, 상기 수신된 제1 도로에 대한 영상 정보를 상기 제1 딥 러닝 모델에 적용하여 상기 제1 도로의 위치 정보를 보정하는 단계; 및
    상기 보정된 제1 도로의 위치 정보에 따라 상기 제1 도로에 대한 정보를 상기 차량으로 전송하는 단계
    을 더 포함하는 딥 러닝 기반 도로 정보 제공 방법.
  11. 제1항에 있어서,
    상기 제1 도로에 대한 정보는,
    상기 차량이 자율 운행을 위하여 상기 차량의 복수의 센서를 통하여 획득하는 제1 도로에 대한 영상 정보의 스케일에 대한 정보인 것을 특징으로 하는 딥 러닝 기반 도로 정보 제공 방법.
  12. 딥 러닝 기반 도로 정보 제공 장치에 있어서,
    차량으로부터 GPS(DGPS) 신호 및 상기 차량이 운행 중인 제1 도로에 대한 영상 정보를 수신하는 통신부;
    상기 수신된 GPS(DGPS) 신호에 기초하여 상기 제1 도로의 위치 정보를 판단하는 판단부;
    상기 제1 도로에 대한 영상 정보와 도로 별로 설정된 딥 러닝 모델에 기반하여 상기 판단된 제1 도로의 위치 정보를 검증하고, 상기 제1 도로의 위치 정보가 검증되면, 상기 제1 도로의 위치 정보에 따라 상기 제1 도로에 대한 정보를 상기 통신부를 통해 상기 차량으로 전송하는 검증부
    를 포함하는 딥 러닝 기반 도로 정보 제공 장치.
  13. 제12항에 있어서,
    상기 도로 별로 설정된 딥 러닝 모델 및 복수의 도로들에 대한 영상 정보를 저장하는 저장부
    를 더 포함하는 딥 러닝 기반 도로 정보 제공 장치.
  14. 제13항에 있어서,
    상기 검증부는,
    상기 저장부에 저장된 복수의 도로들에 대한 영상 정보 중 상기 제1 도로의 위치 정보에 대응하는 제1 영상 정보를 검색하고, 상기 제1 도로의 위치 정보에 대응하는 제1 딥 러닝 모델을 검색하는 것을 특징으로 하는 딥 러닝 기반 도로 정보 제공 방법.
  15. 제14항에 있어서,
    상기 검증부는,
    상기 제1 영상 정보를 상기 제1 딥 러닝 모델에 적용하고, 상기 적용 결과와 상기 수신된 제1 도로에 대한 영상 정보를 비교함으로써 상기 제1 도로의 위치 정보를 검증하는 것을 특징으로 하는 딥 러닝 기반 도로 정보 제공 장치.
  16. 제12항에 있어서,
    상기 딥 러닝 모델은,
    차량이 운행 중인 도로의 위치 정보 및 도로의 종류 중 적어도 하나를 판단하기 위한 정보 처리 알고리즘인 것을 특징으로 하는 딥 러닝 기반 정보 제공 장치.
  17. 제12항에 있어서,
    상기 제1 도로에 대한 정보는,
    상기 차량이 자율 운행을 위하여 상기 차량의 복수의 센서를 통하여 획득하는 제1 도로에 대한 영상 정보의 스케일에 대한 정보인 것을 특징으로 하는 딥 러닝 기반 도로 정보 제공 장치.
  18. 제12항에 있어서,
    상기 검증부는,
    상기 제1 도로의 위치 정보가 검증되지 않으면, 상기 제1 도로에 대한 영상 정보를 상기 제1 딥 러닝 모델에 적용하여 상기 제1 도로의 위치 정보를 보정하고, 상기 보정된 제1 도로의 위치 정보에 따라 상기 제1 도로에 대한 정보를 상기 통신부를 통해 상기 차량으로 전송하는 것을 특징으로 하는 딥 러닝 기반 도로 정보 제공 장치.
KR1020150148881A 2015-10-26 2015-10-26 딥 러닝 기반 도로 정보 제공 방법 및 장치 KR101797818B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150148881A KR101797818B1 (ko) 2015-10-26 2015-10-26 딥 러닝 기반 도로 정보 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150148881A KR101797818B1 (ko) 2015-10-26 2015-10-26 딥 러닝 기반 도로 정보 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170048029A true KR20170048029A (ko) 2017-05-08
KR101797818B1 KR101797818B1 (ko) 2017-11-15

Family

ID=60164041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150148881A KR101797818B1 (ko) 2015-10-26 2015-10-26 딥 러닝 기반 도로 정보 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101797818B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101873169B1 (ko) * 2017-10-26 2018-06-29 한국항공우주연구원 관측 영상에 대한 실시간 훈련 및 객체 탐지하는 통합 모듈 장치 및 방법
KR101876756B1 (ko) * 2017-06-15 2018-07-10 한국항공우주연구원 교통 정보 제공 시스템 및 방법
CN108417029A (zh) * 2018-02-11 2018-08-17 东南大学 基于自适应多任务深度学习的城市路网行程时间估计方法
CN108594244A (zh) * 2018-04-28 2018-09-28 吉林大学 基于立体视觉和激光雷达的障碍物识别迁移学习方法
FR3067144A1 (fr) * 2017-06-06 2018-12-07 Peugeot Citroen Automobiles Sa Procede de determination du type de route sur laquelle evolue un vehicule
WO2019124668A1 (ko) * 2017-12-18 2019-06-27 한국건설기술연구원 도로노면 위험 정보를 제공하는 인공지능 시스템 및 그 방법
CN110491146A (zh) * 2019-08-21 2019-11-22 浙江工业大学 一种基于深度学习的交通信号控制方案实时推荐方法
KR102275432B1 (ko) * 2020-10-13 2021-07-08 한국클라우드컴퓨팅연구조합 실시간 도로 정보 기반의 콘텐츠 수집 및 가공 생성방법 및 이를 이용한 판매 및 광고 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172035A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
JP4366664B2 (ja) * 2007-06-29 2009-11-18 アイシン・エィ・ダブリュ株式会社 自車位置認識装置及び自車位置認識プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3067144A1 (fr) * 2017-06-06 2018-12-07 Peugeot Citroen Automobiles Sa Procede de determination du type de route sur laquelle evolue un vehicule
WO2018224750A1 (fr) * 2017-06-06 2018-12-13 Psa Automobiles Sa Procede de determination du type de route sur laquelle evolue un vehicule
KR101876756B1 (ko) * 2017-06-15 2018-07-10 한국항공우주연구원 교통 정보 제공 시스템 및 방법
KR101873169B1 (ko) * 2017-10-26 2018-06-29 한국항공우주연구원 관측 영상에 대한 실시간 훈련 및 객체 탐지하는 통합 모듈 장치 및 방법
WO2019124668A1 (ko) * 2017-12-18 2019-06-27 한국건설기술연구원 도로노면 위험 정보를 제공하는 인공지능 시스템 및 그 방법
CN108417029A (zh) * 2018-02-11 2018-08-17 东南大学 基于自适应多任务深度学习的城市路网行程时间估计方法
CN108417029B (zh) * 2018-02-11 2020-11-06 东南大学 基于自适应多任务深度学习的城市路网行程时间估计方法
CN108594244A (zh) * 2018-04-28 2018-09-28 吉林大学 基于立体视觉和激光雷达的障碍物识别迁移学习方法
CN108594244B (zh) * 2018-04-28 2021-05-11 吉林大学 基于立体视觉和激光雷达的障碍物识别迁移学习方法
CN110491146A (zh) * 2019-08-21 2019-11-22 浙江工业大学 一种基于深度学习的交通信号控制方案实时推荐方法
KR102275432B1 (ko) * 2020-10-13 2021-07-08 한국클라우드컴퓨팅연구조합 실시간 도로 정보 기반의 콘텐츠 수집 및 가공 생성방법 및 이를 이용한 판매 및 광고 방법

Also Published As

Publication number Publication date
KR101797818B1 (ko) 2017-11-15

Similar Documents

Publication Publication Date Title
KR101797818B1 (ko) 딥 러닝 기반 도로 정보 제공 방법 및 장치
US10976741B2 (en) Safety and comfort constraints for navigation
US20170259801A1 (en) Vehicle lane placement
US11269329B2 (en) Dynamic model with learning based localization correction system
EP3477616A1 (en) Method for controlling a vehicle using a machine learning system
US20230073897A1 (en) Aligning road information for navigation
CN111923927B (zh) 用于交互感知交通场景预测的方法和装置
KR20190016717A (ko) 차선 검출 방법 및 장치
US20220194412A1 (en) Validating Vehicle Sensor Calibration
EP4020113A1 (en) Dynamic model evaluation package for autonomous driving vehicles
US20230106644A1 (en) Systems and methods for detecting vehicle wheel slips
US11820397B2 (en) Localization with diverse dataset for autonomous vehicles
US20220205804A1 (en) Vehicle localisation
CN114968187A (zh) 用于自动驾驶系统的感知系统开发的平台
US20230117253A1 (en) Ego motion-based online calibration between coordinate systems
CN116674593A (zh) 用于自主车辆的具有异常检测的安全增强规划系统
US20230159047A1 (en) Learning-based critic for tuning a motion planner of autonomous driving vehicle
US20230098688A1 (en) Advanced data fusion structure for map and sensors
US20230406345A1 (en) Distributional expert demonstrations for autonomous driving
US11983918B2 (en) Platform for perception system development for automated driving system
US20220111874A1 (en) Method and apparatus for out-of-distribution detection
US20220270356A1 (en) Platform for perception system development for automated driving system
JP2023030540A (ja) 機械学習装置
CN117993438A (zh) 公平神经网络

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant