KR20180058090A - 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법 - Google Patents

Abstract

본 발명은 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법임. 상세하게는 비정상적인 영상 처리가 예상되는 각종 상황을 딥러닝 알고리즘을 통해 학습한 상황별 학습 모듈들이 존재하는 데이터센서와 비정상적인 특정 상황에서만 작동하여 데이터센서로부터 상황에 맞는 모듈을 다운로드받는 차량 내의 딥뉴럴네트워크 박스와 데이터센서와 차량 내의 딥뉴럴네트워크 박스를 연결하는 무선네트워크를 포함한다. 이를 통해 차량이 영상데이터를 실시간으로 정확하게 판단하여 주행을 올바르게 제어하도록 하는 효과를 가진다.

Description

경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법{Service and System for downloading learned data of road condition and obstructions associated to the route in real time}

본 발명은 차량의 판단부 내에 설치한 딥뉴럴네트워크 박스를 통해 인식률이 떨어지는 각종 상황에서도 차량이 영상데이터를 실시간으로 정확하게 판단하여 주행을 올바르게 제어하는 기술이다. 이는 종래 자율주행차량의 문제점인 비정상적인 환경 하에서의 영상데이터 인식률 감소 문제를 해결할 수 있다.

최근 산업계에서 가장 주목을 받는 분야 중 하나가 자율주행자동차 관련 산업이다. 자동차는 단순히 탈 것을 넘어서 인류의 삶을 뒤바꿀 새로운 이동수단으로 진화하고 있고, 그에 따라 산업계의 패러다임에도 급격한 변화가 감지되고 있다.

자율주행차량을 구현하는 세 가지 중심요소는 인지부, 판단부, 제어부이다. 인지부를 통해 도로의 상황과 현재의 위치, 지형지물을 감지하고, 판단부에서 수집된 정보를 판단 및 분석하며, 제어부에서 목적지까지 안전하게 도달할 수 있도록 주행을 제어하는 것이 자율주행의 기본원리이다. 이 중 판단부는 센서 등의 하드웨어적 처리가 아닌 알고리즘에 기반한 소프트웨어적 처리가 중점이 되는 부분으로 전통적 자동차 제조업체들이 아닌 IT 전문기업들이 자율주행자동차 기술개발을 주도하게 된 핵심부이다.

기존의 자율주행차량의 상황 인식 및 판단 방식은 레이더, 카메라 등의 다수의 센서를 통해 차량 주변의 환경에 대한 데이터를 수집한 후, 이 데이터를 차량 내의 프로세서가 처리하는 것이다. 이 중 차량 내 촬영 장치로 수집한 영상 데이터는 차선, 도로상황, 장애물 여부 등 모든 상황에 대한 인지를 가능하게 하는 중요한 데이터이다. 그러나 종래의 영상데이터 판단 메커니즘은 악천후 상황 혹은 돌발적인 장애물로 인해 부정확한 영상이 수집되는 경우 인식률이 떨어져 차선, 장애물 등에 대한 판단 오류를 발생시킨다. 그러한 판단 오류는 주행 제어부에서 주행 방향 및 속도를 잘못 설정하게 하게 사고를 일으키게 한다. 이러한 문제는 자율주행 차량에 대한 대중들의 신뢰를 떨어뜨리고, 불안감을 가중시켜 자율주행 차량의 대중화, 상용화에 있어 심각한 난점이라 할 수 있다.

1. 딥러닝 기반 비디오 분석 기술(Deep Learning-based Video Analysis Technics) - 정보과학회지 33, 한국정보과학회, 김지섭, 남장군, 장병탁 2. Digital Feed, '데이터를 스스로 학습하는 알고리즘, 딥러닝‘ 3. LG Inotech, ‘자율주행 자동차의 세계’

이에 본 발명은 상기와 같은 종래의 제반 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 차량의 판단부 내에 설치하는 딥뉴럴네트워크 박스를 제공하는 데에 있다. 판단 오류가 발생하기 쉬운 비정상적인 특정상황 하에서 동작하는 딥뉴럴네트워크 박스를 통해 차량이 실시간으로 촬영한 영상데이터를 착오 없이 정확하게 판단하는 데에 그 목적이 있다. 본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명화하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법은, 비정상적인 영상 처리가 예상되는 각종 상황을 학습한 상황별 학습모듈들이 존재하는 데이터센서와 비정상적인 특정 상황에서만 작동하여 데이터센서로부터 상황에 맞는 모듈을 다운로드받는 차량 내의 판단부에 적용되는 소프트웨어 모듈인 딥뉴럴네트워크 박스와 데이터센서와 차량 내의 딥뉴럴네트워크 박스를 연결하는 무선네트워크를 포함하는 것을 특징으로 한다. 여기서 장애상황 판단을 위한 데이터센서에는 실시간처리부와 데이터베이스부와 학습부가 있다.

데이터센서의 실시간처리부는 현재상황수신부, 현재 상황에 따른 학습모듈선택부, 선택된 모듈 전송부를 포함하는 것을 특징으로 한다.

데이터센서의 데이터베이스부는 비정상적인 영상 처리가 예상되는 각종 상황에 대해 미리 학습이 수행된 모듈을 포함하는 것을 특징으로 한다.

데이터센서의 학습부는 데이터베이스부에 각 상황에 따른 학습 결과를 저장하기 위해 미리 사람이 입력시켜 준 데이터를 바탕으로 학습을 진행하여 데이터베이스에 그 분석 결과를 저장하는 것을 특징으로 한다.

데이터센서의 학습부는 특정 장애 상황 입력부와 그 상황에 대응하는 방대한 영상 데이터를 바탕으로 학습을 실시하는 학습 처리부를 포함하는 것을 특징으로 한다.

자율주행 차량의 판단부는 주행 중 비정상적인 영상 처리가 예상되는 각종 상황을 인지하는 인지단계와 차량이 어떤 비정상상황에 처해있는지를 데이터센서로 전송하는 상황전송단계와 차량 내의 딥뉴럴네트워크 박스에서 데이터센서로부터 학습된 모듈을 수신 받는 수신단계를 포함하는 것을 특징으로 한다.

데이터센서의 데이터베이스부는 비정상적인 영상 처리가 예상되는 각종 상황 입력단계와 그 상황에서 수집된 영상 데이터를 딥러닝 기반으로 학습시키는 학습단계와 각종 상황에 따른 학습 결과를 데이터센서 내의 다수의 모듈로 저장하는 데이터베이스화단계를 포함하는 것을 특징으로 한다.

데이터센서 학습부는 비정상적인 상황의 조건에 대해 입력하는 입력단계와 그 상황에 대응하는 이미지 데이터를 수집하여 학습하여 딥러닝 기반 학습을 수행하는 학습단계를 포함하는 것을 특징으로 한다.

데이터센서의 실시간 처리부는 차량이 전송한 차량의 현재 상황 정보를 수신하는 수신단계와 현재 상황에 적합한 모듈을 검색하는 검색단계와 상황에 맞게 미리 학습되어있는 모듈을 차량의 딥뉴럴네트워크 박스로 송신하는 모듈 송신단계를 포함하는 것을 특징으로 한다.

본 발명에 의한 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법은 다음과 같은 효과를 갖는다.

첫째, 비정상적인 특정 상황에 대해 기학습된 판단모듈전송시스템을 통해 자율주행 자동차의 영상 오판단 확률을 낮출 수 있다.

둘째, 데이터센서는 딥러닝을 통한 학습메커니즘을 수행하기 때문에 높은 영상 처리율을 얻을 수 있고 이는 자율주행 자동차의 영상 오판단 확률을 낮출 수 있다.

셋째, 정확도가 향상된 판단 결과를 통해서 제어부는 안전한 주행 방향 및 속도로 차량을 제어할 수 있다.

도 1은 본 발명에 따른 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법의 전체 구성도.
도 2는 본 발명에 따른 촬영한 비정상적인 각각의 상황에 대해 미리 학습된 결과를 차량으로 송신하는 특징을 가진 데이터센서의 구성도.
도 3은 도 2의 데이터센서 내의 각 상황에 맞게 차량과의 통신을 통해 자료를 송수신하는 데이터센서 내의 실시간 처리부의 구성도.
도 4는 도 2의 데이터센서 내의 비정상적인 각각의 상황에 대래 미리 학습된 결과를 저장한 데이터베이스부의 구성도.
도 5는 도 2의 데이터센서 내의 비정상적인 각각의 상황에 대해 미리 학습을 수행하는 학습부의 구성도.
도 6은 본 발명에 따른 차량 내 판단부에 설치된 딥뉴럴네트워크 박스의 구성도.
도 7은 도 2의 데이터센서에서 송신한 차량의 현재 상황에 대응하는 학습 모듈을 차량의 판단부에 설치된 딥뉴럴네트워크 박스에서 수신하는 순서도.
도 8은 도 2의 데이터센서 내의 학습부에서 학습 모듈을 생성하는 순서도.
도 9는 차량 내의 판단부 내의 딥뉴럴네트워크 박스에서 현재 상황에 맞는 모듈을 데이터센서 내의 데이터베이스부에서 수신하는 순서도.

첨부한 도면을 참조하여 본 발명의 실시예들에 의한 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.

또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1을 참조하면, 비정상적인 영상 처리가 예상되는 각종 도로의 상황을 학습한 상황별 학습 모듈들이 존재하는 데이터센서(110)와 비정상적인 특정 상황에만 작동하여 데이터센서로부터 상황에 맞는 모듈을 다운로드받는 차량 내의 딥뉴럴네트워크 박스(130)와 데이터센서와 차량 내의 딥뉴럴네트워크 박스를 연결하는 무선 네트워크(120)를 포함하는 것을 특징으로 한다. 이 때 네트워크(120)는 지그비(Zigbee), 와이파이(WiFi) 등의 무선 네트워크 형태이다.

장애 상황 판단을 위한 데이터센서(110)에는 실시간처리부(10)와 데이터베이스부(20)가 있다. 데이터센서의 실시간처리부(10)는 현재 상황 수신부(40), 현재 상황에 따른 학습 모듈 선택부(50), 선택된 모듈 전송부(60)를 포함하는 것을 특징으로 한다.

데이터센서의 데이터베이스부(20)는 비정상적인 영상 처리가 예상되는 각종 상황에 대해 미리 학습이 수행된 모듈을 포함하는 것을 특징으로 한다. 데이터센서의 학습부(30)의 상황 입력부(80)에 미리 사람이 각 상황을 입력시켜주는 입력 과정(S401)을 수행한 후, 데이터센서의 학습부(30)의 학습처리부(70)는 입력된 각 상황에 따른 학습 결과를 저장하기 위해 그 상황에 맞는 영상데이터를 바탕으로 학습을 진행하여 데이터베이스부(20)에 그 분석 결과를 저장하는 것을 특징으로 한다.

자율주행 차량의 판단부(140)에서는 주행 중 비정상적인 영상 처리가 예상되는 각종 상황 인지단계(S301)와 차량이 어떤 비정상 상황에 처해있는지 판단하는 상황 판단단계(S302)와 판단된 상황 정보를 데이터센서(110)로 전송하는 상황전송단계(S303)가 수행된다.

자율주행 판단부 내에 설치된 딥뉴럴네트워크 박스(130)에서는 데이터센서(110)로부터 학습된 모듈을 수신 받는 수신단계(S304)가 진행된다.

데이터센서의 데이터베이스부(20)에서는 비정상적 상황, 즉 차량의 영상의 처리율이 급격히 감소하는 상황 각각을 사람이 직접 입력시켜 스키마의 형태로 설정한다.(S401) 그러한 비정상적인 상황은 기상 상황(폭설, 우천 등의 상황 혹은 장소에 따른 상황), 야생동물이 돌발적으로 나타나는 산길, 보행자의 무단횡단이 자주 일어나는 도로 등을 포함한다. 이렇게 사람은 각 비정상적인 상황에 대응하는 영상(폭설 상황에서의 도로 상황 영상데이터, 산길에서의 야생동물 영상데이터 등)을 미리 수집해 데이터센서의 학습부(30)에서 딥러닝 기술을 사용하여 학습을 시킨다.(S402)

딥러닝은 인공지능 분야에서 최근 전 세계적으로 이슈가 되고 있는 기술로, 사람의 두뇌가 기억을 하는 방법을 모방하여 학습 데이터를 제공하면 컴퓨터가 스스로 학습을 하여 사물을 분별할 수 있게 된다. 그러한 딥러닝으로 인한 학습과정에서 생성된 weight와 bias의 가중치 및 연결 형태는 컴퓨터 프로그램을 통해 구현되며, 우천 상황 학습 모듈, 폭설 상황 학습 모듈(70)과 같은 소프트웨어 모듈의 형태로 구성하여 데이터센서의 데이터베이스부(20)에 저장해둔다.(S403)

이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.

Claims (17)

1. 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법에 있어서,
   비정상적인 특정 상황에서만 작동하여 데이터센서로부터 상황에 맞는 모듈을 다운로드받는 차량 내의 딥뉴럴네트워크 박스; 및
   상기 데이터센서와 상기 딥뉴럴네트워크 박스를 연결하는 무선 네트워크;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
2. 제 1항에 있어서,
   비정상적인 특정 상황에서만 작동하여 데이터센서로부터 상황에 맞는 모듈을 다운로드받는 차량 내의 딥뉴럴네트워크 박스를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
3. 제 2항에 있어서,
   데이터센서로부터 학습된 모듈을 수신 받는 차량 내의 딥뉴럴네트워크 박스 내의 학습모듈 수신부를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
4. 제 1항에 있어서,
   비정상적인 영상처리가 예상되는 각종 상황을 학습한 결과를 저장한, 상황별 학습모듈들이 존재하는 데이터센서를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
5. 제 4항에 있어서,
   장애 상황 판단을 위한 데이터센서 내부의 실시간 처리부;
   각 상황에 따른 학습 결과를 저장하기 위해 미리 사람이 입력시켜준 데이터를 바탕으로 학습을 진행하는 데이터센서의 학습부; 및
   각 상황에 따른 학습 결과를 데이터베이스에 저장하는 데이터베이스부;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
6. 제 2항에 있어서,
   데이터센서의 차량으로부터 수신 받은 현재 상황 수신부;
   현재 상황에 따른 학습모듈 선택부; 및
   선택된 모듈 전송부를 포함하는 데이터센서의 실시간처리부;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
7. 제 5항에 있어서,
   우천 상황 학습 모듈 및 폭설 상황 학습 모듈 등을 포함하는 데이터센서의 데이터베이스부;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
8. 제 5항에 있어서,
   우천 상황 학습 모듈 및 폭설 상황 학습 모듈 등을 포함하는 데이터센서의 학습부의 상황입력부; 및
   각 상황에 맞는 영상데이터의 학습을 처리하는 데이터베이스부;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
9. 제 5항에 있어서,
   데이터센서의 학습부의 학습 모듈 수신부;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
10. 자율주행 차량의 주행 중 비정상적인 영상처리가 예상되는 각종 상황 인지 단계;
    차량이 어떤 비정상 상황에 처해있는지를 데이터센서로 전송하는 상황 전송 단계; 및
    차량 내의 딥뉴럴네트워크 박스에서 데이터센서로부터 학습된 모듈을 수신 받는 수신 단계;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
11. 데이터센서의 데이터베이스부의 비정상적인 영상처리가 예상되는 각종 상황 입력 단계;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
12. 데이터센서의 학습부 내의 상황 입력부에서 비정상적 상황을 입력받는 입력 단계;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
13. 영상데이터를 딥러닝 기반으로 학습시키는 딥뉴럴네트워크 기반 학습 단계를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
14. 데이터센서의 학습부 내의 학습처리부의 비정상 상황에 따른 학습결과를 데이터센서 내의 다수의 모듈로 저장하는 데이터베이스로의 저장 단계;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
15. 데이터센서의 실시간 처리부의 차량에서 전송한 차량의 현재 상황 정보를 수신하는 수신 단계;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
16. 데이터센서의 실시간 처리부의 현재 상황에 적합한 모듈을 검색하는 검색 단계;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.
17. 데이터센서의 실시간 처리부의 상황에 맞게 미리 학습되어있는 모듈을 데이터베이스부에서 알맞게 호출하여 차량의 딥뉴럴네트워크 박스로 송신하는 모듈 송신 단계;를 포함하는 것을 특징으로 하는 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법.

Images