KR102130596B1 - Yuv 기반 세그먼테이션 및 오그먼테이션에 따른 자율 주행 시스템 및 그 방법 - Google Patents

Yuv 기반 세그먼테이션 및 오그먼테이션에 따른 자율 주행 시스템 및 그 방법 Download PDF

Info

Publication number
KR102130596B1
KR102130596B1 KR1020180172902A KR20180172902A KR102130596B1 KR 102130596 B1 KR102130596 B1 KR 102130596B1 KR 1020180172902 A KR1020180172902 A KR 1020180172902A KR 20180172902 A KR20180172902 A KR 20180172902A KR 102130596 B1 KR102130596 B1 KR 102130596B1
Authority
KR
South Korea
Prior art keywords
image
driving
image type
type
virtual
Prior art date
Application number
KR1020180172902A
Other languages
English (en)
Other versions
KR20200010983A (ko
Inventor
이덕진
Original Assignee
군산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 군산대학교 산학협력단 filed Critical 군산대학교 산학협력단
Publication of KR20200010983A publication Critical patent/KR20200010983A/ko
Application granted granted Critical
Publication of KR102130596B1 publication Critical patent/KR102130596B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

YUV 기반 세그먼테이션 및 오그먼테이션에 따른 자율 주행 시스템 및 그 방법이 개시된다. 자율 주행 방법은 제1 영상 유형 기반의 주행 영상을 수신하는 단계; 상기 제1 영상 유형 기반의 주행 영상을 제2 영상 유형 기반의 주행 영상으로 변환하는 단계; 제2 영상 유형 기반의 주행 영상을 뉴럴 네트워크에 인가하여 차량 제어를 위한 파라미터를 결정하는 단계를 포함하고, 상기 제1 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제1 차이는 상기 제2 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제2 차이보다 클 수 있다.

Description

YUV 기반 세그먼테이션 및 오그먼테이션에 따른 자율 주행 시스템 및 그 방법{SYSTEM AND METHOD FOR AUTONOMOUS DRIVING BASED ON YUV-BASED SEGMENTATION AND AUGMENTATION}
본 발명은YUV 기반의 주행 영상을 이용하여 자율 주행을 하는 시스템 및 방법에 관한 것이다.
최근 들어 차량을 자동으로 제어하는 자율 주행 기술이 개발되고 있다. 자율 주행 기술은 차량의 주행 상태에 따라 차량을 제어하기 위한 제어 파라미터를 결정하고, 결정된 제어 파라미터에 따라 차량의 핸들, 브레이크, 엑셀과 같은 제어 수단을 제어함으로써, 차량을 자율 주행 시킬 수 있다.
따라서, 자율 주행 기술의 정확성을 높이기 위해서는 차량의 주행 상태에 대응하는 제어 파라미터를 결정하는 속도 및 정확도를 높여야 한다.
종래의 자율 주행 기술은 실험자가 실제 도로 상에서 촬영한 영상과 실험자의 조작을 이용하여 차량의 주행 상태에 대응하는 제어 파라미터를 학습하고 있으므로, 제어 파라미터를 결정하는 속도 및 정확도를 증가시키기 위해서는 보다 다양한 상황에 대한 학습이 필요하다.
그러나, 다양한 상황에 대하여 실험자가 주행할수록 학습에 필요한 비용과 시간이 증가한다는 문제가 있었다. 또한, 날씨와 관련된 상황은 학습 과정에서 임의로 구현할 수 없다는 한계도 있었다.
따라서, 자율 주행의 학습을 위한 영상 생성에 필요한 비용 및 시간을 절감하고, 인위적으로 구현하기 어려운 환경에 대한 학습을 수행하여 보다 정확하게 제어 파라미터를 결정할 수 있는 방법이 요청되고 있다.
본 발명은 제1 영상 유형 기반의 가상 주행 영상을 제2 영상 유형 기반의 기상 주행 영상으로 변환하여 뉴럴 네트워크를 학습하고, 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환하여 학습된 뉴럴 네트워크에 적용함으로써, 가상 영상을 이용하여 학습한 뉴럴 네트워크로 실제 영상에 대응하는 제어 파라미터를 결정하는 시스템 및 방법을 제공할 수 있다.
또한, 본 발명은 시뮬레이터를 이용하여 가상으로 주행 영상을 생성하고, 그에 대한 파라미터를 입력 받음으로써, 뉴럴 네트워크의 학습을 위한 영상 생성에 필요한 비용 및 시간을 절감하고, 인위적으로 구현하기 어려운 환경에 대한 영상과 파라미터를 획득하여 학습하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 자율 주행 방법은 제1 영상 유형 기반의 주행 영상을 수신하는 단계; 상기 제1 영상 유형 기반의 주행 영상을 제2 영상 유형 기반의 주행 영상으로 변환하는 단계; 제2 영상 유형 기반의 주행 영상을 뉴럴 네트워크에 인가하여 차량 제어를 위한 파라미터를 결정하는 단계를 포함하고, 상기 제1 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제1 차이는 상기 제2 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제2 차이보다 클 수 있다.
본 발명의 일실시예에 따른 자율 주행 방법의 상기 제1 영상 유형 기반의 주행 영상은, 상기 제1 영상 유형 기반의 실제 주행 영상, 및 상기 제1 영상 유형 기반의 가상 주행 영상 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 자율 주행 방법의 파라미터는, 자율 주행 차량의 주행 방향각을 제어하기 위한 파라미터 및 상기 자율 주행 차량의 주행 속도를 제어하기 위한 파라미터 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 자율 주행 방법의 제1 영상 유형은 RGB 유형을 포함하고, 상기 제2 영상 유형은 YUV 유형을 포함할 수 있다.
본 발명의 일실시예에 따른 자율 주행 방법의 뉴럴 네트워크는, 상기 제1 영상 유형 기반의 가상 주행 영상으로부터 변환된 상기 제2 영상 유형 기반의 가상 주행 영상에 기초하여 학습될 수 있다.
본 발명의 일실시예에 따른 자율 주행용 뉴럴 네트워크 학습 방법은 시뮬레이터를 이용하여 생성된 제1 영상 유형 기반의 가상 주행 영상 및 상기 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 획득하는 단계; 상기 제1 영상 유형 기반의 가상 주행 영상을 제2 영상 유형 기반의 가상 주행 영상으로 변환하는 단계; 상기 제2 영상 유형 기반으로 변환된 가상 주행 영상을 뉴럴 네트워크에 인가하여 차량 제어를 위한 파라미터를 결정하는 단계; 및 상기 레이블과 상기 파라미터 간의 비교 결과에 따라 상기 뉴럴 네트워크를 학습하는 단계를 포함하고, 상기 제1 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제1 차이는 상기 제2 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제2 차이보다 클 수 있다.
본 발명의 일실시예에 따른 자율 주행용 뉴럴 네트워크 학습 방법의 파라미터는, 자율 주행 차량의 주행 방향각을 제어하기 위한 파라미터 및 상기 자율 주행 차량의 주행 속도를 제어하기 위한 파라미터 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 자율 주행용 뉴럴 네트워크 학습 방법의 상기 제1 영상 유형은 RGB 유형을 포함하고, 상기 제2 영상 유형은 YUV 유형을 포함할 수 있다.
본 발명의 일실시예에 따른 자율 주행용 뉴럴 네트워크 학습 방법은 상기 제1 영상 유형 기반의 가상 주행 영상을 변형함으로써, 상기 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계; 및 상기 제2 영상 유형 기반의 가상 주행 영상을 변형함으로써, 상기 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계 중 어느 하나를 더 포함할 수 있다.
본 발명의 일실시예에 따른 자율 주행용 뉴럴 네트워크 학습 방법의 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계는, 상기 제1 영상 유형 기반의 가상 주행 영상의 배경 교체, 상기 제1 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 상기 제1 영상 유형 기반의 가상 주행 영상의 회전, 상기 제1 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 상기 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 자율 주행용 뉴럴 네트워크 학습 방법의 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계는, 상기 제2 영상 유형 기반의 가상 주행 영상의 배경 교체, 상기 제2 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 상기 제2 영상 유형 기반의 가상 주행 영상의 회전, 상기 제2 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 상기 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 자율 주행 제어 장치는, 제1 영상 유형 기반의 주행 영상을 수신하고, 수신한 제1 영상 유형 기반의 주행 영상을 제2 영상 유형 기반의 주행 영상으로 변환하는 영상 변환부; 및 제2 영상 유형 기반의 실제 주행 영상을 뉴럴 네트워크에 인가하여 차량 제어를 위한 파라미터를 결정하는 파라미터 결정부를 포함하고, 상기 제1 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제1 차이는 상기 제2 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제2 차이보다 클 수 있다.
본 발명의 일실시예에 따른 자율 주행 제어 장치의 제1 영상 유형 기반의 주행 영상은, 상기 제1 영상 유형 기반의 실제 주행 영상, 및 상기 제1 영상 유형 기반의 가상 주행 영상 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 자율 주행 제어 장치의 상기 파라미터는, 자율 주행 차량의 주행 방향각을 제어하기 위한 파라미터 및 상기 자율 주행 차량의 주행 속도를 제어하기 위한 파라미터 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 뉴럴 네트워크 학습 장치는 시뮬레이터를 이용하여 생성된 제1 영상 유형 기반의 가상 주행 영상 및 상기 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 획득하고, 상기 제1 영상 유형 기반의 가상 주행 영상을 제2 영상 유형 기반의 가상 주행 영상으로 변환하는 영상 변환부; 및 제2 영상 유형 기반으로 변환된 가상 주행 영상을 뉴럴 네트워크에 인가하여 차량 제어를 위한 파라미터를 결정하며, 상기 레이블과 상기 파라미터 간의 비교 결과에 따라 상기 뉴럴 네트워크를 학습하는 뉴럴 네트워크 학습부를 포함하고, 상기 제1 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제1 차이는 상기 제2 영상 유형의 공간에서 실제 주행 영상과 가상 주행 영상 사이의 제2 차이보다 클 수 있다.
본 발명의 일실시예에 따른 뉴럴 네트워크 학습 장치의 파라미터는, 자율 주행 차량의 주행 방향각을 제어하기 위한 파라미터 및 상기 자율 주행 차량의 주행 속도를 제어하기 위한 파라미터 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 뉴럴 네트워크 학습 장치의 상기 제1 영상 유형은 RGB 유형을 포함하고, 상기 제2 영상 유형은 YUV 유형을 포함할 수 있다.
본 발명의 일실시예에 따른 뉴럴 네트워크 학습 장치는 상기 제1 영상 유형 기반의 가상 주행 영상을 변형함으로써, 상기 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시키거나, 상기 제2 영상 유형 기반의 가상 주행 영상을 변형함으로써, 상기 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 영상 오그멘테이션부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 뉴럴 네트워크 학습 장치의 영상 오그멘테이션부는, 상기 제1 영상 유형 기반의 가상 주행 영상의 배경 교체, 상기 제1 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 상기 제1 영상 유형 기반의 가상 주행 영상의 회전, 상기 제1 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 상기 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시킬 수 있다.
본 발명의 일실시예에 따른 뉴럴 네트워크 학습 장치의 영상 오그멘테이션부는, 상기 제2 영상 유형 기반의 가상 주행 영상의 배경 교체, 상기 제2 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 상기 제2 영상 유형 기반의 가상 주행 영상의 회전, 상기 제2 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 상기 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시킬 수 있다.
본 발명의 일실시예에 의하면, 제1 영상 유형 기반의 가상 주행 영상을 제2 영상 유형 기반의 기상 주행 영상으로 변환하여 뉴럴 네트워크를 학습하고, 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환하여 학습된 뉴럴 네트워크에 적용함으로써, 가상 영상을 이용하여 학습한 뉴럴 네트워크로 실제 영상에 대응하는 제어 파라미터를 결정할 수 있다.
또한, 본 발명의 일실시예에 의하면, 시뮬레이터를 이용하여 가상으로 주행 영상을 생성하고, 그에 대한 파라미터를 입력 받음으로써, 뉴럴 네트워크의 학습을 위한 영상 생성에 필요한 비용 및 시간을 절감하고, 인위적으로 구현하기 어려운 환경에 대한 영상과 파라미터를 획득하여 학습시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 자율 주행 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 자율 주행 시스템의 뉴럴 네트워크 학습 장치의 구조를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 자율 주행 시스템의 자율 주행 제어 장치의 구조를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 시뮬레이터의 동작 일례이다.
도 5는 본 발명의 일실시예에 따른 뉴럴 네트워크에 입력할 영상을 전처리하는 과정의 일례이다.
도 6은 본 발명의 일실시예에 따른 영상 오그먼테이션 과정의 일례이다.
도 7은 본 발명의 일실시예에 따른 가상 주행 영상과 실제 주행 영상의 일례이다.
도 8은 본 발명의 일실시예에 따른 자율 주행 제어 장치의 동작 과정을 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 영상 세그먼테이션 과정의 일례이다.
도 10은 본 발명의 일실시예에 따른 영상 세그먼테이션 과정의 다른 일례이다.
도 11은 본 발명의 일실시예에 따른 자율 주행용 뉴럴 네트워크 학습 방법을 도시한 플로우차트이다.
도 12는 본 발명의 일실시예에 따른 자율 주행 방법을 도시한 플로우차트이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명의 일실시예에 따른 자율 주행 방법은 자율 주행 시스템에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 자율 주행 시스템을 나타내는 도면이다.
자율 주행 시스템은 도 1에 도시된 바와 같이 뉴럴 네트워크 학습 장치(120)와 자율 주행 제어 장치(140)로 구성될 수 있다. 이때, 뉴럴 네트워크 학습 장치(120)와 자율 주행 제어 장치(140)는 하나의 하드웨어에 포함될 수도 있고, 서로 다른 하드웨어로 구성될 수도 있다. 뉴럴 네트워크 학습 장치(120)와 자율 주행 제어 장치(140)가 서로 다른 하드웨어로 구성된 경우, 뉴럴 네트워크 학습 장치(120)에서 학습된 뉴럴 네트워크는 네트워크를 통한 온라인, 또는 저장 매체를 통한 오프라인으로 자율 주행 제어 장치(140)에 전달될 수 있다.
시뮬레이터(110)는 제1 영상 유형 기반의 가상 주행 영상 및 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 생성하여 뉴럴 네트워크 학습 장치(120)로 전달할 수 있다. 이때, 시뮬레이터(110)는 PC나 모바일에서 수행 가능한 소프트웨어일 수도 있고, 가상 주행 화면을 실험자에게 표시하는 화면과 실험자의 제어에 따라 가상 차량을 제어하기 위한 핸들, 브레이크 패달, 엑셀 패달이 포함되어 실제 차량과 유사한 조작감을 실험자에게 제공할 수 있는 하드웨어일 수도 있다. 예를 들어, 시뮬레이터(110)는 주행 환경의 설정이 가능한 레이싱 게임일 수 있다. 또한, 제1 영상 유형은 RGB 유형을 포함할 수 있다.
이때, 시뮬레이터(110)는 실험자에게 표시한 가상 화면을 제1 영상 유형 기반의 가상 주행 영상으로 설정하여 뉴럴 네트워크 학습 장치(120)로 전달할 수 있다. 또한, 시뮬레이터(110)는 가상 화면을 인식한 실험자가 단말의 입력 장치, 또는 가상 차량을 제어하기 위한 핸들, 브레이크 패달, 엑셀 패달에 입력한 명령에 따라 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 생성하여 뉴럴 네트워크 학습 장치(120)로 전달할 수 있다. 예를 들어, 커브가 포함된 가상 화면을 인식한 실험자가 핸들을 회전시키는 경우, 시뮬레이터(110)는 실험자가 핸들을 회전시킨 정도에 대응하는 제어 파라미터를 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블로 생성하여 뉴럴 네트워크 학습 장치(120)로 전달할 수 있다.
뉴럴 네트워크 학습 장치(120)는 시뮬레이터(110)로부터 수신한 제1 영상 유형 기반의 가상 주행 영상 및 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 이용하여 도로 환경에 대응하는 차량 제어를 위한 제어 파라미터를 결정하기 위한 뉴럴 네트워크를 학습할 수 있다.
뉴럴 네트워크 학습 장치(120)의 상세 구성 및 동작은 이하 도 2를 참조하여 상세히 설명한다.
카메라(130)는 자율 주행하는 차량에 탑재되고, 자율 주행하는 차량의 전방, 후방, 또는 측면 중 적어도 하나를 촬영하여 제1 영상 유형 기반의 실제 주행 영상을 생성할 수 있다. 그리고, 카메라(130)는 생성한 제1 영상 유형 기반의 실제 주행 영상을 자율 주행 제어 장치(140)로 전송할 수 있다.
자율 주행 제어 장치(140)는 카메라(130)로부터 수신한 제1 영상 유형 기반의 실제 주행 영상과 뉴럴 네트워크 학습 장치(120)가 학습한 뉴럴 네트워크를 이용하여 자율 주행하는 차량의 제어 파라미터를 결정할 수 있다. 이때, 자율 주행 제어 장치(140)는 카메라(130)로부터 수신한 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 주행 영상으로 변환하고, 제2 영상 유형 기반의 주행 영상을 뉴럴 네트워크에 인가하여 제어 파라미터를 결정할 수 있다. 예를 들어, 제2 영상 유형은 YUV 유형을 포함할 수 있다.
또한, 자율 주행 제어 장치(140)는 시뮬레이터(110)로부터 수신한 제1 영상 유형 기반의 가상 주행 영상과 뉴럴 네트워크 학습 장치(120)가 학습한 뉴럴 네트워크를 이용하여 시뮬레이터 상에서 자율 주행하는 차량의 제어 파라미터를 결정할 수도 있다.
그리고, 자율 주행 제어 장치(140)는 결정한 제어 파라미터를 차량의 제어 장치로 전송하여 자동으로 차량을 제어할 수 있다. 또한, 자율 주행 제어 장치(140)는 결정한 제어 파라미터를 차량의 표시 장치에 전송할 수 있다. 이때, 차량의 표시 장치는 제어 파라미터에 따라 차량의 운전자에게 핸들, 브레이크 패달, 엑셀 패달의 조작을 요청하는 메시지를 출력할 수 있다.
자율 주행 제어 장치(140)는 자율 주행하는 차량에 탑재될 수도 있고, 자율 주행하는 차량의 외부에 설치될 수도 있다. 자율 주행 제어 장치(140)가 자율 주행하는 차량에 탑재된 경우, 자율 주행 제어 장치(140)는 카메라(130) 및 차량의 제어 장치, 또는 표시 장치에 유선으로 연결될 수 있다. 그리고, 자율 주행 제어 장치(140)가 자율 주행하는 차량의 외부에 설치된 경우, 자율 주행 제어 장치(140)는 무선 통신을 통하여 카메라(130)로부터 제1 영상 유형 기반의 실제 주행 영상을 수신하고, 제어 파라미터를 차량의 제어 장치, 또는 표시 장치에 전달할 수 있다.
자율 주행 제어 장치(140)의 상세 구성 및 동작은 이하 도 3를 참조하여 상세히 설명한다.
PC와 같은 단말에서 생성한 가상 영상과 현실을 촬영하여 생성한 실제 영상은 차이가 있다. 다만, 제1 영상 유형 기반의 가상 영상과 실제 영상 간의 제1 차이에 비하여 제2 영상 유형 기반의 가상 영상과 실제 영상 간의 제2 차이는 적을 수 있다.
따라서, 뉴럴 네트워크 학습 장치(120)가 제1 영상 유형 기반의 가상 주행 영상을 제2 영상 유형 기반의 기상 주행 영상으로 변환하여 뉴럴 네트워크를 학습하고, 자율 주행 제어 장치(140)가 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환하여 학습된 뉴럴 네트워크에 적용함으로써, 가상 영상을 이용하여 학습한 뉴럴 네트워크로 실제 영상에 대응하는 제어 파라미터를 결정할 수 있다.
도 2는 본 발명의 일실시예에 따른 자율 주행 시스템의 뉴럴 네트워크 학습 장치의 구조를 나타내는 도면이다.
뉴럴 네트워크 학습 장치(120)는 도 2에 도시된 바와 같이 영상 오그멘테이션부(210), 영상 변환부(220), 및 뉴럴 네트워크 학습부(230)를 포함할 수 있다. 이때, 영상 오그멘테이션부(210), 영상 변환부(220), 및 뉴럴 네트워크 학습부(230)는 각각의 동작을 수행하는 별도의 프로세서일 수도 있고, 하나의 프로세서에서 각각의 동작을 수행하는 프로그램 모듈들일 수도 있다.
영상 오그멘테이션부(210)는 시뮬레이터(110)로부터 제1 영상 유형 기반의 가상 주행 영상 및 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 수신할 수 있다.
그리고, 영상 오그멘테이션부(210)는 시뮬레이터(110)로부터 수신한 제1 영상 유형 기반의 가상 주행 영상을 변형함으로써, 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시킬 수 있다. 또한, 영상 오그멘테이션부(210)는 영상 변환부(220)에서 변환된 제2 영상 유형 기반의 가상 주행 영상을 변형함으로써, 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시킬 수도 있다.
이때, 영상 오그멘테이션부(210)는 제1 영상 유형 기반의 가상 주행 영상의 배경 교체, 제1 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 제1 영상 유형 기반의 가상 주행 영상의 회전, 제1 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 시뮬레이터(110)로부터 수신한 제1 영상 유형 기반의 가상 주행 영상에 적용하여 신규 영상을 생성할 수 있다. 그리고, 영상 오그멘테이션부(210)는 신규 영상을 제1 영상 유형 기반의 가상 주행 영상으로 포함시킴으로써, 뉴럴 네트워크 학습에 사용될 제1 영상 유형 기반의 가상 주행 영상의 개수 및 다양성을 증가시킬 수 있다.
또한, 시뮬레이터(110)에서 다양한 환경의 설정이 가능한 경우, 시뮬레이터(110)를 이용하여 다양한 환경에 대응하는 제1 영상 유형 기반의 가상 주행 영상을 생성할 수도 있다. 이때, 뉴럴 네트워크 학습 장치(120)는 영상 변환부(220) 및 뉴럴 네트워크 학습부(230)로 구성될 수도 있다. 그리고, 영상 변환부(220)가 시뮬레이터(110)로부터 제1 영상 유형 기반의 가상 주행 영상 및 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 수신할 수 있다.
영상 변환부(220)는 시뮬레이터(110)로부터 수신한 제1 영상 유형 기반의 가상 주행 영상 및 영상 오그멘테이션부(210)에서 추가한 제1 영상 유형 기반의 가상 주행 영상들을 제2 영상 유형 기반의 가상 주행 영상으로 변환할 수 있다.
이때, 영상 오그멘테이션부(210)는 제2 영상 유형 기반의 가상 주행 영상의 배경 교체, 제2 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 제2 영상 유형 기반의 가상 주행 영상의 회전, 제2 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 영상 변환부(220)에서 변환된 가상 주행 영상에 적용하여 신규 영상을 생성할 수 있다. 그리고, 영상 오그멘테이션부(210)는 신규 영상을 제2 영상 유형 기반의 가상 주행 영상으로 포함시킴으로써, 뉴럴 네트워크 학습에 사용될 제2 영상 유형 기반의 가상 주행 영상의 개수 및 다양성을 증가시킬 수 있다.
뉴럴 네트워크 학습부(230)는 영상 변환부(220)에서 제2 영상 유형 기반으로 변환된 가상 주행 영상을 뉴럴 네트워크에 인가하여 영상 세그먼테이션을 수행할 수 있다. 그리고, 뉴럴 네트워크 학습부(230)는 영상 세그먼테이션의 결과와 시뮬레이터(110)로부터 수신한 파라미터 간의 비교 결과에 따라 뉴럴 네트워크를 학습할 수 있다.
구체적으로, 영상 세그먼테이션의 결과와 시뮬레이터(110)로부터 수신한 파라미터 간의 차이가 클수록 뉴럴 네트워크 학습부(230)는 해당 영상 세그먼테이션의 결과에 대한 가중치를 감소시키면서 뉴럴 네트워크를 반복 수행할 수 있다. 또한, 영상 세그먼테이션의 결과와 시뮬레이터(110)로부터 수신한 파라미터 간의 차이가 적을수록 뉴럴 네트워크 학습부(230)는 해당 영상 세그먼테이션의 결과에 대한 가중치를 증가시키면서 뉴럴 네트워크를 반복 수행할 수 있다.
그리고, 뉴럴 네트워크 학습부(230)는 학습된 뉴럴 네트워크를 유선, 또는 무선으로 자율 주행 제어 장치(140)에 전송할 수 있다.
자율 주행에 사용될 뉴럴 네트워크를 학습하기 위하여 실제 영상을 사용하는 경우, 학습에 사용될 영상에 다양한 환경을 포함시키기 위하여 시간, 및 비용이 증가하고, 특정 환경을 구현하기 어렵다는 한계가 있다.
예를 들어, 1차선 내지 N 차선과 같은 도로의 폭, 삼거리, 사거리, 오거리와 같은 다양한 도로의 형태, 아스팔트길, 자갈길, 콘크리트 길과 같은 도로의 재질, 완만한 커브, 급커브와 같이 도로가 휘어지는 각도, T자형 삼거리, Y자형 삼거리와 같이 도로들이 연결된 각도와 같이 다양한 환경의 도로들에서 모두 실제 영상을 촬영하여 학습하기 위해서는 해당 도로를 찾기 위한 시간 및 해당 도로로 이동하기 위한 비용이 증가할 수 있다. 또한, 다양한 강설량에 따른 도로의 변화, 다양한 강우량에 따른 도로의 변화와 같은 도로 환경은 인위적으로 구현하기 어렵다는 한계도 있었다.
뉴럴 네트워크 학습 장치(120)는 시뮬레이터(110)를 이용하여 가상으로 주행 영상을 생성하고, 그에 대한 파라미터를 입력 받음으로써, 뉴럴 네트워크의 학습을 위한 영상 생성에 필요한 비용 및 시간을 절감하고, 인위적으로 구현하기 어려운 환경에 대한 영상과 파라미터를 획득하여 학습시킬 수 있다.
도 3은 본 발명의 일실시예에 따른 자율 주행 시스템의 자율 주행 제어 장치의 구조를 나타내는 도면이다.
자율 주행 제어 장치(140)는 도 3에 도시된 바와 같이 영상 변환부(310), 및 파라미터 결정부(320)를 포함할 수 있다. 이때, 영상 변환부(310), 및 파라미터 결정부(320)는 각각의 동작을 수행하는 별도의 프로세서일 수도 있고, 하나의 프로세서에서 각각의 동작을 수행하는 프로그램 모듈들일 수도 있다.
영상 변환부(310)는 카메라(130)로부터 제1 영상 유형 기반의 실제 주행 영상을 수신할 수 있다. 그리고, 영상 변환부(310)는 수신한 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환할 수 있다.
파라미터 결정부(320)는 뉴럴 네트워크 학습 장치(120)의 뉴럴 네트워크 학습부(230)로부터 학습된 뉴럴 네트워크를 수신하여 저장할 수 있다. 그리고, 파라미터 결정부(320)는 영상 변환부(310)에서 변환된 제2 영상 유형 기반의 실제 주행 영상을 뉴럴 네트워크 학습부(230)로부터 수신한 뉴럴 네트워크에 인가하여 영상 세그먼테이션을 수행할 수 있다. 다음으로, 파라미터 결정부(320)는 영상 세그먼테이션의 결과에 따라 차량 제어를 위한 파라미터를 결정할 수 있다.
자율 주행 제어 장치(140)는 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환하여 가상 주행 영상과의 차이를 감소시킴으로써, 가상 영상을 이용하여 학습한 뉴럴 네트워크로 실제 영상에 대응하는 제어 파라미터를 결정할 수 있다.
도 4는 본 발명의 일실시예에 따른 시뮬레이터의 동작 일례이다.
시뮬레이터(110)는 도 4에 도시된 설정 화면(410)과 같이 가상 차량의 주변 환경 및 가상 주행 영상을 생성하기 위한 설정 변경 화면을 실험자에게 제공할 수 있다.
그리고, 시뮬레이터(110)는 실험자가 설정한 환경에서 가상 차량이 주행하는 화면(420)을 실험자에게 표시할 수 있다. 이때, 시뮬레이터(110)는 도 4에 도시된 바와 같이 다양한 환경에서 가상 차량이 주행하는 화면(420)을 실험자에게 표시하고, 화면(420)에 표시된 가상 차량을 제어하기 위한 실험자의 입력에 따라 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른 뉴럴 네트워크에 입력할 영상을 전처리하는 과정의 일례이다.
뉴럴 네트워크 학습부(230)와 파라미터 결정부(320)는 각각 제2 영상 유형 기반의 가상 주행 영상 및 제2 영상 유형 기반의 실제 주행 영상을 뉴럴 네트워크에 인가하기 전에 전처리할 수 있다.
단계(510)에서 뉴럴 네트워크 학습부(230)와 파라미터 결정부(320)는 각각 제2 영상 유형 기반의 가상 주행 영상 및 제2 영상 유형 기반의 실제 주행 영상을 입력받을 수 있다.
단계(520)에서 뉴럴 네트워크 학습부(230)와 파라미터 결정부(320)는 단계(510)에서 입력받은 제2 영상 유형 기반의 가상 주행 영상 및 제2 영상 유형 기반의 실제 주행 영상에서 도로가 포함된 영역을 추출할 수 있다.
단계(530)에서 뉴럴 네트워크 학습부(230)와 파라미터 결정부(320)는 단계(530)에서 추출한 영역을 제2 영상 유형 기반의 가상 주행 영상 및 제2 영상 유형 기반의 실제 주행 영상의 크기에 따라 리사이즈하여 뉴럴 네트워크에 인가할 수 있다.
뉴럴 네트워크 학습부(230)와 파라미터 결정부(320)는 각각 제2 영상 유형 기반의 가상 주행 영상 및 제2 영상 유형 기반의 실제 주행 영상에서 도로가 포함된 영역을 추출하고 확대하여 뉴럴 네트워크에 인가함으로써, 뉴럴 네트워크의 도로에 대한 영상 세그먼테이션 성능을 향상시킬 수 있다.
도 6은 본 발명의 일실시예에 따른 영상 오그먼테이션 과정의 일례이다.
영상 오그멘테이션부(210)는 전처리된 제2 영상 유형 기반의 가상 주행 영상에 쉐도우(shadow)와 휘도(brightness)에 대한 랜덤 함수를 적용하여 도 6에 도시된 바와 같이 서로 다른 재질로 형성된 도로의 영상들을 생성함으로써, 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시킬 수 있다.
도 7은 본 발명의 일실시예에 따른 가상 주행 영상과 실제 주행 영상의 일례이다.
YUV 영상은 명암을 표시하는 Y 영상과 Y 영상에 포함된 레드(R) 성분을 표시하는 U 영상 및 Y 영상에 포함된 블루(B) 성분을 표시하는 V 영상으로 구성될 수 있다.
제1 영상 유형 기반의 가상 영상(710)과 제1 영상 유형 기반의 실제 영상(730)은 가상 영상(710)의 색감이나 실제 영상(730)의 입체감에 의하여 유사도가 낮을 수 있다. 그러나, 제2 영상 유형 기반의 가상 영상(720)의 Y 영상과 제2 영상 유형 기반의 실제 영상(740)의 Y 영상은 명암만을 표시하고, 색상이 표시하지 않음으로써, 색감에 의한 가상 영상과 실제 영상 간의 차이가 감소하여제1 영상 유형 기반의 가상 영상(710)과 제1 영상 유형 기반의 실제 영상(730) 간의 차이에 비하여 유사도가 더 높을 수 있다.
또한, 제2 영상 유형 기반의 가상 영상(720)의 U 영상 및 V 영상과 제2 영상 유형 기반의 실제 영상(740)의U 영상 및 V 영상은 명암에 포함된 색상 성분만 포함됨에 따라 영상들에 포함된 윤곽선이 흐려져서 실제 영상(730)의 입체감이 감소하여 제1 영상 유형 기반의 가상 영상(710)과 제1 영상 유형 기반의 실제 영상(730) 간의 차이에 비하여 유사도가 더 높을 수 있다.
따라서, 자율 주행 제어 장치(140)는 제1 영상 유형 기반의 실제 주행 영상(730)을 제2 영상 유형 기반의 실제 주행 영상(740)으로 변환하여 제2 영상 유형 기반의 가상 주행 영상(720)과의 차이를 감소시킴으로써, 가상 영상을 이용하여 학습한 뉴럴 네트워크로 실제 영상에 대응하는 제어 파라미터를 결정할 수 있다.
도 8은 본 발명의 일실시예에 따른 자율 주행 제어 장치의 동작 과정을 나타내는 도면이다.
자율 주행 제어 장치(140)는 카메라(130)로부터 수신한 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환할 수 있다. 그리고, 자율 주행 제어 장치(140)는 CNN(Convolution Neural Network)과 같은 뉴럴 네트워크로 제2 영상 유형 기반의 실제 주행 영상을 분석하여 실제 주행 영상에서 자율 주행에서 차량을 제어하기 위한 기준이 되는 정보를 추출할 수 있다.
그 다음으로, 자율 주행 제어 장치(140)는 뉴럴 네트워크로 CNN에서 추출한 정보에 대응하는 제어 파라미터를 추정할 수 있다. 그리고, 자율 주행 제어 장치(140)는 추정한 제어 파라미터를 차량의 제어 장치(830)로 전송하여 자동으로 차량을 제어할 수 있다.
도 9는 본 발명의 일실시예에 따른 영상 세그먼테이션 과정의 일례이다.
단계(910)에서 뉴럴 네트워크 학습부(230)는 제2 영상 유형 기반의 가상 주행 영상을 입력받을 수 있다.
단계(920)에서 뉴럴 네트워크 학습부(230)는 제2 영상 유형 기반의 가상 주행 영상에서 도로와 관련되지 않은 주변 오브젝트들을 삭제할 수 있다. 이때, 뉴럴 네트워크 학습부(230)는 단계(930) 또는 단계(940)를 수행할 수 있다.
단계(930)에서 뉴럴 네트워크 학습부(230)는 단계(920)에서 주변 오브젝트들이 삭제된 영상에 YUV 세그먼테이션을 수행하여 도로의 폭을 분석할 수 있다.
단계(940)에서 뉴럴 네트워크 학습부(230)는 단계(920)에서 주변 오브젝트들이 삭제된 영상(920)에 HSV 변환을 수행하여 도로의 양끝을 제외한 나머지 영역을 어둡게 처리함으로써, 도로의 양끝 라인을 추출할 수 있다. 그리고, 뉴럴 네트워크 학습부(230)는 추출한 도로의 양끝 라인의 위치를 이용하여 도로의 폭을 분석할 수 있다.
도 10은 본 발명의 일실시예에 따른 영상 세그먼테이션 과정의 다른 일례이다.
단계(1010)에서 뉴럴 네트워크 학습부(230)는 제2 영상 유형 기반의 가상 주행 영상을 입력받을 수 있다.
단계(1020)에서 뉴럴 네트워크 학습부(230)는 제2 영상 유형 기반의 가상 주행 영상에 YUV 세그먼테이션을 수행하여 제2 영상 유형 기반의 가상 주행 영상에 포함된 오브젝트들의 영역을 식별할 수 있다.
단계(1030)에서 뉴럴 네트워크 학습부(230)는 단계(1030)에서 식별한 도로 영역(1031)과 수풀 영역(1032)를 각각 추출할 수 있다.
도 11은 본 발명의 일실시예에 따른 자율 주행용 뉴럴 네트워크 학습 방법을 도시한 플로우차트이다.
단계(1110)에서 뉴럴 네트워크 학습 장치(120)의 영상 오그멘테이션부(210)는 시뮬레이터(110)로부터 제1 영상 유형 기반의 가상 주행 영상 및 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 수신할 수 있다.
단계(1120)에서 영상 오그멘테이션부(210)는 단계(1110)에서 수신한 제1 영상 유형 기반의 가상 주행 영상을 변형함으로써, 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가 시킬 수 있다. 구체적으로, 영상 오그멘테이션부(210)는 제1 영상 유형 기반의 가상 주행 영상의 배경 교체, 제1 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 제1 영상 유형 기반의 가상 주행 영상의 회전, 제1 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시킬 수 있다.
단계(1130)에서 영상 변환부(220)는 단계(1110)에서 수신한 제1 영상 유형 기반의 가상 주행 영상 및 단계(1120)에서 추가로 생성된 제1 영상 유형 기반의 가상 주행 영상들을 제2 영상 유형 기반의 가상 주행 영상으로 변환할 수 있다.
단계(1140)에서 영상 오그멘테이션부(210)는 단계(1130)에서 변환한 제2 영상 유형 기반의 가상 주행 영상을 변형함으로써, 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시킬 수 있다. 구체적으로, 영상 오그멘테이션부(210)는 제2 영상 유형 기반의 가상 주행 영상의 배경 교체, 제2 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 제2 영상 유형 기반의 가상 주행 영상의 회전, 제2 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시킬 수 있다.
단계(1150)에서 뉴럴 네트워크 학습부(230)는 단계(1130)에서 제2 영상 유형 기반으로 변환된 가상 주행 영상 및 단계(1140)에서 추가로 생성된 제2 영상 유형 기반의 가상 주행 영상들을 뉴럴 네트워크에 인가하여 차량 제어 파라미터를 결정할 수 있다.
단계(1160)에서 뉴럴 네트워크 학습부(230)는 단계(1150)에서 결정한 차량 제어 파라미터와 단계(1110)에서 수신한 레이블을 비교할 수 있다.
단계(1170)에서 뉴럴 네트워크 학습부(230)는 단계(1160)의 비교 결과에 따라 뉴럴 네트워크를 학습할 수 있다. 구체적으로, 뉴럴 네트워크 학습부(230)는 단계(1150)에서 결정한 차량 제어 파라미터와 단계(1110)에서 수신한 레이블 간의 차이가 클수록 단계(1150)에서 결정한 차량 제어 파라미터에 대한 가중치를 감소시키면서 뉴럴 네트워크를 반복 수행할 수 있다. 또한, 뉴럴 네트워크 학습부(230)는 단계(1150)에서 결정한 차량 제어 파라미터와 단계(1110)에서 수신한 레이블 간의 차이가 적을수록 단계(1150)에서 결정한 차량 제어 파라미터에 대한 가중치를 증가시키면서 뉴럴 네트워크를 반복 수행할 수 있다.
도 12는 본 발명의 일실시예에 따른 자율 주행 방법을 도시한 플로우차트이다.
단계(1210)에서 영상 변환부(310)는 카메라(130)로부터 제1 영상 유형 기반의 실제 주행 영상을 수신할 수 있다.
단계(1220)에서 영상 변환부(310)는 단계(1210)에서 수신한 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환할 수 있다.
단계(1230)에서 파라미터 결정부(320)는 단계(1220)에서 변환된 제2 영상 유형 기반의 실제 주행 영상을 뉴럴 네트워크 학습부(230)로부터 수신한 뉴럴 네트워크에 인가하여 영상 세그먼테이션을 수행할 수 있다.
단계(1240)에서 파라미터 결정부(320)는 단계(1230)에서 수행한 영상 세그먼테이션의 결과에 따라 차량 제어를 위한 파라미터를 결정할 수 있다.
자율 주행 제어 장치(140)는 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환하여 가상 주행 영상과의 차이를 감소시킴으로써, 가상 영상을 이용하여 학습한 뉴럴 네트워크로 실제 영상에 대응하는 제어 파라미터를 결정할 수 있다.
본 발명은 제1 영상 유형 기반의 가상 주행 영상을 제2 영상 유형 기반의 기상 주행 영상으로 변환하여 뉴럴 네트워크를 학습하고, 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환하여 학습된 뉴럴 네트워크에 적용함으로써, 가상 영상을 이용하여 학습한 뉴럴 네트워크로 실제 영상에 대응하는 제어 파라미터를 결정할 수 있다. 또한, 본 발명은 시뮬레이터를 이용하여 가상으로 주행 영상을 생성하고, 그에 대한 파라미터를 입력 받음으로써, 뉴럴 네트워크의 학습을 위한 영상 생성에 필요한 비용 및 시간을 절감하고, 인위적으로 구현하기 어려운 환경에 대한 영상과 파라미터를 획득하여 학습시킬 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 시스템이가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 시스템에 의하여 해석되거나 처리 시스템에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 시스템, 가상 시스템(virtual equipment), 컴퓨터 저장 매체 또는 시스템, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 시스템, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
110: 시뮬레이터
120: 뉴럴 네트워크 학습 장치
140: 자율 주행 제어 장치

Claims (20)

  1. 제1 영상 유형 기반의 실제 주행 영상을 수신하는 단계;
    상기 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환하는 단계; 및
    상기 제2 영상 유형 기반의 실제 주행 영상을 뉴럴 네트워크에 인가하여 차량 제어를 위한 파라미터를 결정하는 단계
    를 포함하고,
    상기 제2 영상 유형 기반의 실제 주행 영상으로 변환하는 단계는,
    상기 제1 영상 유형 기반의 실제 주행 영상에 포함된 윤곽선을 흐리게 하여 상기 제1 영상 유형 기반의 실제 주행 영상 보다 입체감이 감소된 제2 영상 유형 기반의 실제 주행 영상으로 변환하며,
    상기 뉴럴 네트워크는,
    제1 영상 유형 기반의 가상 주행 영상을 변환한 제2 영상 유형 기반의 가상 주행 영상에 기초하여 학습되는,
    자율 주행 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 파라미터는,
    자율 주행 차량의 주행 방향각을 제어하기 위한 파라미터 및 상기 자율 주행 차량의 주행 속도를 제어하기 위한 파라미터 중 적어도 하나를 포함하는,
    자율 주행 방법.
  4. 제1항에 있어서,
    상기 제1 영상 유형은 RGB 유형을 포함하고,
    상기 제2 영상 유형은 YUV 유형을 포함하는,
    자율 주행 방법.
  5. 삭제
  6. 시뮬레이터를 이용하여 생성된 제1 영상 유형 기반의 가상 주행 영상 및 상기 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 획득하는 단계;
    상기 제1 영상 유형 기반의 가상 주행 영상에 포함된 윤곽선을 흐리게 하여 상기 제1 영상 유형 기반의 가상 주행 영상 보다 입체감이 감소된 제2 영상 유형 기반의 가상 주행 영상으로 변환하는 단계;
    상기 제2 영상 유형 기반으로 변환된 가상 주행 영상을 뉴럴 네트워크에 인가하여 차량 제어 파라미터를 결정하는 단계; 및
    상기 레이블과 상기 차량 제어 파라미터 간의 비교 결과에 따라 상기 뉴럴 네트워크를 학습하는 단계
    를 포함하고,
    상기 레이블은,
    상기 시뮬레이터에서 상기 제1 영상 유형 기반의 가상 주행 영상을 인식한 실험자가 가상 차량을 제어하기 위한 수단에 입력한 명령에 대응하는 제어 파라미터이며,
    학습한 뉴럴 네트워크는,
    자율 주행 제어 장치에서 제1 영상 유형 기반의 실제 주행 영상 보다 입체감이 감소된 제2 영상 유형 기반의 실제 주행 영상을 인가 받는 경우, 자율 주행하는 차량의 제어 파라미터를 결정하는,
    자율 주행용 뉴럴 네트워크 학습 방법.
  7. 제6항에 있어서,
    상기 자율 주행하는 차량의 제어 파라미터는,
    자율 주행 차량의 주행 방향각을 제어하기 위한 파라미터 및 상기 자율 주행 차량의 주행 속도를 제어하기 위한 파라미터 중 적어도 하나를 포함하는,
    자율 주행용 뉴럴 네트워크 학습 방법.
  8. 제6항에 있어서,
    상기 제1 영상 유형은 RGB 유형을 포함하고,
    상기 제2 영상 유형은 YUV 유형을 포함하는,
    자율 주행용 뉴럴 네트워크 학습 방법.
  9. 제6항에 있어서,
    상기 제1 영상 유형 기반의 가상 주행 영상을 변형함으로써, 상기 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계; 및
    상기 제2 영상 유형 기반의 가상 주행 영상을 변형함으로써, 상기 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계
    중 어느 하나를 더 포함하는,
    자율 주행용 뉴럴 네트워크 학습 방법.
  10. 제9항에 있어서,
    상기 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계는,
    상기 제1 영상 유형 기반의 가상 주행 영상의 배경 교체, 상기 제1 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 상기 제1 영상 유형 기반의 가상 주행 영상의 회전, 상기 제1 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 상기 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계
    를 포함하는,
    자율 주행용 뉴럴 네트워크 학습 방법.
  11. 제9항에 있어서,
    상기 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계는,
    상기 제2 영상 유형 기반의 가상 주행 영상의 배경 교체, 상기 제2 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 상기 제2 영상 유형 기반의 가상 주행 영상의 회전, 상기 제2 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 상기 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 단계
    를 포함하는,
    자율 주행용 뉴럴 네트워크 학습 방법.
  12. 제1 영상 유형 기반의 실제 주행 영상을 수신하고, 수신한 제1 영상 유형 기반의 실제 주행 영상을 제2 영상 유형 기반의 실제 주행 영상으로 변환하는 영상 변환부; 및
    제2 영상 유형 기반의 실제 주행 영상을 뉴럴 네트워크에 인가하여 차량 제어를 위한 파라미터를 결정하는 파라미터 결정부
    를 포함하고,
    상기 영상 변환부는,
    상기 제1 영상 유형 기반의 실제 주행 영상에 포함된 윤곽선을 흐리게 하여 상기 제1 영상 유형 기반의 실제 주행 영상 보다 입체감이 감소된 제2 영상 유형 기반의 실제 주행 영상으로 변환하며,
    상기 뉴럴 네트워크는,
    제1 영상 유형 기반의 가상 주행 영상을 변환한 제2 영상 유형 기반의 가상 주행 영상에 기초하여 학습되는,
    자율 주행 제어 장치.
  13. 삭제
  14. 제12항에 있어서,
    상기 파라미터는,
    자율 주행 차량의 주행 방향각을 제어하기 위한 파라미터 및 상기 자율 주행 차량의 주행 속도를 제어하기 위한 파라미터 중 적어도 하나를 포함하는,
    자율 주행 제어 장치.
  15. 시뮬레이터를 이용하여 생성된 제1 영상 유형 기반의 가상 주행 영상 및 상기 제1 영상 유형 기반의 가상 주행 영상에 대응하는 레이블을 획득하고, 상기 제1 영상 유형 기반의 가상 주행 영상에 포함된 윤곽선을 흐리게 하여 상기 제1 영상 유형 기반의 가상 주행 영상 보다 입체감이 감소된 제2 영상 유형 기반의 가상 주행 영상으로 변환하는 영상 변환부; 및
    제2 영상 유형 기반으로 변환된 가상 주행 영상을 뉴럴 네트워크에 인가하여 차량 제어 파라미터를 결정하며, 상기 레이블과 상기 차량 제어 파라미터 간의 비교 결과에 따라 상기 뉴럴 네트워크를 학습하는 뉴럴 네트워크 학습부
    를 포함하고,
    상기 레이블은,
    상기 시뮬레이터에서 상기 제1 영상 유형 기반의 가상 주행 영상을 인식한 실험자가 가상 차량을 제어하기 위한 수단에 입력한 명령에 대응하는 제어 파라미터이며,
    학습한 뉴럴 네트워크는,
    자율 주행 제어 장치에서 제1 영상 유형 기반의 실제 주행 영상 보다 입체감이 감소된 제2 영상 유형 기반의 실제 주행 영상을 인가 받는 경우, 자율 주행하는 차량의 제어 파라미터를 결정하는,
    뉴럴 네트워크 학습 장치.
  16. 제15항에 있어서,
    상기 자율 주행하는 차량의 제어 파라미터는,
    자율 주행 차량의 주행 방향각을 제어하기 위한 파라미터 및 상기 자율 주행 차량의 주행 속도를 제어하기 위한 파라미터 중 적어도 하나를 포함하는,
    뉴럴 네트워크 학습 장치.
  17. 제15항에 있어서,
    상기 제1 영상 유형은 RGB 유형을 포함하고,
    상기 제2 영상 유형은 YUV 유형을 포함하는,
    뉴럴 네트워크 학습 장치.
  18. 제15항에 있어서,
    상기 제1 영상 유형 기반의 가상 주행 영상을 변형함으로써, 상기 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시키거나, 상기 제2 영상 유형 기반의 가상 주행 영상을 변형함으로써, 상기 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는 영상 오그멘테이션부
    를 더 포함하는
    뉴럴 네트워크 학습 장치.
  19. 제18항에 있어서,
    상기 영상 오그멘테이션부는,
    상기 제1 영상 유형 기반의 가상 주행 영상의 배경 교체, 상기 제1 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 상기 제1 영상 유형 기반의 가상 주행 영상의 회전, 상기 제1 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 상기 제1 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는
    뉴럴 네트워크 학습 장치.
  20. 제18항에 있어서,
    상기 영상 오그멘테이션부는,
    상기 제2 영상 유형 기반의 가상 주행 영상의 배경 교체, 상기 제2 영상 유형 기반의 가상 주행 영상의 도로 타입 변경, 상기 제2 영상 유형 기반의 가상 주행 영상의 회전, 상기 제2 영상 유형 기반의 가상 주행 영상에 포함된 도로 및 차량의 위치 이동, 중 적어도 하나를 적용한 새로운 가상 주행 영상을 생성하여 상기 제2 영상 유형 기반의 가상 주행 영상의 개수를 증가시키는
    뉴럴 네트워크 학습 장치.
KR1020180172902A 2018-06-25 2018-12-28 Yuv 기반 세그먼테이션 및 오그먼테이션에 따른 자율 주행 시스템 및 그 방법 KR102130596B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180072772 2018-06-25
KR1020180072772 2018-06-25

Publications (2)

Publication Number Publication Date
KR20200010983A KR20200010983A (ko) 2020-01-31
KR102130596B1 true KR102130596B1 (ko) 2020-07-06

Family

ID=69369514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172902A KR102130596B1 (ko) 2018-06-25 2018-12-28 Yuv 기반 세그먼테이션 및 오그먼테이션에 따른 자율 주행 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102130596B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020203836A1 (de) * 2020-03-25 2021-09-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung eines Wertes einer Reglergröße

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011210087A (ja) * 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP2016216029A (ja) 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
JP2018060512A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3410512B2 (ja) * 1992-07-01 2003-05-26 マツダ株式会社 自動車の特性変更装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011210087A (ja) * 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP2016216029A (ja) 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
JP2018060512A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法

Also Published As

Publication number Publication date
KR20200010983A (ko) 2020-01-31

Similar Documents

Publication Publication Date Title
JP7262503B2 (ja) 小目標を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
KR102541559B1 (ko) 관심 객체를 검출하는 방법 및 장치
US10068140B2 (en) System and method for estimating vehicular motion based on monocular video data
KR20190026116A (ko) 객체 인식 방법 및 장치
US10919543B2 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US11348263B2 (en) Training method for detecting vanishing point and method and apparatus for detecting vanishing point
US11836884B2 (en) Real-time generation of functional road maps
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
Cheng et al. S 3 Net: Semantic-aware self-supervised depth estimation with monocular videos and synthetic data
CN114549369B (zh) 数据修复方法、装置、计算机及可读存储介质
US12008743B2 (en) Hazard detection ensemble architecture system and method
CN109376664A (zh) 机器学习训练方法、装置、服务器和介质
KR102130596B1 (ko) Yuv 기반 세그먼테이션 및 오그먼테이션에 따른 자율 주행 시스템 및 그 방법
US20220057992A1 (en) Information processing system, information processing method, computer program product, and vehicle control system
CN110182221A (zh) 用于提供用于车辆自主操作的操作数据界面的系统和方法
CN111210411B (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
Broggi et al. ARGO prototype vehicle
KR102677513B1 (ko) 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치
US20230359212A1 (en) Distilling information for crowd-aware robot navigation
JP7413608B2 (ja) 予め定められたセマンティックマップからの写実的画像の生成
KR102370874B1 (ko) 다이나믹 맵 차량 영상 처리 장치와 클라우드 서버 및 그 동작 방법
US11904892B2 (en) Machine learning algorithm predicton of movements of simulated objects by using a velocity grid created in a simulation
Subhashini et al. Naturalistic Driving Simulation Using Automation
Yogamani et al. FisheyeBEVSeg: Surround View Fisheye Cameras based Bird's-Eye View Segmentation for Autonomous Driving
KR20230094307A (ko) 차량을 제어하기 위한 이미지 처리 방법 및 그 방법을 수행하는 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant