KR102164800B1

KR102164800B1 - 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치 및 그 동작 방법

Info

Publication number: KR102164800B1
Application number: KR1020190130725A
Authority: KR
Inventors: 이영섭; 이민호; 한경엽; 유지훈
Original assignee: 인천대학교 산학협력단
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2020-10-14

Abstract

어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치 및 그 동작 방법이 개시된다. 본 발명에 따른 이동 경로 생성 장치 및 그 동작 방법은 차량에 구비되어 있는 AVM 시스템을 통해 상기 차량의 상단 뷰 이미지를 획득하고, 상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선과 우측 차선의 윤곽선을 검출하며, 상기 차량의 좌측 차선과 우측 차선의 윤곽선을 기초로 상기 좌측 차선과 우측 차선에 대한 좌표 값을 생성하고, 상기 좌측 차선과 우측 차선의 좌표 값에 기초하여 인공지능 모델에 기반한 이차함수를 생성한 후 상기 이차함수에 따른 곡선을 상기 차량의 이동 경로로 결정함으로써, 좁은 골목에서도 자율 주행 차량이 비교적 정확하게 주행할 수 있도록 지원할 수 있다.

Description

어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치 및 그 동작 방법{ARTIFICIAL INTELLIGENCE BASED MOVING PATH GENERATION DEVICE USING AN AROUND VIEW MONITORING SYSTEM AND OPERATING METHOD THEREOF}

본 발명은 차량에 탑재되어 있는 어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템을 이용하여 자율 주행 차량을 위한 이동 경로를 생성하는 장치 및 방법에 대한 것이다.

최근, 자율 주행 차량에 대한 연구가 활발하게 이루어짐에 따라, 안전한 자율 주행을 위한 다양한 기술들이 등장하고 있다.

자율 주행 차량은 다양한 센서들을 이용하여 전방, 후방, 좌우측면에 장애물을 감지하고, 이를 기초로 장애물을 회피하는 기술을 탑재하고 있으며, 다양한 카메라를 이용해서 도로 상의 차선을 감지하고, 이를 기초로 차선을 유지하면서 주행을 수행하는 기술도 탑재하고 있다.

최근에는 좁은 골목을 통과하거나 주차를 보조하기 위한 시스템으로, 어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템이 탑재된 차량이 등장하고 있다.

AVM 시스템은 도 2의 도면부호 210에 도시된 그림과 같이 차량의 전방, 후방, 좌우측면에 광각 카메라를 탑재하여 차량의 전후방과 좌우측면의 이미지를 획득한 후 획득된 이미지에 대한 왜곡 보정을 수행하여 도 2의 도면부호 220에 도시된 그림과 같이 차량의 상단 뷰(top view) 이미지를 생성하는 시스템을 의미한다.

이렇게, 차량의 상단 뷰 이미지가 생성되면, 사용자는 차량의 상단 뷰 이미지를 보면서 좁은 골목을 쉽게 통과할 수 있고, 주차시 주변 장애물의 존재를 쉽게 확인할 수 있다.

기존의 자율 주행 차량에서는 차선 감지를 위한 카메라의 영상 촬영 각도가 제한적이어서 좁은 골목에서 차량이 차선을 제대로 감지하지 못해 자율 주행이 잘 되지 못하는 문제가 있었다.

이와 관련해서, AVM 시스템은 차량의 상단 뷰 이미지를 생성함으로써, 좁은 골목에서 차량의 위치를 파악할 수 있도록 지원하는 시스템이라는 점에서, 차량에 탑재된 AVM 시스템을 활용하여 자율 주행 차량이 좁은 골목을 주행할 수 있도록 지원하는 이동 경로 생성 기술에 대한 연구가 필요하다.

본 발명에 따른 이동 경로 생성 장치 및 그 동작 방법은 차량에 구비되어 있는 AVM 시스템을 통해 상기 차량의 상단 뷰 이미지를 획득하고, 상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선과 우측 차선의 윤곽선을 검출하며, 상기 차량의 좌측 차선과 우측 차선의 윤곽선을 기초로 상기 좌측 차선과 우측 차선에 대한 좌표 값을 생성하고, 상기 좌측 차선과 우측 차선의 좌표 값에 기초하여 인공지능 모델에 기반한 이차함수를 생성한 후 상기 이차함수에 따른 곡선을 기초로 상기 차량의 이동 경로를 생성함으로써, 좁은 골목에서도 자율 주행 차량이 비교적 정확하게 주행할 수 있도록 지원하고자 한다.

본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치는 차선의 배치 경로에 대한 n(n은 3이상의 자연수)개의 2차원 좌표 값들로 구성된 미리 지정된 서로 다른 복수의 좌표 값 세트들과 상기 복수의 좌표 값 세트들 각각에 대응되는 것으로 미리 지정된 서로 다른 상수 값 세트 - 상기 상수 값 세트는

라는 이차함수에서 3개의 상수 값들인 a, b, c 값으로 구성된 세트를 의미함 - 를 기계학습을 위한 트레이닝 데이터로 저장하고 있는 트레이닝 데이터 저장부, 상기 복수의 좌표 값 세트들 중 어느 하나인 제1 좌표 값 세트에 포함된 n개의 2차원 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 입력 행렬을 생성하는 입력 행렬 생성부, 상기 입력 행렬을 심층 신경망(Deep Neural Network)에 입력으로 인가하여 3차원의 출력 벡터를 생성하는 출력 백터 생성부, 상기 트레이닝 데이터 저장부로부터 상기 제1 좌표 값 세트에 대응되는 제1 상수 값 세트를 확인하고, 상기 출력 벡터의 성분인 3개의 출력 값들을 상기 제1 상수 값 세트에 포함된 3개의 상수 값들에 하나씩 매칭시킨 후 상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 비교함으로써, 상기 심층 신경망을 기계학습시키는 기계학습 수행부, 상기 복수의 좌표 값 세트들 중 상기 제1 좌표 값 세트를 제외한 나머지 좌표 값 세트들 전부에 대해 상기 심층 신경망을 기계학습시키기 위한 과정의 반복 수행을 제어하는 반복 수행 제어부, 상기 심층 신경망에 대한 기계학습이 완료된 이후, 차량의 자율 주행을 위한 이동 경로 생성 명령이 인가되면, 상기 차량에 구비되어 있는 어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템 - 상기 AVM 시스템은 상기 차량의 전방, 후방 및 좌우측면에 구비된 카메라를 통해 촬영된 영상으로부터 상기 차량의 상단 뷰(top view) 이미지를 생성하는 시스템임 - 을 통해 상기 차량의 상단 뷰 이미지를 획득하는 이미지 획득부, 상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선의 배치 경로에 대한 n개의 2차원 좌측 좌표 값들과 상기 차량의 우측 차선의 배치 경로에 대한 n개의 2차원 우측 좌표 값들을 획득하는 좌표 획득부, 상기 좌측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 좌측 입력 행렬을 생성하고, 상기 우측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 우측 입력 행렬을 생성한 후 상기 좌측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 좌측 출력 벡터를 생성하고, 상기 우측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 우측 출력 벡터를 생성하는 출력 생성부 및 상기 좌측 출력 벡터의 성분인 3개의 좌측 출력 값들을 상수 값으로 갖는 좌측 이차함수를 생성하고, 상기 우측 출력 벡터의 성분인 3개의 우측 출력 값들을 상수 값으로 갖는 우측 이차함수를 생성한 후 상기 좌측 이차함수에 따라 그려지는 좌측 곡선과 상기 우측 이차함수에 따라 그려지는 우측 곡선 간의 중간 곡선을 상기 차량에 대한 이동 경로로 생성하는 이동 경로 생성부를 포함한다.

또한, 본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법은 차선의 배치 경로에 대한 n(n은 3이상의 자연수)개의 2차원 좌표 값들로 구성된 미리 지정된 서로 다른 복수의 좌표 값 세트들과 상기 복수의 좌표 값 세트들 각각에 대응되는 것으로 미리 지정된 서로 다른 상수 값 세트 - 상기 상수 값 세트는

라는 이차함수에서 3개의 상수 값들인 a, b, c 값으로 구성된 세트를 의미함 - 를 기계학습을 위한 트레이닝 데이터로 저장하고 있는 트레이닝 데이터 저장부를 유지하는 단계, 상기 복수의 좌표 값 세트들 중 어느 하나인 제1 좌표 값 세트에 포함된 n개의 2차원 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 입력 행렬을 생성하는 단계, 상기 입력 행렬을 심층 신경망에 입력으로 인가하여 3차원의 출력 벡터를 생성하는 단계, 상기 트레이닝 데이터 저장부로부터 상기 제1 좌표 값 세트에 대응되는 제1 상수 값 세트를 확인하고, 상기 출력 벡터의 성분인 3개의 출력 값들을 상기 제1 상수 값 세트에 포함된 3개의 상수 값들에 하나씩 매칭시킨 후 상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 비교함으로써, 상기 심층 신경망을 기계학습시키는 단계, 상기 복수의 좌표 값 세트들 중 상기 제1 좌표 값 세트를 제외한 나머지 좌표 값 세트들 전부에 대해 상기 심층 신경망을 기계학습시키기 위한 과정의 반복 수행을 제어하는 단계, 상기 심층 신경망에 대한 기계학습이 완료된 이후, 차량의 자율 주행을 위한 이동 경로 생성 명령이 인가되면, 상기 차량에 구비되어 있는 어라운드 뷰 모니터링 시스템 - 상기 AVM 시스템은 상기 차량의 전방, 후방 및 좌우측면에 구비된 카메라를 통해 촬영된 영상으로부터 상기 차량의 상단 뷰 이미지를 생성하는 시스템임 - 을 통해 상기 차량의 상단 뷰 이미지를 획득하는 단계, 상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선의 배치 경로에 대한 n개의 2차원 좌측 좌표 값들과 상기 차량의 우측 차선의 배치 경로에 대한 n개의 2차원 우측 좌표 값들을 획득하는 단계, 상기 좌측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 좌측 입력 행렬을 생성하고, 상기 우측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 우측 입력 행렬을 생성한 후 상기 좌측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 좌측 출력 벡터를 생성하고, 상기 우측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 우측 출력 벡터를 생성하는 단계 및 상기 좌측 출력 벡터의 성분인 3개의 좌측 출력 값들을 상수 값으로 갖는 좌측 이차함수를 생성하고, 상기 우측 출력 벡터의 성분인 3개의 우측 출력 값들을 상수 값으로 갖는 우측 이차함수를 생성한 후 상기 좌측 이차함수에 따라 그려지는 좌측 곡선과 상기 우측 이차함수에 따라 그려지는 우측 곡선 간의 중간 곡선을 상기 차량에 대한 이동 경로로 생성하는 단계를 포함한다.

본 발명에 따른 이동 경로 생성 장치 및 그 동작 방법은 차량에 구비되어 있는 AVM 시스템을 통해 상기 차량의 상단 뷰 이미지를 획득하고, 상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선과 우측 차선의 윤곽선을 검출하며, 상기 차량의 좌측 차선과 우측 차선의 윤곽선을 기초로 상기 좌측 차선과 우측 차선에 대한 좌표 값을 생성하고, 상기 좌측 차선과 우측 차선의 좌표 값에 기초하여 인공지능 모델에 기반한 이차함수를 생성한 후 상기 이차함수에 따른 곡선을 기초로 상기 차량의 이동 경로를 생성함으로써, 좁은 골목에서도 자율 주행 차량이 비교적 정확하게 주행할 수 있도록 지원할 수 있다.

도 1은 본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 구조를 도시한 도면이다.
도 2 내지 도 6은 본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치를 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법을 도시한 순서도이다.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.

도 1은 본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 구조를 도시한 도면이다.

도 1을 참조하면, 본 발명에 따른 이동 경로 생성 장치(110)는 트레이닝 데이터 저장부(111), 입력 행렬 생성부(112), 출력 벡터 생성부(113), 기계학습 수행부(114), 반복 수행 제어부(116), 이미지 획득부(117), 좌표 획득부(118), 출력 생성부(119) 및 이동 경로 생성부(120)를 포함한다.

트레이닝 데이터 저장부(111)는 차선의 배치 경로에 대한 n(n은 3이상의 자연수)개의 2차원 좌표 값들로 구성된 미리 지정된 서로 다른 복수의 좌표 값 세트들과 상기 복수의 좌표 값 세트들 각각에 대응되는 것으로 미리 지정된 서로 다른 상수 값 세트를 기계학습을 위한 트레이닝 데이터로 저장하고 있다.

여기서, 상기 상수 값 세트는

라는 이차함수에서 3개의 상수 값들인 a, b, c 값으로 구성된 세트를 의미한다.

관련해서, n을 5라고 하였을 때, 트레이닝 세트 저장부(111)에는 하기의 표 1과 같이 트레이닝 데이터가 저장되어 있을 수 있다.

복수의 좌표 값 세트들		상수 값 세트
좌표 값 세트 1	(x1, y1) (x2, y2) (x3, y3) (x4, y4) (x5, y5)	상수 값 세트 1	(a1, b1, c1)
좌표 값 세트 2	(x6, y6) (x7, y7) (x8, y8) (x9, y9) (x10, y10)	상수 값 세트 2	(a2, b2, c2)
좌표 값 세트 3	(x11, y11) (x12, y12) (x13, y13) (x14, y14) (x15, y15)	상수 값 세트 3	(a3, b3, c3)
...	...	...	...

입력 행렬 생성부(112)는 상기 복수의 좌표 값 세트들 중 어느 하나인 제1 좌표 값 세트에 포함된 n개의 2차원 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 입력 행렬을 생성한다.

예컨대, 상기 제1 좌표 값 세트를 상기 표 1에서 '좌표 값 세트 1'이라고 하는 경우, 입력 행렬 생성부(112)는 (x1, y1), (x2, y2), (x3, y3), (x4, y4), (x5, y5)을 열의 성분으로 지정함으로써, 하기의 수학식 1과 같은 5 x 2 크기의 입력 행렬을 생성할 수 있다.

출력 벡터 생성부(113)는 상기 입력 행렬을 심층 신경망(Deep Neural Network)에 입력으로 인가하여 3차원의 출력 벡터를 생성한다.

기계학습 수행부(114)는 트레이닝 데이터 저장부(111)로부터 상기 제1 좌표 값 세트에 대응되는 제1 상수 값 세트를 확인하고, 상기 출력 벡터의 성분인 3개의 출력 값들을 상기 제1 상수 값 세트에 포함된 3개의 상수 값들에 하나씩 매칭시킨 후 상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 비교함으로써, 상기 심층 신경망을 기계학습시킨다.

이때, 본 발명의 일실시예에 따르면, 기계학습 수행부(114)는 상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 기초로 사전 설정된 손실 함수(Loss Function)를 기반으로 한 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 심층 신경망을 기계학습시킬 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 손실 함수는 하기의 수학식 2와 같이 나타낼 수 있고, 기계학습 수행부(114)는 하기의 수학식 2의 연산에 따라 상기 손실 값을 연산할 수 있다.

여기서, L은 상기 손실 값, c_i는 상기 제1 상수 값 세트에 포함된 3개의 상수 값들 중 i번째 상수 값, y_i는 상기 3개의 출력 값들 중 i번째 출력 값을 의미한다.

관련해서, 상기 표 1과 같은 트레이닝 데이터에서 '좌표 값 세트 1'에 대해 기계학습이 수행되는 과정을 설명하면 다음과 같다.

출력 벡터 생성부(113)가 상기 수학식 1에서 나타낸 입력 행렬을 심층 신경망에 입력으로 인가하여 3차원의 출력 벡터를 생성한 결과, '[O1 O2 O3]'이라고 하는 출력 벡터가 생성되었다고 하는 경우, 기계학습 수행부(114)는 '[O1 O2 O3]'의 성분인 'O1, O2, O3'을 '상수 값 세트 1'의 상수 값인 'a1, b1, c1'에 하나씩 매칭시킨 후 상기 수학식 2에 따른 손실 값을 연산할 수 있다.

그러고 나서, 기계학습 수행부(114)는 상기 손실 값이 최소가 되도록 상기 심층 신경망을 기계학습시킬 수 있다. 이때, 기계학습 수행부(114)는 상기 손실 값에 기초하여 역전파(Backpropagation) 처리를 수행함으로써, 상기 심층 신경망을 기계학습시킬 수 있다.

반복 수행 제어부(115)는 상기 복수의 좌표 값 세트들 중 상기 제1 좌표 값 세트를 제외한 나머지 좌표 값 세트들 전부에 대해 상기 심층 신경망을 기계학습시키기 위한 과정의 반복 수행을 제어함으로써, 상기 심층 신경망을 정교하게 학습시킬 수 있다.

이렇게, 상기 심층 신경망에 대한 기계학습이 완료된 이후, 차량의 자율 주행을 위한 이동 경로 생성 명령이 인가되면, 이미지 획득부(116)는 상기 차량에 구비되어 있는 어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템을 통해 상기 차량의 상단 뷰 이미지를 획득한다.

여기서, 상기 AVM 시스템은 도 2의 도면부호 210에 도시된 그림과 같이 차량의 전방, 후방, 좌우측면에 광각 카메라를 탑재하여 상기 차량의 전후방과 좌우측면의 이미지를 획득한 후 획득된 이미지에 대한 왜곡 보정을 수행하여 도 2의 도면부호 220에 도시된 그림과 같이 상기 차량의 상단 뷰(top view) 이미지를 생성하는 시스템을 의미한다.

좌표 획득부(117)는 상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선의 배치 경로에 대한 n개의 2차원 좌측 좌표 값들과 상기 차량의 우측 차선의 배치 경로에 대한 n개의 2차원 우측 좌표 값들을 획득한다.

이때, 본 발명의 일실시예에 따르면, 좌표 획득부(117)는 차선 검출부(120), 기준 관심 영역 생성부(121) 및 좌표 생성부(122)를 포함할 수 있다.

차선 검출부(120)는 상기 차량의 상단 뷰 이미지에서 상기 차량의 좌측 지점과 우측 지점에 차선 검출을 위한 미리 설정된 제1 크기의 관심 영역을 설정하고, 상기 관심 영역 내에서 좌측 차선과 우측 차선의 윤곽선을 검출한다.

이때, 본 발명의 일실시예에 따르면, 차선 검출부(120)는 이진화 처리부(123) 및 윤곽선 검출부(124)를 포함할 수 있다.

이진화 처리부(123)는 상기 차량의 상단 뷰 이미지가 획득되면, 차선의 색상으로 사전 설정된 차선 색상 정보를 기초로 상기 차량의 상단 뷰 이미지에서 상기 차선 색상 정보에 따른 색상을 갖는 화소들의 색상을 흑색으로, 나머지 화소들의 색상을 백색으로 변환함으로써, 상기 차량의 상단 뷰 이미지를 이진화한다.

그리고, 윤곽선 검출부(124)는 상기 차량의 상단 뷰 이미지에 대한 이진화가 완료되면, 이진화가 완료된 상기 차량의 상단 뷰 이미지에서 상기 차량의 좌측 지점과 우측 지점에 상기 관심 영역을 설정하고, 상기 관심 영역에서 흑색의 화소들로 구성된 영역의 크기가 미리 설정된 면적 크기를 초과하는 영역을 상기 좌측 차선과 상기 우측 차선의 윤곽선으로 검출한다.

관련해서, 이미지 획득부(116)를 통해 획득된 상기 차량의 상단 뷰 이미지가 도 3의 도면부호 310과 같다고 하는 경우, 이진화 처리부(123)는 차선의 색상으로 사전 설정된 차선 색상 정보를 기초로 상기 차량의 상단 뷰 이미지에서 상기 차선 색상 정보에 따른 색상을 갖는 화소들의 색상을 흑색으로, 나머지 화소들의 색상을 백색으로 변환함으로써, 상기 차량의 상단 뷰 이미지를 이진화할 수 있다.

일반적으로 차선의 색상은 노란색이나 흰색인 경우가 많기 때문에 상기 차선 색상 정보는 노란색이나 흰색 계열의 색상 정보가 될 수 있고, 이진화 처리부(123)는 상기 차량의 상단 뷰 이미지에서 상기 차선 색상 정보에 따른 색상을 갖는 화소들의 색상을 흑색으로, 나머지 화소들의 색상을 백색으로 변환함으로써, 상기 차량의 상단 뷰 이미지를 도면부호 320에 도시된 그림과 같이 흑백의 이미지로 이진화할 수 있다.

이때, 본 발명의 일실시예에 따르면, 이진화 처리부(123)는 상기 차선 색상 정보에 따른 HSV 색상공간에서의 미리 정해진 임계치를 저장하고 있을 수 있고, 상기 차량의 상단 뷰 이미지가 획득되면, 상기 차량의 상단 뷰 이미지에서 Hue, Saturation, Value 채널 값에 상기 임계치를 적용하여 상기 차선 색상 정보에 따른 색상을 갖는 화소들의 색상을 흑색으로, 나머지 화소들의 색상을 백색으로 변환함으로써, 상기 차량의 상단 뷰 이미지를 이진화할 수 있다.

이렇게, 상기 차량의 상단 뷰 이미지에 대한 이진화가 완료되면, 윤곽선 검출부(124)는 도면부호 320에 도시된 그림과 같이, 이진화가 완료된 상기 차량의 상단 뷰 이미지에서 상기 차량의 좌측 지점과 우측 지점에 관심 영역(321)을 설정하고, 관심 영역(321)에서 흑색의 화소들로 구성된 영역의 크기가 미리 설정된 면적 크기를 초과하는 영역을 좌측 차선과 우측 차선의 윤곽선(322)으로 검출할 수 있다.

즉, 윤곽선 검출부(124)는 관심 영역(321)에서 흑색으로 구성된 영역의 크기가 미리 설정된 면적 크기를 초과하는 영역을 차선의 윤곽선(322)으로 검출할 수 있다.

기준 관심 영역 생성부(121)는 상기 좌측 차선의 윤곽선의 중심점을 기초로 미리 설정된 제2 크기를 갖는 제1 기준 관심 영역을 생성하고, 상기 우측 차선의 윤곽선의 중심점을 기초로 상기 제2 크기를 갖는 제2 기준 관심 영역을 생성한다.

좌표 생성부(122)는 상기 차량의 상단 뷰 이미지에서 상기 제1 기준 관심 영역을 미리 설정된 복수의 제1 방향들로 순차적으로 이동시키면서 상기 좌측 차선의 윤곽선을 검출하는 동작을 n번 반복 수행함으로써, 상기 좌측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 좌측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 좌측 차선의 배치 경로에 대한 상기 좌측 좌표 값들로 생성하고, 상기 차량의 상단 뷰 이미지에서 상기 제2 기준 관심 영역을 미리 설정된 복수의 제2 방향들로 순차적으로 이동시키면서 상기 우측 차선의 윤곽선을 검출하는 동작을 n번 반복 수행함으로써, 상기 우측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 우측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 우측 차선의 배치 경로에 대한 상기 우측 좌표 값들로 생성한다.

관련해서, 도 4를 참조하여 기준 관심 영역 생성부(121)와 좌표 생성부(122)의 동작을 설명하면 다음과 같다.

도 4는 좌측 차선의 좌표 값을 생성하는 과정을 설명하기 위한 도면으로, 기준 관심 영역 생성부(121)는 차선 검출부(120)를 통해 좌측 차선의 윤곽선이 검출되면, 상기 좌측 차선의 윤곽선의 중심점을 기초로 미리 설정된 제2 크기를 갖는 제1 기준 관심 영역을 생성할 수 있다.

관련해서, 기준 관심 영역 생성부(121)는 도면부호 410에 도시된 그림과 같이 상기 좌측 차선의 윤곽선의 중심점을 기초로 미리 설정된 제2 크기를 갖는 제1 기준 관심 영역(411)을 생성할 수 있다.

그러고 나서, 좌표 생성부(122)는 상기 차량의 상단 뷰 이미지에서 상기 제1 기준 관심 영역(411)을 도면부호 420에 도시된 그림과 같이, 미리 설정된 복수의 제1 방향들(422)로 순차적으로 이동시키면서 상기 좌측 차선의 윤곽선을 검출할 수 있다. 관련해서, 도면부호 420에서 좌표 생성부(122)는 상기 좌측 차선의 윤곽선이 검출될 때까지 제1 기준 관심 영역(411)을 최초 위치(423)에서 복수의 제1 방향들(422)로 한 번씩 순차적으로 이동하면서 상기 좌측 차선의 윤곽선을 찾을 수 있다.

관련해서, 도면부호 420에 도시된 그림에서는 제1 기준 관심 영역(411)이 최초 위치(423)에서 상단 방향으로 이동하였을 때, 상기 좌측 차선의 윤곽선(421)이 검출된 경우의 예가 도시되어 있다.

이렇게, 도면부호 420에 도시된 그림과 같이, 제1 기준 관심 영역(411)이 상단 방향으로 이동함에 따라 상기 좌측 차선의 윤곽선(421)이 검출된 경우, 좌표 생성부(122)는 제1 기준 관심 영역(411)을 상기 미리 설정된 복수의 제1 방향들(422)로 순차적으로 다시 이동시키면서 다음번에 해당되는 상기 좌측 차선의 윤곽선을 검출할 수 있고, 좌표 생성부(122)는 이렇게 제1 기준 관심 영역(411)의 이동에 따른 상기 좌측 차선의 윤곽선 검출 과정을 n번 반복 수행함으로써, 상기 좌측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 좌측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 좌측 차선의 배치 경로에 대한 상기 좌측 좌표 값들로 생성할 수 있다.

이러한 방식으로, 좌표 생성부(122)는 우측 차선에 대해서도 제2 기준 관심 영역을 생성하고, 상기 제2 기준 관심 영역을 우측 차선에 대한 미리 설정된 복수의 제2 방향들로 순차적으로 이동시키면서 상기 우측 차선의 윤곽선을 검출하는 과정을 n번 반복 수행함으로써, 상기 우측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 우측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 우측 차선의 배치 경로에 대한 상기 우측 좌표 값들로 생성할 수 있다.

이때, 상기 미리 설정된 복수의 제2 방향들은 좌측 차선의 좌표 값들의 생성에 사용된 상기 복수의 제1 방향들(422)과 반대 형태의 방향들로 설정되어 있을 수 있다.

이때, 본 발명의 일실시예에 따르면, 좌표 생성부(122)는 상기 좌측 차선 상에서 윤곽선이 검출되지 않는 제1 미검출 지점이 존재하는 경우, 상기 제1 미검출 지점에 대응되는 상기 우측 차선의 윤곽선을 상기 좌측 차선 상으로 대칭 이동시켜 상기 제1 미검출 지점에 대한 상기 좌측 차선의 윤곽선으로 처리할 수 있다.

또한, 좌표 생성부(122)는 상기 우측 차선 상에서 윤곽선이 검출되지 않는 제2 미검출 지점이 존재하는 경우, 상기 제2 미검출 지점에 대응되는 상기 좌측 차선의 윤곽선을 상기 우측 차선 상으로 대칭 이동시켜 상기 제2 미검출 지점에 대한 상기 우측 차선의 윤곽선으로 처리할 수 있다.

예컨대, 좌표 생성부(122)가 상기 제1 기준 관심 영역을 이동시키면서 좌측 차선의 윤곽선을 검출하여 좌측 좌표 값들을 생성하는 중에 도 3에 도시된 그림에서 도면부호 311로 표시한 부분과 같이, 차량의 상단 뷰 이미지에서 좌측 차선의 윤곽선의 해상도가 낮거나 그림자가 존재하는 등의 이유로 인해, 좌측 차선의 윤곽선이 검출되지 않는 제1 미검출 지점이 존재하는 경우, 좌표 생성부(122)는 상기 제1 미검출 지점에 대응되는 상기 우측 차선의 윤곽선을 상기 좌측 차선 상으로 대칭 이동시켜 상기 제1 미검출 지점에 대한 상기 좌측 차선의 윤곽선으로 처리할 수 있다.

이렇게, 좌표 생성부(122)에 의해 상기 좌측 좌표 값들과 상기 우측 좌표 값들이 생성되면, 출력 생성부(118)는 상기 좌측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 좌측 입력 행렬을 생성하고, 상기 우측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 우측 입력 행렬을 생성한 후 상기 좌측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 좌측 출력 벡터를 생성하고, 상기 우측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 우측 출력 벡터를 생성한다.

이동 경로 생성부(119)는 상기 좌측 출력 벡터의 성분인 3개의 좌측 출력 값들을 상수 값으로 갖는 좌측 이차함수를 생성하고, 상기 우측 출력 벡터의 성분인 3개의 우측 출력 값들을 상수 값으로 갖는 우측 이차함수를 생성한 후 상기 좌측 이차함수에 따라 그려지는 좌측 곡선과 상기 우측 이차함수에 따라 그려지는 우측 곡선 간의 중간 곡선을 상기 차량에 대한 이동 경로로 생성한다.

예컨대, 상기 좌측 출력 벡터의 성분인 3개의 좌측 출력 값들을 'a_l, b_l, c_l'이라고 하고, 상기 우측 출력 벡터의 성분인 3개의 우측 출력 값들을 'a_r, b_r, c_r'이라고 하는 경우, 이동 경로 생성부(119)는

이라고 하는 좌측 이차함수를 생성하고,

이라고 하는 우측 이차함수를 생성할 수 있다.

그러고 나서, 이동 경로 생성부(119)는 상기 좌측 이차함수에 따라 그려지는 좌측 곡선과 상기 우측 이차함수에 따라 그려지는 우측 곡선 간의 중간 곡선을 상기 차량에 대한 이동 경로로 생성할 수 있다.

관련해서, 도 5에는 좌측 이차함수에 따라 그려지는 좌측 곡선(511)과 우측 이차함수에 따라 그려지는 우측 곡선(512) 간의 중간 곡선(513)을 상기 차량에 대한 이동 경로로 생성한 예시가 도시되어 있다.

도 5에 도시된 그림과 같이, 이동 경로 생성부(119)는 상기 좌측 이차함수와 상기 우측 이차함수가 생성되면, 상기 좌측 이차함수에 따라 그려지는 좌측 곡선(511)과 상기 우측 이차함수에 따라 그려지는 우측 곡선(512) 간의 중간 곡선(513)을 상기 차량에 대한 이동 경로로 생성할 수 있다.

본 발명의 일실시예에 따르면, 이동 경로 생성 장치(110)는 조향 제어부(125)를 더 포함할 수 있다.

조향 제어부(125)는 상기 차량에 대한 이동 경로가 생성되면, 상기 차량의 뒷바퀴의 중심과 상기 차량에 대한 이동 경로 간의 수평거리, 상기 차량의 앞바퀴의 중심을 연결하는 선과 상기 차량에 대한 이동 경로 간의 각도 및 상기 차량의 현재 속도에 기초하여 상기 차량의 스티어링 휠의 조향 각도를 연산하고, 상기 연산된 조향 각도에 따라 상기 차량의 스티어링 휠의 조향을 제어한다.

이때, 본 발명의 일실시예에 따르면, 조향 제어부(125)는 하기의 수학식 3의 연산에 기초하여 상기 차량의 스티어링 휠의 조향을 제어할 수 있다.

여기서,

는 t시점에서의 스티어링 휠의 조향 각도,

는 상기 차량의 뒷바퀴의 중심과 상기 차량에 대한 이동 경로 간의 수평거리,

는 상기 차량의 앞바퀴의 중심을 연결하는 선과 상기 차량에 대한 이동 경로 간의 각도,

는 상기 차량의 현재 속도,

는 이득 파라미터를 의미한다.

예컨대, 상기 차량에 대한 이동 경로가 도 6의 도면부호 611과 같이 생성되었다고 하는 경우,

는 상기 차량의 뒷바퀴의 중심(612)과 상기 차량에 대한 이동 경로(611) 간의 수평거리를 의미하고,

는 상기 차량의 앞바퀴의 중심(613)을 기초로 소정의 반지름 r을 갖는 원을 그렸을 때, 상기 원에서 상기 차량의 앞바퀴의 중심(613)을 지나는 선과 상기 원에서 상기 차량에 대한 이동 경로(611)의 접점을 연결하는 선 간의 각도를 의미하며,

는 상기 차량의 현재 속도를 의미하고,

는 이득 파라미터로 차량에 따라 서로 다르게 설정될 수 있는 상수를 의미한다.

결국, 본 발명에 따른 이동 경로 생성 장치(110)는 차량에 구비되어 있는 AVM 시스템을 통해 상기 차량의 상단 뷰 이미지를 획득하고, 상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선과 우측 차선의 윤곽선을 검출하며, 상기 차량의 좌측 차선과 우측 차선의 윤곽선을 기초로 상기 좌측 차선과 우측 차선에 대한 좌표 값을 생성하고, 상기 좌측 차선과 우측 차선의 좌표 값에 기초하여 인공지능 모델에 기반한 이차함수를 생성한 후 상기 이차함수에 따른 곡선을 기초로 상기 차량의 이동 경로를 생성함으로써, 좁은 골목에서도 자율 주행 차량이 비교적 정확하게 주행할 수 있도록 지원할 수 있다.

도 7은 본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법을 도시한 순서도이다.

단계(S710)에서는 차선의 배치 경로에 대한 n(n은 3이상의 자연수)개의 2차원 좌표 값들로 구성된 미리 지정된 서로 다른 복수의 좌표 값 세트들과 상기 복수의 좌표 값 세트들 각각에 대응되는 것으로 미리 지정된 서로 다른 상수 값 세트(상기 상수 값 세트는

라는 이차함수에서 3개의 상수 값들인 a, b, c 값으로 구성된 세트를 의미함)를 기계학습을 위한 트레이닝 데이터로 저장하고 있는 트레이닝 데이터 저장부를 유지한다.

단계(S720)에서는 상기 복수의 좌표 값 세트들 중 어느 하나인 제1 좌표 값 세트에 포함된 n개의 2차원 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 입력 행렬을 생성한다.

단계(S730)에서는 상기 입력 행렬을 심층 신경망에 입력으로 인가하여 3차원의 출력 벡터를 생성한다.

단계(S740)에서는 상기 트레이닝 데이터 저장부로부터 상기 제1 좌표 값 세트에 대응되는 제1 상수 값 세트를 확인하고, 상기 출력 벡터의 성분인 3개의 출력 값들을 상기 제1 상수 값 세트에 포함된 3개의 상수 값들에 하나씩 매칭시킨 후 상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 비교함으로써, 상기 심층 신경망을 기계학습시킨다.

단계(S750)에서는 상기 복수의 좌표 값 세트들 중 상기 제1 좌표 값 세트를 제외한 나머지 좌표 값 세트들 전부에 대해 상기 심층 신경망을 기계학습시키기 위한 과정의 반복 수행을 제어한다.

단계(S760)에서는 상기 심층 신경망에 대한 기계학습이 완료된 이후, 차량의 자율 주행을 위한 이동 경로 생성 명령이 인가되면, 상기 차량에 구비되어 있는 AVM 시스템(상기 AVM 시스템은 상기 차량의 전방, 후방 및 좌우측면에 구비된 카메라를 통해 촬영된 영상으로부터 상기 차량의 상단 뷰 이미지를 생성하는 시스템임)을 통해 상기 차량의 상단 뷰 이미지를 획득한다.

단계(S770)에서는 상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선의 배치 경로에 대한 n개의 2차원 좌측 좌표 값들과 상기 차량의 우측 차선의 배치 경로에 대한 n개의 2차원 우측 좌표 값들을 획득한다.

단계(S780)에서는 상기 좌측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 좌측 입력 행렬을 생성하고, 상기 우측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 우측 입력 행렬을 생성한 후 상기 좌측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 좌측 출력 벡터를 생성하고, 상기 우측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 우측 출력 벡터를 생성한다.

단계(S790)에서는 상기 좌측 출력 벡터의 성분인 3개의 좌측 출력 값들을 상수 값으로 갖는 좌측 이차함수를 생성하고, 상기 우측 출력 벡터의 성분인 3개의 우측 출력 값들을 상수 값으로 갖는 우측 이차함수를 생성한 후 상기 좌측 이차함수에 따라 그려지는 좌측 곡선과 상기 우측 이차함수에 따라 그려지는 우측 곡선 간의 중간 곡선을 상기 차량에 대한 이동 경로로 생성한다.

이때, 본 발명의 일실시예에 따르면, 단계(S740)에서는 상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 기초로 사전 설정된 손실 함수를 기반으로 한 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 심층 신경망을 기계학습시킬 수 있다.

이때, 단계(S740)에서는 상기 수학식 1의 연산에 따라 상기 손실 값을 연산할 수 있다.

또한, 본 발명의 일실시예에 따르면, 단계(S770)에서는 상기 차량의 상단 뷰 이미지에서 상기 차량의 좌측 지점과 우측 지점에 차선 검출을 위한 미리 설정된 제1 크기의 관심 영역을 설정하고, 상기 관심 영역 내에서 좌측 차선과 우측 차선의 윤곽선을 검출하는 단계, 상기 좌측 차선의 윤곽선의 중심점을 기초로 미리 설정된 제2 크기를 갖는 제1 기준 관심 영역을 생성하고, 상기 우측 차선의 윤곽선의 중심점을 기초로 상기 제2 크기를 갖는 제2 기준 관심 영역을 생성하는 단계 및 상기 차량의 상단 뷰 이미지에서 상기 제1 기준 관심 영역을 미리 설정된 복수의 제1 방향들로 순차적으로 이동시키면서 상기 좌측 차선의 윤곽선을 검출하는 동작을 n번 반복 수행함으로써, 상기 좌측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 좌측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 좌측 차선의 배치 경로에 대한 상기 좌측 좌표 값들로 생성하고, 상기 차량의 상단 뷰 이미지에서 상기 제2 기준 관심 영역을 미리 설정된 복수의 제2 방향들로 순차적으로 이동시키면서 상기 우측 차선의 윤곽선을 검출하는 동작을 n번 반복 수행함으로써, 상기 우측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 우측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 우측 차선의 배치 경로에 대한 상기 우측 좌표 값들로 생성하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 윤곽선을 검출하는 단계는 상기 차량의 상단 뷰 이미지가 획득되면, 차선의 색상으로 사전 설정된 차선 색상 정보를 기초로 상기 차량의 상단 뷰 이미지에서 상기 차선 색상 정보에 따른 색상을 갖는 화소들의 색상을 흑색으로, 나머지 화소들의 색상을 백색으로 변환함으로써, 상기 차량의 상단 뷰 이미지를 이진화하는 단계 및 상기 차량의 상단 뷰 이미지에 대한 이진화가 완료되면, 이진화가 완료된 상기 차량의 상단 뷰 이미지에서 상기 차량의 좌측 지점과 우측 지점에 상기 관심 영역을 설정하고, 상기 관심 영역에서 흑색의 화소들로 구성된 영역의 크기가 미리 설정된 면적 크기를 초과하는 영역을 상기 좌측 차선과 상기 우측 차선의 윤곽선으로 검출하는 단계를 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 상기 좌표 값들로 생성하는 단계는 상기 좌측 차선 상에서 윤곽선이 검출되지 않는 제1 미검출 지점이 존재하는 경우, 상기 제1 미검출 지점에 대응되는 상기 우측 차선의 윤곽선을 상기 좌측 차선 상으로 대칭 이동시켜 상기 제1 미검출 지점에 대한 상기 좌측 차선의 윤곽선으로 처리하고, 상기 우측 차선 상에서 윤곽선이 검출되지 않는 제2 미검출 지점이 존재하는 경우, 상기 제2 미검출 지점에 대응되는 상기 좌측 차선의 윤곽선을 상기 우측 차선 상으로 대칭 이동시켜 상기 제2 미검출 지점에 대한 상기 우측 차선의 윤곽선으로 처리할 수 있다.

본 발명의 일실시예에 따르면, 상기 이동 경로 생성 장치의 동작 방법은 상기 차량에 대한 이동 경로가 생성되면, 상기 차량의 뒷바퀴의 중심과 상기 차량에 대한 이동 경로 간의 수평거리, 상기 차량의 앞바퀴의 중심을 연결하는 선과 상기 차량에 대한 이동 경로 간의 각도 및 상기 차량의 현재 속도에 기초하여 상기 차량의 스티어링 휠의 조향 각도를 연산하고, 상기 연산된 조향 각도에 따라 상기 차량의 스티어링 휠의 조향을 제어하는 단계를 더 포함할 수 있다.

이상, 도 7을 참조하여 본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법은 도 1 내지 도 6을 이용하여 설명한 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.

본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.

또한, 본 발명의 일실시예에 따른 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

110: 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치
111: 트레이닝 데이터 저장부 112: 입력 행렬 생성부
113: 출력 벡터 생성부 114: 기계학습 수행부
115: 반복 수행 제어부 116: 이미지 획득부
117: 좌표 획득부 118: 출력 생성부
119: 이동 경로 생성부 120: 차선 검출부
121: 기준 관심 영역 생성부 122: 좌표 생성부
123: 이진화 처리부 124: 윤곽선 검출부
125: 조향 제어부

Claims

차선의 배치 경로에 대한 n(n은 3이상의 자연수)개의 2차원 좌표 값들로 구성된 미리 지정된 서로 다른 복수의 좌표 값 세트들과 상기 복수의 좌표 값 세트들 각각에 대응되는 것으로 미리 지정된 서로 다른 상수 값 세트 - 상기 상수 값 세트는
라는 이차함수에서 3개의 상수 값들인 a, b, c 값으로 구성된 세트를 의미함 - 를 기계학습을 위한 트레이닝 데이터로 저장하고 있는 트레이닝 데이터 저장부;
상기 복수의 좌표 값 세트들 중 어느 하나인 제1 좌표 값 세트에 포함된 n개의 2차원 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 입력 행렬을 생성하는 입력 행렬 생성부;
상기 입력 행렬을 심층 신경망(Deep Neural Network)에 입력으로 인가하여 3차원의 출력 벡터를 생성하는 출력 백터 생성부;
상기 트레이닝 데이터 저장부로부터 상기 제1 좌표 값 세트에 대응되는 제1 상수 값 세트를 확인하고, 상기 출력 벡터의 성분인 3개의 출력 값들을 상기 제1 상수 값 세트에 포함된 3개의 상수 값들에 하나씩 매칭시킨 후 상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 비교함으로써, 상기 심층 신경망을 기계학습시키는 기계학습 수행부;
상기 복수의 좌표 값 세트들 중 상기 제1 좌표 값 세트를 제외한 나머지 좌표 값 세트들 전부에 대해 상기 심층 신경망을 기계학습시키기 위한 과정의 반복 수행을 제어하는 반복 수행 제어부;
상기 심층 신경망에 대한 기계학습이 완료된 이후, 차량의 자율 주행을 위한 이동 경로 생성 명령이 인가되면, 상기 차량에 구비되어 있는 어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템 - 상기 AVM 시스템은 상기 차량의 전방, 후방 및 좌우측면에 구비된 카메라를 통해 촬영된 영상으로부터 상기 차량의 상단 뷰(top view) 이미지를 생성하는 시스템임 - 을 통해 상기 차량의 상단 뷰 이미지를 획득하는 이미지 획득부;
상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선의 배치 경로에 대한 n개의 2차원 좌측 좌표 값들과 상기 차량의 우측 차선의 배치 경로에 대한 n개의 2차원 우측 좌표 값들을 획득하는 좌표 획득부;
상기 좌측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 좌측 입력 행렬을 생성하고, 상기 우측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 우측 입력 행렬을 생성한 후 상기 좌측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 좌측 출력 벡터를 생성하고, 상기 우측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 우측 출력 벡터를 생성하는 출력 생성부; 및
상기 좌측 출력 벡터의 성분인 3개의 좌측 출력 값들을 상수 값으로 갖는 좌측 이차함수를 생성하고, 상기 우측 출력 벡터의 성분인 3개의 우측 출력 값들을 상수 값으로 갖는 우측 이차함수를 생성한 후 상기 좌측 이차함수에 따라 그려지는 좌측 곡선과 상기 우측 이차함수에 따라 그려지는 우측 곡선 간의 중간 곡선을 상기 차량에 대한 이동 경로로 생성하는 이동 경로 생성부
를 포함하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치.
제1항에 있어서,
상기 기계학습 수행부는
상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 기초로 사전 설정된 손실 함수(Loss Function)를 기반으로 한 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 심층 신경망을 기계학습시키는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치.
제2항에 있어서,
상기 기계학습 수행부는
하기의 수학식 1의 연산에 따라 상기 손실 값을 연산하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치.
[수학식 1]

여기서, L은 상기 손실 값, c_i는 상기 제1 상수 값 세트에 포함된 3개의 상수 값들 중 i번째 상수 값, y_i는 상기 3개의 출력 값들 중 i번째 출력 값을 의미함.
제1항에 있어서,
상기 좌표 획득부는
상기 차량의 상단 뷰 이미지에서 상기 차량의 좌측 지점과 우측 지점에 차선 검출을 위한 미리 설정된 제1 크기의 관심 영역을 설정하고, 상기 관심 영역 내에서 좌측 차선과 우측 차선의 윤곽선을 검출하는 차선 검출부;
상기 좌측 차선의 윤곽선의 중심점을 기초로 미리 설정된 제2 크기를 갖는 제1 기준 관심 영역을 생성하고, 상기 우측 차선의 윤곽선의 중심점을 기초로 상기 제2 크기를 갖는 제2 기준 관심 영역을 생성하는 기준 관심 영역 생성부; 및
상기 차량의 상단 뷰 이미지에서 상기 제1 기준 관심 영역을 미리 설정된 복수의 제1 방향들로 순차적으로 이동시키면서 상기 좌측 차선의 윤곽선을 검출하는 동작을 n번 반복 수행함으로써, 상기 좌측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 좌측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 좌측 차선의 배치 경로에 대한 상기 좌측 좌표 값들로 생성하고, 상기 차량의 상단 뷰 이미지에서 상기 제2 기준 관심 영역을 미리 설정된 복수의 제2 방향들로 순차적으로 이동시키면서 상기 우측 차선의 윤곽선을 검출하는 동작을 n번 반복 수행함으로써, 상기 우측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 우측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 우측 차선의 배치 경로에 대한 상기 우측 좌표 값들로 생성하는 좌표 생성부
를 포함하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치.
제4항에 있어서,
상기 차선 검출부는
상기 차량의 상단 뷰 이미지가 획득되면, 차선의 색상으로 사전 설정된 차선 색상 정보를 기초로 상기 차량의 상단 뷰 이미지에서 상기 차선 색상 정보에 따른 색상을 갖는 화소들의 색상을 흑색으로, 나머지 화소들의 색상을 백색으로 변환함으로써, 상기 차량의 상단 뷰 이미지를 이진화하는 이진화 처리부; 및
상기 차량의 상단 뷰 이미지에 대한 이진화가 완료되면, 이진화가 완료된 상기 차량의 상단 뷰 이미지에서 상기 차량의 좌측 지점과 우측 지점에 상기 관심 영역을 설정하고, 상기 관심 영역에서 흑색의 화소들로 구성된 영역의 크기가 미리 설정된 면적 크기를 초과하는 영역을 상기 좌측 차선과 상기 우측 차선의 윤곽선으로 검출하는 윤곽선 검출부
를 포함하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치.
제5항에 있어서,
상기 좌표 생성부는
상기 좌측 차선 상에서 윤곽선이 검출되지 않는 제1 미검출 지점이 존재하는 경우, 상기 제1 미검출 지점에 대응되는 상기 우측 차선의 윤곽선을 상기 좌측 차선 상으로 대칭 이동시켜 상기 제1 미검출 지점에 대한 상기 좌측 차선의 윤곽선으로 처리하고,
상기 우측 차선 상에서 윤곽선이 검출되지 않는 제2 미검출 지점이 존재하는 경우, 상기 제2 미검출 지점에 대응되는 상기 좌측 차선의 윤곽선을 상기 우측 차선 상으로 대칭 이동시켜 상기 제2 미검출 지점에 대한 상기 우측 차선의 윤곽선으로 처리하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치.
제1항에 있어서,
상기 차량에 대한 이동 경로가 생성되면, 상기 차량의 뒷바퀴의 중심과 상기 차량에 대한 이동 경로 간의 수평거리, 상기 차량의 앞바퀴의 중심을 연결하는 선과 상기 차량에 대한 이동 경로 간의 각도 및 상기 차량의 현재 속도에 기초하여 상기 차량의 스티어링 휠의 조향 각도를 연산하고, 상기 연산된 조향 각도에 따라 상기 차량의 스티어링 휠의 조향을 제어하는 조향 제어부
를 더 포함하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치.
차선의 배치 경로에 대한 n(n은 3이상의 자연수)개의 2차원 좌표 값들로 구성된 미리 지정된 서로 다른 복수의 좌표 값 세트들과 상기 복수의 좌표 값 세트들 각각에 대응되는 것으로 미리 지정된 서로 다른 상수 값 세트 - 상기 상수 값 세트는
라는 이차함수에서 3개의 상수 값들인 a, b, c 값으로 구성된 세트를 의미함 - 를 기계학습을 위한 트레이닝 데이터로 저장하고 있는 트레이닝 데이터 저장부를 유지하는 단계;
상기 복수의 좌표 값 세트들 중 어느 하나인 제1 좌표 값 세트에 포함된 n개의 2차원 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 입력 행렬을 생성하는 단계;
상기 입력 행렬을 심층 신경망(Deep Neural Network)에 입력으로 인가하여 3차원의 출력 벡터를 생성하는 단계;
상기 트레이닝 데이터 저장부로부터 상기 제1 좌표 값 세트에 대응되는 제1 상수 값 세트를 확인하고, 상기 출력 벡터의 성분인 3개의 출력 값들을 상기 제1 상수 값 세트에 포함된 3개의 상수 값들에 하나씩 매칭시킨 후 상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 비교함으로써, 상기 심층 신경망을 기계학습시키는 단계;
상기 복수의 좌표 값 세트들 중 상기 제1 좌표 값 세트를 제외한 나머지 좌표 값 세트들 전부에 대해 상기 심층 신경망을 기계학습시키기 위한 과정의 반복 수행을 제어하는 단계;
상기 심층 신경망에 대한 기계학습이 완료된 이후, 차량의 자율 주행을 위한 이동 경로 생성 명령이 인가되면, 상기 차량에 구비되어 있는 어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템 - 상기 AVM 시스템은 상기 차량의 전방, 후방 및 좌우측면에 구비된 카메라를 통해 촬영된 영상으로부터 상기 차량의 상단 뷰(top view) 이미지를 생성하는 시스템임 - 을 통해 상기 차량의 상단 뷰 이미지를 획득하는 단계;
상기 차량의 상단 뷰 이미지로부터 상기 차량의 좌측 차선의 배치 경로에 대한 n개의 2차원 좌측 좌표 값들과 상기 차량의 우측 차선의 배치 경로에 대한 n개의 2차원 우측 좌표 값들을 획득하는 단계;
상기 좌측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 좌측 입력 행렬을 생성하고, 상기 우측 좌표 값들을 열의 성분으로 지정함으로써, n x 2 크기의 우측 입력 행렬을 생성한 후 상기 좌측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 좌측 출력 벡터를 생성하고, 상기 우측 입력 행렬을 기계학습이 완료된 상기 심층 신경망에 입력으로 인가하여 3차원의 우측 출력 벡터를 생성하는 단계; 및
상기 좌측 출력 벡터의 성분인 3개의 좌측 출력 값들을 상수 값으로 갖는 좌측 이차함수를 생성하고, 상기 우측 출력 벡터의 성분인 3개의 우측 출력 값들을 상수 값으로 갖는 우측 이차함수를 생성한 후 상기 좌측 이차함수에 따라 그려지는 좌측 곡선과 상기 우측 이차함수에 따라 그려지는 우측 곡선 간의 중간 곡선을 상기 차량에 대한 이동 경로로 생성하는 단계
를 포함하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법.
제8항에 있어서,
상기 기계학습시키는 단계는
상기 3개의 출력 값들과 각 출력 값에 매칭된 상수 값을 기초로 사전 설정된 손실 함수(Loss Function)를 기반으로 한 손실 값을 연산하고, 상기 손실 값이 최소가 되도록 상기 심층 신경망을 기계학습시키는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법.
제9항에 있어서,
상기 기계학습시키는 단계는
하기의 수학식 1의 연산에 따라 상기 손실 값을 연산하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법.
[수학식 1]

여기서, L은 상기 손실 값, c_i는 상기 제1 상수 값 세트에 포함된 3개의 상수 값들 중 i번째 상수 값, y_i는 상기 3개의 출력 값들 중 i번째 출력 값을 의미함.
제8항에 있어서,
상기 좌표 값들을 획득하는 단계는
상기 차량의 상단 뷰 이미지에서 상기 차량의 좌측 지점과 우측 지점에 차선 검출을 위한 미리 설정된 제1 크기의 관심 영역을 설정하고, 상기 관심 영역 내에서 좌측 차선과 우측 차선의 윤곽선을 검출하는 단계;
상기 좌측 차선의 윤곽선의 중심점을 기초로 미리 설정된 제2 크기를 갖는 제1 기준 관심 영역을 생성하고, 상기 우측 차선의 윤곽선의 중심점을 기초로 상기 제2 크기를 갖는 제2 기준 관심 영역을 생성하는 단계; 및
상기 차량의 상단 뷰 이미지에서 상기 제1 기준 관심 영역을 미리 설정된 복수의 제1 방향들로 순차적으로 이동시키면서 상기 좌측 차선의 윤곽선을 검출하는 동작을 n번 반복 수행함으로써, 상기 좌측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 좌측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 좌측 차선의 배치 경로에 대한 상기 좌측 좌표 값들로 생성하고, 상기 차량의 상단 뷰 이미지에서 상기 제2 기준 관심 영역을 미리 설정된 복수의 제2 방향들로 순차적으로 이동시키면서 상기 우측 차선의 윤곽선을 검출하는 동작을 n번 반복 수행함으로써, 상기 우측 차선에 대한 n개의 윤곽선들을 검출한 후 상기 우측 차선에 대한 n개의 윤곽선들의 중심점 좌표를 상기 우측 차선의 배치 경로에 대한 상기 우측 좌표 값들로 생성하는 단계
를 포함하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법.
제11항에 있어서,
상기 윤곽선을 검출하는 단계는
상기 차량의 상단 뷰 이미지가 획득되면, 차선의 색상으로 사전 설정된 차선 색상 정보를 기초로 상기 차량의 상단 뷰 이미지에서 상기 차선 색상 정보에 따른 색상을 갖는 화소들의 색상을 흑색으로, 나머지 화소들의 색상을 백색으로 변환함으로써, 상기 차량의 상단 뷰 이미지를 이진화하는 단계; 및
상기 차량의 상단 뷰 이미지에 대한 이진화가 완료되면, 이진화가 완료된 상기 차량의 상단 뷰 이미지에서 상기 차량의 좌측 지점과 우측 지점에 상기 관심 영역을 설정하고, 상기 관심 영역에서 흑색의 화소들로 구성된 영역의 크기가 미리 설정된 면적 크기를 초과하는 영역을 상기 좌측 차선과 상기 우측 차선의 윤곽선으로 검출하는 단계
를 포함하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법.
제12항에 있어서,
상기 좌표 값들로 생성하는 단계는
상기 좌측 차선 상에서 윤곽선이 검출되지 않는 제1 미검출 지점이 존재하는 경우, 상기 제1 미검출 지점에 대응되는 상기 우측 차선의 윤곽선을 상기 좌측 차선 상으로 대칭 이동시켜 상기 제1 미검출 지점에 대한 상기 좌측 차선의 윤곽선으로 처리하고,
상기 우측 차선 상에서 윤곽선이 검출되지 않는 제2 미검출 지점이 존재하는 경우, 상기 제2 미검출 지점에 대응되는 상기 좌측 차선의 윤곽선을 상기 우측 차선 상으로 대칭 이동시켜 상기 제2 미검출 지점에 대한 상기 우측 차선의 윤곽선으로 처리하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법.
제8항에 있어서,
상기 차량에 대한 이동 경로가 생성되면, 상기 차량의 뒷바퀴의 중심과 상기 차량에 대한 이동 경로 간의 수평거리, 상기 차량의 앞바퀴의 중심을 연결하는 선과 상기 차량에 대한 이동 경로 간의 각도 및 상기 차량의 현재 속도에 기초하여 상기 차량의 스티어링 휠의 조향 각도를 연산하고, 상기 연산된 조향 각도에 따라 상기 차량의 스티어링 휠의 조향을 제어하는 단계
를 더 포함하는 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치의 동작 방법.
제8항 내지 제14항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
제8항 내지 제14항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.