KR102376203B1

KR102376203B1 - 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법

Info

Publication number: KR102376203B1
Application number: KR1020210171779A
Authority: KR
Inventors: 하륜; 하은진; 반 딘 뉴엔; 딘 뚜안 누엔
Original assignee: 주식회사 에스.티.피.씨.
Priority date: 2021-12-03
Filing date: 2021-12-03
Publication date: 2022-03-22

Abstract

본 발명은 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법으로서, 자율주행자동차 제어시스템을 준비하는 단계; 및 자율주행자동차를 기반으로 하는 자율주행자동차 제어시스템을 운용하는 단계를 포함하되, 상기 자율주행 자동차 제어시스템은, 차량의 조향각을 감시하는 조향 센서부; 차량의 전방 도로를 촬영하는 영상 촬영부; 및 상기 촬영된 도로 영상으로부터 변경될 차로를 향하여 가상 차선을 예측하는 제어부를 포함하되, 상기 자율주행자동자 제어시스템에 운용에 따라 단수 혹은 복수의 상기 자율주행자동차의 운행상태를 관리하는 상태관리유닛을 더 포함하되, 상기 상태관리유닛은, 중앙몸체(110’)와, 상기 중앙몸체(110’)의 하부로 설치되는 지지연결체(121’)와, 상기 지지연결체(121’)를 매개로 상기 중앙몸체(110’)의 하부에 설치되며 상기 중앙몸체(110’)를 지지하는 지지패널(122’)과, 상기 지지연결체(121’)의 일측면으로 위치되도록 설치되는 다수의 일측촬영체(123’)와, 상기 좌측연결체(131’)의 타측면으로 위치되며 상기 일측촬영체(123’)와 반전되도록 설치되는 다수의 타측촬영체(124’)를 포함하는 하부감시파츠(120’)를 포함하는, 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법를 제공한다.

Description

자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법{Providing method for autonomous vehicle control system}

본 발명은 기존 자동차에 모터 제어 조향 시스템(mdps)과 핸들 모터와 크루즈 컨트롤 시스템과 악셀레이터 브레이크 페달 제어 모터 등을 구비하고 자동차 전용도로 주행시 차선과 장애물 인식에 의하여 자율주행 자동차의 핸들조향 제어와 속도제어에 특화된 시스템을 제공하는 방법에 관한 것으로, 보다 상세하게는 자율주행 자동차(차량)이 곡선 주로(차로) 주행시 보다 정확하고 안정적으로 차선을 변경하며 다양한 주변상황을 감시관리하고, 특정 위치로 접근을 감시하며 장애상황 발생을 실시간 감지하여 즉각 대처 가능한 관리수단이 구비되며, 다양한 촬영체들을 기반으로 안정적인 동작이 가능하고, 시스템과 자동차 준비 운용 관리 동작의 실시간검증과 후속검증이 가능하며 운용에 있어 초기 관리와 이후의 지속적 관리를 다양한 구도와 형태로 가능하도록 구축하여 다양한 구조적 환경에서도 유연하게 대처하며 검증과 유지관리하는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법에 관한 것이다.

자동차, 차량 또는 운반장치 등은 사람의 다리를 이용하는 노동력을 대체하여 한 지점으로부터 다른 지점으로 빠르며 안전하게 이송시켜 주면서 다양한 종류의 물건과 가축 등이 포함되는 이송대상물을 손상없이 안전하게 이송시키는 편리함을 제공하는 운송수단이다.

이하의 설명에서 주로와 차로는 같은 의미이고 문맥에 적합하게 선택적으로 기재하기로 한다.

이러한 차량에는 운전자와 탑승자 및 이송대상물의 보호와 운행 보조 및 승차감의 향상을 위한 다양한 장치 또는 시스템이 탑재되어있다.

이러한 시스템들 중 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법은 카메라를 이용하여 차선을 인식하고 자동 조향을 행하는 기술로서, 카메라의 이미지 프로세싱을 기반으로 차선 폭, 차선상의 차량의 횡방향 위치, 양측 차선까지의 거리 및 차선의 형태, 도로의 곡률 반경이 측정되며, 이와 같이 얻어진 차량의 위치와 도로의 정보를 사용하여 차량의 주행 궤적을 추정하고, 추정된 주행 궤적을 따라 차선을 변경한다. 하지만, 도로의 곡률 반경은 카메라로부터 얻어지는 이미지 정보에 의존하기 때문에 자율주행 차량이 특히, 곡선 주로에서 차선을 변경할 경우, 곡률 반경은 주행 방향에 따라 지속적으로 변화하게 되고, 차량의 위치를 기준으로 상대 곡률반경이 되어 자율주행 차량의 차선 변경을 위한 제어 시 피드백을 위한 기반데이터로 사용할수 없는 문제점이 있다.

본 발명이 해결하고자 하는 과제는 상기와 같은 문제점을 해결하기 위하여 기존 자동차에 모터 제어 조향 시스템(mdps)과 핸들 모터와 크루즈 컨트롤 시스템과 악셀레이터 브레이크 페달 제어 모터 등을 구비하고 곡선 주로(차로) 주행시 보다 정확하며 안정적으로 차선을 변경할 수있는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법을 제공하는 것이다.

또한, 자율주행 자동차 운용상에 발생되는 다양한 상황을 감시관리하고, 특정된 위치로의 접근을 감시하며 이상상황을 실시간 감지하도록 하여 즉각적인 대처가 가능하도록 하는 관리수단이 구비되는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법를 제공하는 것이다.

또한, 자율주행 자동차 운용이 다수로 운용되는 과정을 감시관리하도록 다양한 촬영체들을 기반으로 안정적인 동작이 가능하고, 시스템과 자동차 준비 운용 관리 동작의 실시간검증과 후속검증이 가능하도록 하는 관리수단이 구비되는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법를 제공하는 것이다.

또한, 자율주행 자동차와 이를 통한 시스템의 운용에 있어 초기 관리와 이후의 지속적 관리를 다양한 구도와 형태로 가능하도록 구축하 다양한 구조적 환경에서도 유연하게 대처하며 검증 및 유지관리를 할 수 있는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법를 제공하는 것이다.

또한, 자율주행 자동차와 이를 통한 시스템의 구축과 운용에 있어 다양한 형태로 촬영 관련구성의 설치 운용 관리 등의 조건, 효율성 및 필요성 등을 고려하여 선택적으로 외부 노출이 되도록 운용하며, 외부의 오염원과 충격 등으로부터 보호되도록 하며 촬영을 수행하도록 할 수 있는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법를 제공하는 것이다.

또한, 자율주행 자동차 제어시스템 모니터링에 있어 자체적인 구축과 운용에 있어 다양한 형태로 촬영 관련구성이 거치되는 상태를 보다 안정적으로 구현하며, 진동과 떨림 파손 등으로부터 보호되도록 하는 구조적 특징을 가지는 관리유닛을 가지는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상이 있다.

본 발명은 기존 자동차에 모터 제어 조향 시스템(mdps)과 핸들 모터와 크루즈 컨트롤 시스템과 악셀레이터 브레이크 페달 제어 모터 등을 구비하고 곡선 주로 주행시 보다 정확하며 안정적으로 차선을 변경할 수있는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법을 제공할 수 있다.

또한, 자율주행 자동차 운용상에 발생되는 다양한 상황을 감시관리하고, 특정된 위치로의 접근을 감시하며 이상상황을 실시간 감지하도록 하여 즉각적인 대처가 가능하도록 하는 관리수단이 구비되는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법을 제공할 수 있다.

또한, 자율주행 자동차 운용이 다수로 운용되는 과정을 감시관리하도록 다양한 촬영체들을 기반으로 안정적인 동작이 가능하고, 시스템과 자동차 준비 운용 관리 동작의 실시간검증과 후속검증이 가능하도록 하는 관리수단이 구비되는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법을 제공할 수 있다.

또한, 자율주행 자동차와 이를 통한 시스템의 운용에 있어 초기 관리와 이후의 지속적 관리를 다양한 구도와 형태로 가능하도록 구축하 다양한 구조적 환경에서도 유연하게 대처하며 검증 및 유지관리를 할 수 있는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법을 제공할 수 있다.

또한, 자율주행 자동차와 이를 통한 시스템의 구축과 운용에 있어 다양한 형태로 촬영 관련구성의 설치 운용 관리 등의 조건, 효율성 및 필요성 등을 고려하여 선택적으로 외부 노출이 되도록 운용하며, 외부의 오염원과 충격 등으로부터 보호되도록 하며 촬영을 수행하도록 할 수 있는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법을 제공할 수 있다.

또한, 자율주행 자동차와 이를 통한 시스템의 구축과 운용에 있어 다양한 형태로서, 촬영 관련구성이 거치되는 상태를 보다 안정적으로 구현하여 진동과 떨림 파손 등으로부터 보호되도록 하는 구조적 특징을 가지는 관리유닛을 가지는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법를 제공하는 것이다.

도 1은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법을 나타낸 구성도.
도 2는 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법으로부터 얻어진 영상을 나타낸 도면.
도 3은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법이 차선을 변경하는 과정을 나타낸 도면.
도 4는 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 차선 변경 알고리즘에 따른 차량의 이동을 나타낸 도면.
도 5 및 도 6은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 단계에 따른 차선 변경 알고리즘 식을 나타낸 도면.
도 7은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 검증을 위한 다양한 도로 환경의 시나리오를 나타낸 도면.
도 8은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 곡선 도로에서의 좌우 차선 변경에 따른 검증 결과를 나타낸 도면.
도 9는 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 검증을 위한 다양한 도로 환경의 시나리오에 따른 시뮬레이션 결과를 나타낸 그래프.
도 10은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 차선 변경 알고리즘이 실차에 적용된 결과를 나타낸 그래프.
도 11 내지 도 16 은 본 발명의 주요 구성들을 도시한 도면들
도 17 은 본 발명의 일 실시 예에 의한 것으로 카메라 이미지 전방영역을 보정하여 버드아이뷰로 전환시킨 예시도,
도 18 은 본 발명의 일 실시 예에 의한 것으로 카메라 이미지 전방영역을 역시각법으로 보정한 상태 도시도,
도 19 는 본 발명의 일 실시 예에 의한 것으로 CNN 기반 인공지능 알고리즘의 KITTI DATA SET을 이용한 차선인식 학습상태 도시도,
도 20 은 본 발명의 일 실시 예에 의한 것으로 국내 도로환경에 적합한 인공지능 학습에 의한 차선 인식 상태 도시도,
도 21 은 본 발명의 일 실시 예에 의한 것으로 차선세분화를 통한 레인 바이너리 데이터 차선의 2진법 값을 추출한 상태 설명도,
도 22 는 본 발명의 일 실시 예에 의한 것으로 카메라와 라이다의 센서 융합에 의한 장애물 특정상태 도시도,
도 23 은 본 발명의 일 실시 예에 의한 것으로 라이다의 50 미터 이상 전방의 이미지를 2 차원의 탑뷰이미지로 변환시킨 상태 도시도,
도 24 는 본 발명의 일 실시 예에 의한 것으로 라이다의 포인트 플라우드 데이터 탐지 상대 도시도,
도 25 는 본 발명의 일 실시 예에 의한 것으로 관심영역 외부에서 탐지된 장애물을 노이즈로 분류한 상태 도시도,
그리고
도 26 은 본 발명의 일 실시 예에 의한 것으로 CNN 기반 인공지능 차선검출 알고리즘의 기능 구성 블록도 이다.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의동일 부호는 동일한 요소를 지칭한다. 도 1은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법을 나타낸 구성도이고, 도 2는 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법으로부터 얻어진 영상을 나타낸 도면이고, 도 3은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법이 차선을 변경하는 과정을 나타낸 도면이고, 도 4는 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 차선 변경 알고리즘에 따른 차량의 이동을 나타낸 도면이고, 도 5 및 도 6은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 단계에 따른 차선 변경 알고리즘 식을 나타낸 도면이고, 도 7은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 검증을 위한 다양한 도로 환경의 시나리오를 나타낸 도면이고, 도 8은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 곡선 도로에서의 좌우 차선 변경에 따른 검증결과를 나타낸 도면이고, 도 9는 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 검증을 위한 다양한 도로 환경의 시나리오에 따른 시뮬레이션 결과를 나타낸 그래프이고, 도 10은 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 차선 변경알고리즘이 실차에 적용된 결과를 나타낸 그래프이다.

도 1을 참조하면, 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법은 영상 촬영부(100)와, 상기 조향 센서부(200)와, 상기 영상 촬영부(100)로부터 촬영된 도로 영상으로부터 변경될 차로를 향하여 가상 차선을 예측하고, 예측된 가상차선의 중심선을 따라 주행시켜 차선을 변경하도록 제어하는 제어부(300)를 포함한다. 영상 촬영부(100)는 도로의 전방 영상을 촬영하는 역할을 하며, 이러한 영상 촬영부(100)는 차량의 전방 데쉬보드 또는 룸미러에 설치될 수 있다. 도 2에 도시된 바와 같이, 도로의 전방이 촬영되면 촬영된 도로 영상(110)으로부터 도로의 정보 예컨대, 차선의 폭, 양측차선까지의 거리, 차선의 형태 등을 수집할 수 있으며, 특히, 차량의 위치를 파악하여 차선으로부터 차량의 횡방향 위치를 알 수 있다. 여기서, 영상 촬영부(100)는 차량에 장착된 차선 인식 시스템에 구비된 영상 촬영부를 사용할 수 있다.

조향 센서부(200)는 핸들의 조향 각도에 의한 신호를 측정하는 역할을 하며, 이로 인해 조향 센서부(200)로부터측정된 값을 통해 차량의 주행 방향을 감시할 수 있으며, 차량이 차선을 변경할 경우, 조향 센서부(200)로부터 측정된 값에 의해 차량의 주행 방향을 제어할 수 있다. 제어부(300)는 영상 촬영부(100)로부터 촬영된 전방 도로 영상으로부터 변경될 차선을 향해 가상 차선을 예측하고, 예측된 가상 차선을 따라 차선을 변경하도록 제어하는 역할을 한다. 즉, 도 3에 도시된 바와 같이, 차량의 횡방향 위치에 따라 현재 주행 차로의 기준 중심선(400)을 측정하고, 측정된 기준 중심선(400)을 변경하고자 하는 목표 차로의 중심선으로 변경하여 차선 변경을 위한 가상 차선의 중심선(600)을 검출한다.

이에 차량은 가상 차선의 중심선(600)과 차량과의 거리가 일정 거리를 유지하도록 하여 차량의 주행 차선을 변경하도록 할 수 있다. 여기서, 차량의 차선 변경은 운전자의 방향 지시등의 조작이 있을 경우 작동되는 것이 바람직하며, 이를 위해 차량에는 방향 지시등의 조작을 감지할 수 있는 센서부(미도시)가 더 장착될 수 있다. 상기와 같이 차량은 가상 차로를 기준으로 한 차량의 횡방향 위치가 되기 때문에 도로 곡률 반경과 차량 궤적간에 중첩되는 문제가 발생하는 것을 방지할 수 있다. 상기와 같이 가상 차선을 사용하는 자율주행차량은 차선 추종과 차선변경 알고리즘을 통합하여 사용할 수 있다.

차선이 오른쪽 차선에서 왼쪽 차선으로 변경하거나 오른쪽 차선에서 왼쪽 차선으로 변경할 경우, 도 4에 도시된바와 같이, 각 단계별로 차량을 이동시킬 수 있으며, 각 단계별 차량의 이동은 도 5에 도시된 바와 같은 차선변경 알고리즘 식에 의해 이동시킬 수 있다. dyvt는 가상 차로 중심선을 기준으로 한 차량의 횡방향 변위를 나타내고, dy0은 센서로부터 입수한 현재 차로내차량의 횡방향 위치를 나타내고, Wt는 현재 차로의 폭을 나타내고, TS는 좌,우 차로 변경 시 동일한 조건식을사용하기 위한 방향 지시등의 운전자 조작 상태를 나타낸 값이다.

여기서, TS는 도 6에 도시된 바와 같이, 운전자의 조작에 의해 신호가 인가되지 않으면 신호값은 0으로 하고,왼쪽 또는 오른쪽 지시등의 신호가 인가되면 1과 -1로 하고, 위급상황일 경우는 신호값은 3으로 설정할 수 있다. 따라서, 운전자의 조작 신호가 인가되면, 조작 신호가 인가된 식에 의해 차량의 이동 방향을 제어할 수 있다. 상기와 같은 발명은 도로의 차선 변경 시 특히, 곡선 주로 주행 시 차선을 변경할 경우, 영상 촬영부로부터 측정된 곡률 반경값을 사용하지 않음으로써, 차선 변경 알고리즘 구현상의 근본적인 문제점을 제거할 수 있다. 상기와 같이 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 차선변경 알고리즘에 대한 검증은 다음과 같이 수행할 수있다.

먼저, 도 7에 도시된 바와 같이, 다양한 도로 환경을 준비한다. 여기서, 도 7a는 직선 도로를 나타내고, 도 7b는 좌선회 도로를 나타내고, 도 7c는 우선회 도로를 나타낸다. 이어서, 본 발명에 따른 차선변경 알고리즘을 사용하여 시뮬레이션을 수행한다. 즉, 도 5에 도시된 식을 사용하여 도로 환경에 따라 시뮬레이션을 수행하면 도 8에 도시된 바와 같이 각 단계에 따른 결과를 얻을 수 있다. 여기서, 도 8a는 좌측으로의 차선 변경과정을 나타내고, 도 8b는 우측으로의 차선 변경 과정을 나타낸다. 각 도로 환경에 따른 차선변경의 시뮬레이션 결과표는 도 9에 도시된 바와 같이 나타난다. 여기서, 도 9a는 직선 도로에서의 차선변경 시 시뮬레이션 결과 그래프이고, 도 9b는 좌선회 도로에서의 차선 변경 시 시뮬레이션결과 그래프이고, 도 9c는 우선회 도로에서의 차선 변경 시 시뮬레이션 결과 그래프이다.

상기와 같이 검증을 마치면 차선 변경 알고리즘을 실차에 적용할 수 있으며, 실차에 적용된 결과는 도 10에 도시된 바와 같이 얻을 수 있다. 상기와 같이 본 발명에 따른 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법의 검증은 카메라를 기반으로 한 영상 촬영부에서 발생할 수있는 오류를 제거함으로써 보다 논리적이고 안정적이며 반복 재현 가능한 검증환경을 제공할 수 있다.

전술한 내용과 함께 도 a 내지 도 b를 참조하면 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법으로서, 자율주행자동차 제어시스템을 준비하는 단계; 및 자율주행자동차를 기반으로 하는 자율주행자동차 제어시스템을 운용하는 단계를 포함하되, 상기 자율주행 자동차 제어시스템은, 차량의 조향각을 감시하는 조향 센서부; 차량의 전방 도로를 촬영하는 영상 촬영부; 및 상기 촬영된 도로 영상으로부터 변경될 차로를 향하여 가상 차선을 예측하는 제어부를 포함한다. 상기 자율주행자동자 제어시스템에 운용에 따라 단수 혹은 복수의 상기 자율주행자동차의 운행상태를 관리하는 상태관리유닛을 더 포함한다.

여기서 상태관리유닛은 상기 자율주행자동차의 제작, 검증, 주행이 이루어지는 현장과 트랙, 도로 등 다양한 위치에 설치 가능하다. 이러한 상기 상태관리유닛은, 중앙몸체(110’)와, 상기 중앙몸체(110’)의 하부로 설치되는 지지연결체(121’)와, 상기 지지연결체(121’)를 매개로 상기 중앙몸체(110’)의 하부에 설치되며 상기 중앙몸체(110’)를 지지하는 지지패널(122’)과, 상기 지지연결체(121’)의 일측면으로 위치되도록 설치되는 다수의 일측촬영체(123’)와, 상기 좌측연결체(131’)의 타측면으로 위치되며 상기 일측촬영체(123’)와 반전되도록 설치되는 다수의 타측촬영체(124’)를 포함하는 하부감시파츠(120’)를 포함한다. 아울러 상기 중앙몸체(110’)의 좌측으로 설치되는 좌측연결체(131’)와, 상기 좌측연결체(131’)의 상부면으로 위치되도록 설치되는 다수의 제1-1촬영체(133’)와, 상기 좌측연결체(131’)의 하부면으로 위치되며 상기 제1-1촬영체(133’)와 반전되도록 설치되는 다수의 제1-2촬영체(134’)와, 상기 좌측연결체(131’)를 매개로 상기 중앙몸체(110’)의 좌측에 설치되는 제1유동체(132’)를 포함하는 제1감시파츠(130’)를 포함한다.

여기서 상기 중앙몸체(110’)의 우측으로 설치되는 우측 연결체(141’)와, 상기 우측 연결체(141’)의 상부면으로 위치되도록 설치되는 다수의 제2-1촬영체(143’)와, 상기 우측 연결체(141’)의 하부면으로 위치되며 상기 제2-1촬영체(143’)와 반전되도록 설치되는 다수의 제2-2촬영체(144’)와, 상기 우측 연결체(141’)를 매개로 상기 중앙몸체(110’)의 우측에 설치되는 제2유동체(142’)를 포함하는 제2감시파츠(140’)를 포함한다.

이러한 상기 중앙몸체(110’)의 상측으로 설치되는 상측 연결체(151’)와, 상기 상측 연결체(151’)의 일측면으로 위치되도록 설치되는 다수의 제3-1촬영체(153’)와, 상기 상측 연결체(151’)의 타측면으로 위치되며 상기 제3-1촬영체(153’)와 반전되도록 설치되는 다수의 제3-2촬영체(154’)와, 상기 상측 연결체(151’)를 매개로 상기 중앙몸체(110’)의 상측에 설치되는 제3유동체(152’)를 포함하는 제3감시파츠(150’)를 포함한다.

상기 좌측연결체(131’)는 상기 중앙몸체(110’) 내부로 진입하거나 외부로 노출되는 제1출몰동작이 수행되며, 상기 우측연결체(141’)는 상기 중앙몸체(110’) 내부로 진입하거나 외부로 노출되는 제2출몰동작이 수행되며 상기 상측연결체(151’)는 상기 중앙몸체(110’) 내부로 진입하거나 외부로 노출되는 제3출몰동작이 수행된다.

여기서 상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)는, 상기 제1출몰동작 내지 상기 제3출몰동작에 기반하여 상기 중앙몸체(110’)의 내부로 수용되어 외부로부터 보호되도록 보관가능하다. 상기 상태관리유닛은, 상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)들 중 상기 제1-1촬영체(133’), 상기 제1-2촬영체(134’)가 상기 중앙몸체(110’)의 외부로 노출되어 촬영을 수행하는 제1동작모드와, 상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)들 중 상기 제2-1촬영체(143’), 상기 제2-2촬영체(144’)가 상기 중앙몸체(110’)의 외부로 노출되어 촬영을 수행하는 제2동작모드와, 상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)들 중 상기 제3-1촬영체(153’), 상기 제3-2촬영체(154’)가 상기 중앙몸체(110’)의 외부로 노출되어 촬영을 수행하는 제3동작모드로 동작 가능하다.

상기 상태관리유닛은, 중앙몸체(110’)와, 상기 중앙몸체(110’)의 하부로 설치되는 지지연결체(121’)와, 상기 지지연결체(121’)를 매개로 상기 중앙몸체(110’)의 하부에 설치되며 상기 중앙몸체(110’)를 지지하는 지지패널(122’)과, 상기 지지연결체(121’)의 일측면으로 위치되도록 설치되는 다수의 일측촬영체(123’)와, 상기 지지연결체(121’)의 타측면으로 위치되며 상기 일측촬영체(123’)와 반전되도록 설치되는 다수의 타측촬영체(124’)를 포함하는 하부감시파츠(120’)를 포함한다.

또한 상기 중앙몸체(110’)의 좌측으로 설치되는 좌측연결체(131’)와, 상기 좌측연결체(131’)의 상부면으로 위치되도록 설치되는 다수의 제1-1촬영체(133’)와, 상기 좌측연결체(131’)의 하부면으로 위치되며 상기 제1-1촬영체(133’)와 반전되도록 설치되는 다수의 제1-2촬영체(134’)와, 상기 좌측연결체(131’)를 매개로 상기 중앙몸체(110’)의 좌측에 설치되는 제1유동체(132’)를 포함하는 제1감시파츠(130’)를 포함한다.

또한 상기 중앙몸체(110’)의 우측으로 설치되는 우측 연결체(141’)와, 상기 우측 연결체(141’)의 상부면으로 위치되도록 설치되는 다수의 제2-1촬영체(143’)와, 상기 우측 연결체(141’)의 하부면으로 위치되며 상기 제2-1촬영체(143’)와 반전되도록 설치되는 다수의 제2-2촬영체(144’)와, 상기 우측 연결체(141’)를 매개로 상기 중앙몸체(110’)의 우측에 설치되는 제2유동체(142’)를 포함하는 제2감시파츠(140’)를 포함한다.

또한 상기 중앙몸체(110’)의 상측으로 설치되는 상측 연결체(151’)와, 상기 상측 연결체(151’)의 일측면으로 위치되도록 설치되는 다수의 제3-1촬영체(153’)와, 상기 상측 연결체(151’)의 타측면으로 위치되며 상기 제3-1촬영체(153’)와 반전되도록 설치되는 다수의 제3-2촬영체(154’)와, 상기 상측 연결체(151’)를 매개로 상기 중앙몸체(110’)의 상측에 설치되는 제3유동체(152’)를 포함하는 제3감시파츠(150’)를 포함한다.

여기서 상기 좌측연결체(131’)는 상기 중앙몸체(110’) 내부로 진입하거나 외부로 노출되는 제1출몰동작이 수행되며, 상기 우측연결체(141’)는 상기 중앙몸체(110’) 내부로 진입하거나 외부로 노출되는 제2출몰동작이 수행되며 상기 상측연결체(151’)는 상기 중앙몸체(110’) 내부로 진입하거나 외부로 노출되는 제3출몰동작이 수행된다.

아울러 상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)는, 상기 제1출몰동작 내지 상기 제3출몰동작에 기반하여 상기 중앙몸체(110’)의 내부로 수용되어 외부로부터 보호되도록 보관가능하다.

상기 상태관리유닛은, 상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)들 중 상기 제1-1촬영체(133’), 상기 제1-2촬영체(134’)가 상기 중앙몸체(110’)의 외부로 노출되어 촬영을 수행하는 제1동작모드와, 상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)들 중 상기 제2-1촬영체(143’), 상기 제2-2촬영체(144’)가 상기 중앙몸체(110’)의 외부로 노출되어 촬영을 수행하는 제2동작모드와, 상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)들 중 상기 제3-1촬영체(153’), 상기 제3-2촬영체(154’)가 상기 중앙몸체(110’)의 외부로 노출되어 촬영을 수행하는 제3동작모드로 동작 가능하다.

이러한 상기 상태관리유닛은 상기 제1감시파츠(130’)와 상기 제2감시파츠(140’) 및 상기 제3감시파츠(150’)에 대한 지지고정과 오염관리동작을 수행하기 위한 복합관리모듈을 더 포함한다.

아울러 상기 복합관리모듈은 최하부의 하부몸체(210’)와, 상기 하부몸체(210’)의 상부 일측에 수직으로 설치되는 일측수직패널부(211’)와, 상기 일측수직패널부(211’)상에 수평으로 설치되는 제1-1일측수평체(212’)와, 상기 제1-1일측수평체(212’)의 단부에 구비되어 상기 일측촬영체(123’)에 대한 세정액을 토출하여 클리닝을 수행하는 제1-1일측세정체(213’)와, 상기 제1-1일측수평체(212’)와 상기 제1-1일측세정체(213’) 사이에 구비되고 상부로 위치하는 상기 제1-2촬영체(134’)에 대한 세정액을 토출하여 클리닝을 수행하는 제1-1보조세정체(214’)와, 상기 일측수직패널부(211’)상에 수평으로 설치되며 상기 제1-1일측수평체(212’)의 상부에 위치되는 제1-2일측수평체(215’)와, 상기 제1-2일측수평체(215’)의 단부에 구비되어 상기 제3-1촬영체(153’)에 대한 세정액을 토출하여 클리닝을 수행하는 제1-2일측세정체(216’)와, 상기 제1-2일측수평체(215’)와 상기 제1-2일측세정체(216’) 사이에 구비되고 하부로 위치하는 상기 제1-1촬영체(133’)에 대한 세정액을 토출하여 클리닝을 수행하는 제1-2보조세정체(217’)를 포함한다.

또한, 상기 하부몸체(210’)의 상부 타측에 수직으로 설치되는 타측수직패널부(221’)와, 상기 타측수직패널부(221’)상에 수평으로 설치되는 제2-1일측수평체(222’)와, 상기 제2-1일측수평체(222’)의 단부에 구비되어 상기 타측촬영체(124’)에 대한 세정액을 토출하여 클리닝을 수행하는 제2-1일측세정체(223’)와, 상기 제2-1일측수평체(222’)와 상기 제2-1일측세정체(223’) 사이에 구비되고 상부로 위치하는 상기 제2-2촬영체(144’)에 대한 세정액을 토출하여 클리닝을 수행하는 제2-1보조세정체(224’)와, 상기 타측수직패널부(221’)상에 수평으로 설치되며 상기 제2-1일측수평체(222’)의 상부에 위치되는 제2-2일측수평체(225’)와, 상기 제1-2일측수평체(215’)의 단부에 구비되어 상기 제3-2촬영체(154’)에 대한 세정액을 토출하여 클리닝을 수행하는 제2-2일측세정체(226’)와, 상기 제2-2일측수평체(225’)와 상기 제2-2일측세정체(226’) 사이에 구비되고 하부로 위치하는 상기 제2-1촬영체(143’)에 대한 세정액을 토출하여 클리닝을 수행하는 제2-2보조세정체(227’)를 포함한다.

이때 상기 복합관리모듈은, 상기 하부몸체(210’)의 상부에서 상기 일측수직패널부(211’)와 상기 타측수직패널부(221’) 사이에 위치되어 상기 중앙몸체(110’)를 거치고정시키는 중앙고정부(310’)와, 상기 하부몸체(210’)의 상부에서 상기 일측수직패널부(211’)의 외곽으로 설치되며 상기 일측수직패널부(211’)을 지지고정시키는 제1외곽고정부(411’)와, 상기 하부몸체(210’)의 상부에서 상기 타측수직패널부(221’)의 외곽으로 설치되며 상기 타측수직패널부(221’)을 지지고정시키는 제2외곽고정부(511’)를 더 포함한다.

상기 중앙고정부(310’)는, 상기 하부몸체(210’)의 상부에 구비되고 상부에 상기 지지패널(122’)이 거치되면 상부에 구비된 한 쌍의 이동형고정체(3111’,3112’)로 상기 지지패널(122’)의 양측을 가압 고정시키는 중앙고정모듈(311’)과, 상기 하부몸체(210’)의 좌측상부에 구비되고 제1연동체(312’)를 통해 상기 중앙고정모듈(311’)과 연결되며 상기 일측수직패널부(211’)를 눌러 고정시키는 일측고정모듈(313’)과, 상기 하부몸체(210’)의 우측상부에 구비되고 제2연동체(314’)를 통해 상기 중앙고정모듈(311’)과 연결되며 상기 타측수직패널부(221’)를 눌러 고정시키는 타측고정모듈(315’)을 더 포함한다.

여기서 상기 제1외곽고정부(411’)는,상기 하부몸체(210’)에 일부가 삽입장착되는 제1삽입몸체(4111’)와, 상기 제1삽입몸체(4111’)의 상부로 설치되며 상기 일측수직패널부(211’)와 대향하여 접하는 제1대향몸체(4112’)와, 상기 제1대향몸체(4112’)의 상부에 구비되고 저면부로 상기 일측수직패널부(211’)의 상방에 접하는 제1상방패널(4113’)을 포함한다.

이러한 상기 제1삽입몸체(4111’)는 상기 일측고정모듈(313’)에 의하여 가압되는 상기 일측수직패널부(211’)을 반대방향에서 지지고정시키며, 상기 제1대향몸체(4112’)는 높이방향상에 다수로 구비되는 다수의 제1진입구조체(P11’)를 매개로 상기 일측수직패널부(211’)에 장착고정되며, 상기 제1상방패널(4113’)은 하부에 구비되는 제1하방진입구조체(P12’)를 매개로 상기 일측수직패널부(211’)의 상방으로 장착고정된다.

아울러 상기 제2외곽고정부(511’)는, 상기 하부몸체(210’)에 일부가 삽입장착되는 제2삽입몸체(5111’)와, 상기 제2삽입몸체(5111’)의 상부로 설치되며 상기 타측수직패널부(221’)와 대향하여 접하는 제2대향몸체(5112’)와, 상기 제2대향몸체(5112’)의 상부에 구비되고 저면부로 상기 타측수직패널부(221’)의 상방에 접하는 제2상방패널(5113’)을 포함한다. 상기 제2삽입몸체(5111’)는 상기 타측고정모듈(315’)에 의하여 가압되는 상기 타측수직패널부(221’)을 반대방향에서 지지고정시키며, 상기 제2대향몸체(5112’)는 높이방향상에 다수로 구비되는 다수의 제2진입구조체(P12’)를 매개로 상기 타측수직패널부(221’)에 장착고정되며, 상기 제2상방패널(5113’)은 하부에 구비되는 제2하방진입구조체(P22’)를 매개로 상기 타측수직패널부(221’)의 상방으로 장착고정된다. 또한 상기 제1진입구조체(P11’), 상기 제2진입구조체(P12’), 상기 제1하방진입구조체(P12’) 및 상기 제2하방진입구조체(P22’)는 각각 장착고정된 상태에서 정방향 혹은 역방향 회전방식을 기반으로 각기 상기 일측수직패널부(211’)와 상기 타측수직패널부(221’)에 대한 고정력을 재차 가한다.

한편 상기 상태관리유닛은, 소정의 설치대상부상에서 상하로 대칭으로 다수 설치되는 제1설치모드와, 좌우 대칭으로 다수 설치되는 제2설치모드와, 상하좌우 대칭으로 다수 설치되는 제3설치모드로 각기 설치 가능하다. 이러한 상기 일측수직패널부(211’)와 상기 타측패널부(221’)는, 상기 좌측열결체(131’)와 상기 우측연결체(141’) 상기 상측연결체(151’)가 상부 중앙몸체(110’)로 후퇴하고, 상기 지지연결체(121’)상에 상기 일측촬영체(123’)와 상기 타측촬영체(124’)가 제거된 상태에서, 상기 제1-1일측수평체(212’)와 상기 제2-1일측수평체(222’)를 통해 상기 지지연결체(121’)를 각각 가압고정하며, 상기 제1-2일측수평체(215’)와 상기 제2-2일측수평체(225’)를 통해 상기 제3유동체(152’)의 양측을 각각 가압고정한다. 이상에서 전술한 물리적 구성들의 구동방식은 모터, 엑츄에이터 등을 기반으로 전후유동, 회전이동이 이루어지며 각 구성부의 형상과 크기는 설치 현장과 구현하고자하는 자재들에 따라 다양하게 선택되어 구비될 수 있다.

이하, 일 실시 예에 의한 것으로 자동차 전용도로에서 자율주행 시험을 진행하는 방식을 설명한다.

* 자율주행 자동차 제어 방식 ;

자동차에서는 일반적으로 알려진 캔(CAN) 통신방식을 사용하여 내장된 각종 전장품에 연결되어 운용상태를 감시하고 제어하며 관리한다.

자율주행의 핸들조향과 속도제어를 위하여 자동차 제어모듈(ECU)에 외부적으로 접근하여 핸들조향 CAN ID, 속도제어 CAN ID, 긴급정지 CAN ID, 방향지시등 CAN ID, 자율주행 모드 ON/OFF CAN ID에 각각 접촉하고 일 실시 예에 의한 것으로 주) 에스티피씨에서 개발한 자율주행 제어 프로그램 데이터값을 적용하여 제어할 수 있다.

* 자율주행을 위하여 탑재되는 제어기와 센서 :

자율주행을 위하여 필요한 센서는 크게 2 가지가 있으며 일례로 카메라와 라이다 센서가 있다.

자율주행을 위하여는 전방과 좌측과 우측의 시야를 각각 확보하여야 되고 카메라와 라이다 센서를 활용한다. 카메라 센서는 차선인식과 장애물인식을 위하여 사용되며, 라이다 센서는 장애물인식과 장애물과의 거리, 이동속도, 위치를 확인하기 위하여 사용된다.

각 센서에 의하여 확보된 데이터값의 처리에는 CPU i7 8700, GPU RTX2070, RTX1660이 구비된 일반 컴퓨터를 사용할 수 있다.

* 자율주행 자동차의 시험운행 :

자동차전용도로에서 2 인 1 조로 시험운행하였으며, 운행 속도는 0 내지 50 Km 범위로 설정하였다. 2021 년 8 월 국토교통부 자율주행 임시운행허가여를 취득하였으며 자율주행 자동차 종합 성능테스트와 안정성 테스트를 통과하였다.

* 차선 인식 프로그램 ;

센서로 활용되는 카메라를 사용하여 차선 인식과 주변의 정보와 위치와 데이터를 취득한다.

전방에 설치된 카메라 1 개를 이용하여 전방 최대 30 m 까지의 영역에 대한 차선 데이터를 확보한다.

보정(calibration) 절차를 사용하지 않는 카메라로 촬영한 원본 이미지 프레임(image frame)의 경우 전방 15 m 이상의 영역에 대하여는 정확한 차선 데이터 취득이 비교적 어렵다.

카메라가 촬영한 이미지 프레임은 보정 절차를 거치지 않는 경우 찌그러짐과 왜곡 현상 등에 의하여 전방 15 m 보다 먼 거리에 있는 영역의 이미지에 대한 픽셀 정보가 비교적 매우 불확실하며, 차량의 이동속도가 빠를수록 불확실성에 의하여 차량의 조향제어에 심각한 문제를 발생시킨다.

도 17 은 본 발명의 일 실시 예에 의한 것으로 카메라 이미지 전방영역을 보정하여 버드아이뷰로 전환시킨 예시도 이고, 도 18 은 본 발명의 일 실시 예에 의한 것으로 카메라 이미지 전방영역을 역시각법으로 보정한 상태 도시도 이며, 도 19 는 본 발명의 일 실시 예에 의한 것으로 CNN(convolutional nural network) 기반 인공지능 알고리즘의 KITTI DATA SET을 이용한 차선인식 학습상태 도시도 이고, 도 20 은 본 발명의 일 실시 예에 의한 것으로 국내 도로환경에 적합한 인공지능 학습에 의한 차선 인식 상태 도시도 이며, 도 21 은 본 발명의 일 실시 예에 의한 것으로 차선세분화를 통한 레인 바이너리 데이터 차선의 2진법 값을 추출한 상태 설명도 이고, 도 22 는 본 발명의 일 실시 예에 의한 것으로 카메라와 라이다의 센서 융합에 의한 장애물 특정상태 도시도 이며, 도 23 은 본 발명의 일 실시 예에 의한 것으로 라이다의 50 미터 이상 전방의 이미지를 2 차원의 탑뷰이미지로 변환시킨 상태 도시도 이고, 도 24 는 본 발명의 일 실시 예에 의한 것으로 라이다의 포인트 플라우드 데이터 탐지 상대 도시도 이며, 도 25 는 본 발명의 일 실시 예에 의한 것으로 관심영역 외부에서 탐지된 장애물을 노이즈로 분류한 상태 도시도 이고, 도 26 은 본 발명의 일 실시 예에 의한 것으로 CNN 기반 인공지능 차선검출 알고리즘의 기능 구성 블록도 이다.

이하 첨부된 모든 도면을 참조하여 자동차 전용도로 자율주행 기술을 상세하게 설명한다.

카메라 이미지 프레임으로 전방 15 m 보다 먼 거리의 영역(카메라이미지 전방영역)을 정확하게 확인하기 어려운 문제의 해결을 위하여 카메라 센서 보정(calibration) 작업을 진행하였으며 카메라 이미지 전방영역을 버드아이뷰(BEV : Bird Eye View)로 전환시킨 상태가 도 17에 잘 도시되어 있다.

버드아이뷰(BEV : Bird Eye View)로 전환(변환)하기 위해서 역시각법(IPM : inverse perspective methods)의 카메라 보정 알고리즘을 사용하여 전방 최대 30 m 영역의 차선에 대한 정보 취득이 가능하며, 도 18 에 전방 15 m 보다 먼 거리의 영역인 카메라이미지 전방영역을 버드아이뷰로 변환한 상태가 상세히 잘 도시되어 있다.

한편, 전방 15 m 이내 영역에 대한 차선 정보는 카메라 이미지를 분석한 데이터가 더욱 정확하여 시속 20 km 이하의 속도로 주행하는 경우 카메라 이미지로부터 차선 데이터를 취득하고 시속 21 km 이상으로 주행시는 버드아이뷰(BEV)로부터 차선 정보를 취득한다.

* 차선인식 인공지능 프로그램 :

차선 정보 취득 알고리즘(프로그램)은 CNN(convolutional nural network)을 기반으로 개발된 인공지능 차선검출 알고리즘을 사용한다. CNN 기반 인공지능 알고리즘을 기초로 KITTI DATA SET을 사용하여 차선인식 학습을 진행하였으며 도 19 에 CNN 기반 인공지능 알고리즘의 KITTI DATA SET을 이용한 차선인식 학습 상태가 도시되어 있다. CNN을 기반으로 개발된 인공지능 차선검출 알고리즘은 도 26에 기능 블록도로 잘 도시되어 있다.

그러나 KITTI DATA SET을 이용한 차선인식 학습은 대한민국의 자동차전용도로 환경에서와 같이 차선의 페인트가 옅은 부분에서는 차선 인식율이 비교적 매우 저조하였다. 또한, 차선 간의 폭에 차이가 있는 우리나라 도로 환경에서는 차선 인식률이 비교적 저조한 결과를 보인다.

그러므로 약 5000 여장 이상의 우리나라 자동차전용도로 이미지 파일을 확보하여 각 이미지 파일에서 차선 특징을 지정하여 국내 도로환경에 적합한 인공지능 학습용 데이터를 사용하므로 차선인식률을 높이었으며 첨부된 도 20 에 상세히 잘 도시되어 있다. 이러한 결과는 경부고속도로, 영동고속도로, 서부간선 고속도로, 용인서울 고속도로, 외곽순환도로, 과천봉담 도시고속도로 등 대한민국 주요 자동차전용도로에서 안정적인 차선인식률을 나타낸다.

* 안정적인 차량 제어를 위한 차선검출 ;

CNN(convolutional nural network) 기반 차선인식 인공지능은 학습을 통한 차선에 대한 정보를 카메라 이미지 프레임으로부터 추출한다. 차선인식 인공지능 모델은 차선을 인식하면 차선 세분화(LANE SEGMENTATION)을 통한 lane binary data 차선의 2 진법 값을 추출하며 도 21 에 잘 도시되어 있다.

차선에 대한 2 진법값을 특정한 차선곡률 방정식에 대입하면 전방 최대 50 m 앞의 조향 곡률을 계산할 수 있다.

차선검출 영역을 카메라 프레임 픽셀로 지정하여 주행 차선의 좌우 차선(ego left/ego right)의 차선검출이 가능하도록 설정한다.

좌우 차선을 검출하는 이유는 차량 운행중 최대 10 칸 이상의 차선 검출이 실패하는 경우 좌우 차선을 사용하여 차량의 조향을 제어하기 위함이다. 차선 상태가 좋지 못한 경우는 최대 120 frame 까지 lane filtering 알고리즘을 사용하여 차선예측이 가능하지만 120 frame 이상의 차선 검출을 실패하는 경우에는 좌우측 차선 검출값에 의지하여 차량의 조향을 제어하여야 한다.

주행차선이 다시 검출되기 시작하면 검출된 주행차선값을 사용하여 차량의 조향을 제어하면서 주행한다. rtx2070 인공지능 프로그램 사용시 약 30 fps 이상의 연산처리 속도가 가능하며 시속 90 km 이상의 속도에서도 차선 검출이 가능하다.

* 장애물 인식과 거리와 가속도 처리 프로그램 :

자동차 전용도로 내의 장애물은 일반 자동차, 특수 차량, 이륜차(불법운행)이 대부분을 차지한다. 보행자가 정신이상자이거나 자해공갈단인 경우와 같이 일부 매우 특수한 상황은 보행자가 자동차전용도로에서 장애물로 검출될 확률이 거의 제로(0)에 가깝다.

YOLO(you only look once) 인공지능 프로그램은 대다수의 업체들이 무료로 사용하는 오픈소스 프로그램이다. YOLO의 학습 데이터는 전세계 다수의 국가에서 운행중인 자동차, 특수차, 이륜차 등 다양한 장애물에 대한 학습에 의하여 높은 장애물 인식률을 보인다.

YOLOV4 인공지능 프로그램을 사용하여 전방의 장애물 유형을 구분하는 카메라 센서 장애물 인식 프로그램을 개발하였다.

카메라 센서를 사용하여 장애물을 탐지하는 이유는 라이다만을 사용하는 경우 장애물을 특정할수 없을 수 있고, 장애물 특정이 불가능한 경우는 원치않는 데이터 또는 물체가 장애물로 오검출 된다.

장애물의 정확한 특정을 위해서는 라이다 센서와 카메라 센서의 센서융합(sensor fusion)에 의하여 도 22 에 도시된 것과 같이 장애물을 정확하게 특정할 수 있다.

라이다 센서와 카메라 센서의 센서융합은 라이다 센서의 포인트 클라우드 데이터(point cloud data)와 카메라 센서의 픽셀(pixel) 데이터를 매칭(matching) 시키는 조정(calibration) 작업이 필요하다.

라이다의 포인트 클라우드 데이터와 카메라의 픽셀 데이터에 의한 좌표가 동일하게 매칭 되도록 융합하고 이미지 프레임에서 검출된 YOLOV4 장애물 바운더리(object box)의 픽셀과 라이다의 포인트 클라우드 데이터의 좌표가 동일한 위치에 있을 경우 장애물로 특정하는 방식이다.

장애물의 특정시 장애물에 대한 각 ID(identification) 정보의 취득이 가능하며 라이다의 point cloud data를 사용하여 장애물까지의 거리 계산이 가능하다.

장애물 가속도 계산식은 v(velocity)= ^d(delta distance) / ^t(delta time) + current speed(현재 차량 속도)의 공식으로 계산한다.

* 라이다 센서 장애물 탐지 거리 증폭 프로그램 ;

라이다 센서는 장애물까지의 거리계산, 가속도, 위치, 크기를 각각 계산할 수 있다.

라이다 센서의 자체 성능은 전방 최대 120 미터(m) 까지의 탐지를 가능하게 하지만 실제 약 최대 80 m 전방 까지의 탐지를 가능하게 한다.

특히, 장애물이 검정색과 같은 반사가 잘 안되는 색상의 물체인 경우 탐지거리는 최대 50 m 까지로 제한된다.

이러한 라이다 센서의 성능 한계를 극복하기 위하여 전방 50 m 이상 영역의 라이다 이미지를 2차원(2D)의 탑뷰(top view) 이미지로 변환(conversion)시켜 더욱 높은 장애물 탐지 성능을 구현할 수 있고, 도 23에 상세히 잘 도시되어 있다.

라이다 센서에 의한 point cloud data는 3 차원(3D) 형태로 정보 취득을 하는데 3 차원(3D) 방식으로 장애물 탐지시 전방 50 m 이상 영역의 장애물은 충분한 point cloud data 획득이 어렵고 이러한 상태가 도 24에 상세히 잘 도시되어 있다.

즉, 라이다로 스캔하는 경우 50 미터 이상의 전방 또는 멀리있는 물체일수록 라이다 센서가 스캔하는 레이저의 탐지 범위(영역)가 적어지고 검출(탐지)된 데이터는 비확실성(noise) 데이터와 유사할 수 있으므로 장애물 데이터로 특정하기 어렵게 된다.

50 미터 전방 영역의 point cloud data를 2D(top view) 데이터로 변환(conversion) 시키는 것은 라이다 센서에 의한 point cloud data를 카메라 센서에 의한 이미지 픽셀 데이터 값으로 변환시켜 point cloud data의 사이즈를 증폭 시키게 된다.

50 내지 80 미터(m) 범위에 속하는 장애물은 평균적으로 3 내지 8 개 사이의 point cloud data로 검출되고, 3차원(3D) 장애물 인지 프로그램을 사용하는 경우에는 3 내지 8 개의 point cloud data의 데이터값이 너무 적으므로 장애물로 판단하기 어려운 문제가 있다.

그러므로 2차원(2D)의 탑 뷰(top view)를 사용하여 픽셀이미지로 변경시키고 point cloud data의 크기를 증폭시킨 데이터를 사용하여 장애물로 특정하고 거리와 가속도 계산을 한다.

* 차선 정보를 이용한 관심영역(ROI : region of interest) ;

특정 장애물에 대한 정보를 추출하려면 위험지역 또는 관심영역 내의 장애물 정보만을 추출해야 한다. ROI(관심영역)은 차선 정보를 사용하여 설정할 수 있다.

전방의 ego left와 ego right 에 대한 차선 정보를 사용하고 차선 내부에서 감지되는 장애물만 위험 장애물로 판단하여 차량 제어 로직에 전달한다. 관심영역(ROI)의 외부에서 탐지된 장애물은 노이즈(noise) 또는 고스트(ghost)로 분류하여 오검출 장애물로 판단하며 도 25에 잘 도시되어 있다.

상기와 같은 구성은 기존 자동차에 모터 제어 조향 시스템(mdps)과 핸들 모터와 크루즈 컨트롤 시스템과 악셀레이터 브레이크 페달 제어 모터 등을 구비하고 곡선 주로 주행시 보다 정확하며 안정적으로 차선을 변경할 수있는 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법을 제공하는 장점이 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100 : 영상 촬영부 200 : 조향 센서부
300 : 제어부 600 : 가상 차로 중심점
110' : 중앙몸체 120' : 하부감시파츠
121' : 지지연결체 122' : 지지패널
123': 일측촬영체 124' : 타측촬영체
131' : 좌측연결체

Claims

자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법으로서,
자율주행자동차 제어시스템이 준비되는 단계; 및
자율주행자동차를 기반으로 하는 자율주행자동차 제어시스템이 운용되는 단계를 포함하되,
상기 자율주행 자동차 제어시스템은,
차량의 조향각을 감시하는 조향 센서부; 차량의 전방 도로를 촬영하는 영상 촬영부; 및 상기 촬영된 도로 영상으로부터 변경될 차로를 향하여 가상 차선을 예측하는 제어부를 포함하되,
상기 자율주행자동자 제어시스템에 운용에 따라 단수 혹은 복수의 상기 자율주행자동차의 운행상태를 관리하는 상태관리유닛을 더 포함하되,
상기 상태관리유닛은,
중앙몸체(110’)와, 상기 중앙몸체(110’)의 하부로 설치되는 지지연결체(121’)와, 상기 지지연결체(121’)를 매개로 상기 중앙몸체(110’)의 하부에 설치되며 상기 중앙몸체(110’)를 지지하는 지지패널(122’)과, 상기 지지연결체(121’)의 일측면으로 위치되도록 설치되는 다수의 일측촬영체(123’)와, 상기 일측촬영체(123')의 타측면으로 위치되며 상기 일측촬영체(123’)와 반전되도록 설치되는 다수의 타측촬영체(124’)를 포함하는 하부감시파츠(120’)를 포함하는, 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법.
제1항에 있어서,
상기 중앙몸체(110’)의 좌측으로 설치되는 좌측연결체(131’)와, 상기 좌측연결체(131’)의 상부면으로 위치되도록 설치되는 다수의 제1-1촬영체(133’)와, 상기 좌측연결체(131’)의 하부면으로 위치되며 상기 제1-1촬영체(133’)와 반전되도록 설치되는 다수의 제1-2촬영체(134’)와, 상기 좌측연결체(131’)를 매개로 상기 중앙몸체(110’)의 좌측에 설치되는 제1유동체(132’)를 포함하는 제1감시파츠(130’)와,
상기 중앙몸체(110’)의 우측으로 설치되는 우측 연결체(141’)와, 상기 우측 연결체(141’)의 상부면으로 위치되도록 설치되는 다수의 제2-1촬영체(143’)와, 상기 우측 연결체(141’)의 하부면으로 위치되며 상기 제2-1촬영체(143’)와 반전되도록 설치되는 다수의 제2-2촬영체(144’)와, 상기 우측 연결체(141’)를 매개로 상기 중앙몸체(110’)의 우측에 설치되는 제2유동체(142’)를 포함하는 제2감시파츠(140’)와,
상기 중앙몸체(110’)의 상측으로 설치되는 상측 연결체(151’)와, 상기 상측 연결체(151’)의 일측면으로 위치되도록 설치되는 다수의 제3-1촬영체(153’)와, 상기 상측 연결체(151’)의 타측면으로 위치되며 상기 제3-1촬영체(153’)와 반전되도록 설치되는 다수의 제3-2촬영체(154’)와, 상기 상측 연결체(151’)를 매개로 상기 중앙몸체(110’)의 상측에 설치되는 제3유동체(152’)를 포함하는 제3감시파츠(150’)를 포함하며,
상기 좌측연결체(131’)는 상기 중앙몸체(110’) 내부로 진입하거나 외부로 노출되는 제1출몰동작이 수행되며,
상기 우측연결체(141’)는 상기 중앙몸체(110’) 내부로 진입하거나 외부로 노출되는 제2출몰동작이 수행되며
상기 상측연결체(151’)는 상기 중앙몸체(110’) 내부로 진입하거나 외부로 노출되는 제3출몰동작이 수행되며
상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)는,
상기 제1출몰동작 내지 상기 제3출몰동작에 기반하여 상기 중앙몸체(110’)의 내부로 수용되어 외부로부터 보호되도록 보관가능하며,
상기 상태관리유닛은,
상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)들 중 상기 제1-1촬영체(133’), 상기 제1-2촬영체(134’)가 상기 중앙몸체(110’)의 외부로 노출되어 촬영을 수행하는 제1동작모드와,
상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)들 중 상기 제2-1촬영체(143’), 상기 제2-2촬영체(144’)가 상기 중앙몸체(110’)의 외부로 노출되어 촬영을 수행하는 제2동작모드와,
상기 제1-1촬영체(133’) 내지 상기 제3-2촬영체(154’)들 중 상기 제3-1촬영체(153’), 상기 제3-2촬영체(154’)가 상기 중앙몸체(110’)의 외부로 노출되어 촬영을 수행하는 제3동작모드로 동작 가능한, 자동차 전용도로 주행시 차선과 장애물 인식에 특화된 자율주행 자동차 핸들조향 제어와 속도제어 시스템 제공방법.