KR102217388B1 - 자율 주행 차량용 키트 장치 및 이를 이용한 제어 방법 - Google Patents

Abstract

자율 주행 차량용 키트 장치 및 이를 이용한 제어 방법이 개시된다. 본 실시 예는 복수의 참가자가 자율 주행 차량에 입력되는 알고리즘을 각자 개별적으로 입력하고, 기 입력된 알고리즘에 의해 차선을 따라 주행이 이루어지는 것을 특징으로 한다.

Description

자율 주행 차량용 키트 장치 및 이를 이용한 제어 방법{Kit device for automatic truck car and control method}

본 발명은 복수의 참가자가 자율 주행 차량에 입력되는 알고리즘을 직접적으로 다양하게 입력 및 체험이 가능한 자율 주행 차량용 키트 장치 및 이를 이용한 제어 방법에 관한 것이다.

일반적으로 자율주행 차량이란 운전자가 없거나 운전자가 있더라도 차량을 직접 조작하지 않고 컴퓨터 등에 의해 주행, 정지, 회전, 가속 또는 감속 등의 운전이 자동으로 이루어지는 지능형 차량을 의미한다. 이러한 지능형 차량의 주요 과제는 주행차선의 유지, 인접차량과의 안전거리 확보와 근접 장애물의 검출과 충돌회피, 교통상황이나 도로 환경에 따른 차량속도 제어 등이 있다.

최근에는 기술의 발전으로 차선이탈 경고 시스템(LDWS : Lane Departure Warning System)이나 차선유지와 같은 안전운전 보조시스템, 차량 자동 제어시스템 등이 개발되어 실용화가 급속하게 진행되고 있다. 특히, 주행차선의 검출은 자율주행 차량에서의 주요 과제를 해결하는 핵심기술 중의 하나로서 국제적인 관심 속에 많은 연구가 활발히 진행되고 있다.

즉, 주행차선의 검출은 안전 운전에 지대한 영향을 미치게 되므로, 차선의 위치를 추정하고 판단하기 위해 여러 가지 센서들을 활용하여 정확한 주행차선을 검출하고 있다. 예컨대, 이미지 센서, 레이더(RADAR) 또는 라이다(LIDAR)센서 등 다양한 센서들이 차선의 검출이나 차량 전방의 물체 인식을 위해 단독 또는 융합된 형태로 자율주행 차량제어 시스템 구현에 사용되고 있다.

전술한 자율주행 차량과는 별도로 교육용 또는 학생들에도 코딩 교육을 위한 목적으로 차량의 외형을 이루는 간단한 구조로 이루어진 프레임과, 상기 프레임에 설치된 센서와, 통신을 위한 블루투스 모듈과, 상기 프레임의 전방과 후방에 구비된 바퀴와, 상기 바퀴에 구동력을 제공하는 모터 및 상기 모터의 회전수를 제어하는 제어기를 포함한 자율주행 차량 키트(kit) 형태의 제품이 학생 및 일반인을 대상으로 시판되고 있다.

상기 자율 주행 차량 키트는 오픈 소스로 제공된 로직을 복수의 체험자가 주행 환경에 따라 다양하게 조작해보거나 변경 하지 않고 단순히 기 입력된 주행 명령을 단순히 반복 체험하는 체험형 타입으로 사용되고 있다.

이 경우 사용자의 다양한 아이디어 또는 주행 패턴을 시도해 볼 수 있는 기반이 없어서 코딩 교육의 목적이 무의미 해지는 문제점이 발생되었다.

예를 들면 기존의 자율주행 차량 키트는 기 설정된 도로 라인을 따라 단순히 벗어나지 않고 출발 위치에서 종료 위치까지만 주행해보는 정도의 목적으로 사용됨으로써, 사용자가 직접 자율주행 차량의 이동에 따른 알고리즘을 조작 및 변화시켜 주행 결과를 확인하고, 반영하기 어려운 문제점이 유발되어 이에 대한 대책이 필요하게 되었다.

대한민국 등록특허공보 제10-1121777호

본 발명의 실시 예들은 개별 참가자가 자율 주행 차량용 키트 장치의 작동을 위한 주행 알고리즘을 서로 다르게 조작해보고, 결과에 따라 수정 및 변경이 용이한 자율주행 차량용 키트 장치 및 이의 제어방법을 제공하고자 한다.

본 발명의 일 실시 예에 의한 자율 주행 차량용 키트 장치는 자율 주행 차량(1)의 외형을 이루는 바디부(100); 상기 바디부(100)의 전방 하측에 구비된 전륜(10)에 구동력을 제공하는 제1 모터(210)와, 후방 하측에 구비된 후륜(20)에 구동력을 제공하는 제2 모터(220)를 포함하는 모터부(200); 상기 바디부(100)에 구비되고, 상기 바디부(100)가 차선(2)이 표시된 트랙(30)을 따라 주행할 때 상기 바디부(100)의 전방에 대한 영상 정보를 제공하는 영상 모듈부(300); 상기 바디부(100)가 상기 차선(2)을 따라 이동할 때 전방 장애물 유무 및 장애물까지의 거리를 감지하는 거리 감지부(400); 상기 영상 모듈부(300)와 상기 거리 감지부(400)에서 입력된 데이터를 기반으로 관심 영역을 설정하고, 설정된 관심 영역을 X축과 Y축으로 각각 n등분한 그리드 데이터와 차선 데이터를 추출한 후에 이를 참가자에게 제공하는 제어부(500); 및 상기 참가자가 상기 제어부(500)를 통해 제공된 그리드 데이터와 차선 데이터를 이용하여 상기 자율 주행 차량(1)의 구동에 필요한 알고리즘을 직접 입력하기 위한 입력부(600)를 포함한다.

상기 바디부(100)의 전방에 설치되고, 상기 전방 트랙(30)의 기울기에 따라 상기 영상 모듈부(300)와 상기 거리 감지부(400)의 각도를 조절하기 위한 각도 조절부(700)가 구비된다.

본 발명의 일 실시 예에 의한 자율 주행 차량용 키트 장치의 제어 방법은 자율 주행 차량이 트랙을 따라 주행되기 위한 알고리즘을 참가자가 개별적으로 직접 조작하여 상기 자율 주행 차량의 구동을 체험해 보기 위해 상기 자율 주행 차량의 주행에 필요한 데이터를 센서를 통에 입력 받는 제1 단계(ST100); 상기 입력된 데이터 중 상기 자율 주행 차량의 주행에 필요한 관심 영역을 설정하는 제2 단계(ST200); 상기 설정된 관심 영역에서 상기 자율 주행 차량의 주행에 필요한 차선 데이터를 참가자에게 제공하기 위해 상기 관심 영역에 형성된 차선을 추출하기 위한 경계점을 설정하는 제3 단계(ST300); 상기 설정된 경계점에서 직선 데이터만을 추출하는 제4 단계(ST400); 상기 추출된 직선 데이터 중 차선 데이터만 검출한 후에 설정된 관심 영역의 XY축에서 그리드 데이터를 검출하는 제5 단계(ST500); 상기 그리드 데이터와 함께 상기 검출된 차선 데이터가 상기 참가자에게 제공되고, 상기 참가자는 검출된 차선 데이터 정보를 선택적으로 조정하는 제6 단계(ST600); 상기 참가자가 선택한 명령에 따라 상기 자율 주행 차량으로 주행 명령이 전송되고, 상기 자율 주행 차량은 트랙에 표시된 차선을 따라 주행이 이루어지는 제7 단계(ST600); 상기 차선을 따라 주행하는 도중 신호등을 감지하여 주행 상태를 결정하는 제8 단계(ST700); 및 상기 자율 주행 차량이 주행도중 돌발 상황 또는 장애물이 발견될 경우 주행 상태를 제어하는 제9 단계(ST800)를 포함한다.

상기 제1 단계(ST100)는 상기 자율 주행 차량의 전방 영역에 대한 영상 정보 데이터와, 상기 자율 주행 차량의 전방 영역에 대한 거리 정보 데이터를 포함하고, 상기 제1 단계(ST100)는 차선과 차선 이외의 영역에 대한 감도 차이를 조정하는 감도 조정 단계(ST110); 상기 센서 중 영상 정보를 제공하는 영상 모듈부의 렌즈를 경유하면서 발생되는 렌즈 왜곡(lens distortion)을 계산한 후에 왜곡을 보정하는 왜곡 보정 단계(ST120)를 더 포함한다.

상기 제3 단계(ST300)는 상기 영상 정보 데이터를 통해 입력된 컬러 영상 데이터를 그레이 컬러(gray color) 영상 데이터로 변경하는 단계(ST310);

상기 그레이 컬러(gray color) 영상 데이터 중 연속적으로 연장된 차선에 해당되는 차선 데이터만을 추출하기 위해 상기 그레이 컬러(gray color) 영상 데이터에서 상기 차선에 해당되지 않는 노이즈를 제거하기 위해 블러링(blurring)을 통해 노이즈 필터링을 실시하는 제1 노이즈 필터링 단계(ST320)를 포함한다.

상기 제4 단계(ST400)는 호프 변환을 통해 경계점에서 차선에 해당되는 직선 데이터를 추출하기 위한 파라미터를 설정하는 단계(ST410); 상기 설정된 파라미터에 의해 최종 차선 데이터만을 추출하는 단계(ST420)를 포함한다.

상기 제5 단계(ST500)는 좌측 상단을 원점으로 하여 오른쪽 방향을 x축의 양의 방향으로 하고 아래쪽을 y축의 양의 방향으로 하는 영상 좌표계에서 추출된 직선 데이터로부터 주행에 필요한 전방 차선, 좌측 차선, 우측 차선 데이터만을 선별하여 데이터를 제공하는 단계(ST510)를 포함한다.

상기 제6 단계(ST600)는 상기 참가자가 상기 차선 데이터 정보와 함께 상기 트랙의 레이 아웃과 상기 자율 주행 차량의 구동 모드를 임의의 설정값으로 조절하되,

복수의 참가자가 각각 서로 다른 설정값으로 조절이 이루어지는 것을 특징으로 한다.

본 발명의 실시 예들은 참가자가 차선을 따라 주행하는 자율 주행 차량의 이동에 따른 알고리즘을 각자 개별적으로 입력해보고 차선을 따라 정상적으로 주행이 이루어지는지 경험해 봄으로써 자연스럽게 알고리즘에 대한 정보를 습득할 수 있다.

본 발명의 실시 예들은 자율 주행 차량의 동작 원리를 참가자들이 이해하고, 직접 구현하고 경험해 볼 수 있어 교육적 효과가 향상되며, 상기 자율 주행 차량 1대를 이용하여 복수의 참가자들이 공유하면서 개별적으로 직접 구현된 알고리즘을 개별적으로 구현해볼 수 있는 경험을 해봄으로써 참여도가 향상된 교육이 가능해 진다.

본 발명의 실시 예들은 참가자들마다 서로 다른 알고리즘을 입력해보고 그에 따라 자율 주행 차량이 차선을 따라 정상 또는 비정상 주행이 이루어지는 경우에 따른 경험을 통해 최적의 알고리즘을 구현해 볼 수 있는 경험을 해 볼 수 있다.

도 1 내지 도 2는 본 발명의 일 실시 예에 따른 자율 주행 차량용 키트 장치를 도시한 도면.
도 3은 본 발명의 일 실시 예에 따른 자율 주행 차량용 키트 장치에 구비된 제어부 및 상기 제어부와 연계된 구성을 도시한 블럭도.
도 4 내지 도 5는 본 발명의 일 실시 예에 의한 각도 조절부의 작동 상태도.
도 6 내지 도 7은 본 발명의 일 실시 예에 의한 자율 주행 차량용 키트 장치의 제어 방법을 도시한 순서도.
도 8은 도 6에 의한 그리드 데이터가 적용된 영상의 일 예를 도시한 도면.
도 9는 도 6에 의한 실제 주행 영상과 알고리즘이 적용된 영상을 일 예로 도시한 도면.
도 10 내지 도 11은 도 6에 도시된 제3 내지 제4 단계의 실시 예를 도시한 순서도.
도 12는 도 6에 도시된 제4 단계에 의해 참가자가 호프 변환에 따른 변수를 조정하는 상태를 일 예로 도시한 도면.
도 13은 본 발명의 일 실시 예에 의한 트랙에 신호등이 설치되고, 이를 감지하는 상태를 도시한 도면.

본 발명의 일 실시 예에 따른 자율 주행 차량용 키트 장치에 대해 도면을 참조하여 설명한다.

참고로 본 실시 예는 자율 주행 차량(1)에 참가자가 직접적으로 탑승하고 도로를 따라 주행하는 차량이 아니라 자율 주행 차량에 관심을 갖고 있는 복수의 학생 또는 일반인들을 포함하는 참가자가 직선 구간과 곡선 구간의 경로를 갖는 차선이 표시된 트랙을 따라 주행하는 자율 주행 차량(1)의 다양한 주행을 위한 알고리즘을 개별적으로 입력하되, 상기 참가자가 각기 서로 다른 알고리즘을 입력하여 차선을 따라 이동하는 자율 주행 차량의 이동 경로를 다양하게 체험해 볼 수 있게 하고자 한다.

이 경우 본 실시 예는 참가자의 독립적인 참여를 도모하고 상기 자율 주행 차량(1)이 차선을 따라 주행하다가 오류가 발생되는 경우에도 직접적으로 오류의 원인을 찾아내어 원인을 해결하도록 함으로써 정상 주행을 위한 해결책을 직접 해결하도록 유도하고, 자율주행 알고리즘 구현을 위한 사고 능력을 자연스럽게 습득 및 체험할 수 있도록 유도할 수 있다.

첨부된 도 1 내지 도 3을 참조하면, 본 실시 예에 의한 자율 주행 차량용 키트 장치는 자율 주행 차량(1)의 외형을 이루는 바디부(100)와, 상기 바디부(100)의 전방 하측에 구비된 전륜(10)에 구동력을 제공하는 제1 모터(210)와, 후방 하측에 구비된 후륜(20)에 구동력을 제공하는 제2 모터(220)를 포함하는 모터부(200)와, 상기 바디부(100)에 구비되고, 상기 바디부(100)가 차선(2)이 표시된 트랙(30)을 따라 주행할 때 상기 바디부(100)의 전방에 대한 영상 정보를 제공하는 영상 모듈부(300)와, 상기 바디부(100)가 상기 차선(2)을 따라 이동할 때 전방 장애물의 유무 또는 장애물까지의 거리를 감지하는 거리 감지부(400)와, 상기 영상 모듈부(300)와 상기 거리 감지부(400)에서 입력된 데이터를 기반으로 관심 영역을 설정하고, 설정된 관심 영역을 X축과 Y축으로 각각 n등분한 그리드 데이터와 차선 데이터를 추출한 후에 이를 참가자에게 제공하는 제어부(500) 및 상기 참가자가 상기 제어부(500)를 통해 제공된 그리드 데이터와 차선 데이터를 이용하여 상기 자율 주행 차량(1)의 구동에 필요한 알고리즘을 직접 입력하기 위한 입력부(600)를 포함한다.

바디부(100)는 경량화를 위해 플라스틱으로 제작되고, 상기 모터부(200)는 전륜(10)을 구동하기 위해 서보 모터 이루어진 제1 모터(210)와, 후륜(20)을 구동하기 위해 DC 모터로 이루어진 제2 모터(220)로 구성된다.

상기 제1 모터(210)는 조향을 위해 구비되고, 바디부(100)의 전진과 후진은 후륜(20)에 구비된 제2 모터(220)에 의해 이루어진다. 또한 제2 모터(220)는 후륜에 각각 구비되고, 회전 속도가 가변 될 수 있다.

바디부(100)에는 전면에 구비된 송수신 모듈을 통해 입력부(600)에서 입력된 데이터를 수신할 수 있다.

참가자는 입력부(600)를 통해 제어 명령을 입력하고, 상기 제어부(500)는 참가자가 입력한 제어 명령에 따라 자율 주행 차량(1)이 차선(2)을 따라 직진 구간과, 곡선 구간을 따라 이동할 때 제1 모드와 제2 모드로 제어되도록 제어 한다.

상기 제1 모드는 제2 모터(220)가 동일 속도로 회전되도록 제어하는 것으로 직진 구간을 이동할 때 사용된다.

제2 모드는 곡선 구간과 같이 굴곡진 구간을 주행할 때 제1 모터(210)와 제2 모터(220)의 분당 회전수가 서로 다르게 제어되며 이를 통해 차선(2)의 굴곡진 정도에 따라 안정적인 주행이 이루어진다.

영상 모듈부(300)는 일 예로 카메라 모듈이 사용될 수 있으며 상기 바디부(100)의 전방에 설치되며, 광각 렌즈가 사용되나 다른 렌즈가 사용되는 것도 가능할 수 있다.

상기 영상 모듈부(300)는 바디부(100)의 전방을 기준으로 중앙에 위치되고, 150도 또는 150도 이상의 화각을 갖는 카메라가 사용되고. 해상도는 720P 또는 720P 이상의 해상도를 갖는다.

거리 감지부(400)는 일 예로 레이저 센서가 사용되며 상기 영상 모듈부(300)와 상기 거리 감지부(400)는 모두 제어부(500)로 해당 데이터를 전송한다.

상기 영상 모듈부(300)는 바디부(100)의 전방과 후방에 각각 1개씩 설치되는 것도 가능하고, 상기 거리 감지부(400) 또한 바디부(100)의 전방과 후방에 각각 1개씩 설치되는 것도 가능할 수 있다.

본 실시 예는 참가자가 직접 자율 주행 차량(1)의 주행에 필요한 알고리즘을 직접 조작하고 체험해 보기 위한 것으로 상기 제어부(500)는 상기 영상 모듈부(300)와 거리 감지부(400)에서 입력된 데이터를 기반으로 설정된 관심 영역(S)에 해당되는 차선 데이터와, 그리드 데이터를 참가자에게 제공한다.

상기 관심 영역(S)은 바디부(100)의 전방 영역에 해당되고, 상기 전방 영역은 자율 주행 차량(1)이 차선을 따라 주행하는데 필요한 차선 정보를 정확하게 인지하기 위해 필요한 영역에 해당된다.

관심 영역(S)은 영상 모듈부(300)를 통해 감지되는 범위에 해당되며 차선인식을 위해 전방 관심 영역의 중앙을 기준으로 하측 영역에 대한 영상 데이터를 이용한다.

상기 차선 데이터는 후술할 관심 영역(S)에 표시된 차선을 정확하게 인지하기 위해 바디부(100)의 전방 좌측과, 전방과, 전방 우측에 대한 차선 데이터를 포함한다.

상기 차선 데이터는 후술할 실시 예에서 보다 상세하게 설명하기로 한다.

본 실시 예에 의한 자율 주행 차량(1)은 참가자가 직접 탑승하는 차량이 아니므로 바디부(100)의 전방 영역에 대해 데이터만 획득하는 경우에도 자율 주행 차량(1)이 트랙(30)에 표시된 차선(2)을 따라 이동이 용이하게 이루어진다.

입력부(600)는 PC또는 노트북 또는 연산 처리가 가능한 단말기와 연계된 키보드가 사용되나, 입력 가능한 다른 구성품으로 대체되는 것도 가능할 수 있다.

또한 입력부(600)는 모니터와 연계되어 참가자가 입력한 데이터를 시각적으로 확인할 수 있으며 영상 모듈부(300)를 통해 감지된 자율 주행 차량(1)의 전방에 해당되는 관심 영역에 대한 영상 정보를 확인해 볼 수 있다.

첨부된 도 3 내지 도 5를 참조하면, 본 실시 예는 바디부(100)의 전방에 설치되고, 상기 전방 트랙(30)의 기울기에 따라 상기 영상 모듈부(300)와 상기 거리 감지부(400)의 각도를 조절하기 위한 각도 조절부(700)가 구비된다. 상기 바디부(100)에는 기울기 센서(800)가 구비되고, 제어부(500)는 상기 기울기 센서(800)로부터 현재 바디부(100)의 기울기 값을 입력 받아 기 설정된 기울기를 초과할 경우 틸팅 플레이트(710)의 각도를 상기 바디부(100)의 상측 또는 하측을 향해 회전시켜 영상 모듈부(300)와 거리 감지부(400)의 각도를 동시에 조절한다.

이 경우 본 실시 예는 트랙(3)의 기울기 유무와 상관 없이 정확하게 차선(2)을 인지하고 오차 발생을 최소화 시켜 안정적인 이동을 도모할 수 있다.

각도 조절부(700)는 바디부(100)의 전면에 판 형태의 틸딩 플레이트(710)가 구비되고, 상기 틸딩 플레이트(710)의 전면에 영상 모듈부(300)와 거리 감지부(400)가 설치된다.

각도 조절부(700)는 틸딩 플레이트(710)의 후면에 일단이 연결되고, 타단이 후방으로 연장되며 일부 구간에 치형(G)이 형성된 제1 기어(720)와, 상기 제1 기어(720)의 치형(G)에 치합된 스퍼기어로 시계 방향 또는 시계 반대 방향으로 회전력을 제공하는 틸팅 모터(730)를 포함한다.

상기 틸딩 플레이트(710)는 후면 중앙에 구비된 힌지(H)를 매개로 바디부(100)에 결합된다.

일 예로 상기 자율 주행 차량(1)이 경사진 구간을 주행할 경우 기울기 센서(800)에서 감지된 바디부(100)의 기울기 데이터가 제어부(500)에 전송되고, 상기 제어부(500)는 기 설정된 기울기 데이터와 비교하여 초과할 경우 상기 틸팅모터(730)를 작동시켜 틸딩 플레이트(710)를 상측 또는 하측 중의 어느 한 방향을 향해 이동되도록 제어한다.

예를 들어 트랙(30)이 수평인 구간에서 자율 주행 차량(1)의 주행이 이루어질 경우에 상기 틸딩 플레이트(710)는 바디부(100)의 전면에 대해 수직 상태가 유지된다.

첨부된 도 4에 도시된 바와 같이, 트랙(30)이 상측으로 경사진 구간이 존재할 경우 상기 바디부(100)의 전면에 구비된 영상 모듈부(300)를 통해 감지되는 전방의 차선 데이터는 바디부(100)의 전방에 해당되는 관심 영역(S)에 정확하게 감지되지 않고, 상기 관심 영역(S)을 벗어난 영역에 대한 감지가 이루어질 수 있다.

본 실시 예는 관심 영역(S)에 대한 정확한 감지를 위해 기울기 센서(800)에서 감지된 기울기 데이터에 의해 상기 트랙(30)의 경사 유무에 따라 상기 틸딩 플레이트(710)가 틸팅 이동되므로 안정적으로 관심 영역(S)에 대한 데이터를 제어부(500)로 전달할 수 있어 자율 주행 차량(1)이 차선(2)에 대한 인식과 주행이 항시 일정하게 유지된다.

참고로 상기 트랙(30)이 상측으로 경사질 경우 상기 틸딩 플레이트(710)는 실선 위치에서 점선으로 도시된 전방 상측으로 이동된다.

첨부된 도 5에 도시된 바와 같이, 상기 트랙(30)이 하측으로 경사질 경우 상기 틸딩 플레이트(710)는 실선 위치에서 점선으로 도시된 전방 하측으로 이동되어 관심 영역(S)에 대한 정확한 감지를 실시할 수 있다.

제어부(500)는 참가자가 입력하는 알고리즘 데이터에 의해 자율 주행 차량(1)의 작동이 안정적으로 이루어지도록 제어하며, 상기 자율 주행 차량(1)의 이동에 따른 주체는 상기 참가자에 의해 대부분 수행된다.

본 발명의 일 실시 예에 의한 자율 주행 차량용 키트 장치의 제어 방법에 대해 도면을 참조하여 설명한다.

첨부된 도 3 또는 도 6 내지 도 9를 참조하면, 본 실시 예는 자율 주행 차량이 차선을 따라 안정적으로 주행이 가능하도록 하기 위해 참가자가 직접 주행에 필요한 기본 적인 데이터를 전술한 제어부(500)를 통해 전달받아 입력부(600)를 통해 입력한 후에 안정적으로 주행이 이루어지는지 여부를 육안으로 확인하고, 만약 트랙(30)에 표시된 차선(2)을 따라 주행이 불안정하게 이루어지거나, 상기 차선(2)을 넘어설 경우 입력부(600)를 통해 다른 데이터를 입력하여 정상 주행을 도모하도록 할 수 있다.

이를 위해 본 실시 예는 자율 주행 차량이 트랙을 따라 주행되기 위한 알고리즘을 참가자가 개별적으로 직접 조작하여 상기 자율 주행 차량의 구동을 체험해 보기 위해 상기 자율 주행 차량의 주행에 필요한 데이터를 센서를 통에 입력 받는 제1 단계(ST100)와, 상기 입력된 데이터 중 상기 자율 주행 차량의 주행에 필요한 관심 영역을 설정하는 제2 단계(ST200)와, 상기 설정된 관심 영역에서 상기 자율 주행 차량의 주행에 필요한 차선 데이터를 참가자에게 제공하기 위해 상기 관심 영역에 형성된 차선을 추출하기 위한 경계점을 설정하는 제3 단계(ST300)와, 상기 설정된 경계점에서 직선 데이터만을 추출하는 제4 단계(ST400)와, 상기 추출된 직선 데이터 중 차선 데이터만 검출한 후에 설정된 관심 영역의 XY축에서 그리드 데이터를 검출하는 제5 단계(ST500)와, 상기 그리드 데이터와 함께 상기 검출된 차선 데이터가 상기 참가자에게 제공되고, 상기 참가자는 검출된 차선 데이터 정보를 선택적으로 조정하는 제6 단계(ST600)와, 상기 참가자가 선택한 명령에 따라 상기 자율 주행 차량으로 주행 명령이 전송되고, 상기 자율 주행 차량은 트랙에 표시된 차선을 따라 주행이 이루어지는 제7 단계(ST600)와, 상기 차선을 따라 주행하는 도중 신호등의 색깔을 감지하여 주행 상태를 결정하는 제8 단계(ST700) 및 상기 자율 주행 차량이 주행도중 돌발 상황 또는 장애물이 발견될 경우 주행 상태를 제어하는 제9 단계(ST800)를 포함한다.

상기 제1 단계(ST100)는 상기 자율 주행 차량의 전방 영역에 대한 영상 정보 데이터와, 상기 자율 주행 차량의 전방 영역에 대한 거리 정보 데이터를 포함한다.

상기 영상 정보 데이터는 자율 주행 차량(1)의 전방에 해당되는 관심 영역(S)에 대한 영상 정보를 이용하여 차선 인식에 필요한 데이터를 획득한다.

일 예로 영상 모듈부는 관심 영역(S)을 촬영하고 제어부(500)로 영상 정보 데이터를 전송한다.

참가자는 영상 정보 데이터로 입력된 차선 데이터에서 차선 이외의 영역에 대한 감도 차이를 조정한다(ST110).

도로와 차선의 경계를 정확하게 감지하기 위해서는 감도 차이를 조정하여 차선으로 표시된 검은색과, 트랙을 나타내는 흰색의 픽셀에 따른 감도 차이를 조정한다.

상기 차선과 차선 이외의 영역에 대한 감도 차이를 조정하는 이유는 도로와 차선의 경계를 정확하게 감지하기 하기 위해서이며, 도로에 이물질 또는 특정 구조물이 차선에 해당되는지 트랙의 다른 부분에 해당되는지 구분하여 자율 주행 차량이 차선을 따라 안정적으로 이동되도록 알고리즘을 참가자가 조정할 수 있다.

차선(2)은 일 예로 검은색 라인으로 트랙(30)에 표시되고, 상기 트랙(30)은 흰색으로 표시되는데, 빛의 경우 빨강과 초록과 파랑의 3원색을 모두 혼합할 경우 밝아지는 특성을 갖고 있으며 3원색의 혼합은 흰색으로 표시된다.

상기 흰색은 영상 모듈부로 감지할 경우 검은색으로 표시된 차선(2)에 비해 상대적으로 픽셀이 높아 상기 차선의 픽셀과 감도가 서로 다르게 감지된다.

본 실시 예는 이러한 특성을 이용하여 차선(2)으로 표시된 검은색과 트랙(30)으로 표시된 흰색의 픽셀 차이를 감지하여 차선과 차선이 아닌 경계면을 우선 감지한다.

또한 제어부는 영상 모듈부의 렌즈를 경유하면서 발생되는 렌즈 왜곡(lens distortion)을 계산한 후에 왜곡을 보정하는 왜곡 보정 (ST120)을 통해 이미지 데이터와 실제 트랙과 서로 간에 매칭할 때 정확하게 매칭이 가능해 진다.

예를 들면 렌즈 왜곡에 의해 이미지 데이터의 차선과 실제 트랙의 차선이 서로 다르게 나타날 수 있고, 이는 후술할 그리드 데이터의 센터 보다 가장 자리로 갈수록 왜곡이 증가되므로 정확한 차선 데이터를 획득하기 위해 보정을 실시한다.

일 예로 영상 왜곡을 제거한 뒤에 관심영역을 설정하기 위해 V4를 기준으로(도 8 참조) 전체 영역에 대한 왜곡을 제거한 후에 관심영역을 설정하고, 이를 사용자에게 제공하게 된다.

즉 영상 모듈부(300)에 구비된 렌즈에서 발생되는 렌즈 왜곡을 보정하기 위해 그리드 데이터의 센터 위치(V4위치와 H2가 교차되는 위치)를 기준으로 전체 영역에 대해 왜곡을 제거하여 정확한 영상 정보 데이터를 참가자에게 제공한다.

렌즈 왜곡이 발생되는 이유는 영상 모듈부에 구비된 렌즈의 자체적인 특성에 기인한다. 상기 렌즈 왜곡에 대한 보정은 센터를 중심으로 방사형태로 왜곡이 제거되며 이와 같이 왜곡에 대한 보정이 이루어질 경우 가장 자리 부분이 휘어지지 않고 평면 상태로 펴진 이미지 데이터가 획득된다.

그리고 관심 영역(S)이 설정되는데, 상기 관심 영역(S)은 이미 전술 하였으므로 상세한 설명은 생략한다.

첨부된 도 10 내지 도 12를 참조하면, 제3 단계(ST300)는 차선과 노이즈에 해당되는 경계점을 찾아 차선 추출에 필요한 정확한 차선 데이터만 추출할 수 있다.

정확한 차선을 추출 하기에 앞서 차선은 직선으로 연장되며 차선과 이웃한 경계 영역이 존재한다.

상기 경계 영역은 정확한 차선 데이터를 추출 하기 위해 상기 차선과 차선이 아닌 경계점이 존재하게 되고, 상기 차선에 대한 추출에 앞서 상기 경계점을 먼저 제거할 경우 차선에 대한 추출이 유리해지고, 정확성도 동시에 향상된다.

특히 노이즈에 해당되는 부분에 대해 컬러를 변경하거나, 이미지를 흐리게 함으로써 차선과 상관 없는 불필요한 노이즈를 사전에 제거할 수 있다.

이를 위해 본 실시 예는 영상 정보 데이터를 통해 입력된 컬러 영상 데이터를 그레이 컬러(gray color) 영상 데이터로 변경(ST310)한다.

본 실시 예는 보다 정확하게 차선만을 검출하기 위해서 그레이 컬러로 영상 데이터를 변경하여 에지 검출(edge detection)을 실시하여 이미지 향상(image enhancement)과 같은 이미지 처리(image processing)를 보다 용이하게 실시할 수 있다. 참가자는 변경에 따른 감도를 입력부를 통해 증가 또는 감소시켜 최적의 상태로 조정해 볼 수 있다.

그리고 그레이 컬러(gray color) 영상 데이터 중 연속적으로 연장된 차선에 해당되는 차선 데이터만을 추출하기 위해 상기 그레이 컬러(gray color) 영상 데이터에서 상기 차선에 해당되지 않는 노이즈를 제거하기 위한 블러링(blurring)을 통해 제1 노이즈 필터링(ST320)을 실시한다.

상기 제1 노이즈 필터링(ST320)은 영상 데이터에서 획득된 이미지 중 차선이 아닌데 차선처럼 보이는 노이즈를 필터링 하기 위해서 이미지 전체를 흐리게 하여 불필요한 노이즈를 제거한다.

이 경우 차선은 자유 주행 차량(1)의 전방에서 연속성이 있게 추출되나, 차선이 아닌 노이즈의 경우에는 비연속성인 특성이 유지되므로 차선과 차선이 아닌 경계점에 대한 구분이 명확해 지고 이러한 차이점을 통해 차선 추출을 위한 경계점을 참가자가 수치적으로 조절하여 이를 정확하게 찾을 수 있다.

이 경우 차선 추출에 대한 감도와 결과값이 약간씩 상이하게 나타나며 이를 통해 참가자 마다 직접 입력값을 변경 또는 수정해 볼 수 있다.

첨부된 도 11 내지 도 12를 참조하면, 차선이 추출된 이후에는 차선과 노이즈에 해당되는 경계점이 명확해 졌으므로 차선에 해당되는 직선 데이터를 추출하기 위한 호프 변환이 이루어진다(ST400).

상기 호프 변환(ST400)은 경계점에서 차선에 해당되는 직선 데이터를 추출하기 위한 파라미터를 설정하고(ST410), 상기 설정된 파라미터에 의해 최종 차선 데이터가 추출(ST420)된다.

상기 호프 변환은 일정 길이 이상 길이가 유지 되는 경우를 직선으로 검출하기 위한 파라미터와 일정 개수 이상의 점이 포함되는 경우를 직선으로 검출하기 위한 파라미터를 입력할 수 있는데, 본 발명에서는 차선인식을 위한 최적의 파라미터를 미리 입력하여 사용자의 편의를 도모하였다.

사용자는 차선의 경계점이 인식될 수 있도록 Canny Edge Detector의 Min threshold 파라미터와 Max threshold 값을 임의의 값으로 설정하는데, 도 8에 도시된 흰색 선이 Canny Edge Detector에서 추출된 차선의 경계점이고, 차선위에 그려진 빨간 선이 호프 변환을 통해 얻어진 직선에 해당된다.

경계점 추출은 색의 변화가 있는 경계면을(예를 들면 흰색에서 검정색으로 변하는 경계면) 흰색으로, 변화가 없는 부분은 검정색으로 표현하여 표시하고, 이와 같이 출력된 결과값에서 호프변환을 통해 시종점의 좌표값을 갖는 직선이 추출된다.

이와 같이 실시할 경우 차선의 폭으로 인해 한 차선에 대해 두개의 경계면(흰색)이 추출되고, 호프변환이 이루어지면 한 차선을 두개의 직선으로 인식하게 되는데, 주행중에 차선을 밟지 않기 위해서 제2 노이즈 필터링(S330)이 실시된다.

상기 제2 노이즈 필터링(ST330)은 차량과 가까운 쪽의 경계면을 알면 되기 때문에 추출된 모든 차선 후보 직선들로부터 왼쪽 차선, 오른쪽 차선으로 인식할 직선이 선택된다.

참고로 Canny Edge Detector에서 색의 변화에 따라 경계점을 설정하며, 이미지의 강도(intensity)가 급격하게 변하는 부분을 Edge(경계)라고 정의한다.

상기 경계는 미분값을 통해 위치가 결정되고, maximum과, minimum의 두 군데를 찾을 수 있다.

사용자가 변경할 수 있는 Canny Edge Detector의 파라미터는 상기 maximum과 minimum의 값을 변경시켜 경계를 찾을 수 있다.

일 예로 차선이 야간과 같이 어두운 환경일 경우 흰색도 회색, 또는 검정에 가까운 값을 갖게 되는데 이때 검정색 바닥면과 차선을 구분하기 위해서는 maximum과 minimum 값을 기 입력한 값보다 큰 값을 입력하면 된다.

따라서 사용자가 현재 자율주행 차량의 주행 환경에 따라 다양하게 Min threshold와, Max threshold 값을 조절하여 입력해 보고 자율 주행 차량의 주행 상태를 확인한 후에 최적의 주행을 도출해볼 수 있다.

호프 변환은 관심 영역에 대한 방향과 각도를 특정 각도로 설정할 수 있으며 참가자가 다양하게 입력값을 변경시켜 차선 추출을 위한 조정을 직접 실시할 수 있다.

상기 관심 영역에 대한 방향과 각도는 파이/180도의 범위로 검색이 이루어진다.

상기 제5 단계(ST500)는 영상좌표계상에 위치한 직선 데이터를 추출한다.

예를 들면 좌측 상단을 원점으로 하여 오른쪽 방향을 x축의 양의 방향으로 하고 아래쪽을 y축의 양의 방향으로 하는 영상 좌표계에서 추출된 직선 데이터로부터 주행에 필요한 전방 차선, 좌측 차선, 우측 차선 데이터만을 선별하여 데이터를 제공(ST510)한다.

영상 좌표계에서 곡선은 멀리서 볼 때 좌측 또는 우측 방향으로 휘어진 것처럼 보이나, 상기 곡선을 확대하여 특정 길이로 분할할 경우 직선에 해당되므로 좌측 또는 우측 차선에 해당되는지 정확하게 판단할 수 있다.

전술한 도 8에 도시된 그리드 데이터는 상기 전방 영역에 해당되는 이미지 데이터를 X축과 Y축으로 각각 n등분한 그리드 데이터에 해당된다. 일 예로 본 실시 예에서는 도 8에 도시된 바와 같이 전방 영역의 X축을 8등분하고, Y축을 4등분 하였으며, X축은 모두 8등분 하였으므로 도면 기준으로 V4 위치가 정 중앙에 해당되고, 상기 V4를 기준으로 좌측과 우측 영역으로 구분된다.

영상 데이터는 영상 모듈부(300)를 통해 입력될 때 바디부(100)의 전방을 기준을 설정되므로 H3는 바디부의 전방인 트랙(30)의 바닥에 해당되고, H2와 H1으로 갈수록 바디부(100)의 전방 상측 영역에 해당된다.

일 예로 흰색으로 표시된 선은 차선에 해당되고, 빨간색으로 표시된 선은 자율 주행 차량(1)의 진행 방향을 기준으로 차선의 안쪽에 해당되며, 좌측 차선과 가로선(H1 내지 H3)이 만나는 교차점이 파란 점에 해당되고, 우측 차선과 가로선이 만나는 교차점이 빨간 점에 해당된다.

상기 파란 점과 빨간 점을 자율 주행 차량(1)의 진행 방향으로 서로 간에 연결할 경우 정 중앙 위치인 V4를 기준으로 안정적으로 주행 가능한 차선 데이터를 갖는 그리드 데이터가 생성된다(ST200).

또한 직선 구간과 연결된 곡선 구간은 최대한 직선화 시켜 전술한 차선 데이터의 추출과 변환을 통해 최종적으로 곡선 구간에 해당되는 차선 데이터를 추출하여 인식할 수 있다.

일 예로 영상 모듈부를 통해 입력된 원본 영상은 전술한 바와 같이 트랙(30)은 흰색으로 형성되고, 차선(2)은 검은색으로 표시하였으나, 서로 대비되는 색으로 변경되는 것도 가능할 수 있다.

영상 모듈부는 영상 데이터를 제어부(500)로 전송하여 관심 영역에 대한 정보를 제공하고, 상기 제어부(500)는 관심 영역을 상측과 하측으로 구분한 후에 하측 영역에 대한 정보를 차선 추출 및 데이터 검출을 위해 활용하고, 상측은 신호등과 같은 구조물을 감지하기 위한 용도로 검출에 활용한다.

특히 본 실시 예는 관심 영역의 하측 영상 데이터와, 상측 영상 데이터가 모두 제어부(500)로 입력되나, 신속한 영상 데이터 처리를 위해 상측 영상 데이터에서 신호등이 미 검색될 경우 하측 영상 데이터를 우선 처리하여 신속한 영상 데이터 처리를 가능하게 한다.

따라서 차선 추출과 검출이 보다 신속하고 안정적으로 이루어지므로 자율 주행 차량(1)이 차선을 벗어나지 않고 정확하게 이동될 수 있다.

상기 제6 단계(ST600)는 상기 참가자가 상기 차선 데이터 정보와 함께 상기 트랙의 레이아웃과 상기 자율 주행 차량의 구동 모드를 임의의 입력값으로 조절하되, 복수의 참가자가 각각 서로 다른 입력값으로 조절이 가능하므로 참가자 별로 다양한 입력값을 직접 입력해보고 구현해 볼 수 있어 교육 효과가 향상된다.

이와 같이 참가자가 선택한 명령에 따라 상기 자율 주행 차량으로 주행 명령이 전송되고, 상기 자율 주행 차량은 트랙에 표시된 차선을 따라 주행이 이루어진다.

첨부된 도 13을 참조하면, 제8 단계(ST700)는 차선을 따라 주행하는 도중 신호등(50)을 감지하여 주행 상태를 결정한다. 상기 신호등(50)에 대한 감지는 영상 모듈부를 통해 관심 영역에 위치될 경우 신호등(50)의 위치를 우선 감지한다(ST710).

신호등(50)은 일 예로 빨강색과 노랑색 또는 주황색과 녹색의 순서대로 위치되는데, 영상 모듈부에서 밝기를 판단하여 현재 빨강색과 노랑색과 녹색 중 어느 위치에서 점등이 되었는지 정확하게 판단한다(ST720).

일 예로 제어부(500)는 현재 빨강색이 점등된 것으로 판단될 경우 모터부(200)의 작동이 중지되도록 하여 상기 신호등 이전에 자율 주행 차량(1)이 멈출 수 있도록 제어한다.

또한 제어부(500)는 신호등(50)의 점등 신호가 입력되지 않을 경우 자율 주행 차량(1)이 무조건 정지되도록 모터부(200)를 제어할 수 있다.

제9 단계(ST800)는 영상 모듈부에 의해 전송된 영상 데이터에 보행자 또는 장애물이 발견될 경우 거리 감지부(400)를 통해 자율 주행 차량(1)과의 이격된 위치를 판단한다.

그리고 상기 보행자 또는 장애물과 충돌 되지 않도록 모터부(200)의 작동 상태를 제어하는데, 일 예로 속도를 감속하거나, 주행 위치를 변경하여 충돌을 회피할 수 있다.

이상, 본 발명의 일 실시 예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.

2 : 차선
30 : 트랙
50 : 신호등
100 : 바디부
200 : 모터부
300 : 영상 모듈부
400 : 거리 감지부
500 : 제어부
600 : 입력부
700 : 각도 조절부
710 : 틸팅 플레이트
720 : 제1 기어
730 : 틸팅모터
800 : 기울기 센서

Claims (8)

1. 자율 주행 차량(1)의 외형을 이루는 바디부(100);
   상기 바디부(100)의 전방 하측에 구비된 제1 모터(210)와, 후방 하측에 구비된 후륜(20)에 구동력을 제공하는 제2 모터(220)를 포함하는 모터부(200);
   상기 바디부(100)에 구비되고, 상기 바디부(100)가 차선(2)이 표시된 트랙(30)을 따라 주행할 때 상기 바디부(100)의 전방에 대한 영상 정보를 제공하는 영상 모듈부(300);
   상기 바디부(100)가 상기 차선(2)을 따라 이동할 때 전방 장애물의 유무 또는 장애물까지의 거리를 감지하는 거리 감지부(400);
   상기 영상 모듈부(300)와 상기 거리 감지부(400)에서 입력된 데이터를 기반으로 관심 영역을 설정하고, 설정된 관심 영역을 X축과 Y축으로 각각 n등분한 그리드 데이터와 차선 데이터를 추출한 후에 이를 참가자에게 제공하는 제어부(500); 및
   상기 참가자가 상기 제어부(500)를 통해 제공된 그리드 데이터와 차선 데이터를 이용하여 상기 자율 주행 차량(1)의 구동에 필요한 알고리즘을 직접 입력하기 위한 입력부(600)를 포함하고,
   상기 바디부(100)의 전방에 설치되고, 상기 전방 트랙(30)의 기울기에 따라 상기 영상 모듈부(300)와 상기 거리 감지부(400)의 각도를 조절하기 위한 각도 조절부(700)가 구비된 자율 주행 차량용 키트 장치.
2. 삭제
3. 자율 주행 차량이 트랙을 따라 주행되기 위한 알고리즘을 참가자가 개별적으로 직접 조작하여 상기 자율 주행 차량의 구동을 체험해 보기 위해 상기 자율 주행 차량의 주행에 필요한 데이터를 센서를 통해 입력받는 제1 단계(ST100);
   상기 입력된 데이터 중 상기 자율 주행 차량의 주행에 필요한 관심 영역을 설정하는 제2 단계(ST200);
   상기 설정된 관심 영역에서 상기 자율 주행 차량의 주행에 필요한 차선 데이터를 참가자에게 제공하기 위해 상기 관심 영역에 형성된 차선을 추출하기 위한 경계점을 설정하는 제3 단계(ST300);
   상기 설정된 경계점에서 직선 데이터만을 추출하는 제4 단계(ST400);
   상기 추출된 직선 데이터 중 차선 데이터만 검출한 후에 설정된 관심 영역의 XY축에서 그리드 데이터를 검출하는 제5 단계(ST500)
   상기 그리드 데이터와 함께 상기 검출된 차선 데이터가 상기 참가자에게 제공되고, 상기 참가자는 검출된 차선 데이터 정보를 선택적으로 조정하는 제6 단계(ST600);
   상기 참가자가 선택한 명령에 따라 상기 자율 주행 차량으로 주행 명령이 전송되고, 상기 자율 주행 차량은 트랙에 표시된 차선을 따라 주행이 이루어지는 제7 단계(ST600);
   상기 차선을 따라 주행하는 도중 신호등을 감지하여 주행 상태를 결정하는 제8 단계(ST700); 및
   상기 자율 주행 차량이 주행도중 돌발 상황 또는 장애물이 발견될 경우 주행 상태를 제어하는 제9 단계(ST800)를 포함하는 자율 주행 차량용 키트 장치의 제어 방법.
4. 제3 항에 있어서,
   상기 제1 단계(ST100)는 상기 자율 주행 차량의 전방 영역에 대한 영상 정보 데이터와, 상기 자율 주행 차량의 전방 영역에 대한 거리 정보 데이터를 포함하고,
   상기 제1 단계(ST100)는 차선과 차선 이외의 영역에 대한 감도 차이를 조정하는 감도 조정 단계(ST110);
   상기 센서 중 영상 정보를 제공하는 영상 모듈부의 렌즈를 경유하면서 발생되는 렌즈 왜곡(lens distortion)을 계산한 후에 왜곡을 보정하는 왜곡 보정 단계(ST120)를 더 포함하는 자율 주행 차량용 키트 장치의 제어 방법.
5. 제4 항에 있어서,
   상기 제3 단계(ST300)는 상기 영상 정보 데이터를 통해 입력된 컬러 영상 데이터를 그레이 컬러(gray color) 영상 데이터로 변경하는 단계(ST310);
   상기 그레이 컬러(gray color) 영상 데이터 중 연속적으로 연장된 차선에 해당되는 차선 데이터만을 추출하기 위해 상기 그레이 컬러(gray color) 영상 데이터에서 상기 차선에 해당되지 않는 노이즈를 제거하기 위해 블러링(blurring)을 통해 노이즈 필터링을 실시하는 제1 노이즈 필터링 단계(ST320)를 포함하는 자율 주행 차량용 키트 장치의 제어 방법.
6. 제3 항에 있어서,
   상기 제4 단계(ST400)는 호프 변환을 통해 경계점에서 차선에 해당되는 직선 데이터를 추출하기 위한 파라미터를 설정하는 단계(ST410);
   상기 설정된 파라미터에 의해 최종 차선 데이터만을 추출하는 단계(ST420)를 포함하는 자율 주행 차량용 키트 장치의 제어 방법.
7. 제3 항에 있어서,
   상기 제5 단계(ST500)는 좌측 상단을 원점으로 하여 오른쪽 방향을 x축의 양의 방향으로 하고 아래쪽을 y축의 양의 방향으로 하는 영상 좌표계에서 추출된 직선 데이터로부터 주행에 필요한 전방 차선, 좌측 차선, 우측 차선 데이터만을 선별하여 데이터를 제공하는 단계(ST510)를 포함하는 자율 주행 차량용 키트 장치의 제어 방법.
8. 제3 항에 있어서,
   상기 제6 단계(ST600)는 상기 참가자가 상기 차선 데이터 정보와 함께 상기 트랙의 레이 아웃과 상기 자율 주행 차량의 구동 모드를 임의의 설정값으로 조절하되,
   복수의 참가자가 각각 서로 다른 설정값으로 조절이 이루어지는 것을 특징으로 하는 자율 주행 차량용 키트 장치의 제어 방법.
   
   

Images