KR102545356B1 - 자율주행 차량의 제어권 전환장치 및 그 방법 - Google Patents

Abstract

본 발명은 자율주행 차량의 제어권 전환장치 및 그 방법이 개시된다. 본 발명의 자율주행 차량의 제어권 전환장치는, 차량 내부를 촬영하여 영상을 제공하는 촬영부; 딥러닝 기반으로 탑승객 유무 및 연령과, 핸들의 파지여부를 추론하기 위한 학습정보 및 가중치를 저장하는 저장부; 및 수동전환 요구에 따라 촬영부로부터 입력된 영상으로부터 저장부에 저장된 학습정보와 가중치를 통해 탑승객의 유무 및 연령을 추론하여 운전가능성을 판단한 후 핸들의 파지여부를 추론하여 차량의 제어권을 수동으로 전환하는 제어부를 포함하는 것을 특징으로 한다.

Description

자율주행 차량의 제어권 전환장치 및 그 방법{APPARATUS FOR EXCHANGING CONTROL RIGHT OF AUTONOMOUS VEHICLE AND METHOD THEREOF}

본 발명은 자율주행 차량의 제어권 전환장치 및 그 방법에 관한 것으로서, 보다 상세하게는 자율주행 차량에서 자율주행 중 수동전환이 요구된 경우 딥러닝 기반으로 탑승객의 유무 및 연령을 추론하여 운전 가능성을 판단하고, 핸들의 파지여부를 추론하여 제어권을 수동을 전환하는 자율주행 차량의 제어권 전환장치 및 그 방법에 관한 것이다.

최근, 외부 환경(주행차선 위치, 선행차량 등)을 검출하고, 그 검출 결과를 기반으로 차량의 주행 제어(스티어링 제어, 엑셀 제어, 브레이크 제어 등)를 하는, 소위 자율주행 차량이 제안되어 있다.

이러한 자율주행 차량에 있어서는 항상 외부 환경의 검출 결과에 기초한 주행 제어(자율주행 모드)가 이루어지는 것이 아니라, 운전자의 희망에 의해 운전자의 운전 조작(스티어링 조작, 브레이크 페달 조작, 가속 페달 조작 등)에 기초한 주행(수동주행 모드)도 할 수 있게 되어 있다.

이러한 자동주행 모드에서 수동주행 모드로의 전환은 운전자의 의사를 확인한다고 하는 관점에서 수동 스위치의 조작이 이루어졌을 때 이루어지도록 하고 있다.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2014-0043536호(2014.04.10. 공개, 자율주행 차량의 차량 제어권 전환 방법)에 개시되어 있다.

이와 같이 자율주행 차량에서 수동 스위치만으로 제어권을 전환할 경우 운전자와 차량 사이에 차량의 제어권을 손쉽게 전환할 수 있지만, 아이들이나 운전이 불가능한 사람이 제어권을 획득할 수 있는 문제점이 있다.

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 자율주행 차량에서 자율주행 중 수동전환이 요구된 경우 딥러닝 기반으로 탑승객의 유무 및 연령을 추론하여 운전 가능성을 판단하고, 핸들의 파지여부를 추론하여 제어권을 수동을 전환하는 자율주행 차량의 제어권 전환장치 및 그 방법을 제공하는 것이다.

본 발명의 일 측면에 따른 자율주행 차량의 제어권 전환장치는, 차량 내부를 촬영하여 영상을 제공하는 촬영부; 딥러닝 기반으로 탑승객 유무 및 연령과, 핸들의 파지여부를 추론하기 위한 학습정보 및 가중치를 저장하는 저장부; 및 수동전환 요구에 따라 촬영부로부터 입력된 영상으로부터 저장부에 저장된 학습정보와 가중치를 통해 탑승객의 유무 및 연령을 추론하여 운전가능성을 판단한 후 핸들의 파지여부를 추론하여 차량의 제어권을 수동으로 전환하는 제어부를 포함하는 것을 특징으로 한다.

본 발명에서 제어부는, 운전가능성을 판단할 때 탑승객의 법정연령 및 면허증 소지여부를 확인하여 판단하는 것을 특징으로 한다.

본 발명에서 제어부는, 운전가능성을 판단한 후 운전가능성 없는 경우 자율주행 구동부를 통해 차량을 정차시키는 것을 특징으로 한다.

본 발명은 차량 내부의 탑승객의 좌석을 이동시키는 시트이동부;를 더 포함하며, 제어부는 운전가능성을 판단한 후 운전 가능한 탑승객이 운전석에 없는 경우 시트이동부를 작동시켜 탑승객의 시트를 운전석으로 이동시키는 것을 특징으로 한다.

본 발명은 제어부가 제어권의 전환상태를 운전자에게 알리기 위한 출력부를 더 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 자율주행 차량의 제어권 전환방법은, 제어부가 수동전환 요구에 따라 촬영부로부터 영상을 입력받는 단계; 제어부가 입력된 영상에 대해 저장부에 저장된 학습정보 및 가중치에 따라 탑승객의 유무 및 연령을 추론하는 단계; 제어부가 탑승객의 유무 및 연령을 추론한 후 탑승객의 운전가능성을 판단하는 단계; 제어부가 탑승객의 운전가능성을 판단한 결과에 따라 핸들의 파지여부를 추론하는 단계; 및 제어부가 핸들의 파지여부를 추론한 결과에 따라 차량의 제어권을 수동으로 전환하는 단계를 포함하는 것을 특징으로 한다.

본 발명에서 탑승객의 운전가능성을 판단하는 단계는, 탑승객의 법정연령 및 면허증 소지 여부를 확인하여 판단하는 것을 특징으로 한다.

본 발명은 제어부가 탑승객의 운전가능성을 판단한 결과 운전 가능한 탑승객의 운전석 탑승여부를 판단하는 단계; 및 탑승객의 운전석 탑승여부를 판단한 결과에 따라 제어부가 시트이동부를 작동시켜 탑승객의 시트를 운전석으로 이동시키는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에서 탑승객의 운전가능성을 판단한 결과 운전이 가능하지 않은 경우, 제어부가 자율주행 구동부를 통해 차량을 정차시키는 단계를 더 포함하는 것을 특징으로 한다.

본 발명은 제어부가 제어권을 수동으로 전환한 후 출력부를 통해 운전자에게 알리는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 자율주행 차량의 제어권 전환장치 및 그 방법은 자율주행 차량에서 자율주행 중 수동전환이 요구된 경우 딥러닝 기반으로 탑승객의 유무 및 연령을 추론하여 운전 가능성을 판단하고, 핸들의 파지여부를 추론하여 제어권을 수동을 전환할 뿐만 아니라 운전이 불가능한 경우 차량을 정차시킴으로써 안전하게 제어권을 전환할 수 있다.

도 1은 본 발명의 일 실시예에 따른 자율주행 차량의 제어권 전환장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 자율주행 차량의 제어권 전환방법을 설명하기 위한 흐름도이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 자율주행 차량의 제어권 전환장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 자율주행 차량의 제어권 전환장치를 나타낸 블록 구성도이다.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 자율주행 차량의 제어권 전환장치는, 촬영부(10), 저장부(30) 및 제어부(20)를 포함하여, 시트이동부(50) 및 출력부(60)를 포함할 수 있다.

촬영부(10)는 차량 내부를 촬영하여 좌석별 영상을 제어부에 제공하여 탑승객의 유무, 연령 및 운전자의 핸들 파지여부를 추론할 수 있도록 한다.

또한, 촬영부(10)는 탑승객의 유무, 연령 및 운전자의 핸들 파지여부를 딥러닝 기반으로 추론할 수 있도록 학습할 때도 차량 내부를 촬영한 좌석별 영상을 제공할 수 있다.

저장부(30)는 딥러닝 기반으로 탑승객 유무 및 연령과, 핸들의 파지여부를 추론하기 위한 학습정보 및 가중치를 저장한다.

제어부(20)는 수동전환 요구에 따라 촬영부(10)로부터 입력된 영상으로부터 저장부(30)에 저장된 학습정보와 가중치를 통해 탑승객의 유무 및 연령을 추론하여 운전가능성을 판단한 후 핸들의 파지여부를 추론하여 차량의 제어권을 수동으로 전환한다.

여기서 수동전환 요구는 수동전환 스위치(70)를 통해 요구될 수도 있고, 자율주행 중 주위환경에 따라 요구될 수도 있다.

또한, 제어부(20)는 운전가능성을 판단할 때 좌석별 탑승객의 연령을 추론하여 추론된 탑승객의 연령이 운전 가능한 법정연령을 초과하는지 확인하여 판단할 수도 있고, 촬영부(10)를 통해 탑승객이 제시하는 면허증을 분석하여 면허증 소지여부에 따라 운전가능성을 판단할 수도 있다.

이렇게 제어부(20)는 운전가능성을 판단한 후 운전가능성 없는 경우 자율주행 구동부(40)를 통해 차량을 갓길에 정차시킴으로써, 수동전환이 요구되었으나 운전이 불가능한 경우에는 차량의 제어권을 수동으로 전환하지 않고 차량을 정차시킴으로써 자율주행의 안정성을 확보할 수 있도록 한다.

한편, 시트이동부(50)는 차량 내부의 탑승객의 좌석을 이동시킬 수 있다.

따라서 제어부(20)는 운전가능성을 판단한 후 운전 가능한 탑승객이 운전석에 없는 경우, 시트이동부(50)를 작동시켜 운전이 가능한 연령의 탑승객의 시트를 운전석으로 이동시킴으로써 수동전환에 능동적으로 대응할 수 있도록 한다.

출력부(60)는 제어부(20)가 제어권의 전환상태를 운전자에게 알림으로써, 운전자가 자율주행에서 제어권이 수동전환으로 변경된 상태를 인지하여 수동운전을 수행하도록 하도록 할 뿐만 아니라 자율주행 상태가 유지되고 있어나 수동전환이 불가능한 상태를 알릴 수 있다.

상술한 바와 같이, 본 발명의 실시예에 의한 자율주행 차량의 제어권 전환장치에 따르면, 자율주행 차량에서 자율주행 중 수동전환이 요구된 경우 딥러닝 기반으로 탑승객의 유무 및 연령을 추론하여 운전 가능성을 판단하고, 핸들의 파지여부를 추론하여 제어권을 수동을 전환할 뿐만 아니라 운전이 불가능한 경우 차량을 정차시킴으로써 안전하게 제어권을 전환할 수 있다.

도 2는 본 발명의 일 실시예에 따른 자율주행 차량의 제어권 전환방법을 설명하기 위한 흐름도이다.

도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 자율주행 차량의 제어권 전환방법에서는 먼저, 제어부(20)가 수동전환 요구상태를 판단한다(S10).

여기서 수동전환 요구는 수동전환 스위치(70)를 통해 요구될 수도 있고, 자율주행 중 주위환경에 따라 요구될 수도 있다.

S10 단계에서 수동전환 요구상태를 판단하여 수동전환이 요구된 경우, 제어부(20)는 촬영부(10)로부터 차량 내부를 촬영한 좌석별 영상을 입력받는다(S20).

S20 단계에서 좌석별 영상을 입력받은 후 제어부(20)는 저장부(30)에 저장된 딥러닝 기반의 학습정보와 가중치를 적용하여 좌석별 영상으로부터 탑승객의 유무 및 연령을 추론한다(S30).

S30 단계에서 탑승객의 유무 및 연령을 추론한 후 제어부(20)는 탑승객의 운전가능성을 판단한다(S40).

S40 단계에서 탑승객의 운전가능성을 판단한 후 운전가능성 없는 경우, 제어부(20)는 자율주행 구동부(40)를 통해 차량을 갓길에 정차시킴으로써, 수동전환이 요구되었으나 운전이 불가능한 경우에는 차량의 제어권을 수동으로 전환하지 않고 차량을 정차시킴으로써 자율주행의 안정성을 확보할 수 있도록 한다(S100).

S40 단계에서 탑승객의 운전가능성을 판단할 때. 제어부(20)는 좌석별 탑승객의 연령을 추론하여 추론된 탑승객의 연령이 운전 가능한 법정연령을 초과하는지 확인하여 판단할 수도 있고, 촬영부(10)를 통해 탑승객이 제시하는 면허증을 분석하여 면허증 소지여부에 따라 운전가능성을 판단할 수도 있다.

반면 S40 단계에서 탑승객의 운전가능성을 판단한 후 탑승객의 연령이 운전가능한 법적연령을 초과했거나 탑승객이 면허증을 소지하여 운전이 가능한 경우, 제어부(20)는 탑승객의 운전석 탑승여부를 판단한다(S50).

S50 단계에서 운전석 탑승여부를 판단하여 탑승객이 운전석에 탑승한 상태가 확인되지 않으면, 제어부(20)가 시트이동부(50)를 작동시켜 운전이 가능한 탑승객의 시트를 운전석으로 이동시킬 수 있다(S60).

반면, S50 단계에서 운전석 탑승여부를 판단하여 탑승객이 운전석에 탑승한 상태인 경우, 제어부(20)는 저장부에 저장된 딥러닝에 의한 학습정보와 가중치를 기반으로 운전석을 촬영한 영상으로부터 핸들의 파지상태를 추론할 수 있다(S70).

S70 단계에서 핸들의 파지상태를 추론한 후 제어부는 운전자가 핸들을 파지하고 있는지 확인한다(S80).

S80 단계에서 운전자가 핸들을 파지하고 있는지 확인하여 핸들을 파지하지 않은 경우, 제어부(20)는 자율주행 구동부(40)를 통해 차량을 갓길에 정차시킬 수 있다(S100). 즉, 제어부(20)는 수동전환 요구가 입력되었으나 실제 수동전환의 의지가 없는 것으로 판단하고 차량을 정차시킬 수 있다.

S80 단계에서 운전자의 핸들 파지여부를 확인한 후 운전자가 핸들을 파지한 경우, 제어부(20)는 차량의 제어권을 수동으로 전환하여 운전자가 수동으로 차량을 운전할 수 있도록 한다(S90).

한편, 제어부(20)는 제어권을 수동으로 전환한 후 출력부(60)를 통해 운전자에게 차량의 제어권이 수동으로 전환됨을 알릴 수 있다.

또한, 제어부(20)는 출력부(60)를 통해 자율주행 상태가 유지되고 있어나 수동전환이 불가능한 상태임을 알릴 수도 있다.

상술한 바와 같이, 본 발명의 실시예에 의한 자율주행 차량의 제어권 전환방법에 따르면, 자율주행 차량에서 자율주행 중 수동전환이 요구된 경우 딥러닝 기반으로 탑승객의 유무 및 연령을 추론하여 운전 가능성을 판단하고, 핸들의 파지여부를 추론하여 제어권을 수동을 전환할 뿐만 아니라 운전이 불가능한 경우 차량을 정차시킴으로써 안전하게 제어권을 전환할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.

10 : 촬영부 20 : 제어부
30 : 저장부 40 : 자율주행 구동부
50 : 시트이동부 60 : 출력부
70 : 수동전환 스위치

Claims (10)

1. 차량 내부를 촬영하여 영상을 제공하는 촬영부;
   딥러닝 기반으로 탑승객 유무 및 연령과, 핸들의 파지여부를 추론하기 위한 학습정보 및 가중치를 저장하는 저장부; 및
   수동전환 요구에 따라 상기 촬영부로부터 입력된 상기 영상으로부터 상기 저장부에 저장된 상기 학습정보와 상기 가중치를 통해 상기 탑승객의 유무 및 연령을 추론하여 운전가능성을 판단한 후 상기 핸들의 파지여부를 추론하여 상기 차량의 제어권을 수동으로 전환하는 제어부를 포함하되,
   상기 제어부는, 상기 운전가능성을 판단할 때 추론된 상기 탑승객의 연령과 운전가능한 법정연령을 확인하고, 상기 탑승객이 제시한 면허증을 상기 촬영부를 통해 입력받아 분석하고 면허증 소지여부를 확인하여 판단하며,
   상기 차량 내부의 상기 탑승객의 좌석을 이동시키는 시트이동부;를 더 포함하며,
   상기 제어부는 상기 운전가능성을 판단한 후 운전 가능한 상기 탑승객이 운전석에 없는 경우 상기 시트이동부를 작동시켜 운전이 가능한 상기 탑승객의 시트를 운전석으로 이동시키며,
   상기 운전가능성을 판단한 후 상기 운전가능성이 없는 경우 자율주행 구동부를 통해 차량을 정차시키는 것을 특징으로 하는 자율주행 차량의 제어권 전환장치.
   
2. 삭제
3. 삭제
4. 삭제
5. 제 1항에 있어서, 상기 제어부가 상기 제어권의 전환상태를 운전자에게 알리기 위한 출력부를 더 포함하는 것을 특징으로 하는 자율주행 차량의 제어권 전환장치.
   
6. 제어부가 수동전환 요구에 따라 촬영부로부터 영상을 입력받는 단계;
   상기 제어부가 입력된 상기 영상에 대해 저장부에 저장된 학습정보 및 가중치에 따라 탑승객의 유무 및 연령을 추론하는 단계;
   상기 제어부가 상기 탑승객의 유무 및 연령을 추론한 후 상기 탑승객의 운전가능성을 판단하는 단계;
   상기 제어부가 상기 탑승객의 상기 운전가능성을 판단한 결과에 따라 핸들의 파지여부를 추론하는 단계; 및
   상기 제어부가 상기 핸들의 파지여부를 추론한 결과에 따라 차량의 제어권을 수동으로 전환하는 단계를 포함하되,
   상기 탑승객의 운전가능성을 판단하는 단계는, 추론된 상기 탑승객의 연령과 운전 가능한 법정연령을 확인하고, 상기 탑승객이 제시한 면허증을 상기 촬영부를 통해 입력받아 분석하고 면허증 소지 여부를 확인하여 판단하며,
   상기 제어부가 상기 탑승객의 상기 운전가능성을 판단한 결과 운전 가능한 상기 탑승객의 운전석 탑승여부를 판단하는 단계; 및
   상기 탑승객의 상기 운전석 탑승여부를 판단한 결과, 운전 가능한 상기 탑승객이 운전석에 없는 경우, 상기 제어부가 시트이동부를 작동시켜 운전이 가능한 상기 탑승객의 시트를 상기 운전석으로 이동시키는 단계;를 더 포함하고,
   상기 탑승객의 상기 운전가능성을 판단한 결과 운전이 가능하지 않은 경우, 상기 제어부가 자율주행 구동부를 통해 상기 차량을 정차시키는 단계;를 더 포함하는 것을 특징으로 하는 자율주행 차량의 제어권 전환방법.
   
7. 삭제
8. 삭제
9. 삭제
10. 제 6항에 있어서, 상기 제어부가 상기 제어권을 수동으로 전환한 후 출력부를 통해 운전자에게 알리는 단계를 더 포함하는 것을 특징으로 하는 자율주행 차량의 제어권 전환방법.

Images