KR102644877B1

KR102644877B1 - 차량 제어 장치 및 방법

Info

Publication number: KR102644877B1
Application number: KR1020210110543A
Authority: KR
Inventors: 조길제
Original assignee: 주식회사 경신
Priority date: 2021-08-20
Filing date: 2021-08-20
Publication date: 2024-03-08
Also published as: KR20230028688A

Abstract

본 발명은 운전자의 시선 및 움직임을 인식하는 인식 모듈, 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하는 출력 모듈, 및 인식 모듈을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하고, 시선 좌표에 기반하여 출력 모듈을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하고, 결정된 대상 아이콘을 활성화하고, 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력하는 프로세서를 포함하는 것을 특징으로 한다.

Description

차량 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING VEHICLE}

본 발명은 차량 제어 장치 및 방법에 관한 것으로서, 더욱 상세하게는 운전자의 시선 및 움직임을 인식하여 차량 내 기능을 제어하는 차량 제어 장치 및 방법에 관한 것이다.

차량에는 주행과 관련된 장치 외에도 에어컨 및 히터와 같이 차량 내 환경을 제어하기 위한 장치와, 오디오, 디스플레이 및 내비게이션과 같이 운전자에게 엔터테인먼트를 제공하기 위한 장치가 구비된다. 일반적으로, 전술한 장치들은 차량 내 컨트롤 패널 또는 해당 장치에 구비된 버튼을 통해 제어되므로, 해당 장치를 제어하기 위해서는 운전자가 육안으로 해당 버튼의 위치를 확인하여 버튼을 조작할 필요가 있다. 그러나, 전술한 방법은 운전자의 주의 분산을 야기할 수 있으며, 운전자의 주의 분산은 사고로 이어질 수 있다. 이에 따라, 운전자의 주의 분산을 최소화하며 차량 내 각종 기능을 제어할 수 있는 방법이 요구되고 있다.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2021-0063596호(2021.06.02.)의 '차량용 음성인식 시스템 및 그 방법'에 개시되어 있다.

본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로, 본 발명의 일 측면에 따른 목적은 운전자의 시선 및 움직임을 인식하고, 인식된 운전자의 시선 및 움직임에 기반하여 차량 내 기능을 제어할 수 있는 차량 제어 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에서 따른 차량 제어 장치는 운전자의 시선 및 움직임을 인식하는 인식 모듈; 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하는 출력 모듈; 및 상기 인식 모듈을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하고, 상기 시선 좌표에 기반하여 상기 출력 모듈을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하고, 상기 결정된 대상 아이콘을 활성화하고, 상기 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력하는 프로세서;를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 대상 아이콘으로 결정하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하고, 상기 검출된 아이콘 상에 상기 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하고, 상기 시선 좌표가 위치한 시간이 상기 제1 설정 시간 이상인 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 것을 특징으로 한다.

본 발명에 있어 상기 대상 아이콘으로 결정하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하고, 상기 인식 모듈을 통해 기 설정된 제1 움직임이 인식되는지 여부를 판단하고, 상기 제1 움직임이 인식된 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 것을 특징으로 한다.

본 발명에 있어 상기 활성화하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 대상 아이콘이 다른 아이콘과 구별되도록, 상기 대상 아이콘의 크기를 변경하거나, 또는 상기 대상 아이콘에 움직임을 발생시키는 것을 특징으로 한다.

본 발명에 있어 상기 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 대상 아이콘에 대응하는 기능을 검출하고, 상기 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단하고, 상기 검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력하는 것을 특징으로 한다.

본 발명에 있어 상기 제1 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 대상 아이콘 상에 상기 시선 좌표가 기 설정된 제2 설정 시간 이상 머무르거나, 또는 상기 인식 모듈을 통해 기 설정된 제2 움직임이 인식되는 경우, 상기 제1 제어 신호를 출력하는 것을 특징으로 한다.

본 발명에 있어 상기 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 세기 조절을 위한 제2 제어 신호를 출력하는 것을 특징으로 한다.

본 발명에 있어 상기 프로세서는, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 출력 모듈을 통해 상기 검출된 기능의 세기 조절에 관한 게이지바 이미지를 상기 윈드실드 상에 출력하는 것을 특징으로 한다.

본 발명에 있어 상기 프로세서는, 상기 대상 아이콘이 활성화된 시점으로부터 기 설정된 제3 설정 시간 이내에 상기 제어 신호가 출력되지 않는 경우, 상기 대상 아이콘의 활성화를 취소하는 것을 특징으로 한다.

본 발명에 있어 상기 프로세서는, 상기 대상 아이콘이 활성화된 직후에, 상기 출력 모듈을 통해 상기 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 상기 윈드실드 상에 출력하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 차량 제어 방법은 프로세서가, 출력 모듈을 통해 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하는 단계; 상기 프로세서가, 인식 모듈을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하는 단계; 상기 프로세서가, 상기 시선 좌표에 기반하여 상기 출력 모듈을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하는 단계; 상기 프로세서가, 상기 대상 아이콘을 활성화하는 단계; 및 상기 프로세서가, 상기 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 대상 아이콘으로 결정하는 단계는, 상기 프로세서가, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하는 단계; 상기 프로세서가, 상기 검출된 아이콘 상에 상기 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하는 단계; 및 상기 프로세서가, 상기 시선 좌표가 위치한 시간이 상기 제1 설정 시간 이상인 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 대상 아이콘으로 결정하는 단계는, 상기 프로세서가, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하는 단계; 상기 프로세서가, 상기 인식 모듈을 통해 기 설정된 제1 움직임이 인식되었는지 여부를 판단하는 단계; 및 상기 프로세서가, 상기 제1 움직임이 인식된 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 활성화하는 단계는, 상기 프로세서가, 상기 대상 아이콘이 다른 아이콘과 구별되도록, 상기 대상 아이콘의 크기를 변경하거나, 또는 상기 대상 아이콘에 움직임을 발생시키는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 제어 신호를 출력하는 단계는, 상기 대상 아이콘에 대응하는 기능을 검출하는 단계; 상기 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단하는 단계; 및 상기 검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 제1 제어 신호를 출력하는 단계는, 상기 프로세서가, 상기 대상 아이콘 상에 상기 시선 좌표가 기 설정된 제2 설정 시간 이상 머무르거나, 또는 상기 인식 모듈을 통해 기 설정된 제2 움직임이 인식되는 경우, 상기 제1 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 제어 신호를 출력하는 단계는, 상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 세기 조절을 위한 제2 제어 신호를 출력하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 제어 신호를 출력하는 단계는, 상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 출력 모듈을 통해 상기 검출된 기능의 세기 조절에 관한 게이지바 이미지를 상기 윈드실드 상에 출력하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 활성화하는 단계 이후에, 상기 프로세서가, 기 설정된 제3 설정 시간 이내에 상기 제어 신호가 출력되지 않는 경우, 상기 대상 아이콘의 활성화를 취소하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어 상기 활성화하는 단계 이후에, 상기 프로세서가, 상기 출력 모듈을 통해 상기 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 상기 윈드실드 상에 출력하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따르면 차량의 기능과 관련된 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하고, 운전자의 시선 및 움직임에 따라 윈드실드 상에 출력된 적어도 하나의 아이콘 중 하나를 선택하고, 선택된 아이콘의 기능을 실행시킴으로써 운전자의 편의성을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 차량 제어 장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량 제어 장치를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하기 위한 순서도이다.

이하에서는 본 발명의 실시예에 따른 차량 제어 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 차량 제어 장치를 설명하기 위한 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량 제어 장치를 설명하기 위한 예시도이다.

도 1을 참고하면, 본 발명의 일 실시예에 따른 차량 제어 장치는 인식 모듈(100), 출력 모듈(200), 메모리(300) 및 프로세서(400)를 포함할 수 있다.

인식 모듈(100)은 운전자의 시선을 인식할 수 있다. 일 실시예에 따르면, 인식 모듈(100)은 운전자의 안면 이미지를 촬영하고, 촬영된 안면 이미지에서 사용자의 안구 영역을 검출하고, 검출된 안구 영역을 분석하여 동공의 위치 및 각도를 산출하고, 산출된 동공의 위치 및 각도에 기반하여 운전자의 시선을 결정할 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 주지된 다양한 시선 인식 알고리즘이 채용될 수 있다. 한편, 운전자의 시선 인식에 대한 정확도를 향상시키기 위해, 운전자의 시선 인식 시 운전자의 양안 각각에 대한 동공의 위치 및 각도가 함께 이용될 수 있다.

인식 모듈(100)은 운전자의 움직임을 인식할 수 있다. 일 실시예에 따르면, 인식 모듈(100)은 운전자의 눈에 깜빡임이 발생하였는지 여부를 판단하고, 운전자의 눈에 깜빡임이 발생한 경우 운전자에게 움직임이 발생한 것으로 인식할 수 있다. 또한, 인식 모듈(100)은 운전자의 머리에 회전이 발생하였는지 여부, 고개의 끄덕임이 발생하였는지 여부, 또는 머리의 기울기가 변화하였는지 여부를 판단하고, 운전자의 머리에 회전이 발생하거나, 고개의 끄덕임이 발생하거나 또는 운전자의 머리의 기울기가 변화한 경우 운전자에게 움직임이 발생한 것으로 판단할 수 있다. 다만, 운전자의 움직임이 전술한 실시예에 한정되는 것은 아니며, 인식 모듈(100)은 운전자에 의해 발생할 수 있는 신체의 위치 또는 각도 변화를 운전자의 움직임으로 인식할 수 있다. 인식 모듈(100)은 영상 처리 알고리즘을 통해 운전자의 움직임을 인식할 수 있다.

출력 모듈(200)은 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력할 수 있다. 일 실시예에 따르면, 출력 모듈(200)은 헤드업 디스플레이일 수 있다. 아이콘은 차량 내 기능을 작동시키거나 제어하기 위한 것일 수 있다. 예를 들어, 아이콘은 에어컨, 히터 및 AVN 등을 작동시키거나, 에어컨의 온도, 히터의 온도, 스피커의 음량 등을 제어하기 위한 것일 수 있다. 다만, 아이콘이 전술한 실시예에 한정되는 것은 아니며, 사용자에 의해 작동되거나 제어될 수 있는 다양한 차량 내 기능과 관련된 아이콘이 출력 모듈(200)을 통해 차량의 윈드실드 상에 출력될 수 있다. 도 2는 출력 모듈을 통해 차량의 윈드실드 상에 아이콘을 출력하는 일 실시예를 도시하고 있다.

메모리(300)에는 후술하는 프로세서(400)가 작동하기 위해 필요한 각종 데이터가 미리 저장되어 있을 수 있다. 또한, 메모리(300)에는 프로세서(400)가 작동하는 과정에서 산출되는 각종 데이터가 저장될 수 있다.

프로세서(400)는 인식 모듈(100)을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하고, 시선 좌표에 기반하여 출력 모듈(200)을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하고, 대상 아이콘을 활성화하고, 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력할 수 있다.

이하에서는 프로세서(400)가 제어 신호를 출력하는 과정을 구체적으로 살펴보도록 한다.

먼저, 프로세서(400)는 출력 모듈(200)을 통해 적어도 하나의 아이콘을 윈드실드 상에 출력할 수 있다. 프로세서(400)는 운전자로부터 윈드실드 상에 출력될 아이콘의 목록 및 위치를 입력받을 수 있으며, 입력받은 아이콘의 목록 및 위치에 기반하여 윈드실드 상에 적어도 하나의 아이콘을 출력할 수 있다. 즉, 윈드실드 상에 출력되는 아이콘의 개수, 종류 및 위치는 운전자에 의해 변경될 수 있다. 프로세서(400)는 인식 모듈(100)을 통해 운전자의 눈 높이를 검출할 수 있으며, 검출된 운전자의 눈 높이에 따라 윈드실드 상에 출력되는 아이콘의 위치를 조절할 수도 있다. 프로세서(400)는 운전의 편의를 위해 평상시에는 아이콘을 윈드실드 상에 출력하지 않고, 인식 모듈(100)을 통해 운전자로부터 특정 움직임이 인식되는 경우 아이콘을 윈드실드 상에 출력할 수도 있다.

한편, 윈드실드 상에 출력되는 아이콘 각각의 크기는 동일할 수도 있고, 상이할 수도 있다. 프로세서(400)는 아이콘별 실행 빈도를 산출하고, 산출된 아이콘별 실행 빈도에 따라 아이콘의 크기를 조절할 수도 있다. 즉, 프로세서(400)는 운전자에 의해 자주 이용되는 아이콘을 다른 아이콘보다 더 크게 함으로써 운전자의 편의를 향상시킬 수 있다. 프로세서(400)는 아이콘 실행 기록을 저장할 수 있으며, 실행 기록을 분석하여 아이콘별 실행 빈도를 산출할 수 있다.

이어서, 프로세서(400)는 인식 모듈(100)을 통해 인식된 운전자의 시선에 기반하여 윈드 실드 상에서의 시선 좌표를 결정할 수 있다. 일 실시예에 따르면, 프로세서(400)는 인식 모듈(100)을 통해 인식된 운전자의 시선과 윈드실드의 표면이 만나는 점의 좌표를 산출하고, 산출된 좌표를 운전자의 시선 좌표로 결정할 수 있다.

이어서, 프로세서(400)는 시선 좌표에 기반하여 출력 모듈(200)을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정할 수 있다.

일 실시예에 따르면, 프로세서(400)는 윈드실드 상에 출력된 적어도 하나의 아이콘 중 시선 좌표에 대응하는 아이콘을 검출하고, 검출된 아이콘 상에 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하고, 시선 좌표가 위치한 시간이 제1 설정 시간 이상인 것으로 판단되는 경우 앞서 검출된 아이콘을 대상 아이콘으로 결정할 수 있다. 즉, 프로세서(400)는 특정 아이콘에 시선 좌표가 제1 설정 시간 이상 머무르는 경우 해당 아이콘을 대상 아이콘으로 결정할 수 있다. 여기서, 제1 설정 시간은 운전자에 의해 변경될 수도 있다.

다른 실시예에 따르면, 프로세서(400)는 윈드실드 상에 출력된 적어도 하나의 아이콘 중 시선 좌표에 대응하는 아이콘을 검출하고, 인식 모듈(100)을 통해 기 설정된 제1 움직임이 인식되는지 여부를 판단하고, 제1 움직임이 인식된 것으로 판단되는 경우 앞서 검출된 아이콘을 대상 아이콘으로 결정할 수 있다. 즉, 프로세서(400)는 특정 아이콘에 시선 좌표가 위치한 상태에서 인식 모듈(100)을 통해 기 설정된 제1 움직임이 인식되는 경우 해당 아이콘을 대상 아이콘으로 결정할 수 있다. 여기서, 제1 움직임은 눈 깜빡임, 머리 회전, 머리 기울기 변화 또는 고개 끄덕임 중 하나일 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 운전자에 의해 발생될 수 있는 다양한 움직임이 제1 움직임으로 채용될 수 있다. 제1 움직임은 운전자에 의해 변경될 수도 있다.

이어서, 프로세서(400)는 대상 아이콘을 활성화할 수 있다. 여기서, 활성화는 대상 아이콘을 다른 아이콘과 구별하여 표시하는 것을 의미할 수 있다. 일 실시예에 따르면, 프로세서(400)는 대상 아이콘이 다른 아이콘과 구별되도록, 대상 아이콘의 크기를 변경하거나, 또는 대상 아이콘에 움직임을 발생시킬 수 있다. 즉, 프로세서(400)는 대상 아이콘을 확대시킴으로써 대상 아이콘이 다른 아이콘과 구별되도록 하거나, 대상 아이콘에 움직임(예를 들어, 흔들림)을 발생시킴으로써 대상 아이콘이 다른 아이콘과 구별되도록 할 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 대상 아이콘을 다른 아이콘과 구별하여 표시하기 위한 다양한 방법이 채용될 수 있다.

이어서, 프로세서(400)는 대상 아이콘에 대응하는 기능을 검출할 수 있다. 일 실시예에 따르면, 대상 아이콘에 대응하는 기능이 저장된 룩업 테이블이 메모리(300)에 미리 저장되어 있으며, 프로세서(400)는 룩업 테이블을 참고하여, 대상 아이콘에 대응하는 기능을 검출할 수 있다.

한편, 차량 내 기능은 에어콘 작동 및 중지, 히터 작동 및 중지, AVN 작동 및 중지 등과 같이 온오프 제어가 필요한 기능과, 에어콘 온도 조절, 히터 온도 조절, 윈도우 높이 조절, 스피커 음량 조절 등과 같이 세기 조절이 필요한 기능으로 구분될 수 있다. 온오프 제어가 필요한 기능의 경우 온오프에 대응하는 제어 신호를 출력함으로써 해당 기능의 제어가 종료되는 반면, 세기 조절이 필요한 기능의 경우 운전자로부터 세기에 대한 정보를 추가적으로 입력받아 처리할 필요가 있을 뿐만 아니라, 운전자가 용이하게 해당 기능의 세기 조절을 수행할 수 있도록 현재 설정된 세기에 대한 정보를 제공할 필요가 있다. 따라서, 프로세서(400)는 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단할 필요가 있다.

프로세서(400)는 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단할 수 있다. 메모리(300)에 저장된 룩업 테이블에는 해당 기능이 온오프 제어가 필요한 기능인지 또는 세기 제어가 필요한 기능인지 여부가 매칭되어 있으며, 프로세서(400)는 룩업 테이블을 참고하여 해당 기능이 세기 조절이 필요한 기능인지 여부를 판단할 수 있다.

검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우(즉, 검출된 기능이 온오프 제어가 필요한 기능인 것으로 판단되는 경우), 프로세서(400)는 인식 모듈(100)을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여, 해당 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력할 수 있다.

일 실시예에 따르면, 프로세서(400)는 대상 아이콘 상에 시선 좌표가 위치한 시간이 기 설정된 제2 설정 시간 이상인지 여부를 판단하고, 시선 좌표가 위치한 시간이 제2 설정 시간 이상인 것으로 판단되는 경우 제1 제어 신호를 출력할 수 있다. 예를 들어, 검출된 기능이 에어컨을 작동시키는 기능인 경우, 프로세서(400)는 시선 좌표가 제2 설정 시간 이상 대상 아이콘에 머무르는 경우, 에어컨을 작동시키기 위한 제어 신호를 차량 내 에어컨으로 출력할 수 있다. 여기서, 제2 설정 시간은 운전자에 의해 변경될 수 있다.

다른 실시예에 따르면, 프로세서(400)는 인식 모듈(100)을 통해 기 설정된 제2 움직임이 인식되는지 여부를 판단하고, 제2 움직임이 인식된 것으로 판단되는 경우 제1 제어 신호를 출력할 수 있다. 여기서, 제2 움직임은 눈 깜빡임, 머리 회전, 머리 기울기 변화 또는 고개 끄덕임 중 하나일 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 운전자에 의해 발생될 수 있는 다양한 움직임이 제2 움직임으로 채용될 수 있다. 제2 움직임은 운전자에 의해 변경될 수도 있다. 제2 움직임은 제1 움직임과 동일한 움직임일 수도 있고, 제1 움직임과 다른 움직임일 수도 있다.

프로세서(400)는 출력 모듈(200)을 통해 해당 기능을 작동시키기 위한 실행 아이콘을 윈드실드 상에 출력하고, 실행 아이콘 상에 시선 좌표가 제2 설정 시간 이상 머무르거나, 또는 실행 아이콘 상에 시선 좌표가 위치한 상태에서 인식 모듈(100)을 통해 제2 움직임이 인식되는 경우 제1 제어 신호를 출력할 수도 있다.

한편, 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 프로세서(400)는 출력 모듈(200)을 통해 해당 기능의 세기 조절에 관한 게이지바 이미지를 윈드실드 상에 출력할 수 있다. 즉, 프로세서(400)는 해당 기능의 세기 조절이 용이하도록, 해당 기능의 세기에 관한 정보를 게이지바 이미지로 표현하여 윈드실드 상에 출력할 수 있다.

이어서, 프로세서(400)는 인식 모듈(100)을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 대상 아이콘에 대응하는 기능의 세기 조절을 위한 제2 제어 신호를 출력할 수 있다. 여기서, 제2 제어 신호는 해당 기능의 세기를 증가시키기 위한 제어 신호 또는 해당 기능의 세기를 감소시키기 위한 제어 신호일 수 있다.

일 실시예에 따르면, 프로세서(400)는 세기 조절을 위한 세기조절 아이콘(예를 들어, 세기를 증가시키기 위한 플러스 아이콘 및 세기를 감소시키기 위한 마이너스 아이콘)을 윈드실드 상에 출력하고, 세기조절 아이콘 상에 시선 좌표가 기 설정된 제3 설정 시간 이상 머무르거나, 또는 세기조절 아이콘 상에 시선 좌표가 위치한 상태에서 인식 모듈(100)을 통해 제3 움직임이 인식되는 경우 제2 제어 신호를 출력할 수 있다. 이때, 프로세서(400)는 세기조절 아이콘 상에 시선 좌표가 위치한 시간에 비례하여 기능의 세기를 제어할 수도 있다. 여기서, 제3 움직임은 눈 깜빡임, 머리 회전, 머리 기울기 변화 또는 고개 끄덕임 중 하나일 수 있다. 다만, 전술한 실시예에 한정되는 것은 아니며, 운전자에 의해 발생될 수 있는 다양한 움직임이 제3 움직임으로 채용될 수 있다. 제3 설정 시간 및 제3 움직임은 운전자에 의해 변경될 수도 있다.

한편, 프로세서(400)는 대상 아이콘이 활성화된 시점으로부터 기 설정된 제4 설정 시간 이내에 제어 신호가 출력되지 않는 경우, 대상 아이콘의 활성화를 취소할 수 있다. 즉, 프로세서(400)는 대상 아이콘의 활성화 후 제4 설정 시간 이내에 제어 신호가 출력되지 않는 경우, 운전자의 의사에 반하여 대상 아이콘이 결정된 것으로 판단하고, 대상 아이콘의 활성화를 취소할 수 있다.

또한, 프로세서(400)는 대상 아이콘이 활성화된 직후에, 출력 모듈(200)을 통해 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 윈드실드 상에 출력할 수 있다. 즉, 운전자의 의사에 반하여 아이콘이 활성화된 경우에 곧바로 활성화의 취소가 가능하도록, 프로세서(400)는 대상 아이콘이 활성화된 직후 취소 아이콘을 윈드실드 상에 출력할 수 있다. 프로세서(400)는 취소 아이콘 상에 시선 좌표가 기 설정된 시간 이상 머무르거나, 또는 취소 아이콘 상에 시선 좌표가 위치한 상태에서 인식 모듈(100)을 통해 특정 움직임이 인식되는 경우 대상 아이콘의 활성화를 취소할 수 있다. 프로세서(400)는 대상 아이콘의 활성화가 취소되거나, 또는 대상 아이콘에 대응하는 기능을 실행하기 위한 제어 신호가 출력된 경우에는 취소 아이콘 제거할 수 있다.

전술한 바와 같이, 본 발명은 차량의 기능과 관련된 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하고, 운전자의 시선 및 움직임에 따라 윈드실드 상에 출력된 적어도 하나의 아이콘 중 하나를 선택하고, 선택된 아이콘의 기능을 실행시킴으로써 운전자의 편의성을 향상시킬 수 있다.

도 3은 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하기 위한 순서도이다.

이하에서는 도 3을 참고하여, 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하도록 한다.

먼저, 프로세서(400)는 출력 모듈(200)을 통해 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력할 수 있다.(S100 단계)

이어서, 프로세서(400)는 인식 모듈(100)을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정할 수 있다.(S200 단계)

이어서, 프로세서(400)는 시선 좌표에 기반하여 출력 모듈(200)을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정할 수 있다.(S300 단계)

이어서, 프로세서(400)는 대상 아이콘을 활성화할 수 있다.(S400 단계)

이어서, 프로세서(400)는 대상 아이콘에 대응하는 기능을 검출할 수 있다.(S500 단계)

이어서, 프로세서(400)는 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단할 수 있다.(S600 단계)

검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우(즉, 검출된 기능이 온오프 제어가 필요한 기능인 것으로 판단되는 경우), 프로세서(400)는 인식 모듈(100)을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여, 해당 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력할 수 있다.(S700 단계)

이어서, 프로세서(400)는 대상 아이콘의 활성화를 취소할 수 있다(S800 단계). 한편, 프로세서(400)는 대상 아이콘의 활성화 후 기 설정된 제4 설정 시간 이내에 제1 제어 신호가 출력되지 않는 경우에도 대상 아이콘의 활성화를 취소할 수 있다.

반면, 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 프로세서(400)는 출력 모듈(200)을 통해 해당 기능의 세기 조절에 관한 게이지바 이미지를 윈드실드 상에 출력할 수 있다.(S900 단계)

이어서, 프로세서(400)는 인식 모듈(100)을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 해당 기능의 세기 조절을 위한 제2 제어 신호를 출력할 수 있다.(S1000 단계)

이어서, 프로세서(400)는 제2 제어 신호를 출력한 후 소정의 시간 이내에 제2 제어 신호가 출력되지 않는 경우 대상 아이콘의 활성화를 취소할 수 있다(S1100 단계). 즉, 세기 조절은 연속적으로 이루어질 수 있으므로, 제2 제어 신호가 출력된다고 하여 바로 대상 아이콘의 활성화를 취소하지 않고, 일정 시간동안 대상 아이콘의 활성화를 유지할 수 있다. 한편, 프로세서(400)는 대상 아이콘의 활성화 후 기 설정된 제4 설정 시간 이내에 제2 제어 신호가 출력되지 않는 경우에도 대상 아이콘의 활성화를 취소할 수 있다.

상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 제어 장치 및 방법은 차량의 기능과 관련된 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하고, 운전자의 시선 및 움직임에 따라 윈드실드 상에 출력된 적어도 하나의 아이콘 중 하나를 선택하고, 선택된 아이콘의 기능을 실행시킴으로써 운전자의 편의성을 향상시킬 수 있다.

본 명세서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(Application-Specific Integrated Circuit)의 형태로 구현될 수 있다.

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

100: 인식 모듈
200: 출력 모듈
300: 메모리
400: 프로세서

Claims

운전자의 시선 및 움직임을 인식하는 인식 모듈;
적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하는 출력 모듈; 및
상기 인식 모듈을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하고, 상기 시선 좌표에 기반하여 상기 출력 모듈을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하고, 상기 결정된 대상 아이콘을 활성화하고, 상기 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력하는 프로세서;를 포함하고,
상기 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 대상 아이콘에 대응하는 기능을 검출하고, 상기 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단하고, 상기 검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력하고,
상기 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 세기 조절을 위한 제2 제어 신호를 출력하고,
상기 프로세서는, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 출력 모듈을 통해 상기 검출된 기능의 세기 조절에 관한 게이지바 이미지를 상기 윈드실드 상에 출력하는 것을 특징으로 하는 차량 제어 장치.
제 1항에 있어서,
상기 대상 아이콘으로 결정하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하고, 상기 검출된 아이콘 상에 상기 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하고, 상기 시선 좌표가 위치한 시간이 상기 제1 설정 시간 이상인 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 것을 특징으로 하는 차량 제어 장치.
제 1항에 있어서,
상기 대상 아이콘으로 결정하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하고, 상기 인식 모듈을 통해 기 설정된 제1 움직임이 인식되는지 여부를 판단하고, 상기 제1 움직임이 인식된 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 것을 특징으로 하는 차량 제어 장치.
제 1항에 있어서,
상기 활성화하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 대상 아이콘이 다른 아이콘과 구별되도록, 상기 대상 아이콘의 크기를 변경하거나, 또는 상기 대상 아이콘에 움직임을 발생시키는 것을 특징으로 하는 차량 제어 장치.
삭제
제 1항에 있어서,
상기 제1 제어 신호를 출력하는 동작의 적어도 일부로서, 상기 프로세서는,
상기 대상 아이콘 상에 상기 시선 좌표가 기 설정된 제2 설정 시간 이상 머무르거나, 또는 상기 인식 모듈을 통해 기 설정된 제2 움직임이 인식되는 경우, 상기 제1 제어 신호를 출력하는 것을 특징으로 하는 차량 제어 장치.
삭제
삭제
제 1항에 있어서,
상기 프로세서는, 상기 대상 아이콘이 활성화된 시점으로부터 기 설정된 제3 설정 시간 이내에 상기 제어 신호가 출력되지 않는 경우, 상기 대상 아이콘의 활성화를 취소하는 것을 특징으로 하는 차량 제어 장치.
제 1항에 있어서,
상기 프로세서는, 상기 대상 아이콘이 활성화된 직후에, 상기 출력 모듈을 통해 상기 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 상기 윈드실드 상에 출력하는 것을 특징으로 하는 차량 제어 장치.
프로세서가, 출력 모듈을 통해 적어도 하나의 아이콘을 차량의 윈드실드 상에 출력하는 단계;
상기 프로세서가, 인식 모듈을 통해 인식된 운전자의 시선에 기반하여 윈드실드 상에서의 시선 좌표를 결정하는 단계;
상기 프로세서가, 상기 시선 좌표에 기반하여 상기 출력 모듈을 통해 출력된 적어도 하나의 아이콘 중 하나를 대상 아이콘으로 결정하는 단계;
상기 프로세서가, 상기 대상 아이콘을 활성화하는 단계; 및
상기 프로세서가, 상기 활성화된 대상 아이콘에 대응하는 기능을 제어하기 위한 제어 신호를 출력하는 단계;를 포함하고,
상기 제어 신호를 출력하는 단계는,
상기 프로세서가, 상기 대상 아이콘에 대응하는 기능을 검출하는 단계;
상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능인지 여부를 판단하는 단계; 및
상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능이 아닌 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 온오프를 제어하기 위한 제1 제어 신호를 출력하는 단계;를 포함하고,
상기 제어 신호를 출력하는 단계는,
상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 인식 모듈을 통해 인식되는 운전자의 시선 또는 움직임에 응답하여 상기 검출된 기능의 세기 조절을 위한 제2 제어 신호를 출력하는 단계;를 더 포함하고,
상기 프로세서가, 상기 검출된 기능이 세기 조절이 필요한 기능인 것으로 판단되는 경우, 상기 출력 모듈을 통해 상기 검출된 기능의 세기 조절에 관한 게이지바 이미지를 상기 윈드실드 상에 출력하는 단계;를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
제 11항에 있어서,
상기 대상 아이콘으로 결정하는 단계는,
상기 프로세서가, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하는 단계;
상기 프로세서가, 상기 검출된 아이콘 상에 상기 시선 좌표가 위치한 시간이 기 설정된 제1 설정 시간 이상인지 여부를 판단하는 단계; 및
상기 프로세서가, 상기 시선 좌표가 위치한 시간이 상기 제1 설정 시간 이상인 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 11항에 있어서,
상기 대상 아이콘으로 결정하는 단계는,
상기 프로세서가, 상기 적어도 하나의 아이콘 중 상기 시선 좌표에 대응하는 아이콘을 검출하는 단계;
상기 프로세서가, 상기 인식 모듈을 통해 기 설정된 제1 움직임이 인식되었는지 여부를 판단하는 단계; 및
상기 프로세서가, 상기 제1 움직임이 인식된 것으로 판단되는 경우 상기 검출된 아이콘을 대상 아이콘으로 결정하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 11항에 있어서,
상기 활성화하는 단계는,
상기 프로세서가, 상기 대상 아이콘이 다른 아이콘과 구별되도록, 상기 대상 아이콘의 크기를 변경하거나, 또는 상기 대상 아이콘에 움직임을 발생시키는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
삭제
제 11항에 있어서,
상기 제1 제어 신호를 출력하는 단계는,
상기 프로세서가, 상기 대상 아이콘 상에 상기 시선 좌표가 기 설정된 제2 설정 시간 이상 머무르거나, 또는 상기 인식 모듈을 통해 기 설정된 제2 움직임이 인식되는 경우, 상기 제1 제어 신호를 출력하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
삭제
삭제
제 11항에 있어서,
상기 활성화하는 단계 이후에,
상기 프로세서가, 기 설정된 제3 설정 시간 이내에 상기 제어 신호가 출력되지 않는 경우, 상기 대상 아이콘의 활성화를 취소하는 단계;를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
제 11항에 있어서,
상기 활성화하는 단계 이후에,
상기 프로세서가, 상기 출력 모듈을 통해 상기 대상 아이콘의 활성화를 취소하기 위한 취소 아이콘을 상기 윈드실드 상에 출력하는 단계;를 더 포함하는 것을 특징으로 하는 차량 제어 방법.