KR20210070117A

KR20210070117A - 모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법

Info

Publication number: KR20210070117A
Application number: KR1020190160199A
Authority: KR
Inventors: 강민철
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2021-06-14
Also published as: DE102020208721A1; US11643117B2; US20210171067A1

Abstract

본 발명은 모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법에 관한 것으로, 본 발명의 일 실시예에 따른 모션 인식을 통해 운전자의 핸즈 온(hands on) 상태를 판단하 판단하고, 기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로 상기 모션 인식 기반 핸즈 온 판단 결과의 이용 여부를 판단하는 프로세서; 및 상기 모션 인식을 위한 데이터가 저장되는 저장부;를 포함할 수 있다.

Description

모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법{Apparatus for judging hands-on based on motion recognizing, system having the same and method for controlling a vehicle using the same}

본 발명은 모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법에 관한 것으로, 보다 상세하게는 모션 인식을 기반으로 핸즈온 상태를 판단하는 기술에 관한 것이다.

일반적으로, 자동차의 조향 휠(steering wheel)은 운전자가 직접 파지하여 조작함으로써 해당 자동차의 조향 제어를 수행하도록 하기 위한 장치이다. 최근 자율 주행 기술이 발전하면, 운전자의 주행을 보조하는 차로 유지 보조 시스템 등이 개발되었다.

차로 유지 보조 시스템은 운전자의 차로 유지 행위를 보조해주지만 조향 제어의 주체는 운전자에게 있다. 따라서, 운전자가 조향 휠을 잡지 않는 경우 경고하여 운전자가 안전 운전을 하도록 유도해야 한다. 이를 위해, 운전자가 조향 휠을 잡고 있는지 아닌지를 지속적으로 판단해야 하는데, 대표적으로 조향 컬럼에 장착된 토크 센서를 이용하여 간접적으로 판단하거나 조향 휠에 장착된 접촉식 센서를 이용하여 직접적으로 판단하는 방법 등이 있다.

종래에는 이러한 센서들을 이용하여 핸즈 오프 상태를 판단하고, 운전자가 핸즈 오프 상태인 경우 핸즈 오프를 경고한다. 이후 사용자가 핸즈온을 한 것으로 판단되면, 차량 제어를 수행하게 되는데, 운전자의 핸즈 오프 상태에서 핸즈 온 상태로 천이 시간 동안 차량 제어가 지연되는 문제점이 있다.

본 발명의 실시예는 모션 인식을 기반으로 운전자가 차량의 조향 휠(steering wheel)을 파지하지 않고 살짝 떨어져 있는 경우에도 조향 휠에 핸즈온 한 것으로 판단하여 조향 휠의 핸즈 오프상태에서 핸즈온 상태까지 걸리는 시간 지연을 최소화 할 수 있는 모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법을 제공하고자 한다.

본 발명의 실시예는 핸즈온 판단 시 기상, 모션 인식 레벨, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태를 기반으로 모션 인식 상황의 적합성을 판단할 수 있는 모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법을 제공하고자 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 모션 인식을 통해 운전자의 핸즈 온(hands on) 상태를 판단하고, 기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로 상기 모션 인식 기반 핸즈 온 판단 결과의 이용 여부를 판단하는 프로세서; 및 상기 모션 인식을 위한 데이터가 저장되는 저장부;를 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 운전자의 손이 조향 휠로부터 미리 정한 범위내에 위치하는 경우 핸즈 온 상태인 것으로 판단하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 기상 조건은 날씨 양호, 날씨 보통, 및 날씨 불량으로 구분될 수 있고, 상기 모션 센싱 유효성은 센싱시간 양호, 센싱 시간 부족, 센싱존 양호, 및 센싱존 불량으로 구분될 수 있고, 상기 주행 도로 구분은 신호등 없는 고속화 도로, 신호등 있는 도심내 일반 도로, 및 특수 구간 도로로 구분될 수 있으며, 상기 차량 제어 상태는 차선 변경 미제어 상황, 젠틀 커브 인레인(IN-lane) 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 급커브 인레인(In-Lane) 주행으로 구분될 수 있고, 상기 운전자 상태는 시선 안정, 시선 불안정, 및 시선 판단 보통으로 구분될 수 있는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우, 상기 차량 제어 상태가 차선 변경 미제어 상황 또는 젠틀 커브 인레인 주행인 경우이고, 상기 운전자 상태가 항상 시선 안정 상태인 경우, 즉시 모션 인식 기반으로 인식된 핸즈온 판단 결과를 차량 제어에 적용하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 상기 운전자 상태가 시선 안정인 상태에서 차량 제어 상태가 운전자에 의한 제동 및 가속 명령이거나 차선 변경 제어 상황인 경우, 미리 정한 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과를 적용하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 상기 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행인 경우, 및 차선 변경 제어 상황 중 하나인 경우이면서 상기 운전자 상태가 시선 판단 보통인 경우, 미리 정한 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과를 차량 제어에 적용하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 상기 운전자 상태가 시선 안정 또는 시선 판단 보통이면서, 상기 차량 제어 상태가 운전자에 의한 제동 및 가속 명령 또는 급커드 인레인 주행 상황인 경우, 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱시간 부족이고, 상기 주행 도로가 신호등 없는 고속화 도로이며 상기 운전자 상태가 항상 시선 안정이면서, 상기 차량 제어 상태가 차선 변경 제어 상황인 경우, 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 존 불량이고, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로이며, 상기 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 상기 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 모션 인식 기반 핸즈온 신호 대체 판단을 유보하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 기상 조건이 날씨가 양호이고, 상기 모션 센싱 유효성 조건이 센싱 존 불량이고, 상기 주행 도로가 신호등 없는 고속화 도로이고, 상기 차량 제어 상태가 차선 변경 미제어 상황이고 상기 운전자 상태가 시선불안정 상태인 경우 모션 인식 기반 핸즈온 신호 대체 판단을 유보하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호 또는 센싱 존 양호이고, 상기 주행 도로가 특수구간도로이고, 상기 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 상기 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 모션 인식 기반 핸즈온 신호 대체 판단을 유보하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 기상 조건이 날씨 불량인 경우, 나머지 조건과 상관 없이 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하고 운전자에게 알림하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 운전자 상태가 시선 불안정인 경우, 나머지 조건과 상관없이 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하되, 상기 운전자 상태가 시선 불안정인 경우라도 날씨 양호, 센싱존 불량, 신호등 없는 고속화도로, 차선 변경 미제어 상황인 경우, 모션 인식 기반 핸즈온 신호 대체 판단을 유보하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 기상 조건이 날씨 양호 또는 날씨 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 부족 또는 센싱 존 불량이고, 상기 주행 도로가 특수구간 도로이고, 상기 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 상기 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 프로세서는, 상기 모션 센싱 유효성 조건이 센싱 존 불량인 상태에서, 상기 기상 조건이 날씨 불량, 상기 주행 도로가 특수구간 도로, 상기 차량 제어 상태가 운전자에 의한 제동 및 가속 명령 또는 급커브 인레인 주행, 상기 운전자 상태가 시선 불안정 중 적어도 하나 이상의 상태인 경우, 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하는 것을 포함할 수 있다.

본 발명의 일 실시예에 따른 차량 시스템은 모션 인식을 통해 운전자의 핸즈 온(hands on) 상태를 판단하고, 기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로 상기 모션 인식 기반 핸즈 온 판단 결과의 이용 여부를 판단하는 핸즈 온 판단 장치; 및 상기 핸즈 온 판단 장치에 의해 판단된 결과를 기반으로 차량을 제어하는 차량 제어 장치;를 포함할 수 있다.

본 발명의 일 실시예에 따른 차량 제어 방법은 모션 인식을 통해 운전자의 핸즈 온(hands on) 상태를 판단하는 단계; 기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로 상기 모션 인식 기반 핸즈 온 판단 결과의 이용 여부를 판단하는 단계; 및 상기 핸즈 온 판단 장치에 의해 판단된 결과를 기반으로 차량을 제어하는 단계;를 포함할 수 있다.

일 실시 예에 있어서, 상기 핸즈온 상태를 판단하는 단계는, 상기 운전자의 손이 조향 휠로부터 미리 정한 범위내에 위치하는 경우 핸즈 온 상태인 것으로 판단하는 것을 포함할 수 있다.

일 실시 예에 있어서, 상기 차량을 제어하는 단계는, 상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우, 상기 차량 제어 상태가 차선 변경 미제어 상황 또는 젠틀 커브 인레인 주행인 경우이고, 상기 운전자 상태가 항상 시선 안정 상태인 경우, 즉시 모션 인식 기반으로 인식된 핸즈온 판단 결과를 차량 제어에 적용하는 단계;를 포함할 수 있다.

일 실시 예에 있어서, 상기 차량을 제어하는 단계는, 상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 상기 운전자 상태가 시선 안정인 상태에서 차량 제어 상태가 운전자에 의한 제동 및 가속 명령이거나 차선 변경 제어 상황인 경우, 미리 정한 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과를 적용하는 단계;를 포함할 수 있다.

본 기술은 모션 인식을 기반으로 운전자가 차량의 조향 휠(steering wheel)을 파지하지 않고 살짝 떨어져 있는 경우에도 조향 휠에 핸즈온 한 것으로 판단하여 조향 휠의 핸즈 오프상태에서 핸즈온 상태까지 걸리는 시간 지연을 최소화 할 수 있다.

본 기술은 핸즈온 판단 시 기상, 모션 인식 레벨, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태를 기반으로 모션 인식 상황의 적합성을 판단할 수 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 핸즈 온 판단 장치를 포함하는 차량 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 핸즈 오프 시 경고 과정을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 핸즈 온 판단 시 표시 장치에 표시되는 예시 화면을 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 모션 인식 기반으로 핸즈 오프를 판단하는 예시 화면을 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 핸즈 온 판단 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 도 1 내지 도 6을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 핸즈 온 판단 장치를 포함하는 차량 시스템의 구성을 나타내는 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 차량 시스템은 핸즈 온 판단 장치(100), 차량 제어 장치(200), 경고 장치(300), 및 표시 장치(400)를 포함할 수 있다.

본 발명의 일 실시 예에 따른 핸즈 온 판단 장치(100)는 차량의 내부에 구현될 수 있다. 이때, 핸즈 온 판단 장치(100)는 차량의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다.

핸즈 온 판단 장치(100)는 모션 인식을 통해 운전자의 핸즈 온(hands on) 상태를 판단할 수 있고, 운전자의 손이 조향 휠로부터 미리 정한 범위내에 위치하는 경우 핸즈 온 상태인 것으로 판단할 수 있다. 또한, 핸즈 온 판단 장치(100)는 기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로 상기 모션 인식 기반 핸즈 온 판단 결과의 적합성을 판단하여 모션 인식에 의한 핸즈온 판단 결과를 센서에 의한 핸즈온 판단 결과 대신에 이용할지 여부를 판단할 수 있다.

핸즈 온 판단 장치(100)는 통신부(110), 저장부(120), 센서부(130), 및 프로세서(140)를 포함할 수 있다.

통신부(110)는 무선 또는 유선 연결을 통해 신호를 송신 및 수신하기 위해 다양한 전자 회로로 구현되는 하드웨어 장치로서, 본 발명에서는 차량 내 네트워크 통신 기술, 차량 외부의 서버, 인프라, 타 차량 등과 무선 인터넷 접속 또는 근거리 통신(Short Range Communication) 기술을 이용하여 V2I 통신을 수행할 수 있다. 여기서, 차량 네트워크 통신 기술로는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등을 통해 차량 내 통신을 수행할 수 있다. 또한, 무선 통신 기술로는 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax) 등이 포함될 수 있다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.

일 예로서, 통신부(110)는 외부의 서버로부터 기상 정보, 주행 도로 정보 등을 수신할 수 있고, 차량 내 장치들로부터 차량 제어 상태 정보, 운전자 시선 정보, 및 모션 인식 레벨 정보 등을 수신할 수 있다.

저장부(120)는 센서부(130)의 센싱 결과, 외부로부터 수신한 기상 정보, 주행 도로 정보 및 프로세서(140)가 동작하는데 필요한 데이터 및/또는 알고리즘 등이 저장될 수 있다. 일예로 저장부(120)는 모션 인식을 위한 데이터가 저장될 수 있다. 이에 프로세서(140)는 촬영된 영상과 모션 인식을 위한 데이터를 비교 분석하여 운전자의 핸즈온 또는 핸즈 오프를 판단할 수 있다.

저장부(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.

센서부(130)는 운전자의 핸즈 오프 상태를 검출하기 위한 하나 이상의 센서를 포함할 수 있다. 일 예로, 센서부(130)는 조향 컬럼에 장착된 토크 센서, 조향 휠에 장착된 접촉식 센서, 모션 인식 센서를 포함할 수 있다. 이때, 모션 인식 센서는 카메라, 자이로 센서, 스트레인 게이지(strain gauge) 등을 포함할 수 있다. 프로세서(140)는 조향 휠로부터 미리 정한 거리를 모션 인식 범위로 설정할 수 있다.

프로세서(140)는 통신부(110), 저장부(120), 표시부(130) 등과 전기적으로 연결될 수 있고, 각 구성들을 전기적으로 제어할 수 있으며, 소프트웨어의 명령을 실행하는 전기 회로가 될 수 있으며, 이에 의해 후술하는 다양한 데이터 처리 및 계산을 수행할 수 있다.

프로세서(140)는 핸즈 온 판단 장치(100)의 각 구성요소들 간에 전달되는 신호를 처리할 수 있다. 프로세서(140)는 예를 들어, 차량에 탑재되는 ECU(electronic control unit), MCU(Micro Controller Unit) 또는 다른 하위 제어기일 수 있다.

프로세서(140)는 모션 인식을 통해 운전자의 손이 조향 휠로부터 미리 정한 범위 내에 존재하는 지를 판단하고, 조향 휠에 운전자의 손이 터치된 상태가 아니더라도 미리 정한 범위 내에 운전자의 손이 존재하면, 핸즈 온(hands on) 상태로 판단할 수 있다.

프로세서(140)는 기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로 모션 인식 기반 핸즈 온 판단 결과의 적합성 여부를 판단하여, 모션 인식 기반으로 판단된 핸즈온 판단 결과를 차량 제어에 이용할 지를 판단할 수 있다.

이때, 기상 조건은 날씨 양호, 날씨 보통, 및 날씨 불량으로 구분될 수 있고, 모션 센싱 유효성은 센싱시간 양호, 센싱 시간 부족, 센싱존 양호, 및 센싱존 불량으로 구분될 수 있고, 주행 도로 구분은 신호등 없는 고속화 도로, 신호등 있는 도심내 일반 도로, 및 특수 구간 도로로 구분될 수 있으며, 차량 제어 상태는 차선 변경 미제어 상황, 젠틀 커브 인레인(IN-lane) 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 급커브 인레인(In-Lane) 주행으로 구분될 수 있고, 운전자 상태는 시선 안정, 시선 불안정, 및 시선 판단 보통으로 구분될 수 있다.

프로세서(140)는 기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로, 즉시 모션 인식으로 판단한 핸즈온 신호 이용, 모니터링 시간이내 모션 인식으로 판단된 핸즈온 신호 이용, 모션 인식 기반 핸즈온 신호 대체 판단 유보(운전자에게 재신호 요청), 모션 인식 기반 핸즈온 신호 대체 판단 불가(운전자에게 불가 상황 알림)을 결정할 수 있다.

프로세서(140)는 기상 조건이 날씨가 양호 또는 보통이고, 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱 시간 부족 중 하나 인 경우, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우, 차량 제어 상태가 차선 변경 미제어 상황 또는 젠틀 커브 인레인 주행인 경우이고, 상기 운전자 상태가 항상 시선 안정 상태인 경우, 즉시 모션 인식 기반으로 인식된 핸즈온 판단 결과를 차량 제어에 적용할 수 있다.

프로세서(140)는 기상 조건이 날씨가 양호 또는 보통이고,

모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 운전자 상태가 시선 안정인 상태에서 차량 제어 상태가 운전자에 의한 제동 및 가속 명령이거나 차선 변경 제어 상황인 경우, 미리 정한 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과를 적용할 수 있다.

프로세서(140)는 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행인 경우, 및 차선 변경 제어 상황 중 하나인 경우이면서 운전자 상태가 시선 판단 보통인 경우, 미리 정한 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과를 차량 제어에 적용할 수 있다.

프로세서(140)는 기상 조건이 날씨가 양호 또는 보통이고, 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 운전자 상태가 시선 안정 또는 시선 판단 보통이면서, 차량 제어 상태가 운전자에 의한 제동 및 가속 명령 또는 급커드 인레인 주행 상황인 경우, 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보 할 수 있다.

프로세서(140)는 기상 조건이 날씨가 양호 또는 보통이고, 모션 센싱 유효성 조건이 센싱시간 부족이고, 주행 도로가 신호등 없는 고속화 도로이며 운전자 상태가 항상 시선 안정이면서, 차량 제어 상태가 차선 변경 제어 상황인 경우, 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보 할 수 있다.

프로세서(140)는 기상 조건이 날씨가 양호 또는 보통이고, 모션 센싱 유효성 조건이 센싱 존 불량이고, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로이며, 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 모션 인식 기반 핸즈온 신호 대체 판단을 유보하는 할 수 있다.

프로세서(140)는 기상 조건이 날씨가 양호이고, 모션 센싱 유효성 조건이 센싱 존 불량이고, 주행 도로가 신호등 없는 고속화 도로이고, 차량 제어 상태가 차선 변경 미제어 상황이고 운전자 상태가 시선불안정 상태인 경우 모션 인식 기반 핸즈온 신호 대체 판단을 유보 할 수 있다.

프로세서(140)는 기상 조건이 날씨가 양호 또는 보통이고, 모션 센싱 유효성 조건이 센싱 시간 양호 또는 센싱 존 양호이고, 주행 도로가 특수구간도로이고, 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 모션 인식 기반 핸즈온 신호 대체 판단을 유보 할 수 있다.

프로세서(140)는 기상 조건이 날씨 불량인 경우, 나머지 조건과 상관 없이 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하고 운전자에게 알림 할 수 있다.

프로세서(140)는 운전자 상태가 시선 불안정인 경우, 나머지 조건과 상관없이 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하되, 운전자 상태가 시선 불안정인 경우라도 날씨 양호, 센싱존 불량, 신호등 없는 고속화도로, 차선 변경 미제어 상황인 경우, 모션 인식 기반 핸즈온 신호 대체 판단을 유보 할 수 있다.

프로세서(140)는 기상 조건이 날씨 양호 또는 날씨 보통이고, 모션 센싱 유효성 조건이 센싱 시간 부족 또는 센싱 존 불량이고, 주행 도로가 특수구간 도로이고, 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단 할 수 있다.

프로세서(140)는 모션 센싱 유효성 조건이 센싱 존 불량인 상태에서, 기상 조건이 날씨 불량, 주행 도로가 특수구간 도로, 차량 제어 상태가 운전자에 의한 제동 및 가속 명령 또는 급커브 인레인 주행, 운전자 상태가 시선 불안정 중 적어도 하나 이상의 상태인 경우, 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단 할 수 있다.

차량 제어 장치(200)는 핸즈 온 판단 장치(100)로부터 핸즈온 판단 결과를 수신하여 차량의 자율 주행 제어를 수행할 수 있다.

경고 장치(300)는 사용자의 핸즈 오프 시 핸즈 온을 유도하기 위한 경고를 수행할 수 있다. 이때, 경고는 시각, 청각, 촉각 등 다양한 방법으로 수행될 수 있다.

표시 장치(400)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다. 여기서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다. 출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다. 본 발명에서 출력수단은 핸즈 오프를 경고하는 문구를 출력할 수 있다.

이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.

본 발명은 핸드오프(Hands-Off)에서 핸드온(Hands-ON) 조건으로 상태천이 하는 과정에서 시간지연에 따른 불편함을 해소하고, 운전자가 매번 조향 휠을 직접 잡아야 하는 번거로움을 개선할 수 있다. 또한, 본 발명은 ADAS/자율주행 모드로 주행 중 상황에서 조향 컬럼 토크 풀림 임계 시점에서의 연속성을 높일 수 있다.

도 2는 본 발명의 일 실시 예에 따른 핸즈 오프 시 경고 과정을 설명하기 위한 예시도이고, 도 3은 본 발명의 일 실시 예에 따른 핸즈 온 판단 시 표시 장치에 표시되는 예시 화면을 나타내는 도면이다.

도 2를 참조하면, 자율 주행 중 핸즈 오프 상태로 15초 경과 시 핸즈 온 판단 장치(100)는 1차 시각 경고를 수행하고 도 3의 301과 같이 운전자가 핸즈온을 하도록 유도하는 문구를 출력한다.

이 후, 핸즈 오프 후 30초 경과 시 핸즈 온 판단 장치(100)는 시각 경고 및 청각 경고를 함께 출력하고 계속 핸즈 오프 상태이면 자율 주행 시스템을 오프시킨다. 도 3의 302와 같이 자율 주행 기능 중 하나인 고속도로 주행 보조 시스템의 해제를 안내하고, 도 3의 303과 같이 자동 주행 속도의 제한을 안내한다.

도 4는 본 발명의 일 실시 예에 따른 모션 인식 기반으로 핸즈 오프를 판단하는 예시 화면을 나타내는 도면이다.

도 4를 참조하면, 핸즈 온 판단 장치(100)는 모션을 인식함으로써 401과 같이 운전자가 조향휠을 파지하거나 402와 같이 운전자가 조향 휠을 터치하지 않은 상태 즉 조향 휠에서 약간 떨어진 상태인 경우도 운전자가 핸즈 온 상태인 것으로 판단할 수 있다.

그러나, 404와 같이 운전자가 팔짱을 끼는 등 조향휠과 멀리 떨어져 있는 경우 핸즈 온 판단 장치(100)는 핸즈 오프 상태인 것으로 판단한다.

핸즈 온 판단 장치(100)는 이처럼 모션 인식을 통해 핸즈 오프를 판단함으로써 센서 등에 의한 핸즈 온 판단 시보다 좀 더 넓은 범위를 핸즈 온 상태로 판단함으로써, 핸즈 오프에서 핸즈 온 상태로 천이되는 것에 의한 지연 시간을 최소화할 수 있다.

이와 같이, 본 발명은 운전자의 손이 조향휠에 터치 하지 않아도 조향 휠로부터 미리 설정한 범위 내에 위치하는 경우, 조향 휠을 터치하고 있는 상태(핸즈 온 상태)로 인식하여, 불필요한 핸즈 오프에서 핸즈온 상태천이 시간을 단축할 수 있으며, 운전자가 매번 조향 휠을 파지 하지 않아도 되어 운전자의 편의성을 증대시킬 수 있다.

또한, 본 발명은 ADAS/자율주행 모드로 주행 중 상황에서 조향 컬럼토크 풀림 임계 시점에서의 연속성을 높일 수 있어, 안정성을 높일 수 있다.

또한, 본 발명은 모션 인식을 기반으로 트릭 핸즈온 상태(예, 패트병 등으로 가짜로 핸즈온 된 상태 인 것처럼 하는 경우)를 정확히 파악함으로써 트릭 핸즈온에 의한 위험 상황을 감소시킬 수 있다.

이하, 도 5를 참조하여 본 발명의 일 실시 예에 따른 핸즈 온 판단 방법을 구체적으로 설명하기로 한다. 도 5는 본 발명의 일 실시 예에 따른 핸즈 온 판단 방법을 설명하기 위한 순서도이다.

이하에서는 도 1의 핸즈 온 판단 장치(100)가 도 5의 프로세스를 수행하는 것을 가정한다. 또한, 도 5의 설명에서, 장치에 의해 수행되는 것으로 기술된 동작은 핸즈 온 판단 장치(100)의 프로세서(140)에 의해 제어되는 것으로 이해될 수 있다.

도 5를 참조하면 핸즈 온 판단 장치(100)는 기상 조건을 판단할 수 있다. 이때, 기상 조건은 날씨 양호, 날씨 보통, 날씨 불량을 포함할 수 있다.

핸즈 온 판단 장치(100)는 모션 센싱(모션 인식 레벨) 유효성을 판단할 수 있다(S120). 모션 센싱 유효성은 센싱시간 양호, 센싱 시간 부족, 센싱존 양호, 센싱존 불량으로 구분될 수 있다.

핸즈 온 판단 장치(100)는 주행 도로 구분을 판단할 수 있다(S130). 주행 도로 구분은 신호등 없는 고속화 도로, 신호등 있는 도심내 일반 도로, 특수 구간 도로로 구분될 수 있다.

핸즈 온 판단 장치(100)는 차량 제어 상태를 판단할 수 있다(S140). 차량 제어 상태는 차선 변경 미제어 상황, 젠틀커브 인레인(IN-lane) 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 급커브 인레인(In-Lane) 주행으로 구분될 수 있다.

핸즈 온 판단 장치(100)는 운전자 상태를 판단할 수 있다(S150). 이때, 운전자 상태는 운전자 시선 정보를 의미한다. 이에 운전자 상태는 시선 안정, 시선 불안정, 시선판단 보통으로 구분될 수 있다.

핸즈 온 판단 장치(100)는 기상 조건, 모션 센싱 유효성, 주행 도로 구분, 차량 안정 상태, 및 운전자 상태 등을 이용하여 아래와 같은 대응안을 수행할 수 있다(S160).

1. 즉시 모션 인식으로 핸즈온 신호 대체

2. 모니터링 시간 모션 인식으로 핸즈온 신호 대체

3. 핸즈온 신호 대체 판단 유보(운전자에게 재신호 요청)

4. 핸즈온 신호 대체 판단 불가(운전자에게 불가 상황 알림)

즉시 모션 인식으로 핸즈온 신호 대체는 즉시 모션 인식으로 핸즈온을 판단하고 센서로 판단한 핸즈온 신호 대신에 즉시 모션 인식으로 판단한 핸즈온 신호로 대체하여 이용하는 것을 의미하고, 모니터링 시간 모션 인식으로 핸즈온 신호 대체는 센서에 의한 핸즈온 신호를 모니터링 시간 이내 모션 인식 기반으로 판단된 핸즈온 신호로 대체 하는 것을 의미할 수 있다.

핸즈온 신호 대체 판단 유보는, 모션 인식 기반 핸즈온 신호로 대체하기 위한 판단을 유보하는 것을 의미하고, 핸즈온 신호 대체 판단 불가는, 모션 인식 기반 핸즈온 신호로 대체하기 위한 판단이 불가능한 상태임을 의미할 수 있다.

예컨데, 차로 변경 보조 제어 시스템의 경우 방향 지시등 인가 후 미리 정한 시간(예, 2초) 이내에 핸즈온 해야 하는데, 사용자가 핸즈온을 미리 정한 시간 이내에 하지 않는 경우 차로 변경 보조 제어 시스템이 해제되거나 운전자에게 핸즈온을 재 요청하게 된다. 이에 급박한 상황 시 차량 제어가 수행되지 않고 운전자에게 핸즈 온만을 요구하는 상황이 되어 운전자에게 핸즈온을 요구하고 운전자가 핸즈 오프상태에서 핸즈 온이 되는 시간까지 차량 제어 공백이 발생하게 되고 이로 인해 위험한 상황에 처하게 될 수 있다.

이에 본 발명에서는 모션 인식을 기반으로 핸즈 온 상태를 좀 더 넓은 범위로 인정하여 핸즈 오프 상태로 인한 차량 제어 공백을 최소화할 수 있다.

이러한 핸즈 온 판단 장치(100)는 차로 변경 보조 제어 시스템, 차로 유지 시스템, 고속 도로 자율 주행 시스템(Highway Driving Pilot: HDP) 등에 적용될 수 있다.

이하, 표 1 내지 표 15를 기반으로 모션 인식 기반 핸즈온 신호 대체 경우의 예시를 구체적으로 설명하기로 한다.

표 1은 즉시(예, 50ms 이내) 모션 인식으로 핸즈온 신호를 대체하는 경우를 개시한다.

즉 기상 조건이 날씨 양호 또는 보통이고, 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우, 차량 제어 상태가 차선 변경 미제어 상황 또는 젠틀 커브 인레인 주행인 경우이고, 운전자 상태가 항상 시선 안정 상태인 경우, 핸즈 온 판단 장치(100)는 즉시 모션 인식 기반으로 인식된 핸즈 온 판단 결과(핸즈 온 신호)를 이용하여 차량 제어에 적용할 수 있다.

표 2 및 표 3은 모니터링 시간(예, 2000ms 이내) 동안의 모션 인식으로 핸즈온 신호를 대체하는 경우를 개시한다.

표 2는 기상 조건이 날씨 양호고, 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 운전자 상태가 시선 안정인 상태에서 차량 제어 상태가 운전자에 의한 제동 및 가속 명령이거나 차선 변경 제어 상황인 경우 핸즈 온 판단 장치(100)는 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과(핸즈 온 신호)를 이용하여 차량 제어에 적용할 수 있다.

또한, 기상 조건이 날씨 양호이고, 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행인 경우, 및 차선 변경 제어 상황 중 하나인 경우이면서 운전자 상태가 시선 판단 보통인 경우, 핸즈 온 판단 장치(100)는 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과(핸즈 온 신호)를 이용하여 차량 제어에 적용할 수 있다. 표 3은 기상 조건이 날씨 보통인 경우이고 나머지 조건은 표 2와 같다.

표 4 내지 표 9는 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보(운전자에게 재신호 요청)하는 경우를 개시한다.

표 4는 기상 조건이 날씨 양호이고, 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 운전자 상태가 시선 안정 또는 시선 판단 보통이면서, 차량 제어 상태가 운전자에 의한 제동 및 가속 명령 또는 급커드 인레인 주행 상황인 경우, 핸즈 온 판단 장치(100)는 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보할 수 있다.

한편, 기상 조건이 날씨 양호고, 모션 센싱 유효성 조건이 센싱시간 부족이고, 주행 도로가 신호등 없는 고속화 도로이며 운전자 상태가 항상 시선 안정이면서, 차량 제어 상태가 차선 변경 제어 상황인 경우 핸즈 온 판단 장치(100)는 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보할 수 있다.

표 5는 기상 조건이 날씨 보통인 경우이고 나머지 조건은 표 4와 같다.

표 6 및 표 7에서는 기상 조건이 날씨 양호 또는 보통이고, 모션 센싱 유효성 조건이 센싱 존 불량이고, 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로이며, 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 핸즈 온 판단 장치(100)는 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보할 수 있다.

또한, 기상 조건이 날씨 양호고, 모션 센싱 유효성 조건이 센싱 존 불량이고, 주행 도로가 신호등 없는 고속화 도로이고, 차량 제어 상태가 차선 변경 미제어 상황이고 운전자 상태가 시선불안정 상태인 경우 핸즈 온 판단 장치(100)는 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보할 수 있다.

표 8, 표 9에서는 기상 조건이 날씨 양호 또는 보통이고, 모션 센싱 유효성 조건이 센싱 시간 양호 또는 센싱 존 양호이고, 주행 도로가 특수구간도로이고, 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 핸즈 온 판단 장치(100)는 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보할 수 있다.

이하, 표 10 내지 표 15는 핸즈온 신호 대체 판단 불가의 경우를 표시한다.

표 10 및 표 11에서는 기상 조건이 날씨 불량인 경우, 나머지 조건과 상관 없이 핸즈 온 판단 장치(100)는 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하고 운전자에게 이를 알릴 수 있다.

표 12 및 표 13에서는 운전자 상태가 시선 불안정인 경우, 나머지 조건과 상관없이 핸즈 온 판단 장치(100)는 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하고 운전자에게 이를 알릴 수 있다. 다만 예외적으로, 운전자 상태가 시선 불안정인 경우라도 날씨 양호, 센싱존 불량, 신호등 없는 고속화도로, 차선 변경 미제어 상황인 경우, 핸즈 온 판단 장치(100)는 모션 인식 기반으로 핸즈온 신호 대체 판단을 유보할 수 있다.

표 14 및 표 15에서는 기상 조건이 날씨 양호 또는 날씨 보통이고, 모션 센싱 유효성 조건이 센싱 시간 부족 또는 센싱 존 불량이고, 주행 도로가 특수구간 도로이고, 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 핸즈 온 판단 장치(100)는 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단 할 수 있다.

또한, 모션 센싱 유효성 조건이 센싱 존 불량과 함께, 기상 조건이 날씨 불량, 주행 도로가 특수구간 도로, 차량 제어 상태가 운전자에 의한 제동 및 가속 명령 또는 급커브 인레인 주행, 운전자 상태가 시선 불안정 중 적어도 하나 이상의 상태인 경우, 핸즈 온 판단 장치(100)는 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단 할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.

도 6을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.

예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

모션 인식을 통해 운전자의 핸즈 온(hands on) 상태를 판단하고, 기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로 상기 모션 인식 기반 핸즈 온 판단 결과의 이용 여부를 판단하는 프로세서; 및
상기 모션 인식을 위한 데이터가 저장되는 저장부;
를 포함하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 운전자의 손이 조향 휠로부터 미리 정한 범위내에 위치하는 경우 핸즈 온 상태인 것으로 판단하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 기상 조건은 날씨 양호, 날씨 보통, 및 날씨 불량으로 구분될 수 있고,
상기 모션 센싱 유효성은 센싱시간 양호, 센싱 시간 부족, 센싱존 양호, 및 센싱존 불량으로 구분될 수 있고,
상기 주행 도로 구분은 신호등 없는 고속화 도로, 신호등 있는 도심내 일반 도로, 및 특수 구간 도로로 구분될 수 있으며,
상기 차량 제어 상태는 차선 변경 미제어 상황, 젠틀커브 인레인(IN-lane) 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 급커브 인레인(In-Lane) 주행으로 구분될 수 있고,
상기 운전자 상태는 시선 안정, 시선 불안정, 및 시선 판단 보통으로 구분될 수 있는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우, 상기 차량 제어 상태가 차선 변경 미제어 상황 또는 젠틀 커브 인레인 주행인 경우이고, 상기 운전자 상태가 항상 시선 안정 상태인 경우,
즉시 모션 인식 기반으로 인식된 핸즈온 판단 결과를 차량 제어에 적용하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 기상 조건이 날씨가 양호 또는 보통이고,
상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 상기 운전자 상태가 시선 안정인 상태에서 차량 제어 상태가 운전자에 의한 제동 및 가속 명령이거나 차선 변경 제어 상황인 경우,
미리 정한 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과를 적용하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 상기 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행인 경우, 및 차선 변경 제어 상황 중 하나인 경우이면서 상기 운전자 상태가 시선 판단 보통인 경우,
미리 정한 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과를 차량 제어에 적용하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 상기 운전자 상태가 시선 안정 또는 시선 판단 보통이면서, 상기 차량 제어 상태가 운전자에 의한 제동 및 가속 명령 또는 급커드 인레인 주행 상황인 경우,
모션 인식 기반으로 핸즈온 신호 대체 판단을 유보하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱시간 부족이고, 상기 주행 도로가 신호등 없는 고속화 도로이며 상기 운전자 상태가 항상 시선 안정이면서, 상기 차량 제어 상태가 차선 변경 제어 상황인 경우,
모션 인식 기반으로 핸즈온 신호 대체 판단을 유보하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 존 불량이고, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로이며, 상기 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 상기 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우,
모션 인식 기반 핸즈온 신호 대체 판단을 유보하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 기상 조건이 날씨가 양호이고, 상기 모션 센싱 유효성 조건이 센싱 존 불량이고, 상기 주행 도로가 신호등 없는 고속화 도로이고, 상기 차량 제어 상태가 차선 변경 미제어 상황이고 상기 운전자 상태가 시선불안정 상태인 경우 모션 인식 기반 핸즈온 신호 대체 판단을 유보하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호 또는 센싱 존 양호이고, 상기 주행 도로가 특수구간도로이고, 상기 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 상기 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우, 모션 인식 기반 핸즈온 신호 대체 판단을 유보하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 기상 조건이 날씨 불량인 경우, 나머지 조건과 상관 없이 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하고 운전자에게 알림하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 운전자 상태가 시선 불안정인 경우, 나머지 조건과 상관없이 모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하되, 상기 운전자 상태가 시선 불안정인 경우라도 날씨 양호, 센싱존 불량, 신호등 없는 고속화도로, 차선 변경 미제어 상황인 경우, 모션 인식 기반 핸즈온 신호 대체 판단을 유보하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 기상 조건이 날씨 양호 또는 날씨 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 부족 또는 센싱 존 불량이고, 상기 주행 도로가 특수구간 도로이고, 상기 차량 제어 상태가 차선 변경 미제어 상황, 젠틀 커브 인레인 주행, 차선 변경 제어 상황, 운전자에 의한 제동 및 가속 명령, 및 급커브 인레인 주행 중 하나이고, 상기 운전자 상태가 시선 안정 상태 또는 시선 판단 보통인 경우,
모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하는 것을 특징으로 하는 핸즈 온 판단 장치.
청구항 1에 있어서,
상기 프로세서는,
상기 모션 센싱 유효성 조건이 센싱 존 불량인 상태에서,
상기 기상 조건이 날씨 불량, 상기 주행 도로가 특수구간 도로, 상기 차량 제어 상태가 운전자에 의한 제동 및 가속 명령 또는 급커브 인레인 주행, 상기 운전자 상태가 시선 불안정 중 적어도 하나 이상의 상태인 경우,
모션 인식 기반 핸즈온 신호 대체 판단 불가 상태로 판단하는 것을 특징으로 하는 핸즈 온 판단 장치.
모션 인식을 통해 운전자의 핸즈 온(hands on) 상태를 판단하고, 기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로 상기 모션 인식 기반 핸즈 온 판단 결과의 이용 여부를 판단하는 핸즈 온 판단 장치; 및
상기 핸즈 온 판단 장치에 의해 판단된 결과를 기반으로 차량을 제어하는 차량 제어 장치;
를 포함하는 것을 특징으로 하는 차량 시스템.
모션 인식을 통해 운전자의 핸즈 온(hands on) 상태를 판단하는 단계;
기상 조건, 모션 센싱 유효성 조건, 주행 도로 구분, 차량 제어 상태, 및 운전자 상태 중 적어도 하나 이상을 기반으로 상기 모션 인식 기반 핸즈 온 판단 결과의 이용 여부를 판단하는 단계; 및
상기 핸즈 온 판단 장치에 의해 판단된 결과를 기반으로 차량을 제어하는 단계;
를 포함하는 것을 특징으로 하는 차량 제어 방법.
청구항 17에 있어서,
상기 핸즈 온 상태를 판단하는 단계는,
상기 운전자의 손이 조향 휠로부터 미리 정한 범위내에 위치하는 경우 핸즈 온 상태인 것으로 판단하는 것을 특징으로 하는 차량 제어 방법.
청구항 17에 있어서,
상기 차량을 제어하는 단계는,
상기 기상 조건이 날씨가 양호 또는 보통이고, 상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우, 상기 차량 제어 상태가 차선 변경 미제어 상황 또는 젠틀 커브 인레인 주행인 경우이고, 상기 운전자 상태가 항상 시선 안정 상태인 경우,
즉시 모션 인식 기반으로 인식된 핸즈온 판단 결과를 차량 제어에 적용하는 단계; 를 포함하는 것을 특징으로 하는 차량 제어 방법.
청구항 17에 있어서,
상기 차량을 제어하는 단계는,
상기 기상 조건이 날씨가 양호 또는 보통이고,
상기 모션 센싱 유효성 조건이 센싱 시간 양호, 센싱 존 양호, 센싱시간 부족 중 하나 인 경우이고, 상기 주행 도로가 신호등 없는 고속화 도로 또는 신호등 있는 도심내 일반 도로인 경우이고, 상기 운전자 상태가 시선 안정인 상태에서 차량 제어 상태가 운전자에 의한 제동 및 가속 명령이거나 차선 변경 제어 상황인 경우,
미리 정한 모니터링 기간 이내에 모션 인식 기반으로 인식된 핸즈 온 판단 결과를 적용하는 단계;
를 포함하는 것을 특징으로 하는 차량 제어 방법.