KR20210000465A - 차량 내 제스처 입력을 이용한 제어 시스템 - Google Patents

Abstract

본 발명은 차량 내 제스처 입력을 이용한 제어 시스템에 관한 것으로, 보다 상세하게는 차량 탑승자의 제스처를 입력 받아 차량의 기능 실행을 제어하는 시스템에 관한 것이다.
본 발명에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 주변 상황 정보 및 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하되, 프로세서는 주변 상황 정보 및 사용자의 제스처에 따라, 동일한 제스처에 대해 상이한 기능을 실행시키는 명령을 전송한다.

Description

차량 내 제스처 입력을 이용한 제어 시스템{CONTROL SYSTEM USING GESTURE IN VEHICLE}

본 발명은 차량 내 제스처 입력을 이용한 제어 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 탑승자의 제스처를 입력 받아 차량의 기능 실행을 제어하는 시스템에 관한 것이다.

차량은 기본적인 주행 기능 외에도 오디오, 비디오, 내비게이션, 공조 제어, 조명 제어 등 사용자의 편의를 위한 부가적인 기능을 제공한다.

이러한 기능을 수행하기 위해서 차량은 하드 키 방식, 터치 스크린 방식, 제스처 인식 방식 등으로 사용자로부터 동작 명령을 입력 받게 된다.

차량용 제스처 인식 시스템은 머신 비전으로 데이터를 수집하고, 차량 내 휴먼 머신 인터페이스를 통해 차량 내 다양한 운전자 지원 기능을 조작하도록 하는 전자 시스템으로 정의된다.

그런데, 종래 기술에 따른 차량용 제스처 인식 기술은 단순히 제스처를 입력 받고 해당 제스처에 대응되는 기능을 제공함에 그쳐, 운전자는 해당 기능을 실행하기 위한 제스처(예컨대, 에어컨의 온도 상승을 위해서는 손을 펴고 손을 아래에서 위로 올리고, 오디오의 볼륨 상승을 위해서는 검지와 중지를 펴고 손을 아래에서 위로 올리는 등)를 일일이 학습하여야 하여, 사용자 편의성이 떨어지는 문제점이 있고, 동일한 제스처에 대해 상황 별로 다른 입력 제어를 수행하는 것이 불가능한 문제점이 있다.

또한, 종래 기술에 따르면 단순히 제스처 입력 기능만 존재하여, 차량 주변 환경을 고려하여 동일한 제스처 입력에 대해 상이한 기능을 제공하지 못하는 한계가 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 주변 환경을 고려하여 동일한 제스처 입력에 대해서 상이한 기능 제공이 가능한 차량 내 제스처 입력을 이용한 제어 시스템을 제공하는데 그 목적이 있다.

본 발명에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 주변 상황 정보 및 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하되, 프로세서는 주변 상황 정보 및 사용자의 제스처에 따라, 동일한 제스처에 대해 상이한 기능을 실행시키는 명령을 전송한다.

제스처는 차 내에 배치된 3D 카메라를 통해 인식된다.

프로세서는 횡단 대기 또는 횡단 중인 보행자의 존재와 관련한 정보를 주변 상황 정보로 고려하여, 사용자의 제스처에 따라 보행자 안내 메시지를 표출하도록 제어한다.

프로세서는 외부 커뮤니케이션 장치를 통한 텍스트 메시지, 스피커를 이용한 오디오 메시지, 조명 장치를 이용한 메시지 중 적어도 어느 하나를 보행자 안내 메시지로 표출하도록 제어한다.

프로세서는 타 차량으로 보행자 주의 메시지를 제공한다.

프로세서는 주행 상황 정보를 고려하여, 사용자의 제스처에 따라 외부 커뮤니케이션 장치를 통해 외부 차량으로 메시지를 제공한다.

프로세서는 주행 상황 정보에 따라 차선 변경 상황인 것을 확인하면, 사용자의 제스처에 따라 양해를 구하는 메시지를 외부 차량으로 제공한다.

본 발명의 실시예에 따르면, 차량 주변 환경에 따라 동일한 제스처 입력에 대해서 상이한 기능을 제공함으로써, 주변 환경에 따른 기능 제공이 가능한 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자 안내 표시를 위한 제스처 입력을 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자를 향한 문구 표시를 나타내는 예시도이다.
도 4는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 경고 표시를 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자 미감지 시 제스처 입력에 따른 제어를 나타내는 예시도이다.
도 6은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 외부 커뮤니케이션을 위한 제스처 입력을 나타내는 예시도이다.
도 7은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 외부 커뮤니케이션의 양태로서 문구 표출을 나타내는 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 접촉 상태 스와이프 제스처 입력에 대한 예시도이다.
도 9는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 비접촉 상태 스와이프 제스처 입력에 대한 예시도이다.
도 10은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 블록도이다.
도 11은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 운전자 감정 상태에 따른 제스처 입력 제어를 나타내는 예시도이다.
도 12는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 객체 선택 제스처를 나타내는 예시도이다.
도 13은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 객체 선택 제스처 및 음성 입력에 따른 제어를 나타내는 예시도이다.
도 14및 도 15는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 기기 선택 제스처 및 음성 입력에 따른 제어를 나타내는 예시도이다.
도 16은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 윈드실드 내 영상이 겹쳐진 상황에서 운전자의 선택 제스처 및 음성 입력을 나타내는 예시도이다.
도 17은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 운전자의 선택 제스처 및 음성 입력에 따른 정보 표출과 영상 이동을 나타내는 예시도이다.
도 18은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 영상 영역 복귀를 나타내는 예시도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템을 나타내는 블록도이다.

본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 주변 상황 정보 및 사용자의 제스처를 수신하는 입력부(110)와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리(120) 및 제어 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 주변 상황 정보 및 사용자의 제스처에 따라, 동일한 사용자의 제스처에 대해 상이한 기능을 실행하도록 하는 명령을 전송한다.

제스처는 차 내에 배치된 3D 카메라를 통해 인식된다.

프로세서(130)는 횡단 대기 또는 횡단 중인 보행자의 존재와 관련한 정보를 주변 상황 정보로 고려하여, 사용자의 제스처에 따라 보행자 안내 메시지를 표출하도록 제어한다.

프로세서(130)는 외부 커뮤니케이션 장치를 통한 텍스트 메시지, 스피커를 이용한 오디오 메시지, 조명 장치를 이용한 안내 중 적어도 어느 하나를 보행자 안내 메시지로 표출하도록 제어한다.

프로세서(130)는 타 차량으로 보행자 주의 메시지를 제공한다.

프로세서(130)는 주행 상황 정보를 고려하여, 사용자의 제스처에 따라 외부 커뮤니케이션 장치를 통해 외부 차량으로 메시지를 제공한다.

프로세서(130)는 주행 상황 정보에 따라 차선 변경 상황인 것을 확인하면, 사용자의 제스처에 따라 양해를 구하는 메시지를 외부 차량으로 제공한다.

도 2는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자 안내 표시를 위한 제스처 입력을 나타내는 예시도이다.

도 2를 참조하면, 차량 전방 횡단보도(신호등이 없는 횡단보도)에서 횡단하려고 기다리는 보행자(P)가 존재하고, 운전자가 손을 좌우로 흔들어 (t1→t2→t3→t4) 건너가라는 의사 표시를 제스처로 입력한다.

종래에는 차량 내부에서 운전자의 수신호를 보고 보행자가 차량이 정차할 것임을 인지하고 길을 건넜지만, 썬팅 또는 야간 주행 상황 등 차량 내부가 보이지 않는 경우에는 이러한 식별이 어려우므로, 본 실시예에서는 카메라(200)를 통해 인식한 운전자의 제스처를 통해, 프로세서는 보행자에게 길을 건너가라는 메시지를 표출하도록 제어한다.

도 3을 참조하면, 전술한 상황에서 도 2와 같은 사용자의 제스처가 수신되면, 차량의 전방에 배치되는 외부 커뮤니케이션 장치(700)가 "건너 가십시오"라는 문구를 디스플레이하여, 보행자(P)가 이를 확인하고 횡단할 수 있도록 한다.

이러한 보행자 안내는 전술한 텍스트 메시지 뿐 아니라, 외부 지향성 스피커 등을 통해 오디오 메시지로 제공될 수 있으며, 또한 외부 조명 장치를 통해 횡단 보도를 초록색으로 비춤으로써 보행자로 하여금 횡단하도록 유도하는 것 역시 가능하다.

전방에 보행자가 존재하지 않는 경우, 운전자의 해당 제스처는 도 5에 도시된 바와 같이 본래의 명령(제1 영역에 위치한 콘텐츠를 제2 영역으로 이동시키는 명령)을 수행하는 것으로 입력되고, 그에 따라 콘텐츠의 영역 이동이 이루어진다.

즉, 본 실시예에 따르면 주변 상황 정보(횡단을 하기 위해 기다리는 보행자의 존재 여부에 관한 정보)에 따라, 동일한 제스처에 대해 상이한 기능을 실행시키는 효과가 있다.

도 4는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 경고 표시를 나타내는 예시도이다.

프로세서는 차량의 전방 횡단보도에서 보행자(P)가 길을 건너고 있을 때, 후측방에서 접근하는 다른 차량(C)의 존재에 관한 정보를 수신하면, 이 때 차량에 의해 보행자가 가려져 다른 차량(C)에 의한 보행자 추돌 사고 위험이 있으므로, 다른 차량(C)에게 경고 알림을 제공한다.

프로세서는 다른 차량(C)이 접근하는 방향으로 차량의 램프를 깜빡이도록 제어하여, 다른 차량(C)의 감속을 유도한다.

또는, 프로세서는 차량의 후면에 배치된 외부 커뮤니케이션 장치(700b)를 통해, "전방 보행자 주의"라는 메시지를 디스플레이하여, 다른 차량(C)으로 하여금 전방 보행자 존재에 관한 정보를 인지하고 감속하도록 유도한다.

또한, 프로세서는 차량의 전면에 배치된 외부 커뮤니케이션 장치(700a)의 문구를 전환하여, "접근 차량에 주의하십시오"라는 메시지를 디스플레이함으로써, 보행자(P)로 하여금 다른 차량(c)의 접근 여부를 인지하고, 안전한 횡단이 이루어질 수 있도록 유도한다.

도 6은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 외부 커뮤니케이션을 위한 제스처 입력을 나타내는 예시도이다.

예를 들어 사용자가 손(H)을 이용하여 왼쪽 또는 오른쪽으로 들어올리는 제스처를 수행할 경우, 프로세서는 차선변경(끼어들기)에 따른 양해를 구하고자 하는 운전자의 의도가 있는 것으로 파악하고, 외부 커뮤니케이션 장치를 통해 메시지를 디스플레이한다.

예컨대, 도 7에 도시한 바와 같이, 제스처 방향에 따라 턴 시그널 램프가 동시에 동작하며, 차량의 측면에 배치된 외부 커뮤니케이션 장치(700c)를 통해 "감사합니다"라는 양해를 구하는 문구를 디스플레이한다.

이 때, 운전자의 제스처 인식은 시트 착좌 자세에서 기설정된 위치(높이) 이상에서 제스처 조작 시 인식됨이 바람직하다.

차선 변경이 완료되면, 차량의 후면에 배치된 외부 커뮤니케이션 장치를 통해 "미안합니다"라는 양해 문구를 디스플레이한다.

또한, 프로세서는 차량의 급정거가 발생한 경우, 운전자가 손을 들어올리는 제스처에 따라, 후면에 배치된 외부 커뮤니케이션 장치를 통해 "미안합니다"라는 양해 문구를 디스플레이하는 것이 가능하다.

프로세서는 운전자의 제스처와 주행 히스토리 정보를 고려하여, 동일한 제스처에 대해 상이한 기능을 제공한다.

예컨대, 급정거 상황이 아니라 일반적인 감속 상황인 경우, 운전자가 손을 들어올리는 제스처에 따라 공조기의 바람 세기를 크게 하는 기능(제1 기능)을 제공하고, 급정거 상황에서는 운전자가 손을 들어올리는 제스처에 따라 전술한 "미안합니다"라는 양해 문구를 디스플레이하는 기능(제2 기능)을 제공한다.

도 8 및 도 9를 참조하면, 본 발명의 다른 실시예에 다른 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용 양태에 따라 동일한 사용자의 제스처에 대해 상이한 기능을 실행시킨다.

본 발명의 다른 실시예에 다른 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용 양태에 따라 동일한 사용자의 제스처에 대해 상이한 기능을 실행하도록 하는 명령을 전송한다.

본 발명의 다른 실시예에 따른 입력부는 3D 카메라(ToF, 스트럭쳐, 스테레오, DSM-Driver Status Monitoring 카메라 등)가 사용자(운전자, 동승자)의 제스처 동작을 감지한 정보를 입력 받고, 사용자의 제스처에 수반되는 작동 상태(사용 양태)를 수신한다.

프로세서는 사용자의 제스처에 수반되는 작동 상태를 포함하는 사용 양태에 따라, 동일 제스처에 대해 상이한 차량 내 기능을 실행하도록 하는 명령을 전송한다.

터치 패드(300) 또는 암래스트 접촉 상태는 사용자의 제스처에 수반되는 작동 상태의 일례이다.

도 8은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 접촉 상태 스와이프 제스처 입력에 대한 예시도이고, 도 9는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 비접촉 상태 스와이프 제스처 입력에 대한 예시도이다.

이 때, 도 8 및 도 9에 도시된 바와 같이, 스와이프 제스처 입력은 사용자가 오른손을 이용하여 왼쪽에서 오른쪽으로 스와이프(t1→t2)하는 제스처인 것으로 가정한다.

도 8을 참조하면, 윈드실드 영역은 제1 영역(A1) 및 제2 영역(A2)을 포함한다.

도 8에 도시한 바와 같이, 사용자가 터치패드(300)에 팔을 접촉한 상태에서 오른손을 왼쪽에서 오른쪽으로 스와이프하는 제스처를 입력하는 경우, 입력부는 카메라에 의해 획득된 사용자의 제스처 동작과 관련된 정보를 수신하고 터치패드에 의해 획득된 팔의 거치 상태와 관련된 정보를 수신한다.

프로세서는 해당 제스처 및 팔의 거치 상태에 대응되는 동작 명령으로써, 영상의 표출 영역을 제1 영역에서 제2 영역으로 이동(A1→A2)시키는 명령을 전송한다.

예컨대, 도 8에 도시한 바와 같이, 터치패드(300)의 접촉 상태에서 기설정된 스와이프 제스처 입력 시, 네비게이션 화면을 제1 영역(A1)에서 제2 영역(A2)으로 이동시키는 것이 가능하다.

도 9를 참조하면, 사용자가 터치패드(300)에 팔을 접촉하지 않은 상태에서 오른손을 왼쪽에서 오른쪽으로 스와이프(t1→t2)하는 제스처를 입력하는 경우, 입력부는 카메라에 의해 획득된 사용자의 제스처 동작과 관련된 정보를 수신하고 터치패드(300)에 의해 획득된 팔의 거치 상태와 관련된 정보를 수신한다.

프로세서는 해당 제스처를 통해, 현재 제1 영역(A1)에서 디스플레이되고 있는 영상 콘텐츠에 대해 "뒤로 가기" 명령을 전송한다.

예컨대, 제1 영역(A1)에 영화 콘텐츠가 표출되고 있고, 해당 영화 콘텐츠에 대한 재생(▶), 일시 정지(ll), 뒤로 가기(<<), 앞으로 가기(>>), 정지(■) 중, 해당 스와이프 제스처에 대응되는 기능인 "뒤로 가기" 명령을 전송하고, 해당 콘텐츠에 대해 재생 시점을 변경시킨다(예: 현재 1:00:04→ 스와이프 동작에 따라 재생 시간을 10초 앞인 0:59:54로 변경).

본 발명의 다른 실시예에 따르면, 운전자의 스와이프 동작이 시작되는 지점과 종료되는 지점 사이의 거리를 고려하여, "뒤로 가기"의 기능을 상이하게 제공할 수 있다(예컨대, 스와이프 동작을 10cm로 짧게 하는 경우 10초 뒤로 가기, 스와이프 동작을 30cm로길게 하는 경우 30초 뒤로 가기 등).

즉, 본 발명의 다른 실시예에 따르면 사용자 제스처에 수반되는 작동 상태(예: 터치패드에 대한 터치 여부)에 따라, 동일한 제스처(오른손을 왼쪽에서 오른쪽으로 스와이프하는 제스처)에 대해 상이한 기능 제공(터치패드 접촉 시에는 영상이 표출되는 영역을 이동하는 기능 제공, 터치패드 비접촉 시에는 영상 콘텐츠의 재생 시점을 이동하는 기능 제공)이 가능하다.

본 발명의 다른 실시예에 따른 프로세서는 사용자의 손 위치와 팔 거치 형태에 따라 제스처 입력에 따른 제어를 상이하게 수행하는데, 예컨대 터치패드에 손이 닿은 경우 터치에 대한 우선 조작권을 부여하고, 터치패드로부터 손이 떨어져 있을 경우 제스처에 따른 조작을 수행한다.

본 발명의 다른 실시예에 따르면 터치패드 또는 암래스트 접촉 여부에 따라 제스처 인식 컨셉이 변화되는데, 예컨대 IVI 영역에 대한 제스처 입력 시, 콘솔부 터치패드 또는 암래스트에 팔꿈치를 기댄 채로 조작을 하는 경우, 지정된 손 모양의 동작에 대한 에어제스처를 인식하고, 그에 대응되는 시스템 동작 명령을 전송한다.

이 때, 시스템 동작 명령으로는 IVI 디스플레이 영역 화면 전환, 모드 선택, 타 차량 보조 기능 실행 등이 포함된다.

본 발명의 다른 실시예에 따르면, 접촉 상태에서 비접촉 상태로 변경되는 경우, UI가 변화되며 가상 터치(에어 터치)에 따른 조작 제스처를 인식한다.

사용자는 윈드실드(Head Up Display, 대화면 디스플레이 등) 또는 다른 아이템 조작을 위해 팔을 들어 비접촉 상태에서 가상 터치 조작을 수행하고, UI(윈드실드 또는 IVI 디스플레이 내 이미지) 변경에 따라 가상 터치 동작을 통해 빠른 실행 요청을 입력할 수 있다.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법은 작동 상태 정보 및 제스처를 수신하는 단계, 작동 상태 정보가 기설정 조건에 만족되는지 여부를 확인하는 단계, 작동 상태 정보가 기설정 조건에 만족되는지 여부에 따라, 제1 제스처에 대응되는 제1 기능 또는 제2 기능을 제공하는 단계를 포함한다.

작동 상태 정보 및 제스처를 수신하는 단계는 차 내 탑승자의 제스처를 인식하는 영상 획득부로부터 탑승자의 제스처(예: 손을 왼쪽에서 오른쪽으로 스와이프하는 동작)를 수신하고, 이와 함께 작동 상태 정보를 수신한다.

일례로, 작동 상태 정보 및 제스처를 수신하는 단계는 터치패드에 사용자의 팔이 접촉되었는지 여부를 작동 상태 정보로서 수신한다.

기설정 조건 확인 단계는 사용자의 팔이 터치패드에 접촉되었는지 여부를 확인하고, 사용자의 팔이 터치패드에 접촉된 경우, 다음 단계로서 작동 상태 정보 및 제스처를 수신하는 단계에서 수신한 제스처(제1 제스처)에 대응되는 제1 기능(컨텐츠가 디스플레이되는 영역을 이동함)을 제공한다.

기설정 조건 확인 단계에서 사용자의 팔이 터치패드에 비접촉된 것으로 확인되면, 다음 단계로서 작동 상태 정보 및 제스처를 수신하는 단계에서 수신한 제스처(제1 제스처)에 대응되는 제2 기능(표출되고 있는 영상 컨텐츠의 재생 시점을 조절-뒤로가기 하는 기능)을 제공한다.

본 발명의 다른 실시예에 따르면, 단순히 제스처를 인식함에 그치는 것이 아니고, 제스처가 이루어지는 작동 상태 정보를 함께 고려하여, 동일한 제스처에 대해서도 상황에 따라 다른 기능을 실행하는 것으로 제스처-기능을 매칭시킴으로써, 사용자 편의성이 증대되는 효과가 있다.

다른 예로서, 작동 상태 정보 및 제스처를 수신하는 단계는 작동 상태 정보로서 운전자의 감정 상태, 운전자의 보이스(음성) 입력 상태, 운전자의 졸림 상태 등을 수신하고, 이에 따라 동일한 제스처에 대해 상이한 기능을 제공하는 것이 가능하다.

예컨대, 작동 상태 정보 및 제스처를 수신하는 단계에서 운전자의 감정 상태를 작동 상태 정보로서 수신하고, 현재 음악이 스트리밍되고 있는 상태를 가정한다.

이 때, 운전자의 감정 상태는 차 내 비치된 카메라를 통해 획득된 운전자의 얼굴 영상을 분석하여, 평온한 감정인지, 찡그린 표정(화난 감정)인지 여부를 판단한다.

또는, 운전자의 웨어러블 디바이스로부터 생체 정보를 공유 받아, 현재 운전자의 감정 상태를 확인하는 것이 가능하다.

또는, 운전자의 스마트폰의 일정 애플리케이션 등을 통해, 운전자가 휴가 중이어서 마음이 평온한 상태인지, 운전자가 빠듯한 업무 일정 중이어서 피로한 감정 상태인지 여부에 대해 확인하는 것이 가능하다.

차 내 비치된 카메라를 통해 획득된 운전자의 얼굴 영상이 찡그린 표정인 것으로 판단되고, 운전자가 다음 노래를 플레이하도록 하는 제스처(오른 손으로 왼쪽에서 오른쪽으로 스와이프하는 동작)를 입력하는 경우, 기설정 조건 확인 단계는 운전자의 감정상태가 "화남"에 해당하는 기설정 조건이 만족된 것으로 확인하고, 다음 단계로서 해당 제스처에 대해 단순히 플레이리스트 상 다음 순서의 노래를 재생하는 것이 아니라, 운전자의 기분이 좋아지도록 하는 노래를 다음 노래로 추천하여 스트리밍하는 제1 기능을 제공한다.

이 때, 기존에 운전자가 노래를 들은 뒤 좋은 피드백을 제공하였던 노래를 추천하여 스트리밍하거나, 빅데이터 분석을 통해 다수의 다른 사용자가 선호하는 노래를 추천하여 스트리밍하거나, 계절, 날씨, 운전자의 성별, 나이, 운전자가 평소 즐겨 듣는 시대/가수/장르를 고려하여 운전자가 선호할만한 노래를 추천하여 스트리밍한다.

차 내 비치된 카메라를 통해 획득된 운전자의 얼굴 영상이 평온한 표정인 것으로 판단되고, 운전자가 다음 노래를 플레이하도록 하는 제스처(오른 손으로 왼쪽에서 오른쪽으로 스와이프하는 동작)를 입력하는 경우, 기설정 조건 확인 단계는 운전자의 감정상태가 평온한 상태로서 기설정 조건이 만족되지 않은 것으로 확인하고, 다음 단계로서 해당 제스처에 대해 플레이리스트 상에서 다음 순서의 노래를 플레이하는 제2 기능을 제공한다.

다른 예로서, 운전자의 음성을 입력 받고, 오른 손을 아래에서 위로 올리는 제스처를 입력 받는다.

기설정 조건 확인 단계에서 운전자의 음성이 "온도"인 것을 확인하면, 다음 단계는 운전자의 음성 입력이 공조기를 제어하는 것으로 판단하여 설정 온도를 1도씨 상승시키는 제1 기능을 제공한다.

기설정 조건 확인 단계에서 운전자의 음성이 "조수석 창문"인 것을 확인하면, 다음 단계는 운전자의 음성 입력이 조수석 창문의 개폐를 제어하는 것으로 판단하여 조수석의 창문을 올려 폐문하는 제2 기능을 제공한다.

전술한 바와 같이, 본 발명의 다른 실시예에 따르면 사용자 제스처에 수반되는 작동 상태 정보에 따라, 동일한 제스처에 대해 상이한 기능 제공을 제공하는 것이 가능하다.

도 10은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 블록도이고, 도 11은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 운전자 감정 상태에 따른 제스처 입력 제어를 나타내는 예시도이다.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 운전자의 상태를 인식하는 운전자 상태 인식부(110a)와, 제스처 정보를 수신하는 제스처 입력부(110b) 및 운전자 상태와 제스처 정보에 따라 동일한 제스처 정보에 대해 상이한 기능을 선별적으로 대응시켜 제공하는 제어부(140)를 포함한다.

운전자 상태 인식부(110a)는 운전자의 감정 상태 정보를 수신하는 것으로, 차 내 DSM 카메라를 통해 운전자의 표정으로부터 감정 상태 정보를 생성하거나, 운전자의 웨어러블 디바이스를 통해 운전자의 생체 정보로부터 감정 상태 정보를 생성하거나, 운전자의 스마트 디바이스의 일정 애플리케이션과 연동되어 운전자의 심리 상태 정보를 생성하는 것이 가능하다.

이하에서는 운전자의 감정 상태 정보와 제스처 정보에 따라, 동일한 제스처 정보에 대해 상이한 기능을 선별적으로 대응시켜 제공하는 실시예에 대하여 서술한다.

도 11에 도시된 바와 같이, 운전자가 주행 중 음악을 듣고 있는 상황에서, 오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처를 입력하면, 제스처 입력부(110b)는 카메라(200)를 통해 인지된 운전자의 제스처 정보를 수신한다.

오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처와 연동되는 기본 기능은 다음 노래를 재생시키는 기능으로 설정되어 있다.

이 때, 운전자 상태 인식부(110a)가 카메라(200)를 통해 수신한 운전자의 표정을 "화남/흥분"으로 분류하면, 제어부(140)는 해당 제스처에 연동되는 기본 기능에 따라 단순히 플레이리스트 상 다음 순서의 노래를 재생시키는 것이 아니라, 운전자의 기분이 좋아지도록 하는 노래를 추천하여 재생시키도록 별도의 기능 실행을 제어한다.

예컨대, 다수의 사용자로부터 기분이 좋아지는 음악으로 추천된 노래, 해당 운전자의 선호도가 높은 노래(계절, 날씨, 시간대 별로 주로 플레이한 것으로 히스토리가 구축된 사용자의 선호도가 높은 노래), 운전자 데이터를 분석한 결과 기분이 좋아지는 변화가 기존에 있었던 노래 등을 추천하여 재생시킨다.

반면, 운전자 상태 인식부(110a)가 카메라(200)를 통해 인식된 운전자의 표정을 "평온"으로 분류하면, 제어부(140)는 해당 제스처의 기본 기능에 따라 플레이리스트 상의 다음 순서의 노래를 재생시키도록 제어한다.

본 실시예에 따르면, 동일 제스처에 대해 운전자의 감정 상태에 따라 상이한 기능을 동작시키는 것이 가능하며, 이는 제스처로 인해 조작되는 엔터테인먼트 기능인 것이 바람직하다.

운전자 상태 인식부(110a) 및 제스처 입력부(110b)를 통해, 운전자의 기분 좋은 표정과 손 또는 얼굴 움직임 동작이 있는 것으로 판단하면, 제어부(140)는 무드램프 이퀄라이징 효과를 통해 운전자의 좋은 기분을 더욱 고취시키도록 제어한다.

운전자 상태 인식부(110a)가 운전자의 찡그린 표정을 인식하고, 제스처 입력부(110b)가 운전자의 코 막음 제스처를 인식하는 경우, 제어부(140)는 공조기의 내/외기를 전환시키거나, 공기청정 모드를 동작시키도록 제어한다.

제스처 입력부(110b)를 통해 입력되는 스와이프 동작은 기본적으로 표출되고 있는 화면/컨텐츠 넘김 동작을 수행하기 위한 제스처로 설정되는데, 차 내 시스템과 연동된 운전자의 스마트폰으로 전화가 오는 경우, 운전자 상태 인식부(110a)를 통해 찡그리는 얼굴 또는 부정적인 음성이 인식되면, 제어부(140)는 해당 스와이프 동작에 따라 전화 수신 거절 명령을 전송한다.

제스처 입력부(110b)를 통해 입력되는 제스처가 운전자가 자신의 가슴 등의 위치에 손을 지속적으로 대는 것이거나, 가슴을 치는 등의 제스처이고, 운전자 상태 인식부(110a)로부터 운전자의 찡그린 표정을 인식한 경우, 제어부(140)는 운전자의 건강 상태 이상이 있음을 판단하고 인근의 병원 위치를 운전자에게 알려주도록 제어한다.

또한, 제어부(140)는 운전자의 건강 상태 이상이 있음에 대해 주변의 구조대원, 병원, 운전자의 지인 등에게 알림을 전송한다.

전술한 실시예에 따르면, 별도의 생체 인식 센서를 구비하지 않은 경우에도, 운전자의 얼굴 인식 결과 및 행동 분석에 따라 운전자의 건강 상태의 이상이 있는지 여부를 판별하고 그에 대응되는 차량 기능(예: 병원 위치 안내, 구조대원 및 지인 연락)을 제공하는 것이 가능하다.

제어부(140)는 운전자 상태 인식부(110a)의 상태 인식 결과에 따라, 차량의 주행 모드를 전환시킨다.

제어부(140)는 운전자의 감정 상태가 "화남/흥분"으로 분류되면, 자율주행 모드로 차량을 구동시키고, 운전자의 감정 상태가 "평온함"으로 분류되면, 자율 주행 또는 수동 주행에 대한 모드를 운전자로부터 선택 받거나, 최근에 저장된 주행 모드를 자동으로 실행시킨다.

이 때, 운전자 상태 인식부(110a)는 운전자가 차량에 탑승하기 전 운전자의 휴대단말로부터 감정 정보를 수신하는 것이 가능하고, 운전자가 차량에 탑승한 후에는 전술한 카메라(200) 등을 통해 운전자의 감정 상태를 인식하는 것이 가능하다.

추가적으로, 운전자 상태 인식부(110a)는 운전자의 행동이나 표정으로부터 운전자의 상태를 인식함에 그치지 않고, 수동 주행 시 주행 패턴 등 외부 정보를 통해 운전자의 상태를 추정하는 것이 가능하다.

예컨대, 운전자가 급출발, 급정거, 급격한 차선 변경을 하고 있는 경우, 운전자가 "화남/흥분" 상태에서 운전을 하고 있는 것으로 추정하고, 추정 결과에 따라 주행 모드를 자동 변경하거나 주행 모드 변경에 대해 추천하는 것이 가능하다.

운전자의 탑승 후 주행이 진행됨에 따라, 운전자 상태 인식부(110a)는 감정 상태를 모니터링하고, 제어부(140)는 모니터링 결과를 고려하여 전술한 자율주행 모드를 유지하거나, 수동 주행 모드에서 자율주행 모드로 전환시킨다.

제어부(140)는 운전자의 감정 상태를 주변 차량에 디스플레이하도록 제어한다.

이 때, 외부 커뮤니케이션 디스플레이를 통해 문구를 표출하거나, V2V를 통해 운전자의 감정 상태 정보를 전송한다.

예컨대, A차량의 운전자가 "화남/흥분" 상태에서도 수동 주행을 하는 경우, 난폭 운전이 될 수 있는데, A 차량은 이러한 운전자의 감정 상태를 주변 차량에 알려줌으로써, 주변의 B 차량(자율주행 모드 시) 또는 B차량의 운전자(수동주행 모드 시)가 A 차량의 난폭 운전에 대해 미리 대비(예: 안전거리 확보하여 운행, A차량 앞으로 차선변경 자제)하는 것이 가능하다.

다른 실시예로서, 운전자 상태 인식부(110a)는 운전자의 졸음 운전 여부에 대한 상태 정보를 수신한다.

이는 카메라(200)를 통해 운전자의 눈이 감기거나, 고개를 끄덕이는 등 졸음 운전에 해당하는 운전자 상태를 인식하는 경우이거나, 또는 제스처 입력부(110b)를 통해 운전자가 자신의 눈을 부비거나 뒷목을 주무르는 등의 제스처를 입력하는 경우, 제어부(140)는 운전자가 졸음 운전 중인 것으로 판단한다.

운전자가 주행 중 음악을 듣고 있는 상황에서, 오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처를 입력하면, 제스처 입력부(110b)는 카메라(200)를 통해 인지된 운전자의 제스처 정보를 수신한다.

오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처는 다음 노래를 재생시키는 제스처인데, 이 때, 운전자 상태 인식부(110a) 및 제스처 입력부(110b)를 통해 운전자의 졸음 운전이 예상되는 경우, 제어부(140)는 단순히 플레이리스트 상의 다음 순서의 노래를 재생시키는 것이 아니라, 운전자의 졸음을 깨울 수 있는 빠른 템포의 노래를 추천하여 재생시키도록 제어한다.

또는, 제어부(140)는 해당 제스처에 따라 운전자의 의도를 반영하여 플레이리스트 상의 다음 순서의 노래를 재생시키되, 운전자의 졸음 운전 상태임을 고려하여 볼륨을 1.5배로 크게 한다.

도 12는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 객체 선택 제스처를 나타내는 예시도이다.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처 및 음성을 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용자의 제스처와 음성에 따라 기기 제어 명령을 전송한다.

도 12를 참조하면, 운전자는 손(H)을 이용하여 차량 주변의 관심 객체를 선택하는 제스처를 입력한다.

예컨대, 차량 주변에는 다른 차량(C), 보행자(P), 교통표지판, 건물 등이 존재하게 되는데, 운전자는 손(H)을 이용하여 외부의 객체를 선택하는 제스처를 행하며, 또한, 운전자의 시선 정보를 트랙킹하여 외부 객체를 선택하는 것 역시 가능하다.

본 실시예에 따르면, 프로세서는 운전자의 손을 이용한 가상 제스처 선택에 따라, 선택된 전방 차량(C)의 정보(속도, 차종, 차량번호, 타 차량 공유 메시지 정보)를 표시하도록 제어하며, 이러한 전방 차량의 정보는 AVN 화면, 클러스터 게이지, HUD, 윈드실드 글라스 등 다양한 영역에 표시된다.

프로세서는 운전자의 손을 이용한 가상 제스처 선택에 따라, 선택된 보행자의 정보(움직임, 도로 접근 상황), 선택된 건물의 정보(이름, 입점 업체, 편의시설), 선택된 교통 표지판의 정보를 표시하도록 제어하며, 이러한 정보들은 전술한 바와 같이 다양한 영역에 표시된다.

입력부는 운전자의 제스처뿐 아니라 운전자의 발화 음성을 수신하고, 프로세서는 선택된 객체(사물, 차량, 기타)에게 음성 수신에 따라 메시지를 전달한다.

예컨대, 도 13을 참조하여, 전방 차량(C)의 후미등이 고장난 상태임을 예를 들어 설명한다.

입력부는 운전자의 손(H)이 전방 차량(C)를 선택하였음에 대한 객체 선택 정보를 수신하고, 운전자의 음성인 "후미등이 고장났어요"라는 음성 정보를 수신한다.

프로세서는 운전자의 제스처와 음성에 따라, 해당 객체인 전방 차량(C)으로 후미등 고장에 대한 알림을 전송하는데, 이러한 알림은 V2V를 통해 전방 차량의 윈드실드나 AVN을 통해 제공된다.

또는, 전술한 알림은 차량의 외부 커뮤니케이션 장치(예: 텍스트를 표출하는 디스플레이)를 통해 해당 차량(C)의 운전자가 인지할 수 있도록, 차량이 해당 차량을 추월하는 경우, 차량의 후면에 배치된 외부 커뮤니케이션 장치를 통해 후미등 고장을 알리는 텍스트 메시지를 표출하고, 차량이 해당 차량과 나란히 달리는 경우, 차량의 타 차량 방향 측면에 배치된 외부 커뮤니케이션 장치를 통해 후미등 고장을 알리는 텍스트 메시지를 표출한다.

예를 들어, 차량(c)이 야간 주행 상황에서 전조등을 켜지 않고 주행하고 있는 경우이고, 입력부를 통해 해당 차량(C)을 선택하는 제스처와 함께 "램프 켜고 안전운전하세요"라는 음성이 입력된 경우, 해당 음성에 관한 텍스트 메시지가 전술한 외부 커뮤니케이션 장치를 통해 표출되거나, V2V를 통해 전방 차량으로 알림이 제공된다.

또한, 전방 해당 차량(C)이 좌우로 휘청거리며 졸음운전인 것으로 의심되는 경우, 입력부는 운전자의 손(H)이 해당 차량(C)을 선택함에 대한 제스처 정보를 입력받고, 음성 정보로서 "조심하세요"를 입력 받는다.

이 때, 프로세서는 긴박한 상황임에 따라, 전방 차량으로 졸음 운전을 하지 말라는 운전자의 음성 정보에 기반한 메시지를 V2V로 전송하고, 이러한 메시지는 수신한 전방 차량으로 하여금 시트 진동 등을 일으켜 전방 차량의 운전자에게 알람을 제공한다.

또한, 프로세서는 전술한 바와 같이, 운전자의 제스처와 음성에 따라, 해당 차량(C)으로 졸음 운전을 하지 말라는 알림 메시지를 텍스트 메시지로서, 외부 커뮤니케이션 장치를 통해 표출하도록 제어한다.

입력부를 통해 차량 주변의 건물을 선택하는 제스처와 함께 "OO시에 XX명 예약해주세요"라는 운전자의 음성이 입력된 경우, 프로세서는 해당 건물로 예약 메시지를 전달한다.

입력부를 통해 차량 주변의 건물을 선택하는 제스처가 입력되면, 프로세서는 해당 건물의 전화 번호 정보를 표출시키고, 운전자의 음성 또는 제스처에 의해 전화 연결에 대한 요청이 수신되면, 해당 전화번호로 전화 발신 처리한다.

입력부를 통해 교통표지판을 선택하는 제스처와 함께 "교통사고, 119신고"라는 운전자의 음성이 입력된 경우, 프로세서는 119 관제센터로 사고 신고 메시지를 전송하고, 이 때 운전자가 교통표지판을 선택한 제스처 정보에 따라, 교통표지판의 정보를 포함하는 사고 신고 메시지를 전송함으로써, 안전/위급상황에 대한 정보를 전달한다.

입력부를 통해 차량 주변의 무단횡단을 하는 보행자(P)가 선택되고, 그와 함께 "무단횡단 하지 마세요"라는 운전자의 음성이 입력된 경우, 프로세서는 해당 보행자에게 해당 메시지를 외부 커뮤니케이션 장치를 통해 텍스트 메시지로 표출한다.

프로세서는 음성 정보 저장 및 판단을 통해, 운전자와 동승자 중 발화자를 구분 인식하고, 송부 메시지의 중요도를 분류한다.

발화자가 운전자인지 동승자인지 여부에 따라 중요도 및 알람 제어가 달라지며(동승자 내용 필터링), 운전자로부터 동승자로 중요도와 관련하여 권한이 이양됨에 따라 메시지를 전달하는 것이 가능하다.

또한, 프로세서는 음성을 통한 공통의 공유 메시지를 전달함으로써, 전방 도로 상황 등 정보에 대해 타 차량의 확인이 가능하도록 한다.

도 14및 도 15는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 기기 선택 제스처 및 음성 입력에 따른 제어를 나타내는 예시도이다.

프로세서는 입력부가 수신한 운전자의 제스처에 따라, 에어제스처/에어터치 기능을 기본적으로 제공하도록 제어한다.

이는 버튼 클릭, 모드 실행 등 기본 제스처 동작에 관한 것으로, 화면 내 표현된 버튼, 모드 선택 및 실행을 포함한다.

입력부는 사용자의 제스처가 가리키는 차량 내 기기에 관한 정보를 수신하고, 그와 함께 사용자의 음성 정보를 수신한다.

프로세서는 입력부가 수신한 제스처에 따라 선택된 차량 내 기기에 관한 정보 및 사용자의 음성 정보를 고려하여, 음성 정보에 따른 동작을 실행한다(숏컷 기능, 퀵 실행).

도 14에 도시된 바와 같이, 입력부가 사용자의 손(H) 제스처에 따라(t1→t2) 공조기(600) 영역에 대한 선택인 것을 수신하고, 사용자의 음성(예: 바람세기와 관련한 강하게, 약하게/ 풍향과 관련한 상, 하, 좌, 우/ 공조 모드에 관련한 에어컨, 온도 등)을 수신하면, 프로세서는 사용자의 손이 가리키는 영역에 해당하는 차량 내 기기인 공조기에 대한 동작 실행을 제어한다.

도 15에 도시된 바와 같이, 입력부가 사용자의 손(H) 제스처에 따라(t1→t2) 네비게이션(400) 영역에 대한 선택인 것을 수신하고, 사용자의 음성(예: "목적지")을 수신하면, 프로세서는 목적지 검색 화면으로 이동하거나, 목적지 검색 리스트를 표출하거나, 목적지를 자동 설정하는 등의 동작 실행을 제어한다.

입력부가 사용자의 손(H) 제스처에 따라(t1→t2) 오디오 기기 영역에 대한 선택인 것을 수신하고, 사용자의 음성(예: 음원 제목, 가수, 장르 등)을 수신하면, 프로세서는 사용자의 음성에 따라 음원 검색 화면으로 이동하거나, 음원 검색 리스트를 표출하거나, 음악을 자동 플레이하도록 동작 실행을 제어한다.

프로세서는 운전자의 제스처와 운전자의 음성을 함께 고려하여 기기의 실행을 제어하므로, 동일한 제스처라고 하더라도 운전자의 상이한 음성 입력에 따라 상이한 기능 실행 제어가 가능하다.

예컨대, 운전자가 "볼륨"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서는 오디오 기기의 음량을 높이도록 실행 제어하고, 운전자가 "바람"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서는 공조기 기기의 풍량을 세게 하도록 실행 제어한다.

또한, 운전자가 "화면"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서는 화면의 밝기를 밝게 하도록 실행 제어한다.

또한, 운전자가 "내비게이션"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서는 지도 화면에 대한 확대를 수행한다.

프로세서는 운전자의 제스처가 검지 손가락으로 입술에 갖다 대는 것이고, 운전자의 음성이 "쉿"인 경우, AVN에서 송출되는 사운드에 대해 음소거시킨다.

또한, 주 기능이 겹쳤을 때에는 특정 제스처를 통한 숏컷(short cut)기능 제공이 가능한데, AVN에서 사운드가 송출되는 중(라디오, 음악 감상 등), 전화가 왔을 때 제스처를 통해 수신되는 전화를 거절하는 것이 가능하다.

또한, 프로세서는 운전자가 "뮤직" 음성을 발화하고 특정 제스처를 입력시키는 경우, 제스처에 따라 컨텐츠/메뉴/재생 리스트 등을 서칭(드래그)하고, "OK, 정지, 스톱"등 운전자의 발화 시 해당 음원의 위치 또는 범위 내에 선택창을 정지시킨다.

또한, 프로세서는 운전자가 음악 감상 중 긍정의 언어(예: 좋다, 최고다 등)와 함께 엄지 손가락을 드는 제스처를 취한 경우, 음악에 대한 정보를 저장하고, 음원을 다운로드 받으며, 플레이스트에 추가시키고, 차량 내 SNS를 통해 긍정적인 피드백을 보내는 등의 절차를 수행한다.

프로세서는 제스처와 다른 입력 정보(터치, 음성, 주변 환경 등)를 통해 선택된 영상(예: 윈드쉴드 디스플레이 내 엔터테인먼트)을 타 기기(휴대단말, 2열 승객 디스플레이, 타 차량)으로 전송한다.

이 때, 2열 승객 디스플레이로 영상 전송 시, 화면을 그대로 전송하고, 휴대단말로 전송 시 화면 사이즈를 고려하여 필수 정보를 추출하여 수정된 영상을 전송한다.

타 차량 전송 시, V2X 통신으로 전송하되, 교통 혼잡 지역에서의 혼잡 제어를 고려하여 전송한다.

이 때, 패킷 유실률이 높을 시 미전송하고, 안전 관련 정보만을 전송한다.

프로세서는 영상 정보 자체를 전송하지 않고, 제스처 심볼만을 전송하며, 수신 디바이스에서 제스처 심볼에 따른 후속 기능 제어를 처리함으로써 데이터 패킷량을 감소시킨다.

도 16은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 윈드실드 내 영상이 겹쳐진 상황에서 운전자의 선택 제스처 및 음성 입력을 나타내는 예시도이다.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용자의 제스처에 따라 화면 내 겹쳐진(layered) 영역에 대한 정보 표시 제어를 수행한다.

종래 기술에 따르면, 화면(예: 윈드쉴드)의 영역을 분할하고, 영역 간에 콘텐츠를 이동하는 구성이 제안되었으나, 화면 내 겹쳐진(layered) 창의 이동에 대한 제스처 컨트롤 방법을 제안하지 못한 문제점이 있다.

도 16을 참조하면, 카메라(200)는 운전자의 손 (H)을 통해 입력되는 제스처 정보를 입력부로 전달한다.

운전자의 손(H)이외에도, 운전자의 시선 방향을 인식하여 아이트래킹으로 운전자의 관심 객체(건물/사물)이 무엇인지 판별하는 것이 가능하다.

도 16은, 차량 내 윈드쉴드(layer 1, 주 화면)의 기설정 영역(A1)에 네비게이션 정보가 표출되어 있고(layer 2, 내비게이션, 엔터테인먼트 등), 운전자가 영역(A1)을 응시하던 중 네비게이션 정보 표출에 의해 가려진 외부에 있는 사물(R)에 대한 정보 확인 욕구가 있는 경우를 도시한다.

즉, 운전자는 손(H)으로 사물(R)을 선택하는 제스처를 입력시키고, 음성(V)를 통해 '저기 어디지?', '정보 확인' 등의 음성을 발화한다.

도 17을 참조하면, 프로세서는 도 16에 도시한 바와 같이 입력된 운전자의 제스처와 음성에 따라, 윈드쉴드에 운전자 관심 객체에 대한 정보를 표시한다.

예컨대, 프로세서는 사물(R)이 여수에 위치한 빅오쇼 조형물인 경우, 윈드쉴드의 소정 영역(R1)에서 빅오쇼의 공연 정보(매일 18시부터 22시까지 30분 단위로 쇼 시작, 소요 시간: 15분)를 표출시키며, 이는 텍스트 뿐 아니라 음성을 통해 제공될 수 있다.

또한, 이러한 정보 제공에 연동되어, 공연 예매 등에 관한 후속 기능을 제공하는 것이 가능하다.

전술한 예는 공연을 위한 조형물에 대해 서술한 것으로, 운전자의 관심 객체가 식당인 경우, 메뉴 정보, 운영 정보 등을 표출하고, 식당 예약을 위한 예약 메시지 전송 또는 식당으로의 전화 연결 등의 후속 기능을 제공한다.

운전자 관심 객체에 대한 정보가 표출되는 경우, 기존에 영역(A1)에서 표출되던 네비게이션 화면 정보는 차량의 AVN(400)으로 전달되어, AVN(400)에서 해당 정보를 표시하게 된다.

3개 이상의 레이어가 존재하고, 전술한 운전자의 제스처 입력이 이루어지는 경우, 각 영상을 복수 개의 디스플레이(윈드쉴드, AVN, 클러스터, CMS 모니터 등)에 이동하여 표시하는 것이 가능하다.

프로세서는 영상의 레이어 처리를 위해 화면 이동 제어를 수행하며, 사용자 의도에 의해 선순위로 보여져야 할 정보(조형물 R에 대한 정보)를 주 화면(기존에 운전자가 응시하고 있던 윈드쉴드)에 표출시키고, 기존에 주화면에 표출되던 영상을 후순위 디스플레이(AVN, 클러스터, 조수석 디스플레이 등)으로 이동시키도록 제어한다.

프로세서는 차량의 주행 모드(수동/자율주행)에 따라, 후순위 디스플레이들 간의 순위를 조정하는 것이 가능하다.

이 때, 운전자의 제스처, 음성, 아이트래킹 등 조작에 의해, 디스플레이되는 화면을 다른 디스플레이로 이동하여 정보를 표시할 수 있고, "OO 디스플레이로 이동하겠습니다"라는 안내 음성 제공 후 디스플레이를 자동이동 시킬 수 있다.

도 18은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 영상 영역 복귀를 나타내는 예시도이다.

운전자가 전술한 조형물에 대한 정보를 확인하고, "확인 완료" 등의 음성을 발화시키거나, 스와이프 동작을 통해 조형물에 대한 정보를 더 이상 디스플레이하지 않도록 하거나, 조형물에 대한 정보가 표시되고 기설정 시간(예: 20초)가 지난 후의 경우 등에는, AVN(400)으로 이동되었던 네비게이션 화면이 기존에 표출되던 윈드쉴드 내 영역(A1)으로 이동하여 복귀된다.

이 때, 이동된 콘텐츠가 네비게이션 화면과 같이 실시간성을 가진 정보가 아닌 경우(예컨대 영화 콘텐츠인 경우), 영화 콘텐츠는 도 17에 도시한 바와 같이 이동되는 시점에서 일시 정지되며, 도 18에 도시한 바와 같이 기존 영역으로 복귀한 시점에서 다시 재생된다.

한편, 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 제어 방법을 수행할 수 있다.

한편, 상술한 본 발명에 따른 차량 내 제스처 입력을 이용한 제어 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (7)

1. 주변 상황 정보 및 사용자의 제스처를 수신하는 입력부;
   차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리; 및
   상기 제어 프로그램을 실행시키는 프로세서를 포함하되,
   상기 프로세서는 상기 주변 상황 정보 및 사용자의 제스처에 따라, 동일한 제스처에 대해 상이한 기능을 실행시키는 명령을 전송하는 것
   을 특징으로 하는 차량 내 제스처 입력을 이용한 제어 시스템.
   
2. 제1항에 있어서,
   상기 제스처는 차 내에 배치된 3D 카메라를 통해 인식되는 것
   인 차량 내 제스처 입력을 이용한 제어 시스템.
   
3. 제1항에 있어서,
   상기 프로세서는 횡단 대기 또는 횡단 중인 보행자의 존재와 관련한 정보를 상기 주변 상황 정보로 고려하여, 상기 사용자의 제스처에 따라 보행자 안내 메시지를 표출하도록 제어하는 것
   인 차량 내 제스처 입력을 이용한 제어 시스템.
   
4. 제3항에 있어서,
   상기 프로세서는 외부 커뮤니케이션 장치를 통한 텍스트 메시지, 스피커를 이용한 오디오 메시지, 조명 장치를 이용한 메시지 중 적어도 어느 하나를 상기 보행자 안내 메시지로 표출하도록 제어하는 것
   인 차량 내 제스처 입력을 이용한 제어 시스템.
   
5. 제3항에 있어서,
   상기 프로세서는 타 차량으로 보행자 주의 메시지를 제공하는 것
   인 차량 내 제스처 입력을 이용한 제어 시스템.
   
6. 제1항에 있어서,
   상기 프로세서는 주행 상황 정보를 고려하여, 상기 사용자의 제스처에 따라 외부 커뮤니케이션 장치를 통해 외부 차량으로 메시지를 제공하는 것
   인 차량 내 제스처 입력을 이용한 제어 시스템.
   
7. 제6항에 있어서,
   상기 프로세서는 주행 상황 정보에 따라 차선 변경 상황인 것을 확인하면, 상기 사용자의 제스처에 따라 양해를 구하는 메시지를 상기 외부 차량으로 제공하는 것
   인 차량 내 제스처 입력을 이용한 제어 시스템.

Images