KR102025434B1

KR102025434B1 - 운전자 제스처 기반 hud 정보 제공 시스템 및 방법

Info

Publication number: KR102025434B1
Application number: KR1020160110588A
Authority: KR
Inventors: 박선홍; 오영달; 류동운
Original assignee: 자동차부품연구원
Priority date: 2016-08-30
Filing date: 2016-08-30
Publication date: 2019-09-26
Also published as: KR20180025378A

Abstract

본 발명은 운전자의 제스처를 기반으로 헤드 업 디스플레이(HUD, Head Up Display)에 제공할 정보를 추출하는 시스템 및 방법에 관한 것이다.
본 발명에 따른 운전자 제스처 기반 HUD 정보 제공 시스템은 운전자의 제스처에 대응되는 제어 대상 기기를 판별하는 대상 기기 인식부 및 제어 대상 기기에 투영되는 이미지 및 제어 대상 기기의 가용 제어 정보 중 적어도 어느 하나를 HUD 디스플레이부에 표출하도록 디스플레이 제어 신호를 전송하는 제어부를 포함하는 것을 특징으로 한다.

Description

운전자 제스처 기반 HUD 정보 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVISION OF HEAD UP DISPLAY INFORMATION BASED ON DRIVER'S GESTURE}

본 발명은 운전자의 행동(제스처)을 기반으로 헤드 업 디스플레이(HUD, Head Up Display)를 통해 정보를 제공하는 시스템 및 방법에 관한 것이다.

자동차 유리(Windshield, 윈드실드)는 단순히 외부를 보여주고 비바람을 막아주는 역할에서 벗어나 첨단 전자 기술이 적용된 스마트 윈도로 거듭나고 있다.

대표적인 스마트 윈도 기술인 헤드 업 디스플레이는 차량의 현재 속도, 연료 잔량, 내비게이션 길 안내 정보 등을 표시하고 있으나, 주행 중(특히 고속 주행 중) 운전자가 AVN, 공조 장치 등을 다루기 위해서는 직접 AVN 또는 공조 장치의 기능 버튼을 육안으로 확인하여 버튼 조작을 수행하여야 하는 바, 안전성 및 편의성이 떨어지는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 운전자의 행동(제스처)을 기반으로 운전자가 조작하고자 하는 대상 기기(예: 내비게이션, 오디오, 공조 장치 등)를 파악하고, 해당 대상 기기의 가용 제어 정보 또는 해당 대상 기기의 이미지를 헤드업 디스플레이를 통해 제공함으로써, 주행 중 운전자가 시선 분산 없이 원하는 차량 내 장치의 기능을 원활히 실행시키는 것이 가능한 운전자 제스처 기반 HUD 정보 제공 시스템 및 방법을 제공하는 데 목적이 있다.

본 발명에 따른 운전자 제스처 기반 HUD 정보 제공 시스템은 운전자의 제스처에 대응되는 제어 대상 기기를 판별하는 대상 기기 인식부 및 제어 대상 기기에 투영되는 이미지 및 제어 대상 기기의 가용 제어 정보 중 적어도 어느 하나를 HUD 디스플레이부에 표출하도록 디스플레이 제어 신호를 전송하는 제어부를 포함하는 것을 특징으로 한다.

본 발명에 따른 운전자 제스처 기반 HUD 정보 제공 방법은 운전자의 제스처를 인식하는 단계와, 인식한 제스처에 대응되는 제어 대상 기기를 판별하는 단계 및 제어 대상 기기에 투영되는 이미지 및 제어 대상 기기의 기능을 실행하는 제어 정보 리스트 중 적어도 어느 하나를 디스플레이하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 운전자 제스처 기반 HUD 정보 제공 시스템 및 방법은 운전자의 시선 움직임, 손동작 등을 기반으로 운전자가 조작 또는 확인하고자 하는 대상 기기를 명확히 판별하고, 해당 대상 기기를 통해 제공 가능한 기능 또는 해당 대상 기기의 이미지 자체를 HUD를 통해 투영함으로써, 주행 중 운전자의 시선 분산 없이 원하는 기능을 실행할 수 있도록 지원하는 것이 가능한 효과가 있다.

본 발명에 따르면 운전자는 자신의 제스처를 통해 제어 대상 기기를 선택하고, 해당 대상 기기의 가용 제어 정보 및 그에 대한 명령어 리스트를 HUD를 통해 제공 받음으로써, 후속 명령어(예: 공조 장치의 온도 상승/하강, 오디오 채널 변경 등을 위한 명령어)의 입력에 있어서 어떠한 사전 학습 없이도 HUD를 통해 제공되는 정보를 이용한 직관적인 후속 명령어 입력이 가능한 효과가 있다.

본 발명에 따르면 운전자가 확인하고자 하는 대상 기기의 이미지(예: 사이드 미러에 투영되는 이미지, 현재 공조 장치의 설정 정보 등)를 HUD에 투영함으로써, 운전자는 전방을 주시한 가운데 원하는 정보를 획득할 수 있어, 안전한 주행을 지원하는 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 시스템이 적용된 차량 내부를 나타내는 개념도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 제어 대상 기기 판별을 나타내는 개념도이다.
도 5는 본 발명의 실시예에 따른 제어 대상 기기 판별을 위한 제스처 및 일반 행동에 따른 제스처의 구분을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 제어 대상 기기 명칭 디스플레이를 나타내는 개념도이다.
도 7은 본 발명의 실시예에 따른 제어 대상 기기 및 그 위의 손 위치를 오버랩하여 디스플레이하는 것을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 가용 제어 정보 디스플레이를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 운전자의 시선 이동에 따른 제어 대상 기기 판별 및 제어 대상 기기에 투영되는 이미지를 HUD를 통해 디스플레이하는 것을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 방법을 나타내는 순서도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1을 참조하면, 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 시스템은 운전자의 제스처에 대응되는 제어 대상 기기(예: 내비게이션, 오디오, 공조 장치, 사이드 미러 등)를 판별하는 대상 기기 인식부(100) 및 제어 대상 기기에 투영되는 이미지 및 제어 대상 기기의 가용 제어 정보 중 적어도 어느 하나를 HUD 디스플레이부(300)에 표출하도록 디스플레이 제어 신호를 전송하는 제어부(200)를 포함한다.

도 2는 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 시스템이 적용된 차량 내부를 도시하는 도면이다.

운전자 전방 유리에는 HUD 디스플레이부(300)를 통해 그래픽 이미지가 투영되는 HUD 영역(300a)이 배치된다.

본 발명의 실시예에 따른 HUD 디스플레이부(300)는 LCD나 OLED 등의 투명 디스플레이를 차량 전방 유리창 면이나 운전자와 차량 전방 유리창 사이에 설치하는 디스플레이 패널 방식, 자동차 전면 유리창에 발광 물질을 도포한 후 레이저 빔을 쏘는 레이저 방식, 차량 대시보드 안에 프로젝션 광학 장치를 매립한 후 차량 전면 유리창을 향해 상방향으로 영상을 투사하고 투사된 영상의 일부가 유리창에 반사되어 운전자에게 보여지는 프로젝션 방식 등으로 구현된다.

대상 기기 인식부(100)는 운전자의 시선 이동, 손 동작 및 행동 패턴 중 적어도 어느 하나를 특정 기기를 조작하고자 하는 운전자의 의도가 포함된 제스처로 인식한다.

본 발명의 상세한 설명에서는 당업자의 이해를 돕기 위하여 대상 기기 인식부(100)가 손 동작 및 행동 패턴을 인식하여 제어 대상 기기(내비게이션, 오디오, 공조 장치)를 판별하는 실시예를 도 3 내지 도 8과 관련한 설명으로 서술하고, 대상 기기 인식부(100)가 운전자의 시선 이동을 통해 제어 대상 기기(사이드 미러)를 판별하는 실시예를 도 9와 관련된 설명으로 서술한다.

이는 당업자의 이해를 돕기 위한 것으로, 운전자의 시선 이동을 인식함으로써 내비게이션, 오디오 또는 공조 장치를 조작하고자 하는 운전자의 의도를 파악하여 제어 대상 기기를 판별하는 것과, 운전자의 손 동작 또는 행동 패턴(추월 또는 차선 변경을 위한 행동 패턴, 예컨대 스티어링 휠 파지 상태 또는 방향 지시등 작동 상태 등)을 인식하여 사이드 미러를 제어 대상 기기로 판별하는 것 역시 가능하다.

본 발명의 실시예에 따른 대상 기기 인식부(100)는 도 2에 도시한 바와 같이, 차량 내부에 배치된 카메라(100a) 및 제어 대상 기기의 각 영역에 배치된 동작 인식 센서(100b, 100c, 100d) 중 적어도 어느 하나를 포함하여 구성된다.

카메라(100a)의 경우 내비게이션(400), 오디오(500) 및 공조 장치(600)의 각 영역에 운전자의 손이 위치하게 되는 경우 깊이 정보 등을 이용하여 운전자의 손이 위치한 해당 제어 대상 기기의 제스처 인식 영역을 판별하게 되고, 동작 인식 센서(100b, 100c, 100d)의 경우 대표적으로 적외선 센서로 구성되며 각 제어 대상 기기의 해당 영역에서 발생되는 운전자의 손 동작(제스처)을 인식한다.

이하에서는 도 3 내지 도 5를 참조하여, 대상 기기 인식부(100)의 운전자 제스처 인식 및 제어 대상 기기 판별 과정을 설명한다.

본 발명의 실시예에 따른 대상 기기 인식부(100)는 운전자의 제스처(손동작)의 이동 궤적을 인식하고, 운전자의 손이 제어 대상 기기의 영역에 일정 시간 이상 위치하는 경우, 해당 영역의 제어 대상 기기를 운전자가 조작하고자 하는 대상 기기로 인식하게 된다.

도 3 (a)에 도시한 바와 같이, 운전자의 손(10)이 인식 영역 밖에 있다가(t1), 인식 영역 안으로 들어오게 되는 경우(t2), 해당 대상 기기 인식부(전술한 공조 장치에 위치한 동작 인식 센서 또는 카메라)는 운전자의 손 동작이 해당 영역 내에서 기설정된 시간(예: 2초) 이상 정지(pause)되는 경우에 그 영역에 대응되는 기기(공조 장치, 600)를 제어 대상 기기로 판별한다.

또한, 도 3 (b)에 도시한 바와 같이, 운전자의 손이 공조 장치(600)의 제스처 인식 영역 안에 있다가(t1), 오디오(500)의 제스처 인식 영역으로 들어오게 되는 경우(t2), 오디오(500)의 제스처 인식 영역에서 기설정된 시간(예: 2초) 이상 정지(pause)되는 경우에 오디오(500)를 제어 대상 기기로 판별한다.

본 발명에 따르면 운전자의 의도(조작하고자 하는 대상 기기에 대한 의도)를 보다 명확하게 판단하기 위하여, 해당 영역에서 제스처가 기설정된 시간 이상 포즈(pause)되는 경우에 제어 대상 기기를 판별함으로써 판별의 정확도를 향상시키는 효과가 있다.

도 2 및 도 3에 도시한 바와 같이, 차량 내 센터페시아에는 내비게이션(400), 오디오(500) 및 공조 장치(600)의 각 영역이 충분히 이격되어 배치될 수도 있으나, 운전자의 제스처(손동작)가 여러 영역에 걸쳐 포즈(pause) 되는 경우가 발생할 수도 있다.

본 발명에 따르면, 운전자의 손의 전체 면적 중 상대적으로 많은 면적이 인식되는 영역에 해당하는 제어 대상 기기를 판별하거나, 통상 버튼 조작에 익숙한 운전자는 검지 손가락으로 버튼을 누르므로, 운전자의 검지가 위치하는 영역에 해당하는 제어 대상 기기를 판별하는 것이 바람직하다.

도 4는 본 발명의 다른 실시예에 따른 대상 기기 인식부(100)의 제어 대상 기기 판별을 도시하는 것으로, 대상 기기 인식부(100)는 운전자의 제스처(손동작)의 이동에 후속하여 입력되는 기설정된 선택 제스처를 인식하여, 제어 대상 기기를 판별하는 것이 가능하다.

도 4의 (a)에 도시한 바와 같이, 운전자의 손(10)은 제스처 인식 영역 밖에서(t1), 공조 장치(600)의 제스처 인식 영역으로 진입하고(t2), 이후 도 4의 (b)에 도시한 바와 같이 기설정된 선택 제스처로서 주먹을 쥐게 되는 경우, 이를 선택 신호로 수신하여 공조 장치(600)를 제어 대상 기기로 판별하게 된다.

본 실시예에 따르면, 사전에 설정된 선택 제스처를 운전자가 취하게 되면, 이를 대상 기기에 대한 선택 신호로 인식하여 해당 영역에 대응되는 기기(공조 장치)를 제어 대상 기기로 판별한다.

도 5는 본 발명의 실시예에 따른 제어 대상 기기 판별을 위한 제스처와 일반 행동에 따른 제스처를 구분하는 양태를 나타내는 개념도이다.

본 발명은 운전자의 제스처를 기반으로 제어 대상 기기를 판별하고, 해당 제어 대상 기기의 가용 제어 정보 또는 제어 대상 기기의 이미지를 HUD를 통해 제공하는 것을 기술적 요지로 하는 것으로, 운전자의 기기 조작 의도가 포함되지 않은 일반 행동을 제어 대상 기기 판별을 위한 제스처 입력으로 인식하지 않아야 할 필요성이 있다.

따라서, 대상 기기 인식부(100)는 운전자의 행동 패턴 또는 제스처가 발생되는 지점과 자신의 이격 거리를 고려하여, 운전자의 제스처를 일반 행동에 따른 제스처와 제어 대상 기기 판별을 위한 제스처로 구분하여 인식한다.

도 5에 도시한 바와 같이, 기설정 거리 이상 이격된 지점(L1)에서 발생되는 운전자의 제스처는 일반 행동(예: 글로브 박스에서 물건을 꺼내기 위한 손 동작 등)으로 인식하여 제어 대상 기기 판별을 수행하지 아니하고, 기설정 거리 미만 이격된 지점(L2)에서 발생되는 운전자의 제스처는 제어 대상 기기 판별을 위한 제스처로 인식한다.

이는 앞서 설명한 운전자의 제스처가 기설정 시간 이상 정지(pause)되는 경우(도 3 관련 실시예) 및 기설정된 선택 제스처가 입력되는 경우(도 4 관련 실시예)의 대상 기기 인식 과정을 통해서도 달성될 수 있는 것이나, 운전자의 일반 행동이 기설정 시간 이상 포즈되거나 의도치 않게 선택 제스처가 취하여 지는 경우도 발생될 수 있는 바, 제스처 발생 지점 및 대상 기기 인식부(100) 간의 이격 거리를 기반으로 한 제스처 구분 인식에 관련된 본 실시예를 통해 더욱 정확하게 대상 기기를 판별하는 것이 가능하다.

도 6은 본 발명의 실시예에 따른 제어 대상 기기 명칭을 HUD를 통해 제공하는 것을 나타내는 개념도이다.

본 발명에 따르면 운전자는 HUD 디스플레이부의 디스플레이 영역(300a)을 통해 제어 대상 기기의 가용 제어 정보 또는 제어 대상 기기의 이미지를 육안으로 확인할 수 있게 되는데, 이에 앞서 운전자의 제스처를 기반으로 제어 대상 기기 판별이 운전자 의도에 맞게 이루어졌는지 확인하여야 할 필요가 있다.

따라서 제어부(200)는 대상 기기 인식부(100)의 제어 대상 기기 판별 결과, 제어 대상 기기의 명칭을 디스플레이하도록 제어한다.

도 6의 (a)에 따르면, 도 4에서 전술한 바와 같이 대상 기기 인식부(100)가 공조 장치(600)를 제어 대상 기기로 판별한 결과에 따라, "공조기(air conditioner)"에 대한 문자 정보가 디스플레이 영역(300a)에 표출된다.

또한 도 6의 (b)에 도시한 바와 같이, 현재 제스처 인식에 따라 판별된 제어 대상 기기의 명칭(공조기, air conditioner)를 상대적으로 큰 폰트의 문자 정보로 도시하고, 센터페시아에 배치된 물리적 배치 관계에 따라 오디오, 내비게이션을 점차 작은 폰트의 문자 정보로 도시한다.

이를 통해 운전자는 현재 자신이 입력한 제스처에 따라 판별된 제어 대상 기기가 무엇인지 디스플레이 영역(300a)을 통해 직관적으로 확인할 수 있게 되고, 예컨대 오디오(500)를 조작하고자 하는 운전자가 제스처 입력 결과 도 6의 (b) 화면을 확인하게 되는 경우, 제스처(손 동작)을 상대적으로 높은 위치에서 수행함으로써, 오디오(500)를 제어 대상 기기로 선택하는 것이 가능하다.

도 7은 본 발명의 실시예에 따른 제어 대상 기기 및 그 위의 손 위치 표시를 오버랩하여 디스플레이하는 것을 나타내는 도면이다.

전술한 도 4의 (b)와 같이 공조 장치(600)가 제어 대상 기기로 판별된 경우, 해당 공조 장치(600)의 물리적 버튼의 이미지와 운전자의 손 이미지(10)를 디스플레이 영역(300a)에 표출한다.

운전자는 디스플레이 영역(300a)을 통해 자신의 손의 위치가 공조 장치(600)의 어느 버튼 상에 있는지 확인할 수 있고, 손의 위치를 조정하여 원하는 기능을 실행하도록 해당 버튼 상에 위치시킴으로써, 해당 기능을 수행하도록 한다.

도 7의 (a)에 도시한 바와 같이 운전자는 자신의 손의 위치가 공조 장치(600)의 버튼 중 FRONT(앞유리 서리 제거 버튼)에 있는 경우, 손을 이동하여 원하는 조작 버튼인 내기 순환 버튼 상에 위치시키고, 전술한 포즈(pause) 또는 기설정된 선택 제스처(손가락 클릭 또는 실제 버튼 누름)를 통해 해당 기능을 실행시키는 것이 가능하다.

도 8은 본 발명의 실시예에 따른 가용 제어 정보 디스플레이를 나타내는 도면이다.

대상 기기 인식부(100)가 공조 장치(600)를 제어 대상 기기로 판별한 경우, 제어부(200)는 공조 장치(600)의 가용 제어 정보를 명령 제스처와 매칭하여 디스플레이하도록 제어한다.

이 때 제어부는 도 8의 (a)에 도시한 바와 같이, 디스플레이 영역(300a)에 운전석 설정 온도(DRIVER), 모드(AUTO), 외부 온도(OUTSIDE), CLEAN AIR(풍량), 조수석 설정 온도(PASSENGER)를 현재 설정 정보로서 함께 디스플레이하도록 제어한다.

도 8의 (a)를 참조하면, 제스처(손동작)를 아래에서 위로 향하게 하는 경우 설정 온도를 상승시키고, 제스처를 위에서 아래로 향하게 하는 경우 설정 온도를 하강시키며, 제스처를 좌/우 방향으로 수행함에 따라 바람세기를 조정하는 것이 가능하다.

도 8의 (a) 및 (b)에 도시한 바와 같이, 운전자는 디스플레이 영역(300a)에 표출되는 가용 제어 정보(온도 상승/하강, 바람세기 강/약, 내기/외기)를 명령 제스처와 매핑된 상태로 확인할 수 있으므로, 어떠한 제스처를 입력하여야 어떠한 기능이 수행된다는 것에 대한 사전 학습 없이도 직관적으로 원하는 기능을 실행하기 위한 명령 제스처를 파악하는 것이 가능하다.

이 때, 공조 장치(600)를 제어 대상 기기로 판별한 경우 제어부(200)는 기저장된 공조 장치(600)에 대한 사용 히스토리 정보를 고려하여, 가용 제어 정보를 선별하여 그 우선순위에 따라 디스플레이하도록 제어한다.

즉, 운전자가 공조 장치(600)를 선택한 후 설정 온도 조정 또는 바람세기 조정을 상대적으로 많이 수행한 경우에는, 도 8의 (a)에 도시한 바와 같이 해당 명령 제스처 및 가용 제어 정보를 먼저 표시하고, 운전자가 내기/외기 조정을 상대적으로 많이 수행한 경우에는 도 8의 (b)에 도시한 바와 같이 내기/외기 변환에 관한 명령 제스처 및 가용 제어 정보를 먼저 표시한다.

이러한 가용 제어 정보는 도 8의 (c)에 도시한 바와 같이, 제어 대상 기기가 판별된 후 해당 가용 제어 정보를 실행하는 음성 단어 리스트 및 조향 스위치 조작 안내 리스트의 형식으로 표출되는 것 역시 가능하다.

운전자는 도 8의 (c)에 도시된 "온도 상승"이라는 음성 단어를 발화함으로써, 공조 장치(600)의 설정 온도를 높이는 것이 가능하며, 이러한 후속 명령어는 스티어링 휠에 배치된 조향 스위치(700) 또는 기어봉 주변에 위치한 햅틱 디스플레이 구성에 대한 작동을 통해서 통해서 입력되는 것 역시 가능하다.

도 9는 본 발명의 실시예에 따른 운전자의 시선 이동에 따른 제어 대상 기기 판별 및 제어 대상 기기에 투영되는 이미지를 HUD를 통해 디스플레이하는 것을 나타내는 도면이다.

대상 기기 인식부(100)는 운전자의 시선 이동을 제스처로서 인식하여, 운전자의 시선이 향하는 곳에 배치된 기기를 제어 대상 기기로 판별한다.

도 9의 (a)에 도시된 바와 같이, 운전자의 시선이 사이드미러(800)를 향하는 경우, 제어부(200)는 제어 대상 기기인 사이드미러(800)에 투영되는 실제 이미지를 디스플레이 영역(300a)에 표출하도록 제어한다.

이를 통해 운전자는 옆 차선을 확인하기 위하여 시선을 사이드미러(800)에 일정 시간(예: 1초) 이상 두게 되면, 그 이후에는 전방의 디스플레이 영역(300a)을 통해 일정 시간(예: 10초)동안 표출되는 옆 차선 상황 정보를 확인할 수 있게 되어, 전방 및 측후방을 함께 확인하며 주행할 수 있게 된다.

도 9 (b) 및 (c)는 사이드 미러(800)에 투영되는 실제 이미지가 표출되는 디스플레이 영역(300a)을 도시한 것으로, 제어부(200)는 주행 중인 자차와 측후방 차량의 거리가 기설정된 안전 거리를 확보하였는지 여부에 따라 차선 변경에 대한 "안전" 또는 "주의" 메시지를 함께 디스플레이하도록 제어하는 것이 가능하다.

이 때 기설정된 안전 거리는 자차의 주행 속도에 따라 변동되는 것이 바람직하다.

도 10은 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 방법을 나타내는 순서도이다.

본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 방법은 운전자의 제스처를 인식하는 단계(S100)와, 인식한 제스처에 대응되는 제어 대상 기기를 판별하는 단계(S200) 및 제어 대상 기기에 투영되는 이미지 및 제어 대상 기기의 기능을 실행하는 제어 정보 리스트 중 적어도 어느 하나를 디스플레이하는 단계(S300)를 포함한다.

S100 단계는 운전자의 제스처를 인식하는 단계로서, 운전자의 제스처는 비단 손 동작 뿐 아니라 행동 패턴, 시선 움직임을 포괄하는 개념으로 정의된다.

S100 단계는 차량 내부에 배치된 카메라, 동작 인식 센서 등을 통해 수행되며, S100 단계에서 인식한 운전자의 제스처, 행동 패턴 및 시선 움직임은 일정 시간 이상 유지되는 경우 또는 기설정된 선택 제스처가 후속적으로 입력되는 경우에 한하여 S200 단계의 제어 대상 기기 판별이 이루어지게 된다.

S200 단계는 제스처의 이동 궤적을 모니터링하여, 제스처의 이동이 특정 제스처 인식 영역 상에서 기설정된 시간 이상 포즈(pause)되거나 전술한 선택 제스처가 후속적으로 입력되는 경우, 해당 인식 영역에 배치된 기기를 제어 대상 기기로 판단한다.

도 3에서 도시한 바와 같이, 각 제어 대상 기기 별로 할당된 제스처 인식 영역 상에서 제스처(손 동작)가 일정 시간 이상 유지되거나, 도 4에 도시한 바와 같이 기설정된 선택 제스처(주먹을 쥠)가 인식되는 경우, 해당 인식 영역에 대응되는 기기를 제어 대상 기기로 판별하게 된다.

S300 단계는 운전자가 자신의 의도대로 제어 대상 기기의 판별이 이루어졌는지 디스플레이 영역을 통해 확인할 수 있도록, 제어 대상 기기의 명칭을 디스플레이한다.

이 때, S300 단계는 도 6의 (b)와 관련한 실시예에서 전술한 바와 같이, 기기가 실제 배치된 위치 관계를 바탕으로 제어 대상 기기 주변의 기기의 명칭을 함께 디스플레이하는 것이 가능하다.

본 발명은 운전자가 전방 주시를 태만히 하지 않은 상태에서, 어떠한 사전 학습 없이도 조작하고자 하는 대상 기기의 가용 제어 정보를 디스플레이 영역을 통해 직관적으로 확인할 수 있도록 지원하는 것으로, S300 단계는 제어 대상 기기의 가용 제어 정보 및 그를 실행하기 위한 명령 제스처를 디스플레이한다.

이 중 운전자가 원하는 제어 정보를 실행하기 위한 후속 명령 제스처는 제어 대상 기기 영역에 배치된 대상 기기 인식부를 통해 인식되거나, 스티어링 휠 주변에 배치된 별도의 인식부를 통해 인식되는 것이 가능하다.

S300 단계는 가용 제어 정보와 매칭되는 음성 단어 또는 조향 스위치 조작 안내 리스트를 디스플레이하는 것 역시 가능하며, 이 때 제어부는 운전자가 발화하는 음성 단어 또는 스티어링 휠에 배치된 조향 스위치 조작 상태를 통해 후속 기능을 수행하도록 차량 내 편의 장치를 제어한다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 대상 기기 인식부 200: 제어부
300: HUD 디스플레이부 400: 내비게이션
500: 오디오 600: 공조 장치
700: 스티어링 휠 조작 버튼 800: 사이드 미러

Claims

운전자의 제스처에 대응되는 제어 대상 기기를 판별하는 대상 기기 인식부; 및
상기 제어 대상 기기에 투영되는 이미지 및 상기 제어 대상 기기의 가용 제어 정보 중 적어도 어느 하나를 HUD 디스플레이부에 표출하도록 디스플레이 제어 신호를 전송하되, 기저장된 상기 운전자의 사용 히스토리 정보를 고려하여 상기 가용 제어 정보를 선별하여 그 우선순위에 따라 디스플레이하도록 제어하는 제어부
를 포함하는 운전자 제스처 기반 HUD 정보 제공 시스템.
제1항에 있어서,
상기 대상 기기 인식부는 상기 운전자의 시선 이동, 손 동작 및 행동 패턴 중 적어도 어느 하나를 상기 제스처로 인식하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제1항에 있어서,
상기 대상 기기 인식부는 인식 영역 내에서 상기 운전자의 제스처의 이동 궤적을 인식하고, 기설정 시간 이상 상기 운전자의 제스처가 일정 영역 내에서 포즈(pause)되는 경우 해당 영역에 대응되는 상기 제어 대상 기기를 판별하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제1항에 있어서,
상기 대상 기기 인식부는 상기 제스처의 이동에 후속하여 입력되는 기설정된 선택 제스처를 인식하여, 상기 제어 대상 기기를 판별하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제1항에 있어서,
상기 제어부는 제스처 인식 결과 판별된 제어 대상 기기의 명칭을 디스플레이하도록 제어하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제5항에 있어서,
상기 제어부는 상기 제어 대상 기기의 주변 영역에 배치된 후보 제어 대상 기기의 명칭을 함께 디스플레이시키는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제1항에 있어서,
상기 대상 기기 인식부는 상기 운전자의 제스처가 발생되는 영역까지의 거리를 고려하여, 상기 제스처를 제어 대상 기기 판별을 위한 제스처와 일반 행동에 따른 제스처로 구분하여 인식하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제1항에 있어서,
상기 제어부는 상기 제어 대상 기기에 투영되는 실물 이미지 및 상기 제어 대상 기기의 현재 설정 정보를 포함하는 이미지 중 적어도 어느 하나에 대한 디스플레이 제어 신호를 전송하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제8항에 있어서,
상기 제어부는 상기 제어 대상 기기의 이미지 및 상기 제어 대상 기기 상의 손 위치 표시를 함께 오버랩하여 디스플레이시키는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제9항에 있어서,
상기 제어 대상 기기는 상기 오버랩된 손 위치 표시가 명령 버튼 상에 기설정된 시간 이상 고정되는 경우 해당 명령 신호를 입력 받아 매칭되는 기능을 실행하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제1항에 있어서,
상기 제어부는 상기 제어 대상 기기의 가용 제어 정보를 명령 제스처와 매칭하여 디스플레이하도록 제어하되, 상기 제어 대상 기기가 온(On) 상태인 경우 현재 설정 정보를 함께 디스플레이하도록 제어하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
제1항에 있어서,
상기 제어부는 상기 가용 제어 정보를 선택하는 음성 단어 리스트 및 조향 스위치 조작 안내 리스트 중 적어도 어느 하나를 디스플레이하도록 제어하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
삭제
(a) 운전자의 제스처를 인식하는 단계;
(b) 상기 인식한 제스처에 대응되는 제어 대상 기기를 판별하는 단계; 및
(c) 상기 제어 대상 기기에 투영되는 이미지 및 상기 제어 대상 기기의 기능을 실행하는 제어 정보 리스트 중 적어도 어느 하나를 디스플레이하되, 상기 운전자의 기사용 히스토리를 고려하여 가용 제어 정보에 대한 디스플레이 우선 순위를 설정하는 단계
를 포함하는 운전자 제스처 기반 HUD 정보 제공 방법.
제14항에 있어서,
상기 (a) 단계는 상기 운전자의 시선 움직임, 손 위치 이동 및 행동 패턴 중 적어도 어느 하나를 인식하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
제14항에 있어서,
상기 (a) 단계는 상기 운전자의 행동 패턴 정보를 고려하여, 상기 제스처를 제어 대상 기기 선택을 위한 제스처와 일반 제스처로 구분하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
제14항에 있어서,
상기 (b) 단계는 상기 제스처의 이동을 모니터링하여, 상기 제스처의 이동이 기설정 시간 이상 포즈(pause)되거나 그에 따른 후속 선택 제스처가 입력되는 경우, 해당 인식 영역에 배치된 기기를 상기 제어 대상 기기로 판단하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
제14항에 있어서,
상기 (c) 단계는 상기 제어 대상 기기의 명칭 및 상기 제어 대상 기기 주변의 기기의 명칭을 디스플레이하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
제14항에 있어서,
상기 (c) 단계는 상기 제어 대상 기기의 가용 제어 정보 및 그를 실행하기 위하여 매칭되는 명령 제스처, 음성 단어 및 조향 스위치 조작 안내 리스트 중 적어도 어느 하나를 포함하는 상기 제어 정보 리스트를 디스플레이 하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
삭제