KR20170132992A - 사용자 동작 인식 기반의 차량용 hmi 시스템 및 이의 동작 방법 - Google Patents

사용자 동작 인식 기반의 차량용 hmi 시스템 및 이의 동작 방법 Download PDF

Info

Publication number
KR20170132992A
KR20170132992A KR1020160063852A KR20160063852A KR20170132992A KR 20170132992 A KR20170132992 A KR 20170132992A KR 1020160063852 A KR1020160063852 A KR 1020160063852A KR 20160063852 A KR20160063852 A KR 20160063852A KR 20170132992 A KR20170132992 A KR 20170132992A
Authority
KR
South Korea
Prior art keywords
recognition
hmi
user
haptic feedback
control module
Prior art date
Application number
KR1020160063852A
Other languages
English (en)
Inventor
서정훈
오재호
양치영
한영훈
이명래
신언용
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160063852A priority Critical patent/KR20170132992A/ko
Publication of KR20170132992A publication Critical patent/KR20170132992A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 동작 인식 기반의 차량용 HMI 시스템에 관한 것으로, 상기 시스템은 사용자의 동작을 인식하며, 인식된 동작에 상응하여 외부로부터 전송되는 분석 결과에 상응하는 햅틱 피드백을 제공하는 HMI 단말기; 및 상기 HMI 단말기에 의해 인식된 사용자의 동작을 바탕으로 상기 차량의 전장품을 제어하는 제어 모듈을 포함하고, 상기 제어 모듈은 상기 사용자의 동작을 분석하여, 정상 인식 신호 혹은 인식 오류 발생 신호를 상기 HMI 단말기로 전송한다.

Description

사용자 동작 인식 기반의 차량용 HMI 시스템 및 이의 동작 방법{HMI system for vehicle based on user gesture recognition of operating method thereof}
본 발명은 차량용 HMI 시스템에 관한 것으로, 상세하게는 동작 감지 센서를 탑재한 웨어러블 형태의 인식장치를 이용한 사용자 동작 인식을 기반으로 차량을 제어할 수 있는 차량용 HMI 시스템 및 이의 동작 방법에 관한 것이다.
종래의 차량용 HMI 시스템의 경우에는 remote controller, HW switch key, 운전자의 음성, touch, air touch, motion sensor, vision 기반의 gesture 인식을 통해 차량 내/외부의 전자기기를 제어하였다.
HW switch key 기반의 remote controller는 최근 전자 편의 기능의 증대에 따라 제어를 위해 더 많은 HW key를 필요로 하게 되어, 비용 상승 및 디자인의 제약에 의해 한계성을 지니게 되었다.
또한, 운전자의 음성 인식의 경우에는 창문 개폐나 주변 소음에 의해 인식률이 저하되는 문제점이 있고, touch의 경우 접촉면의 오염 정도에 따라 인식률 저하 및 디스플레이 화질 저하의 문제가 발생한다.
그리고, air touch 혹은 vision 기반의 gesture 인식의 경우, 주변 조도(밤낮, 외부광)에 따라 인식률이 달라진다는 문제점이 있다.
또한, 각각의 HMI 시스템에 따라 제어 동작에 대한 운전자의 학습이 필요하며, 기존의 HMI 시스템은 각 air touch, 카메라 기반의 동작/시선 인식에 대한 햅틱(haptic) 기능을 제공하지 않아, 운전자가 지시동작 유무를 확인해야 한다는 문제점이 있다.
또한, 기존 HMI 시스템은 차량 전자기기를 제어하기 위해서는 각기 다른 방식(voice, touch, motion 등)을 이용하기 때문에, 햅틱 기능을 제공하더라도, 각기 다른 형태의 햅틱 제어 방식을 제공하여야 한다.
따라서, 기존의 차량용 HMI 시스템은 환경(조도, 소음, 비접촉)에 따라 인식률 및 신뢰성이 저하되는 문제점이 있으며, HMI 시스템에 대한 사전 학습 및 지시동작 유무 확인 등 운전자의 편의성을 저하시키는 문제점이 있었다.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 동작 감지 센서를 탑재한 웨어러블 형태의 인식장치를 이용한 사용자 동작 인식을 기반으로 차량을 제어할 수 있는 차량용 HMI 시스템 및 이의 동작 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템은, 사용자의 동작을 인식하며, 인식된 동작에 상응하여 외부로부터 전송되는 분석 결과에 상응하는 햅틱 피드백을 제공하는 HMI 단말기; 및 상기 HMI 단말기에 의해 인식된 사용자의 동작을 바탕으로 상기 차량의 전장품을 제어하는 제어 모듈을 포함하고, 상기 제어 모듈은 상기 사용자의 동작을 분석하여, 정상 인식 신호 혹은 인식 오류 발생 신호를 상기 HMI 단말기로 전송한다.
상기 HMI 단말기는 웨어러블(wearable) 형태로 구현된다.
상기 HMI 단말기는, 사용자의 동작을 인식하는 동작 인식부; 및 상기 제어 모듈로부터 전송되는 정상 인식 신호 혹은 인식 오류 발생 신호에 상응하는 햅틱 피드백을 제공하는 햅틱 피드백 제공부를 포함한다.
상기 동작 인식부는 근전도(EMG: electromyography) 센서, 자이로스코프(gyroscope), 10축 센서, 가속도계(accelerometer), 자력계(magnetometer) 중 적어도 하나를 포함하여 구성된다.
상기 햅틱 피드백 제공부는 상기 정상 인식 신호와 함께 전송되는 분석 동작 정보에 상응하여 햅틱 피드백을 제공한다.
상기 햅틱 피드백 제공부는 상기 정상 인식 신호 혹은 인식 오류 발생 신호에 상응하여 기 설정되는 햅틱 세기 정보 및 햅틱 시간 정보를 바탕으로 햅틱 피드백을 제공한다.
상기 햅틱 피드백 제공부는 상기 햅틱 피드백을 진동으로 제공하도록 구현된다.
상기 HMI 단말기는, 상기 제어 모듈과의 통신을 통해 스마트 키 기능을 수행하는 스마트 키부; 상기 제어 모듈과의 통신을 수행하는 통신부; 및 상기 차량의 전장품의 제어와 관련한 정보를 표시하는 사용자 인터페이스를 더 포함한다.
상기 제어 모듈은, 상기 HMI 단말기에 의해 인식된 동작에 따라 전장품을 제어하기 위한 제어 정보를 제공하는 한편, 상기 정상 인식 신호 혹은 인식 오류 발생 신호를 전송하는 제어부; 상기 제어부의 제어에 따라 차체 전장품을 제어하는 차체 처리부; 및 상기 제어부의 제어에 따라 멀티미디어 전장품을 제어하는 멀티미디어 처리부를 포함한다.
상기와 같은 목적을 달성하기 위한 본 발명의 타 측면에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작방법은, HMI 단말기가 사용자 동작을 인식하여, 인식 결과를 차량의 제어 모듈로 전송하는 단계; 상기 제어 모듈이 인식 결과를 분석하여, 인식된 동작이 기 설정된 동작인지를 판단하는 단계; 상기 판단하는 단계에서의 판단 결과에 따라 상기 제어 모듈이 정상 인식 신호 혹은 인식 오류 발생 신호를 상기 HMI 단말기로 전송하는 단계; 및 상기 HMI 단말기가 상기 정상 인식 신호 혹은 인식 오류 발생 신호에 상응하는 햅틱 피드백을 제공하는 단계를 포함한다.
상기 HMI 단말기로 전송하는 단계는 상기 판단하는 단계에서의 판단 결과, 인식된 동작이 기 설정된 동작인 것으로 판단하면, 상기 제어 모듈이 상기 정상 인식 신호를 전송하는 것을 포함한다.
상기 HMI 단말기로 전송하는 단계는 상기 판단하는 단계에서의 판단 결과, 인식된 동작이 기 설정된 동작이 아닌 것으로 판단하면, 상기 제어 모듈이 상기 인식 오류 발생 신호를 전송하는 것을 포함한다.
상기 HMI 단말기로 전송하는 단계는 상기 정상 인식 신호와 함께 분석 동작 정보를 함께 전송하는 것을 포함한다.
상기 햅틱 피드백을 제공하면서 사용자 인터페이스를 통해 상기 분석 동작 정보를 표시하는 단계를 더 포함한다.
상기 햅틱 피드백을 제공하는 단계는 상기 정상 인식 신호 혹은 인식 오류 발생 신호에 따라 기설정된 햅틱 세기 정보와 햅틱 시간 정보를 바탕으로 햅틱 피드백을 제공하는 것을 포함한다.
본 발명의 차량용 HMI 시스템은 동작 감지 센서를 탑재한 웨어러블 형태의 HMI 단말기를 이용하여 사용자 동작을 인식하고, 이를 기반으로 차량을 제어할 수 있도록 구현된다.
이와 같이, 상기 HMI 단말기가 웨어러블 형태로 구현되면, 사용자가 손목 등에 착용할 수 있으므로, 휴대성을 향상시킬 수 있고, 분실의 위험을 줄일 수 있다.
또한, 웨어러블 형태의 HMI 단말기를 이용하면, 기존 제어 형태의 동작 인식을 통한 차량 제어가 가능하기 때문에, 신규 HMI 시스템에 대한 학습이 불필요하다.
이에 더하여, 상기 HMI 단말기는 사용자의 동작 인식 결과에 대한 햅틱 피드백을 제공하기 때문에, 본 발명의 차량용 HMI 시스템이 비접촉식의 HMI 시스템임에도 불구하고, 사용자가 정상 동작 유무를 확인할 필요가 없다. 따라서, 사용자의 안전 운전 및 편의성 향상을 도모할 수 있다.
또한, 상기 HMI 단말기는 스마트 키의 기능을 수행할 수 있도록 구현될 수 있으며, 따라서 사용자는 별도의 HW key 혹은 포브 키를 소지하지 않아도 된다.
도 1은 본 발명의 바람직한 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 HMI 단말기의 구성을 도시한 도면이다.
도 3은 도 2의 HMI 단말기의 동작 인식부의 구성 일례를 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작 순서 도시한 플로우챠트이다.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 본 발명의 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 차량용 HMI(Human Machine Interface) 시스템(100)은 HMI 단말기(110), 제어 모듈(130) 및 전장품(150)으로 구성될 수 있으나, 도 1에 도시된 차량용 HMI 시스템(100)의 구성은 설명을 위한 일례를 도시한 것으로서, 차량용 HMI 시스템(100)의 구성이 이에 한정되는 것은 아니다.
상기 HMI 단말기(110)는 본 발명의 차량용 HMI 시스템(100)을 사용하고자 하는 대상(예를 들어, 사용자)의 동작을 인식하며, 인식 결과에 상응하는 햅틱 피드백을 제공하도록 구현된다.
예를 들면 상기 HMI 단말기(110)는 웨어러블(wearable) 디바이스로서, 밴드, 팔찌, 시계 등의 형태로 구현될 수 있다.
또한, 상기 HMI 단말기(110)는 인식 결과를 제어 모듈(130)로 제공하는데, 일례로 근거리 무선 통신 방식(예, 블루투스, 지그비, NFC, LF, RF 등) 혹은 이동통신 방식(예, WiFi, WCDMA, WiBro 방식 등)으로 제어 모듈(130)과 통신할 수 있다.
이와 같이, 상기 HMI 단말기(110)가 웨어러블 형태로 구현되면, 사용자가 손목 등에 착용할 수 있으므로, 휴대성을 향상시킬 수 있고, 분실의 위험을 줄일 수 있다.
또한, 웨어러블 형태의 HMI 단말기(110)를 이용하면, 기존 제어 형태의 동작 인식을 통한 차량 제어가 가능하기 때문에, 신규 HMI 시스템에 대한 학습이 불필요하다.
이에 더하여, 상기 HMI 단말기(110)는 사용자의 동작 인식 결과에 대한 햅틱 피드백을 제공하기 때문에, 본 발명의 차량용 HMI 시스템(100)이 비접촉식의 HMI 시스템임에도 불구하고, 사용자가 정상 동작 유무를 확인할 필요가 없다. 따라서, 사용자의 안전 운전 및 편의성 향상을 도모할 수 있다.
또한, 상기 HMI 단말기(110)는 스마트 키의 기능을 수행할 수 있도록 구현될 수 있으며, 따라서 사용자는 별도의 HW key 혹은 포브 키를 소지하지 않아도 된다.
이때, 상기 HMI 단말기(110)는 스마트 키의 기능 수행을 위해 제어 모듈(130)로 위치 정보, 인증 정보 등의 스마트 정보를 제공한다.
상기 HMI 단말기(110)의 상세 구성과 관련하여서는 도 2를 참조하여 후술하도록 한다.
상기 제어 모듈(130)은 차량에 설치되는 것으로, HMI 단말기(110)로부터 제공되는 인식 결과를 바탕으로 차량 내 전장품(150)을 제어하도록 구성되며, HMI 단말기(110)로부터의 인식 결과 이외에, 외부로부터 입력되는 차량 상태 정보를 전장품(150)을 제어하는 데에 이용할 수 있다.
이때, 상기 제어 모듈(130)은 LIN(local interconnect network) 통신 혹은 CAN(controller area network) 통신을 통해 외부로부터 차량 상태 정보를 입력받을 수 있으며, 차량 상태 정보로는 차속, 운전자 상태, 운전자 위치, 운전자 정보 등이 포함될 수 있다.
상기 제어 모듈(130)은 입력되는 정보, 예를 들어 차량 상태 정보 및 HMI 단말기(110)로부터의 인식 결과를 바탕으로 전장품(150)을 제어하기 위하여, 통신부(131), 제어부(133), 차체 처리부(135) 및 멀티미디어 처리부(137)로 구성될 수 있으나, 제어 모듈(130)의 구성이 이에 한정되는 것은 아니다.
상기 통신부(131)는 HMI 단말(110)과의 통신을 위한 것으로, 예를 들면 근거리 무선 통신 방식(예, 블루투스, 지그비, NFC, LF, RF 등) 혹은 이동통신 방식(예, WiFi, WCDMA, WiBro 방식 등)으로 통신하도록 구현될 수 있으며, HMI 단말(110)로부터 전송되는 정보를 제어부(133)로 제공한다.
이때, 상기 통신부(131)는 하나의 통신 방식이 아닌 서로 다른 다수의 통신 방식으로 통신하도록 구현될 수 있으며, 차량 내에서 서로 다른 위치에 설치되는 다수의 모듈로 구현될 수 있다.
상기 제어부(133)는 입력되는 정보, 즉 차량 상태 정보 및 HMI 단말기(110)로부터의 인식 결과를 바탕으로 차체 전장품(150)을 제어하기 위한 제어 정보를 차체 처리부(135) 및 멀티미디어 처리부(137)로 제공하며, 예를 들어 전자제어장치(ECU: electronic control unit)로 구현될 수 있다.
또한, 상기 제어부(133)는 HMI 단말기(110)로부터의 위치 정보를 바탕으로 HMI 단말기(110)가 차량 외부에 있는 것으로 판단하는 경우에는, 보안을 위해, 도어 및 트렁크에 대한 제어만을 수행한다.
이러한 제어부(133)의 HMI 단말기(110) 위치에 대한 판단은 HMI 단말기(110)가 종래의 스마트 키의 기능을 수행하기 때문에 HMI 단말기(110)와의 LF(low frequency) 및 RF(radio frequency) 통신을 이용하면 가능하다.
이때, 상기 HMI 단말기(110)는 스마트 키의 기능 수행을 위해 제어 모듈(130)로 위치 정보, 인증 정보 등의 스마트 정보를 제공한다.
또한, 상기 제어부(133)는 입력되는 차량 상태 정보에 따라 제어할 수 있는 권한이 제한되도록 구현될 수 있으며, 이러한 차량 상태 정보에 따른 제어부(133)의 제어 권한은 다양하게 설정될 수 있다.
또한, 상기 제어부(133)는 HMI 단말기(110)로부터 제공되는 인식 결과로부터 동작을 분석하여 기 설정된 동작이 아니면, 오류 발생으로 판단하여, 인식 오류 발생 신호를 HMI 단말기(110)로 전송한다.
나아가, 상기 제어부(133)는 HMI 단말기(110)로부터 제공되는 인식 결과로부터 동작을 분석하여 기 설정된 동작이면, 정상 인식 신호를 HMI 단말기(110)로 전송한다.
이때, 상기 제어부(133)는 정상 인식 신호를 HMI 단말기(110)로 전송하면서, 분석된 동작 정보를 함께 전송할 수 있다.
상기 차체 처리부(135)는 제어부(133)로부터 제공되는 제어 정보를 바탕으로 전장품(150), 특히 차체 전장품(151)을 제어하는 것으로, 예를 들면 차체제어모듈(BCM: body control module)로 구현될 수 있다.
상기 멀티미디어 처리부(137)는 제어부(133)로부터 제공되는 제어 정보를 바탕으로 전장품(150), 특히 멀티미디어 전장품(153)을 제어한다.
상기 전장품(150)은 사용자에게 편의를 제공하기 위하여 차량에 구비되는 것으로, 차체 전장품(151)과 멀티미디어 전장품(153)으로 구성될 수 있다.
상기 차체 전장품(151)은 차체 처리부(135)의 제어에 의해 구동될 수 있는 것으로, 예를 들면 도어, 선루프, 램프, 실내 조명등, 트렁크 등을 포함할 수 있다.
상기 차체 전장품(153)은 멀티미디어 처리부(137)의 제어에 의해 구동될 수 있는 것으로, 예를 들면 HUD(head-up display), Cluster, AVN 시스템, 카메라 등을 포함할 수 있다.
이상에서는 본 발명의 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 구성 및 기능에 대해서 살펴보았다. 이하에서는 본 발명의 차량용 HMI 시스템의 HMI 단말기에 대해서 좀 더 구체적으로 살펴보기로 한다.
도 2는 본 발명의 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 HMI 단말기의 구성을 도시한 도면이고, 도 3은 도 2의 HMI 단말기의 동작 인식부의 구성 일례를 도시한 도면이다.
도 2에 도시된 HMI 단말기(200)는 도 1의 HMI 단말기(110)에 적용될 수 있는 것으로서, 본 발명의 차량용 HMI 시스템(100)을 사용하고자 하는 대상(예를 들어, 사용자)의 동작을 인식하고, 인식 결과를 외부, 예를 들면 도 1의 차량용 제어 모듈(130)로 전송한다.
또한, 상기 HMI 단말기(200)는 사용자에게 실제 접촉을 통해 대상을 제어하는 효과를 제공하기 위하여, 인식 결과에 상응하는 햅틱 피드백(haptic feedback)을 제공하도록 구현된다.
한편, 상기 HMI 단말기(200)는 웨어러블(wearable) 형태로 구현될 수 있는 것으로, 예를 들면 밴드, 팔찌, 시계 등의 형태로 구현될 수 있다.
구체적으로, 상기 HMI 단말기(200)의 구성을 살펴보면, 상기 HMI 단말기(200)는 동작 인식부(210), 햅틱 피드백 제공부(230), 스마트 키부(250), 통신부(270) 및 사용자 인터페이스(290)로 구성될 수 있다.
하지만, 도 2에 도시된 HMI 단말기(200)의 구성은 설명을 위한 일례로서, HMI 단말기(200)의 구성이 도 2에 도시된 구성으로 한정되는 것은 아니다.
상기 동작 인식부(210)는 사용자의 동작을 인식하기 위해 구성되는 것으로서, 예를 들면 도 3에 도시된 바와 같이, 근전도(EMG: electromyography) 센서(211), 자이로스코프(gyroscope)(213), 10축 센서(215), 가속도계(accelerometer)(217), 자력계(magnetometer)(219) 등의 다양한 종류의 센서들로 구성될 수 있다.
이러한 동작 인식부(210)에 의해 인식된 결과는 다양한 전장품 제어를 위한 데이터로 사용될 수 있다. 이때, 상기 동작 인식부(210)의 특징, 예를 들면 근전도 센서의 감도 등은 사용자에 따라 조절 가능하다.
상기 햅틱 피드백 제공부(230)는 제어 모듈(130)로부터 전송되는 신호에 상응하는 햅틱 피드백을 제공한다.
이때, 상기 햅틱 피드백 제공부(230)는 제어 모듈(130)로부터 전송되는 정상 인식 신호 혹은 인식 오류 발생 신호를 수신하고, 각 신호에 상응하는 햅틱 피드백을 제공한다.
특히, 상기 햅틱 피드백 제공부(230)는 정상 인식 신호와 함께 전송되는 분석 동작 정보에 상응하는 햅틱 피드백을 제공한다.
이때, 상기 햅틱 피드백 제공부(230)는 각 신호에 따라 기 설정된 햅틱 세기 정보와 햅틱 시간 정보를 바탕으로 햅틱 피드백을 제공한다.
일례로, 상기 햅틱 피드백 제공부(230)는 햅틱 피드백을 진동으로 제공하도록 구현될 수 있는데, 진동 소자 혹은 저음파용 스피커로 구현될 수 있다.
상기 스마트 키부(250)는 스마트 키의 기능을 수행하는 것으로서, 웨어러블(wearable) 형태로 구현될 수 있으며, 예를 들면 밴드, 팔찌, 시계 등의 형태로 구현될 수 있다.
상기 스마트 키부(250)는 종래 스마트 키와 같이, 차량의 제어 모듈(130)과 통신을 통해 welcome light 기능, 도어 잠금해제/잠금 기능 등을 수행한다.
이때, 상기 스마트 키부(250)는 제어 모듈(130)과 RF 통신 및 LF 통신을 이용한 인증 과정을 수행하도록 구현될 수 있으며, 이러한 인증 과정은 공지되어 있는 것으로서, 이에 대한 구체적인 설명은 생략한다.
상기 통신부(270)는 외부, 예를 들면 도 1의 제어 모듈(130)과의 통신을 수행하는 것으로서, 일례로 근거리 무선 통신 방식(예, 블루투스, 지그비, NFC, LF, RF 등) 혹은 이동통신 방식(예, WiFi, WCDMA, WiBro 방식 등)으로 제어 모듈(130)과 통신할 수 있다.
이때, 상기 통신부(270)는 하나의 통신 방식이 아닌 서로 다른 다수의 통신 방식으로 통신하도록 구현될 수 있다.
상기 사용자 인터페이스(290)는 제어 관련 정보를 표시하는 한편, 외부로부터의 지시를 입력받을 수 있도록 구현되어, 표시 기능과 입력 기능을 수행할 수 있도록 구현된다.
이때, 상기 사용자 인터페이스(290)는 자동 제어 및 수동 제어의 상호 전환을 위한 입력을 받을 수 있도록 구현되거나, 제어 관련 정보로서, 제어에 따른 차량의 상태를 표시하도록 구현될 수 있다.
제어 관련 정보를 표시하는 일례를 들어보면, 사용자가 차량의 트렁크를 오픈시키는 동작을 취한 경우, HMI 단말기(200)는 동작에 대한 인식 결과를 제어 모듈(130)로 전송하고, 제어 모듈(130)은 인식 결과로부터 동작을 분석하여 기 설정된 동작이면 정상 인식 신호를 HMI 단말기(200)로 전송한다. 이때, 제어 모듈(130)은 정상 인식 신호와 함께 분석 동작 정보를 함께 전송한다.
이와 같이, 제어 모듈(130)은 사용자의 동작에 대한 정상 인식이 이루어지면, 트렁크를 여는 제어를 수행하고, HMI 단말기(200)는 제어모듈(130)로부터 전송되는 분석 동작 정보(트렁크 오픈)를 바탕으로, 사용자 인터페이스(290)를 통해 분석 동작 정보(트렁크 오픈)를 표시한다.
만약, 제어 모듈(130)은 인식 결과로부터 동작을 분석하여 기 설정된 동작이 아니면, 오류 발생으로 판단하여, HMI 단말기(200)로 인식 오류 발생 신호를 전송하고, HMI 단말기(200)는 사용자 인터페이스(290)를 통해 인식 오류 발생을 표시한다.
이상에서는 본 발명의 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 구성 및 그 기능에 대해서 상세히 살펴보았다. 이하에서는 본 발명의 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작 방법에 대해서 보다 구체적으로 살펴보기로 한다.
도 4는 본 발명의 실시 예에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작 순서 도시한 플로우챠트이다.
도 4에 도시된 동작 순서는 도 1 내지 3을 참조하여 살펴본 사용자 동작 인식 기반의 차량용 HMI 시스템에 적용될 수 있는 것으로서, 사용자가 차량을 제어하기 위한 동작을 취하면, HMI 단말기(110)는 사용자 동작을 인식하여, 인식 결과를 차량의 제어 모듈(130)로 전송한다(S400).
상기 단계 S400에 따라 전송된 인식 결과를 수신하면, 상기 제어 모듈(130)은 인식 결과를 분석하여, 인식된 동작이 기 설정된 동작인지를 판단한다(S410).
상기 단계 S410에 따른 판단 결과, 인식된 동작이 기 설정된 동작인 것으로 판단하면(S410-예), 상기 제어 모듈(130)은 인식된 동작에 따라 차량을 제어하고(S420), 아울러 정상 인식 신호를 HMI 단말기(110)로 전송한다(S430).
이때, 상기 단계 S420에 있어서, 제어 모듈(130)은 정상 인식 신호를 전송하면서 분석 동작 정보를 HMI 단말기(110)로 전송한다.
반면, 상기 단계 S410에 따른 판단 결과, 인식 동작이 기 설정된 동작이 아닌 것으로 판단하면(S410-아니오), 상기 제어 모듈(130)은 HMI 단말기(110)로 인식 오류 발생 신호를 전송한다(S440).
상기 단계 S430에 따라 전송된 정상 인식 신호를 수신하거나, 단계 S440에 따라 전송된 인식 오류 발생 신호를 수신하는 경우, 상기 HMI 단말기(110)는 수신한 신호에 상응하는 햅틱 피드백을 제공한다(S450).
이때, 상기 단계 S450에 있어서, HMI 단말기(110)는 햅틱 피드백을 제공하면서, 사용자 인터페이스를 통해 분석 동작 정보를 표시할 수 있다.
그리고, 상기 단계 S450에 따라 햅틱 피드백을 제공하는 경우, 상기 HMI 단말기(110)는 정상 인식 신호와 함께 전송되는 분석 동작 정보에 상응하는 햅틱 피드백을 제공하며, 각 신호 혹은 각 정보에 따라 기 설정된 햅틱 세기 정보와 햅틱 시간 정보를 바탕으로 햅틱 피드백을 제공한다.
일례로, 상기 단계 S450에 따라 햅틱 피드백을 제공하는 경우, 상기 HMI 단말기(110)는 햅틱 피드백을 진동으로 제공할 수 있다.
한편, 본 발명에 따른 사용자 동작 인식 기반의 차량용 HMI 시스템 및 이으 동작 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 차량용 HMI 시스템 110, 200: HMI 단말기
130 : 제어 모듈 131 : 통신부
133 : 제어부 135 : 차체 처리부
137 : 멀티미디어 처리부 150 : 전장품
151 : 차체 전장품 153 : 멀티미디어 전장품
210 : 동작 인식부 230 : 햅틱 피드백 제공부
250 : 스마트 키부 270 : 통신부
290 : 사용자 인터페이스

Claims (15)

  1. 사용자의 동작을 인식하며, 인식된 동작에 상응하여 외부로부터 전송되는 분석 결과에 상응하는 햅틱 피드백을 제공하는 HMI 단말기; 및
    상기 HMI 단말기에 의해 인식된 사용자의 동작을 바탕으로 상기 차량의 전장품을 제어하는 제어 모듈을 포함하고,
    상기 제어 모듈은 상기 사용자의 동작을 분석하여, 정상 인식 신호 혹은 인식 오류 발생 신호를 상기 HMI 단말기로 전송하는 사용자 동작 인식 기반의 차량용 HMI 시스템.
  2. 제 1 항에 있어서,
    상기 HMI 단말기는 웨어러블(wearable) 형태로 구현되는 것
    인 사용자 동작 인식 기반의 차량용 HMI 시스템.
  3. 제 1 항에 있어서,
    상기 HMI 단말기는,
    사용자의 동작을 인식하는 동작 인식부; 및
    상기 제어 모듈로부터 전송되는 정상 인식 신호 혹은 인식 오류 발생 신호에 상응하는 햅틱 피드백을 제공하는 햅틱 피드백 제공부를 포함하는 사용자 동작 인식 기반의 차량용 HMI 시스템.
  4. 제 3 항에 있어서,
    상기 동작 인식부는 근전도(EMG: electromyography) 센서, 자이로스코프(gyroscope), 10축 센서, 가속도계(accelerometer), 자력계(magnetometer) 중 적어도 하나를 포함하여 구성되는 것
    인 사용자 인식 기반의 차량용 HMI 시스템.
  5. 제 3 항에 있어서,
    상기 햅틱 피드백 제공부는 상기 정상 인식 신호와 함께 전송되는 분석 동작 정보에 상응하여 햅틱 피드백을 제공하는 것
    인 사용자 동작 인식 기반의 차량용 HMI 시스템.
  6. 제 3 항에 있어서,
    상기 햅틱 피드백 제공부는 상기 정상 인식 신호 혹은 인식 오류 발생 신호에 상응하여 기 설정되는 햅틱 세기 정보 및 햅틱 시간 정보를 바탕으로 햅틱 피드백을 제공하는 것
    인 사용자 동작 인식 기반의 차량용 HMI 시스템.
  7. 제 3 항에 있어서,
    상기 햅틱 피드백 제공부는 상기 햅틱 피드백을 진동으로 제공하도록 구현되는 것
    인 사용자 동작 인식 기반의 차량용 HMI 시스템.
  8. 제 3 항에 있어서,
    상기 HMI 단말기는,
    상기 제어 모듈과의 통신을 통해 스마트 키 기능을 수행하는 스마트 키부;
    상기 제어 모듈과의 통신을 수행하는 통신부; 및
    상기 차량의 전장품의 제어와 관련한 정보를 표시하는 사용자 인터페이스를 더 포함하는 사용자 동작 인식 기반의 차량용 HMI 시스템.
  9. 제 1 항에 있어서,
    상기 제어 모듈은,
    상기 HMI 단말기에 의해 인식된 동작에 따라 전장품을 제어하기 위한 제어 정보를 제공하는 한편, 상기 정상 인식 신호 혹은 인식 오류 발생 신호를 전송하는 제어부;
    상기 제어부의 제어에 따라 차체 전장품을 제어하는 차체 처리부; 및
    상기 제어부의 제어에 따라 멀티미디어 전장품을 제어하는 멀티미디어 처리부를 포함하는 사용자 동작 인식 기반의 차량용 HMI 시스템.
  10. HMI 단말기가 사용자 동작을 인식하여, 인식 결과를 차량의 제어 모듈로 전송하는 단계;
    상기 제어 모듈이 인식 결과를 분석하여, 인식된 동작이 기 설정된 동작인지를 판단하는 단계;
    상기 판단하는 단계에서의 판단 결과에 따라 상기 제어 모듈이 정상 인식 신호 혹은 인식 오류 발생 신호를 상기 HMI 단말기로 전송하는 단계; 및
    상기 HMI 단말기가 상기 정상 인식 신호 혹은 인식 오류 발생 신호에 상응하는 햅틱 피드백을 제공하는 단계를 포함하는 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작방법.
  11. 제 10 항에 있어서,
    상기 HMI 단말기로 전송하는 단계는 상기 판단하는 단계에서의 판단 결과, 인식된 동작이 기 설정된 동작인 것으로 판단하면, 상기 제어 모듈이 상기 정상 인식 신호를 전송하는 것을 포함하는 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작방법.
  12. 제 10 항에 있어서,
    상기 HMI 단말기로 전송하는 단계는 상기 판단하는 단계에서의 판단 결과, 인식된 동작이 기 설정된 동작이 아닌 것으로 판단하면, 상기 제어 모듈이 상기 인식 오류 발생 신호를 전송하는 것을 포함하는 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작방법.
  13. 제 10 항에 있어서,
    상기 HMI 단말기로 전송하는 단계는 상기 정상 인식 신호와 함께 분석 동작 정보를 함께 전송하는 것을 포함하는 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작방법.
  14. 제 13 항에 있어서,
    상기 햅틱 피드백을 제공하면서 사용자 인터페이스를 통해 상기 분석 동작 정보를 표시하는 단계를 더 포함하는 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작방법.
  15. 제 10 항에 있어서,
    상기 햅틱 피드백을 제공하는 단계는 상기 정상 인식 신호 혹은 인식 오류 발생 신호에 따라 기설정된 햅틱 세기 정보와 햅틱 시간 정보를 바탕으로 햅틱 피드백을 제공하는 것을 포함하는 사용자 동작 인식 기반의 차량용 HMI 시스템의 동작방법.
KR1020160063852A 2016-05-25 2016-05-25 사용자 동작 인식 기반의 차량용 hmi 시스템 및 이의 동작 방법 KR20170132992A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160063852A KR20170132992A (ko) 2016-05-25 2016-05-25 사용자 동작 인식 기반의 차량용 hmi 시스템 및 이의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160063852A KR20170132992A (ko) 2016-05-25 2016-05-25 사용자 동작 인식 기반의 차량용 hmi 시스템 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR20170132992A true KR20170132992A (ko) 2017-12-05

Family

ID=60921082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160063852A KR20170132992A (ko) 2016-05-25 2016-05-25 사용자 동작 인식 기반의 차량용 hmi 시스템 및 이의 동작 방법

Country Status (1)

Country Link
KR (1) KR20170132992A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200002396A (ko) * 2018-06-29 2020-01-08 광운대학교 산학협력단 웨어러블 디바이스가 근전도 패턴을 이용하여 사용자가 원하는 액션을 수행하는 방법
KR102322817B1 (ko) 2020-09-10 2021-11-08 한국항공대학교산학협력단 도플러 레이다 및 음성 센서를 이용한 cnn 기반의 hmi 시스템, hmi 시스템의 센서 데이터 처리 장치 및 그 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200002396A (ko) * 2018-06-29 2020-01-08 광운대학교 산학협력단 웨어러블 디바이스가 근전도 패턴을 이용하여 사용자가 원하는 액션을 수행하는 방법
KR102322817B1 (ko) 2020-09-10 2021-11-08 한국항공대학교산학협력단 도플러 레이다 및 음성 센서를 이용한 cnn 기반의 hmi 시스템, hmi 시스템의 센서 데이터 처리 장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
US11243613B2 (en) Smart tutorial for gesture control system
US20170351927A1 (en) System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
US9805589B2 (en) Trainable transceiver and camera systems and methods
EP3132435B1 (en) Trainable transceiver and mobile communications device diagnostic systems and methods
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
KR101603553B1 (ko) 차량에서 웨어러블 기기를 이용한 제스쳐 인식 방법 및 이를 수행하는 차량
US10062229B2 (en) Integrated garage door opener for connected vehicle
CN105446172B (zh) 一种车载控制方法、车载控制系统及汽车
CN105128862A (zh) 一种车载终端眼球识别控制方法及系统
US9493125B2 (en) Apparatus and method for controlling of vehicle using wearable device
JP2016529767A (ja) 車両の機能を遠隔制御するための方法および装置
US9922549B2 (en) Vehicle integration with security and/or automation systems
US10146317B2 (en) Vehicle accessory operation based on motion tracking
CN104044531A (zh) 基于智能手表的汽车控制方法和控制系统
KR101886084B1 (ko) 차량용 제스처 인식 장치
KR20170132992A (ko) 사용자 동작 인식 기반의 차량용 hmi 시스템 및 이의 동작 방법
KR101628482B1 (ko) 무선신호 분석을 통한 동작 인식 시스템 및 그 방법
EP3126934B1 (en) Systems and methods for the detection of implicit gestures
JP2018501998A (ja) 自動車の機器を制御するためのシステムおよび方法
CN109519079B (zh) 交通工具的机载系统和发送命令到停靠区接入系统的方法
WO2021019876A1 (ja) 情報処理装置、運転者特定装置及び学習モデル
CN103970459A (zh) 供交通工具使用的指令反馈系统及方法
CN107848489A (zh) 借助移动设备激活交通工具动作
CN113990318A (zh) 控制方法、装置、车载终端、车辆和存储介质
CN105882521A (zh) 根据驾驶员注视区域来激活车内显示屏对应区域的控制装置和控制方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
X601 Decision of rejection after re-examination