KR102567935B1 - Systemt and method for guiding gesture recognition area based on non-contact haptic - Google Patents

Systemt and method for guiding gesture recognition area based on non-contact haptic Download PDF

Info

Publication number
KR102567935B1
KR102567935B1 KR1020210108157A KR20210108157A KR102567935B1 KR 102567935 B1 KR102567935 B1 KR 102567935B1 KR 1020210108157 A KR1020210108157 A KR 1020210108157A KR 20210108157 A KR20210108157 A KR 20210108157A KR 102567935 B1 KR102567935 B1 KR 102567935B1
Authority
KR
South Korea
Prior art keywords
gesture recognition
hand
recognition area
gesture
haptic
Prior art date
Application number
KR1020210108157A
Other languages
Korean (ko)
Other versions
KR20230026131A (en
Inventor
박선홍
오영달
류동운
예진해
이훈
Original Assignee
한국자동차연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국자동차연구원 filed Critical 한국자동차연구원
Priority to KR1020210108157A priority Critical patent/KR102567935B1/en
Publication of KR20230026131A publication Critical patent/KR20230026131A/en
Application granted granted Critical
Publication of KR102567935B1 publication Critical patent/KR102567935B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

본 발명은 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템은 제스처 인식 기능에 대한 온/오프를 설정하는 기능 선택부와, 차량 내 운전자의 손 움직임 정보를 획득하는 제스처 인식 센서와, 기능 선택부에 의해 제스처 인식 기능이 온(on)된 상태에서 손 움직임 정보를 수신하여 운전자의 손이 정상 영역에 위치하였는지 여부 및 제스처 인식 성공 여부를 판단하는 영역 판단부 및 제스처 인식 영역 가이드를 생성하고, 정상 영역에 위치하였는지 여부 및 제스처 인식 성공 여부에 따른 요청을 수신하여 피드백 신호를 생성하는 초음파 스피커 어레이 장치를 포함한다. The present invention relates to a non-contact haptic based gesture recognition area guide system and method.
A non-contact haptic-based gesture recognition area guide system according to the present invention includes a function selection unit for setting on/off of a gesture recognition function, a gesture recognition sensor for obtaining hand movement information of a driver in a vehicle, and a function selection unit for detecting gestures. When the recognition function is on, hand movement information is received to create an area determination unit that determines whether the driver's hand is positioned in the normal area and gesture recognition success or not, and a gesture recognition area guide, which is located in the normal area and an ultrasonic speaker array device that generates a feedback signal by receiving a request according to whether or not the gesture recognition was successful.

Description

비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템 및 그 방법{SYSTEMT AND METHOD FOR GUIDING GESTURE RECOGNITION AREA BASED ON NON-CONTACT HAPTIC}Non-contact haptic based gesture recognition area guide system and its method

본 발명은 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템 및 그 방법에 관한 것이다. The present invention relates to a non-contact haptic based gesture recognition area guide system and method.

HMI(Human Machine Interface, 휴먼머신인터페이스) 기술의 발전에 따라, 차량 기능 실행을 위한 조작은 물리 버튼을 누르는 것으로부터, 터치 입력, 음성 입력, 제스처 입력 등 다양한 방식으로 발전되고 있다. With the development of HMI (Human Machine Interface) technology, manipulations for executing vehicle functions have been developed in various ways, such as pressing physical buttons, touch input, voice input, and gesture input.

제스처 입력의 경우, 차량에 탑승한 사용자는 제스처 입력이 가능한 영역(예컨대, 제스처 인식을 위해 차량 내 배치된 적외선 카메라의 인식 가능 영역)에서 특정 손 동작을 통해 그에 대응되는 기능 실행을 요청한다. In the case of gesture input, a user in a vehicle requests execution of a corresponding function through a specific hand motion in an area where gesture input is possible (eg, an area where an infrared camera disposed in the vehicle can recognize a gesture).

종래 기술에 따르면, 사용자 경험에 따라 제스처 인식이 가능한 영역을 인지하고, 그 영역 내에서 제스처를 수행하고, 해당 제스처 입력에 따른 기능 실행 요청이 제대로 입력되었는지 육안으로 제스처와 연계된 장치(AVN, 클러스터 등)의 화면을 직접 확인하거나 음성으로 피드백되어야 하므로, 제스처 입력이 가능한 영역 내에 사용자의 손이 위치한 것인지 여부와, 제스처 입력을 통한 기능 실행 요청이 제대로 입력되었는지 직관적으로 확인하기 어렵고 이로 인해 사용자의 시선이 분산되는 문제점이 발생하며, 이는 곧 전방 주시 태만으로 이어져 안전운전을 저해하는 요인으로 되고 있다.According to the prior art, an area in which gesture recognition is possible is recognized according to user experience, a gesture is performed within the area, and a device associated with the gesture (AVN, cluster) visually checks whether a function execution request according to the corresponding gesture input is properly input. etc.), it is difficult to intuitively check whether the user's hand is located within an area where gesture input is possible and whether a function execution request through gesture input is properly entered This problem of dispersion occurs, which leads to negligence in looking ahead, which becomes a factor impeding safe driving.

본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 비접촉 햅틱 기반으로 제스처 인식 영역을 가이드하고, 제스처 입력에 대한 정상 인식 여부를 피드백으로 제공함으로써, 사용자로 하여금 직관적으로 제스처 인식 영역을 확인할 수 있을 뿐만 아니라 기능 실행 요청이 정상적으로 입력되었는지 여부를 확인할 수 있도록 지원하는 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and guides a gesture recognition area based on non-contact haptics and provides feedback as to whether or not a gesture input is recognized normally, so that the user can intuitively check the gesture recognition area. In addition, an object of the present invention is to provide a system and method for supporting whether or not a function execution request is normally input.

본 발명에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템은 제스처 인식 기능에 대한 온/오프를 설정하는 기능 선택부와, 차량 내 운전자의 손 움직임 정보를 획득하는 제스처 인식 센서와, 기능 선택부에 의해 제스처 인식 기능이 온(on)된 상태에서 손 움직임 정보를 수신하여 운전자의 손이 정상 영역에 위치하였는지 여부 및 제스처 인식 성공 여부를 판단하는 영역 판단부 및 제스처 인식 영역 가이드를 생성하고, 정상 영역에 위치하였는지 여부 및 제스처 인식 성공 여부에 따른 요청을 수신하여 피드백 신호를 생성하는 초음파 스피커 어레이 장치를 포함한다. A non-contact haptic-based gesture recognition area guide system according to the present invention includes a function selection unit for setting on/off of a gesture recognition function, a gesture recognition sensor for obtaining hand movement information of a driver in a vehicle, and a function selection unit for detecting gestures. When the recognition function is on, hand movement information is received to create an area determination unit that determines whether the driver's hand is positioned in the normal area and gesture recognition success or not, and a gesture recognition area guide, which is located in the normal area and an ultrasonic speaker array device that generates a feedback signal by receiving a request according to whether or not the gesture recognition was successful.

기능 선택부는 제스처 인식에 따른 피드백 방식에 대한 햅틱 패턴을 설정한다. The function selector sets a haptic pattern for a feedback method according to gesture recognition.

제스처 인식 센서는 영상 획득부를 통해 운전자의 손 위치, 모양, 궤적 정보를 포함하는 손 움직임 정보를 획득한다. The gesture recognition sensor acquires hand movement information including information on the location, shape, and trajectory of the driver's hand through an image acquisition unit.

영역 판단부는 손 움직임 정보를 수신하여 차량 내 탑승자 별 손 진입 여부를 판단하고, 운전자 외 탑승자의 손이 제스처 인식 영역 가이드로 진입하는 것을 판단하는 경우, 제스처 인식을 비활성화한다. The area determiner receives hand motion information to determine whether each occupant's hand enters the vehicle, and deactivates gesture recognition when it is determined that a hand of a passenger other than the driver enters the gesture recognition area guide.

초음파 스피커 어레이 장치는 햅틱 신호를 이용하여 제스처 인식 영역 가이드를 생성한다. The ultrasonic speaker array device generates a gesture recognition area guide using a haptic signal.

제스처 인식 영역 가이드는 기설정된 3차원 형상으로 생성된다. The gesture recognition area guide is created in a preset 3D shape.

초음파 스피커 어레이 장치는 3차원 형상의 제스처 인식 영역 가이드의 중심점으로 가까워질수록 강한 햅틱 신호가 전달되도록 제어한다. The ultrasonic speaker array device controls a strong haptic signal to be transmitted as it approaches the central point of the three-dimensional gesture recognition region guide.

초음파 스피커 어레이 장치는 운전자의 손이 제스처 인식 영역 가이드 내 정상 영역에 진입하는 경우, 제스처 인식 영역 가이드의 생성을 해제한다. The ultrasonic speaker array device releases generation of the gesture recognition area guide when the driver's hand enters a normal area within the gesture recognition area guide.

초음파 스피커 어레이 장치는 정상 영역 내에 진입한 운전자의 손을 이용한 제스처 생성 시, 제스처 인식 성공 및 실패와 관련하여 상이한 햅틱 피드백을 제공하도록 제어한다. The ultrasonic speaker array device controls to provide different haptic feedbacks in relation to gesture recognition success and failure when a gesture is generated using a driver's hand entering a normal area.

본 발명에 따른 초음파 스피커 어레이를 활용한 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법은 (a) 비접촉 햅틱 기반의 제스처 인식 영역 가이드를 생성하고, 차량 내 탑승자의 손 움직임을 모니터링하는 단계 및 (b) 차량 내 탑승자 중 운전자의 손 움직임에 따라 정상 영역 내 위치 여부를 판단하고 제스처를 인식하여, 햅틱 신호를 생성하는 단계를 포함한다. A non-contact haptic-based gesture recognition area guide method using an ultrasonic speaker array according to the present invention includes the steps of (a) generating a non-contact haptic-based gesture recognition area guide and monitoring the hand movement of a passenger in a vehicle; and (b) in-vehicle Determining whether or not the position is within the normal region according to the hand movement of the driver among the passengers, recognizing the gesture, and generating a haptic signal.

(a) 단계는 기어 부근 기설정 영역에 배치된 초음파 스피커 어레이를 통해 햅틱 신호를 생성하여 제스처 인식 영역 가이드를 제공한다. In step (a), a gesture recognition area guide is provided by generating a haptic signal through an ultrasonic speaker array disposed in a preset area near the gear.

(b) 단계는 기설정된 3차원 형상의 제스처 인식 영역 가이드를 제공하고, 3차원 형상의 제스처 인식 영역 가이드의 가상의 중심점에 가까워질수록 강한 햅틱 신호를 제공한다. In step (b), a preset 3D gesture recognition area guide is provided, and a stronger haptic signal is provided as it approaches a virtual center point of the 3D gesture recognition area guide.

(b) 단계는 기능 선택부에 의해 설정된 햅틱 패턴에 따라 햅틱 신호를 생성한다. Step (b) generates a haptic signal according to the haptic pattern set by the function selector.

(a) 단계는 운전자의 손 위치, 모양, 궤적 정보를 포함하는 손 움직임을 모니터링한다. Step (a) monitors hand movements including position, shape, and trajectory information of the driver's hand.

(b) 단계는 정상 영역 내 진입 여부를 확인하면, 제스처 인식 영역 가이드 생성을 중단시키고, 인식된 제스처의 인식 성공 여부에 따라 상이한 햅틱 신호를 생성한다. In step (b), when it is confirmed whether or not entry into the normal area is made, generation of a guide for the gesture recognition area is stopped, and different haptic signals are generated according to whether or not the recognition of the recognized gesture succeeds.

본 발명에 따르면, 운전자가 수동 주행 상황에서 전방을 주시하면서도 직관적으로 제스처 입력을 통한 기능 실행을 요청할 수 있으며 초음파 스피커 어레이를 통한 자유공간(허공)에서 햅틱 피드백을 제공하여 시선이 분산되지 않아 안전 운전을 도모하는 효과가 있다. According to the present invention, the driver can intuitively request function execution through gesture input while looking forward in a manual driving situation, and haptic feedback is provided in a free space (air) through an ultrasonic speaker array, so that the eyes are not distracted and safe driving has the effect of promoting

수동 주행 모드 뿐 아니라 자율주행 상황에서도 모바일 기기 조작, 영상 시청, 독서, 업무 등 운전 외 태스크를 수행하면서도 제스처 인식 영역 가이드를 통해 제스처 입력을 통한 기능 실행 요청의 정확도를 높이는 것이 가능하여, 운전자 편의성을 높이는 효과가 있다. It is possible to improve the accuracy of function execution requests through gesture input through gesture recognition area guides while performing tasks other than driving, such as operating mobile devices, watching videos, reading, and working, not only in manual driving mode but also in autonomous driving situations, improving driver convenience. Height works.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 실시예에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 제스처 인식 영역 가이드, 정상 영역(제스처 인식 정위치), 손 진입 방향 별 인식 여부를 도시한다.
도 3은 본 발명의 실시예에 따른 제스처 인식 성공 및 실패 시의 피드백 제공에 대해 도시한다.
도 4는 본 발명의 실시예에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법을 도시한다. 1 illustrates a non-contact haptic based gesture recognition area guide system according to an embodiment of the present invention.
FIG. 2 illustrates recognition for each gesture recognition area guide, normal area (gesture recognition location), and hand entry direction according to an embodiment of the present invention.
3 illustrates providing feedback when gesture recognition succeeds or fails according to an embodiment of the present invention.
4 illustrates a non-contact haptic based gesture recognition area guide method according to an embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The foregoing and other objects, advantages and characteristics of the present invention, and a method of achieving them will become clear with reference to the detailed embodiments described below in conjunction with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms, and only the following embodiments provide the purpose of the invention, As only provided to easily inform the configuration and effect, the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in this specification are for describing the embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, “comprises” and/or “comprising” means the presence of one or more other components, steps, operations, and/or elements in which a stated component, step, operation, and/or element is present. or added.

본 발명의 실시예에 따르면, 운전자가 수동 모드에서 직접 주행을 하거나, 자율주행 중 모바일 기기 조작, 영상 시청 등의 행동을 수행하는 상황에서 제스처 인식 기능을 사용할 때, 비접촉 햅틱 기반으로 제스처 인식 영역 가이드를 제공함으로써 운전자가 제스처 인식 영역을 직관적으로 인지하고 인식 결과에 대한 촉각 피드백을 받을 수 있도록 지원함으로써, 시각적 주의를 기울일 필요없이 제스처 인식 기능을 사용하는 것이 가능한 효과가 있다. According to an embodiment of the present invention, when a driver uses a gesture recognition function in a situation in which a driver drives directly in a manual mode or performs an action such as manipulating a mobile device or watching an image during autonomous driving, a gesture recognition area guide based on non-contact haptics By providing a gesture recognition area, it is possible to use the gesture recognition function without paying visual attention by supporting the driver to intuitively recognize the gesture recognition area and receive tactile feedback on the recognition result.

도 1은 본 발명의 실시예에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템을 도시한다. 1 illustrates a non-contact haptic based gesture recognition area guide system according to an embodiment of the present invention.

본 발명의 실시예에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템은 제스처 인식 기능에 대한 온/오프를 설정하는 기능 선택부(110)와, 차량 내 운전자의 손 움직임 정보를 획득하는 제스처 인식 센서(120)와, 기능 선택부에 의해 제스처 인식 기능이 온(on)된 상태에서 손 움직임 정보를 수신하여 운전자의 손이 정상 영역에 위치하였는지 여부 및 제스처 인식 성공 여부를 판단하는 영역 판단부(130) 및 제스처 인식 영역 가이드를 생성하고, 정상 영역에 위치하였는지 여부 및 제스처 인식 성공 여부에 따른 요청을 수신하여 피드백 신호를 생성하는 초음파 스피커 어레이 장치(140)를 포함한다. A non-contact haptic-based gesture recognition area guide system according to an embodiment of the present invention includes a function selection unit 110 for setting on/off of a gesture recognition function, and a gesture recognition sensor 120 for acquiring hand movement information of a driver in a vehicle. ), and a region determination unit 130 that receives hand movement information in a state where the gesture recognition function is turned on by the function selection unit and determines whether the driver's hand is located in the normal area and whether the gesture recognition is successful; and The ultrasonic speaker array device 140 generates a gesture recognition area guide, receives a request according to whether the gesture recognition area is located in the normal area and whether the gesture recognition is successful or not, and generates a feedback signal.

기능 선택부(110)는 제스처 인식에 따른 피드백 방식에 대한 햅틱 패턴을 설정한다. The function selector 110 sets a haptic pattern for a feedback method according to gesture recognition.

운전자는 운전석 AVN 화면에서 제스처 인식 기능에 대한 온/오프 설정이 가능하고, 제스처 인식에 대한 피드백 방식을 원하는 패턴으로 설정할 수 있다. The driver can turn on/off the gesture recognition function on the driver's seat AVN screen, and set the feedback method for gesture recognition to a desired pattern.

제스처 인식 기능을 온(on)으로 설정한 경우, 초음파 스피커 어레이 장치에 의해 제스처 인식 영역 가이드가 생성되며, 이와 동시에 AVN 화면에서는 전반적인 제스처 인식 기능 및 제스처 인식 영역 가이드에 대한 사용 방법을 안내한다. When the gesture recognition function is set to on, a gesture recognition area guide is created by the ultrasonic speaker array device, and at the same time, the AVN screen guides the overall gesture recognition function and how to use the gesture recognition area guide.

예를 들어, 특정 제스처 입력에 따라 실행되는 기능에 대한 설명이 AVN 화면에 도시될 수 있으며, 이는 주행 상황 정보를 고려하여 추천 기능 및 이를 실행시키기 위한 제스처 입력에 대한 안내 메시지가 도시될 수 있다. For example, a description of a function executed according to a specific gesture input may be displayed on the AVN screen, and a guide message for a recommended function and a gesture input for executing the function may be displayed in consideration of driving situation information.

또한, 운전자의 손 움직임을 감지하여 제스처 인식 영역 중 어느 위치에 현재 손이 위치하였는지 여부를 이미지로 디스플레이하여, 운전자가 AVN 화면을 통해 현재 자신의 손 위치를 확인하고, 제스처 인식 영역(정상 영역)으로 손을 진입시킬 수 있도록 관련 정보를 디스플레이하는 것이 가능하다. In addition, by detecting the movement of the driver's hand and displaying an image of where the hand is currently located in the gesture recognition area, the driver can check the current position of his or her hand through the AVN screen, and the gesture recognition area (normal area) It is possible to display related information so that the hand can be entered.

제스처 인식 센서(120)는 영상 획득부를 통해 운전자의 손 위치, 모양, 궤적 정보를 포함하는 손 움직임 정보를 획득한다. The gesture recognition sensor 120 acquires hand movement information including position, shape, and trajectory information of the driver's hand through an image acquisition unit.

제스처 인식 센서(120)는 카메라 영상 기반으로 제스처 영상을 획득하고, 다음 영상 및 모션과 같은 특징 정보로부터 의미 있는 제스처를 추출하여 인식하는 것이 가능하고, 다른 예로서 3D 기반으로 카메라를 이용하여 획득한 영상으로부터 3차원 데이터를 추출하여 제스처를 인식하는 것이 가능하다. 또한, 제스처 인식 센서(120)는 적외선 근접 센서 기반으로 제스처를 센싱하는 것이 가능하다.The gesture recognition sensor 120 acquires a gesture image based on a camera image, and extracts and recognizes a meaningful gesture from characteristic information such as the next image and motion. It is possible to recognize a gesture by extracting 3D data from an image. Also, the gesture recognition sensor 120 can sense a gesture based on an infrared proximity sensor.

예컨대, 제스처 인식 센서(120)는 운전석 AVN 화면 부근에 위치한 카메라를 이용하여, 운전자의 3축 손위치, 모양(패턴), 행동(궤적) 데이터를 수집한다. For example, the gesture recognition sensor 120 collects three-axis hand position, shape (pattern), and action (trajectory) data of the driver using a camera located near the driver's seat AVN screen.

영역 판단부(130)는 손 움직임 정보를 수신하여 차량 내 탑승자 별 손 진입 여부를 판단하고, 운전자 외 탑승자의 손이 제스처 인식 영역 가이드로 진입하는 것을 판단하는 경우, 제스처 인식을 비활성화한다. The region determination unit 130 receives hand motion information to determine whether each passenger's hand enters the vehicle, and when it is determined that a hand of a passenger other than the driver enters the gesture recognition region guide, gesture recognition is deactivated.

영역 판단부(130)는 제스처 인식 센서(120)로부터 수집되는 운전자의 손 모양(우수, 좌수), 위치, 궤적 정보를 기반으로 운전자의 손이 진입하는 것을 감지한다. 반면, 운전자 외의 동승자의 손이 진입할 경우, 제스처 인식 기능을 동작시키지 않는다. The area determiner 130 detects the entry of the driver's hand based on the driver's hand shape (right or left hand), location, and trajectory information collected from the gesture recognition sensor 120 . On the other hand, when a hand of a passenger other than the driver enters, the gesture recognition function is not operated.

다른 예로서, 제스처 입력을 통해 실행되는 차량 기능은 운전자/동승자 여부에 따라 상이하게 분류된다. As another example, vehicle functions executed through gesture input are classified differently depending on whether there is a driver/passenger.

예컨대 운전과 관련한 제스처(예: 스마트 크루즈 컨트롤 작동)는 운전석에서 제스처 인식 영역으로 진입하는 운전자의 손에 의한 제스처에 의해서만 작동되며, 조수석 공조 시스템 작동 등 운전과 직접 연관이 없는 기능은 조수석으로부터 제스처 인식 영역으로 진입하는 동승자의 손에 의한 제스처에 의해서도 작동이 이루어질 수 있다. For example, gestures related to driving (e.g., smart cruise control operation) are operated only by the driver's hand gesture entering the gesture recognition area from the driver's seat, and functions not directly related to driving, such as the operation of the air conditioning system in the passenger seat, are operated by gesture recognition from the passenger seat. The operation can also be performed by a gesture made by the passenger's hand entering the area.

이 경우, 손 움직임, 궤적 정보를 이용하여, 제스처 인식 영역 가이드 내 정상 영역에 위치한 손의 제스처를 인식하고, 그에 따른 기능 실행 여부를 결정하는 것이 가능하다. In this case, it is possible to recognize a gesture of a hand located in a normal area within a gesture recognition area guide using hand movement and trajectory information, and determine whether or not to execute a function accordingly.

영역 판단부(130)는 운전자의 손이 제스처 인식 영역(정상 영역)에 진입한 것으로 판단하고, 제스처 입력을 인식하여 인식 성공/실패 여부를 판단하고, 그에 따라 피드백 신호 생성을 위한 트리거 신호를 전달하며, 이러한 트리거 신호는 초음파 스피커 어레이 장치(140) 및 운전자의 시선이 분포하는 곳에 위치하고 있는 디스플레이(AVN 화면, 클러스터, HUD 등)에 전달된다. The region determination unit 130 determines that the driver's hand has entered the gesture recognition region (normal region), recognizes the gesture input, determines whether the recognition succeeds/failure, and transmits a trigger signal for generating a feedback signal accordingly. This trigger signal is transmitted to the ultrasonic speaker array device 140 and a display (AVN screen, cluster, HUD, etc.) located where the driver's gaze is distributed.

초음파 스피커 어레이 장치(140)는 햅틱 신호를 이용하여 제스처 인식 영역 가이드를 생성한다. The ultrasonic speaker array device 140 generates a gesture recognition area guide using a haptic signal.

제스처 인식 영역 가이드는 기설정된 3차원 형상으로 생성되며, 예컨대 구 형상으로 생성될 수 있다. The gesture recognition area guide is created in a preset 3D shape, for example, it may be created in a sphere shape.

초음파 스피커 어레이 장치(140)는 예컨대 운전석과 조수석 사이의 기어 부근 기설정 영역에 위치하여 제스처 인식 센서(120)에서 운전자의 손을 인식하는 영역에 대해, 다수의 초음파 초점식 햅틱 신호로 구성된 가이드 영역을 발생시킨다. The ultrasonic speaker array device 140 is, for example, located in a preset area near a gear between the driver's seat and the front passenger seat, and the gesture recognition sensor 120 recognizes the driver's hand. A guide area composed of a plurality of ultrasonic focused haptic signals. causes

초음파 스피커 어레이 장치(140)는 3차원 형상의 제스처 인식 영역 가이드의 중심점으로 가까워질수록 진동이 강한 햅틱 신호가 전달되도록 제어한다. The ultrasonic speaker array device 140 controls a haptic signal with strong vibration to be transmitted as it approaches the central point of the three-dimensional gesture recognition area guide.

이러한 햅틱 신호에 의해, 운전자의 제스처 입력에 대한 인식 성공 및 실패 여부를 알려주게 되고, 이와 관련한 피드백 정보는 운전자의 시선이 분포되는 AVN 화면, 클러스터, HUD 등의 디스플레이에도 표출되는 것이 바람직하다. Success or failure of recognition of the driver's gesture input is informed by such a haptic signal, and feedback information related to this is preferably displayed on displays such as AVN screens, clusters, and HUDs where the driver's gaze is distributed.

초음파 스피커 어레이 장치(140)는 운전자의 손이 제스처 인식 영역 가이드 내 정상 영역에 진입하는 경우, 제스처 인식 영역 가이드의 생성을 해제한다. The ultrasonic speaker array device 140 cancels the creation of the gesture recognition area guide when the driver's hand enters a normal area within the gesture recognition area guide.

초음파 스피커 어레이 장치(140)는 정상 영역 내에 진입한 운전자의 손을 이용한 제스처 생성 시, 제스처 인식 성공 및 실패와 관련하여 상이한 햅틱 피드백을 제공하도록 제어한다. The ultrasonic speaker array device 140 controls to provide different haptic feedbacks in relation to gesture recognition success and failure when a gesture is generated using the driver's hand entering the normal area.

도 2는 본 발명의 실시예에 따른 제스처 인식 영역 가이드, 정상 영역(제스처 인식 정위치), 손 진입 방향 별 인식 여부를 도시하고, 도 3은 본 발명의 실시예에 따른 제스처 인식 성공 및 실패 시의 피드백 제공에 대해 도시한다. FIG. 2 shows recognition of each gesture recognition area guide, normal area (gesture recognition position), and hand entry direction according to an embodiment of the present invention, and FIG. 3 shows gesture recognition success and failure according to an embodiment of the present invention. It shows about the provision of feedback.

전술한 바와 같이, 운전자는 AVN 화면에서 제스처 인식 영역 가이드 이용 방법 안내를 숙지하고, 제스처 인식 여부에 대한 피드백 방식을 진동 주기 혹은 비접촉 햅틱 초점으로 구성된 도형(삼각형, 사각형 등) 등 다양한 형태의 햅틱 패턴 중 원하는 패턴을 선택한다. As described above, the driver familiarizes himself with the guide on how to use the gesture recognition area guide on the AVN screen, and sets the feedback method for gesture recognition to various types of haptic patterns, such as vibration cycles or figures (triangles, squares, etc.) composed of non-contact haptic focal points. Choose the pattern you want.

제스처 인식 기능이 활성화되면, 초음파 스피커 어레이 장치를 통해 도 2에 도시한 바와 같이 기설정된 3차원 형태(예: 구 형태)의 제스처 인식 영역 가이드가 생성된다. When the gesture recognition function is activated, a gesture recognition area guide in a preset 3D shape (eg, sphere shape) is generated through the ultrasonic speaker array device as shown in FIG. 2 .

제스처 인식 영역 가이드는 제스처 인식 기능이 비활성화되지 않는 한, 지속적으로 생성된 상태로 유지된다. The gesture recognition area guide is continuously created unless the gesture recognition function is deactivated.

AVN 화면에서는 제스처 인식을 위해 손을 위치시켜야 하는 영역을 안내하며, 정상 영역 내 손이 위치하였는지 여부, 제스처 인식이 정상적으로 입력되었는지 성공/실패 여부에 대한 정보가 표출된다. The AVN screen guides the area where the hand should be positioned for gesture recognition, and information about whether the hand is positioned within the normal area, whether the gesture recognition is normally input, or whether success or failure is displayed.

운전자는 제스처 인식 영역 가이드로 손을 이동하면서, 햅틱 가이드를 인지하게 되며, 햅틱 신호가 강해지는 위치로 손을 움직이며, 직관적으로 제스처 인식을 위한 정상 영역을 인지할 수 있다. While moving his hand to the gesture recognition area guide, the driver recognizes the haptic guide, moves his hand to a position where the haptic signal becomes stronger, and intuitively recognizes a normal area for gesture recognition.

운전자의 손이 제스처 인식 영역 가이드 내 정상 영역으로 진입하지 않는 경우, 제스처 인식 영역 가이드 제공이 유지되고, 해당 시점에서 입력되는 제스처는 무시한다. If the driver's hand does not enter the normal area within the gesture recognition area guide, the gesture recognition area guide is maintained and the gesture input at that time is ignored.

운전자의 손이 제스처 인식 영역 가이드 내 정상 영역으로 진입하면, 정상 영역 진입을 알리는 피드백이 제공되어, 제스처 인식 기능을 사용할 준비가 완료되었음을 알린다. When the driver's hand enters a normal area within the gesture recognition area guide, a feedback notifying that the normal area has entered is provided, indicating that the gesture recognition function is ready for use.

운전자의 제스처가 입력되는 경우, 정상적으로 기능 실행을 위한 제스처가 성공적으로 입력되었는지, 또는 입력이 실패한 것인지 여부에 대해 피드백이 제공된다. When a driver's gesture is input, feedback is provided as to whether or not the gesture for normally function execution was successfully input or the input failed.

제스처 인식을 통한 기능 실행이 완료되고, 손을 제스처 인식 영역 밖으로 진출시킨 경우, 햅틱 가이드가 다시 발생된다. When function execution through gesture recognition is completed and the hand moves out of the gesture recognition area, the haptic guide is generated again.

운전자가 제스처 인식 성공 후, 계속해서 제스처 인식기능을 이용하고자 손을 정상 영역 내에서 그 위치를 유지시키는 경우, 햅틱 가이드가 다시 발생되지 않고, 연속적으로 제스처 입력이 수행될 수 있다. If the driver maintains the position of the hand within the normal area to continuously use the gesture recognition function after gesture recognition is successful, the gesture input may be continuously performed without generating the haptic guide again.

도 2에 도시한 바와 같이, 운전자 손이 정상 영역 내에 진입하였는지 여부에 대한 판단, 제스처 인식에 대한 성공/실패 여부에 대한 판단은 사용자의 혼동을 배제하기 위하여 운전석으로부터 제스처 인식 영역에 진입하는 손을 대상으로만 작동하며, 조수석이나 차량 후석에서 진입하는 손에 대해서는 작동하지 않는다. As shown in FIG. 2 , determination of whether the driver's hand has entered the normal area and determination of success/failure of gesture recognition are made by using the hand entering the gesture recognition area from the driver's seat to eliminate user confusion. It works only on targets, not on hands entering from the front passenger seat or the back seat of a vehicle.

도 3을 참조하면, 운전자의 손이 정상 영역 내에 위치하지 않는 경우(정위치 실패, (a)), 햅틱 가이드가 지속적으로 제공되며, (b-1) 및 (b-2)와 같이 운전자의 손이 정상 영역 내 위치하는 경우, (c)와 같이 햅틱 가이드가 비활성화되어 제스처 인식 준비 완료된 상황임을 알려준다. Referring to FIG. 3 , when the driver's hand is not positioned within the normal region (failure in the correct position, (a)), a haptic guide is continuously provided, and the driver's hand is continuously provided as shown in (b-1) and (b-2). When the hand is positioned within the normal region, the haptic guide is deactivated as shown in (c), indicating that gesture recognition is ready.

이어서, (d)와 같이 손을 흔드는 제스처 행동이 수행된 경우, 제스처 입력이 정상적으로 이루어지면, (f-1), (f-2)와 같이 제스처 인식 성공 피드백이 기설정된 바에 따라 제1 햅틱 패턴으로 제공되며, 제스처 입력이 정상적으로 이루어지지 않은 경우에는 (e)와 같이 제스처 인식 실패 피드백이 기설정된 바에 따라 제2 햅틱 패턴으로 제공된다. Subsequently, when the gesture action of waving the hand is performed as in (d), if the gesture input is normally performed, the first haptic pattern according to the predetermined gesture recognition success feedback as in (f-1) and (f-2) When the gesture input is not normally performed, the gesture recognition failure feedback is provided as a preset second haptic pattern as shown in (e).

본 발명의 실시예에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법은 (a) 비접촉 햅틱 기반의 제스처 인식 영역 가이드를 생성하고, 차량 내 탑승자의 손 움직임을 모니터링하는 단계 및 (b) 차량 내 탑승자 중 운전자의 손 움직임에 따라 정상 영역 내 위치 여부를 판단하고 제스처를 인식하여, 햅틱 신호를 생성하는 단계를 포함한다. A non-contact haptic-based gesture recognition area guide method according to an embodiment of the present invention includes the steps of (a) generating a non-contact haptic-based gesture recognition area guide and monitoring the hand movement of a passenger in a vehicle; and (b) a driver among occupants in the vehicle. and generating a haptic signal by determining whether the position is within the normal area according to the movement of the hand and recognizing the gesture.

(b) 단계는 기어 부근 기설정 영역에 배치된 소자를 통해 햅틱 신호를 생성하여 제스처 인식 영역 가이드를 제공한다. Step (b) provides a gesture recognition area guide by generating a haptic signal through an element disposed in a preset area near the gear.

(a) 단계는 기설정된 3차원 형상의 제스처 인식 영역 가이드를 제공하고, 3차원 형상의 제스처 인식 영역 가이드의 가상의 중심점에 가까워질수록 강한 햅틱 신호를 제공한다. In step (a), a preset 3D gesture recognition area guide is provided, and a strong haptic signal is provided as it approaches a virtual central point of the 3D gesture recognition area guide.

(b) 단계는 기능 선택부에 의해 설정된 햅틱 패턴에 따라 햅틱 신호를 생성한다. Step (b) generates a haptic signal according to the haptic pattern set by the function selector.

(a) 단계는 운전자의 손 위치, 모양, 궤적 정보를 포함하는 손 움직임을 모니터링한다. Step (a) monitors hand movements including position, shape, and trajectory information of the driver's hand.

(b) 단계는 정상 영역 내 진입 여부를 확인하면, 제스처 인식 영역 가이드 생성을 중단시키고, 인식된 제스처의 인식 성공 여부에 따라 상이한 햅틱 신호를 생성한다. In step (b), when it is confirmed whether or not entry into the normal area is made, generation of a guide for the gesture recognition area is stopped, and different haptic signals are generated according to whether or not the recognition of the recognized gesture succeeds.

이하에서는, 도 4를 참조하여 본 발명의 실시예에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법을 설명한다. Hereinafter, a non-contact haptic-based gesture recognition area guide method according to an embodiment of the present invention will be described with reference to FIG. 4 .

S410 단계에서 제스처 인식 기능이 활성화된다. In step S410, the gesture recognition function is activated.

S410 단계에서는 제스처 인식 기능 활성화뿐만 아니라, 사용자의 손이 정상 영역에 진입한 경우 제공되는 피드백 패턴, 제스처 입력 성공 시 제공되는 피드백 패턴, 제스처 입력 실패 시 제공되는 피드백 패턴에 대한 설정이 가능하다. In step S410, it is possible to set a feedback pattern provided when the user's hand enters the normal area, a feedback pattern provided when the gesture input succeeds, and a feedback pattern provided when the gesture input fails, as well as activating the gesture recognition function.

S420 단계에서, 제스처 영역 가이드를 비접촉 햅틱 기반으로 생성하여 제공하며, 구 형상 등 기설정된 형상으로 제스처 영역 가이드를 발생시킨다. In step S420, a gesture area guide is generated and provided based on non-contact haptics, and a gesture area guide is generated in a preset shape such as a sphere.

이 때, 사용자의 손이 제스처 영역 가이드의 중심점으로 갈수록, 강한 진동의 햅틱 피드백이 제공된다. At this time, as the user's hand moves toward the central point of the gesture area guide, haptic feedback of strong vibration is provided.

S430 단계에서, 정상 영역 내에 사용자의 손이 위치하였는지 여부를 확인한다. In step S430, it is checked whether the user's hand is located within the normal area.

이 때, 손의 진입 궤적을 고려하여, 운전자의 손이 진입하는 경우만 제스처 인식 기능을 수행하고, 다른 동승자의 손이 진입하는 경우에는 제스처 인식 기능을 수행하지 않는다. At this time, considering the entry trajectory of the hand, the gesture recognition function is performed only when the driver's hand enters, and the gesture recognition function is not performed when another passenger's hand enters.

다른 예로서, 전술한 바와 같이, 각 탑승자 별 실행 요청이 가능한 차량 기능 별로 제스처 입력을 구분하여 수신하고, 그에 따라 차량 기능을 실행시키는 것 역시 가능하다. As another example, as described above, it is also possible to separately receive gesture inputs for each vehicle function that can be requested to be executed by each passenger, and execute the vehicle function accordingly.

S430 단계에서 정상 영역 내에 운전자의 손이 위치하는 것으로 확인되면, S440 단계는 제스처 인식이 가능한 것으로 피드백을 제공하고, 제스처 영역 가이드 생성을 해제한다. If it is determined in step S430 that the driver's hand is located within the normal region, in step S440, feedback is provided indicating that gesture recognition is possible, and generation of the gesture region guide is canceled.

S450 단계는 운전자의 제스처를 인식하고, S460 단계는 운전자의 제스처에 대한 정상 인식 여부를 확인한다. Step S450 recognizes the driver's gesture, and step S460 checks whether the driver's gesture is normally recognized.

S460 단계에서 제스처 인식 성공을 확인한 경우, 기설정된 제1 패턴으로 햅틱 피드백을 제공한다. If gesture recognition is successful in step S460, haptic feedback is provided in a first preset pattern.

S460 단계에서 제스처 인식 실패를 확인한 경우, 제1 패턴과 상이하도록 기설정된 제2 패턴으로 햅틱 피드백을 제공한다. If gesture recognition failure is confirmed in step S460, haptic feedback is provided in a second pattern preset to be different from the first pattern.

한편, 본 발명의 실시예에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the non-contact haptics-based gesture recognition area guide method according to an embodiment of the present invention may be implemented in a computer system or recorded in a recording medium. A computer system may include at least one processor, a memory, a user input device, a data communication bus, a user output device, and a storage. Each of the aforementioned components communicates data through a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in memory and/or storage.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or non-volatile storage media. For example, memory may include ROM and RAM.

따라서, 본 발명의 실시예에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법을 수행할 수 있다.Therefore, the non-contact haptics-based gesture recognition area guide method according to an embodiment of the present invention can be implemented as a computer-executable method. When the non-contact haptics-based gesture recognition area guiding method according to an embodiment of the present invention is executed in a computer device, computer readable instructions may perform the non-contact haptic-based gesture recognition area guiding method according to the present invention.

한편, 상술한 본 발명에 따른 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the non-contact haptics-based gesture recognition area guide method according to the present invention described above can be implemented as computer readable codes on a computer readable recording medium. Computer-readable recording media include all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed to computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.

Claims (15)

제스처 인식 기능에 대한 온/오프를 설정하는 기능 선택부;
차량 내 운전자의 손 움직임 정보를 획득하는 제스처 인식 센서;
상기 기능 선택부에 의해 상기 제스처 인식 기능이 온(on)된 상태에서, 상기 손 움직임 정보를 수신하여 상기 운전자의 손이 정상 영역에 진입하였는지 여부 및 제스처 인식 성공 여부를 판단하는 영역 판단부; 및
제스처 인식 영역 가이드를 생성하고, 상기 정상 영역에 위치하였는지 여부 및 제스처 인식 성공 여부에 따른 요청을 수신하여 피드백 신호를 생성하는 초음파 스피커 어레이 장치를 포함하고,
상기 영역 판단부는 상기 제스처 인식 기능이 온(on)으로 설정되면 상기 초음파 스피커 어레이 장치에 의해 제스처 인식 영역 가이드가 생성됨과 동시에, AVN 화면을 통해 제스처 인식 기능 및 제스처 인식 영역 가이드에 대한 사용 방법을 안내하고, 특정 제스처 입력에 따라 실행되는 기능에 대한 설명을 도시하며, 주행 상황 정보를 고려하여 추천 기능 및 추천 기능을 실행시키기 위한 제스처 입력에 대한 안내 메시지를 도시하고, 운전자의 손 움직임을 감지하여 제스처 인식 영역 중 어느 위치에 현재 손이 위치하였는지 여부를 이미지로 디스플레이하고, 제스처 인식 영역으로 손을 진입시킬 수 있도록 손을 위치시켜야 하는 영역, 정상 영역 내 손이 위치하였는지 여부에 대한 정보를 상기 AVN 화면을 통해 표출시키는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템.
a function selection unit for setting on/off of a gesture recognition function;
A gesture recognition sensor that acquires hand movement information of a driver in the vehicle;
an area determining unit receiving the hand motion information and determining whether the driver's hand has entered a normal area and whether the gesture recognition was successful in a state in which the gesture recognition function is turned on by the function selection unit; and
An ultrasonic speaker array device that generates a gesture recognition area guide and generates a feedback signal by receiving a request according to whether the gesture recognition area is located in the normal area and whether the gesture recognition is successful or not;
When the gesture recognition function is set to on, the area determination unit generates a gesture recognition area guide by the ultrasonic speaker array device and guides the gesture recognition function and how to use the gesture recognition area guide through the AVN screen. and a description of a function executed according to a specific gesture input, a recommendation function in consideration of driving situation information and a guide message for a gesture input for executing the recommendation function, and a gesture input by detecting a driver's hand movement. In which position of the recognition area the hand is currently located is displayed as an image, and information on whether the hand is located in the normal area or the area where the hand should be placed so that the hand can enter the gesture recognition area is displayed on the AVN screen. to express through
A non-contact haptic based gesture recognition area guide system.
 제1항에 있어서,
상기 기능 선택부는 제스처 인식에 따른 피드백 방식에 대한 햅틱 패턴을 설정하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템.
According to claim 1,
The function selector sets a haptic pattern for a feedback method according to gesture recognition
A non-contact haptic based gesture recognition area guide system.
 제1항에 있어서,
상기 제스처 인식 센서는 영상 획득부를 통해 상기 운전자의 손 위치, 모양, 궤적 정보를 포함하는 상기 손 움직임 정보를 획득하되, 카메라 영상 기반으로 시간 순서에 따라 획득된 영상을 분석하여 제스처를 인식하거나, 3D 기반으로 영상으로부터 3차원 데이터를 추출하여 제스처를 인식하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템.
According to claim 1,
The gesture recognition sensor obtains the hand movement information including the position, shape, and trajectory information of the driver's hand through an image acquisition unit, and recognizes a gesture by analyzing the acquired image in chronological order based on the camera image, or recognizes a gesture in 3D Recognizing gestures by extracting 3D data from images based on
A non-contact haptic based gesture recognition area guide system.
 제1항에 있어서,
상기 영역 판단부는 상기 손 움직임 정보를 수신하여 차량 내 탑승자 별 손 위치 여부를 판단하고, 상기 운전자 외 탑승자의 손이 상기 제스처 인식 영역 가이드로 진입하는 것을 판단하는 경우, 제스처 인식을 비활성화하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템.
According to claim 1,
The area determination unit receives the hand motion information to determine whether or not the hand position of each occupant in the vehicle is present, and deactivates gesture recognition when it is determined that a hand of a passenger other than the driver enters the gesture recognition area guide.
A non-contact haptic based gesture recognition area guide system.
 제1항에 있어서,
상기 초음파 스피커 어레이 장치는 햅틱 신호를 이용하여 상기 제스처 인식 영역 가이드를 생성하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템.
According to claim 1,
The ultrasonic speaker array device generates the gesture recognition area guide using a haptic signal
A non-contact haptic based gesture recognition area guide system.
 제5항에 있어서,
상기 제스처 인식 영역 가이드는 기설정된 3차원 형상으로 생성되는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템.
According to claim 5,
The gesture recognition area guide is created in a preset three-dimensional shape.
A non-contact haptic based gesture recognition area guide system.
 제6항에 있어서,
상기 초음파 스피커 어레이 장치는 상기 3차원 형상의 제스처 인식 영역 가이드의 가상의 중심점으로 가까워질수록 강한 햅틱 신호가 전달되도록 제어하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템.
According to claim 6,
Controlling the ultrasonic speaker array device to transmit a strong haptic signal as it approaches the virtual center point of the three-dimensional gesture recognition area guide
A non-contact haptic based gesture recognition area guide system.
 제5항에 있어서,
상기 초음파 스피커 어레이 장치는 상기 운전자의 손이 상기 제스처 인식 영역 가이드의 정상 영역 내에 위치하는 경우, 상기 제스처 인식 영역 가이드의 생성을 해제하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템.
According to claim 5,
The ultrasonic speaker array device releases the generation of the gesture recognition area guide when the driver's hand is positioned within the normal area of the gesture recognition area guide.
A non-contact haptic based gesture recognition area guide system.
 제8항에 있어서,
상기 초음파 스피커 어레이 장치는 정위치된 운전자의 손을 이용한 제스처 생성 시, 제스처 인식 성공 및 실패와 관련하여 상이한 햅틱 피드백을 제공하도록 제어하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 시스템.
According to claim 8,
Controlling the ultrasonic speaker array device to provide different haptic feedbacks in relation to gesture recognition success and failure when generating a gesture using the driver's hand positioned in the correct position
A non-contact haptic based gesture recognition area guide system.
 (a) 비접촉 햅틱 기반의 제스처 인식 영역 가이드를 생성하고, 차량 내 탑승자의 손 움직임을 모니터링하는 단계; 및
(b) 상기 차량 내 탑승자 중 운전자의 손 움직임에 따라 정상 영역 내 위치 여부를 판단하고 제스처를 인식하여, 햅틱 신호를 생성하는 단계를 포함하고,
상기 (a) 단계는 제스처 인식 기능이 온(on)으로 설정되면 초음파 스피커 어레이 장치에 의해 상기 제스처 인식 영역 가이드를 생성하고, 이와 동시에 AVN 화면을 통해 제스처 인식 기능 및 제스처 인식 영역 가이드에 대한 사용 방법을 안내하고, 특정 제스처 입력에 따라 실행되는 기능에 대한 설명을 도시하며, 주행 상황 정보를 고려하여 추천 기능 및 추천 기능을 실행시키기 위한 제스처 입력에 대한 안내 메시지를 도시하고,
상기 (b) 단계는 상기 운전자의 손 움직임을 감지하여 제스처 인식 영역 중 어느 위치에 현재 손이 위치하였는지 여부를 이미지로 디스플레이하고, 제스처 인식 영역으로 손을 진입시킬 수 있도록 손을 위치시켜야 하는 영역, 정상 영역 내 손이 위치하였는지 여부에 대한 정보를 AVN 화면을 통해 표출시키는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법.
(a) generating a gesture recognition area guide based on non-contact haptics and monitoring a hand movement of a passenger in the vehicle; and
(b) generating a haptic signal by determining whether a driver is in a normal area according to a hand movement of a driver among occupants in the vehicle and recognizing a gesture;
In step (a), when the gesture recognition function is set to on, the gesture recognition area guide is generated by the ultrasonic speaker array device, and at the same time, a method for using the gesture recognition function and the gesture recognition area guide through the AVN screen. , showing a description of a function executed according to a specific gesture input, showing a recommendation function in consideration of driving situation information and a guide message for a gesture input for executing the recommendation function,
The step (b) detects the movement of the driver's hand, displays an image of where the hand is currently located in the gesture recognition area, and places the hand so that the hand can enter the gesture recognition area. Displaying information on whether the hand is located within the normal area through the AVN screen
A non-contact haptic based gesture recognition area guide method.
 제10항에 있어서,
상기 (a) 단계는 기어 부근 기설정 영역에 배치된 소자를 통해 햅틱 신호를 생성하여 상기 제스처 인식 영역 가이드를 제공하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법.
According to claim 10,
In step (a), a haptic signal is generated through an element disposed in a predetermined area near the gear to provide a guide for the gesture recognition area.
A non-contact haptic based gesture recognition area guide method.
 제11항에 있어서,
상기 (a) 단계는 기설정된 3차원 형상의 상기 제스처 인식 영역 가이드를 제공하고, 상기 3차원 형상의 제스처 인식 영역 가이드의 가상의 중심점에 가까워질수록 강한 햅틱 신호를 제공하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법.
According to claim 11,
Step (a) is to provide a gesture recognition area guide having a preset 3D shape and providing a strong haptic signal as it approaches a virtual center point of the 3D gesture recognition area guide.
A non-contact haptic based gesture recognition area guide method.
 제10항에 있어서,
상기 (b) 단계는 기능 선택부에 의해 설정된 햅틱 패턴에 따라 상기 햅틱 신호를 생성하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법.
According to claim 10,
Step (b) is to generate the haptic signal according to the haptic pattern set by the function selector.
A non-contact haptic based gesture recognition area guide method.
 제10항에 있어서,
상기 (a) 단계는 상기 운전자의 손 위치, 모양, 궤적 정보를 포함하는 상기 손 움직임을 모니터링하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법.
According to claim 10,
The step (a) is to monitor the hand movement including the position, shape, and trajectory information of the driver's hand.
A non-contact haptic based gesture recognition area guide method.
 제10항에 있어서,
상기 (b) 단계는 정상 영역 내 위치한 것으로 확인하면 상기 제스처 인식 영역 가이드 생성을 중단시키고, 상기 인식된 제스처의 인식 성공 여부에 따라 상이한 햅틱 신호를 생성하는 것
인 비접촉 햅틱 기반 제스처 인식 영역 가이드 방법. According to claim 10,
Step (b) is to stop generating the gesture recognition area guide when it is confirmed that the location is within the normal area, and to generate different haptic signals depending on whether or not the recognition of the recognized gesture succeeds.
A non-contact haptic based gesture recognition area guide method.
KR1020210108157A 2021-08-17 2021-08-17 Systemt and method for guiding gesture recognition area based on non-contact haptic KR102567935B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210108157A KR102567935B1 (en) 2021-08-17 2021-08-17 Systemt and method for guiding gesture recognition area based on non-contact haptic

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210108157A KR102567935B1 (en) 2021-08-17 2021-08-17 Systemt and method for guiding gesture recognition area based on non-contact haptic

Publications (2)

Publication Number Publication Date
KR20230026131A KR20230026131A (en) 2023-02-24
KR102567935B1 true KR102567935B1 (en) 2023-08-17

Family

ID=85330030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210108157A KR102567935B1 (en) 2021-08-17 2021-08-17 Systemt and method for guiding gesture recognition area based on non-contact haptic

Country Status (1)

Country Link
KR (1) KR102567935B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490908B1 (en) 2012-12-05 2015-02-06 현대자동차 주식회사 System and method for providing a user interface using hand shape trace recognition in a vehicle
KR101534745B1 (en) * 2013-12-31 2015-07-07 현대자동차 주식회사 Gesture recognize apparatus
JP2018103646A (en) 2016-12-22 2018-07-05 株式会社デンソー Vehicular information display device and vehicular information display program
KR101968620B1 (en) 2017-09-11 2019-04-12 (주)신오전자 HMI System and Method for Vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101704065B1 (en) * 2011-12-16 2017-02-07 현대자동차주식회사 Interaction System for Vehicles
KR20140113832A (en) * 2013-03-15 2014-09-25 현대자동차주식회사 Voice transmission starting system and starting method for vehicle
KR101537936B1 (en) * 2013-11-08 2015-07-21 현대자동차주식회사 Vehicle and control method for the same
KR102395288B1 (en) * 2017-05-18 2022-05-09 현대자동차주식회사 Apparatus and method for controlling display of hologram, vehicle system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490908B1 (en) 2012-12-05 2015-02-06 현대자동차 주식회사 System and method for providing a user interface using hand shape trace recognition in a vehicle
KR101534745B1 (en) * 2013-12-31 2015-07-07 현대자동차 주식회사 Gesture recognize apparatus
JP2018103646A (en) 2016-12-22 2018-07-05 株式会社デンソー Vehicular information display device and vehicular information display program
KR101968620B1 (en) 2017-09-11 2019-04-12 (주)신오전자 HMI System and Method for Vehicle

Also Published As

Publication number Publication date
KR20230026131A (en) 2023-02-24

Similar Documents

Publication Publication Date Title
US10394375B2 (en) Systems and methods for controlling multiple displays of a motor vehicle
CN107107841B (en) Information processing apparatus
EP3165994B1 (en) Information processing device
US10528150B2 (en) In-vehicle device
JP5563153B2 (en) Operating device
EP3018568A1 (en) Information processing device
CN110740896B (en) User interface for a vehicle and vehicle having a user interface
US10558271B2 (en) System for receiving input in response to motion of user
JP5968573B2 (en) Gesture guidance device for moving body, gesture guidance system for moving body, and gesture guidance method for moving body
US20130187845A1 (en) Adaptive interface system
JP2018055614A (en) Gesture operation system, and gesture operation method and program
US20210389595A1 (en) Display apparatus, display control method, and program
KR102567935B1 (en) Systemt and method for guiding gesture recognition area based on non-contact haptic
KR20120054739A (en) User interface providing system using user identification
US20200310546A1 (en) Non-contact operating apparatus for vehicle and vehicle
CN104517540A (en) Curved display apparatus with safety button
US20230249552A1 (en) Control apparatus
US11656760B2 (en) Vehicle touch control system and method
KR20220020756A (en) Vehicle and method for controlling the same
KR20230157614A (en) Gesture recognition system for a vehicle and its control method
KR20230106521A (en) System and method for executing vehicle functions
JP6371589B2 (en) In-vehicle system, line-of-sight input reception method, and computer program
JP2018101230A (en) Input system and input program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right