KR101983892B1 - Gesture Recognition Method, Device, and recording medium for Vehicle using Wearable device - Google Patents

Gesture Recognition Method, Device, and recording medium for Vehicle using Wearable device Download PDF

Info

Publication number
KR101983892B1
KR101983892B1 KR1020170029343A KR20170029343A KR101983892B1 KR 101983892 B1 KR101983892 B1 KR 101983892B1 KR 1020170029343 A KR1020170029343 A KR 1020170029343A KR 20170029343 A KR20170029343 A KR 20170029343A KR 101983892 B1 KR101983892 B1 KR 101983892B1
Authority
KR
South Korea
Prior art keywords
gesture
type
information
vehicle
motion information
Prior art date
Application number
KR1020170029343A
Other languages
Korean (ko)
Other versions
KR20180102776A (en
Inventor
이상엽
고재진
박인혜
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170029343A priority Critical patent/KR101983892B1/en
Publication of KR20180102776A publication Critical patent/KR20180102776A/en
Application granted granted Critical
Publication of KR101983892B1 publication Critical patent/KR101983892B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00832—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 인식방법, 제스처 인식장치 및 기록매체가 제공된다. 본 제스처 인식방법에 따르면, 입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식할 수 있게 되어, 차량 내부 전체 공간에서 제스처 인식이 가능해지고 인식률을 더욱 향상시킬 수 있게 되며, 운행중인 차량에서도 비교적 정확한 제스처 인식을 할 수 있게 된다. A gesture recognition method, a gesture recognition device, and a recording medium are provided. According to the present gesture recognition method, it is possible to recognize the gesture of the user based on the received motion information within the gesture range set according to the input vehicle state information, thereby enabling the gesture recognition in the entire space inside the vehicle, And the gesture recognition can be performed relatively accurately even when the vehicle is in operation.

Description

웨어러블 디바이스를 이용한 차량 내 제스처 인식방법, 장치 및 기록매체 {Gesture Recognition Method, Device, and recording medium for Vehicle using Wearable device}TECHNICAL FIELD [0001] The present invention relates to a gesture recognition method, an apparatus, and a recording medium in a vehicle using a wearable device. [0002] Gesture Recognition Method, Device, and Recording Medium for Vehicle using Wearable Device [

본 발명은 제스처 인식기술에 관한 것으로, 더욱 상세하게는 차량 내에서 사용자의 제스처를 인식하기 위한 제스처 인식방법, 장치 및 기록매체에 관한 것이다. The present invention relates to a gesture recognition technology, and more particularly, to a gesture recognition method, apparatus, and recording medium for recognizing a gesture of a user in a vehicle.

기존 차량 내의 사용자 동작을 이용한 제스처 인식은 카메라를 이용하여 사용자의 제스처 영상을 획득한 후 영상처리를 통해 이뤄졌다. 최근에는 카메라 영상에서 사용자의 손과 손가락 모양, 손의 움직임 등을 해석하여 다양한 제스처 인식이 가능해졌다. The recognition of the gesture using the user 's motion in the existing vehicle was achieved through image processing after acquiring the gesture image of the user using the camera. In recent years, it has become possible to recognize various gestures by interpreting the user's hand, finger shape, and hand motion in the camera image.

그러나 카메라를 이용한 영상으로 제스처를 인식하는 방법은 차량 외부에서부터 발생하는 강한 조도 및 빛 번짐 현상 등으로 인한 인식 오류가 발생되는 문제가 있으며, 사용자의 의도치 않은 움직임 및 차량의 운행 상 움직임 의해 잘못된 제스처로 인식될 수도 있으며 이로 인해 차량 내 프로그램의 오작동 가능성도 존재한다. 또한, 지정된 카메라에 의해 촬영되는 제스처 인식영역 안에서의 제스처 동작만이 유효하므로, 제스처 인식 수행 공간의 제약이 발생한다는 단점도 존재한다. However, the method of recognizing the gesture by using the camera image has a problem that recognition error occurs due to strong illuminance and light blurring that occur from the outside of the vehicle, and there is a problem that the user unintentionally moves, And there is a possibility that the program in the vehicle may malfunction. In addition, since only the gesture operation in the gesture recognition area photographed by the designated camera is effective, there is also a disadvantage that the gesture recognition execution space is limited.

이에 따라, 외부 인자(빛, 소리 등)에 영향을 받지 않고 지정 공간의 제약을 받지 않는 차량 내부 제스처 인식 방법 및 그 시스템이 필요하다.Accordingly, there is a need for a vehicle interior gesture recognition method and system that is not affected by external factors (light, sound, etc.) and is not restricted by a designated space.

도 1은 종래의 차량 룸미러 아래쪽에 카메라가 장착돼있어 표시된 영역에서만 제스처 인식을 수행하는 모습을 도시한 도면이다. 또한, 도 2는 종래의 센터페시아 부분에 존재하는 카메라로 지정영역에서만 제스처 인식을 수행하는 것을 도시한 도면이다. FIG. 1 is a view showing a state in which a camera is mounted below a conventional vehicle room mirror and gesture recognition is performed only in a displayed area. 2 is a view showing that gesture recognition is performed only in a designated area by a camera existing in a conventional center fascia portion.

차량 내부에서의 수행 공간 제약 없는 사용자 동작 인식을 위해서, 사용자가 직접 착용한 웨어러블 장치에서 발생하는 움직임 정보가 사용될 수동 있다. 종래의 웨어러블 장치에서 발생하는 제스처 인식 기술을 살펴보면, 차량과 같은 외부로 명령을 내리기 위한 목적은 아니었다. 웨어러블 장치 자체에 포함된 센서(가속도계, 각속도계 등)의 움직임을 이용하여 손목 움직임, 걸음걸이 파악 등의 단순 기능에 국한되어 있다. 따라서 차량과 같이 진동 및 움직임이 잦은 공간에서는 정확한 움직임을 파악하는 것이 매우 어렵다. In order to recognize the user's motion without constraining the execution space within the vehicle, motion information generated in a wearable device worn by the user is manually used. The gesture recognition technology that occurs in a conventional wearable device is not intended to issue commands to the outside such as a vehicle. The present invention is limited to simple functions such as wrist motion and gait detection using movement of sensors (accelerometers, speedometers, etc.) included in the wearable device itself. Therefore, it is very difficult to grasp accurate motion in a space where vibration and movement frequently occur like a vehicle.

도 3은 종래의 손목의 움직임을 파악하여 웨어러블 장치(워치)의 화면 온/오프 기능을 수행하고 외부 디바이스와 연동하는 것을 도시한 도면이다. 웨어러블 장치는 연동을 위해 센서의 움직임 정보를 외부 디바이스(태블릿, 스마트 폰 등)로 전달할 수도 있다. 도 4는 종래의 웨어러블 장치를 이용하여 외부디바이스와 연동되어 제스처를 인식하는 것이 도시된 도면이다. FIG. 3 is a view showing a conventional wrist motion to perform a screen on / off function of a wearable device (watch) and interlocking with an external device. The wearable device may transmit the motion information of the sensor to an external device (tablet, smartphone, etc.) for interlocking. FIG. 4 is a diagram illustrating recognition of a gesture in cooperation with an external device using a conventional wearable device.

하지만, 웨어러블 장치를 이용하여 제스처를 인식하더라도, 차량 내부에서는 다양한 움직임으로 인해 정확도가 떨어지게 된다. 이에 따라, 차량 내부에서 더욱 인식률이 높은 제스처 인식 방법을 제공하기 위한 방안의 모색이 필요하다. However, even if the wearable device is used to recognize the gesture, the accuracy of the gesture deteriorates due to various movements in the vehicle. Accordingly, a method for providing a gesture recognition method having a higher recognition rate in a vehicle is required.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하는 제스처 인식방법, 제스처 인식장치 및 기록매체를 제공함에 있다. SUMMARY OF THE INVENTION It is an object of the present invention to provide a gesture recognition method for recognizing a gesture of a user based on received motion information within a gesture range set according to input vehicle state information , A gesture recognition apparatus, and a recording medium.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 제스처 인식방법은, 차량 상태 정보를 입력받는 단계; 센서에 의해 감지된 사용자의 움직임 정보를 입력받는 단계; 및 입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하는 단계;를 포함한다. According to an aspect of the present invention, there is provided a gesture recognition method including receiving vehicle state information; Receiving motion information of a user sensed by a sensor; And recognizing the gesture of the user based on the received motion information within the gesture range set according to the input vehicle state information.

그리고, 인식단계는, 입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 설정하는 단계; 및 설정된 제스처 타입의 범위 내에서, 입력된 움직임 정보에 대응되는 사용자의 제스처를 결정하는 단계;를 포함한다. The recognizing step includes: setting a range of recognizable gesture type based on the input vehicle state information; And determining a gesture of the user corresponding to the inputted motion information within a range of the set gesture type.

또한, 설정 단계는, 입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 복수개의 단계 중 하나의 단계로 설정하고, 설정된 단계에 대응되는 제스처 타입의 범위 내에서, 입력된 움직임 정보에 대응되는 사용자의 제스처를 결정할 수도 있다. The setting step sets the range of the recognizable gesture type to one of the plurality of steps based on the input vehicle state information and sets the range of the gesture type corresponding to the set step to the input motion information The gesture of the corresponding user may be determined.

그리고, 제스처 인식 준비상태, 제스처 인식 준비완료상태, 제스처 인식 불가 상태 및 인식 가능한 제스처 타입 범위의 단계 설정상태 중 적어도 하나를 포함하는 제스처 인식 관련 상태를 차량의 디스플레이 화면에 표시하는 단계;를 더 포함할 수도 있다. And displaying a gesture recognition related state on the display screen of the vehicle, the gesture recognition related state including at least one of a gesture recognition preparation state, a gesture recognition preparation completion state, a gesture unrecognizable state and a recognizable gesture type range step setting state You may.

또한, 표시 단계는, 제스처 인식 관련 상태를 차량의 디스플레이 화면 가장자리 둘레에 표시하며, 제스처 인식 관련 상태에 따라 색깔을 달리하여 표시할 수도 있다. Further, in the displaying step, the gesture recognition related state is displayed on the periphery of the display screen of the vehicle, and may be displayed in different colors depending on the gesture recognition related state.

그리고, 인식된 제스처에 대응되는 명령을 실행하는 단계;를 더 포함할 수도 있다. And executing a command corresponding to the recognized gesture.

또한, 차량 상태 정보는, 차량속도 정보, 차량 RPM 정보, 차량속도변화량 정보, 차량 RPM 변화량 정보, 차량가속도 정보, 차량가속도 변화량 정보, 차량지자기 정보, 차량지자기 변화량 정보, 차량자이로 정보 및 차량자이로변화량 정보 중 두개 이상을 포함할 수도 있다. The vehicle state information may also include vehicle speed information, vehicle RPM information, vehicle speed change amount information, vehicle RPM change amount information, vehicle acceleration information, vehicle acceleration change amount information, vehicle geomagnetism information, vehicle geomagnetism change amount information, vehicle gyro information, It may contain more than one of the information.

그리고, 제스처 타입은, 상하좌우 타입, 회전타입, 앞뒤타입 및 선택타입 중 두개 이상을 포함할 수도 있다. And, the gesture type may include two or more of the up / down / right / left type, the rotation type, the front / back type, and the selection type.

또한, 움직임 정보 입력 단계는, 웨어러블 장치에 포함된 센서에 의해 감지된 사용자의 움직임 정보를 웨어러블 장치로부터 입력을 수도 있다. Also, the step of inputting the motion information may input the motion information of the user detected by the sensor included in the wearable device from the wearable device.

한편, 본 발명의 일 실시예에 따른, 제스처 인식장치는, 차량 상태 정보 및 센서에 의해 감지된 사용자의 움직임 정보를 입력받는 인터페이스; 및 입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 입력된 움직임 정보에 기초하여 사용자의 제스처를 인식하는 프로세서;를 포함한다. Meanwhile, the gesture recognition apparatus according to an embodiment of the present invention includes an interface for receiving vehicle state information and motion information of a user sensed by a sensor; And a processor for recognizing the gesture of the user based on the inputted motion information within the gesture range set according to the inputted vehicle state information.

한편, 본 발명의 일 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체는, 차량 상태 정보를 입력받는 단계; 센서에 의해 감지된 사용자의 움직임 정보를 입력받는 단계; 및 입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하는 단계;를 포함하는 제스처 인식방법을 수행하는 컴퓨터 프로그램이 수록된다. According to another aspect of the present invention, there is provided a computer-readable recording medium including: Receiving motion information of a user sensed by a sensor; And recognizing a gesture of the user based on the received motion information within a gesture range set according to the input vehicle state information.

한편, 본 발명의 일 실시예에 따른, 차량은, 차량 상태 정보 및 센서에 의해 감지된 사용자의 움직임 정보를 입력받는 인터페이스; 및 입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하고, 인식된 제스처에 대응되는 명령을 실행하는 프로세서;를 포함한다. According to an embodiment of the present invention, a vehicle includes an interface for receiving vehicle state information and motion information of a user sensed by a sensor; And a processor for recognizing a user's gesture based on the received motion information within a gesture range set in accordance with the input vehicle state information and executing a command corresponding to the recognized gesture.

본 발명의 다양한 실시예에 따르면, 입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하는 제스처 인식방법, 제스처 인식장치 및 기록매체를 제공할 수 있게 되어, 차량 내부 전체 공간에서 제스처 인식이 가능해지고 인식률을 더욱 향상시킬 수 있게 되며, 운행중인 차량에서도 비교적 정확한 제스처 인식을 할 수 있게 된다. According to various embodiments of the present invention, it is possible to provide a gesture recognition method, a gesture recognition device, and a recording medium that recognize a gesture of a user based on received motion information within a gesture range set according to input vehicle state information Thus, the recognition of the gesture in the entire space of the vehicle becomes possible, the recognition rate can be further improved, and a relatively accurate gesture recognition can be performed even in a running vehicle.

도 1은 종래의 차량 룸미러 아래쪽에 카메라가 장착돼있어 표시된 영역에서만 제스처 인식을 수행하는 모습을 도시한 도면,
도 2는 종래의 센터페시아 부분에 존재하는 카메라로 지정영역에서만 제스처 인식을 수행하는 것을 도시한 도면,
도 3은 종래의 손목의 움직임을 파악하여 웨어러블 장치(워치)의 화면 온/오프 기능을 수행하고 외부 디바이스와 연동하는 것을 도시한 도면,
도 4는 종래의 웨어러블 장치를 이용하여 외부디바이스와 연동되어 제스처를 인식하는 것이 도시된 도면,
도 5는 본 발명의 일 실시예에 따른, 제스처 인식 과정을 개념적으로 도시한 도면,
도 6은 본 발명의 일 실시예에 따른, 웨어러블 디바이스를 이용한 제스처 인식 과정을 도시한 도면,
도 7은 본 발명의 일 실시예에 따른, 제스처 인식 시스템의 구성도의 일 예를 도시한 도면,
도 8은 본 발명의 일 실시예에 따른, 제스처 인식 장치의 구성을 도시한 도면,
도 9는 본 발명의 일 실시예에 따른, 차량상태정보에 따른 단계별 동작 가능 설정된 제스처 범위를 도시한 표,
도 10은 본 발명의 일 실시예에 따른, 제스처 인식 과정을 세부적으로 도시한 도면,
도 11은 본 발명의 일 실시예에 따른, 축값의 증감 관계 특성 계산식(cross-correlation matrix)을 도시한 도면,
도 12는 본 발명의 일 실시예에 따른, 시간에 따른 제스처 인식 단계들을 도시한 도면,
도 13은 본 발명의 일 실시예에 따른, 차량 디스플레이에 표시되는 제스처 인식단계들을 도시한 도면,
도 14는 본 발명의 일 실시예에 따른, 제스처 인식방법을 설명하기 위해 제공되는 흐름도이다. FIG. 1 is a view showing a state where a camera is mounted under a conventional vehicle room mirror to perform gesture recognition only in a displayed area,
FIG. 2 illustrates performing gesture recognition only in a designated area with a camera existing in a conventional center fascia portion; FIG.
FIG. 3 is a view showing a conventional on-screen-on / off function of a wearable device (watch) by grasping the movement of the wrist and interlocking with an external device;
FIG. 4 is a diagram illustrating recognition of a gesture in cooperation with an external device using a conventional wearable device;
5 is a conceptual illustration of a gesture recognition process according to an embodiment of the present invention;
6 is a flowchart illustrating a gesture recognition process using a wearable device according to an embodiment of the present invention.
7 is a block diagram of a gesture recognition system according to an embodiment of the present invention.
8 is a diagram illustrating a configuration of a gesture recognition apparatus according to an embodiment of the present invention.
9 is a table showing gesture ranges settable for each step according to vehicle status information, according to an embodiment of the present invention;
FIG. 10 is a detailed view illustrating a gesture recognition process according to an embodiment of the present invention. FIG.
FIG. 11 is a diagram showing a cross-correlation matrix of an axial value according to an embodiment of the present invention; FIG.
12 illustrates gesture recognition steps over time, in accordance with an embodiment of the present invention;
13 illustrates gesture recognition steps displayed on a vehicle display, in accordance with an embodiment of the present invention;
14 is a flowchart provided to illustrate a gesture recognition method according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in detail with reference to the drawings.

도 5는 본 발명의 일 실시예에 따른, 제스처 인식 과정을 개념적으로 도시한 도면이다. 5 is a conceptual view illustrating a gesture recognition process according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 제스처 인식장치(Gesture Recognition System)(100)는 차량(30) 내에서 움직임 센서부(10)를 포함하는 웨어러블 장치(시계형, 밴드형 등)를 착용한 사용자의 특정 움직임 정보를 운행중인 차량의 정보와 융합하여 유의미한 제스처로 인식하게 된다. 제스처 인식장치(100)는 제스처를 수행하는 사용자의 차량(30) 내부에서 실행 범위에 대한 지역적인 제약을 받지 않고 차량 외부에서부터 발생하는 빛, 소음등의 외부 요인으로부터 영향을 받지 않고 제스처를 인식할 수 있게 된다. 5, the gesture recognition system 100 includes a gesture recognition system 100 for detecting a user wearing a wearable device (a watch type, a band type, etc.) including the motion sensor unit 10 in the vehicle 30 Specific motion information is recognized as a meaningful gesture by merging with the information of the vehicle in operation. The gesture recognition apparatus 100 recognizes the gesture without being affected by external factors such as light and noise generated from the outside of the vehicle without being restricted by the local scope of the execution range within the vehicle 30 of the user performing the gesture .

제스처 인식장치(100)는 움직임 센서 정보를 제스처로 해석하고, 차량 정보를 수집하여 동작 가능 범위로 설정된 제스처 범위 내인지 여부를 판단하게 된다. The gesture recognition apparatus 100 interprets the motion sensor information as a gesture, collects the vehicle information, and determines whether the gesture range is within the operable range.

이와 같이 본 제스처 인식장치(100)는 차량내 환경에서 가속도계와 각속도계 센서를 포함하는 움직임 센서부(10)를 이용하여 제스처를 구분하게 되며, 차량(30)에서 발생하는 정보를 수집하고 분석하여 동작 가능한 유효한 제스처인지 여부를 판단하는데 사용하게 된다. As described above, the gesture recognition apparatus 100 distinguishes the gesture using the movement sensor unit 10 including the accelerometer and each speedometer sensor in the vehicle environment, and collects and analyzes information generated in the vehicle 30 It is used to judge whether or not it is an operable valid gesture.

도 6은 본 발명의 일 실시예에 따른, 웨어러블 디바이스를 이용한 제스처 인식 과정을 도시한 도면이다. 6 is a diagram illustrating a gesture recognition process using a wearable device according to an embodiment of the present invention.

사용자는 차량 내에서 착용중인 웨어러블 디바이스를 이용해 제스처 동작을 수행하고, 웨어러블 디바이스는 수행된 동작에 대한 센서 데이터를 통해 사용자의 움직임 정보를 생성한다. 생성된 움직임 정보는 무선통신 방식으로 차량(30) 내 제스처 인식장치(100)에 전달되게 된다. 이때, 제스처 인식장치(100)는 차량정보를 취득하여 현재 입력된 사용자의 움직임 정보가 실제로 제스처 입력을 위한 것인지, 아니면 차량의 외부 상태 (가속중, 방지턱 지남, 고속주행 중)에 의해 잘못 감지된 것인지 여부를 판단하여, 제스처 입력에 대응되는 명령을 실행할지 여부를 결정하게 된다. The user performs a gesture operation using the wearable device worn in the vehicle, and the wearable device generates the user's motion information through the sensor data on the performed operation. The generated motion information is transmitted to the gesture recognition apparatus 100 in the vehicle 30 in a wireless communication manner. At this time, the gesture recognition apparatus 100 acquires the vehicle information and determines whether the currently input user's motion information is actually for the gesture input or is erroneously sensed by the external state of the vehicle (acceleration, bumpiness, And determines whether or not to execute a command corresponding to the gesture input.

도 7은 본 발명의 일 실시예에 따른, 제스처 인식 시스템의 구성도의 일 예를 도시한 도면이다. 7 is a block diagram of a gesture recognition system according to an embodiment of the present invention.

웨어러블 디바이스는 주로 사용자의 손목에 착용되는 스마트 워치 등이 해당될 수 있으나 그외에도 다양한 웨어러블 장치가 본 발명에 적용될 수 있다. 웨어러블 디바이스는 움직임 센서부(10)를 포함하며, 움직임 센서부(10)는 다양한 움직임 정보를 감지하기 위한 센서들을 포함하며, 예를 들어 9축센서를 가지며 해당 센서의 지자기, 가속도, 자이로 정보를 획득할 수 있도록 구성될 수 있다. The wearable device may mainly be a smart watch or the like worn on the user's wrist, but various wearable devices may be applied to the present invention. The wearable device includes a motion sensor unit 10. The motion sensor unit 10 includes sensors for sensing various kinds of motion information. For example, the wearable device 10 has a 9-axis sensor and measures the geomagnetism, acceleration, And the like.

차량상태정보 수집장치는 도 8의 차량상태정보 수집부(20)를 나타내며, 운전자가 제스처 동작 수행시, 운전자의 동작과 관계없이 움직임 정보의 오류가 발생될 수 있는 상황을 파악하기 위해 정보를 수집하는 모듈을 내장한다. 이때, 차량상태정보 수집부(20)는 차량의 속도, 가속도, RPM, 차량의 실제 움직임을 볼 수 있는 차량 센서와 연동되며, 차량속도 정보, 차량 RPM 정보, 차량속도변화량 정보, 차량 RPM 변화량 정보, 차량가속도 정보, 차량가속도 변화량 정보, 차량지자기 정보, 차량지자기 변화량 정보, 차량자이로 정보 및 차량자이로변화량 정보 등을 수집하게 된다. The vehicle state information collecting device represents the vehicle state information collecting unit 20 of FIG. 8 and collects information in order to grasp a situation where an error of the motion information may occur when the driver performs the gesture operation, Module. At this time, the vehicle condition information collecting unit 20 is interlocked with a vehicle sensor capable of viewing the vehicle speed, acceleration, RPM, and actual vehicle motion, and is provided with vehicle speed information, vehicle RPM information, vehicle speed change amount information, Vehicle acceleration information, vehicle acceleration change amount information, vehicle geomagnetism information, vehicle geomagnetism change amount information, vehicle gyro information, and vehicle gyro change information.

AVN(Audio Video Navigation) 장치는 제스처 인식장치(100)가 포함될 수 있다. 하지만, 제스처 인식장치(100)는 이외에도 차량(30)의 다양한 부분에 포함될 수 있음은 물론이다. 제스처 인식장치(100)를 포함하는 AVN 장치는 이러한 차량정보과 웨어러블 디바이스의 움직임 정보를 취합하여, 사용자의 제스처를 인식할 수 있게 된다. The AVN (Audio Video Navigation) apparatus may include the gesture recognition apparatus 100. However, it should be understood that the gesture recognition apparatus 100 may be included in various parts of the vehicle 30 in addition to the above. The AVN apparatus including the gesture recognition apparatus 100 can recognize the gesture of the user by collecting the vehicle information and the motion information of the wearable device.

이하에서는, 제스처 인식장치(100)의 상세한 구조를 설명한다. 도 8은 본 발명의 일 실시예에 따른, 제스처 인식장치(100)의 구성을 도시한 도면이다. 도 8에 도시된 바와 같이, 제스처 인식장치(100)는 움직임 센서부(10) 및 차량상태정보 수집부(20)와 유선 또는 무선으로 연결된다. 또한, 제스처 인식장치(100)는 인터페이스(110), 프로세서(120), 디스플레이(130) 및 저장부(140)를 포함한다. Hereinafter, the detailed structure of the gesture recognition apparatus 100 will be described. 8 is a diagram showing a configuration of a gesture recognition apparatus 100 according to an embodiment of the present invention. As shown in FIG. 8, the gesture recognition apparatus 100 is connected to the motion sensor unit 10 and the vehicle condition information collecting unit 20 in a wired or wireless manner. In addition, the gesture recognition apparatus 100 includes an interface 110, a processor 120, a display 130, and a storage unit 140.

움직임 센서부(10)는 상술한 바와 같이 사용자가 착용하고 있는 웨어러블 장치에 포함되어 있으며, 9축 센서를 포함하여 사용자의 움직임 정보를 계속적으로 생성한다. 움직임 센서부(10)는 생성된 움직임 정보를 유선 또는 무선 네트워크를 통해 제스처 인식장치(100)로 전달한다. The motion sensor unit 10 is included in a wearable device worn by a user as described above, and includes a 9-axis sensor to continuously generate motion information of a user. The motion sensor unit 10 transmits the generated motion information to the gesture recognition apparatus 100 via a wired or wireless network.

차량상태정보 수집부(20)는 운행 중인 차량의 속도, 가속도, RPM, 스티어링 휠 각도 및 차량의 실제 움직임을 볼 수 있는 차량 센서와 연동되며, 차량속도 정보, 차량 RPM 정보, 차량속도변화량 정보, 차량 RPM 변화량 정보, 차량가속도 정보, 차량가속도 변화량 정보, 차량지자기 정보, 차량지자기 변화량 정보, 차량자이로 정보 및 차량자이로변화량 정보를 기록한다. 그리고, 차량상태정보 수집부(20)는 기록된 정보를 유선 또는 무선 네트워크를 통해서 제스처 인식장치(100)로 전달한다. The vehicle state information collecting unit 20 is interlocked with a vehicle sensor that can view the speed, acceleration, RPM, steering wheel angle, and actual vehicle motion of the vehicle in operation, and includes vehicle speed information, vehicle RPM information, Vehicle RPM change amount information, vehicle acceleration information, vehicle acceleration change amount information, vehicle geomagnetism information, vehicle geomagnetism change amount information, vehicle gyro information, and vehicle gyro change amount information. The vehicle state information collecting unit 20 transmits the recorded information to the gesture recognizing apparatus 100 via a wired or wireless network.

인터페이스(110)는 유선 또는 무선 네트워크의 데이터를 송수신하며, 움직임 센서부(10)의 움직임 정보와 차량상태정보 수집부(20)의 차량상태 정보를 입력받는다. 인터페이스(100)는 이더넷, 블루투스, 와이파이 등의 프로토콜을 이용할 수도 있다. The interface 110 transmits and receives data of a wired or wireless network and receives motion information of the motion sensor unit 10 and vehicle state information of the vehicle state information collection unit 20. [ The interface 100 may use protocols such as Ethernet, Bluetooth, and Wi-Fi.

프로세서(120)는 제스처 인식장치(100)의 다양한 기능을 수행한다. 구체적으로, 프로세서(120)는 입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하고, 인식된 제스처에 대응되는 명령을 실행한다. 예를 들어, 프로세서(120)는 인식된 제스처에 따라 볼륨 업/다운, 네비게이션 지도 확대/축소, 에어컨 온/오프 등의 명령을 수행할 수도 있다. The processor 120 performs various functions of the gesture recognition apparatus 100. Specifically, the processor 120 recognizes the user's gesture based on the received motion information within the set gesture range according to the input vehicle state information, and executes a command corresponding to the recognized gesture. For example, the processor 120 may perform commands such as volume up / down, navigation map enlargement / reduction, air condition on / off, etc., according to a recognized gesture.

구체적으로, 프로세서(120)는 입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 설정하고, 설정된 제스처 타입의 범위 내에서, 입력된 움직임 정보에 대응되는 사용자의 제스처를 결정한다. Specifically, the processor 120 sets the range of the recognizable gesture type based on the inputted vehicle state information, and determines the gesture of the user corresponding to the inputted motion information within the range of the set gesture type.

이 때, 프로세서(120)는 입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 복수개의 단계 중 하나의 단계로 설정하고, 설정된 단계에 대응되는 제스처 타입의 범위 내에서, 입력된 움직임 정보에 대응되는 사용자의 제스처를 결정할 수도 있다. At this time, the processor 120 sets the range of the recognizable gesture type as one of a plurality of steps, based on the input vehicle state information, and, within the range of the gesture type corresponding to the set step, The gesture of the user corresponding to the information may be determined.

예를 들어, 프로세서(120)는 차량 상태 정보에 기초하여 인식 가능한 제스처 타입의 범위를 5개의 단계로 나눌 수 있으며, 이와 관련하여는 도 9를 참고하여 설명한다. 도 9는 본 발명의 일 실시예에 따른, 차량상태정보에 따른 단계별 동작 가능 설정된 제스처 범위를 도시한 표이다. For example, the processor 120 may divide the range of recognizable gesture types into five steps based on vehicle state information, and will be described with reference to FIG. 9 in this regard. FIG. 9 is a table showing gesture ranges settable according to the vehicle status information, in accordance with an embodiment of the present invention.

우선, 프로세서(120)는 차량 상태 정보에 해당되는 차량속도 정보, 차량 RPM 정보, 차량속도변화량 정보, 차량 RPM 변화량 정보, 차량가속도 정보, 차량가속도 변화량 정보, 차량지자기 정보, 차량지자기 변화량 정보, 차량자이로 정보 및 차량자이로변화량 정보 중 두개 이상을 이용하여 차량의 상태를 1단계에서 5단계로 구분할 수 있다. 이 때, 1단계에서 5단계로 갈수록 차량의 흔들림이 심해지는 상태를 나타낼 수도 있다. 예를 들어, 차량의 속도가 0이고 RPM도 0이면, 프로세서(120)는 차량의 상태를 1단계로 설정할 수 있다. 그리고, 차량의 속도와 RPM이 일정하면, 프로세서(120)는 차량의 상태를 2단계로 설정할 수 있다. 또한, 차량의 속도와 RPM이 변화하지만 변화량이 제1 임계값보다 작으면, 프로세서(120)는 차량의 상태를 3단계로 설정할 수 있다. 그리고, 차량의 속도와 RPM의 변화량이 제1 임계값과 제2 임계값의 사이값이면, 프로세서(120)는 차량의 상태를 4단계로 설정할 수 있다. 차량의 속도와 RPM의 변화량이 제2 임계값보다 크면, 프로세서(120)는 차량의 상태를 5단계로 설정할 수 있다.First, the processor 120 receives vehicle speed information, vehicle RPM information, vehicle speed change amount information, vehicle RPM change amount information, vehicle acceleration information, vehicle acceleration change amount information, vehicle geomagnetism information, It is possible to distinguish the state of the vehicle from the first stage to the fifth stage by using two or more of the gyro information and the vehicle gyro variation information. At this time, it may be seen that the vehicle shakes more gradually from the first stage to the fifth stage. For example, if the vehicle speed is zero and the RPM is zero, the processor 120 may set the state of the vehicle to one level. If the speed and the RPM of the vehicle are constant, the processor 120 can set the state of the vehicle to two levels. Further, if the vehicle speed and RPM change but the change amount is smaller than the first threshold value, the processor 120 can set the state of the vehicle to three levels. If the speed of the vehicle and the change amount of the RPM are a value between the first threshold value and the second threshold value, the processor 120 can set the vehicle state to four levels. If the variation of the vehicle speed and the RPM is greater than the second threshold value, the processor 120 may set the state of the vehicle to five levels.

이 상태에서, 프로세서(120)는 도 9와 같이 입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 5개의 단계 중 하나의 단계로 설정할 수 있게 된다. 이 때, 도 9에 도시된 바와 같이, 제스처 타입은 상하좌우 타입, 회전타입, 앞뒤타입 및 선택타입이 있다. In this state, the processor 120 can set the range of the recognizable gesture type as one of the five steps based on the vehicle state information input as shown in Fig. At this time, as shown in FIG. 9, there are gesture types of up, down, left and right type, rotation type, front-back type and selection type.

도 9에 도시된 바와 같이, 프로세서(120)는 설정된 단계에 대응되는 제스처 타입의 범위 내에서, 입력된 움직임 정보에 대응되는 사용자의 제스처를 결정할 수 있게 된다. 구체적으로, 설정된 단계가 1단계인 경우, 프로세서(120)는 상하좌우 타입, 회전타입, 앞뒤타입 및 선택타입의 4가지 모든 타입의 제스처를 인식할 수 있으므로, 입력된 움직임 정보가 어떤 제스처에 해당되는지 4가지 타입에서 결정하게 된다. 그리고, 설정된 단계가 2단계인 경우, 프로세서(120)는 상하좌우 타입, 회전타입 및 선택타입의 3가지 타입의 제스처를 인식할 수 있으므로, 입력된 움직임 정보가 어떤 제스처에 해당되는지 위의 3가지 타입에서 결정하게 된다. 또한, 설정된 단계가 3단계인 경우, 프로세서(120)는 상하좌우 타입, 앞뒤타입 및 선택타입의 3가지 타입의 제스처를 인식할 수 있으므로, 입력된 움직임 정보가 어떤 제스처에 해당되는지 위의 3가지 타입에서 결정하게 된다. 설정된 단계가 4단계인 경우, 프로세서(120)는 좌우 타입 및 선택타입의 2가지 타입의 제스처를 인식할 수 있으므로, 입력된 움직임 정보가 어떤 제스처에 해당되는지 2가지 타입에서 결정하게 된다. 설정된 단계가 5단계인 경우, 프로세서(120)는 상하좌우 타입, 회전타입, 앞뒤타입 및 선택타입의 4가지 모든 타입의 제스처를 인식할 수 없게 된다. As shown in FIG. 9, the processor 120 can determine the gesture of the user corresponding to the inputted motion information within the range of the gesture type corresponding to the set step. Specifically, when the set step is the first step, the processor 120 can recognize all four types of gestures of up, down, right and left type, rotation type, front-back type and selection type, And the other four types. If the set step is the second step, the processor 120 can recognize the three types of gestures of the up / down / right / left type, the rotation type, and the selection type. Therefore, Type. In addition, when the set step is the third step, the processor 120 can recognize three types of gestures of the up / down / left / right type, the front / back type and the selection type. Type. In the case where the set step is the 4th step, the processor 120 can recognize two types of gestures of the left / right type and the selection type, so that the type of the inputted motion information is determined from the two types. If the set step is step 5, the processor 120 can not recognize all four types of gestures: vertical, horizontal, vertical, rotational, front-back, and selection.

이와 같이, 프로세서(120)는 차량 상태 정보에 기초하여 인식 가능한 제스처 타입의 범위를 5개의 단계로 나눌 수 있다. 하지만, 프로세서(120)는 차량 상태 정보에 기초하여 인식 가능한 제스처 타입의 범위를 5개가 아닌 다른 개수의 단계로도 나눌 수 있음은 물론이다. As such, the processor 120 may divide the range of recognizable gesture types into five steps based on the vehicle state information. However, it goes without saying that the processor 120 may divide the range of the recognizable gesture type based on the vehicle state information into a number of steps other than five.

도 10을 이용하여 위와 같은 프로세서(120)의 제스처 인식 동작을 더욱 상세히 설명한다. 도 10은 본 발명의 일 실시예에 따른, 제스처 인식 과정을 세부적으로 도시한 도면이다. The gesture recognition operation of the processor 120 will be described in more detail with reference to FIG. FIG. 10 is a detailed view illustrating a gesture recognition process according to an exemplary embodiment of the present invention. Referring to FIG.

프로세서(120)는 입력된 움직임 정보에 대해 무결성 확인 과정을 거친 뒤 데이터 재배열기를 통해 해석 가능한 형태로 재배열된다. 이 때, 프로세서(120)는 무결성 확인시에 입력된 차량정보를 이용해 움직임 정보가 인식 가능한 제스처 타입에 해당되어 유효한지를 먼저 판단한다. 프로세서(120)는 재배열된 움직임 정보를 미리 지정된 제스처 동작의 주요 특성 정보를 기준으로 분류기를 통해 분류한다. 프로세서(120)는 분류된 데이터를 상세 제스처를 결정짓는 결정기로 옮기고, 저장부(140)에 저장된 제스처 동작 데이터 베이스의 특이 정보를 이용해 움직임 정보를 제스처에 매칭한다. 프로세서(120)는 매칭하는 과정에서 차량 정보를 적용하여 다시 한 번 무의미한 값을 필터링 한다. 이를 통해 급격하게 증/감한 움직임 센서부(10)의 센서 값의 완화 효과를 가져온다. 마지막으로, 프로세서(120)는 결정된 제스처를 디스플레이(130)를 통해 표시함으로써, 제스처 인식이 이뤄졌음을 사용자에게 알려주게 된다. The processor 120 performs an integrity check on the inputted motion information, and rearranges the motion information into an interpretable form through data re-opening. At this time, the processor 120 first determines whether the motion information corresponds to a recognizable gesture type by using the vehicle information input at the time of integrity check. The processor 120 classifies the rearranged motion information on the basis of the main characteristic information of the predetermined gesture operation through the classifier. The processor 120 moves the classified data to a determiner for determining the detailed gesture and matches the motion information to the gesture using the specific information of the gesture operation database stored in the storage unit 140. [ The processor 120 filters the nonsensical values once again by applying the vehicle information in the matching process. Thereby reducing the sensor value of the motion sensor unit 10 which is rapidly increased or decreased. Finally, the processor 120 displays the determined gesture through the display 130, thereby informing the user that gesture recognition has been performed.

프로세서(120)의 세부 동작 흐름을 도 10에서 확인할 수 있으며, 프로세서(120)는 재배열기, 분류기, 결정기, 실행기의 기능 블록으로 이뤄져있으며 각각의 역할은 다음과 같다. 먼저, 재배열기 부분은 데이터 무결성을 검사하고 해석 가능한 형태로 재배열된 데이터를 생산한다. 그 후 분류기에서는 저장부(140)의 제스처 데이터 베이스의 정보를 이용해 자체 최고 값, 최저 값, 인접 데이터의 사이 값 등의 특성을 비교해 1차 분류를 진행한다. 결정기는 1차 분류로 분류된 데이터를 각 축 값의 증감 관계 특성(cross-correlation) 파악으로 세부 동작으로 재차 구분된다. 마지막으로, 실행기는 분류된 각 제스처에 대응된 응용 프로그램을 실행하도록 명령을 실행한다. The detailed operation flow of the processor 120 can be seen in FIG. 10, and the processor 120 is composed of functional blocks of the rearrangement, classifier, determiner, and executor, and their respective roles are as follows. First, the rearrangement section checks data integrity and produces rearranged data in an interpretable form. Then, the classifier compares the characteristics of the maximum value, the minimum value, and the adjacent data using the information of the gesture database of the storage unit 140 to proceed with the primary classification. The determiner determines again the cross-correlation of each axis value by the detailed operation. Finally, the execution unit executes an instruction to execute an application program corresponding to each classified gesture.

도 11은 결정기에서 사용한 축 값의 증감 관계 특성 계산식을 표현하였다. 도 11은 본 발명의 일 실시예에 따른, 축값의 증감 관계 특성 계산식(cross-correlation matrix)을 도시한 도면이다. 각 축 간의 관계를 표시한 것이기 때문에 행렬 형태로 저장되며, 행렬의 각 원소의 계산은 도 11에 나타난 것과 같으며, 결정기는 저장부(140)의 데이터베이스에 저장된 제스처 배열마다의 유의미한 값을 추출하여 발생 움직임 정보와 비교하는 과정을 진행한다. 11 shows a formula for calculating the increasing / decreasing relationship of the axis values used in the determiner. 11 is a diagram showing a cross-correlation matrix of an axial value according to an embodiment of the present invention. 11, and the determiner extracts a significant value for each gesture arrangement stored in the database of the storage unit 140 And proceeds to compare with generated motion information.

이하에서는 시간흐름에 따라 프로세서(120)가 사용자의 제스처 인식을 수행하는 상태를 확인할 수 있는 방법을 도 12를 참고하여 설명한다. 도 12는 본 발명의 일 실시예에 따른, 시간에 따른 제스처 인식 단계들을 도시한 도면이다. Hereinafter, a method of confirming the state in which the processor 120 performs the gesture recognition according to the time flow will be described with reference to FIG. 12 is a diagram illustrating gesture recognition steps over time according to an embodiment of the present invention.

도 12는 시간에 따른 프로세서(120)의 제스처 인식 시간의 흐름을 보여주며, 검은색 부분은 실제 제스처 인식이 아닌 시스템 프로세싱(온, 오프, 데이터처리 등)에 소요되는 시간을 보여주며, 녹색은 프로세서(120)에 의해 제스처 인식이 일어나는 시간을 보여준다. 특히, 도 12에는 프로세서(120)가 실제 제스처 데이터의 동기화와 제스처 인식에 소요하는 시간이 개략적으로 표시되어 있다.  12 shows the flow of the gesture recognition time of the processor 120 with respect to time, and the black portion shows the time required for system processing (on, off, data processing, etc.) instead of actual gesture recognition, And shows the time at which the gesture recognition takes place by the processor 120. In particular, FIG. 12 schematically shows the time required for the processor 120 to synchronize gesture data and recognize the gesture.

이와 같은 과정을 통해, 프로세서(120)는 제스처 인식을 수행하게 된다. Through this process, the processor 120 performs gesture recognition.

디스플레이(130)는 AVN 장치의 화면에 해당될 수도 있으며, 차량과 관련된 다양한 정보를 표시하게 된다. The display 130 may correspond to a screen of the AVN device and may display various information related to the vehicle.

프로세서(120)는 제스처 인식 준비상태, 제스처 인식 준비완료상태, 제스처 인식 불가 상태 및 인식 가능한 제스처 타입 범위의 단계 설정상태 중 적어도 하나를 포함하는 제스처 인식 관련 상태를 디스플레이 화면에 표시할 수 있다. 구체적으로, 프로세서(120)는 제스처 인식 관련 상태를 디스플레이(130) 화면 가장자리 둘레에 표시하며, 제스처 인식 관련 상태에 따라 색깔을 달리하여 표시할 수도 있다. The processor 120 may display a gesture recognition related state on the display screen including at least one of a gesture recognition ready state, a gesture recognition ready state, a gesture unrecognizable state, and a step setting state of a recognizable gesture type range. Specifically, the processor 120 displays a gesture recognition related state around the screen edge of the display 130, and may display the color differently according to the gesture recognition related state.

구체적으로, 도 13을 통해 제스처 인식 상태를 디스플레이(130)에 표시하는 방법에 대해 설명한다. Specifically, a method for displaying the gesture recognition status on the display 130 will be described with reference to FIG.

도 13에서 볼 수 있듯이, 프로세서(120)는 제스처 인식 관련 상태를 인지하여, 디스플레이(130) 화면에 제스처 인식 준비상태, 제스처 인식 준비완료 상태, 제스처 인식 불가 상태 등을 차량상태정보를 이용해 결정하여 표시한다. 이를 통해, 사용자는 현재 디스플레이(130)에 표시되는 상태표시를 확인 후 해당 가능한 제스처를 수행하게 된다. As shown in FIG. 13, the processor 120 recognizes the gesture recognition related state and determines the gesture recognition preparation state, the gesture recognition preparation completion state, the gesture unrecognizable state, and the like on the display 130 using the vehicle state information Display. Accordingly, the user confirms the status display currently displayed on the display 130 and performs a corresponding gesture.

또한, 도 13은 차량 상태에 따라 시간별로 가능한 제스처 인식 상태 단계를 표시하고 있다. 사용자의 제스처가 오른쪽을 나타냈을 때, 인식 후 변화된 UI(User Interface)상태를 확인할 수 있다. Fig. 13 shows gesture recognition status steps that are possible in time according to the vehicle condition. When the gesture of the user indicates the right side, it is possible to check the changed UI state after recognition.

도 13에 도시된 바와 같이, 프로세서(120)는 제스처 인식 관련 상태를 디스플레이(130) 화면 가장자리 둘레에 색깔을 달리하여 표시할 수도 있다. 도 13에서는, 제스처 인식 준비상태는 노란색으로, 제스처 인식 준비완료 상태는 파란색으로, 제스처 인식 불가상태는 빨간색으로 표시된 것을 확인할 수 있다. As shown in FIG. 13, the processor 120 may display the gesture recognition related status in a different color around the screen edge of the display 130. In Fig. 13, it can be confirmed that the gesture recognition preparation state is yellow, the gesture recognition preparation completion state is blue, and the gesture recognition disabled state is red.

하지만, 이외에도, 프로세서(120)는 도 9에 도시된 5단계를 각각 빨강, 주황, 노랑, 초록, 파랑의 5가지 색으로 디스플레이(130) 화면 가장자리 둘레에 색깔을 달리하여 표시할 수도 있으며, 이외에도 다른 색상으로 표시할 수도 있음은 물론이다. In addition, the processor 120 may display the five colors shown in FIG. 9 in five colors, red, orange, yellow, green, and blue, respectively, with different colors around the edges of the display 130, It is also possible to display them in different colors.

저장부(140)는 차량(30)에 관한 다양한 정보들이 저장되며, 제스처에 대응되는 움직임 정보들이 기록된 제스처 동작 데이터 베이스가 저장되어 있다. The storage unit 140 stores various information related to the vehicle 30, and stores a gesture operation database in which motion information corresponding to the gesture is recorded.

지금까지, 제스처 인식장치(100)의 구성에 대해 설명하였다. The configuration of the gesture recognition apparatus 100 has been described so far.

이하에서는, 도 14를 참고하여 제스처 인식장치(100)의 제스처 인식방법에 대해 상세히 설명한다. 도 14는 본 발명의 일 실시예에 따른, 제스처 인식방법을 설명하기 위해 제공되는 흐름도이다. Hereinafter, the gesture recognition method of the gesture recognition apparatus 100 will be described in detail with reference to FIG. 14 is a flowchart provided to illustrate a gesture recognition method according to an embodiment of the present invention.

제스처 인식장치(100)는 입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하고, 인식된 제스처에 대응되는 명령을 실행한다. The gesture recognition apparatus 100 recognizes the gesture of the user based on the received motion information within the gesture range set according to the input vehicle state information, and executes a command corresponding to the recognized gesture.

먼저, 제스처 인식장치(100)는 차량상태정보를 입력받는다(S210). First, the gesture recognition apparatus 100 receives vehicle status information (S210).

제스처 인식장치(100)는 입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 설정하고 디스플레이에 표시한다(S220). The gesture recognition apparatus 100 sets a range of the recognizable gesture type based on the inputted vehicle state information and displays it on the display (S220).

이 때, 제스처 인식장치(100)는 입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 복수개의 단계 중 하나의 단계로 설정할 수 있다.At this time, the gesture recognition apparatus 100 can set the range of the recognizable gesture type as one of a plurality of steps, based on the input vehicle state information.

또한, 제스처 인식장치(100)는 제스처 인식 준비상태, 제스처 인식 준비완료상태, 제스처 인식 불가 상태 및 인식 가능한 제스처 타입 범위의 단계 설정상태 중 적어도 하나를 포함하는 제스처 인식 관련 상태를 차량의 디스플레이 화면에 표시할 수 있다. 그리고, 제스처 인식장치(100)는 제스처 인식 관련 상태를 차량의 디스플레이 화면 가장자리 둘레에 표시하며, 제스처 인식 관련 상태에 따라 색깔을 달리하여 표시할 수 있으며, 이와 관련하여는 도 13을 참고하여 상술한 바 있다. In addition, the gesture recognition apparatus 100 may display a gesture recognition related state including at least one of a gesture recognition preparation state, a gesture recognition preparation completion state, a gesture unrecognizable state, and a recognizable gesture type range step setting state on a display screen of the vehicle Can be displayed. The gesture recognition apparatus 100 displays a gesture recognition related state on the periphery of the display screen of the vehicle. The gesture recognition apparatus 100 can display the gesture recognition related state according to the gesture recognition related state. In this regard, There is a bar.

그리고, 제스처 인식장치(100)는 움직임 정보를 입력받는다(S230). 이 때, 제스처 인식장치(100)는 웨어러블 장치에 포함된 움직임 센서부(10)에 의해 감지된 사용자의 움직임 정보를 웨어러블 장치로부터 입력받을 수도 있다. Then, the gesture recognition apparatus 100 receives the motion information (S230). At this time, the gesture recognition apparatus 100 may receive the user's motion information sensed by the motion sensor unit 10 included in the wearable device from the wearable device.

제스처 인식장치(100)는 설정된 제스처 타입의 범위 내에서, 입력된 움직임 정보에 대응되는 사용자의 제스처를 인식한다(S240). 이 때, 제스처 인식장치(100)는 설정된 단계에 대응되는 제스처 타입의 범위 내에서, 입력된 움직임 정보에 대응되는 사용자의 제스처를 결정할 수도 있다. The gesture recognition apparatus 100 recognizes the gesture of the user corresponding to the inputted motion information within the range of the set gesture type (S240). At this time, the gesture recognition apparatus 100 may determine the gesture of the user corresponding to the input motion information within the range of the gesture type corresponding to the set step.

예를 들어, 프로세서(120)는 차량 상태 정보에 기초하여 인식 가능한 제스처 타입의 범위를 5개의 단계로 나눌 수 있으며, 이와 관련하여는 도 9를 참고하여 앞에서 설명하였다. For example, the processor 120 may divide the range of recognizable gesture types into five steps based on vehicle state information, and this has been described above with reference to FIG.

그 후에, 제스처 인식장치(100)는 인식된 제스처에 대응되는 차량에 대한 명령을 실행하게 된다(S250). 예를 들어, 제스처 인식장치(100)는 인식된 제스처에 따라 볼륨 업/다운, 네비게이션 지도 확대/축소, 에어컨 온/오프 등의 명령을 수행할 수도 있다. Thereafter, the gesture recognition apparatus 100 executes a command for the vehicle corresponding to the recognized gesture (S250). For example, the gesture recognition apparatus 100 may perform commands such as volume up / down, navigation map enlargement / reduction, air condition on / off according to a recognized gesture.

이와 같은 과정을 통해, 제스처 인식장치(100)는 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하는 제스처 인식방법을 제공할 수 있게 되어, 차량 내부 전체 공간에서 제스처 인식이 가능해지고 인식률을 더욱 향상시킬 수 있게 되며, 운행중인 차량에서도 비교적 정확한 제스처 인식을 할 수 있게 된다. Through the above process, the gesture recognition apparatus 100 can provide a gesture recognition method for recognizing the gesture of the user based on the received motion information, thereby enabling gesture recognition in the entire space inside the vehicle and further improving the recognition rate So that it is possible to recognize the gesture relatively accurately even in a running vehicle.

한편, 본 실시예에 따른 제스처 인식장치(100) 및 제스처 인식방법은 차량(30)에 포함되어 적용될 수 있음은 물론이다. It should be noted that the gesture recognition apparatus 100 and the gesture recognition method according to the present embodiment can be applied to the vehicle 30 as well.

한편, 본 실시예에 따른 제스처 인식장치(100)의 상술한 기능 및 제스처 인식방법을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다. Needless to say, the technical idea of the present invention can also be applied to a computer-readable recording medium storing a computer program for performing the above-described functions and gesture recognition method of the gesture recognition apparatus 100 according to the present embodiment . In addition, the technical idea according to various embodiments of the present invention may be realized in the form of a computer-readable programming language code recorded on a computer-readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, a flash memory, a solid state disk (SSD), or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

10 : 움직임 센서부
20 : 차량상태정보 수집부
100 : 제스처 인식장치
110 : 인터페이스
120 : 프로세서
130 : 디스플레이
140 : 저장부10: Motion sensor unit
20: Vehicle condition information collecting unit
100: Gesture recognition device
110: Interface
120: Processor
130: Display
140:

Claims (12)

차량 상태 정보를 입력받는 단계;
센서에 의해 감지된 사용자의 움직임 정보를 입력받는 단계; 및
입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하는 단계;를 포함하고,
인식단계는,
입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 설정하는 단계; 및
설정된 제스처 타입의 범위 내에서, 입력된 움직임 정보에 대응되는 사용자의 제스처를 결정하는 단계;를 포함하며,
설정 단계는,
입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 5개의 단계 중 하나의 단계로 설정하고,
결정 단계는,
설정된 단계가 제1단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 회전타입, 앞뒤타입, 및 선택타입의 4가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제2단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 회전타입, 및 선택타입의 3가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제3단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 앞뒤타입, 및 선택타입의 3가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제4단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입 및 선택타입의 2가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제5단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 인식할 수 없도록 설정되는 것을 특징으로 하는 제스처 인식방법.
Receiving vehicle status information;
Receiving motion information of a user sensed by a sensor; And
Recognizing a user's gesture based on the received motion information within a set gesture range set according to the input vehicle state information,
In the recognition step,
Setting a range of recognizable gesture type based on the inputted vehicle state information; And
Determining a gesture of the user corresponding to the inputted motion information within a range of the set gesture type,
In the setting step,
The range of the recognizable gesture type is set as one of the five steps based on the input vehicle state information,
In the determination step,
When the set step is the first step, the gesture of the user corresponding to the input motion information is determined as one of the four gesture types of the up / down / right / left type, the rotation type, the front / back type,
When the set step is the second step, the gesture of the user corresponding to the input motion information is determined as one of the three gesture types of the up / down / right / left type, the rotation type,
When the set step is the third step, the gesture of the user corresponding to the inputted motion information is determined as one of the three gesture types of the up / down / left / right type, the front / back type,
If the set step is the fourth step, the gesture of the user corresponding to the inputted motion information is determined as one of the two types of gestures of the up / down / left / right type and the selection type,
And if the set step is the fifth step, the gesture of the user corresponding to the inputted motion information can not be recognized.
삭제delete 삭제delete 청구항 1에 있어서,
제스처 인식 준비상태, 제스처 인식 준비완료상태, 제스처 인식 불가 상태 및 인식 가능한 제스처 타입 범위의 단계 설정상태 중 어느 하나를 포함하는 제스처 인식 관련 상태를 차량의 디스플레이 화면에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 제스처 인식방법.
The method according to claim 1,
Displaying a gesture recognition related state on the display screen of the vehicle, the gesture recognition related state including any one of a gesture recognition preparation state, a gesture recognition preparation completion state, a gesture unrecognizable state, and a step setting state of a recognizable gesture type range A gesture recognition method characterized by:
청구항 4에 있어서,
표시 단계는,
제스처 인식 관련 상태를 차량의 디스플레이 화면 가장자리 둘레에 표시하며, 제스처 인식 관련 상태에 따라 색깔을 달리하여 표시하는 것을 특징으로 하는 제스처 인식방법.
The method of claim 4,
In the displaying step,
Wherein the gesture recognition related state is displayed on the periphery of the display screen of the vehicle and the color is displayed in a different color depending on the gesture recognition related state.
청구항 1에 있어서,
인식된 제스처에 대응되는 명령을 실행하는 단계;를 더 포함하는 것을 특징으로 하는 제스처 인식방법.
The method according to claim 1,
And executing a command corresponding to the recognized gesture.
청구항 1에 있어서,
차량 상태 정보는,
차량속도 정보, 차량 RPM 정보, 차량속도변화량 정보, 차량 RPM 변화량 정보, 차량가속도 정보, 차량가속도 변화량 정보, 차량지자기 정보, 차량지자기 변화량 정보, 차량자이로 정보 및 차량자이로변화량 정보 중 두개 이상을 포함하는 것을 특징으로 하는 제스처 인식방법.
The method according to claim 1,
The vehicle status information includes,
Vehicle velocity information, vehicle RPM information, vehicle speed change amount information, vehicle RPM change amount information, vehicle acceleration information, vehicle acceleration change amount information, vehicle geomagnetism information, vehicle geomagnetism change amount information, vehicle gyro information, and vehicle gyro change information The gesture recognition method comprising:
삭제delete 청구항 1에 있어서,
움직임 정보 입력 단계는,
웨어러블 장치에 포함된 센서에 의해 감지된 사용자의 움직임 정보를 웨어러블 장치로부터 입력받는 것을 특징으로 하는 제스처 인식방법.
The method according to claim 1,
In the motion information input step,
Wherein the wearable device receives input of movement information of a user sensed by a sensor included in the wearable device from the wearable device.
차량 상태 정보 및 센서에 의해 감지된 사용자의 움직임 정보를 입력받는 인터페이스; 및
입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 입력된 움직임 정보에 기초하여 사용자의 제스처를 인식하는 프로세서;를 포함하고,
프로세서는,
입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 5개의 단계 중 하나의 단계로 설정하고,
설정된 단계가 제1단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 회전타입, 앞뒤타입, 및 선택타입의 4가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제2단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 회전타입, 및 선택타입의 3가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제3단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 앞뒤타입, 및 선택타입의 3가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제4단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입 및 선택타입의 2가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제5단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 인식할 수 없도록 설정하는 것을 특징으로 하는 제스처 인식장치.
An interface for receiving vehicle state information and motion information of a user sensed by the sensor; And
And a processor for recognizing the gesture of the user based on the inputted motion information within the set gesture range set according to the input vehicle state information,
The processor,
The range of the recognizable gesture type is set as one of the five steps based on the input vehicle state information,
When the set step is the first step, the gesture of the user corresponding to the input motion information is determined as one of the four gesture types of the up / down / right / left type, the rotation type, the front / back type,
When the set step is the second step, the gesture of the user corresponding to the input motion information is determined as one of the three gesture types of the up / down / right / left type, the rotation type,
When the set step is the third step, the gesture of the user corresponding to the inputted motion information is determined as one of the three gesture types of the up / down / left / right type, the front / back type,
If the set step is the fourth step, the gesture of the user corresponding to the inputted motion information is determined as one of the two types of gestures of the up / down / left / right type and the selection type,
Wherein the gesture recognizing unit sets the gesture of the user corresponding to the inputted motion information so that it can not be recognized if the set step is the fifth step.
차량 상태 정보를 입력받는 단계;
센서에 의해 감지된 사용자의 움직임 정보를 입력받는 단계; 및
입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하는 단계;를 포함하고,
인식단계는,
입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 설정하는 단계; 및
설정된 제스처 타입의 범위 내에서, 입력된 움직임 정보에 대응되는 사용자의 제스처를 결정하는 단계;를 포함하며,
설정 단계는,
입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 5개의 단계 중 하나의 단계로 설정하고,
결정 단계는,
설정된 단계가 제1단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 회전타입, 앞뒤타입, 및 선택타입의 4가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제2단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 회전타입, 및 선택타입의 3가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제3단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 앞뒤타입, 및 선택타입의 3가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제4단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입 및 선택타입의 2가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제5단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 인식할 수 없도록 설정되는 것을 특징으로 하는 제스처 인식방법을 수행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
Receiving vehicle status information;
Receiving motion information of a user sensed by a sensor; And
Recognizing a user's gesture based on the received motion information within a set gesture range set according to the input vehicle state information,
In the recognition step,
Setting a range of recognizable gesture type based on the inputted vehicle state information; And
Determining a gesture of the user corresponding to the inputted motion information within a range of the set gesture type,
In the setting step,
The range of the recognizable gesture type is set as one of the five steps based on the input vehicle state information,
In the determination step,
When the set step is the first step, the gesture of the user corresponding to the input motion information is determined as one of the four gesture types of the up / down / right / left type, the rotation type, the front / back type,
When the set step is the second step, the gesture of the user corresponding to the input motion information is determined as one of the three gesture types of the up / down / right / left type, the rotation type,
When the set step is the third step, the gesture of the user corresponding to the inputted motion information is determined as one of the three gesture types of the up / down / left / right type, the front / back type,
If the set step is the fourth step, the gesture of the user corresponding to the inputted motion information is determined as one of the two types of gestures of the up / down / left / right type and the selection type,
And if the set step is the fifth step, the gesture of the user corresponding to the inputted motion information can not be recognized.
차량 상태 정보 및 센서에 의해 감지된 사용자의 움직임 정보를 입력받는 인터페이스; 및
입력된 차량 상태 정보에 따라 설정된 제스처 범위 내에서, 수신된 움직임 정보에 기초하여 사용자의 제스처를 인식하고, 인식된 제스처에 대응되는 명령을 실행하는 프로세서;를 포함하고,
프로세서는,
입력된 차량 상태 정보에 기초하여, 인식 가능한 제스처 타입의 범위를 5개의 단계 중 하나의 단계로 설정하고,
설정된 단계가 제1단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 회전타입, 앞뒤타입, 및 선택타입의 4가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제2단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 회전타입, 및 선택타입의 3가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제3단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입, 앞뒤타입, 및 선택타입의 3가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제4단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 상하좌우 타입 및 선택타입의 2가지 제스처 타입들 중 어느 하나로 결정하고,
설정된 단계가 제5단계일 경우, 입력된 움직임 정보에 대응되는 사용자의 제스처를 인식할 수 없도록 설정하는 것을 특징으로 하는 차량.
An interface for receiving vehicle state information and motion information of a user sensed by the sensor; And
And a processor for recognizing a user's gesture based on the received motion information and executing a command corresponding to the recognized gesture within a set gesture range set according to inputted vehicle state information,
The processor,
The range of the recognizable gesture type is set as one of the five steps based on the input vehicle state information,
When the set step is the first step, the gesture of the user corresponding to the input motion information is determined as one of the four gesture types of the up / down / right / left type, the rotation type, the front / back type,
When the set step is the second step, the gesture of the user corresponding to the input motion information is determined as one of the three gesture types of the up / down / right / left type, the rotation type,
When the set step is the third step, the gesture of the user corresponding to the inputted motion information is determined as one of the three gesture types of the up / down / left / right type, the front / back type,
If the set step is the fourth step, the gesture of the user corresponding to the inputted motion information is determined as one of the two types of gestures of the up / down / left / right type and the selection type,
And setting the gesture of the user corresponding to the input motion information so that the gesture of the user can not be recognized if the set step is the fifth step.
KR1020170029343A 2017-03-08 2017-03-08 Gesture Recognition Method, Device, and recording medium for Vehicle using Wearable device KR101983892B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170029343A KR101983892B1 (en) 2017-03-08 2017-03-08 Gesture Recognition Method, Device, and recording medium for Vehicle using Wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170029343A KR101983892B1 (en) 2017-03-08 2017-03-08 Gesture Recognition Method, Device, and recording medium for Vehicle using Wearable device

Publications (2)

Publication Number Publication Date
KR20180102776A KR20180102776A (en) 2018-09-18
KR101983892B1 true KR101983892B1 (en) 2019-05-29

Family

ID=63718551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170029343A KR101983892B1 (en) 2017-03-08 2017-03-08 Gesture Recognition Method, Device, and recording medium for Vehicle using Wearable device

Country Status (1)

Country Link
KR (1) KR101983892B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816815A (en) * 2019-02-22 2019-05-28 金瓜子科技发展（北京）有限公司 Vehicle condition detection method, apparatus and system
CN110022427A (en) * 2019-05-22 2019-07-16 乐山师范学院 Automobile uses intelligent assistance system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603553B1 (en) * 2014-12-15 2016-03-15 현대자동차주식회사 Method for recognizing user gesture using wearable device and vehicle for carrying out the same
JP2016091182A (en) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 Operation input device
JP2016091194A (en) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 Operation input device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140075215A (en) * 2012-12-11 2014-06-19 현대자동차주식회사 Handsfree trunk apparatus for vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091182A (en) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 Operation input device
JP2016091194A (en) * 2014-10-31 2016-05-23 三菱自動車工業株式会社 Operation input device
KR101603553B1 (en) * 2014-12-15 2016-03-15 현대자동차주식회사 Method for recognizing user gesture using wearable device and vehicle for carrying out the same

Also Published As

Publication number Publication date
KR20180102776A (en) 2018-09-18

Similar Documents

Publication Publication Date Title
US9542405B2 (en) Image processing system and method
JP5709227B2 (en) Information processing apparatus, information processing method, and program
US11573641B2 (en) Gesture recognition system and method of using same
US8010911B2 (en) Command input method using motion recognition device
US11119585B2 (en) Dual-mode augmented reality interfaces for mobile devices
US20120105613A1 (en) Robust video-based handwriting and gesture recognition for in-car applications
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
CN103870802A (en) System and method for manipulating user interface in vehicle using finger valleys
KR20120045667A (en) Apparatus and method for generating screen for transmitting call using collage
US10477155B2 (en) Driving assistance method, driving assistance device, and recording medium recording program using same
US9354712B2 (en) Recognition device, intelligent device and information providing method for human machine interaction
KR101983892B1 (en) Gesture Recognition Method, Device, and recording medium for Vehicle using Wearable device
JP2015122064A (en) Providing last known browsing location cue using movement-oriented biometric data
CN111524339B (en) Unmanned aerial vehicle frequency alignment method and system, unmanned aerial vehicle and remote controller
EP3289435B1 (en) User interface control using impact gestures
CN111670004A (en) Electronic device and method for measuring heart rate
KR20160133305A (en) Gesture recognition method, a computing device and a control device
JP2017191426A (en) Input device, input control method, computer program, and storage medium
KR101870542B1 (en) Method and apparatus of recognizing a motion
KR20200058823A (en) Method and system for wearable band gesture recognition based on motion recognition
US20170165587A1 (en) Electronic device and method for controlling toy using the same
US10558270B2 (en) Method for determining non-contact gesture and device for the same
US20230125410A1 (en) Information processing apparatus, image capturing system, method, and non-transitory computer-readable storage medium
KR102346904B1 (en) Method and apparatus for recognizing gesture

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant