KR20210131174A - Apparatus and method for recognizing gesture - Google Patents

Apparatus and method for recognizing gesture Download PDF

Info

Publication number
KR20210131174A
KR20210131174A KR1020200049629A KR20200049629A KR20210131174A KR 20210131174 A KR20210131174 A KR 20210131174A KR 1020200049629 A KR1020200049629 A KR 1020200049629A KR 20200049629 A KR20200049629 A KR 20200049629A KR 20210131174 A KR20210131174 A KR 20210131174A
Authority
KR
South Korea
Prior art keywords
gesture
gesture recognition
user
wearable device
control
Prior art date
Application number
KR1020200049629A
Other languages
Korean (ko)
Inventor
안성준
이승환
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200049629A priority Critical patent/KR20210131174A/en
Priority to US17/236,378 priority patent/US11573644B2/en
Publication of KR20210131174A publication Critical patent/KR20210131174A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Thermal Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a device for recognizing a gesture and a method thereof. The device for recognizing a gesture according to the present invention comprises: a first communication circuit that communicates with a wearable device; a second communication circuit that communicates with an in-vehicle control target device; a memory in which a gesture recognition program is stored; and a processor that executes the program, wherein the processor recognizes a position and gesture of a user wearing the wearable device through the first communication circuit, and controls a control target device according to the gesture in consideration of a right to control for the control target device set according to the position of the user. Therefore, the present invention is capable of selecting and providing an in-vehicle function according to a position of a vehicle occupant and a result of gesture recognition.

Description

제스처 인식 장치 및 그 방법{APPARATUS AND METHOD FOR RECOGNIZING GESTURE}Gesture recognition device and method thereof

본 발명은 제스처 인식 장치 및 그 방법에 관한 것이다. The present invention relates to a gesture recognition device and a method therefor.

종래 기술에 따르면, 사용자의 제스처를 인식하여 매칭되는 기능을 실행시키는 기술이 개발되고 있다. According to the prior art, a technique for recognizing a user's gesture and executing a matching function has been developed.

종래 기술에 따른 차량 시스템은 차량 내 카메라를 통해 탑승자를 촬영하고, 촬영 영상에 기반하여 제스처를 인식한다. A vehicle system according to the prior art photographs an occupant through an in-vehicle camera, and recognizes a gesture based on the captured image.

그런데, 종래의 차량 시스템은 카메라 시야각 범위 내 협소한 영역에 대해서만 제스처를 인식할 수 있고, 외부 조도(예: 저조도, 강한 조도)에 인해 화질이 저하되는 경우, 제스처 인식의 신뢰성이 떨어지는 문제점이 있다. However, the conventional vehicle system can recognize a gesture only in a narrow area within the camera viewing angle range, and when the image quality is deteriorated due to external illuminance (eg, low illuminance, strong illuminance), the reliability of gesture recognition is lowered. .

또한, 차량 내 탑승자의 위치에 따라 제스처 인식을 선별하고, 인식 결과에 따라 차량 내 기능을 제공하지 못하는 한계점이 있다. In addition, there is a limitation in that the gesture recognition is selected according to the position of the occupant in the vehicle and the in-vehicle function cannot be provided according to the recognition result.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 차량 내 기능 제어에 대한 제어권을 설정하고, 차량 탑승자의 위치 및 제스처 인식 결과에 따라 차량 내 기능을 선별하여 제공하는 것이 가능한 제스처 인식 장치 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and it is possible to set a control right for controlling functions in a vehicle, and to select and provide functions in the vehicle according to the position of the vehicle occupant and the result of gesture recognition. Its purpose is to provide

본 발명에 따른 제스처 인식 장치는 웨어러블 장치와 통신하는 제1 통신 회로와, 차량 내 제어 대상 장치와 통신하는 제2 통신 회로와, 제스처 인식 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 제1 통신 회로를 통해 웨어러블 장치를 착용한 사용자의 위치 및 제스처를 인식하고, 사용자의 위치에 따라 설정된 제어 대상 장치에 대한 제어권을 고려하여, 제스처에 따라 제어 대상 장치를 제어하는 것을 특징으로 한다. A gesture recognition device according to the present invention includes a first communication circuit for communicating with a wearable device, a second communication circuit for communicating with an in-vehicle control target device, a memory in which a gesture recognition program is stored, and a processor for executing the program, the processor recognizes the position and gesture of the user wearing the wearable device through the first communication circuit, considers the control right for the control target device set according to the user's location, and controls the control target device according to the gesture .

프로세서는 사용자의 위치가 운전석인 경우, 제어 대상 장치에 대한 제어권을 모두 허용한다. When the user's location is the driver's seat, the processor allows all control rights to the controlled device.

프로세서는 사용자의 위치가 조수석인 경우, 전석(front seat) 및 후석(rear seat)의 인포테인먼트 장치 및 공조기 중 적어도 어느 하나에 대한 제어를 수행하고, 사용자의 위치가 후석(rear seat)인 경우, 후석 인포테인먼트 장치 및 공조기에 대한 제어를 수행한다. The processor controls at least one of an infotainment device and an air conditioner of a front seat and a rear seat when the user's position is a passenger seat, and when the user's position is a rear seat, the rear seat Controls infotainment devices and air conditioners.

프로세서는 웨어러블 장치의 식별 번호 및 이에 대응되어 저장되는 사용자의 연령 정보를 고려하여, 연령 정보에 대응하는 콘텐츠를 재생시킨다. The processor plays the content corresponding to the age information in consideration of the identification number of the wearable device and the age information of the user stored corresponding thereto.

프로세서는 카메라를 이용하여 획득된 웨어러블 장치를 착용하지 않은 탑승자에 대한 정보를 인식하고, 인식 결과에 따라 제어권이 부여된 제어 대상 장치를 제어한다. The processor recognizes the information about the occupant not wearing the wearable device acquired using the camera, and controls the control target device to which the control right is granted according to the recognition result.

제1 통신 회로는 UWB 통신을 통해 웨어러블 장치의 위치를 확인한다. The first communication circuit identifies the location of the wearable device through UWB communication.

본 발명에 따른 제스처 인식 방법은 (a) 웨어러블 장치를 착용한 사용자의 위치를 확인하는 단계와, (b) 사용자의 위치에 따라서 제어 대상 장치에 대한 제어권을 부여하는 단계 및 (c) 웨어러블 장치로부터 획득된 움직임 정보에 기반하여 제스처를 인식하고, 제스처에 응답하여 제어 대상 장치 중 제어권이 부여된 장치에 대한 제어를 수행하는 단계를 포함하는 것을 특징으로 한다. The gesture recognition method according to the present invention includes the steps of (a) confirming the location of a user wearing a wearable device, (b) granting a control right to a control target device according to the user's location, and (c) from the wearable device and recognizing a gesture based on the obtained motion information, and performing control of a device to which control is granted among control target devices in response to the gesture.

(b) 단계는 사용자의 위치가 운전석인 경우, 제어 대상 장치에 대한 제어권을 모두 허용한다. In step (b), when the user's location is the driver's seat, all control rights to the control target device are allowed.

(b) 단계는 사용자의 위치가 조수석인 경우, 전석(front seat) 및 후석(rear seat)의 인포테인먼트 장치 및 공조기 중 적어도 어느 하나에 대한 제어권을 부여하고, 사용자의 위치가 후석(rear seat)인 경우, 후석 인포테인먼트 장치 및 공조기에 대한 제어권을 부여한다. In step (b), when the user's position is the front seat, the control right is given to at least one of the front seat and rear seat infotainment devices and the air conditioner, and the user's position is the rear seat. In this case, it grants control over the rear seat infotainment device and air conditioner.

(c) 단계는 제스처에 기반하여 콘텐츠를 재생하는 경우, 웨어러블 장치의 식별 정보 및 사용자의 연령 정보를 고려하여 콘텐츠를 재생한다. In step (c), when the content is reproduced based on the gesture, the content is reproduced in consideration of the wearable device identification information and the user's age information.

(c) 단계는 촬영 영상에 기반하여 웨어러블 장치를 착용하지 않은 탑승자의 제스처 및 위치를 확인하고, 확인 결과에 따라 제어권이 부여된 제어 대상 장치에 대한 제어를 수행한다. In step (c), the gesture and position of the passenger who is not wearing the wearable device is checked based on the captured image, and the control target device to which the control right is granted is controlled according to the check result.

본 발명에 따르면, 차량 내 기능 제어에 대한 제어권을 설정하고, 차량 탑승자의 위치 및 제스처 인식 결과에 따라 차량 내 기능을 선별하여 제공하는 것이 가능한 효과가 있다. According to the present invention, it is possible to set the right to control the in-vehicle functions, and to select and provide in-vehicle functions according to the position of the vehicle occupant and the result of gesture recognition.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명에 따른 제스처 인식 시스템을 도시한다.
도 2는 본 발명에 따른 웨어러블 장치를 도시한다.
도 3은 본 발명에 따른 제스처 인식 장치를 도시한다.
도 4는 본 발명에 따른 제스처 인식/미인식 영역의 예를 도시한다.
도 5는 본 발명에 따른 제2 영역에서의 제스처 인식을 도시한다.
도 6은 본 발명에 따른 제2 영역에서 다른 기능을 수행하는 예를 도시한다.
도 7은 본 발명에 따른 생체 정보 및 움직임 정보 기반의 차량 제어를 도시한다.
도 8은 본 발명에 따른 제스처 및 시선 추적 기반의 차량 제어를 도시한다.
도 9는 본 발명에 따른 터치 관련 정보 및 움직임 정보 기반의 차량 제어를 도시한다.
도 10 및 도 11은 본 발명에 따른 사용자 위치 별 제어 대상 장치를 도시한다.
도 12는 본 발명에 따른 제스처 인식의 기준 좌표 변환을 도시한다.
도 13a 및 13b는 본 발명에 따른 제스처 인식의 기준 좌표 변환의 다른 예를 도시한다.
도 14, 도 15a 내지 15d는 본 발명에 따른 웨어러블 장치의 위치에 따른 기능 실행을 도시한다.
도 16 내지 도 19는 본 발명에 따른 제스처 인식 방법을 도시한다. 1 shows a gesture recognition system according to the present invention.
2 shows a wearable device according to the present invention.
3 shows a gesture recognition device according to the present invention.
4 shows an example of a gesture recognition/non-recognition area according to the present invention.
5 shows gesture recognition in the second area according to the present invention.
6 shows an example of performing another function in the second area according to the present invention.
7 illustrates vehicle control based on biometric information and motion information according to the present invention.
8 shows a vehicle control based on gesture and eye tracking according to the present invention.
9 illustrates vehicle control based on touch-related information and motion information according to the present invention.
10 and 11 show a control target device for each user location according to the present invention.
12 shows a reference coordinate transformation of gesture recognition according to the present invention.
13A and 13B show another example of reference coordinate transformation of gesture recognition according to the present invention.
14 and 15A to 15D show function execution according to the position of the wearable device according to the present invention.
16 to 19 show a gesture recognition method according to the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above and other objects, advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the following examples are provided to those of ordinary skill in the art to which the present invention pertains to the purpose of the invention, It is only provided to easily inform the configuration and effect, and the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.On the other hand, the terms used herein are for the purpose of describing the embodiments and are not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, "comprises" and/or "comprising" means that a referenced element, step, operation and/or element is the presence of one or more other elements, steps, operations and/or elements. or added.

도 1은 본 발명에 따른 제스처 인식 시스템을 도시한다. 1 shows a gesture recognition system according to the present invention.

본 발명의 실시예에 따른 제스처 인식 시스템은 웨어러블 장치(100) 및 제스처 인식 장치(200)를 포함한다. A gesture recognition system according to an embodiment of the present invention includes a wearable device 100 and a gesture recognition device 200 .

웨어러블 장치(100)는 예컨대 사용자의 손가락에 착용되는 링 형상으로 구성된다. The wearable device 100 is configured in a ring shape worn on a user's finger, for example.

웨어러블 장치(100)는 사용자 손 움직임을 감지하고, 움직임 정보를 제스처 인식 장치(200)로 전송한다. The wearable device 100 detects a user's hand motion and transmits motion information to the gesture recognition device 200 .

또는, 제스처 인식 장치(200)가 웨어러블 장치(100)의 움직임을 감지하여, 웨어러블 장치(100)의 움직임 정보를 획득한다. Alternatively, the gesture recognition apparatus 200 detects a movement of the wearable apparatus 100 and acquires movement information of the wearable apparatus 100 .

제스처 인식 장치(200)는 차량 시스템에 포함되거나, 차량 시스템과 통신한다. The gesture recognition device 200 is included in or communicates with the vehicle system.

제스처 인식 장치(200)는 웨어러블 장치(100)로부터 움직임 정보를 수신하고, 움직임 정보에 기반하여 사용자의 제스처를 인식한다. The gesture recognition apparatus 200 receives motion information from the wearable device 100 and recognizes a user's gesture based on the motion information.

제스처 인식 장치(200)는 사용자의 제스처 인식에 따라 차량 시스템에 대한 제어를 수행한다. The gesture recognition apparatus 200 controls the vehicle system according to the user's gesture recognition.

제스처 인식 장치(200)는 무선 통신 또는 촬영 영상에 기반하여, 웨어러블 장치(100)가 위치한 영역을 인식하고, 인식된 영역에 따라 제스처를 인식할지 여부를 결정한다. The gesture recognition apparatus 200 recognizes an area in which the wearable apparatus 100 is located based on wireless communication or a captured image, and determines whether to recognize a gesture according to the recognized area.

제스처 인식 장치(200)는 웨어러블 장치(100)가 제1 영역(예: 활성 영역)에 위치하는 경우, 움직임 정보에 기반하여 인식된 제스처에 대응하는 기능을 수행한다. When the wearable device 100 is located in a first area (eg, an active area), the gesture recognition apparatus 200 performs a function corresponding to a recognized gesture based on motion information.

제스처 인식 장치(200)는 웨어러블 장치(100)가 제2 영역(예: 비활성 영역 또는 준활성 영역)에 위치하는 경우, i) 움직임 정보를 무시하는 동작, ii) 다른 지정된 기능(예: 무선 충전, 차량 시스템의 특정 기능)을 수행하는 동작 및 iii) 움직임 정보의 기준 좌표를 변환하여 제스처를 인식하는 동작 중 적어도 어느 하나의 동작을 수행한다. When the wearable device 200 is located in a second area (eg, an inactive area or a semi-active area), the gesture recognition device 200 performs i) an operation to ignore motion information, ii) another designated function (eg, wireless charging). , a specific function of the vehicle system) and iii) an operation of recognizing a gesture by converting reference coordinates of motion information is performed.

제1 영역은 제2 영역 이외의 다른 일부 영역 또는 제2 영역 이외의 나머지 영역이다. The first area is a partial area other than the second area or the remaining area other than the second area.

제2 영역은 스티어링 휠(steering wheel), 기어(gear) 봉 및 암레스트(armrest) 중 적어도 어느 하나의 부위로부터 제1 거리 이내의 영역이다. The second area is an area within a first distance from at least one of a steering wheel, a gear rod, and an armrest.

제스처 인식 장치(200)는 제2 영역에서 움직임 정보에 기반하여 스티어링 휠 또는 기어 봉의 파지를 감지한 경우에 전술한 i) 움직임 정보를 무시하는 동작, ii) 다른 지정된 기능(예: 무선 충전, 차량 시스템의 특정 기능)을 수행하는 동작 및 iii) 움직임 정보의 기준 좌표를 변환하여 제스처를 인식하는 동작 중 적어도 어느 하나의 동작을 수행한다. When the gesture recognition device 200 detects the grip of the steering wheel or gear rod based on the motion information in the second area, i) the above-described operation of ignoring the motion information, ii) other designated functions (eg, wireless charging, vehicle At least one of an operation of performing a specific function of the system) and iii) an operation of recognizing a gesture by converting the reference coordinates of the motion information is performed.

제스처 인식 장치(200)는 제1 영역에서 동일 제스처에 대하여 다른 기능을 수행하는 것이 가능하다. The gesture recognition apparatus 200 may perform different functions with respect to the same gesture in the first area.

예를 들어, 제스처 인식 장치(200)는 웨어러블 장치(100)를 통해 감지된 사용자의 생체 정보에 기반하여 사용자의 감정 상태를 확인하고, 확인된 감정 상태에 따라 동일 제스처에 대하여 다른 기능을 수행한다. For example, the gesture recognition apparatus 200 checks the user's emotional state based on the user's biometric information sensed through the wearable device 100 , and performs different functions with respect to the same gesture according to the confirmed emotional state. .

또한, 제스처 인식 장치(200)는 사용자에 의한 웨어러블 장치(100)의 터치 여부에 따라 동일한 제스처에 대하여 다른 기능을 수행한다. Also, the gesture recognition apparatus 200 performs different functions with respect to the same gesture according to whether the user touches the wearable apparatus 100 .

또한, 제스처 인식 장치(200)는 웨어러블 장치(100)의 위치에 기반하여 제어 대상 장치를 결정하고, 결정된 제어 대상 장치에 따라 동일한 제스처에 대하여 다른 기능을 수행한다. Also, the gesture recognition apparatus 200 determines a control target device based on the location of the wearable device 100 , and performs different functions with respect to the same gesture according to the determined control target device.

제스처 인식 장치(200)는 카메라를 통해, 웨어러블 장치(100)를 착용한 사용자의 시선을 추적하고, 추적된 시선에 기반하여 제어 대상 장치를 결정하고, 결정된 제어 대상 장치에 대하여 인식된 제스처에 대응되는 기능을 실행시킨다. The gesture recognition apparatus 200 tracks the gaze of a user wearing the wearable device 100 through a camera, determines a control target device based on the tracked gaze, and responds to a gesture recognized with respect to the determined control target device Execute the function to be

그런데, 웨어러블 장치(100)를 착용한 사용자가 차량의 운전자일 경우, 운전 시야를 확보하는 과정과 제어 대상 장치를 바라보는 과정이 혼재될 수 있다. However, when a user wearing the wearable device 100 is a driver of a vehicle, a process of securing a driving view and a process of looking at the control target device may be mixed.

본 발명에 따른 제스처 인식 장치(200)는 웨어러블 장치(100)를 통하여 지정된 제스처를 인식한 경우와 같이, 지정된 입력을 확인한 경우에만, 선택적으로 사용자의 시선을 추적하여 제어 대상 장치를 확인한다. The gesture recognition apparatus 200 according to the present invention identifies the control target device by selectively tracking the user's gaze only when a designated input is confirmed, such as when a designated gesture is recognized through the wearable device 100 .

또는, 제스처 인식 장치(200)는 운전 시야와 중첩되지 않는 제어 대상 장치(예: 공조기)를 바라보는 사용자의 시선에 대한 정보를 획득한 경우에만 선택적으로 제어 대상 장치를 결정한다. Alternatively, the gesture recognition apparatus 200 selectively determines the control target device only when information on the gaze of the user looking at the control target device (eg, the air conditioner) that does not overlap with the driving view is obtained.

제스처 인식 장치(200)는 웨어러블 장치(100)를 통해 사용자의 제스처를 인식하고, 통신 회로(예: UWB(ultra-wide band) 통신 기반 측위 기술)를 통해 웨어러블 장치(100)의 위치를 확인한다. The gesture recognition device 200 recognizes a user's gesture through the wearable device 100 and confirms the position of the wearable device 100 through a communication circuit (eg, ultra-wide band (UWB) communication-based positioning technology). .

제스처 인식 장치(200)는 사용자의 위치에 따라 복수의 제어 대상 장치들(예: 차량 제어, 인포테인먼트 장치 및 공조기) 중 일부 제어 대상 장치에 대한 제어권을 부여하거나, 제한한다. The gesture recognition apparatus 200 grants or limits control rights to some control target devices among a plurality of control target devices (eg, vehicle control, infotainment device, and air conditioner) according to the location of the user.

제스처 인식 장치(200)는 차량 내 카메라를 통해 웨어러블 장치(100)를 착용하지 않는 다른 사용자의 제스처를 인식하고, 인식된 제스처에 대응하는 제어 대상 장치의 기능을 실행한다. The gesture recognition device 200 recognizes a gesture of another user who does not wear the wearable device 100 through an in-vehicle camera, and executes a function of the control target device corresponding to the recognized gesture.

제스처 인식 장치(200)는 웨어러블 장치(100)에 부여된 식별 번호에 기반하여 웨어러블 장치(100)의 사용자 정보(예: 연령 정보)를 확인하고, 사용자 정보에 따라 각 제어 대상 장치들의 일부 기능을 제한(예: 재생 콘텐츠에 따른 연령 제한)한다. The gesture recognition device 200 checks user information (eg, age information) of the wearable device 100 based on the identification number assigned to the wearable device 100 , and performs some functions of each control target device according to the user information. Restrictions (eg, age restrictions based on playback content).

제스처 인식 장치(200)는 웨어러블 장치(100)를 통해 제스처를 인식하면, 웨어러블 장치(100)의 위치, 사용자의 위치, 사용자의 시선, 사용자 정보(예: 연령 정보), 제어 대상 장치에 따라 인식된 제스처에 대응하는 기능을 달리 제공하도록 한다. When the gesture recognition device 200 recognizes a gesture through the wearable device 100 , it recognizes the wearable device 100 according to the location of the wearable device 100 , the user's location, the user's gaze, user information (eg, age information), and the control target device. A function corresponding to the displayed gesture should be provided differently.

제스처 인식 장치(200)는 사용자에 의해 착용된 웨어러블 장치(100)가 스티어링 휠, 기어봉, 암레스트와 같이 운전을 위한 동작이 수반되는 경우에는 사용자의 제스처를 인식하지 않음으로써, 운전을 위한 사용자 동작을 제스처로 인식하지 않도록 한다. The gesture recognition apparatus 200 does not recognize the user's gesture when the wearable device 100 worn by the user is accompanied by a driving operation such as a steering wheel, a gear bar, or an armrest, so that the user's motion for driving is performed. is not recognized as a gesture.

도 2는 본 발명에 따른 웨어러블 장치를 도시한다. 2 shows a wearable device according to the present invention.

웨어러블 장치(100)는 모션 센서(110), 터치 센서(120), 생체 감지 센서(130), 통신 회로(140), 전력 수신 회로(150), 배터리(160), 메모리(170) 및 프로세서(180)를 포함한다. The wearable device 100 includes a motion sensor 110 , a touch sensor 120 , a biometric sensor 130 , a communication circuit 140 , a power receiving circuit 150 , a battery 160 , a memory 170 , and a processor ( 180).

모션 센서(110)는 자자기 센서, 자이로 센서, 가속도 센서 및 3축 관성 센서 중 적어도 어느 하나의 센서를 포함하고, 사용자의 움직임을 감지한다. The motion sensor 110 includes at least one of a magnetic magnetic sensor, a gyro sensor, an acceleration sensor, and a three-axis inertial sensor, and detects a user's movement.

터치 센서(120)는 웨어러블 장치(100)에 대한 사용자의 터치를 감지한다. The touch sensor 120 detects a user's touch with respect to the wearable device 100 .

생체 감지 센서(130)는 맥박 등 사용자의 생체 신호를 감지한다. The biometric sensor 130 detects a user's biosignal, such as a pulse.

통신 회로(140)는 웨어러블 장치(100)와 다른 장치간의 유/무선 통신 채널 수립, 통신 채널을 통한 통신 수행을 지원한다. The communication circuit 140 supports establishment of a wired/wireless communication channel between the wearable device 100 and another device and performing communication through the communication channel.

통신 채널은 예를 들어, UWB, BT, WiFi, Wibro, 3G 또는 4G과 같은 통신 방식의 채널이다. The communication channel is, for example, a channel of a communication method such as UWB, BT, WiFi, Wibro, 3G, or 4G.

전력 수신 회로(150)는 외부 전자 장치로부터 전력을 수신하여 배터리(160)를 충전한다. The power receiving circuit 150 receives power from an external electronic device to charge the battery 160 .

메모리(170)는 사용자 동작 인식 프로그램을 저장하고, 프로세서(180)는 사용자 동작 인식 프로그램을 실행함에 따라 데이터 처리를 수행한다. The memory 170 stores a user gesture recognition program, and the processor 180 performs data processing as the user gesture recognition program is executed.

프로세서(180)는 통신 회로(140)를 통해 제스처 인식 장치(200)와 통신 채널을 형성하고, 형성된 통신 채널을 통해 제스처 인식 장치(200)와 데이터를 송수신한다. The processor 180 establishes a communication channel with the gesture recognition apparatus 200 through the communication circuit 140 , and transmits/receives data to and from the gesture recognition apparatus 200 through the formed communication channel.

프로세서(180)는 형성된 통신 채널을 통해 제스처 인식 장치(200)로 웨어러블 장치(100)의 움직임 정보, 터치 관련 정보 및 생체 정보를 송신하고, 무선 전력을 수신한다. The processor 180 transmits motion information, touch-related information, and biometric information of the wearable device 100 to the gesture recognition device 200 through the formed communication channel, and receives wireless power.

프로세서(180)는 모션 센서(110)를 통해 웨어러블 장치(100)의 움직임을 감지하여 움직임 정보를 생성하고, 움직임 정보를 통신 회로(140)를 통해 제스처 인식 장치(200)로 송신한다. The processor 180 generates motion information by detecting the motion of the wearable device 100 through the motion sensor 110 , and transmits the motion information to the gesture recognition device 200 through the communication circuit 140 .

웨어러블 장치(100)는 사용자의 특정 신체 부위(예: 손가락)에 착용되므로, 움직임 정보는 특정 신체 부위의 움직임과 관련된다. Since the wearable device 100 is worn on a specific body part (eg, a finger) of the user, the motion information is related to the motion of the specific body part.

당업자의 이해를 돕기 위하여, 웨어러블 장치(100)가 사용자의 손가락에 끼워지는 링 형상의 장치이고, 움직임 정보는 손가락의 움직임과 관련된 경우를 예로 들어 설명한다. For better understanding of those skilled in the art, a case in which the wearable device 100 is a ring-shaped device fitted to a user's finger and the motion information relates to the motion of the finger will be described as an example.

프로세서(180)는 터치 센서(120)를 통해 사용자의 웨어러블 장치(100)에 대한 터치를 감지하여 터치 관련 정보를 생성하고, 터치 관련 정보를 통신 회로(140)를 통해 제스처 인식 장치(200)로 송신한다. The processor 180 generates touch-related information by detecting a user's touch on the wearable device 100 through the touch sensor 120 , and transmits the touch-related information to the gesture recognition device 200 through the communication circuit 140 . send

프로세서(180)는 생체 감지 센서(130)를 통해 사용자의 생체 신호(예: 맥박)를 감지하여 생체 정보를 생성하고, 생체 정보를 통신 회로(140)를 통해 제스처 인식 장치(200)로 송신한다. The processor 180 detects a user's biosignal (eg, pulse) through the biometric sensor 130 to generate biometric information, and transmits the biometric information to the gesture recognition device 200 through the communication circuit 140 . .

프로세서(180)는 전력 수신 회로(150)를 통해 제스처 인식 장치(200)로부터 무선으로 전력을 수신하고, 수신된 전력을 이용하여 배터리(160)를 충전한다. The processor 180 wirelessly receives power from the gesture recognition device 200 through the power receiving circuit 150 , and charges the battery 160 using the received power.

웨어러블 장치(100)는 사용자의 손가락의 움직임 정보를 생성하여 제스처 인식 장치(200)로 송신함에 따라 제스처 기반의 사용자 인터페이스를 지원한다. The wearable device 100 generates motion information of a user's finger and transmits it to the gesture recognition apparatus 200 to support a gesture-based user interface.

도 3은 본 발명에 따른 제스처 인식 장치를 도시한다. 3 shows a gesture recognition device according to the present invention.

제스처 인식 장치(200)는 제1 통신 회로(210), 제2 통신 회로(220), 카메라(230), 디스플레이(250), 전력 송신 회로(240), 메모리(260) 및 프로세서(270)를 포함한다. The gesture recognition apparatus 200 includes a first communication circuit 210 , a second communication circuit 220 , a camera 230 , a display 250 , a power transmission circuit 240 , a memory 260 , and a processor 270 . include

제스처 인식 장치(200)는 차량 시스템의 제어 모듈에 포함된다. The gesture recognition apparatus 200 is included in the control module of the vehicle system.

제1 통신 회로(210)는 제스처 인식 장치(200)와 다른 장치 간의 유/무선 통신 채널을 수립하고, 통신 채널을 통한 통신 수행을 지원한다. The first communication circuit 210 establishes a wired/wireless communication channel between the gesture recognition apparatus 200 and another device, and supports communication through the communication channel.

통신 채널은 예를 들어, UWB, BT, WiFi, Wibro, 3G 또는 4G과 같은 통신 방식의 채널이다. The communication channel is, for example, a channel of a communication method such as UWB, BT, WiFi, Wibro, 3G, or 4G.

제1 통신 회로(210)는 복수의 차량 영역들에 각 장착된 복수의 통신 회로들을 포함한다. The first communication circuit 210 includes a plurality of communication circuits each mounted in a plurality of vehicle areas.

제2 통신 회로(220)는 제스처 인식 장치(200)와 차량 시스템(예: 차제 제어 모듈, 공조기, 인포테인먼트 장치) 간의 통신 채널을 수립하고, 수립된 통신 채널을 통한 통신 수행을 지원한다. The second communication circuit 220 establishes a communication channel between the gesture recognition device 200 and a vehicle system (eg, a vehicle control module, an air conditioner, an infotainment device), and supports communication through the established communication channel.

통신 채널은 예를 들어, CAN(controller area network) 및 MOST(media oriented system transport)와 같은 통신 방식의 채널이다. The communication channel is, for example, a channel of a communication method such as a controller area network (CAN) and a media oriented system transport (MOST).

카메라(230)는 운전자의 시선을 촬영하며, 운전자 외 동승자의 제스처를 촬영한다. The camera 230 captures the driver's gaze and captures gestures of passengers other than the driver.

디스플레이(250)는 프로세서(270)의 제어에 따라 컨텐츠(예: 아이콘, 텍스트, 영상)를 출력하며, HUD(head up display), 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 또는 유기 발광 다이오드(OLED) 디스플레이를 포함한다. The display 250 outputs content (eg, icons, text, and images) according to the control of the processor 270 , and includes a head up display (HUD), a liquid crystal display (LCD), a light emitting diode (LED) display, or an organic light emitting diode (OLED) display. It includes a diode (OLED) display.

메모리(260)는 제스처 인식 프로그램을 저장하고, 프로세서(270)은 제스처 인식 프로그램을 실행한다. The memory 260 stores a gesture recognition program, and the processor 270 executes the gesture recognition program.

프로세서(270)는 제1 통신 회로(210)를 통해 웨어러블 장치(100)와 통신 채널을 형성하고, 형성된 통신 채널을 통해 웨어러블 장치(100)와 데이터를 송수신한다. The processor 270 establishes a communication channel with the wearable device 100 through the first communication circuit 210 , and transmits/receives data to and from the wearable device 100 through the formed communication channel.

프로세서(270)는 웨어러블 장치(100)로부터 제1 통신 회로(210)를 통해 움직임 정보, 터치 관련 정보 및 생체 정보를 수신한다. The processor 270 receives motion information, touch-related information, and biometric information from the wearable device 100 through the first communication circuit 210 .

프로세서(270)는 웨어러블 장치(100)로부터 움직임 정보를 수신하면, 움직임 정보에 기반하여 웨어러블 장치(100)의 사용자의 제스처를 인식한다. When the processor 270 receives motion information from the wearable device 100 , the processor 270 recognizes a gesture of the user of the wearable device 100 based on the motion information.

프로세서(270)는 사용자의 제스처를 인식하면, 제2 통신 회로(220)를 통해 차량 시스템 내 적어도 하나의 제어 대상 장치에 인식된 제스처에 대응하는 기능 실행을 요청한다. When the processor 270 recognizes the user's gesture, the processor 270 requests at least one control target device in the vehicle system to execute a function corresponding to the recognized gesture through the second communication circuit 220 .

프로세서(270)는 카메라(230)에 의한 촬영 영상에 기반하여 차량 탑승자의 제스처를 인식한다. The processor 270 recognizes a gesture of a vehicle occupant based on an image captured by the camera 230 .

프로세서(270)는 웨어러블 장치(100)가 위치한 영역에 따라 움직임 정보에 기반하여 제스처에 대한 인식, 미인식 또는 변환 인식을 결정한다. The processor 270 determines recognition, non-recognition, or conversion recognition of a gesture based on motion information according to an area in which the wearable device 100 is located.

프로세서(270)는 웨어러블 장치(100)가 제1 영역(예: 활성 영역)에 위치한 것을 확인하면, 움직임 정보에 기반하여 인식된 제스처에 대응하는 기능을 실행하도록 명령을 전송한다. When it is confirmed that the wearable device 100 is located in the first area (eg, an active area), the processor 270 transmits a command to execute a function corresponding to the recognized gesture based on the motion information.

프로세서(270)는 웨어러블 장치(100)가 제2 영역(예: 비활성 영역 또는 준활성 영역)에 위치한 것을 확인하면, i) 움직임 정보를 무시하는 동작, ii) 다른 지정된 기능(예: 무선 충전, 차량 시스템의 특정 기능)을 수행하는 동작 및 iii) 움직임 정보의 좌표를 변환하여 제스처를 인식하는 동작 중 적어도 어느 하나의 동작을 수행하도록 명령을 전송한다. When the processor 270 determines that the wearable device 100 is located in the second area (eg, an inactive area or a semi-active area), i) an operation to ignore motion information, ii) another designated function (eg, wireless charging, A command is transmitted to perform at least one of an operation of performing a specific function of the vehicle system) and iii) an operation of recognizing a gesture by converting coordinates of motion information.

전술한 바와 같이, 제2 영역은 스티어링 휠(steering wheel), 기어(gear) 봉 및 암레스트(armrest)를 기준으로 기설정된 영역이 된다. As described above, the second area is a predetermined area based on a steering wheel, a gear rod, and an armrest.

프로세서(270)는 웨어러블 장치(100)가 스티어링 휠 또는 기어 봉에 근접하는 것을 확인하면, 움직임 정보에 기반하여 사용자가 스티어링 휠 또는 기어 봉의 파지하는지를 확인하고, 전술한 i) 내지 iii) 중 적어도 어느 하나의 동작을 수행하도록 명령을 전송한다. When it is confirmed that the wearable device 100 approaches the steering wheel or the gear rod, the processor 270 determines whether the user grips the steering wheel or the gear rod based on the motion information, and at least any one of i) to iii) described above. Sends a command to perform an action.

프로세서(270)는 전력 송신 회로(240)를 통해 웨어러블 장치(100)를 무선 충전한다. The processor 270 wirelessly charges the wearable device 100 through the power transmission circuit 240 .

전력 송신 회로(240)는 스티어링 휠, 기어 봉 중 적어도 어느 하나의 영역에 배치된다. The power transmission circuit 240 is disposed in at least one area of a steering wheel and a gear rod.

프로세서(270)는 웨어러블 장치(100)의 위치에 따라, 전력 송신 회로(240)로부터 웨어러블 장치(100)의 전력 수신 회로(150)로 전력을 무선 송신하도록 제어하여, 웨어러블 장치(100)의 배터리(160)를 충전시킨다. The processor 270 controls to wirelessly transmit power from the power transmission circuit 240 to the power reception circuit 150 of the wearable device 100 according to the location of the wearable device 100 , and the battery of the wearable device 100 . (160) is charged.

프로세서(270)는 웨어러블 장치(100)를 통해 인식된 동일 제스처에 대하여 다른 기능을 수행한다. The processor 270 performs different functions with respect to the same gesture recognized through the wearable device 100 .

프로세서(270)는 웨어러블 장치(100)를 통해 감지된 사용자의 생체 정보에 기반하여 사용자의 감정 상태를 확인하고, 확인된 감정 상태에 따라 동일 제스처에 대하여 다른 기능을 수행한다. The processor 270 checks the user's emotional state based on the user's biometric information detected through the wearable device 100 , and performs different functions with respect to the same gesture according to the confirmed emotional state.

프로세서(270)는 사용자에 의한 웨어러블 장치(100)의 터치 여부에 따라 동일한 제스처에 대하여 다른 기능을 수행한다. The processor 270 performs different functions with respect to the same gesture according to whether the user touches the wearable device 100 .

프로세서(270)는 웨어러블 장치(100)의 위치에 기반하여 차량 시스템 중 제어 대상 장치를 확인하고, 확인된 제어 대상 장치에 따라 동일한 제스처에 대하여 다른 기능을 수행한다. The processor 270 identifies a control target device in the vehicle system based on the location of the wearable device 100 , and performs different functions with respect to the same gesture according to the identified control target device.

프로세서(270)는 카메라(230)를 통해 사용자의 시선을 추적하고, 추적된 시선에 기반하여 차량 시스템의 제어 대상 장치를 결정한다. The processor 270 tracks the user's gaze through the camera 230 and determines a control target device of the vehicle system based on the tracked gaze.

프로세서(270)는 결정된 제어 대상 장치에 대하여 인식된 제스처에 대응하는 기능을 수행하도록 제어한다. The processor 270 controls the determined control target device to perform a function corresponding to the recognized gesture.

사용자가 차량의 운전자일 경우에는 운전 시야를 확보하는 과정과 제어 대상 장치를 선택하는 과정이 혼재될 수 있다. When the user is a driver of a vehicle, a process of securing a driving view and a process of selecting a control target device may be mixed.

프로세서(270)는 웨어러블 장치(100)를 통하여 지정된 제스처를 인식한 경우와 같이 지정된 입력을 확인한 경우에만, 선택적으로 사용자의 시선에 기반하여 제어 대상 장치를 확인한다. The processor 270 selectively identifies the control target device based on the user's gaze only when the designated input is confirmed, such as when the designated gesture is recognized through the wearable device 100 .

또는, 프로세서(270)는 운전 시야와 중첩되지 않는 제어 대상 장치(예: 공조기)를 바라보는 사용자의 시선을 확인한 경우에만, 선택적으로 사용자의 시선에 기반하여 제어 대상 장치를 결정한다. Alternatively, the processor 270 selectively determines the control target device based on the user's gaze only when the user's gaze looking at the control target device (eg, the air conditioner) that does not overlap the driving view is checked.

프로세서(270)는 웨어러블 장치(100)에 기반하여 사용자의 제스처를 인식하면, 제1 통신 회로(210) 또는 카메라(230)를 통해 사용자의 위치를 확인한다. When the processor 270 recognizes the user's gesture based on the wearable device 100 , the processor 270 checks the user's location through the first communication circuit 210 or the camera 230 .

프로세서(270)는 제1 통신 회로(210)을 통해 웨어러블 장치(100)의 위치를 측위하거나, 카메라(230)를 통해 촬영된 영상 분석을 통해 웨어러블 장치(100) 또는 사용자의 위치를 확인할 수 있다. The processor 270 may determine the position of the wearable device 100 through the first communication circuit 210 or determine the position of the wearable device 100 or the user through analysis of an image captured by the camera 230 . .

프로세서(270)는 웨어러블 장치(100) 또는 사용자의 위치를 확인하면, 확인된 위치에 따라 복수의 제어 대상 장치들(예: 차량 제어, 인포테인먼트 장치 및 공조기) 중 일부 제어 대상 장치에 대한 제어권을 부여하거나 제한한다. When the processor 270 confirms the location of the wearable device 100 or the user, the processor 270 grants control rights to some control target devices among a plurality of control target devices (eg, vehicle control, infotainment device, and air conditioner) according to the confirmed location or limit

프로세서(270)는 웨어러블 장치(100)를 착용하지 않는 동승자에 대하여 카메라(230)를 통해 제스처를 인식하고, 인식된 제스처에 대응하는 제어 대상 장치의 기능을 실행하도록 제어한다. The processor 270 recognizes a gesture through the camera 230 for a passenger who does not wear the wearable device 100 , and controls to execute a function of the control target device corresponding to the recognized gesture.

프로세서(270)는 웨어러블 장치(100)에 부여된 식별 번호에 기반하여 웨어러블 장치(100)의 사용자 정보(예: 연령 정보)를 확인하고, 사용자 정보에 따라 각 제어 대상 장치들의 일부 기능을 제한(예: 재생 콘텐츠에 따른 연령 제한)한다. The processor 270 checks user information (eg, age information) of the wearable device 100 based on the identification number assigned to the wearable device 100, and limits some functions of each control target device according to the user information ( Example: age restrictions according to the content being played).

제스처 인식 장치(200)는 웨어러블 장치(100)를 통해 제스처를 인식하면, 웨어러블 장치(100)의 위치, 사용자의 위치, 사용자의 시선, 사용자 정보(예: 연령 정보) 또는 제어 대상 장치에 따라 인식된 제스처에 대응하는 기능을 달리 제공한다. When the gesture recognition device 200 recognizes a gesture through the wearable device 100 , it recognizes the wearable device 100 according to the location of the wearable device 100 , the user's location, the user's gaze, user information (eg, age information), or the control target device. A function corresponding to the gesture is provided differently.

제스처 인식 장치(200)는 사용자에 의해 착용된 웨어러블 장치(100)가 스티어링 휠, 기어봉, 암레스트와 같이 운전을 위한 동작이 수반되는 경우에는 제스처를 인식하지 않음으로써, 운전을 수행하기 위한 동작을 기능 실행을 위한 제스처 입력으로 오인식하지 않도록 한다. The gesture recognition device 200 does not recognize a gesture when the wearable device 100 worn by the user is accompanied by an operation for driving such as a steering wheel, a gear bar, and an armrest, thereby performing an operation for driving. Avoid misrecognition as gesture input for function execution.

도 4는 본 발명에 따른 제스처 인식/미인식 영역의 예를 도시한다. 4 shows an example of a gesture recognition/non-recognition area according to the present invention.

제스처 인식 장치(200)는 웨어러블 장치(100)의 위치가 제1 영역(예: 활성 영역)인지 또는 제2 영역(예: 비활성 영역 또는 준활성 영역)인지 여부를 확인하고, 인식된 웨어러블 장치(100)가 위치한 영역(제1 영역 또는 제2 영역)에 따라 움직임 정보에 기반하여 제스처를 인식하거나 또는 인식하지 않는다. The gesture recognition apparatus 200 determines whether the position of the wearable device 100 is a first area (eg, an active area) or a second area (eg, an inactive area or a semi-active area), and the recognized wearable device ( Depending on the region (the first region or the second region) in which 100) is located, a gesture may or may not be recognized based on motion information.

제2 영역은 스티어링 휠(steering wheel), 기어(gear) 봉 및 암레스트(armrest) 영역을 포함하며, 제1 영역은 제2 영역 이외의 영역으로 정의된다. The second region includes a steering wheel, a gear rod, and an armrest region, and the first region is defined as a region other than the second region.

제스처 인식 장치(200)는 제1 통신 회로(210)를 통해 웨어러블 장치(100)와 통신 채널을 형성하면, 주기적으로 또는 웨어러블 장치(100)로부터 데이터를 수신함에 따라 웨어러블 장치(100)의 위치를 식별한다. When the gesture recognition device 200 forms a communication channel with the wearable device 100 through the first communication circuit 210 , periodically or as data is received from the wearable device 100 , the position of the wearable device 100 is determined. identify

제스처 인식 장치(200)는 서로 이격되어 복수의 차량 영역에 각기 구비된 복수의 통신 회로들을 통해, 웨어러블 장치(100)와의 거리를 식별함에 따라 웨어러블 장치(100)의 위치를 식별한다. The gesture recognition apparatus 200 identifies a location of the wearable apparatus 100 by identifying a distance from the wearable apparatus 100 through a plurality of communication circuits that are spaced apart from each other and respectively provided in a plurality of vehicle areas.

복수의 차량 영역은 예를 들면, 차량의 내부 모서리, 스티어링휠, 기어 봉 및 암레스트 영역을 포함한다. The plurality of vehicle areas includes, for example, an interior edge of the vehicle, a steering wheel, a gear rod and an armrest area.

제스처 인식 장치(200)는 웨어러블 장치(100)가 제1 영역에 있는 것을 확인하면, 웨어러블 장치(100)로부터 수신된 움직임 정보에 기반하여 사용자의 제스처를 인식한다. When the gesture recognition apparatus 200 confirms that the wearable apparatus 100 is in the first area, the gesture recognition apparatus 200 recognizes a user's gesture based on motion information received from the wearable apparatus 100 .

제스처 인식 장치(200)는 제스처를 인식하면, 인식된 제스처에 대응하는 기능을 결정하고, 결정된 기능을 직접 수행하거나, 차량 시스템 내 제어 대상 장치에 결정된 기능 수행을 요청한다. When the gesture recognition apparatus 200 recognizes the gesture, it determines a function corresponding to the recognized gesture, directly performs the determined function, or requests the control target device in the vehicle system to perform the determined function.

제스처 인식 장치(200)는 웨어러블 장치(100)가 제2 영역에 있는 것을 확인하면, 웨어러블 장치(100)로부터 수신된 움직임 정보를 무시하여 움직임 정보에 기반한 제스처 인식을 수행하지 않는다. When the gesture recognition apparatus 200 determines that the wearable apparatus 100 is in the second area, the gesture recognition apparatus 200 ignores the movement information received from the wearable apparatus 100 and does not perform gesture recognition based on the movement information.

도 5는 본 발명에 따른 제2 영역에서의 제스처 인식을 도시한다. 5 shows gesture recognition in the second area according to the present invention.

도 5를 참조하면, 제스처 인식 장치(200)는 웨어러블 장치(100)가 제2 영역에 해당하는 스티어링 휠 영역에 있는 것을 확인하면, 웨어러블 장치(100)로부터 움직임 정보를 수신하고 움직임 정보에 기반하여 지정된 제스처만을 선택적으로 인식한다. Referring to FIG. 5 , when the gesture recognition apparatus 200 confirms that the wearable device 100 is in the steering wheel area corresponding to the second area, it receives motion information from the wearable device 100 and based on the motion information Only designated gestures are selectively recognized.

제스처 인식 장치(200)는 웨어러블 장치(100)로부터 수신된 움직임 정보 및 터치 관련 정보 중 적어도 하나의 정보에 기반하여 웨어러블 장치(100)가 착용된 사용자의 손가락(예: 검지 손가락)이 스티어링 휠을 파지 또는 터치한 것을 감지한다. The gesture recognition apparatus 200 allows the user's finger (eg, index finger) wearing the wearable device 100 to move the steering wheel based on at least one of motion information and touch-related information received from the wearable device 100 . Detects gripped or touched.

제스처 인식 장치(200)는 사용자의 손가락이 스티어링 휠을 파지 또는 터치한 것을 감지한 후 지정된 제스처를 감지하면, 지정된 제스처에 대응하는 지정된 기능을 수행하도록 제어한다. When the gesture recognition apparatus 200 detects that a user's finger grips or touches the steering wheel and then detects a designated gesture, the gesture recognition apparatus 200 controls to perform a designated function corresponding to the designated gesture.

제스처 인식 장치(200)는 지정된 시간 내에 스티어링 휠을 파지 또는 터치하는 웨어러블 장치(100)로부터의 움직임 정보에 기반하여 사용자의 손가락이 펼쳐 져서 좌우 방향으로 흔들린 후 다시 접히는 지정된 제스처를 인식하고, 이에 따라 차량의 와이퍼를 동작시킨다. The gesture recognition device 200 recognizes a designated gesture in which the user's finger is spread out and shaken in the left and right directions and then folded again based on motion information from the wearable device 100 that grips or touches the steering wheel within a specified time, and accordingly Operate the vehicle's wipers.

도 6은 본 발명에 따른 제2 영역에서 다른 기능을 수행하는 예를 도시한다. 6 shows an example of performing another function in the second area according to the present invention.

도 6을 참조하면, 제스처 인식 장치(200)는 웨어러블 장치(100)가 제2 영역(스티어링 휠, 기어 봉 또는 암레스트 영역)에 위치하는 것을 확인하면, 전력을 웨어러블 장치(100)로 송싱하여 웨어러블 장치(100)에 대한 충전을 수행한다. Referring to FIG. 6 , the gesture recognition device 200 transmits power to the wearable device 100 when it is confirmed that the wearable device 100 is positioned in the second area (steering wheel, gear rod, or armrest area). Charging of the wearable device 100 is performed.

도 7은 본 발명에 따른 생체 정보 및 움직임 정보 기반의 차량 제어를 도시한다. 7 illustrates vehicle control based on biometric information and motion information according to the present invention.

제스처 인식 장치(200)는 웨어러블 장치(100)로부터 생체 정보를 수신하고, 생체 정보에 기반하여 사용자의 감정 상태를 확인한다. The gesture recognition apparatus 200 receives biometric information from the wearable device 100 and checks the user's emotional state based on the biometric information.

제스처 인식 장치(200)는 생체 정보로서 맥박 정보를 수신하고 맥박 정보에 기반하여 사용자의 감정이 화남/흥분 상태 및 정상 상태 중 어느 상태에 해당하는지를 확인한다. The gesture recognition apparatus 200 receives the pulse information as biometric information, and determines whether the user's emotion corresponds to an angry/excited state and a normal state based on the pulse information.

제스처 인식 장치(200)는 맥박이 임계치 보다 빨라 지면 화남/흥분 상태인 것으로 결정하고, 맥박이 임계치 이하이면, 정상 상태인 것으로 결정한다. When the pulse rate is faster than the threshold value, the gesture recognition apparatus 200 determines that the user is in an angry/excited state, and when the pulse rate is below the threshold value, determines that the user is in a normal state.

제스처 인식 장치(200)는 확인된 감정 상태에 따라 동일 제스처에 대하여 다른 기능을 수행하도록 제어한다. The gesture recognition apparatus 200 controls to perform different functions with respect to the same gesture according to the confirmed emotional state.

제1 제스처는 제1 감정 상태(예: 화남/흥분 상태)에 관련된 제1 기능(예: 제스처 기반 차량 운행 관련 제어 제한 및 인포테인먼트 기능 허용) 및 제2 감정 상태(예: 정상 상태)에 관련된 제2 기능(예: 차량 운행 관련 제어 허용)과 맵핑된다. The first gesture includes a first function related to a first emotional state (eg, angry/excited state) (eg, limiting gesture-based vehicle driving-related control and allowing infotainment functions) and a second emotional state (eg, normal state) related to the first gesture. It is mapped with 2 functions (eg allowing control related to vehicle operation).

제스처 인식 장치(200)는 움직임 정보에 기반하여 다음 노래 재생 기능 및 차량 운행 관련 제어 기능에 맵핑된 제1 제스처를 인식하면, 생체 정보에 기반하여 사용자의 감정 상태가 화남/흥분 상태인지 아니면, 정상 상태인지를 확인한다. When the gesture recognition device 200 recognizes the first gesture mapped to the next song play function and the vehicle driving-related control function based on the motion information, the user's emotional state is normal based on the biometric information, Check if the status is

제스처 인식 장치(200)는 제1 제스처를 인식할 때에 사용자의 감정 상태가 화남/흥분 상태인 것으로 확인하면, 제1 제스처에 대응하는 차량 운행 관련 제어를 제한한다. When the gesture recognition apparatus 200 determines that the user's emotional state is an angry/excited state when recognizing the first gesture, the gesture recognition apparatus 200 limits vehicle driving-related control corresponding to the first gesture.

제스처 인식 장치(200)는 사용자의 감정 상태가 정상 상태인 것으로 확인하면, 제1 제스처에 대응하는 차량 운행 관련 제어를 수행한다. When it is confirmed that the user's emotional state is in a normal state, the gesture recognition apparatus 200 performs vehicle driving-related control corresponding to the first gesture.

제스처 인식 장치(200)는 다음 노래 재생 기능과 맵핑된 제1 제스처에 응답하여 사용자의 감정 상태가 화남/흥분 상태인지 아니면, 정상 상태인지를 확인할 수 있다. The gesture recognition apparatus 200 may determine whether the user's emotional state is an angry/excited state or a normal state in response to the first gesture mapped to the next song play function.

제스처 인식 장치(200)는 제1 제스처를 인식할 때에 사용자의 감정 상태가 화남/흥분 상태인 것으로 확인하면, 설정에 따라 다음 노래로서 기분 전환용 음악을 재생하거나, 현재 재생되고 있는 노래의 다음 노래를 재생한다. If the gesture recognition apparatus 200 determines that the user's emotional state is an angry/excited state when recognizing the first gesture, it plays music for relaxation as the next song or the next song of the currently played song according to the setting. play

제스처 인식 장치(200)는 모드 램프 점등 기능에 맵핑된 제1 제스처에 응답하여, 사용자의 감정 상태에 따라 차량 무드 램프의 색상을 변화시킨다. The gesture recognition apparatus 200 changes the color of the vehicle mood lamp according to the user's emotional state in response to the first gesture mapped to the mode lamp lighting function.

제스처 인식 장치(200)는 카메라(230)를 통해 사용자의 얼굴을 촬영하고 촬영 영상에서 사용자의 표정을 분석함에 따라 사용자의 감정 상태를 확인한다. The gesture recognition apparatus 200 captures the user's face through the camera 230 and checks the user's emotional state by analyzing the user's expression in the captured image.

제스처 인식 장치(200)는 확인된 감정 상태에 기반하여 차량 시스템 내 제어 대상 장치를 제어한다. The gesture recognition device 200 controls the control target device in the vehicle system based on the confirmed emotional state.

제스처 인식 장치(200)는 음악 재생 중에 촬영 영상에서 사용자의 기분 좋은 표정, 얼굴 움직임 또는 손동작 중 적어도 하나를 확인하면, 사용자의 감정 상태가 기분 좋은 상태인 것으로 결정한다.The gesture recognition apparatus 200 determines that the user's emotional state is a pleasant state when confirming at least one of a user's pleasant expression, facial movement, or hand gesture in a captured image while playing music.

제스처 인식 장치(200)는 음악 재생 중 사용자의 감정 상태가 기분 좋은 상태인 것으로 결정하면, 차량 무드 조명을 이용한 이퀄라이징 효과를 제공한다. When the gesture recognition apparatus 200 determines that the user's emotional state is a pleasant state while playing music, the gesture recognition apparatus 200 provides an equalizing effect using vehicle mood lighting.

도 8은 본 발명에 따른 제스처 및 시선 추적 기반의 차량 제어를 도시한다. 8 shows a vehicle control based on gesture and eye tracking according to the present invention.

제스처 인식 장치(200)는 카메라(230)를 통해 제스처 인식의 대상에 해당하는 사용자의 시선을 추적하고, 추적된 시선에 기반하여 차량 시스템의 제어 대상 장치를 결정한다. The gesture recognition apparatus 200 tracks the user's gaze corresponding to the target of gesture recognition through the camera 230 , and determines a control target device of the vehicle system based on the tracked gaze.

제스처 인식 장치(200)는 카메라(230)를 통해 공조기를 바라보는 사용자의 시선 및 웨어러블 장치(100)를 통해 제2 제스처를 인식한다. The gesture recognition apparatus 200 recognizes the user's gaze looking at the air conditioner through the camera 230 and the second gesture through the wearable apparatus 100 .

제스처 인식 장치(200)는 복수의 기능들(공조기 특정 기능 제어 및 다른 장치 제어)에 맵핑된 제2 제스처의 제어 대상 장치가 공조기인 것으로 결정한다. The gesture recognition apparatus 200 determines that the control target device of the second gesture mapped to a plurality of functions (air conditioner specific function control and other device control) is the air conditioner.

제2 제스처의 제어 대상 장치가 공조기인 것으로 결정하면, 제스처 인식 장치(200)는 공조기에 대하여 제2 제스처에 대응하는 기능(예: 온/오프)을 수행한다. When it is determined that the device to be controlled by the second gesture is the air conditioner, the gesture recognition apparatus 200 performs a function (eg, on/off) corresponding to the second gesture with respect to the air conditioner.

도 9는 본 발명에 따른 터치 관련 정보 및 움직임 정보 기반의 차량 제어를 도시한다. 9 illustrates vehicle control based on touch-related information and motion information according to the present invention.

제스처 인식 장치(200)는 사용자에 의한 웨어러블 장치(100)의 터치 여부에 따라 동일한 제스처에 대하여 다른 기능을 수행한다. The gesture recognition apparatus 200 performs different functions with respect to the same gesture according to whether the wearable apparatus 100 is touched by the user.

제스처 인식 장치(200)는 웨어러블 장치(100)로부터의 움직임 정보로부터 제3 제스처를 인식하고, 웨어러블 장치(100)로부터의 터치 관련 정보로부터 사용자의 손가락이 웨어러블 장치(100)에 터치되었는지 여부를 확인한다. The gesture recognition apparatus 200 recognizes a third gesture from motion information from the wearable device 100 , and checks whether a user's finger has touched the wearable device 100 from touch-related information from the wearable device 100 . do.

제스처 인식 장치(200)는 사용자의 손가락이 웨어러블 장치(100)에 터치되지 않은 상태에서 제3 제스처(예: 제1 방향의 드래그 제스처)를 인식하면, 제3 제스처에 맵핑된 복수의 기능들 중 제1 기능 예컨대, 디스플레이(250)에 표시된 컨텐츠의 위치 이동 기능(915)을 수행한다. When the gesture recognition apparatus 200 recognizes a third gesture (eg, a drag gesture in the first direction) while the user's finger does not touch the wearable apparatus 100 , among a plurality of functions mapped to the third gesture A first function, for example, a function 915 of moving the content displayed on the display 250 is performed.

제스처 인식 장치(200)는 사용자의 손가락이 웨어러블 장치(100)에 터치된 상태에서 제3 제스처(예: 제1 방향의 드래그 제스처)를 인식하면, 제3 제스처에 맵핑된 복수의 기능들 중 제2 기능 예컨대, 디스플레이(250)에 표시된 쓰레기통 활성화 기능(925) 또는 아이콘 삭제 기능을 수행한다. When the gesture recognition apparatus 200 recognizes a third gesture (eg, a drag gesture in the first direction) while the user's finger is touching the wearable apparatus 100 , the gesture recognition apparatus 200 may recognize a third gesture among a plurality of functions mapped to the third gesture. 2 functions, for example, a function of activating the trash can 925 displayed on the display 250 or a function of deleting an icon.

도 10 및 도 11은 본 발명에 따른 사용자 위치 별 제어 대상 장치를 도시한다. 10 and 11 show a control target device for each user location according to the present invention.

제스처 인식 장치(200)는 웨어러블 장치(100)의 착용 여부 및 차량 탑승자의 위치에 따라 제스처 기반의 차량 시스템 제어를 수행한다. The gesture recognition apparatus 200 performs gesture-based vehicle system control according to whether the wearable apparatus 100 is worn or not and the location of a vehicle occupant.

제스처 인식 장치(200)는 웨어러블 장치(100)를 착용한 운전석 탑승자에 대해서는 제스처 기반의 모든 차량 시스템에 대한 제어권을 부여한다. The gesture recognition apparatus 200 grants control over all gesture-based vehicle systems to a driver's seat occupant wearing the wearable device 100 .

예를 들어, 차량 운행 관련 제어권(예: ASCC- 차간 간격, 드라이브 모드, ADAS 설정 가능), 전체 좌석의 인포테인먼트 관련 제어권(예: 볼륨) 및 전체 좌석의 공조기 제어권을 부여한다. For example, it grants vehicle operation-related control rights (eg, ASCC-interval distance, drive mode, ADAS setting possible), infotainment-related control rights for all seats (eg volume), and air conditioner control rights for all seats.

제스처 인식 장치(200)는 웨어러블 장치(100)는 착용한 보조석 탑승자에 대하여 전석 인포테인먼트 장치 관련 제어권(예: 볼륨) 및 전석(front seat) 공조기 제어권을 부여한다. The gesture recognition device 200 grants a front seat infotainment device-related control right (eg, volume) and a front seat air conditioner control right to a passenger in a passenger seat wearing the wearable device 100 .

제스처 인식 장치(200)는 웨어러블 장치(100)는 착용한 후석 탑승자에 대하여 후석 인포테인먼트 관련 제어권(예: 볼륨) 및 후석 공조기 제어권을 제공한다. The gesture recognition device 200 provides a rear seat infotainment-related control right (eg, volume) and a rear seat air conditioner control right to a rear seat passenger wearing the wearable device 100 .

제스처 인식 장치(200)는 웨어러블 장치(100)를 미착용한 탑승자에 대해서는 해당 탑승자가 전석인지 후석인지 따라서 전석 또는 후석 인포테인먼트 관련 제어권(예: 볼륨)을 제공한다. The gesture recognition apparatus 200 provides a front seat or rear seat infotainment-related control right (eg, volume) to a passenger who does not wear the wearable device 100 according to whether the passenger is a front seat or a rear seat passenger.

제스처 인식 장치(200)는 웨어러블 장치(100)로부터 웨어러블 장치(100)의 식별 번호를 수신하고, 대응 관계 정보에 기반하여 수신된 식별 번호에 대응하는 웨어러블 장치(100)의 사용자 연령 정보(예: 나이)를 확인한다. The gesture recognition device 200 receives the identification number of the wearable device 100 from the wearable device 100, and user age information (eg: age) is checked.

제스처 인식 장치(200)는 사용자 연령 정보에 기반하여 차량 시스템에 대한 제어권 예컨대, 인포테인먼트 장치에 의해 재생 가능한 컨텐츠를 제한한다. The gesture recognition device 200 limits control rights for the vehicle system, for example, content playable by the infotainment device, based on the user's age information.

제스처 인식 장치(200)는 사용자가 아동/유아이면, 아동/유아에 대응하는 컨텐츠 재생만을 허용하고, 청소년 또는 성인 컨텐츠의 재생을 제한한다. If the user is a child/infant, the gesture recognition apparatus 200 allows only the content corresponding to the child/infant, and limits the reproduction of the youth or adult content.

제스처 인식 장치(200)는 웨어러블 장치(100)를 착용한 탑승자의 위치를 제1 통신 회로(210)를 통해 확인한다. The gesture recognition apparatus 200 identifies the position of the passenger wearing the wearable apparatus 100 through the first communication circuit 210 .

제1 통신 회로(210)는 UWB 통신을 수행하는 회로를 포함하고, 제스처 인식 장치(200)는 복수의 회로와 웨어러블 장치(100) 간의 거리에 기반하여 웨어러블 장치(100)를 착용한 탑승자의 위치를 확인한다. The first communication circuit 210 includes a circuit for performing UWB communication, and the gesture recognition device 200 determines a position of a passenger wearing the wearable device 100 based on a distance between the plurality of circuits and the wearable device 100 . check

제스처 인식 장치(200)는 카메라(230)의 촬영 영상을 더 이용하여 웨어러블 장치(100)를 착용한 탑승자의 위치를 확인한다. The gesture recognition apparatus 200 further uses the captured image of the camera 230 to identify the position of the occupant wearing the wearable apparatus 100 .

제스처 인식 장치(200)는 웨어러블 장치(100)를 착용하지 않은 탑승자의 위치를 카메라(230)를 통해 차량 내 탑승자의 위치를 확인한다. The gesture recognition apparatus 200 checks the position of the occupant not wearing the wearable device 100 in the vehicle through the camera 230 .

제스처 인식 장치(200)는 웨어러블 장치(100)로부터의 움직임 정보 및 카메라(230)의 촬영 영상 중 적어도 하나에 기반하여 탑승자의 제스처를 인식한다. The gesture recognition apparatus 200 recognizes a gesture of a passenger based on at least one of motion information from the wearable apparatus 100 and an image captured by the camera 230 .

제스처 인식 장치(200)는 웨어러블 장치(100) 또는 카메라(230)를 통해 제스처를 인식하면, 제어권이 허용된 제어 대상 장치에 대해서는 인식된 제스처에 대응하는 제어를 수행할 수 있다. When the gesture recognition device 200 recognizes a gesture through the wearable device 100 or the camera 230 , the gesture recognition device 200 may perform a control corresponding to the recognized gesture on the control target device to which the control right is allowed.

제스처 인식 장치(200)는 인식된 제스처를 수행한 차량 탑승자가 웨어러블 장치(100)의 사용자(또는, 착용자)인지 여부에 따라서 제어 대상 장치의 제어권을 달리 제공한다. The gesture recognition apparatus 200 differently provides the control right of the control target device according to whether the vehicle occupant who performed the recognized gesture is a user (or wearer) of the wearable device 100 .

제스처 인식 장치(200)는 웨어러블 장치(100)의 사용자에 대해서는 미착용 사용자보다 더 많은 종류의 제어 대상 장치에 대한 제어권을 제공하거나, 모든 차량 운행 관련 제어권을 제공한다. The gesture recognition apparatus 200 provides the user of the wearable device 100 with a control right for more types of control target devices than for a non-wearing user, or provides a control right related to all vehicle operation.

제스처 인식 장치(200)는 제스처를 수행한 탑승자의 위치가 운전석인 경우, 탑승자가 웨어러블 장치(100)의 사용자인지 확인한다. When the position of the passenger who performed the gesture is the driver's seat, the gesture recognition apparatus 200 checks whether the passenger is a user of the wearable device 100 .

제스처 인식 장치(200)는 확인된 탑승자가 웨어러블 장치(100)의 사용자이면, 차량 시스템 내 복수의 제어 대상 장치들에 대한 제어권을 모두 허용한다. If the identified occupant is a user of the wearable device 100 , the gesture recognition apparatus 200 allows all control rights to a plurality of control target devices in the vehicle system.

제스처 인식 장치(200)는 확인된 탑승자가 웨어러블 장치(100)의 사용자가 아니면, 차량 시스템 내 일부 제어 대상 장치에 대한 제어권만을 부여한다. If the identified occupant is not a user of the wearable device 100 , the gesture recognition apparatus 200 grants only control rights to some control target devices in the vehicle system.

제스처 인식 장치(200)는 인식된 제스처가 허용되지 않은 제어 대상 장치에 대한 것이면, 인식된 제스처를 무시하고, 경고 알림을 제공한다. If the recognized gesture is for a control target device that is not permitted, the gesture recognition apparatus 200 ignores the recognized gesture and provides a warning notification.

제스처 인식 장치(200)는 인식된 제스처에 응답하여, 스피커 또는 디스플레이(250)를 통해 제스처에 대응하는 제어 대상 장치에 대한 제어가 허용되지 않음을 안내한다. In response to the recognized gesture, the gesture recognition device 200 informs through the speaker or the display 250 that control of the controlling device corresponding to the gesture is not permitted.

도 12는 본 발명에 따른 제스처 인식의 기준 좌표 변환을 도시한다. 12 shows a reference coordinate transformation of gesture recognition according to the present invention.

제스처 인식 장치(200)는 웨어러블 장치(100)가 차량 내 허공에 위치하는지 아니면, 차량 내 지정된 면에 위치하는지 여부를 확인한다. The gesture recognition apparatus 200 checks whether the wearable device 100 is located in the air in the vehicle or on a designated surface in the vehicle.

지정된 면은 암레스트 및 차량 테이블을 포함한다. The designated faces include armrests and vehicle tables.

제스처 인식 장치(200)는 웨어러블 장치(100)가 지정된 면의 상단으로부터 지정된 거리 이내에 위치하면, 웨어러블 장치(100)가 지정된 면에 위치한 것으로 확인한다. When the wearable device 100 is located within a specified distance from the top of the specified surface, the gesture recognition apparatus 200 determines that the wearable apparatus 100 is located on the specified surface.

제스처 인식 장치(200)는 웨어러블 장치(100)로부터의 움직임 정보에 기반하여 제스처를 인식할 때, 웨어러블 장치(100)가 허공에 위치하는 경우와 지정된 면에 위치하는 경우에 움직임 정보에 따른 제스처 방향을 상이하게 인식한다. When the gesture recognition device 200 recognizes a gesture based on motion information from the wearable device 100 , the gesture direction according to the motion information when the wearable device 100 is positioned in the air and on a designated surface are recognized differently.

예를 들어, 제스처 인식 장치(200)는 웨어러블 장치(100)가 허공에 위치한 경우에는 차량의 좌우 방향, 상하 방향 및 전후 방향을 각기 x축, y축 및 z축으로 하여 움직임 정보의 (x, y, z) 좌표 값을 확인할 수 있다. For example, when the wearable device 100 is located in the air, the gesture recognition apparatus 200 sets the left and right directions, the up and down directions, and the front and rear directions of the vehicle as the x-axis, y-axis, and z-axis, respectively, to obtain (x, y, z) coordinate values can be checked.

반면, 제스처 인식 장치(200)는 웨어러블 장치(100)가 지정된 면에 위치한 경우에는 x축, y축 및 z축 중 적어도 두 개의 축을 교환하여 상기 움직임 정보의 (x, y, z) 좌표 값을 확인한다. On the other hand, the gesture recognition apparatus 200 exchanges at least two axes among the x-axis, the y-axis, and the z-axis when the wearable device 100 is located on a designated surface to obtain (x, y, z) coordinate values of the motion information. Check it.

제스처 인식 장치(200)는 예를 들면, 웨어러블 장치(100)가 지정된 면에 위치하는 경우에는 차량의 좌우 방향, 전후 방향 및 상하 방향을 x, y, z축으로 하여 움직임 정보의 (x, y, z) 좌표 값을 확인한다. For example, when the wearable device 100 is positioned on a designated surface, the gesture recognition apparatus 200 may set (x, y) motion information in the left-right direction, the front-rear direction, and the up-down direction of the vehicle as the x, y, and z axes. , z) Check the coordinate values.

도 12의 (a)를 참조하면, 제스처 인식 장치(200)는 웨어러블 장치(100)가 암레스트에서 제1 지정된 거리 이상 이격하여 허공에 위치한 제1 상태로 유지되며, 움직이는 제스처를 인식한다. Referring to FIG. 12A , the gesture recognition apparatus 200 recognizes a moving gesture while the wearable apparatus 100 is spaced apart from the armrest by a first specified distance and maintained in a first state in the air.

제스처 인식 장치(200)는 제1 좌표 평면(1250)(예: XY 평면)을 차량의 좌우상하 방향 제스처(회색 화살표 참조)의 기준 좌표 평면으로 결정하고, 제2 좌표 평면(1260)(예: XZ 평면)을 차량의 전후 방향(파란색 화살표 참조)의 기준 좌표 평면으로 결정할 수 있다. The gesture recognition apparatus 200 determines a first coordinate plane 1250 (eg, an XY plane) as a reference coordinate plane for a left, right, up, down direction gesture (refer to a gray arrow) of the vehicle, and a second coordinate plane 1260 (eg: XZ plane) may be determined as a reference coordinate plane in the front-rear direction (refer to the blue arrow) of the vehicle.

제스처 인식 장치(200)는 제1 상태에서 차량의 좌우 방향 또는 상하 방향의 제스처를 인식한 경우에 인식된 좌우 또는 상하 방향의 제스처에 대응하는 제1 기능, 예컨대, 디스플레이(250)에 표시된 컨텐츠를 제스처 방향으로 드래그하는 기능을 수행한다. The gesture recognition apparatus 200 recognizes a first function corresponding to the recognized left-right or up-down gesture, for example, content displayed on the display 250 when a gesture in the left-right or up-down direction of the vehicle is recognized in the first state. It performs the function of dragging in the direction of the gesture.

제스처 인식 장치(200)는 제1 상태에서 전후 방향의 제스처를 인식하면, 전후 방향의 제스처에 대응하는 제2 기능, 예컨대, 디스플레이(250)에 표시된 컨텐츠 중 커서가 올려진 컨텐츠를 선택 또는 실행하는 기능을 수행한다. When the gesture recognition apparatus 200 recognizes a forward-backward gesture in the first state, a second function corresponding to the forward-backward gesture, for example, selects or executes the content on which the cursor is placed among the content displayed on the display 250 . perform the function

도 12의 (b)를 참조하면, 제스처 인식 장치(200)는 웨어러블 장치(100)가 암레스트로부터 제1 지정된 거리 내에 위치한 제2 상태로 유지되며, 이동하는 제스처를 인식한다. Referring to FIG. 12B , the gesture recognition apparatus 200 maintains the wearable apparatus 100 in a second state located within a first specified distance from the armrest, and recognizes a moving gesture.

제스처 인식 장치(200)는 제2 좌표 평면(1260)을 차량의 좌우 방향 및 차량의 전후 방향 제스처(회색 화살표 참조)의 기준 좌표 평면으로 결정하고, 제1 좌표 평면(1250)을 디스플레이(250)에 대하여 상하 방향(파란색 화살표 참조)의 기준 좌표 평면으로 결정한다. The gesture recognition apparatus 200 determines the second coordinate plane 1260 as a reference coordinate plane for the left-right direction of the vehicle and the front-back direction of the vehicle (refer to the gray arrow), and sets the first coordinate plane 1250 to the display 250 . is determined as the reference coordinate plane in the up-down direction (refer to the blue arrow).

제스처 인식 장치(200)는 제2 상태에서 차량의 좌우 방향 또는 차량의 전후 방향의 제스처를 인식한 경우에 차량의 좌우 또는 전후 방향의 제스처에 대응하는 제1 기능, 예컨대, 디스플레이(250)에 표시된 컨텐츠를 좌우 방향 또는 상하 방향으로 드래그하는 기능을 수행한다. When the gesture recognition apparatus 200 recognizes a gesture in the left-right direction of the vehicle or the front-rear direction of the vehicle in the second state, the first function corresponding to the gesture in the left-right or front-rear direction of the vehicle, for example, is displayed on the display 250 . It performs a function of dragging content in the left-right direction or up-down direction.

제스처 인식 장치(200)는 제2 상태에서 상하 방향의 제스처를 인식하면, 상/하 방향의 제스처에 대응하는 제2 기능, 예컨대, 디스플레이(250)에 표시된 컨텐츠 중 커서가 올려진 컨텐츠를 선택 또는 실행하는 기능을 수행한다. When the gesture recognition apparatus 200 recognizes the up-down gesture in the second state, the second function corresponding to the up/down gesture, for example, selects or selects the content on which the cursor is placed among the content displayed on the display 250 , or function to execute.

도 13a 및 13b는 본 발명에 따른 제스처 인식의 기준 좌표 변환의 다른 예를 도시한다. 13A and 13B show another example of reference coordinate transformation of gesture recognition according to the present invention.

도 13a를 참조하면, 제스처 인식 장치(200)는 웨어러블 장치(100)가 차량 내 다른 평평한 영역에 해당하는 차량 내 테이블에 위치한 경우에도 도 12와 같이 기준 좌표를 변환하여 제스처를 인식한다. Referring to FIG. 13A , even when the wearable device 100 is positioned on a table in the vehicle corresponding to another flat area in the vehicle, the gesture recognition apparatus 200 converts the reference coordinates as shown in FIG. 12 to recognize the gesture.

도 13b를 참조하면, 제스처 인식 장치(200)는 웨어러블 장치(100)가 도어 암레스트에 위치한 경우에도 도 12와 같이 기준 좌표를 변환하여 제스처를 인식한다. Referring to FIG. 13B , even when the wearable device 100 is positioned on the door armrest, the gesture recognition apparatus 200 converts the reference coordinates as shown in FIG. 12 to recognize the gesture.

제스처 인식 장치(200)는 웨어러블 장치(100)를 착용한 사용자 손가락의 위치에 따라 기준 좌표 평면을 변환하여 제스처를 인식함에 따라 사용자 손가락의 위치에 따라 차량 시스템을 용이하게 제어하도록 지원한다. The gesture recognition apparatus 200 converts the reference coordinate plane according to the position of the user's finger wearing the wearable device 100 to recognize the gesture, thereby supporting easy control of the vehicle system according to the position of the user's finger.

도 14, 도 15a 내지 15d는 본 발명에 따른 웨어러블 장치의 위치에 따른 기능 실행을 도시한다. 14 and 15A to 15D show function execution according to the position of the wearable device according to the present invention.

도 14를 참조하면, 제스처 인식 장치(200)는 웨어러블 장치(100)가 차량 내부의 어느 부분에서 위치하는지에 따라서 동일 제스처를 인식하더라도 다른 기능을 수행한다. Referring to FIG. 14 , the gesture recognition apparatus 200 performs different functions even when the same gesture is recognized depending on which part of the vehicle the wearable apparatus 100 is located.

차량 내부 영역은 스티어링 휠의 상단에 위치하는 HUD(디스플레이(250))로부터 제2 지정된 거리(예: 10cm) 이내에 있는 제1 부분(1410), 스티어링 휠로부터 제3 지정된 거리(예: 3cm) 내에 있는 제2 부분(1420), SVM(Surround View Monitor)으로부터 제4 지정된 거리(예: 3cm) 내에 있는 제3 부분(1430) 및 공조기로부터 제5 지정된 거리(예: 3cm) 내에 있는 제4 부분(1440)을 포함한다. The vehicle interior region includes a first portion 1410 that is within a second specified distance (eg, 10 cm) from a HUD (display 250) positioned on top of the steering wheel, and a third specified distance (eg, 3 cm) from the steering wheel. a second portion 1420 located within a fourth specified distance (eg 3 cm) from a Surround View Monitor (SVM), and a fourth portion 1430 within a fifth specified distance (eg 3 cm) from the air conditioner ( 1440).

제1 부분(1410)은 제2 부분(1420), 제3 부분(1430) 및 제4 부분(1440)을 제외한 나머지 부분(도는, 차량 전석 부분)을 포함한다. The first portion 1410 includes a portion (or, a front seat portion of a vehicle) other than the second portion 1420 , the third portion 1430 , and the fourth portion 1440 .

제1 내지 제4 부분들(1410, 1420, 1430, 1440)은 모두 전술한 제1 영역에 해당할 수 있고, 또는 제1 영역 및 제2 영역 중 일부 영역을 포함한다.All of the first to fourth portions 1410 , 1420 , 1430 , and 1440 may correspond to the aforementioned first area, or include some of the first area and the second area.

메모리(260)는 하나의 제스처에 대응하는 제1 내지 제4 부분들(1410, 1420, 1430, 1440) 중 어느 하나의 부분 및 제어 대상 장치에 각기 매핑된 복수의 기능들을 저장한다. The memory 260 stores a plurality of functions each mapped to any one of the first to fourth parts 1410 , 1420 , 1430 , and 1440 corresponding to one gesture and the control target device.

도 14에서, 제스처 인식 장치(200)는 웨어러블 장치(100)가 제1 부분에 위치한 것을 확인하면, 제1 제스처에 응답하여, 디스플레이(250)에 표시된 요소의 확대, 축소 및 선택 중 적어도 어느 하나를 수행한다. In FIG. 14 , when the gesture recognition apparatus 200 confirms that the wearable device 100 is positioned at the first portion, in response to the first gesture, at least one of enlarging, reducing, and selecting an element displayed on the display 250 . carry out

제스처 인식 장치(200)는 웨어러블 장치(100)가 제1 부분(1410)에 위치한 상태에서 핀치 아웃(pinch out) 제스처를 인식하면, 핀치 아웃 제스처에 응답하여, 도 15a와 같이 디스플레이(250)에 표시된 주행 정보 요소(예: 현재/제한 속도)를 확대한다.When the gesture recognition device 200 recognizes a pinch out gesture while the wearable device 100 is positioned in the first part 1410, in response to the pinch out gesture, it is displayed on the display 250 as shown in FIG. 15A. Zoom in on the displayed driving information element (eg current/speed limit).

제스처 인식 장치(200)는 웨어러블 장치(100)가 제2 부분에 위치한 것을 확인하면, 제1 제스처에 응답하여 차량 운행 관련 제어를 수행한다.When it is confirmed that the wearable device 100 is positioned in the second portion, the gesture recognition apparatus 200 performs vehicle driving-related control in response to the first gesture.

예를 들어, 제스처 인식 장치(200)는 웨어러블 장치(100)가 제2 부분(1420)에 위치한 상태에서 핀치 아웃(pinch out) 제스처를 인식하면, 핀치 아웃 제스처에 응답하여, 도 15b와 같이 크루스(cruise) 컨트롤 속도의 조절을 수행한다. For example, when the gesture recognition apparatus 200 recognizes a pinch out gesture while the wearable device 100 is positioned at the second part 1420, the gesture recognition apparatus 200 responds to the pinch out gesture, as shown in FIG. 15B . (cruise) Control speed adjustment.

이후, 제스처 인식 장치(200)는 차량 운행 관련 제어의 결과 예컨대, 조절된 속도를 디스플레이(250)에 표시한다. Thereafter, the gesture recognition apparatus 200 displays a result of vehicle driving-related control, for example, an adjusted speed on the display 250 .

제스처 인식 장치(200)는 웨어러블 장치(100)가 제3 부분에 위치한 것을 확인하면, 제1 제스처에 응답하여, 적어도 하나의 객체의 표시 형태 조절 및 기능 선택 중 적어도 어느 하나를 수행한다. When it is confirmed that the wearable device 100 is positioned at the third portion, the gesture recognition apparatus 200 performs at least one of adjusting a display form of at least one object and selecting a function in response to the first gesture.

예를 들어, 제스처 인식 장치(200)는 웨어러블 장치(100)가 제3 부분(1430)에 위치한 상태에서 핀치 아웃(pinch out) 제스처를 인식하면, 핀치 아웃 제스처에 응답하여, 도 15c와 같이 디스플레이(250)에 표시된 주변 환경 영상에서 위험 요소가 포함된 영역을 확대하거나, 내비게이션에서 현재 위치의 지도를 확대한다. For example, if the gesture recognition apparatus 200 recognizes a pinch out gesture while the wearable device 100 is positioned at the third portion 1430, in response to the pinch out gesture, the display as shown in FIG. 15C is displayed. In the surrounding environment image displayed at 250, the area including the dangerous element is enlarged, or the map of the current location is enlarged in the navigation.

제스처 인식 장치(200)는 웨어러블 장치(100)가 제4 부분에 위치한 것을 확인하면, 제1 제스처에 응답하여, 공조기에 관련된 제어를 수행한다. When it is confirmed that the wearable device 100 is positioned at the fourth portion, the gesture recognition apparatus 200 performs control related to the air conditioner in response to the first gesture.

제스처 인식 장치(200)는 웨어러블 장치(100)가 제4 부분(1440)에 위치한 상태에서 핀치 아웃(pinch out) 제스처를 인식하면, 핀치 아웃 제스처에 응답하여, 도 15d와 같이 공조기의 풍속을 조절하고, 디스플레이(250)에 표시된 풍속 정보를 변화시킬 수 있다. When the gesture recognition device 200 recognizes a pinch out gesture while the wearable device 100 is positioned at the fourth part 1440, in response to the pinch out gesture, the wind speed of the air conditioner is adjusted as shown in FIG. 15D . and change the wind speed information displayed on the display 250 .

제스처 인식 장치(200)는 웨어러블 장치(100)로부터 수신된 움직임 정보에 기반하여 제1 제스처를 인식하면, 차량 시스템 내 복수의 제어 대상 장치들 중 웨어러블 장치가 상대적으로 더 근접한 장치를 확인하고, 해당 장치에 대응하는 기능을 수행하도록 제어한다. When the gesture recognition device 200 recognizes the first gesture based on the motion information received from the wearable device 100, the wearable device identifies a device that is relatively closer to the wearable device among a plurality of control target devices in the vehicle system, and Controls the device to perform a function corresponding to it.

제어 대상 장치들은 예를 들면, HUD, 스티어링 휠, 서라운드 뷰 모니터, 공조기 및 내비게이션 중 적어도 하나의 장치를 포함한다. The devices to be controlled include, for example, at least one of a HUD, a steering wheel, a surround view monitor, an air conditioner, and a navigation device.

제스처 인식 장치(200)는 웨어러블 장치(100)이 위치한 부분(또는, 웨어러블 장치(100)를 착용한 사용자 손가락의 위치)에 따라 차량 시스템 내 다양한 기능을 수행한다. The gesture recognition apparatus 200 performs various functions in the vehicle system according to the portion where the wearable apparatus 100 is located (or the position of a user's finger wearing the wearable apparatus 100 ).

제스처 인식 장치(200)는 단순한 제스처에 기반하여 차량 시스템의 다양한 기능을 제어하도록 지원한다. The gesture recognition apparatus 200 supports to control various functions of the vehicle system based on a simple gesture.

도 16 내지 도 19는 본 발명에 따른 제스처 인식 방법을 도시한다. 16 to 19 show a gesture recognition method according to the present invention.

S1610 단계에서, 제스처 인식 장치(200)는 웨어러블 장치(100)로부터 움직임 정보를 수신한다. In step S1610 , the gesture recognition apparatus 200 receives motion information from the wearable apparatus 100 .

S1620 단계에서, 제스처 인식 장치(200)는 차량 내 웨어러블 장치의 위치를 확인한다. In step S1620, the gesture recognition apparatus 200 checks the location of the wearable device in the vehicle.

S1630 단계에서, 제스처 인식 장치(200)는 웨어러블 장치(100)의 위치에 따라 움직임 정보에 기반한 제스처 인식을 수행 또는 미수행한다. In step S1630 , the gesture recognition apparatus 200 performs or does not perform gesture recognition based on motion information according to the location of the wearable apparatus 100 .

제스처 인식 장치(200)는 웨어러블 장치(100)가 제1 영역에 위치하면, 제스처 인식을 수행하고 웨어러블 장치(100)가 제2 영역에 위치하면, 제스처 인식을 수행하지 않는다. The gesture recognition apparatus 200 performs gesture recognition when the wearable device 100 is located in the first area, and does not perform gesture recognition when the wearable device 100 is located in the second area.

S1640 단계에서, 제스처 인식 장치(200)는 제스처를 인식한 경우에 인식된 제스처에 대응하는 기능을 수행한다. In step S1640 , the gesture recognition apparatus 200 performs a function corresponding to the recognized gesture when the gesture is recognized.

S1710 단계에서, 제스처 인식 장치(200)는 웨어러블 장치(100)를 착용한 사용자의 위치를 확인한다. In step S1710 , the gesture recognition apparatus 200 checks the location of the user wearing the wearable apparatus 100 .

S1720 단계에서, 제스처 인식 장치(200)는 확인된 사용자의 위치에 따라서 차량 시스템 내 복수의 제어 대상 장치들 중 적어도 일부 제어 대상 장치들에 대한 제어권을 허용 또는 제한한다.In operation S1720 , the gesture recognition apparatus 200 permits or limits the control right to at least some of the control target devices among the plurality of control target devices in the vehicle system according to the identified location of the user.

예를 들어, 제스처 인식 장치(200)는 사용자가 운전석에 위치한 경우에는 제스처 기반의 모든 차량 시스템 제어권 예컨대, 차량 운행 관련 제어권(예: ASCC- 차간 간격, 드라이브 모드, ADAS 설정 가능), 전체 좌석의 인포테인먼트 관련 제어권(예: 볼륨) 및 전체 좌석의 공조기 제어권을 허용한다. For example, when the user is located in the driver's seat, the gesture recognition device 200 includes all gesture-based vehicle system control rights, such as vehicle operation-related control rights (eg, ASCC-inter-vehicle spacing, drive mode, ADAS setting possible), and all seats. Allows infotainment-related controls (eg volume) and air conditioning control of the entire seat.

사용자가 보조석 또는 후석에 위치하는 경우에는 차량 시스템 내 제어 대상 장치들 중 일부 제어 대상 장치들(예: 차량 운행 관련 제어권)에 대한 제어권만을 부여한다. When the user is located in the passenger seat or the rear seat, only the control right for some control target devices (eg, vehicle operation related control right) among the control target devices in the vehicle system is granted.

S1730 단계에서, 제스처 인식 장치(200)는 웨어러블 장치(100)로부터의 움직임 정보에 기반하여 사용자의 제스처를 인식하면, 인식된 제스처에 응답하여 복수의 제어 대상 장치들 중 허용된 제어 대상 장치들을 통해 인식된 제스처에 대응하는 기능을 수행할 수 있다.In step S1730 , when the gesture recognition apparatus 200 recognizes a user's gesture based on movement information from the wearable device 100 , in response to the recognized gesture, through the permitted control target devices among a plurality of control target devices A function corresponding to the recognized gesture may be performed.

도 18을 참조하면, S1810 단계에서, 제스처 인식 장치(200)는 웨어러블 장치(100)로부터 움직임 정보를 획득한다. Referring to FIG. 18 , in step S1810 , the gesture recognition apparatus 200 obtains motion information from the wearable apparatus 100 .

S1820 단계에서, 제스처 인식 장치(200)는 웨어러블 장치(100)의 위치가 차량 내 허공인지 아니면, 차량 내 지정된 면인지를 여부를 확인한다. In step S1820 , the gesture recognition apparatus 200 checks whether the position of the wearable device 100 is in the air in the vehicle or on a designated surface in the vehicle.

S1820 단계에서, 제스처 인식 장치(200)는 움직임 정보에 기반하여 제스처를 인식하되, 웨어러블 장치(100)의 위치가 허공인 경우와 지정된 면인 경우에 제스처 방향을 달리 인식한다.In step S1820, the gesture recognition apparatus 200 recognizes a gesture based on the motion information, but recognizes a gesture direction differently when the position of the wearable apparatus 100 is in the air and on a designated surface.

예를 들어, 제스처 인식 장치(200)는 웨어러블 장치(100)가 허공에 위치한 경우에는 차량의 좌우 방향, 상하 방향 및 전후 방향을 각기 x축, y축 및 z축으로 하여 움직임 정보의 (x, y, z) 좌표 값을 확인한다. For example, when the wearable device 100 is located in the air, the gesture recognition apparatus 200 sets the left and right directions, the up and down directions, and the front and rear directions of the vehicle as the x-axis, y-axis, and z-axis, respectively, to obtain (x, y, z) Check the coordinate values.

웨어러블 장치(100)가 지정된 면에 위치하는 경우에는 제스처 인식 장치(200)는 차량의 좌우 방향, 전후 방향 및 상하 방향을 x, y, z축으로 하여 움직임 정보의 (x, y, z) 좌표 값을 확인한다. When the wearable device 100 is positioned on a designated surface, the gesture recognition device 200 sets (x, y, z) coordinates of the motion information using the left and right, front and rear, and up and down directions of the vehicle as the x, y, and z axes. Check the value.

도 19를 참조하면, S1910 단계에서, 제스처 인식 장치(200)는 메모리(260)에 차량 내 복수의 부분들에 각기 맵핑된 제1 제스처에 대응하는 복수의 기능들을 저장한다. Referring to FIG. 19 , in step S1910 , the gesture recognition apparatus 200 stores a plurality of functions corresponding to a first gesture mapped to a plurality of parts in the vehicle in the memory 260 .

메모리(260)에 저장된 복수의 부분들에 각기 맵핑된 제1 제스처에 대응하는 복수의 기능들이 있는 경우에 S1910 단계는 생략된다. When there are a plurality of functions corresponding to the first gesture mapped to the plurality of portions stored in the memory 260, step S1910 is omitted.

복수의 부분은 스티어링 휠의 상단에 위치하는 HUD(디스플레이(250))로부터 제2 지정된 거리(예: 10cm) 이내에 있는 제1 부분(1410), 스티어링 휠로부터 제3 지정된 거리(예: 3cm) 내에 있는 제2 부분(1420), SVM(Surround View Monitor)으로부터 제4 지정된 거리(예: 3cm) 내에 있는 제3 부분(1430) 및 공조기로부터 제5 지정된 거리(예: 3cm) 내에 있는 제4 부분(1440)을 포함한다.The plurality of parts are located within a first part 1410 within a second specified distance (eg, 10 cm) from a HUD (display 250) located on top of the steering wheel, and a third specified distance (eg, 3 cm) from the steering wheel. a second portion 1420 located within a fourth specified distance (eg 3 cm) from a Surround View Monitor (SVM), and a fourth portion 1430 within a fifth specified distance (eg 3 cm) from the air conditioner ( 1440).

S1920 단계에서, 제스처 인식 장치(200)는 웨어러블 장치(100)로부터의 움직임 정보에 기반하여 제1 제스처를 인식하면, 웨어러블 장치(100)가 차량 내 어느 부분에 위치하는지를 확인한다. In operation S1920 , when the gesture recognition apparatus 200 recognizes the first gesture based on the motion information from the wearable apparatus 100 , it is identified in which part of the vehicle the wearable apparatus 100 is located.

S1930 단계에서, 제스처 인식 장치(200)는 복수의 기능들 중 웨어러블 장치(100)가 위치한 부분에 대응하는 기능을 수행한다. In step S1930 , the gesture recognition apparatus 200 performs a function corresponding to a portion in which the wearable apparatus 100 is located among a plurality of functions.

제스처 인식 장치(200)는 웨어러블 장치(100)를 통해 제스처를 인식하면, 웨어러블 장치(100)의 위치, 사용자의 위치, 사용자의 시선, 사용자 정보(예: 연령 정보) 또는 제어 대상 장치에 따라 인식된 제스처에 대응하는 기능을 달리 제공한다. When the gesture recognition device 200 recognizes a gesture through the wearable device 100 , it recognizes the wearable device 100 according to the location of the wearable device 100 , the user's location, the user's gaze, user information (eg, age information), or the control target device. A function corresponding to the gesture is provided differently.

한편, 본 발명의 실시예에 따른 제스처 인식 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the gesture recognition method according to an embodiment of the present invention may be implemented in a computer system or recorded in a recording medium. The computer system may include at least one processor, a memory, a user input device, a data communication bus, a user output device, and storage. Each of the above-described components performs data communication through a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or storage.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or non-volatile storage media. For example, memory may include ROM and RAM.

따라서, 본 발명의 실시예에 따른 제스처 인식 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 제스처 인식 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 제스처 인식 방법을 수행할 수 있다.Accordingly, the gesture recognition method according to an embodiment of the present invention may be implemented as a computer-executable method. When the gesture recognition method according to an embodiment of the present invention is performed in a computer device, computer readable instructions may perform the gesture recognition method according to the present invention.

한편, 상술한 본 발명에 따른 제스처 인식 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the above-described gesture recognition method according to the present invention may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes any type of recording medium in which data that can be read by a computer system is stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like. In addition, the computer-readable recording medium may be stored and executed as code readable in a distributed manner by being distributed in a computer system connected through a computer communication network.

Claims (11)

웨어러블 장치와 통신하는 제1 통신 회로;
차량 내 제어 대상 장치와 통신하는 제2 통신 회로;
제스처 인식 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 제1 통신 회로를 통해 상기 웨어러블 장치를 착용한 사용자의 위치 및 제스처를 인식하고, 상기 사용자의 위치에 따라 설정된 상기 제어 대상 장치에 대한 제어권을 고려하여, 상기 제스처에 따라 상기 제어 대상 장치를 제어하는 것
인 제스처 인식 장치.
a first communication circuit in communication with the wearable device;
a second communication circuit communicating with the in-vehicle control target device;
a memory storing a gesture recognition program; and
A processor for executing the program,
The processor recognizes a position and a gesture of a user wearing the wearable device through a first communication circuit, considers a control right for the control target device set according to the user's location, and according to the gesture, the control target device to control
A gesture recognition device.
 제1항에 있어서,
상기 프로세서는 상기 사용자의 위치가 운전석인 경우, 상기 제어 대상 장치에 대한 제어권을 모두 허용하는 것
인 제스처 인식 장치.
According to claim 1,
The processor allows all control rights to the control target device when the user's location is the driver's seat
A gesture recognition device.
 제1항에 있어서,
상기 프로세서는 상기 사용자의 위치가 조수석인 경우, 전석(front seat) 및 후석(rear seat)의 인포테인먼트 장치 및 공조기 중 적어도 어느 하나에 대한 제어를 수행하고, 상기 사용자의 위치가 후석(rear seat)인 경우, 후석 인포테인먼트 장치 및 공조기에 대한 제어를 수행하는 것
인 제스처 인식 장치.
According to claim 1,
The processor controls at least one of an infotainment device and an air conditioner of a front seat and a rear seat when the user's position is a passenger seat, and the user's position is a rear seat. In this case, to control the rear seat infotainment device and air conditioner
A gesture recognition device.
 제1항에 있어서,
상기 프로세서는 상기 웨어러블 장치의 식별 번호 및 이에 대응되어 저장되는 사용자의 연령 정보를 고려하여, 상기 연령 정보에 대응하는 콘텐츠를 재생시키는 것
인 제스처 인식 장치.
According to claim 1,
The processor plays the content corresponding to the age information in consideration of the identification number of the wearable device and the age information of the user stored corresponding thereto
A gesture recognition device.
 제1항에 있어서,
상기 프로세서는 카메라를 이용하여 획득된 상기 웨어러블 장치를 착용하지 않은 탑승자에 대한 정보를 인식하고, 인식 결과에 따라 제어권이 부여된 상기 제어 대상 장치를 제어하는 것
인 제스처 인식 장치.
According to claim 1,
The processor recognizes the information about the occupant who does not wear the wearable device obtained using the camera, and controls the control target device to which the control right is granted according to the recognition result
A gesture recognition device.
 제1항에 있어서,
상기 제1 통신 회로는 UWB 통신을 통해 상기 웨어러블 장치의 위치를 확인하는 것
인 제스처 인식 장치.
According to claim 1,
The first communication circuit is to determine the location of the wearable device through UWB communication
A gesture recognition device.
 (a) 웨어러블 장치를 착용한 사용자의 위치를 확인하는 단계;
(b) 상기 사용자의 위치에 따라서 제어 대상 장치에 대한 제어권을 부여하는 단계; 및
(c) 상기 웨어러블 장치로부터 획득된 움직임 정보에 기반하여 제스처를 인식하고, 상기 제스처에 응답하여 상기 제어 대상 장치 중 제어권이 부여된 장치에 대한 제어를 수행하는 단계
를 포함하는 제스처 인식 방법.
(a) confirming the location of the user wearing the wearable device;
(b) granting a control right to a control target device according to the location of the user; and
(c) recognizing a gesture based on motion information obtained from the wearable device, and performing control of a device to which control is granted among the control target devices in response to the gesture
A gesture recognition method comprising a.
 제7항에 있어서,
상기 (b) 단계는 상기 사용자의 위치가 운전석인 경우, 상기 제어 대상 장치에 대한 제어권을 모두 허용하는 것
인 제스처 인식 방법.
8. The method of claim 7,
The step (b) is to allow all control rights to the control target device when the user's location is the driver's seat
In gesture recognition method.
 제7항에 있어서,
상기 (b) 단계는 상기 사용자의 위치가 조수석인 경우, 전석(front seat) 및 후석(rear seat)의 인포테인먼트 장치 및 공조기 중 적어도 어느 하나에 대한 제어권을 부여하고, 상기 사용자의 위치가 후석(rear seat)인 경우, 후석 인포테인먼트 장치 및 공조기에 대한 제어권을 부여하는 것
인 제스처 인식 방법.
8. The method of claim 7,
In the step (b), when the user's position is the passenger seat, the control right is given to at least one of the front seat and rear seat infotainment devices and the air conditioner, and the user's position is the rear seat. seat), granting control over the rear seat infotainment device and air conditioner
In gesture recognition method.
 제7항에 있어서,
상기 (c) 단계는 상기 제스처에 기반하여 콘텐츠를 재생하는 경우, 상기 웨어러블 장치의 식별 정보 및 사용자의 연령 정보를 고려하여 상기 콘텐츠를 재생하는 것
인 제스처 인식 방법.
8. The method of claim 7,
In the step (c), when the content is reproduced based on the gesture, the content is reproduced in consideration of identification information of the wearable device and age information of the user.
In gesture recognition method.
 제7항에 있어서,
상기 (c) 단계는 촬영 영상에 기반하여 상기 웨어러블 장치를 착용하지 않은 탑승자의 제스처 및 위치를 확인하고, 확인 결과에 따라 제어권이 부여된 상기 제어 대상 장치에 대한 제어를 수행하는 것
인 제스처 인식 방법. 8. The method of claim 7,
The step (c) is to check the gesture and position of the passenger who is not wearing the wearable device based on the captured image, and control the control target device to which the control right is granted according to the check result
In gesture recognition method.
KR1020200049629A 2020-04-21 2020-04-23 Apparatus and method for recognizing gesture KR20210131174A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200049629A KR20210131174A (en) 2020-04-23 2020-04-23 Apparatus and method for recognizing gesture
US17/236,378 US11573644B2 (en) 2020-04-21 2021-04-21 Apparatus and method for recognizing gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200049629A KR20210131174A (en) 2020-04-23 2020-04-23 Apparatus and method for recognizing gesture

Publications (1)

Publication Number Publication Date
KR20210131174A true KR20210131174A (en) 2021-11-02

Family

ID=78476270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200049629A KR20210131174A (en) 2020-04-21 2020-04-23 Apparatus and method for recognizing gesture

Country Status (1)

Country Link
KR (1) KR20210131174A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489341A (en) * 2022-01-28 2022-05-13 北京地平线机器人技术研发有限公司 Gesture determination method and apparatus, electronic device and storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489341A (en) * 2022-01-28 2022-05-13 北京地平线机器人技术研发有限公司 Gesture determination method and apparatus, electronic device and storage medium

Similar Documents

Publication Publication Date Title
EP2933130B1 (en) Vehicle control apparatus and method thereof
US10007264B2 (en) Autonomous vehicle human driver takeover mechanism using electrodes
EP2826689B1 (en) Mobile terminal
US20120287050A1 (en) System and method for human interface in a vehicle
US10209832B2 (en) Detecting user interactions with a computing system of a vehicle
KR102029842B1 (en) System and control method for gesture recognition of vehicle
US20180232195A1 (en) Electronic device and method for sharing images
US20220244789A1 (en) Method for operating a mobile terminal using a gesture recognition and control device, gesture recognition and control device, motor vehicle, and an output apparatus that can be worn on the head
KR101575650B1 (en) Terminal, vehicle having the same and method for controlling the same
KR20170141484A (en) Control device for a vehhicle and control metohd thereof
US11595878B2 (en) Systems, devices, and methods for controlling operation of wearable displays during vehicle operation
KR101879334B1 (en) Apparatus for indentifying a proximity object and method for controlling the same
CN111231860B (en) Operation module, operation method, operation system, and storage medium for vehicle
US20210072831A1 (en) Systems and methods for gaze to confirm gesture commands in a vehicle
KR101806172B1 (en) Vehicle terminal control system and method
KR20150137827A (en) Vehicle control apparatus using steering wheel and method for controlling the same
KR20180053290A (en) Control device for a vehhicle and control metohd thereof
KR20210131174A (en) Apparatus and method for recognizing gesture
CN111638786B (en) Display control method, device, equipment and storage medium of vehicle-mounted rear projection display system
JP6033465B2 (en) Display control device
KR20210130055A (en) Apparatus and method for recognizing gesture
KR20210130054A (en) Apparatus and method for recognizing gesture
KR20210130056A (en) Apparatus and method for recognizing gesture
US9536414B2 (en) Vehicle with tactile information delivery system
US11573644B2 (en) Apparatus and method for recognizing gesture

Legal Events

Date Code Title Description
E902 Notification of reason for refusal