KR101500412B1 - Gesture recognize apparatus for vehicle - Google Patents

Gesture recognize apparatus for vehicle Download PDF

Info

Publication number
KR101500412B1
KR101500412B1 KR20130159340A KR20130159340A KR101500412B1 KR 101500412 B1 KR101500412 B1 KR 101500412B1 KR 20130159340 A KR20130159340 A KR 20130159340A KR 20130159340 A KR20130159340 A KR 20130159340A KR 101500412 B1 KR101500412 B1 KR 101500412B1
Authority
KR
South Korea
Prior art keywords
gesture
hand
boundary line
directional
recognition unit
Prior art date
Application number
KR20130159340A
Other languages
Korean (ko)
Inventor
주시현
Original Assignee
현대자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사 filed Critical 현대자동차 주식회사
Priority to KR20130159340A priority Critical patent/KR101500412B1/en
Application granted granted Critical
Publication of KR101500412B1 publication Critical patent/KR101500412B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a gesture recognition device for a vehicle. The gesture recognition device for a vehicle of the present invention comprises: a gesture detection unit generating video information by photographing a hand of a user; a direction setting unit setting a direction of recognition to recognize gestures by the hand; and a gesture recognition unit generating a virtual boundary line in a perimeter area of the hand in accordance with image information and recognized direction, and recognizing the gestures by tracking a movement trajectory of the hand based on the boundary line. The gesture recognition unit moves the position of the boundary line based on the position where the hand is returned to the original position when the movement trajectory corresponds to a continuous directional gesture.

Description

차량용 제스처 인식 장치{GESTURE RECOGNIZE APPARATUS FOR VEHICLE}[0001] GESTURE RECOGNIZE APPARATUS FOR VEHICLE [0002]

본 발명은 차량용 제스처 인식 장치에 관한 기술이다. The present invention relates to a gesture recognition apparatus for a vehicle.

일반적으로 차량용 정보 기기는 차량 운전이나 탑승자의 편의성, 오락성 등을 제공하기 위한 기기이다. 예컨대, 오디오, AVN(Audio Visual Navigation) 시스템, 텔레매틱스 등을 포함한다.Background Art [0002] In general, an information device for a vehicle is a device for providing driving comfort, convenience, and enjoyment of a passenger. For example, audio, AVN (Audio Visual Navigation) system, telematics, and the like.

최근 일부 차량용 정보 기기는 운전 중 정보 기기의 버튼 조작에 의해 운전자의 시선이 전방에서 벗어나는 것을 방지하기 위해 원격 제어 방법으로 제어된다.BACKGROUND ART [0002] In recent years, some information devices for vehicles are controlled by a remote control method in order to prevent a driver's gaze from being distanced from the front by a button operation of an information device during operation.

원격 제어 방법은 차량의 핸들에 배치된 버튼을 이용하거나, 사용자의 제스처를 인식하여 차량용 정보 기기를 제어하는 방법 등이 있다. 이 중 사용자의 제스처를 인식하는 방법은 카메라로 사용자의 손을 촬영하고, 손의 움직임을 직관적인 버튼으로 이용하는 방법이다.The remote control method includes a method of using a button disposed on a handle of a vehicle or a method of controlling a vehicle information device by recognizing a user's gesture. Among them, the method of recognizing the user's gesture is a method of photographing the user's hand with the camera and using the movement of the hand as an intuitive button.

한편, 일반적인 제스처 인식 장치는 상하좌우 방향으로 손을 이동하는 방향성 제스처와 손을 흔드는 제스처 등을 인식하는 기능을 제공한다. 그런데, 방향성 제스처가 특정 방향으로 손을 이동시키고 종료하는 단일의 제스처가 아니라 특정 방향으로 손을 이동시킨 후 제자리로 다시 돌아오는 왕복(return) 제스처인 경우 제스처를 취한 횟수 및 방향을 판단하기 어렵다. 또한, 연속적으로 왕복 제스처를 취하는 경우 손을 흔드는 제스처로 오인식 될 수 있다.  On the other hand, a general gesture recognition device provides a function of recognizing a directional gesture and a hand gesture that move hands in the up, down, left, and right directions. However, it is difficult to determine the number and direction of the gesture when the directional gesture is a return gesture that moves a hand in a specific direction and returns to its original position, rather than a single gesture in which a hand moves and ends in a specific direction. In addition, when a reciprocating gesture is continuously taken, it can be mistaken for a hand gesture.

이를 해결하기 위해 제스처와 제스처 사이에 멈춤 시간을 삽입하거나 제스처의 입력을 종료시킨 후 다시 입력하는 방법 등을 이용한다. 이러한 방법은 사용자가 불편함을 느낄 수 있고, 사용자가 너무 짧은 시간 동안 제스처를 멈추는 경우 손을 흔드는 제스처로 오인식 될 수 있다.To solve this problem, a method of inserting a stop time between the gesture and the gesture or inputting the gesture after finishing the input of the gesture is used. Such a method can make the user feel uncomfortable and can be misinterpreted as a shaking gesture when the user stops the gesture for too short a time.

본 발명의 실시 예는 별도의 멈춤 시간 없이 연속적인 방향성 모션의 횟수를 인식하고, 연속적인 방향성 모션과 손을 흔드는 모션을 구분할 수 있는 차량용 제스처 인식 장치를 제공한다.The embodiment of the present invention provides a vehicle gesture recognizing device capable of recognizing the number of consecutive directional motions without a separate stop time and distinguishing the continuous directional motion from the hand shaking motion.

본 발명의 실시 예에 따른 차량용 제스처 인식 장치는 사용자의 손을 촬영하여 영상 정보를 생성하는 제스처 감지부; 상기 손에 의한 제스처를 인식하는 인식 방향을 설정하는 방향 설정부; 및 상기 영상 정보 및 상기 인식 방향에 따라 상기 손의 주변 영역에 가상의 경계선을 생성하고, 상기 경계선을 기준으로 상기 손의 이동 궤적을 추적하여 상기 제스처를 인식하는 제스처 인식부를 포함하고, 상기 손의 이동 궤적이 연속적인 방향성 제스처에 대응하는 경우 손이 제자리로 돌아오는 위치를 기준으로 상기 경계선의 위치를 이동시킨다.The gesture recognition apparatus for a vehicle according to an embodiment of the present invention includes a gesture detection unit for photographing a user's hand and generating image information; A direction setting unit for setting a recognition direction for recognizing the gesture by the hand; And a gesture recognition unit for generating a virtual boundary line in the peripheral region of the hand according to the image information and the recognition direction and recognizing the gesture by tracking the movement trajectory of the hand with respect to the boundary line, When the movement locus corresponds to a continuous directional gesture, the position of the boundary line is moved based on a position where the hand returns to the original position.

그리고, 상기 제스처 인식부는 상기 이동 궤적으로부터 상기 손이 상기 경계선을 지나간 방향을 검출하여 상기 제스처의 방향을 인식한다. 여기서, 상기 방향성 제스처는 상기 손이 시작 위치로부터 일정 방향으로 이동한 후, 상기 시작 위치로 돌아오는 왕복 제스처이다. 그리고, 상기 제스처 인식부는 상기 연속적인 방향성 제스처 중 다음 순서의 방향성 제스처에 의해 상기 손이 상기 경계선을 지나갈 때 이전 순서의 방향성 제스처를 인식한다.The gesture recognition unit detects the direction of the gesture by detecting the direction of the hand passing the boundary line from the movement trajectory. Here, the directional gesture is a reciprocating gesture in which the hand moves from the start position in a certain direction and then returns to the start position. The gesture recognition unit recognizes the directional gesture of the previous sequence when the hand passes the boundary by the directional gesture of the next sequential directional gesture.

또한, 상기 가상의 경계선은 주 경계선; 및 상기 주 경계선과 동일한 방향으로 상기 주 경계선의 내측 및 외측 중 어느 하나에 배치된 보조 경계선을 포함한다. 그리고, 상기 제스처 인식부는 상기 손이 상기 주 경계선 및 보조 경계선을 연속적으로 지나간 방향을 검출하여 상기 제스처의 방향을 인식한다. The virtual boundary line may be a main boundary line; And an auxiliary boundary line disposed on one of the inside and outside of the main boundary line in the same direction as the main boundary line. The gesture recognition unit recognizes the direction of the gesture by detecting a direction in which the hand continuously passes through the main boundary line and the auxiliary boundary line.

그리고, 상기 방향 설정부는 상기 손의 위치를 기준으로 상기 제스처에 의해 손이 이동하는 복수 개의 방향 중 선택된 방향을 상기 인식 방향으로 설정한다.The direction setting unit sets a selected one of a plurality of directions in which the hand moves by the gesture based on the position of the hand in the recognition direction.

본 발명의 실시 예는 사용자 별로 원하는 제스처의 방향에 따라 제스처를 인식하는 방향을 설정함으로써 사용자의 편의성을 향상시킬 수 있다.The embodiment of the present invention can improve the user's convenience by setting a direction for recognizing a gesture according to a direction of a desired gesture for each user.

또한, 본 발명의 실시 예는 제스처를 인식하기 위한 가상의 경계선을 이용하여 연속적으로 취해지는 방향성 제스처와 손을 흔드는 제스처를 구분하여 인식할 수 있다.In addition, the embodiment of the present invention can distinguish between a directional gesture continuously taken by using a virtual boundary line for recognizing a gesture and a hand gesture.

도 1은 본 발명의 실시 예에 따른 차량용 제스처 인식 장치를 도시한 도면.
도 2는 본 발명의 실시 예에 따른 제스처 인식 방향을 설명하기 위해 도시한 도면.
도 3은 본 발명의 실시 예에 따른 가상의 경계선을 설명하기 위해 도시한 도면.
도 4는 본 발명의 실시 예에 따른 제스처 인식 방법을 설명하기 위해 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram showing a gesture recognition apparatus for a vehicle according to an embodiment of the present invention. Fig.
FIG. 2 is a view for explaining a gesture recognition direction according to an embodiment of the present invention; FIG.
3 is a view for explaining a virtual boundary line according to an embodiment of the present invention;
4 is a diagram illustrating a gesture recognition method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다. 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention in the drawings, parts not related to the description are omitted. Like numbers refer to like parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between. Also, when a part is referred to as "including " an element, it does not exclude other elements unless specifically stated otherwise.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 첨부된 도면을 참조로 하여 상세히 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 차량용 제스처 인식 장치를 도시한 도면이고, 도 2는 본 발명의 실시 예에 따른 제스처 인식 방향을 설명하기 위해 도시한 도면이며, 도 3은 본 발명의 실시 예에 따른 가상의 경계선을 설명하기 위해 도시한 도면이다.FIG. 1 is a view showing a gesture recognition apparatus for a vehicle according to an embodiment of the present invention. FIG. 2 is a view for explaining a gesture recognition direction according to an embodiment of the present invention. Fig. 8 is a view for explaining a virtual boundary line according to the first embodiment.

도 1을 참조하면, 본 발명의 실시 예에 따른 차량용 제스처 인식 장치(1)는 제스처 감지부(10), 방향 설정부(20), 제스처 인식부(30) 및 제어부(40)를 포함한다. 제스처 감지부(10)는 사용자의 손을 촬영하여 영상 정보를 생성한다. Referring to FIG. 1, a vehicle gesture recognition apparatus 1 according to an embodiment of the present invention includes a gesture sensing unit 10, a direction setting unit 20, a gesture recognition unit 30, and a control unit 40. The gesture sensing unit 10 photographs a user's hand and generates image information.

이를 위해, 제스처 감지부(10)는 사용자의 손을 촬영하는 3D 카메라나 적외선 카메라 또는 손의 움직임을 감지하는 모션 센서 등을 적어도 하나 이상 포함할 수 있다. 여기서, 카메라나 모션 센서는 사용자와 근접한 위치, 예컨대 운전석의 앞 부분에 설치될 수 있다.For this, the gesture detection unit 10 may include at least one or more of a 3D camera for photographing the user's hand, an infrared camera, or a motion sensor for detecting the motion of the hand. Here, the camera or the motion sensor may be installed at a position close to the user, for example, in front of the driver's seat.

방향 설정부(20)는 사용자에 의해 조작되어 제스처를 인식하는 방향을 설정한다. 여기서, 제스처의 인식 방향은 도 2에 도시된 바와 같이, 좌우의 2방향(a), 상하의 2방향(b), 정 삼각형의 3방향(c), 역 삼각형의 3방향(d), 정 사각형의 4방향(e) 등 사용자가 제스처를 취하고자 하는 방향이다. 예컨대, 사용자가 좌우의 2방향의 제스처만 취하고자 할 경우 제스처의 인식 방향을 좌우의 2방향(a)으로 설정할 수 있다. The direction setting unit 20 sets the direction in which the gesture is recognized by the user. As shown in Fig. 2, the gesture recognition direction is divided into two directions (a), (b), (c) (E) in the direction of the user's gesture. For example, when the user intends to take only two gestures in the left and right directions, the recognition direction of the gesture can be set to the left and right two directions (a).

그리고, 방향 설정부(20)는 사용자가 취할 수 있는 제스처를 고려하여 미리 제스처의 인식 방향을 2방향, 3방향 및 4방향 등 n개의 방향으로 설정하고, 사용자의 조작에 의해 선택된 개수의 방향을 제스처의 인식 방향을 설정할 수 있다.The direction setting unit 20 sets the direction of recognition of the gesture in advance in n directions such as two directions, three directions and four directions in consideration of a gesture that the user can take, and sets the direction of the number selected by the user You can set the recognition direction of the gesture.

예컨대, 2방향으로 제스처의 인식 방향을 설정하는 경우 사용자는 좌측 방향 또는 우측 방향으로 손을 이동시키거나, 좌우 방향으로 손을 흔드는 등의 제스처를 취할 수 있다. 또한, 4방향으로 제스처의 인식 방향을 설정하는 경우 사용자는 상하좌우 방향 각각으로 손을 이동시키거나, 상하 방향 또는 좌우 방향으로 손을 흔드는 등의 제스처를 취할 수 있다.For example, when the recognition direction of the gesture is set in two directions, the user can take a gesture such as moving his or her hand in the left or right direction, or swinging the hand in the left or right direction. In addition, when setting the recognition direction of the gesture in four directions, the user can take a gesture such as moving his or her hand in the up, down, left, or right direction, or swinging the hand in the up or down direction or the left or right direction.

본 발명의 실시 예는 이러한 제스처 중 방향성 제스처와 손을 흔드는 제스처를 예를 들어 설명하며, 이하에서 설명하는 방향성 제스처는 특정 방향으로 손을 이동시킨 후 제자리로 다시 돌아오는 왕복(return) 제스처인 것으로 정의하여 설명한다. 사용자가 왕복 제스처를 취할 경우 손은 특정 방향으로 이동하고, 멈추는 시간 없이 연속적으로 처음 위치로 돌아올 수 있다. Embodiments of the present invention will exemplify a directional gesture and a hand gesture among the gestures. The directional gesture described below is a return gesture that moves a hand in a specific direction and then returns to the place . When the user takes a reciprocating gesture, the hand moves in a certain direction and can return to its original position continuously without any stopping time.

제스처 인식부(30)는 영상 정보 및 설정된 인식 방향에 따라 손의 주변 영역에 가상의 경계선(OL)을 설정하고, 경계선(OL)을 기준으로 손의 이동 궤적을 추적하여 제스처를 인식한다.The gesture recognition unit 30 recognizes the gesture by setting a virtual boundary line OL in the peripheral region of the hand according to the image information and the set recognition direction and tracking the movement trace of the hand with respect to the boundary line OL.

여기서, 경계선(OL)은 도 3에 도시된 바와 같이, 주 경계선(OLM) 및 보조 경계선(OLS)을 포함할 수 있다. 보조 경계선(OLS)은 주 경계선(OLM)과 동일한 방향으로 생성되고, 주 경계선(OLM)의 내부 또는 외부에 배치될 수 있다.Here, the boundary line OL may include a main boundary line OLM and an auxiliary boundary line OLS, as shown in FIG. The auxiliary boundary line OLS is generated in the same direction as the main boundary line OLM, and may be disposed inside or outside the main boundary line OLM.

이와 같이, 경계선(OL)을 2개로 생성하는 경우 제스처 인식부(30)는 손이 주 경계선(OLM) 및 보조 경계선(OLS)을 연속적으로 지나간 경우에만 손의 움직임을 인식한다. 따라서, 경계선(OL)을 하나만 생성하는 것에 비해 차량의 진동 등으로 인해 경계선(OL) 상의 손의 떨림 현상에 의해 제스처를 오인식 하는 것을 방지할 수 있다. In this way, when two boundary lines OL are generated, the gesture recognition unit 30 recognizes the movement of the hand only when the hand passes continuously through the main boundary line OLM and the auxiliary boundary line OLS. Accordingly, it is possible to prevent the gesture from being mistaken by the vibration of the hand on the boundary line OL due to vibration of the vehicle or the like, as compared with generating only one boundary line OL.

구체적으로, 제스처 인식부(30)는 영상 정보로부터 손을 감지하고, 감지된 손의 위치를 기준으로 설정된 인식 방향에 경계선(OL)을 생성한다. 제스처 인식부(30)는 감지된 손의 위치로부터 손의 이동 궤적을 추적하여 제스처의 시작과 종료 위치를 판단하고, 손이 경계선(OL)을 넘어간 경우 손이 지나간 경계선(OL)의 방향을 판단한다. 여기서, 제스처 인식부(30)는 제스처가 멈추는 위치를 종료 위치로 판단할 수 있다. 제스처 인식부(30)는 판단된 제스처의 시작과 종료 위치 및 손이 지나간 경계선(OL)의 방향에 따라 제스처를 인식한다. Specifically, the gesture recognition unit 30 senses the hand from the image information, and generates a boundary line OL in the recognition direction set based on the position of the sensed hand. The gesture recognition unit 30 tracks the movement trajectory of the hand from the detected position of the hand to determine the start and end positions of the gesture and determines the direction of the boundary line OL when the hand crosses the boundary line OL do. Here, the gesture recognition unit 30 can determine the stop position of the gesture as the end position. The gesture recognition unit 30 recognizes the gesture according to the start and end positions of the determined gesture and the direction of the boundary line OL passing by the hand.

예컨대, 제스처 인식부(30)는 손이 시작 위치로부터 좌우 방향의 경계선(OL)을 순차적으로 지나가서 종료된 경우 손을 흔드는 제스처로 인식할 수 있다. 또한, 제스처 인식부(30)는 손이 시작 위치로부터 특정 방향의 경계선(OL)을 지나가서 종료된 경우 방향성 제스처로 인식할 수 있다. For example, the gesture recognition unit 30 can recognize the gesture as a hand-waving gesture when the hand sequentially passes through the boundary line OL in the left-right direction from the start position and is finished. In addition, the gesture recognition unit 30 can recognize the gesture recognition unit 30 as a directional gesture when the hand passes through the boundary line OL in a specific direction from the start position.

또한, 제스처 인식부(30)는 연속적인 방향성 제스처인 경우 손이 제자리로 돌아오는 위치를 기준으로 경계선(OL)의 위치를 조정한다. 즉, 제스처 인식부(30)는 손이 제자리로 돌아올 때마다 제스처의 시작 위치를 제자리로 돌아온 손의 위치로 재 설정하여 경계선(OL)을 생성한다. 연속적인 방향성 제스처를 인식하는 방법은 이하의 도 4의 설명을 참조하여 자세히 설명한다. In addition, the gesture recognition unit 30 adjusts the position of the boundary line OL based on a position where the hand returns to the original position in the case of a continuous directional gesture. That is, the gesture recognition unit 30 resets the starting position of the gesture to the position of the hand that has returned to the proper position each time the hand returns to the position, thereby creating the boundary line OL. The method of recognizing the continuous directional gesture will be described in detail with reference to the description of FIG. 4 below.

한편, 제스처 인식부(30)는 미리 설정된 제스처 입력 조건을 이용하여 사용자의 의도를 판단하고, 판단된 사용자의 의도에 따라 제스처를 무시하거나 인식할 수 있다. 예컨대, 제스처 인식부(30)는 사용자가 손가락을 'V'자로 만들거나, 손가락을 모두 펼친 포즈 등을 취하는 경우 사용자가 의도적으로 제스처를 입력하는 것으로 판단할 수 있다.Meanwhile, the gesture recognition unit 30 may determine a user's intention using a preset gesture input condition, and may ignore or recognize the gesture according to the determined user's intention. For example, the gesture recognition unit 30 may determine that the user intentionally inputs a gesture when the user makes a finger with a 'V' character, or takes a pose that expands all the fingers.

또한, 제스처 인식부(30)는 손의 이력 현상(hysteresis), 예컨대 손의 움직임 속도, 손이 위치하는 영역, 손의 이동 거리, 포즈 유지 시간 등으로 사용자가 의도적으로 제스처를 입력하는지 여부를 판단할 수 있다. 손의 움직임이 느리거나, 손이 특정 관심 영역에 위치하는 경우 사용자가 의도적으로 제스처를 입력하는 것으로 판단할 수 있다.In addition, the gesture recognition unit 30 judges whether or not the user intentionally inputs the gesture based on the hysteresis of the hand, for example, the speed of movement of the hand, the area where the hand is located, the moving distance of the hand, can do. It can be determined that the user intentionally enters the gesture when the movement of the hand is slow or when the hand is located in a specific area of interest.

그리고, 제어부(40)는 제스처 인식부(30)를 통해 인식된 제스처에 따라 차량 내부의 정보 기기(미도시)의 구동을 제어한다. 예컨대, 제어부(40)는 오디오의 볼륨을 높이거나, 에어컨의 온도를 낮추는 등의 제어 동작을 수행할 수 있다.The controller 40 controls the driving of an information device (not shown) in the vehicle according to the gesture recognized through the gesture recognition unit 30. [ For example, the control unit 40 may perform control operations such as increasing the volume of audio or lowering the temperature of the air conditioner.

도 4는 본 발명의 실시 예에 따른 제스처 인식 방법을 설명하기 위해 도시한 도면으로, 사용자가 연속적으로 방향성 제스처를 취한 경우를 예를 들어 설명한다.FIG. 4 is a diagram for explaining a gesture recognition method according to an embodiment of the present invention. A case where a user takes a directional gesture continuously will be described by way of example.

도 4를 참조하면, 먼저 제스처 감지부(10)는 사용자의 손(H)을 촬영하여 영상 정보를 생성한다. 이때, 제스처의 인식 방향은 정 사각형의 4방향으로 설정된 것으로 가정하여 설명한다.Referring to FIG. 4, the gesture sensing unit 10 photographs a user's hand H and generates image information. At this time, it is assumed that the recognition direction of the gesture is set to four directions of the rectangle.

그러면, 제스처 인식부(30)는 영상 정보로부터 손(H)을 감지하고, 감지된 손(H)을 기준으로 상하좌우 방향에 경계선(OL)을 생성한다. 그리고, 제스처 인식부(30)는 손(H)의 이동 궤적 및 손(H)이 넘어간 경계선(OL)의 방향으로 제스처를 인식한다.Then, the gesture recognition unit 30 senses the hand H from the image information, and generates a boundary line OL in the up, down, left, and right directions based on the sensed hand H. Then, the gesture recognition unit 30 recognizes the gesture in the direction of the movement trajectory of the hand H and the boundary line OL over which the hand H crosses.

이때, 손(H)의 이동 궤적은 시작 위치(S1)부터 첫번째로 오른쪽 방향의 경계선(OL)을 지나고, 다시 왼쪽 방향으로 이동하여 제자리로 돌아온다. 일반적으로 연속적인 방향성 제스처를 취하는 경우 손(H)은 시작 위치(S1)로 정확하게 돌아오는 것이 아니라 시작 위치(S1) 근방으로 돌아온다. 예컨대, 손(H)은 시작 위치(S1)보다 오른쪽으로 이동한 위치(S2)로 돌아올 수 있다. At this time, the movement trajectory of the hand H passes through the boundary OL in the first direction from the start position S1, moves back to the left direction, and returns to its original position. In general, when taking a continuous directional gesture, the hand H does not return accurately to the start position S1 but returns to the vicinity of the start position S1. For example, the hand H may return to the position S2 shifted to the right from the start position S1.

그리고, 손(H)이 돌아온 위치(S2)부터 두번째로 오른쪽 방향의 경계선(OL)을 지난다. 이때, 제스처 인식부(30)는 첫번째 방향성 제스처를 인식하고, 손(H)이 돌아온 위치(S2)를 기준으로 경계선(OL)을 이동시킨다.Then, the second boundary line OL passes from the position S2 where the hand H returns. At this time, the gesture recognition unit 30 recognizes the first directional gesture and moves the boundary line OL based on the position S2 at which the hand H returns.

이 상태에서 손(H)이 다시 왼쪽 방향으로 이동하여 제자리로 돌아온다. 이때, 손(H)이 돌아온 위치(S3)는 두번째 방향성 제스처의 시작 위치(S2)보다 오른쪽으로 이동한 위치이다. 그리고, 손(H)이 다시 오른쪽 방향으로 이동하여 오른쪽 방향의 경계선(OL)을 지난다. 이때, 제스처 인식부(30)는 두번째 방향성 제스처를 인식하고, 손(H)이 돌아온 위치(S3)를 기준으로 경계선(OL)을 이동시킨다.In this state, the hand H moves back to the left direction and returns to its original position. At this time, the position S3 where the hand H returns is a position shifted to the right from the start position S2 of the second directional gesture. Then, the hand H moves again in the right direction and passes the boundary line OL in the right direction. At this time, the gesture recognition unit 30 recognizes the second directional gesture and moves the boundary line OL based on the position S3 at which the hand H returns.

이와 같은 과정을 반복하여 제스처 인식부(30)는 연속적으로 취해지는 방향성 제스처 각각을 구분하여 인식할 수 있고, 손을 흔드는 제스처로 오인식하는 것을 방지할 수 있다. By repeating this process, the gesture recognition unit 30 can distinguish and recognize each of the directional gestures continuously taken, and it is possible to prevent misdirection as a hand gesture.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

10: 제스처 감지부
20: 방향 설정부
30: 제스처 인식부
40: 제어부10: Gesture detection unit
20:
30: Gesture recognition unit
40:

Claims (7)

사용자의 손을 촬영하여 영상 정보를 생성하는 제스처 감지부;
상기 손에 의한 제스처를 인식하는 인식 방향을 설정하는 방향 설정부; 및
상기 영상 정보 및 상기 인식 방향에 따라 상기 손의 주변 영역에 가상의 경계선을 생성하고, 상기 경계선을 기준으로 상기 손의 이동 궤적을 추적하여 상기 제스처를 인식하는 제스처 인식부를 포함하고,
상기 제스처 인식부는,
상기 손의 이동 궤적이 연속적인 방향성 제스처에 대응하는 경우 상기 손이 제자리로 돌아오는 위치를 기준으로 상기 경계선의 위치를 이동시키고,
상기 가상의 경계선은,
주 경계선; 및
상기 주 경계선과 동일한 방향으로 상기 주 경계선의 내측 및 외측 중 어느 하나에 배치된 보조 경계선을 포함하는 차량용 제스처 인식 장치.A gesture sensing unit for sensing a user's hand and generating image information;
A direction setting unit for setting a recognition direction for recognizing the gesture by the hand; And
And a gesture recognition unit for generating a virtual boundary line in the peripheral region of the hand according to the image information and the recognition direction and recognizing the gesture by tracking the movement trajectory of the hand on the basis of the boundary line,
The gesture recognizing unit recognizes,
When the movement trajectory of the hand corresponds to a continuous directional gesture, moves the position of the boundary line with respect to a position where the hand returns to the position,
The imaginary boundary line may be defined by:
State boundaries; And
And an auxiliary boundary line disposed on one of an inner side and an outer side of the main boundary line in the same direction as the main boundary line. 제1 항에 있어서,
상기 제스처 인식부는
상기 이동 궤적으로부터 상기 손이 상기 경계선을 지나간 방향을 검출하여 상기 제스처의 방향을 인식하는 차량용 제스처 인식 장치.The method according to claim 1,
The gesture recognition unit
And recognizes the direction of the gesture by detecting a direction that the hand passes the boundary line from the movement trajectory. 제1 항에 있어서,
상기 방향성 제스처는 상기 손이 시작 위치로부터 일정 방향으로 이동한 후, 상기 시작 위치로 돌아오는 왕복 제스처인 차량용 제스처 인식 장치.The method according to claim 1,
Wherein the directional gesture is a reciprocating gesture that returns to the start position after the hand moves in a certain direction from a start position. 제1 항에 있어서,
상기 제스처 인식부는
상기 연속적인 방향성 제스처 중 다음 순서의 방향성 제스처에 의해 상기 손이 상기 경계선을 지나갈 때 이전 순서의 방향성 제스처를 인식하는 차량용 제스처 인식 장치.The method according to claim 1,
The gesture recognition unit
And recognizes a directional gesture of the previous sequence when the hand passes the boundary line by the directional gesture of the next sequential directional gesture. 삭제delete 제1 항에 있어서,
상기 제스처 인식부는
상기 손이 상기 주 경계선 및 보조 경계선을 연속적으로 지나간 방향을 검출하여 상기 제스처의 방향을 인식하는 차량용 제스처 인식 장치.The method according to claim 1,
The gesture recognition unit
And recognizes a direction of the gesture by detecting a direction in which the hand continuously passes through the main boundary line and the auxiliary boundary line. 제1 항에 있어서,
상기 방향 설정부는
상기 손의 위치를 기준으로 상기 제스처에 의해 손이 이동하는 복수 개의 방향 중 사용자의 조작에 의해 선택된 방향을 상기 인식 방향으로 설정하는 차량용 제스처 인식 장치.The method according to claim 1,
The direction setting unit
And sets the direction selected by the user's operation among the plurality of directions in which the hand moves by the gesture based on the position of the hand in the recognition direction.
KR20130159340A 2013-12-19 2013-12-19 Gesture recognize apparatus for vehicle KR101500412B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130159340A KR101500412B1 (en) 2013-12-19 2013-12-19 Gesture recognize apparatus for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130159340A KR101500412B1 (en) 2013-12-19 2013-12-19 Gesture recognize apparatus for vehicle

Publications (1)

Publication Number Publication Date
KR101500412B1 true KR101500412B1 (en) 2015-03-09

Family

ID=53026860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130159340A KR101500412B1 (en) 2013-12-19 2013-12-19 Gesture recognize apparatus for vehicle

Country Status (1)

Country Link
KR (1) KR101500412B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289180A (en) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 Method, medium and the terminal installation of video are handled according to limb action
CN108418731A (en) * 2018-03-21 2018-08-17 国网上海市电力公司 A kind of secondary small line virtual connection test method of unit/terminal
CN116193243A (en) * 2021-11-25 2023-05-30 荣耀终端有限公司 Shooting method and electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090111913A (en) * 2008-04-23 2009-10-28 엠텍비젼 주식회사 Motion detecting method and apparatus
JP2012098987A (en) * 2010-11-04 2012-05-24 Nippon Telegr & Teleph Corp <Ntt> Gesture recognition device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090111913A (en) * 2008-04-23 2009-10-28 엠텍비젼 주식회사 Motion detecting method and apparatus
JP2012098987A (en) * 2010-11-04 2012-05-24 Nippon Telegr & Teleph Corp <Ntt> Gesture recognition device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289180A (en) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 Method, medium and the terminal installation of video are handled according to limb action
CN108289180B (en) * 2018-01-30 2020-08-21 广州市百果园信息技术有限公司 Method, medium, and terminal device for processing video according to body movement
CN108418731A (en) * 2018-03-21 2018-08-17 国网上海市电力公司 A kind of secondary small line virtual connection test method of unit/terminal
CN108418731B (en) * 2018-03-21 2021-04-27 国网上海市电力公司 Single-terminal secondary small-line virtual connection test method
CN116193243A (en) * 2021-11-25 2023-05-30 荣耀终端有限公司 Shooting method and electronic equipment
CN116193243B (en) * 2021-11-25 2024-03-22 荣耀终端有限公司 Shooting method and electronic equipment

Similar Documents

Publication Publication Date Title
EP2933130B1 (en) Vehicle control apparatus and method thereof
KR102029842B1 (en) System and control method for gesture recognition of vehicle
US9104243B2 (en) Vehicle operation device
JP5261554B2 (en) Human-machine interface for vehicles based on fingertip pointing and gestures
KR101459441B1 (en) System and method for providing a user interface using finger start points shape recognition in a vehicle
US10725655B2 (en) Operation apparatus
US20130204457A1 (en) Interacting with vehicle controls through gesture recognition
EP3260331A1 (en) Information processing device
US9052750B2 (en) System and method for manipulating user interface by 2D camera
KR101575650B1 (en) Terminal, vehicle having the same and method for controlling the same
JP5427385B2 (en) Operation control device and operation display method
US20170108988A1 (en) Method and apparatus for recognizing a touch drag gesture on a curved screen
KR20170109283A (en) Vehicle and method for controlling vehicle
KR20140104415A (en) Vehicle operating device
US20140379212A1 (en) Blind control system for vehicle
KR101534745B1 (en) Gesture recognize apparatus
KR20140079159A (en) System and method for providing a user interface using wrist angle in a vehicle
CN105739679A (en) Steering wheel control system
KR101542502B1 (en) Vehicle control apparatus and method thereof
KR101500412B1 (en) Gesture recognize apparatus for vehicle
CN116529125A (en) Method and apparatus for controlled hand-held steering wheel gesture interaction
CN105759955B (en) Input device
CN107636567B (en) Method for operating an operating device and operating device for a motor vehicle
KR20140079025A (en) Method for providing a user interface using leg gesture recognition in a vehicle
KR101500413B1 (en) Gesture recognize apparatus for vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 5