KR20140055033A - System and method for recognizing gesture and method of controlling a vehicle using the method - Google Patents

System and method for recognizing gesture and method of controlling a vehicle using the method Download PDF

Info

Publication number
KR20140055033A
KR20140055033A KR1020120121279A KR20120121279A KR20140055033A KR 20140055033 A KR20140055033 A KR 20140055033A KR 1020120121279 A KR1020120121279 A KR 1020120121279A KR 20120121279 A KR20120121279 A KR 20120121279A KR 20140055033 A KR20140055033 A KR 20140055033A
Authority
KR
South Korea
Prior art keywords
gesture
gesture information
driver
information
unit
Prior art date
Application number
KR1020120121279A
Other languages
Korean (ko)
Other versions
KR101979026B1 (en
Inventor
정재헌
Original Assignee
르노삼성자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르노삼성자동차 주식회사 filed Critical 르노삼성자동차 주식회사
Priority to KR1020120121279A priority Critical patent/KR101979026B1/en
Publication of KR20140055033A publication Critical patent/KR20140055033A/en
Application granted granted Critical
Publication of KR101979026B1 publication Critical patent/KR101979026B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a system for recognizing gesture and comprises a camera unit for acquiring image data about gestures of a driver; a first processing unit for acquiring first gesture information acquired by comparing the acquired image data with preset gesture information; a sensor unit for sensing infrared rays generated from gestures of the driver; a second processing unit for acquiring second gesture information by comparing the sensed infrared rays with the preset gesture information; and a determining unit for determining gesture information of the driver by comparing the first and second gesture information. The system for recognizing gesture uses both the camera and sensor unit, thereby improving the efficiency and reliability of gesture recognition.

Description

제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법{System and method for recognizing gesture and method of controlling a vehicle using the method}[0001] The present invention relates to a gesture recognition system and method, and a vehicle control method using the method. [0002]

본 발명은 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법에 관한 것으로, 보다 상세하게는 차량을 운전하는 운전자의 제스처를 포토레지스트를 제거하기 위한 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법에 관한 것이다.The present invention relates to a gesture recognition system and method, and a vehicle control method using the method. More particularly, the present invention relates to a gesture recognition system and method for removing a photoresist and a vehicle control method using the method ≪ / RTI >

일반적으로, 운전자가 제스처를 이용하여 차량을 제어하기 위해서는 상기 제스처의 인식이 필요하다. 상기 제스처를 인식하기 위한 다양한 시스템이 존재한다. 예를 들면, 카메라를 이용하여 상기 제스처 영상을 획득한 후, 상기 획득 영상을 처리하여 상기 제스처를 인식할 수 있다. 한국공개특허 제10-2012-0067089호에는 카메라를 이용하여 제스처를 인식하는 기술이 개시되어 있다. In general, in order for a driver to control a vehicle using a gesture, recognition of the gesture is necessary. There are various systems for recognizing the gesture. For example, after acquiring the gesture image using a camera, the gesture can be recognized by processing the acquired image. Korean Patent Laid-Open No. 10-2012-0067089 discloses a technique of recognizing a gesture using a camera.

상기 카메라를 이용한 제스처 인식 시스템은 상기 제스처를 정밀하게 인식할수 있다. 하지만, 상기 인식 시스템은 야간이나 어두운 장소에서 제스처의 인식률이 저하되거나 잘못 인식할 수 있다. 또한, 상기 인식 시스템은 거리 인식이 어려우므로, 운전자가 무심코 한 동작을 제스처로 잘못 인식할 수도 있다. The gesture recognition system using the camera can recognize the gesture precisely. However, the recognition system may degrade or misrecognize the gesture at night or in a dark place. Further, since the recognition system is difficult to recognize the distance, the driver may erroneously recognize an unintentional operation as a gesture.

본 발명은 야간이나 어두운 장소에서도 제스처를 정확하게 인식하며, 거리에 따라 선택적으로 제스처를 인식할 수 있는 제스처 인식 시스템을 제공한다. The present invention provides a gesture recognition system that recognizes a gesture accurately at night or in a dark place and selectively recognizes the gesture according to the distance.

본 발명은 상기 제스처 인식 시스템을 이용한 제스처 인식 방법을 제공한다.The present invention provides a gesture recognition method using the gesture recognition system.

본 발명은 상기 제스처 인식 방법을 이용한 차량 제어 방법을 제공한다. The present invention provides a vehicle control method using the gesture recognition method.

본 발명에 따른 제스처 인식 시스템은 운전자의 제스처에 대한 영상 데이터를 획득하는 카메라부와, 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 제1 처리부와, 상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 센서부와, 상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 제2 처리부 및 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 판단부를 포함할 수 있다.A gesture recognition system according to the present invention includes a camera unit for acquiring image data of a gesture of a driver, a first processor for analyzing the acquired image data and comparing the gesture information with predetermined gesture information to acquire first gesture information, A second processing unit for analyzing the detected infrared rays and comparing the detected infrared rays with predetermined gesture information to obtain second gesture information, and a second processing unit for comparing the first gesture information and the second gesture information, And a determination unit for comparing the gesture information and determining the gesture information of the driver's gesture.

본 발명의 일 실시예들에 따르면, 상기 제스처 인식 시스템은 상기 운전자의 제스처가 상기 카메라부 및 상기 센서부와 기 설정된 거리 이내에서 이루어지는 것을 감지하여 상기 카메라부 및 상기 센서부가 활성화하기 위한 신호를 송신하는 활성화부를 더 포함할 수 있다. According to one embodiment of the present invention, the gesture recognition system senses that the gesture of the driver is within a predetermined distance from the camera unit and the sensor unit, and transmits a signal for activating the camera unit and the sensor unit And an activating unit for activating the display unit.

본 발명의 일 실시예들에 따르면, 상기 제스처 인식 시스템은 상기 기 설정된 특정 제스처 정보 및 상기 특정 제스처 정보에 따른 제어 신호를 저장하는 저장부를 더 포함할 수 있다. According to an embodiment of the present invention, the gesture recognition system may further include a storage unit for storing control signals according to the predetermined gesture information and the specific gesture information.

본 발명의 일 실시예들에 따르면, 상기 판단부는 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단하고, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단하며, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나 상기 제1 제스처 정보와 상기 제2 제스처 정보가 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단할 수 있다. According to an embodiment of the present invention, when both the first gesture information and the second gesture information are obtained and the first gesture information and the second gesture information are the same, The second gesture information is determined as the gesture information of the driver's gesture, and when either one of the first gesture information and the second gesture information is acquired, the gesture information obtained is used as a gesture for the driver's gesture If the first gesture information and the second gesture information are not both acquired or the first gesture information is different from the second gesture information, it is determined that there is no gesture information for the driver's gesture have.

본 발명의 일 실시예들에 따르면, 상기 제스처 인식 시스템은 상기 판단부가 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 요청하는 알람부를 더 포함할 수 있다. According to an embodiment of the present invention, the gesture recognition system may further include an alarm unit for requesting the driver to request the gesture again when the determination unit determines that there is no gesture information for the driver's gesture.

본 발명에 따른 제스처 인식 방법은 운전자의 제스처에 대한 영상 데이터를 획득하는 단계와, 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 단계와, 상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 단계와, 상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 단계 및 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 단계를 포함할 수 있다. The gesture recognition method according to the present invention includes the steps of acquiring image data of a driver's gesture, analyzing the acquired image data and comparing the gesture information with predetermined gesture information to obtain first gesture information, The method comprising the steps of: detecting infrared rays generated by a gesture; analyzing the detected infrared rays and comparing the detected infrared rays with predetermined gesture information to obtain second gesture information; and comparing the first gesture information and the second gesture information, And judging gesture information on the driver's gesture.

본 발명의 일 실시예들에 따르면, 상기 제스처 인식 방법은 상기 운전자의 제스처가 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지는지를 확인하는 단계 및 상기 운전자의 제스처가 상기 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지면, 상기 카메라부와 센서부를 활성화하는 단계를 더 포함할 수 있다. According to an embodiment of the present invention, the gesture recognition method further includes the steps of: confirming whether the gesture of the driver is within a predetermined distance from the camera unit and the sensor unit; And activating the camera unit and the sensor unit when the distance is within the predetermined distance.

본 발명의 일 실시예들에 따르면, 상기 제스처 정보를 판단하는 단계는 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단하고, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단하며, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나 상기 제1 제스처 정보와 상기 제2 제스처 정보가 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단할 수 있다. According to an embodiment of the present invention, the step of determining the gesture information may include: when the first gesture information and the second gesture information are both obtained and the first gesture information and the second gesture information are the same, 1 gesture information and the second gesture information as gesture information for the driver's gesture, and when either the first gesture information or the second gesture information is acquired, If the first gesture information and the second gesture information are not both acquired, or if the first gesture information and the second gesture information are different from each other, gesture information on the driver's gesture is determined as gesture information on the gesture of the driver It can be judged to be absent.

본 발명의 일 실시예들에 따르면, 상기 제스처 인식 방법은 상기 판단부가 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 수행하도록 요청하는 단계를 더 포함할 수 있다. According to an embodiment of the present invention, the gesture recognition method may further include, when the determination unit determines that there is no gesture information for the driver's gesture, requesting the driver to perform the gesture again .

본 발명에 따른 차량 제어 방법은 운전자의 제스처에 대한 제스처 정보를 인식하는 단계와, 상기 제스처 정보에 대응하는 제어 신호를 차량 제어부로 전달하는 단계 및 상기 제어 신호에 따라 차량 제어부가 상기 차량의 제어하는 단계를 포함하며, 상기 운전자의 제스처에 대한 제스처 정보를 인식하는 단계는 상기 운전자의 제스처에 대한 영상 데이터를 획득하는 단계와, 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 단계와, 상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 단계와, 상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 단계 및 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 단계를 포함할 수 있다. The vehicle control method according to the present invention includes the steps of recognizing gesture information on a gesture of a driver, transmitting a control signal corresponding to the gesture information to a vehicle control unit, and controlling the vehicle control unit Wherein the step of recognizing the gesture information of the driver's gesture includes the steps of acquiring image data of the driver's gesture, analyzing the acquired image data, comparing the gesture information with predetermined gesture information, The method comprising the steps of: obtaining gesture information; detecting infrared rays generated from a gesture of the driver; analyzing the detected infrared rays and comparing the detected infrared rays with predetermined gesture information to obtain second gesture information; Information on the gesture of the driver by comparing the second gesture information with the second gesture information And judging gesture information.

본 발명에 따른 제스처 인식 시스템 및 방법은 카메라부와 센서부를 이용하여 운전자의 제스처를 인식하므로, 야간이나 어두운 장소에서도 제스처를 정확하게 인식할 수 있다. The gesture recognition system and method according to the present invention recognize the gesture of the driver by using the camera unit and the sensor unit, so that the gesture can be accurately recognized even at night or in a dark place.

또한, 상기 제스처 인식 시스템 및 방법은 일정 거리 이내에서 이루어지는 제스처만을 선택적으로 인식할 수 있으므로, 운전자가 무심코 한 동작이 제스처로 오인되는 것을 방지할 수 있다. In addition, the gesture recognition system and method can selectively recognize a gesture occurring within a predetermined distance, thereby preventing a driver from misunderstanding an unintentional gesture.

그리고, 본 발명의 차량 제어 방법은 제스처 인식을 이용하여 차량을 제어하므로, 차량 제어 편의성을 향상시킬 수 있다. Further, the vehicle control method of the present invention controls the vehicle using gesture recognition, so that the vehicle control convenience can be improved.

도 1은 본 발명의 일 실시예에 따른 제스처 인식 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하기 위한 순서도이다. 1 is a block diagram for explaining a gesture recognition system according to an embodiment of the present invention.
2 is a flowchart illustrating a gesture recognition method according to an exemplary embodiment of the present invention.
3 is a flowchart for explaining a vehicle control method according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다. Hereinafter, a gesture recognition system and method according to an embodiment of the present invention and a vehicle control method using the method will be described in detail with reference to the accompanying drawings. The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It should be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing. In the accompanying drawings, the dimensions of the structures are enlarged to illustrate the present invention in order to clarify the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a part or a combination thereof is described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

도 1은 본 발명의 일 실시예에 따른 제스처 인식 시스템을 설명하기 위한 블록도이다. 1 is a block diagram for explaining a gesture recognition system according to an embodiment of the present invention.

도 1을 참조하면, 제스처 인식 시스템(100)은 차량에 구비되며, 운전자가 상기 차량의 제어를 위해 취하는 제스처(Gesture)를 인식한다. 상기 제스처는 운전자가 취하는 동작을 의미한다. 상기 동작은 주로 손동작을 의미하며, 눈 깜빡임 등을 포함할 수도 있다. Referring to FIG. 1, the gesture recognition system 100 is provided in a vehicle, and recognizes a gesture that the driver takes for controlling the vehicle. The gesture means an action taken by the driver. This operation mainly refers to hand movement, and may include blinking of eyes and the like.

제스처 인식 시스템(100)은 카메라부(110), 센서부(120), 활성화부(130), 제1 처리부(140), 제2 처리부(150), 저장부(160), 판단부(170) 및 알람부(180)를 포함한다. The gesture recognition system 100 includes a camera unit 110, a sensor unit 120, an activation unit 130, a first processing unit 140, a second processing unit 150, a storage unit 160, a determination unit 170, And an alarm unit 180.

카메라부(110)는 운전자의 제스처에 대한 영상 데이터를 획득한다. 카메라부(80)는 렌즈를 통해 촬상되는 영상을 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서(도시되지 않음)와, 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부(도시되지 않음)를 구비한다. 상기 카메라 센서는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서가 적용될 수 있고, 신호처리부는 DSP(Digital Signal Processor)로 구현될 수 있으나, 이에 한정되는 것은 아니다. 카메라부(80)는 카메라 기능을 이용하기 위한 입력 신호가 수신되는 경우에 활성화될 수 있다.The camera unit 110 acquires image data of the driver's gesture. The camera unit 80 includes a camera sensor (not shown) that captures an image captured through a lens and converts the photographed optical signal into an electrical signal, a signal that converts an analog video signal photographed by the camera sensor into digital data And a processing unit (not shown). The camera sensor may be a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. The signal processor may be implemented by a DSP (Digital Signal Processor), but is not limited thereto. The camera unit 80 can be activated when an input signal for using the camera function is received.

센서부(120)는 상기 운전자의 제스처로부터 발생하는 적외선을 감지한다. 센서부(120)는 빛을 발광하고, 외부로부터 입력되는 사용자의 움직임 또는 물체의 움직임 등과 같은 물리적 신호를 감지하여 신호 처리부(미도시)로 전송할 수 있다. 이때, 센서부(120)는 외부 물체가 감지 영역 내로 접근하는 것을 적외선을 이용하여 감지하는 적외선 센서(Infrared Sensor)를 사용할 수 있다. The sensor unit 120 senses infrared rays generated from the driver's gesture. The sensor unit 120 emits light and senses a physical signal such as a movement of a user or a movement of an object input from the outside, and transmits the sensed physical signal to a signal processing unit (not shown). At this time, the sensor unit 120 may use an infrared sensor that detects the approach of an external object to the sensing area by using infrared rays.

센서부(120)는 일정한 감지 영역을 가지므로, 센서부(120)는 센서의 기능을 이용하기 위한 입력 신호가 없더라도 기 설정된 거리 이내에서 상기 운전자의 제스처가 이루어지는 경우에 활성화될 수 있다. 센서부(120)가 활성화되면서 센서부(120)에서 카메라부(110)를 활성화시키기 위한 입력 신호를 카메라부(110)로 송신할 수 있다. Since the sensor unit 120 has a predetermined sensing area, the sensor unit 120 can be activated when the driver's gesture is performed within a predetermined distance even if there is no input signal for using the function of the sensor. The sensor unit 120 may be activated and the sensor unit 120 may transmit an input signal for activating the camera unit 110 to the camera unit 110. [

한편, 센서부(120)는 카메라부(110)와 마찬가지로 센서 기능을 이용하기 위한 입력 신호가 수신되는 경우에 활성화될 수도 있다.Meanwhile, the sensor unit 120 may be activated when an input signal for using the sensor function is received, like the camera unit 110.

여기서, 센서부(120)는 적외선을 복사하여 빛이 차단됨으로써 변화를 감지하는 능동식과, 자체에 발광부를 가지지 않고 외부로부터 받는 적외선의 변화만을 감지하는 수동식으로 구분될 수 있다. 특히, 센서부(120)가 능동식으로 구성되는 경우 적외선(IR)을 방사하는 발광 다이오드(Light Emitting Diode, LED)로 이루어지는 발광부(미도시)와, 반사되는 빛을 감지할 수 있는 다이오드 또는 트랜지스터(Transister, TR)와　같은 검출기(Detector)로 이루어지는 수광부(미도시)로 구성될 수 있다.Here, the sensor unit 120 may be divided into an active type that detects the change by blocking the light by copying the infrared ray, and a manual type that detects only the change of the infrared rays received from the outside without the light emitting unit. In particular, when the sensor unit 120 is configured to be active, a light emitting unit (not shown) formed of a light emitting diode (LED) that emits infrared (IR) light, a diode And a light receiving unit (not shown) formed of a detector such as a transistor (TR).

카메라부(110)는 카메라를 이용하여 정밀한 제스처 인식이 가능하며, 먼 거리의 제스처도 용이하게 인식할 수 있지만, 야간이나 어두운 곳에서는 제스처 인식률이 저하된다.The camera unit 110 can recognize a precise gesture using a camera and can easily recognize a gesture at a long distance, but the gesture recognition rate is lowered at night or in a dark place.

센서부(120)는 먼 거리의 제스처는 인식하기 어렵지만, 상기 운전자의 제스처로부터 발생하는 적외선을 감지하므로 야간이나 어두운 곳에서도 제스처를 용이하게 인식할 수 있다. The sensor unit 120 can hardly recognize a gesture at a long distance, but can detect the gesture easily at night or in the dark because the infrared ray generated from the driver's gesture is detected.

따라서, 카메라부(110)와 센서부(120)를 같이 이용하여 제스처를 인식하는 경우 카메라부(110)와 센서부(120)가 서로의 단점을 보완할 수 있으므로, 정밀한 제스처 인식이 가능하며, 먼 거리의 제스처도 용이하게 인식할 수 있으며, 야간이나 어두운 곳에서도 제스처 인식률을 높일 수 있다. Therefore, when recognizing the gesture by using the camera unit 110 and the sensor unit 120 together, the camera unit 110 and the sensor unit 120 can complement each other's disadvantages. Therefore, accurate gesture recognition is possible, The distant gesture can be easily recognized and the gesture recognition rate can be improved even at night or in the dark.

활성화부(130)는 상기 운전자의 제스처가 카메라부(110) 및 센서부(120)와 상기 기 설정된 거리 이내에서 이루어지는 것을 감지한다. 예를 들면, 활성화부(130)는 상기 운전자의 제스처가 상기 기 설정된 거리 이내에서 이루어지는지를 감지하기 위해 근접 센서를 포함할 수 있다. 상기 기 설정된 거리는 상기 운전자에 의해 조절될 수 있다. The activation unit 130 detects that the gesture of the driver is within the predetermined distance from the camera unit 110 and the sensor unit 120. [ For example, the activation unit 130 may include a proximity sensor to sense whether the gesture of the driver is within the predetermined distance. The predetermined distance may be adjusted by the driver.

활성화부(130)는 상기 기 설정된 거리 이내에서 상기 운전자의 제스처가 감지되면 카메라부(110) 및 센서부(120)가 활성화하기 위한 입력 신호를 카메라부(110) 및 센서부(120)로 송신한다. 카메라부(110) 및 센서부(120)는 상기 입력 신호를 수신하여 활성화될 수 있다.The activation unit 130 transmits an input signal for activating the camera unit 110 and the sensor unit 120 to the camera unit 110 and the sensor unit 120 when the gesture of the driver is detected within the predetermined distance do. The camera unit 110 and the sensor unit 120 may be activated by receiving the input signal.

활성화부(130)를 이용하여 카메라부(110) 및 센서부(120)가 상기 기 설정된 거리 이내에서 이루어지는 상기 운전자의 제스처만을 인식하도록 한다. 따라서, 상기 운전자가 무심코 한 동작이 카메라부(110) 및 센서부(120)를 통해 제스처로 오인되는 것을 방지할 수 있다.The camera unit 110 and the sensor unit 120 recognize only the driver's gesture within the predetermined distance using the activation unit 130. [ Therefore, it is possible to prevent the driver from misunderstanding the gesture through the camera unit 110 and the sensor unit 120.

한편, 상기에 기재된 바와 같이 센서부(120)가 활성화부(130)의 역할을 수행하는 경우, 활성화부(130)가 별도로 구비되지 않을 수 있다. Meanwhile, when the sensor unit 120 functions as the activation unit 130 as described above, the activation unit 130 may not be separately provided.

제1 처리부(140)는 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득한다. The first processing unit 140 analyzes the acquired image data and compares the acquired image data with predetermined gesture information to acquire first gesture information.

구체적으로, 제1 처리부(140)는 카메라부(110)를 통해 획득되는 영상 데이터를 분석하여 제스처의 형태를 인식할 수 있다. 예를 들면, 제1 처리부(140)는 손가락의 각도, 손가락의 방향, 손가락의 배치 형태, 손가락의 위치, 손가락의 끝부분, 마디 또는 손가락의 사이 부분에 대한 정보를 이용하여 사용자의 손동작에 따른 형태를 획득할 수 있다.Specifically, the first processing unit 140 can recognize the shape of the gesture by analyzing the image data acquired through the camera unit 110. FIG. For example, the first processing unit 140 may use the information on the angle of the finger, the direction of the finger, the arrangement of the fingers, the position of the finger, the tip of the finger, Shape can be obtained.

제1 처리부(140)는 상기 제스처 형태와 저장부(160)에 저장된 기 설정 특정 제스처 정보를 비교한다. 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되는 경우, 상기 제스처 형태를 제1 제스처 정보로 획득한다. The first processing unit 140 compares the gesture type with the preset specific gesture information stored in the storage unit 160. If the comparison result indicates that the gesture type matches the preset specific gesture information, the gesture type is acquired as the first gesture information.

한편, 상기 제스처 형태가 불분명하거나 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 다른 경우, 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되지 않을 수 있고, 상기 제1 제스처 정보는 획득되지 않는다.On the other hand, if the gesture type is unclear or the gesture type is different from the preset specific gesture information, the gesture type may not match the preset specific gesture information as a result of the comparison, and the first gesture information may not be acquired Do not.

제2 처리부(150)는 상기 감지한 적외선을 분석하고 상기 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득한다. The second processor 150 analyzes the detected infrared rays and compares the detected infrared rays with the preset specific gesture information to obtain second gesture information.

구체적으로, 제2 처리부(150)는 센서부(120)를 통해 감지되는 적외선을 분석하여 적외선 스펙트럼 및 적외선 영상을 획득하는 기능을 한다. 예들 들면, 제2 처리부(150)는 감지되는 적외선을 스펙트럼 세기에 따라 분석하여 적외선 스펙트럼을 획득하고, 열 또는 온도 분포에 따라 분석하여 적외선 영상을 획득할 수 있다. 상기 적외선 스펙트럼 및 적외선 영상을 분석하여 제스처의 형태를 인식할 수 있다. Specifically, the second processing unit 150 analyzes infrared rays sensed through the sensor unit 120 and acquires an infrared spectrum and an infrared image. For example, the second processing unit 150 may acquire an infrared ray image by analyzing the infrared ray according to spectral intensity to obtain an infrared ray spectrum, and analyze the infrared ray according to heat or temperature distribution. The shape of the gesture can be recognized by analyzing the infrared spectrum and the infrared image.

제2 처리부(150)는 상기 제스처 형태를 저장부(160)의 기 설정 특정 제스처 정보와 비교한다. 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되는 경우, 상기 제스처 형태를 제2 제스처 정보로 획득한다. The second processing unit 150 compares the gesture type with predetermined gesture information of the storage unit 160. If the gesture type matches the preset specific gesture information as a result of the comparison, the gesture type is acquired as the second gesture information.

한편, 상기 제스처 형태가 불분명하거나 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 다른 경우, 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되지 않을 수 있고, 상기 제2 제스처 정보는 획득되지 않는다.If the gesture type is unclear or the gesture type is different from the preset specific gesture information, the gesture type may not match the preset specific gesture information as a result of the comparison, and the second gesture information may not be acquired Do not.

저장부(160)는 카메라부(110)가 수집한 영상에서 피사체의 적어도 일부가 특정 동작 상태나 특정 동작 변화를 발생시키는 경우, 해당 동작 상태 및 동작 변화가 어떠한 제스처에 해당하는지 판별할 수 있는 기준 정보를 제공한다. 또한, 저장부(160)는 센서부(120)를 통해 감지되는 적외선을 분석하여 획득되는 적외선 스펙트럼 및 적외선 영상에서 피사체의 적어도 일부가 특정 동작 상태나 특정 동작 변화를 발생시키는 경우, 해당 동작 상태 및 동작 변화가 어떠한 제스처에 해당하는지 판별할 수 있는 기준 정보를 제공한다.When at least a part of the subject in the image collected by the camera unit 110 generates a specific operation state or a specific operation change, the storage unit 160 stores a reference value for determining whether the corresponding operation state and operation change corresponds to any gesture Provide information. In addition, when at least a part of the subject generates a specific operation state or a specific operation change in the infrared spectrum and the infrared image obtained by analyzing the infrared ray sensed through the sensor unit 120, And provides reference information that can determine which gesture corresponds to a motion change.

예를 들어, 저장부(160)는 상기 피사체가 사람의 손동작에 의한 제스처인 경우를 위해 사람이 취할 수 있는 상태에 따라 표현될 수 있는 다양한 제스처에 대한 정보를 포함할 수 있다. 즉, 저장부(160)에는 손가락의 각도, 손가락의 방향, 손가락의 배치 형태, 손가락의 위치 끝부분 또는 손가락의 마디 부분에 대한 정보가 저장될 수 있다. 또한, 저장부(160)는 다양한 종류의 특정 제스처 정보를 포함할 수 있다. 이때, 특정 제스처 정보는 상기 차량을 제어할 수 있는 제어 신호와 연계되어 저장될 수 있다.For example, the storage unit 160 may include information on various gestures that can be represented according to conditions that a person can take for the case where the subject is a gesture caused by a human hand gesture. That is, information on the angle of the finger, the direction of the finger, the arrangement of the finger, the position of the end of the finger, or the part of the finger may be stored in the storage unit 160. In addition, the storage unit 160 may include various kinds of specific gesture information. At this time, the specific gesture information may be stored in association with a control signal for controlling the vehicle.

판단부(170)는 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단한다. The determination unit 170 compares the first gesture information with the second gesture information to determine gesture information for the driver's gesture.

구체적으로, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 서로 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단한다.Specifically, when both the first gesture information and the second gesture information are acquired and the first gesture information and the second gesture information are identical to each other, any one of the first gesture information and the second gesture information may be It is judged based on the gesture information of the driver's gesture.

상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 하나의 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단한다. If only one of the first gesture information and the second gesture information is acquired, the obtained gesture information is determined as gesture information for the driver's gesture.

상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 서로 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단한다.If the first gesture information and the second gesture information are not both acquired or the first gesture information is different from the second gesture information, it is determined that there is no gesture information for the driver's gesture.

알람부(180)는 판단부(170)에서 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 요청한다. 상기 요청은 음성 안내, 디스플레이 상의 문자 안내 등을 포함할 수 있다.If the determination unit 170 determines that there is no gesture information for the gesture of the driver, the alarm unit 180 requests the driver again for the gesture. The request may include voice guidance, text guidance on the display, and the like.

제스처 인식 시스템(100)은 카메라부(110)와 센서부(120)를 같이 이용하여 운전자의 제스처를 인식하므로, 상기 제스처 인식의 인식율을 향상시킬 수 있다.
The gesture recognition system 100 recognizes the gesture of the driver by using the camera unit 110 and the sensor unit 120 together, thereby improving the recognition rate of the gesture recognition.

도 2는 본 발명의 일 실시예에 따른 제스처 인식 방법을 설명하기 위한 순서도이다. 2 is a flowchart illustrating a gesture recognition method according to an exemplary embodiment of the present invention.

도 1 및 도 2를 참조하면, 제스처 인식 방법은 다음과 같다. 1 and 2, a gesture recognition method is as follows.

먼저, 운전자의 제스처가 카메라부(110)와 센서부(120)로부터 기 설정된 거리 이내에서 이루어지는지를 확인한다(S110). 상기 제스처 거리 확인은 활성화부(130)를 통해 이루어질 수 있다. 상기 기 설정 거리는 운전자에 의해 조절될 수 있다. First, it is confirmed whether the driver's gesture is within a predetermined distance from the camera unit 110 and the sensor unit 120 (S110). The gesture distance check may be performed through the activation unit 130. The preset distance can be adjusted by the driver.

한편, 센서부(120)는 일정한 감지 영역을 가지므로, 센서부(120)가 상기 제스처 거리 확인을 수행할 수도 있다. Meanwhile, since the sensor unit 120 has a predetermined sensing area, the sensor unit 120 may perform the gesture distance check.

상기 운전자의 제스처가 상기 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지는 것이 확인되면, 활성화부(130)는 카메라부(110) 및 센서부(120)가 활성화하기 위한 입력 신호를 카메라부(110) 및 센서부(120)로 송신하고, 카메라부(110) 및 센서부(120)는 상기 입력 신호를 수신함으로써 카메라부(110)와 센서부(120)를 활성화한다(S120).The activation unit 130 transmits an input signal for activating the camera unit 110 and the sensor unit 120 to the camera unit 110 And the sensor unit 120. The camera unit 110 and the sensor unit 120 activate the camera unit 110 and the sensor unit 120 by receiving the input signal at step S120.

한편, 센서부(120)가 상기 제스처 거리 확인을 수행하는 경우, 센서부(120)가 카메라부(110)의 활성화를 위한 입력 신호를 송신할 수 있다. Meanwhile, when the sensor unit 120 performs the gesture distance check, the sensor unit 120 may transmit an input signal for activating the camera unit 110. FIG.

상기 운전자의 제스처가 상기 기 설정 거리 이내에서 발생되지 않으면, 카메라부(110) 및 센서부(120)(또는 카메라부(110))가 활성화되지 않은 대기 상태로 유지된다. 따라서, 카메라부(110) 및 센서부(120)의 배터리를 절약할 수 있다. If the gesture of the driver is not generated within the predetermined distance, the camera unit 110 and the sensor unit 120 (or the camera unit 110) are kept in a standby state in which they are not activated. Therefore, the batteries of the camera unit 110 and the sensor unit 120 can be saved.

카메라부(110)가 활성화되면, 운전자의 제스처에 대한 영상 데이터를 획득할 수 있다(S130).When the camera unit 110 is activated, the image data of the driver's gesture can be acquired (S130).

상기 영상 데이터가 획득되면, 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득한다(S140). When the image data is obtained, the acquired image data is analyzed and compared with predetermined gesture information to acquire first gesture information (S140).

구체적으로, 카메라부(110)를 통해 획득되는 영상 데이터를 제1 처리부(140)에서 분석하여 제스처의 형태를 인식한다. 상기 인식된 제스처 형태와 저장부(160)에 저장된 기 설정 특정 제스처 정보를 비교한다. 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되는 경우, 상기 제스처 형태를 제1 제스처 정보로 획득한다. Specifically, the first processing unit 140 analyzes the image data obtained through the camera unit 110 to recognize the shape of the gesture. And compares the recognized gesture type with the preset specific gesture information stored in the storage unit 160. [ If the comparison result indicates that the gesture type matches the preset specific gesture information, the gesture type is acquired as the first gesture information.

한편, 상기 제스처 형태가 불분명하거나 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 다른 경우, 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되지 않고 상기 제1 제스처 정보는 획득되지 않을 수 있다. If the gesture type is unclear or the gesture type is different from the predetermined gesture information, the gesture type may not match the preset specific gesture information and the first gesture information may not be obtained .

센서부(120)가 활성화되면, 상기 운전자의 제스처로부터 발생하는 적외선을 감지할 수 있다(S150).When the sensor unit 120 is activated, infrared rays generated from the driver's gesture can be sensed (S150).

상기 적외선이 감지되면, 상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득한다(S160).If the infrared ray is detected, the detected infrared ray is analyzed and compared with predetermined gesture information to acquire second gesture information (S160).

구체적으로, 센서부(120)를 통해 감지되는 적외선을 제2 처리부(150)가 분석하여 적외선 스펙트럼 및 적외선 영상을 획득하고, 상기 적외선 스펙트럼 및 적외선 영상을 분석하여 제스처의 형태를 인식할 수 있다. 이후, 인식된 상기 제스처 형태를 저장부(160)의 기 설정 특정 제스처 정보와 비교한다. 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되는 경우, 상기 제스처 형태를 제2 제스처 정보로 획득한다. Specifically, the second processing unit 150 analyzes the infrared rays sensed through the sensor unit 120 to acquire an infrared spectrum and an infrared image, and can recognize the shape of the gesture by analyzing the infrared spectrum and the infrared image. Then, the recognized gesture type is compared with the preset specific gesture information of the storage unit 160. If the gesture type matches the preset specific gesture information as a result of the comparison, the gesture type is acquired as the second gesture information.

한편, 상기 제스처 형태가 불분명하거나 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 다른 경우, 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되지 않고, 상기 제2 제스처 정보는 획득되지 않는다.On the other hand, if the gesture type is unclear or the gesture type is different from the preset specific gesture information, the gesture type is not matched with the preset specific gesture information as a result of the comparison, and the second gesture information is not obtained.

상기 제1 제스처 정보 획득 및 상기 제2 제스처 정보 획득은 동시에 이루어지는 것이 바람직하지만, 상기 제1 제스처 정보 획득 및 상기 제2 제스처 정보 획득이 순차적으로 이루어질 수도 있다. Although it is preferable that the first gesture information acquisition and the second gesture information acquisition are performed at the same time, the first gesture information acquisition and the second gesture information acquisition may be sequentially performed.

상기 제1 제스처 정보와 상기 제2 제스처 정보의 획득이 완료되면, 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단한다(S170).When the acquisition of the first gesture information and the second gesture information is completed, the first gesture information is compared with the second gesture information to determine the gesture information of the driver's gesture (S170).

상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 서로 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단한다.If the first gesture information and the second gesture information are both acquired and the first gesture information and the second gesture information are identical to each other, any one of the first gesture information and the second gesture information may be displayed on the gesture As the gesture information.

상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 하나의 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단한다. If only one of the first gesture information and the second gesture information is acquired, the obtained gesture information is determined as gesture information for the driver's gesture.

상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 서로 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단한다.If the first gesture information and the second gesture information are not both acquired or the first gesture information is different from the second gesture information, it is determined that there is no gesture information for the driver's gesture.

상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단되는 경우, 상기 제스처 정보 획득을 위해 상기 운전자에게 제스처를 다시 요청한다(S180). 상기 요청은 음성 안내, 디스플레이 상의 문자 안내 등을 포함할 수 있다.If it is determined that there is no gesture information for the gesture of the driver, the gesture is requested again to the driver to obtain the gesture information (S180). The request may include voice guidance, text guidance on the display, and the like.

상기 요청에 따라 운전자의 제스처가 다시 발생하면, 상기 운전자의 제스처에 대한 영상 데이터 획득과 상기 운전자의 제스처로부터 발생하는 적외선 감지부터 다시 수행하여 상기 제스처 정보를 획득한다.
If the gesture of the driver occurs again according to the request, the gesture information is obtained by performing image data acquisition for the gesture of the driver and infrared detection generated from the driver's gesture again.

상기 제스처 인식 방법은 상기 운전자의 제스처에 대한 영상 데이터와 운전자의 제스처로부터 발생하는 적외선을 같이 이용하여 상기 제스처를 인식하므로, 상기 제스처 인식의 효율을 향상시킬 수 있다.
The gesture recognition method recognizes the gesture using both the image data of the driver's gesture and the infrared rays generated by the driver's gesture, thereby improving the efficiency of the gesture recognition.

도 3은 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하기 위한 순서도이다. 3 is a flowchart for explaining a vehicle control method according to an embodiment of the present invention.

도 1 내지 도 3을 참조하면, 상기 차량 제어 방법은 다음과 같다. 1 to 3, the vehicle control method is as follows.

먼저, 운전자가 차량의 제어를 위해 제스처를 취하면 제스처 인식 시스템(100)을 이용하여 상기 운전자의 제스처에 대한 제스처 정보를 인식한다(S210).First, when the driver takes a gesture for controlling the vehicle, the gesture recognition system 100 recognizes the gesture information of the driver's gesture (S210).

상기 제스처 정보를 인식하는 단계에 대한 구체적인 설명은 도 2를 참조한 제스처 인식 방법과 실질적으로 동일하므로 생략한다. The detailed description of the step of recognizing the gesture information is substantially the same as the gesture recognition method with reference to FIG.

상기 제스처 정보가 인식되면, 제스처 인식 시스템(100)에서 상기 제스처 정보와 대응하는 제어 신호를 차량 제어부로 전달한다(S220).If the gesture information is recognized, the gesture recognition system 100 transmits a control signal corresponding to the gesture information to the vehicle controller (S220).

상기 제어 신호가 수신되면 상기 차량 제어부는 상기 제어 신호에 따라 차량을 제어할 수 있다. 예를 들면, 상기 제어 신호에 따라 차량 엔진, 헤드라이트, 에어컨, 오디오, 와이퍼 등 여러 차량에 구비된 장치들의 동작을 제어할 수 있다. When the control signal is received, the vehicle control unit may control the vehicle according to the control signal. For example, according to the control signal, it is possible to control the operation of devices installed in various vehicles such as a vehicle engine, a headlight, an air conditioner, audio, and a wiper.

상기 차량 제어 방법에 따르면, 운전자가 단순한 제스처만으로 차량을 용이하게 제어할 수 있으므로, 운전자의 편의성을 향상시킬 수 있다. According to the vehicle control method, the driver can easily control the vehicle with a simple gesture, thereby improving the convenience of the driver.

상술한 바와 같이, 본 발명에 따른 제스처 인식 시스템 및 방법은 카메라부와 센서부가 서로 보완하여 운전자의 제스처를 인식하므로, 제스처 인식 효율과 신뢰성을 향상시킬 수 있다. As described above, the gesture recognition system and method according to the present invention can improve gesture recognition efficiency and reliability by recognizing the gesture of the driver by complementing the camera unit and the sensor unit.

그리고, 본 발명의 차량 제어 방법은 제스처 인식을 이용하여 차량을 제어하므로, 차량 제어 편의성을 향상시킬 수 있다. Further, the vehicle control method of the present invention controls the vehicle using gesture recognition, so that the vehicle control convenience can be improved.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims. It can be understood that it is possible.

100 : 제스처 인식 시스템 110 : 카메라부
120 : 센서부 130 : 활성화부
140 : 제1 처리부 150 : 제2 처리부
160 : 저장부 170 : 판단부
180 ; 알람부100: gesture recognition system 110: camera part
120: sensor unit 130:
140: first processor 150: second processor
160: Storage unit 170:
180; Alarm part

Claims (10)

운전자의 제스처에 대한 영상 데이터를 획득하는 카메라부;
상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 제1 처리부;
상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 센서부;
상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 제2 처리부; 및
상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 판단부를 포함하는 것을 특징으로 하는 제스처 인식 시스템.A camera unit for acquiring image data of a gesture of a driver;
A first processor for analyzing the acquired image data and comparing the acquired image data with predetermined gesture information to obtain first gesture information;
A sensor unit for detecting infrared rays generated by the gesture of the driver;
A second processor for analyzing the detected infrared rays and comparing the detected infrared rays with predetermined gesture information to obtain second gesture information; And
And a gesture recognition system for comparing the first gesture information and the second gesture information to determine gesture information of the driver's gesture. 제1항에 있어서, 상기 운전자의 제스처가 상기 카메라부 및 상기 센서부와 기 설정된 거리 이내에서 이루어지는 것을 감지하여 상기 카메라부 및 상기 센서부가 활성화하기 위한 신호를 송신하는 활성화부를 더 포함하는 것을 특징으로 하는 제스처 인식 시스템.The apparatus according to claim 1, further comprising an activation unit for sensing that the gesture of the driver is within a predetermined distance from the camera unit and the sensor unit and transmitting a signal for activating the camera unit and the sensor unit, Gesture recognition system. 제1항에 있어서, 상기 기 설정된 특정 제스처 정보 및 상기 특정 제스처 정보에 따른 제어 신호를 저장하는 저장부를 더 포함하는 것을 특징으로 하는 제스처 인식 시스템.The gesture recognition system according to claim 1, further comprising a storage unit for storing control signals according to the predetermined gesture information and the specific gesture information. 제1항에 있어서, 상기 판단부는,
상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단하고,
상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단하며,
상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나 상기 제1 제스처 정보와 상기 제2 제스처 정보가 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 것을 특징으로 하는 제스처 인식 시스템.The apparatus of claim 1,
Wherein when the first gesture information and the second gesture information are both obtained and the first gesture information and the second gesture information are the same, either one of the first gesture information and the second gesture information is displayed in the gesture of the driver Judging from the gesture information of the user,
Wherein the gesture information acquisition unit determines the gesture information as the gesture information for the driver's gesture when either the first gesture information or the second gesture information is acquired,
Wherein when the first gesture information and the second gesture information are both not obtained or the first gesture information is different from the second gesture information, it is determined that there is no gesture information for the driver's gesture system. 제4항에 있어서, 상기 판단부가 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 요청하는 알람부를 더 포함하는 것을 특징으로 하는 제스처 인식 시스템.5. The gesture recognition system according to claim 4, further comprising an alarm unit for requesting the driver again for a gesture when the determination unit determines that there is no gesture information for the driver's gesture. 운전자의 제스처에 대한 영상 데이터를 획득하는 단계;
상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 단계;
상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 단계;
상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 단계; 및
상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 단계를 포함하는 것을 특징으로 하는 제스처 인식 방법.Acquiring image data of a gesture of a driver;
Analyzing the acquired image data and comparing the acquired image data with predetermined gesture information to obtain first gesture information;
Detecting infrared rays generated from a gesture of the driver;
Analyzing the detected infrared rays and comparing the detected infrared rays with predetermined gesture information to obtain second gesture information; And
And comparing the first gesture information with the second gesture information to determine gesture information for the driver's gesture. 제6항에 있어서, 상기 운전자의 제스처가 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지는지를 확인하는 단계; 및
상기 운전자의 제스처가 상기 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지면, 상기 카메라부와 센서부를 활성화하는 단계를 더 포함하는 것을 특징으로 하는 제스처 인식 방법. The method of claim 6, further comprising: confirming whether the gesture of the driver is within a predetermined distance from the camera unit and the sensor unit; And
And activating the camera unit and the sensor unit when the gesture of the driver is within a predetermined distance from the camera unit and the sensor unit. 제6항에 있어서, 상기 제스처 정보를 판단하는 단계는,
상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단하고,
상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단하며,
상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나 상기 제1 제스처 정보와 상기 제2 제스처 정보가 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 것을 특징으로 하는 제스처 인식 방법.7. The method of claim 6, wherein determining the gesture information comprises:
Wherein when the first gesture information and the second gesture information are both obtained and the first gesture information and the second gesture information are the same, either one of the first gesture information and the second gesture information is displayed in the gesture of the driver Judging from the gesture information of the user,
Wherein the gesture information acquisition unit determines the gesture information as the gesture information for the driver's gesture when either the first gesture information or the second gesture information is acquired,
Wherein when the first gesture information and the second gesture information are both not obtained or the first gesture information is different from the second gesture information, it is determined that there is no gesture information for the driver's gesture Way. 제8항에 있어서, 상기 판단부가 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 수행하도록 요청하는 단계를 더 포함하는 것을 특징으로 하는 제스처 인식 방법.The method of claim 8, further comprising requesting the driver to perform a gesture again when the determination unit determines that there is no gesture information for the driver's gesture. 운전자의 제스처에 대한 제스처 정보를 인식하는 단계;
상기 제스처 정보에 대응하는 제어 신호를 차량 제어부로 전달하는 단계; 및
상기 제어 신호에 따라 차량 제어부가 상기 차량의 제어하는 단계를 포함하며,
상기 운전자의 제스처에 대한 제스처 정보를 인식하는 단계는,
상기 운전자의 제스처에 대한 영상 데이터를 획득하는 단계;
상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 단계;
상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 단계;
상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 단계; 및
상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 단계를 포함하는 것을 특징으로 하는 차량 제어 방법.Recognizing gesture information of a driver's gesture;
Transmitting a control signal corresponding to the gesture information to the vehicle control unit; And
And controlling the vehicle by the vehicle control unit in accordance with the control signal,
The step of recognizing the gesture information of the driver's gesture includes:
Obtaining image data of the gesture of the driver;
Analyzing the acquired image data and comparing the acquired image data with predetermined gesture information to obtain first gesture information;
Detecting infrared rays generated from a gesture of the driver;
Analyzing the detected infrared rays and comparing the detected infrared rays with predetermined gesture information to obtain second gesture information; And
And comparing the first gesture information with the second gesture information to determine gesture information for the driver's gesture.
KR1020120121279A 2012-10-30 2012-10-30 System and method for recognizing gesture and method of controlling a vehicle using the method KR101979026B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120121279A KR101979026B1 (en) 2012-10-30 2012-10-30 System and method for recognizing gesture and method of controlling a vehicle using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120121279A KR101979026B1 (en) 2012-10-30 2012-10-30 System and method for recognizing gesture and method of controlling a vehicle using the method

Publications (2)

Publication Number Publication Date
KR20140055033A true KR20140055033A (en) 2014-05-09
KR101979026B1 KR101979026B1 (en) 2019-05-15

Family

ID=50886775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120121279A KR101979026B1 (en) 2012-10-30 2012-10-30 System and method for recognizing gesture and method of controlling a vehicle using the method

Country Status (1)

Country Link
KR (1) KR101979026B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051360A (en) * 2014-11-03 2016-05-11 현대자동차주식회사 Gesture recognition apparatus for vehicle
KR20160086684A (en) * 2015-01-12 2016-07-20 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR20160091767A (en) * 2015-01-26 2016-08-03 엘지전자 주식회사 Apparatus for controlling vehicle and method for controlling the same
KR101663096B1 (en) * 2015-09-02 2016-10-06 주식회사 서연전자 Anti-theft Device for Vehicles
KR20170012628A (en) * 2015-07-21 2017-02-03 삼성전자주식회사 Rollable display apparatus and control method thereof
KR20170052247A (en) * 2015-11-04 2017-05-12 전자부품연구원 Contactless Screen Pad for Vehicle
KR102559138B1 (en) * 2022-12-28 2023-07-25 에이아이다이콤 (주) Non-contact control system for vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110022057A (en) * 2008-06-18 2011-03-04 오블롱 인더스트리즈, 인크 Gesture-based control system for vehicle interfaces
KR20110042552A (en) * 2009-10-19 2011-04-27 에스케이텔레콤 주식회사 Apparatus and method for providing user interface by gesture
KR20110042806A (en) * 2009-10-20 2011-04-27 에스케이텔레콤 주식회사 Apparatus and method for providing user interface by gesture
KR20120051211A (en) * 2010-11-12 2012-05-22 엘지전자 주식회사 Method for recognizing user gesture in multimedia device and multimedia device thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110022057A (en) * 2008-06-18 2011-03-04 오블롱 인더스트리즈, 인크 Gesture-based control system for vehicle interfaces
KR20110042552A (en) * 2009-10-19 2011-04-27 에스케이텔레콤 주식회사 Apparatus and method for providing user interface by gesture
KR20110042806A (en) * 2009-10-20 2011-04-27 에스케이텔레콤 주식회사 Apparatus and method for providing user interface by gesture
KR20120051211A (en) * 2010-11-12 2012-05-22 엘지전자 주식회사 Method for recognizing user gesture in multimedia device and multimedia device thereof

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051360A (en) * 2014-11-03 2016-05-11 현대자동차주식회사 Gesture recognition apparatus for vehicle
KR20160086684A (en) * 2015-01-12 2016-07-20 엘지전자 주식회사 Mobile terminal and method for controlling the same
WO2016114437A1 (en) * 2015-01-12 2016-07-21 엘지전자 주식회사 Mobile terminal and control method therefor
US10416778B2 (en) 2015-01-12 2019-09-17 Lg Electronics Inc. Mobile terminal and control method therefor
KR20160091767A (en) * 2015-01-26 2016-08-03 엘지전자 주식회사 Apparatus for controlling vehicle and method for controlling the same
KR20170012628A (en) * 2015-07-21 2017-02-03 삼성전자주식회사 Rollable display apparatus and control method thereof
KR101663096B1 (en) * 2015-09-02 2016-10-06 주식회사 서연전자 Anti-theft Device for Vehicles
KR20170052247A (en) * 2015-11-04 2017-05-12 전자부품연구원 Contactless Screen Pad for Vehicle
KR102559138B1 (en) * 2022-12-28 2023-07-25 에이아이다이콤 (주) Non-contact control system for vehicle

Also Published As

Publication number Publication date
KR101979026B1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
KR101979026B1 (en) System and method for recognizing gesture and method of controlling a vehicle using the method
JP5261554B2 (en) Human-machine interface for vehicles based on fingertip pointing and gestures
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
KR101459441B1 (en) System and method for providing a user interface using finger start points shape recognition in a vehicle
US9785235B2 (en) Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system
US10227813B2 (en) Device and method for opening trunk of vehicle, and recording medium for recording program for executing method
JP2018531332A (en) Apparatus and method for visually communicating with a vehicle
JP2018531332A6 (en) Apparatus and method for visually communicating with a vehicle
US9807320B2 (en) Operation input device, operation input method, and computer-readable recording medium
US11301678B2 (en) Vehicle safety system with no-control operation
KR101490908B1 (en) System and method for providing a user interface using hand shape trace recognition in a vehicle
KR20150087544A (en) Gesture device, operating method thereof and vehicle having the same
KR101663096B1 (en) Anti-theft Device for Vehicles
JP6581482B2 (en) Image recognition device
CN105511691A (en) Optical touch sensing device and touch signal judgment method thereof
US20140098998A1 (en) Method and system for controlling operation of a vehicle in response to an image
KR102278747B1 (en) Contactless Screen Pad for Vehicle
KR20150028619A (en) Misrecognition reducing type motion recognition apparatus and method thereof
CN113799791B (en) Steering wheel key false touch prevention method and device based on camera and vehicle
KR101269107B1 (en) Method for recognizing hand gesture using camera and thereof apparatus
EP3789849A1 (en) Contactless gesture control method, apparatus and storage medium
CN110568922B (en) Method for recognizing input
KR20140120650A (en) System and method for recognizing gesture in vehicle
US20230146883A1 (en) Thermal-image proximity gesture recognition module, device having thermal-image proximity gesture recognition function, and thermal-image proximity gesture recognition
US20130285905A1 (en) Three-dimensional pointing device and system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant