KR101979026B1 - 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법 - Google Patents

제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법 Download PDF

Info

Publication number
KR101979026B1
KR101979026B1 KR1020120121279A KR20120121279A KR101979026B1 KR 101979026 B1 KR101979026 B1 KR 101979026B1 KR 1020120121279 A KR1020120121279 A KR 1020120121279A KR 20120121279 A KR20120121279 A KR 20120121279A KR 101979026 B1 KR101979026 B1 KR 101979026B1
Authority
KR
South Korea
Prior art keywords
gesture
gesture information
information
driver
unit
Prior art date
Application number
KR1020120121279A
Other languages
English (en)
Other versions
KR20140055033A (ko
Inventor
정재헌
Original Assignee
르노삼성자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르노삼성자동차 주식회사 filed Critical 르노삼성자동차 주식회사
Priority to KR1020120121279A priority Critical patent/KR101979026B1/ko
Publication of KR20140055033A publication Critical patent/KR20140055033A/ko
Application granted granted Critical
Publication of KR101979026B1 publication Critical patent/KR101979026B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 인식 시스템은 운전자의 제스처에 대한 영상 데이터를 획득하는 카메라부와, 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 제1 처리부와, 운전자의 제스처로부터 발생하는 적외선을 감지하는 센서부와, 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 제2 처리부 및 제1 제스처 정보와 제2 제스처 정보를 비교하여 운전자의 제스처에 대한 제스처 정보를 판단하는 판단부를 포함한다. 제스처 인식 시스템은 카메라부와 센서부를 같이 이용하므로, 제스처 인식의 효율과 신뢰성을 향상시킬 수 있다.

Description

제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법{System and method for recognizing gesture and method of controlling a vehicle using the method}
본 발명은 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법에 관한 것으로, 보다 상세하게는 차량을 운전하는 운전자의 제스처를 포토레지스트를 제거하기 위한 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법에 관한 것이다.
일반적으로, 운전자가 제스처를 이용하여 차량을 제어하기 위해서는 상기 제스처의 인식이 필요하다. 상기 제스처를 인식하기 위한 다양한 시스템이 존재한다. 예를 들면, 카메라를 이용하여 상기 제스처 영상을 획득한 후, 상기 획득 영상을 처리하여 상기 제스처를 인식할 수 있다. 한국공개특허 제10-2012-0067089호에는 카메라를 이용하여 제스처를 인식하는 기술이 개시되어 있다.
상기 카메라를 이용한 제스처 인식 시스템은 상기 제스처를 정밀하게 인식할수 있다. 하지만, 상기 인식 시스템은 야간이나 어두운 장소에서 제스처의 인식률이 저하되거나 잘못 인식할 수 있다. 또한, 상기 인식 시스템은 거리 인식이 어려우므로, 운전자가 무심코 한 동작을 제스처로 잘못 인식할 수도 있다.
본 발명은 야간이나 어두운 장소에서도 제스처를 정확하게 인식하며, 거리에 따라 선택적으로 제스처를 인식할 수 있는 제스처 인식 시스템을 제공한다.
본 발명은 상기 제스처 인식 시스템을 이용한 제스처 인식 방법을 제공한다.
본 발명은 상기 제스처 인식 방법을 이용한 차량 제어 방법을 제공한다.
본 발명에 따른 제스처 인식 시스템은 운전자의 제스처에 대한 영상 데이터를 획득하는 카메라부와, 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 제1 처리부와, 상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 센서부와, 상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 제2 처리부 및 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 판단부를 포함할 수 있다.
본 발명의 일 실시예들에 따르면, 상기 제스처 인식 시스템은 상기 운전자의 제스처가 상기 카메라부 및 상기 센서부와 기 설정된 거리 이내에서 이루어지는 것을 감지하여 상기 카메라부 및 상기 센서부가 활성화하기 위한 신호를 송신하는 활성화부를 더 포함할 수 있다.
본 발명의 일 실시예들에 따르면, 상기 제스처 인식 시스템은 상기 기 설정된 특정 제스처 정보 및 상기 특정 제스처 정보에 따른 제어 신호를 저장하는 저장부를 더 포함할 수 있다.
본 발명의 일 실시예들에 따르면, 상기 판단부는 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단하고, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단하며, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나 상기 제1 제스처 정보와 상기 제2 제스처 정보가 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단할 수 있다.
본 발명의 일 실시예들에 따르면, 상기 제스처 인식 시스템은 상기 판단부가 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 요청하는 알람부를 더 포함할 수 있다.
본 발명에 따른 제스처 인식 방법은 운전자의 제스처에 대한 영상 데이터를 획득하는 단계와, 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 단계와, 상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 단계와, 상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 단계 및 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시예들에 따르면, 상기 제스처 인식 방법은 상기 운전자의 제스처가 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지는지를 확인하는 단계 및 상기 운전자의 제스처가 상기 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지면, 상기 카메라부와 센서부를 활성화하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예들에 따르면, 상기 제스처 정보를 판단하는 단계는 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단하고, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단하며, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나 상기 제1 제스처 정보와 상기 제2 제스처 정보가 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단할 수 있다.
본 발명의 일 실시예들에 따르면, 상기 제스처 인식 방법은 상기 판단부가 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 수행하도록 요청하는 단계를 더 포함할 수 있다.
본 발명에 따른 차량 제어 방법은 운전자의 제스처에 대한 제스처 정보를 인식하는 단계와, 상기 제스처 정보에 대응하는 제어 신호를 차량 제어부로 전달하는 단계 및 상기 제어 신호에 따라 차량 제어부가 상기 차량의 제어하는 단계를 포함하며, 상기 운전자의 제스처에 대한 제스처 정보를 인식하는 단계는 상기 운전자의 제스처에 대한 영상 데이터를 획득하는 단계와, 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 단계와, 상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 단계와, 상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 단계 및 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 단계를 포함할 수 있다.
본 발명에 따른 제스처 인식 시스템 및 방법은 카메라부와 센서부를 이용하여 운전자의 제스처를 인식하므로, 야간이나 어두운 장소에서도 제스처를 정확하게 인식할 수 있다.
또한, 상기 제스처 인식 시스템 및 방법은 일정 거리 이내에서 이루어지는 제스처만을 선택적으로 인식할 수 있으므로, 운전자가 무심코 한 동작이 제스처로 오인되는 것을 방지할 수 있다.
그리고, 본 발명의 차량 제어 방법은 제스처 인식을 이용하여 차량을 제어하므로, 차량 제어 편의성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 제스처 인식 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하기 위한 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 제스처 인식 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 제스처 인식 시스템(100)은 차량에 구비되며, 운전자가 상기 차량의 제어를 위해 취하는 제스처(Gesture)를 인식한다. 상기 제스처는 운전자가 취하는 동작을 의미한다. 상기 동작은 주로 손동작을 의미하며, 눈 깜빡임 등을 포함할 수도 있다.
제스처 인식 시스템(100)은 카메라부(110), 센서부(120), 활성화부(130), 제1 처리부(140), 제2 처리부(150), 저장부(160), 판단부(170) 및 알람부(180)를 포함한다.
카메라부(110)는 운전자의 제스처에 대한 영상 데이터를 획득한다. 카메라부(80)는 렌즈를 통해 촬상되는 영상을 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서(도시되지 않음)와, 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부(도시되지 않음)를 구비한다. 상기 카메라 센서는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서가 적용될 수 있고, 신호처리부는 DSP(Digital Signal Processor)로 구현될 수 있으나, 이에 한정되는 것은 아니다. 카메라부(80)는 카메라 기능을 이용하기 위한 입력 신호가 수신되는 경우에 활성화될 수 있다.
센서부(120)는 상기 운전자의 제스처로부터 발생하는 적외선을 감지한다. 센서부(120)는 빛을 발광하고, 외부로부터 입력되는 사용자의 움직임 또는 물체의 움직임 등과 같은 물리적 신호를 감지하여 신호 처리부(미도시)로 전송할 수 있다. 이때, 센서부(120)는 외부 물체가 감지 영역 내로 접근하는 것을 적외선을 이용하여 감지하는 적외선 센서(Infrared Sensor)를 사용할 수 있다.
센서부(120)는 일정한 감지 영역을 가지므로, 센서부(120)는 센서의 기능을 이용하기 위한 입력 신호가 없더라도 기 설정된 거리 이내에서 상기 운전자의 제스처가 이루어지는 경우에 활성화될 수 있다. 센서부(120)가 활성화되면서 센서부(120)에서 카메라부(110)를 활성화시키기 위한 입력 신호를 카메라부(110)로 송신할 수 있다.
한편, 센서부(120)는 카메라부(110)와 마찬가지로 센서 기능을 이용하기 위한 입력 신호가 수신되는 경우에 활성화될 수도 있다.
여기서, 센서부(120)는 적외선을 복사하여 빛이 차단됨으로써 변화를 감지하는 능동식과, 자체에 발광부를 가지지 않고 외부로부터 받는 적외선의 변화만을 감지하는 수동식으로 구분될 수 있다. 특히, 센서부(120)가 능동식으로 구성되는 경우 적외선(IR)을 방사하는 발광 다이오드(Light Emitting Diode, LED)로 이루어지는 발광부(미도시)와, 반사되는 빛을 감지할 수 있는 다이오드 또는 트랜지스터(Transister, TR)와　같은 검출기(Detector)로 이루어지는 수광부(미도시)로 구성될 수 있다.
카메라부(110)는 카메라를 이용하여 정밀한 제스처 인식이 가능하며, 먼 거리의 제스처도 용이하게 인식할 수 있지만, 야간이나 어두운 곳에서는 제스처 인식률이 저하된다.
센서부(120)는 먼 거리의 제스처는 인식하기 어렵지만, 상기 운전자의 제스처로부터 발생하는 적외선을 감지하므로 야간이나 어두운 곳에서도 제스처를 용이하게 인식할 수 있다.
따라서, 카메라부(110)와 센서부(120)를 같이 이용하여 제스처를 인식하는 경우 카메라부(110)와 센서부(120)가 서로의 단점을 보완할 수 있으므로, 정밀한 제스처 인식이 가능하며, 먼 거리의 제스처도 용이하게 인식할 수 있으며, 야간이나 어두운 곳에서도 제스처 인식률을 높일 수 있다.
활성화부(130)는 상기 운전자의 제스처가 카메라부(110) 및 센서부(120)와 상기 기 설정된 거리 이내에서 이루어지는 것을 감지한다. 예를 들면, 활성화부(130)는 상기 운전자의 제스처가 상기 기 설정된 거리 이내에서 이루어지는지를 감지하기 위해 근접 센서를 포함할 수 있다. 상기 기 설정된 거리는 상기 운전자에 의해 조절될 수 있다.
활성화부(130)는 상기 기 설정된 거리 이내에서 상기 운전자의 제스처가 감지되면 카메라부(110) 및 센서부(120)가 활성화하기 위한 입력 신호를 카메라부(110) 및 센서부(120)로 송신한다. 카메라부(110) 및 센서부(120)는 상기 입력 신호를 수신하여 활성화될 수 있다.
활성화부(130)를 이용하여 카메라부(110) 및 센서부(120)가 상기 기 설정된 거리 이내에서 이루어지는 상기 운전자의 제스처만을 인식하도록 한다. 따라서, 상기 운전자가 무심코 한 동작이 카메라부(110) 및 센서부(120)를 통해 제스처로 오인되는 것을 방지할 수 있다.
한편, 상기에 기재된 바와 같이 센서부(120)가 활성화부(130)의 역할을 수행하는 경우, 활성화부(130)가 별도로 구비되지 않을 수 있다.
제1 처리부(140)는 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득한다.
구체적으로, 제1 처리부(140)는 카메라부(110)를 통해 획득되는 영상 데이터를 분석하여 제스처의 형태를 인식할 수 있다. 예를 들면, 제1 처리부(140)는 손가락의 각도, 손가락의 방향, 손가락의 배치 형태, 손가락의 위치, 손가락의 끝부분, 마디 또는 손가락의 사이 부분에 대한 정보를 이용하여 사용자의 손동작에 따른 형태를 획득할 수 있다.
제1 처리부(140)는 상기 제스처 형태와 저장부(160)에 저장된 기 설정 특정 제스처 정보를 비교한다. 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되는 경우, 상기 제스처 형태를 제1 제스처 정보로 획득한다.
한편, 상기 제스처 형태가 불분명하거나 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 다른 경우, 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되지 않을 수 있고, 상기 제1 제스처 정보는 획득되지 않는다.
제2 처리부(150)는 상기 감지한 적외선을 분석하고 상기 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득한다.
구체적으로, 제2 처리부(150)는 센서부(120)를 통해 감지되는 적외선을 분석하여 적외선 스펙트럼 및 적외선 영상을 획득하는 기능을 한다. 예들 들면, 제2 처리부(150)는 감지되는 적외선을 스펙트럼 세기에 따라 분석하여 적외선 스펙트럼을 획득하고, 열 또는 온도 분포에 따라 분석하여 적외선 영상을 획득할 수 있다. 상기 적외선 스펙트럼 및 적외선 영상을 분석하여 제스처의 형태를 인식할 수 있다.
제2 처리부(150)는 상기 제스처 형태를 저장부(160)의 기 설정 특정 제스처 정보와 비교한다. 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되는 경우, 상기 제스처 형태를 제2 제스처 정보로 획득한다.
한편, 상기 제스처 형태가 불분명하거나 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 다른 경우, 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되지 않을 수 있고, 상기 제2 제스처 정보는 획득되지 않는다.
저장부(160)는 카메라부(110)가 수집한 영상에서 피사체의 적어도 일부가 특정 동작 상태나 특정 동작 변화를 발생시키는 경우, 해당 동작 상태 및 동작 변화가 어떠한 제스처에 해당하는지 판별할 수 있는 기준 정보를 제공한다. 또한, 저장부(160)는 센서부(120)를 통해 감지되는 적외선을 분석하여 획득되는 적외선 스펙트럼 및 적외선 영상에서 피사체의 적어도 일부가 특정 동작 상태나 특정 동작 변화를 발생시키는 경우, 해당 동작 상태 및 동작 변화가 어떠한 제스처에 해당하는지 판별할 수 있는 기준 정보를 제공한다.
예를 들어, 저장부(160)는 상기 피사체가 사람의 손동작에 의한 제스처인 경우를 위해 사람이 취할 수 있는 상태에 따라 표현될 수 있는 다양한 제스처에 대한 정보를 포함할 수 있다. 즉, 저장부(160)에는 손가락의 각도, 손가락의 방향, 손가락의 배치 형태, 손가락의 위치 끝부분 또는 손가락의 마디 부분에 대한 정보가 저장될 수 있다. 또한, 저장부(160)는 다양한 종류의 특정 제스처 정보를 포함할 수 있다. 이때, 특정 제스처 정보는 상기 차량을 제어할 수 있는 제어 신호와 연계되어 저장될 수 있다.
판단부(170)는 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단한다.
구체적으로, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 서로 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단한다.
상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 하나의 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단한다.
상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 서로 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단한다.
알람부(180)는 판단부(170)에서 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 요청한다. 상기 요청은 음성 안내, 디스플레이 상의 문자 안내 등을 포함할 수 있다.
제스처 인식 시스템(100)은 카메라부(110)와 센서부(120)를 같이 이용하여 운전자의 제스처를 인식하므로, 상기 제스처 인식의 인식율을 향상시킬 수 있다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식 방법을 설명하기 위한 순서도이다.
도 1 및 도 2를 참조하면, 제스처 인식 방법은 다음과 같다.
먼저, 운전자의 제스처가 카메라부(110)와 센서부(120)로부터 기 설정된 거리 이내에서 이루어지는지를 확인한다(S110). 상기 제스처 거리 확인은 활성화부(130)를 통해 이루어질 수 있다. 상기 기 설정 거리는 운전자에 의해 조절될 수 있다.
한편, 센서부(120)는 일정한 감지 영역을 가지므로, 센서부(120)가 상기 제스처 거리 확인을 수행할 수도 있다.
상기 운전자의 제스처가 상기 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지는 것이 확인되면, 활성화부(130)는 카메라부(110) 및 센서부(120)가 활성화하기 위한 입력 신호를 카메라부(110) 및 센서부(120)로 송신하고, 카메라부(110) 및 센서부(120)는 상기 입력 신호를 수신함으로써 카메라부(110)와 센서부(120)를 활성화한다(S120).
한편, 센서부(120)가 상기 제스처 거리 확인을 수행하는 경우, 센서부(120)가 카메라부(110)의 활성화를 위한 입력 신호를 송신할 수 있다.
상기 운전자의 제스처가 상기 기 설정 거리 이내에서 발생되지 않으면, 카메라부(110) 및 센서부(120)(또는 카메라부(110))가 활성화되지 않은 대기 상태로 유지된다. 따라서, 카메라부(110) 및 센서부(120)의 배터리를 절약할 수 있다.
카메라부(110)가 활성화되면, 운전자의 제스처에 대한 영상 데이터를 획득할 수 있다(S130).
상기 영상 데이터가 획득되면, 상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득한다(S140).
구체적으로, 카메라부(110)를 통해 획득되는 영상 데이터를 제1 처리부(140)에서 분석하여 제스처의 형태를 인식한다. 상기 인식된 제스처 형태와 저장부(160)에 저장된 기 설정 특정 제스처 정보를 비교한다. 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되는 경우, 상기 제스처 형태를 제1 제스처 정보로 획득한다.
한편, 상기 제스처 형태가 불분명하거나 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 다른 경우, 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되지 않고 상기 제1 제스처 정보는 획득되지 않을 수 있다.
센서부(120)가 활성화되면, 상기 운전자의 제스처로부터 발생하는 적외선을 감지할 수 있다(S150).
상기 적외선이 감지되면, 상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득한다(S160).
구체적으로, 센서부(120)를 통해 감지되는 적외선을 제2 처리부(150)가 분석하여 적외선 스펙트럼 및 적외선 영상을 획득하고, 상기 적외선 스펙트럼 및 적외선 영상을 분석하여 제스처의 형태를 인식할 수 있다. 이후, 인식된 상기 제스처 형태를 저장부(160)의 기 설정 특정 제스처 정보와 비교한다. 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되는 경우, 상기 제스처 형태를 제2 제스처 정보로 획득한다.
한편, 상기 제스처 형태가 불분명하거나 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 다른 경우, 상기 비교 결과 상기 제스처 형태가 상기 기 설정 특정 제스처 정보와 매칭되지 않고, 상기 제2 제스처 정보는 획득되지 않는다.
상기 제1 제스처 정보 획득 및 상기 제2 제스처 정보 획득은 동시에 이루어지는 것이 바람직하지만, 상기 제1 제스처 정보 획득 및 상기 제2 제스처 정보 획득이 순차적으로 이루어질 수도 있다.
상기 제1 제스처 정보와 상기 제2 제스처 정보의 획득이 완료되면, 상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단한다(S170).
상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 서로 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단한다.
상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 하나의 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단한다.
상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나, 상기 제1 제스처 정보와 상기 제2 제스처 정보가 서로 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단한다.
상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단되는 경우, 상기 제스처 정보 획득을 위해 상기 운전자에게 제스처를 다시 요청한다(S180). 상기 요청은 음성 안내, 디스플레이 상의 문자 안내 등을 포함할 수 있다.
상기 요청에 따라 운전자의 제스처가 다시 발생하면, 상기 운전자의 제스처에 대한 영상 데이터 획득과 상기 운전자의 제스처로부터 발생하는 적외선 감지부터 다시 수행하여 상기 제스처 정보를 획득한다.
상기 제스처 인식 방법은 상기 운전자의 제스처에 대한 영상 데이터와 운전자의 제스처로부터 발생하는 적외선을 같이 이용하여 상기 제스처를 인식하므로, 상기 제스처 인식의 효율을 향상시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 차량 제어 방법을 설명하기 위한 순서도이다.
도 1 내지 도 3을 참조하면, 상기 차량 제어 방법은 다음과 같다.
먼저, 운전자가 차량의 제어를 위해 제스처를 취하면 제스처 인식 시스템(100)을 이용하여 상기 운전자의 제스처에 대한 제스처 정보를 인식한다(S210).
상기 제스처 정보를 인식하는 단계에 대한 구체적인 설명은 도 2를 참조한 제스처 인식 방법과 실질적으로 동일하므로 생략한다.
상기 제스처 정보가 인식되면, 제스처 인식 시스템(100)에서 상기 제스처 정보와 대응하는 제어 신호를 차량 제어부로 전달한다(S220).
상기 제어 신호가 수신되면 상기 차량 제어부는 상기 제어 신호에 따라 차량을 제어할 수 있다. 예를 들면, 상기 제어 신호에 따라 차량 엔진, 헤드라이트, 에어컨, 오디오, 와이퍼 등 여러 차량에 구비된 장치들의 동작을 제어할 수 있다.
상기 차량 제어 방법에 따르면, 운전자가 단순한 제스처만으로 차량을 용이하게 제어할 수 있으므로, 운전자의 편의성을 향상시킬 수 있다.
상술한 바와 같이, 본 발명에 따른 제스처 인식 시스템 및 방법은 카메라부와 센서부가 서로 보완하여 운전자의 제스처를 인식하므로, 제스처 인식 효율과 신뢰성을 향상시킬 수 있다.
그리고, 본 발명의 차량 제어 방법은 제스처 인식을 이용하여 차량을 제어하므로, 차량 제어 편의성을 향상시킬 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 제스처 인식 시스템 110 : 카메라부
120 : 센서부 130 : 활성화부
140 : 제1 처리부 150 : 제2 처리부
160 : 저장부 170 : 판단부
180 ; 알람부

Claims (10)

  1. 운전자의 제스처에 대한 영상 데이터를 획득하는 카메라부;
    상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 제1 처리부;
    상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 센서부;
    상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 제2 처리부; 및
    상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 판단부를 포함하고,
    상기 판단부는,
    상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단하고,
    상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단하며,
    상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나 상기 제1 제스처 정보와 상기 제2 제스처 정보가 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 것을 특징으로 하는 제스처 인식 시스템.
  2. 제1항에 있어서, 상기 운전자의 제스처가 상기 카메라부 및 상기 센서부와 기 설정된 거리 이내에서 이루어지는 것을 감지하여 상기 카메라부 및 상기 센서부가 활성화하기 위한 신호를 송신하는 활성화부를 더 포함하는 것을 특징으로 하는 제스처 인식 시스템.
  3. 제1항에 있어서, 상기 기 설정된 특정 제스처 정보 및 상기 특정 제스처 정보에 따른 제어 신호를 저장하는 저장부를 더 포함하는 것을 특징으로 하는 제스처 인식 시스템.
  4. 삭제
  5. 제1항에 있어서, 상기 판단부가 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 요청하는 알람부를 더 포함하는 것을 특징으로 하는 제스처 인식 시스템.
  6. 운전자의 제스처에 대한 영상 데이터를 획득하는 단계;
    상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 단계;
    상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 단계;
    상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 단계; 및
    상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 단계를 포함하고,
    상기 제스처 정보를 판단하는 단계는,
    상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단하고,
    상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단하며,
    상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나 상기 제1 제스처 정보와 상기 제2 제스처 정보가 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 것을 특징으로 하는 제스처 인식 방법.
  7. 제6항에 있어서, 상기 운전자의 제스처가 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지는지를 확인하는 단계; 및
    상기 운전자의 제스처가 상기 카메라부와 센서부로부터 기 설정된 거리 이내에서 이루어지면, 상기 카메라부와 센서부를 활성화하는 단계를 더 포함하는 것을 특징으로 하는 제스처 인식 방법.
  8. 삭제
  9. 제6항에 있어서, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 경우, 상기 운전자에게 제스처를 다시 수행하도록 요청하는 단계를 더 포함하는 것을 특징으로 하는 제스처 인식 방법.
  10. 운전자의 제스처에 대한 제스처 정보를 인식하는 단계;
    상기 제스처 정보에 대응하는 제어 신호를 차량 제어부로 전달하는 단계; 및
    상기 제어 신호에 따라 차량 제어부가 상기 차량의 제어하는 단계를 포함하며,
    상기 운전자의 제스처에 대한 제스처 정보를 인식하는 단계는,
    상기 운전자의 제스처에 대한 영상 데이터를 획득하는 단계;
    상기 획득한 영상 데이터를 분석하고 기 설정된 특정 제스처 정보와 비교하여 제1 제스처 정보를 획득하는 단계;
    상기 운전자의 제스처로부터 발생하는 적외선을 감지하는 단계;
    상기 감지한 적외선을 분석하고 기 설정된 특정 제스처 정보와 비교하여 제2 제스처 정보를 획득하는 단계; 및
    상기 제1 제스처 정보와 상기 제2 제스처 정보를 비교하여 상기 운전자의 제스처에 대한 제스처 정보를 판단하는 단계를 포함하고,
    상기 제스처 정보를 판단하는 단계는,
    상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되고 상기 제1 제스처 정보와 상기 제2 제스처 정보가 동일한 경우, 상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나를 상기 운전자의 제스처에 대한 제스처 정보로 판단하고,
    상기 제1 제스처 정보와 상기 제2 제스처 정보 중 어느 하나만 획득되는 경우, 획득된 제스처 정보를 상기 운전자의 제스처에 대한 제스처 정보로 판단하며,
    상기 제1 제스처 정보와 상기 제2 제스처 정보가 모두 획득되지 않거나 상기 제1 제스처 정보와 상기 제2 제스처 정보가 다른 경우, 상기 운전자의 제스처에 대한 제스처 정보가 없는 것으로 판단하는 것을 특징으로 하는 차량 제어 방법.
KR1020120121279A 2012-10-30 2012-10-30 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법 KR101979026B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120121279A KR101979026B1 (ko) 2012-10-30 2012-10-30 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120121279A KR101979026B1 (ko) 2012-10-30 2012-10-30 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법

Publications (2)

Publication Number Publication Date
KR20140055033A KR20140055033A (ko) 2014-05-09
KR101979026B1 true KR101979026B1 (ko) 2019-05-15

Family

ID=50886775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120121279A KR101979026B1 (ko) 2012-10-30 2012-10-30 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법

Country Status (1)

Country Link
KR (1) KR101979026B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101886084B1 (ko) * 2014-11-03 2018-08-07 현대자동차 주식회사 차량용 제스처 인식 장치
KR102266712B1 (ko) * 2015-01-12 2021-06-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR101698102B1 (ko) * 2015-01-26 2017-01-19 엘지전자 주식회사 차량 제어 장치 및 이의 제어 방법
KR102080045B1 (ko) * 2015-07-21 2020-02-25 삼성전자주식회사 롤러블 디스플레이 장치 및 그 제어 방법
KR101663096B1 (ko) * 2015-09-02 2016-10-06 주식회사 서연전자 차량의 도난 방지 장치
KR102278747B1 (ko) * 2015-11-04 2021-07-19 한국전자기술연구원 차량용 비접촉식 스크린 패드
KR102559138B1 (ko) * 2022-12-28 2023-07-25 에이아이다이콤 (주) 차량용 비 접촉식 제어 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2304527A4 (en) * 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
KR20110042552A (ko) * 2009-10-19 2011-04-27 에스케이텔레콤 주식회사 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법
KR20110042806A (ko) * 2009-10-20 2011-04-27 에스케이텔레콤 주식회사 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법
KR101758271B1 (ko) * 2010-11-12 2017-07-14 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치

Also Published As

Publication number Publication date
KR20140055033A (ko) 2014-05-09

Similar Documents

Publication Publication Date Title
KR101979026B1 (ko) 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP5549721B2 (ja) ドライバモニタ装置
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
KR102128756B1 (ko) 자동차의 트렁크 개방 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
JP2018531332A6 (ja) 車両と視覚的に通信する装置および方法
JP2018531332A (ja) 車両と視覚的に通信する装置および方法
US9807320B2 (en) Operation input device, operation input method, and computer-readable recording medium
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
US11301678B2 (en) Vehicle safety system with no-control operation
JP2005050177A (ja) 非接触式情報入力装置
KR101484202B1 (ko) 제스쳐 인식 시스템을 갖는 차량
KR20150087544A (ko) 제스처 장치, 그 동작 방법 및 이를 구비한 차량
JP7138175B2 (ja) バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
KR101663096B1 (ko) 차량의 도난 방지 장치
JP6581482B2 (ja) 画像認識装置
CN105511691A (zh) 光学式触控感测装置及其触控信号判断方法
US20140098998A1 (en) Method and system for controlling operation of a vehicle in response to an image
KR20150028619A (ko) 오인식 저감형 모션 인식 장치 및 그 방법
CN113799791B (zh) 基于摄像头的方向盘按键防误触方法、装置及车辆
KR101269107B1 (ko) 카메라를 이용한 손동작 인식 방법 및 장치
KR20140120650A (ko) 차량용 제스처 인식 시스템 및 방법
US20230146883A1 (en) Thermal-image proximity gesture recognition module, device having thermal-image proximity gesture recognition function, and thermal-image proximity gesture recognition
CN109923442B (zh) 物体检测装置及物体检测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant