KR20150087544A - 제스처 장치, 그 동작 방법 및 이를 구비한 차량 - Google Patents

제스처 장치, 그 동작 방법 및 이를 구비한 차량 Download PDF

Info

Publication number
KR20150087544A
KR20150087544A KR1020140007631A KR20140007631A KR20150087544A KR 20150087544 A KR20150087544 A KR 20150087544A KR 1020140007631 A KR1020140007631 A KR 1020140007631A KR 20140007631 A KR20140007631 A KR 20140007631A KR 20150087544 A KR20150087544 A KR 20150087544A
Authority
KR
South Korea
Prior art keywords
gesture
image
state mode
extracted
infrared light
Prior art date
Application number
KR1020140007631A
Other languages
English (en)
Inventor
이정훈
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020140007631A priority Critical patent/KR20150087544A/ko
Priority to EP15740431.0A priority patent/EP3098692A4/en
Priority to PCT/KR2015/000402 priority patent/WO2015111869A1/ko
Priority to CN201580005677.7A priority patent/CN106062668B/zh
Priority to US15/113,408 priority patent/US10108334B2/en
Priority to JP2016547916A priority patent/JP6671288B2/ja
Publication of KR20150087544A publication Critical patent/KR20150087544A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3259—Power saving in cursor control device, e.g. mouse, joystick, trackball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

제스처 장치는 영상을 획득하는 입력 모듈; 상기 획득된 영상으로부터 제스처를 추출하는 제스처 처리부; 및 상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하도록 제어하는 제어부를 포함한다.

Description

제스처 장치, 그 동작 방법 및 이를 구비한 차량{Gesture device, operating method thereof and vehicle having the same}
실시예를 제스처에 의해 동작되는 장치에 관한 것이다.
최근 들어, 사용자에게 정보를 제공하여 주는 멀티미디어 전자 기기가 활발하게 개발 및 출시되고 있다.
이러한 멀티미디어 전자 기기의 대표적인 예로서, 스마트폰과 같은 모바일 기기가 있다.
모바일 기기는 이동성과 휴대성을 겸비하는 한편, 통화, 음악 감상, 비디오 보기, 메시지 송수신, 스케줄 관리, 인터넷 서핑 등과 같이 다양한 기능을 포함하고 있다.
한편 이러한 멀티미디어 전자 기기는 차량에 적용하려는 시도가 연구되고 있다.
이러한 멀티미디어 전자 기기의 다양한 기능을 수행하기 위한 입력 명령을 입력받기 위해 다양한 버튼이 멀티미디어 전자 기기의 외관에 설치되어 있다. 사용자는 다양한 버튼을 조작하여 해당 기능을 수행할 수 있다.
하지만, 사용자는 다양한 버튼 각각이 어떤 기능을 수행하기 위한 버튼인지를 파악하기 어렵고, 설사 사용자가 해당 버튼 기능을 파악하고 있다 하더라도 사용자가 일일이 해당 버튼을 눌러 동작을 시키는 데에는 상당한 번거로움이 있다.
더군다나, 소형 멀티미디어 전자 기기의 경우 그 점유 면적의 한계로 인해 각 버튼 간의 간격이 좁기 때문에, 사용자의 잘못된 버튼 선택에 의해 오동작이 발생되는 문제가 있다.
실시예는 오동작 발생 가능성을 최소화한 제스처 장치 및 그 동작 방법을 제공한다.
실시예는 사용자의 기기 조작 편의성을 극대화한 제스처 장치 및 그 동작 방법을 제공한다.
실시예는 제스처 장치를 구비한 차량을 제공한다.
실시예에 따르면, 제스처 장치는 영상을 획득하는 입력 모듈; 상기 획득된 영상으로부터 제스처를 추출하는 제스처 처리부; 및 상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하도록 제어하는 제어부를 포함한다.
실시예에 따르면, 차량은 운전석, 상기 운전석 옆에 배치되는 콘솔 박스 및 기어 노브 그리고 룸미러를 포함한다. 차량은 영상을 획득하기 위해 상기 룸미러의 하부에 장착되는 입력 모듈; 상기 획득된 영상으로부터 제스처를 추출하는 제스처 처리부; 및 상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하고 상기 추출된 제스처에 대응하는 기능을 수행하도록 제어하는 제어부를 포함한다.
실시예에 따르면, 제스처 장치의 동작 방법은 영상을 획득하는 단계; 상기 영상으로부터 제스처를 추출하는 단계; 상기 추출된 제스처가 활성화 제스처인지 확인하는 단계; 및 상기 추출된 제스처가 상기 활성화 제스처인 경우, 잠금 상태 모드를 아이들 상태 모드로 전환하는 단계를 포함한다.
실시예는 초기에는 잠금 상태 모드로 설정되고, 이러한 잠금 상태 모드에서는 어떠한 제스처가 취해지더라도 제스처에 의한 오동작이 발생되지 않게 되어, 오동작에 의한 제품의 신뢰성 저하를 방지하여 품질 향상을 도모할 수 있다.
실시예는 다양한 제스처에 의해 다양한 기능이 수행되므로, 기존에 다수의 버튼 조작으로 기능을 수행할 때 발생되는 번거로움을 해소하거나 버튼 간의 간격 협소로 인한 오동작을 방지할 수 있다.
도 1은 실시예에 따른 제스처 장치를 도시한 블록도이다.
도 2는 실시예에 따른 제스처 장치가 구비된 차량을 도시한 도면이다.
도 3은 도 2의 룸미러에 장착된 영상 입력 모듈을 도시한 도면이다.
도 4는 도 1의 영상 입력 모듈을 도시한 블록도이다.
도 5는 도 1의 출력 모듈을 도시한 블록도이다.
도 6은 도 1의 제스처 처리부를 도시한 블록도이다.
도 7은 활성화 제스처의 일예를 도시한 도면이다.
도 8은 제스처 판단부의 세부 구성을 도시한 도면이다.
도 9는 제1 실시예에 따른 제스처 장치의 동작 방법을 설명하는 흐름도이다.
도 10은 구동 제스처의 일예를 도시한 도면이다.
도 11은 구동 제스처의 다른 예를 도시한 도면이다.
도 12는 제2 실시예에 따른 제스처 장치의 동작 방법을 설명하는 흐름도이다.
실시예의 설명에 있어서, 각 구성 요소의 " 상(위) 또는 하(아래)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)는 두개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다. 또한 “상(위) 또는 하(아래)”으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다. 아울러, ?탯?는 전압 신호 또는 전류 신호일 수 있다.
도 1은 실시예에 따른 제스처 장치를 도시한 블록도이다.
도 1을 참조하면, 실시예에 따른 제스처 장치는 영상 입력 모듈(10), 제스처 처리부(20), 제어부(30), 출력 모듈(40) 및 메모리(50)를 포함할 수 있다.
영상 입력 모듈(10)은 대상물의 영상을 입력한다. 영상 입력 모듈(10)은 도 4에 도시한 바와 같이, 카메라(12) 및 적외선 광원(14)을 포함할 수 있다.
카메라(12)는 대상물로부터 영상을 획득하여 전기 신호로 출력할 수 있다. 카메라(12)는 제어부(30)의 제어 하에 실시간으로 영상을 획득할 수 있다. 따라서, 카메라(12)에 의해 정지 대상물이거나 움직이는 대상물에 대한 영상이 실시간으로 획득될 수 있다.
카메라(12)가 예컨대 차량에 장착되는 경우, 차량의 시동이 켜질 때 이러한 차량의 시동이 켜짐을 인지한 제어부(30)의 제어 하에 카메라(12)가 구동될 수 있다.
또는 차량의 시동이 켜짐에 관계없이 사용자가 직접 카메라(12)을 구동시킬 수도 있다.
적외선 광원(14)은 예컨대 적외선 발광 소자(LED)을 포함할 수 있지만, 이에 대해서는 한정하지 않는다.
적외선 광원(14)은 카메라 주변에 배치될 수 있지만, 이에 대해서는 한정하지 않는다.
적외선 광원(14)은 제어부(30)의 제어 하에 예컨대, 야간에 구동될 수 있다. 야간의 경우 적외선 광원(14)으로부터 적외선 광이 조사됨으로써, 카메라(12)로부터 획득된 영상이 밝기를 가지게 되어 대상물과 비 대상물이 구분될 수 있다.
실시예에 따른 제스처 장치는 도 2에 도시한 바와 같이 예컨대 차량에 구비될 수 있다.
차량의 실내에는 전방의 천장(102)에 룸미러(103)가 구비되고, 운전석(101) 옆에 콘솔 박스((console box, 107)와 기어 노브((gear knob, 105)가 장착된 기어 변속 레버(106)가 구비될 수 있다. 또한 운전석(101)과 조수석(미도시) 사이에 센터페시아(center fascia, 109))가 구비될 수 있다. 룸미러(103)는 전면 유리의 상측 근처의 천장(102)에 설치될 수 있지만, 이에 대해서는 한정하지 않는다. 룸미러(103)는 콘솔 박스(107) 및 기어 노브(105)에 대해 수직인 천장(102)이나 대각선 방향을 향하는 천장(102)에 설치될 수 있다.
영상 입력 모듈(10)은 도 3에 도시한 바와 같이 예컨대 차량의 룸미러(103)의 하부의 일부 상에 장착될 수 있지만, 이에 대해서는 한정하지 않는다.
영상 입력 모듈(10)은 예컨대 차량의 천장(102)의 내면의 일부 상에 장착될 수 있지만, 이에 대해서는 한정하지 않는다.
영상 입력 모듈(10)이 차량의 룸미러(103)의 하부의 일부 또는 차량의 천장(102)의 내면의 일부 상에 장착되든지 간에 영상 입력 모듈(10)은 예컨대 운전자의 손 및/또는 손에 인접한 팔뚝에 대한 영상을 획득해야 한다. 여기서, 팔뚝이라 함은 손목과 팔꿈치 사이일 수 있지만, 이에 대해서는 한정하지 않는다.
영상 입력 모듈(10)에 의해 영상이 획득되는 영역이 영상 획득 영역(A)이라 명명될 수 있다. 영상 획득 영역(A)은 기어 노브(105), 콘솔 박스(107) 그리고 기어 노브(105)와 콘솔 박스(107) 사이의 영역을 포함할 수 있다. 기어 노브(105)는 기어 변속 레버(106)의 상단에 장착되어 사용자의 그립(grip) 감을 향상시켜 준다.
따라서, 영상 획득 영역(A)에 놓여지는 대상물에 대한 영상이 영상 입력 모듈(10)에 의해 획득될 수 있다.
출력 모듈(40)은 또한 차량에 장착될 수 있다. 출력 모듈(40)은 도 5에 도시한 바와 같이, 음향 출력부(42)와 디스플레이 패널(44)을 포함할 수 있다.
디스플레이 패널(44)은 정지 영상이나 동영상이 표시되는 부재로서, 예컨대 센터페시아(109)에 장착될 수 있다. 디스플레이 패널(44)은 예컨대 영화나 뮤직 비디오 또는 네비게이션 화면을 표시할 수 있다. 또한 디스플레이 패널(44)은 영상 통화시 상대방 얼굴이나 상대방이 보내준 영상이 표시될 수 있다.
음향 출력부(42)는 오디오 신호가 출력되는 부재로서, 차량의 각 도어나 천장(102) 등에 장착될 수 있다.
제어부(30)는 각 구성 요소, 즉 영상 입력 모듈(10), 제스처 처리부(20), 출력 모듈(40) 및 메모리(50)를 전체적으로 제어할 수 있다.
예컨대, 제어부(30)는 영상 입력 모듈(10)의 카메라(12)에 의해 영상이 획득되도록 제어하는 한편, 야간 모드시 영상 입력 모듈(10)의 적외선 광원(14)에 의해 빛이 조사되도록 제어할 수 있다.
예컨대, 제어부(30)는 출력 모듈(40)의 음향 출력부(42)에 의해 오디오 신호가 출력되도록 제어하는 한편, 출력 모듈(40)의 디스플레이 패널(44)에 의해 영상 신호가 출력되도록 제어할 수 있다.
예컨대, 제어부(30)는 메모리(50)에 새로운 데이터가 업데이트되도록 제어하며 기 저장된 데이터가 삭제 및 변경되도록 제어할 수 있다.
예컨대, 제어부(30)는 제스처 처리부(20)의 출력 결과를 바탕으로 사용자의 이벤트에 대응하는 동작을 수행하도록 제어할 수 있다.
제스처 처리부(20)의 출력 결과를 바탕으로 제어부(30)의 제어 동작에 대해서는 나중에 상세히 설명하기로 한다.
제스처 처리부(20)는 도 6에 도시한 바와 같이, 영상 분석부(22), 주야간 판단부(24) 및 제스처 판단부(26)를 포함할 수 있다.
영상 분석부(22)는 영상 입력 모듈(10)의 카메라(12)로부터 제공된 프레임 단위의 영상을 분석할 수 있다. 영상 분석부(22)는 영상의 밝기 정보, 대상물의 모양, 대상물의 모양 움직임 정보, 대상물의 실루엣(contour) 정보 및 대상물의 컬러 정보를 파악할 수 있다. 영상의 밝기 정보는 주야간 판단부(24)로 제공될 수 있다. 대상물의 모양 움직임 정보, 대상물의 실루엣 정보 및 대상물의 컬러 정보는 제스처 판단부(26)로 제공될 수 있다.
주야간 판단부(24)는 영상의 밝기 정보를 바탕으로 주간인지 야간인지를 판단할 수 있다. 예컨대, 30 프레임의 영상 전체의 밝기 평균 레벨이 임계치 이상인 경우 주간으로 판단될 수 있다. 예컨대, 30 프레임의 영상 전체의 밝기 평균 레벨이 임계치 이하인 경우 야간으로 판단될 수 있다. 만일 야간으로 판단되는 경우, 제어부(30)의 제어 하에 영상 입력 모듈(10)의 적외선 광원(14)이 구동되어 적외선 광이 조사될 수 있다. 이후, 카메라(12)에 의해 적외선 광이 반영된 영상이 다시 취득될 수 있다.
제스처 판단부(26)는 대상물의 모양 정보, 대상물의 모양 움직임 정보, 대상물의 실루엣 정보 및 대상물의 컬러 정보를 바탕으로 사용자의 제스처가 활성화 제스처인지 또는 구동 제스처인지를 판단할 수 있다.
여기서, 구동 제스처는 실시예에 따른 제스처 장치에 기 설정된 다수의 기능을 수행하기 위한 입력 명령을 의미할 수 있다. 따라서, 구동 제스처는 다수개가 존재할 수 있다.
다수의 구동 제스처 중 어느 하나의 제스처는 활성화 제스처와 동일할 수도 있고 그렇지 않을 수도 있다. 구동 제스처가 활성화 제스처와 동일하더라도, 실시예에 따른 제스처 장치를 에러 없이 동작시킬 수 있다. 예컨대, 활성화 제스처(제1 제스처)와 다수의 구동 제스처 중 하나의 제스처(제2 제스처)가 동일한 경우, 영상 입력 모듈(10)에 의해 먼저 입력된 제1 영상에서 추출된 제1 제스처가 활성화 제스처로 인지되어 아이들 상태 모드로 전환되고 이후 영상 입력 모듈(10)에 의해 입력된 제2 영상에서 추출된 제2 제스처가 구동 제스처로 인지되어 제2 제스처에 대응하는 기능이 수행될 수 있다.
예컨대 구동 제스처로는 홈 화면을 디스플레이하기 위한 홈 제스처, 문자나 숫자를 입력하기 위한 입력창을 디스플레이하기 위한 입력 제스처, 다음 화면이나 이전 화면을 디스플레이하기 위한 왼쪽 제스처, 오른쪽 제스처, 업 제스처 및 다운 제스처 그리고 기 설정된 동작을 곧바로 수행하도록 하는 단축키(shortcut key) 제스처가 사용될 수 있지만, 이에 대해서는 한정하지 않는다.
활성화 제스처는 앞서 설명한 수많은 제스처에 의한 오동작이 발생되지 않도록 하기 위한 담금 장치를 해제하기 위한 제스처일 수 있다. 활성화 제스처에 의해 구동 제스처를 인식하기 위한 아이들 상태(idle state) 모드로 전환될 수 있다. 아이들 상태 모드 이전에는 잠금 상태 모드로 명명될 수 있다. 따라서, 활성화 제스처에 의해 잠금 상태 모드가 아이들 상태 모드로 전환될 수 있다.
활성화 제스처는 특정한 대상물 모양이 특정한 대상물의 모양 움직임으로 메모리(50)에 기 설정될 수 있다.
예컨대, 활성화 제스처는 도 7에 도시한 바와 같이, 새끼 손가락만 펼쳐지고 나머지 손가락들이 오므려진 모양으로 활성화 제스처가 메모리(50)에 기 설정되는 경우, 사용자의 이러한 제스처에 의해 잠금 상태 모드가 아이들 상태 모드로 전환될 수 있다.
예컨대, 구동 제스처는 또한 기 설정되어 사용자의 구동 제스처에 응답하여 해당 기능이 수행될 수 있지만, 이에 대해서는 한정하지 않는다.
제스처 판단부(26)는 다양한 알고리즘이 적용될 수 있다.
이하에서 다양한 알고리즘 중 하나의 알고리즘을 설명하겠지만, 실시예는 이에 한정하지 않는다.
제스처 판단부(26)는 도 8에 도시한 바와 같이, 손 구분(hand segmentation) 기능(61)과 손 특정(hand classification) 기능(65)으로 구분될 수 있다.
손 구분 기능(61)은 대상물 움직임 검출(moving object detection) 기능(62)과 손 인증(hand verification) 기능(64)으로 구분될 수 있다.
손 구분 기능(61)은 주간과 야간에 따라 다른 알고리즘이 적용될 수 있다. 즉, 야간의 경우, 영상 입력 모듈(10)로부터 획득된 영상에 컬러 정보가 포함되지 않기 때문에, 실루엣 정보와 그 실루엣의 특징점(feature points)의 움직임 정보 및 밝기 정보 등이 이용될 수 있다.
대상물 움직임 검출 기능(62)는 영상 입력 모듈(10)로부터 획득된 영상에서 예컨대 손의 후부 영역에 해당하는 블롭(blobs)을 찾아 이에 대한 관련 정보, 예컨대 특징점의 위치나 관심 영역(ROI: region of interest)의 코너점(corner points)의 위치를 파악할 수 있다.
손 인증 기능(64)은 이전 영상으로부터 손에 해당하는 영역을 정확하게 구분해내고 해당 영역 내의 모든 픽셀들에 대한 좌표값(x,y)과 해당 영역의 실루엣 정보 즉 해당 영역의 최외곽 픽셀들에 대한 좌표(x,y)을 검출한다. 아울러, 손 인증 기능(64)은 다음 영상에서 손 영역이 위치하게 좌표값을 추청하여 대상물 움직임 검출 기능(62)으로 제공한다. 움직임 검출 기능(62)는 손 인증 기능(64)로부터 제공된 정보를 바탕으로 손이 위치될 후보 영역(ROI)의 검출 범위를 좁힐 수 있어, 보다 정확하게 손 영역을 검출할 수 있다. 이에 따라,
손 특정 기능(65)는 제스처 관리(gesture management) 기능(67)과 제스처 특정(gesture classification) 기능(69)으로 구분될 수 있다.
제스처 관리 기능(67)은 효율적이고 정확한 제스처 인식 및 연산시간 감소를 위하여 아이들 상태 모드로의 전환 이후의 모든 제스처에 대한 플로우(flow) 관리를 수행할 수 있다.
제스처 특정 기능(69)은 대상물 움직임 검출 기능(62)에서 제공된 특징점(feature points) 정보를 이용하여 손의 모양이나 움직임 형태를 파악하여 파악된 손의 움직임 중에서 사용자가 의도하지 않은 동작 형태를 제거하여 사용자가 의도한 동작 형태만을 출력할 수 있다. 제스처 특정 기능(69)에 의해 사용자가 의도하지 않은 동작 형태로 인한 오동작이 방지될 수 있다.
도 9는 제1 실시예에 따른 제스처 장치의 동작 방법을 설명하는 흐름도이다.
도 1, 도 4 및 도 9를 참조하면, 제어부(30)의 제어 하에 영상 입력 모듈(10)의 카메라(12)가 구동될 수 있다(S201).
예컨대, 차량의 시동이 켜지면, 제어부(30)는 이러한 차량의 시동 켜짐을 인지하고 카메라(12)가 구동되도록 제어할 수 있다.
예컨대, 사용자의 이벤트, 예컨대 카메라(12) 구동 버튼에 대한 누름이 감지되면, 제어부(30)는 카메라(12)가 구동되도록 제어할 수 있다.
이때, 제스처 장치는 잠금 상태 모드로 설정될 수 있다(S203). 즉, 카메라(12) 구동에 의해 카메라(12)의 렌즈에 대응되는 영상 획득 영역(A)에 위치되는 대상물에 대한 영상이 획득될 수 있다. 이때, 사용자가 영상 획득 영역(A)에서 무심코 특정 제스처를 취하는 경우 구동 제스처로 인지되어 특정 기능이 수행되는 오동작이 발생될 수 있다.
실시예는 이러한 오동작을 방지하기 위해, 기 설정된 특정 제스처 즉 활성화 제스처에 의해 잠금 상태 모드를 해제하여 아이들 상태 모드로 전환된 이후에만 제스처에 의한 기능이 수행되도록 하여 줄 수 있다.
따라서, 잠금 상태 모드로 설정된 경우, 영상 획득 영역(A)에서 특정 제스처 이외의 어떠한 제스처가 취해지더라도 제스처에 의한 오동작이 발생되지 않게 된다.
구동된 카메라(12)에 의해 영상 획득 영역(A)에 위치된 대상물에 대한 제1 영상이 획득된다(S205).
제스처 처리부(20)는 획득된 제1 영상으로부터 추출된 제스처가 활성화 제스처인지 확인한다(S207).
제스처 처리부(20)는 제1 영상을 분석하여 대상물의 모양 정보, 대상물의 모양 움직임 정보, 대상물의 컬러 정보 등을 파악하고, 파악된 이들 정보를 토대로 제1 영상에 제스처가 존재하는지 그리고 제스처가 존재한다면 이 제스처가 기 설정된 활성화 제스처와 일치하는지를 판단할 수 있다.
예컨대, 도 7과 같은 손 모양의 제스처가 활성화 제스처로 메모리(50)에 설정될 수 있다. 즉, 활성화 제스처는 새끼 손가락만 펼쳐지고 나머지 손사락들은 오므려진 모양을 가질 수 있다. 이러한 경우, 제스처 처리부(20)는 제1 영상에 제스처가 존재하고 존재하는 제스처가 도 7과 같은 손 모양의 제스처와 동일한지 판단한다.
만일 제1 영상에 존재하는 제스처가 기 설정된 활성화 제스처와 동일한 경우, 제어부(30)는 잠금 상태 모드를 아이들 상태 모드로 전환할 수 있다(S209). 아이들 상태 모드는 다양한 제스처를 바탕으로 실시예에 따른 제스처 장치에 구현 가능한 다양한 기능이 수행될 수 있는 기능 활성화 상태라 할 수 있다.
잠금 상태 모드가 아이들 상태 모드로 전환된 이후에 비로서 다양한 기능이 수행될 수 있다. 잠금 상태 모드 상태에서 특정 기능을 수행하기 위한 제스처를 취하여 카메라(12)에 의해 이러한 제스처에 대한 영상이 획득되더라도 잠금 상태 모드로 설정되어 있어 해당 기능이 수행될 수 없다. 이에 반해, 아이들 상태 모드로 전환되면, 특정 기능을 수행하기 위한 제스처에 응답하여 해당 특정 기능이 수행될 수 있다.
실시예에 따른 제스처 장치는 다양한 기능을 수행하도록 다양한 기능에 대응되도록 다양한 제스처가 설정될 수 있다.
예컨대, 도 10에 도시한 바와 같이, 손이 왼쪽으로 이동되는 제스처의 경우, 이러한 왼쪽 제스처에 의해 출력 모듈(40)의 디스플레이 패널(44)에 표시되는 유저 인터페이스(US) 화면이 왼쪽으로 사라지는 대신 다음 UI 화면이 디스플레이 패널(44) 상에 표시될 수 있다.
예컨대, 도 11에 도시한 바와 같이, 검지 손가락만 펼쳐지는 제스처, 즉 "1"을 나타내는 단축키를 표시하는 제스처의 경우, 이러한 단축키 제스처에 의해 "1"을 나타내는 단축키에 설정된 특정 사람의 전화 번호를 이용하여 특정 사람의 단말기로 호 신호(call signal)가 송신되어, 특정 사람과 통화가 가능할 수 있다.
이 이외에도 다양한 기능에 맞도록 다양한 제스처가 설정되는 경우, 아이들 상태 모드로 전환된 후 이러한 다양한 제스처를 통해 다양한 기능이 수행될 수 있다.
실시예는 이와 같이 다양한 제스처에 의해 다양한 기능이 수행되므로, 기존에 다수의 버튼 조작으로 기능을 수행할 때 발생되는 번거로움을 해소하거나 버튼 간의 간격 협소로 인한 오동작을 방지할 수 있다.
아이들 상태 모드에서의 다양한 기능 구현에 대해서는 이하에서 설명한다.
제어부(30)의 제어 하에 카메라(12)에 의해 제2 영상이 획득될 수 있다(S211).
제스처 처리부(20)는 제2 영상을 바탕으로 제2 영상 내에 제스처가 있는지 그리고 제스처가 있다면 해당 제스처가 구동 제스처인지를 확인한다(S213).
구동 제스처는 제스처 장치에 구비된 다양한 기능에 대응하도록 다양한 제스처를 가질 수 있다.
만일 제2 영상 내에 제스처가 구동 제스처이면, 해당 구동 제스처에 대응하는 기능이 수행될 수 있다(S215).
예컨대, 앞서 설명한 바와 같이, 검지 손가락만 펼쳐지는 제스처인 경우, 이러한 제스처에 응답하여 단축키 "1"에 해당하는 전화 번호로 호 신호가 송신되어 해당 전화 번호의 사용자와 통화가 연결될 수 있다.
도 12는 제2 실시예에 따른 제스처 장치의 동작 방법을 설명하는 흐름도이다.
제2 실시예에서 단계(S230), 단계(S240) 및 단계(S250)을 제외하고는 제1 실시예와 거의 유사하다. 제2 실시예에서 제1 실시예와 동일한 단계는 동일한 도면 부호를 부여하고 상세한 설명을 생략하기로 한다. 제2 실시예에서 생략된 설명은 제1 실시예로부터 용이하게 이해될 수 있다.
도 12에 도시한 바와 같이, 카메라(12)가 구동되는 단계(S201), 잠금 상태 모드로 설정되는 단계(S203) 및 제1 영상이 획득되는 단계(S205)가 진행될 수 있다.
제1 영상이 획득되면, 제스처 처리부(20)는 제1 영상으로부터 파악된 제1 영상의 밝기가 임계치 이하인지 여부를 확인한다(S230). 여기서, 밝기는 한 프레임의 제1 영상의 밝기이거나 다수 프레임의 제1 영상의 평균 밝기일 수 있지만, 이에 대해서는 한정하지 않는다.
제1 영상의 밝기가 임계치 이하인 경우 야간인 것을 의미하고, 제1 영상의 밝기가 임계치 이상인 경우 주간인 것을 의미할 수 있다. 임계치는 기 설정되어 있을 수 있고 또는 사용자에 의해 설정될 수 있다.
만일 제1 영상의 밝기가 임계치 이하인 경우, 적외선 광원(14)이 구동되어 적외선 광원(14)으로부터 적외선 광이 조사될 수 있다(S240).
적외선 광원(14)이 조사된 상태에서 카메라(12)에 의해 제1 영상이 다시 획득될 수 있다(S250). 이때, 획득된 제1 영상은 단계(S205)에서 획득된 제1 영상과 컬러가 다를 수 있다. 즉, 단계(S205)에서 획득된 제1 영상은 컬러를 가지는데 반해, 단계(S250)에서 획득된 제1 영상은 흑백일 수 있다.
이후의 단계들(S207, S209, S211, S213, S215)는 제1 실시예와 동일하므로, 더 이상의 설명은 생략하기로 한다.
만일 단계(S230)에서 제1 영상의 밝기가 임계치보다 큰 경우, 적외선 광원(14)이 구동될 필요 없이 곧바로 단계(S207)이 수행될 수 있다.
10: 영상 입력 모듈
12: 카메라
14: 적외선 광원
20: 제스처 처리부
22: 영상 분석부
24: 주야간 판단부
26: 제스처 판단부
30: 제어부
40: 출력 모듈
42: 음향 출력부
44: 디스플레이 패널
50: 메모리
101: 운전석
103: 룸미러
105: 기어 노브
107: 콘솔 박스
109: 센터페시아
A: 영상 획득 영역

Claims (12)

  1. 제1 영상을 획득하는 입력 모듈;
    상기 획득된 제1 영상으로부터 제스처를 추출하는 제스처 처리부; 및
    상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하도록 제어하는 제어부를 포함하는 제스처 장치.
  2. 제1항에 있어서,
    상기 입력 모듈은 상기 아이들 상태 모드로 전환된 후, 제2 영상을 획득하고,
    상기 제스처 처리부는 상기 제2 영상으로부터 제스처를 추출하며,
    상기 제어부는 상기 제2 영상으로부터 추출된 제스처에 대응하는 기능을 수행하도록 제어하는 제스처 장치.
  3. 제2항에 있어서,
    상기 입력 모듈은
    상기 제1 영상 및 상기 제2 영상을 획득하는 카메라; 및
    야간시 적외선 광을 조사하는 적외선 광원을 포함하고,
    야간시 적외선 광을 반영한 제1 영상 및 제2 영상이 획득되는 제스처 장치.
  4. 제2항에 있어서,
    상기 제1 및 제2 영상은 손 및/또는 팔뚝에 대한 영상인 제스처 장치.
  5. 운전석, 상기 운전석 옆에 배치되는 콘솔 박스 및 기어 노브 그리고 룸미러를 포함하는 차량에 있어서,
    영상을 획득하기 위해 상기 룸미러의 하부에 장착되는 입력 모듈;
    상기 획득된 영상으로부터 제스처를 추출하는 제스처 처리부; 및
    상기 추출된 제스처를 바탕으로 잠금 상태 모드를 아이들 상태 모드로 전환하고 상기 추출된 제스처에 대응하는 기능을 수행하도록 제어하는 제어부를 포함하는 차량.
  6. 제5항에 있어서,
    상기 기능은 상기 아이들 상태 모드로 전환된 이후에만 수행되는 차량.
  7. 제5항에 있어서,
    상기 영상은 상기 콘솔 박스와 상기 기어 노브 사이에 정의되는 획득 영역에 위치되는 대상물로부터 획득되는 차량.
  8. 제5항에 있어서,
    상기 제스처 처리부는 상기 영상으로부터 추출된 대상물의 모양 정보, 대상물의 모양 움직임 정보, 대상물의 실루엣 정보 및 대상물의 컬러 정보를 바탕으로 상기 제스처를 추출하는 차량.
  9. 제1 영상을 획득하는 단계;
    상기 제1 영상으로부터 제1 제스처를 추출하는 단계;
    상기 추출된 제1 제스처가 활성화 제스처인지 확인하는 단계; 및
    상기 추출된 제1 제스처가 상기 활성화 제스처인 경우, 잠금 상태 모드를 아이들 상태 모드로 전환하는 단계를 포함하는 제스처 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 잠금 상태 모드에서 상기 활성화 제스처 이외의 구동 제스처에 대응하는 기능의 수행이 차단되는 제스처 장치의 동작 방법.
  11. 제9항에 있어서,
    상기 아이들 상태 모드로 전환된 후, 제2 영상을 획득하는 단계;
    상기 제2 영상으로부터 제2 제스처를 추출하는 단계;
    상기 추출된 제2 제스처가 구동 제스처인지 확인하는 단계; 및
    상기 추출된 제2 제스처가 상기 구동 제스처인 경우, 상기 구동 제스처에 대응하는 기능을 수행하는 단계를 더 포함하는 제스처 장치의 동작 방법.
  12. 제9항에 있어서,
    상기 활성화 제스처인지 확인하는 단계 이전에,
    상기 제1 영상의 밝기를 추출하는 단계; 및
    상기 제1 영상의 밝기가 임계치 이하인 경우, 적외선 광원을 구동하여 적외선 광을 조사하는 단계를 더 포함하고,
    상기 적외선 광이 조사된 상태에서 상기 제1 영상이 다시 획득되어 상기 다시 획득된 제1 영상으로부터 추출된 제스처가 활성화 제스처인지 확인하는 과정이 수행되는 제스처 장치의 동작 방법.
KR1020140007631A 2014-01-22 2014-01-22 제스처 장치, 그 동작 방법 및 이를 구비한 차량 KR20150087544A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020140007631A KR20150087544A (ko) 2014-01-22 2014-01-22 제스처 장치, 그 동작 방법 및 이를 구비한 차량
EP15740431.0A EP3098692A4 (en) 2014-01-22 2015-01-14 Gesture device, operation method for same, and vehicle comprising same
PCT/KR2015/000402 WO2015111869A1 (ko) 2014-01-22 2015-01-14 제스처 장치, 그 동작 방법 및 이를 구비한 차량
CN201580005677.7A CN106062668B (zh) 2014-01-22 2015-01-14 手势设备、用于手势设备的操作方法以及包括手势设备的车辆
US15/113,408 US10108334B2 (en) 2014-01-22 2015-01-14 Gesture device, operation method for same, and vehicle comprising same
JP2016547916A JP6671288B2 (ja) 2014-01-22 2015-01-14 ジェスチャー装置、その動作方法及びこれを備えた車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140007631A KR20150087544A (ko) 2014-01-22 2014-01-22 제스처 장치, 그 동작 방법 및 이를 구비한 차량

Publications (1)

Publication Number Publication Date
KR20150087544A true KR20150087544A (ko) 2015-07-30

Family

ID=53681629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140007631A KR20150087544A (ko) 2014-01-22 2014-01-22 제스처 장치, 그 동작 방법 및 이를 구비한 차량

Country Status (6)

Country Link
US (1) US10108334B2 (ko)
EP (1) EP3098692A4 (ko)
JP (1) JP6671288B2 (ko)
KR (1) KR20150087544A (ko)
CN (1) CN106062668B (ko)
WO (1) WO2015111869A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112015000921T5 (de) * 2014-03-26 2016-12-08 Faurecia Automotive Seating, Llc Fahrzeugsitz
EP3119158A4 (en) * 2014-03-31 2017-03-08 Huawei Technologies Co. Ltd. Privacy protection method and terminal device
JP2016168958A (ja) * 2015-03-13 2016-09-23 矢崎総業株式会社 車両用操作システム
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
TWI636395B (zh) * 2016-11-10 2018-09-21 財團法人金屬工業研究發展中心 基於深度值之手勢操作方法及其系統
FR3060473A1 (fr) * 2016-12-16 2018-06-22 Peugeot Citroen Automobiles Sa Pavillon de toit de vehicule automobile comportant un dispositif de commande sans contact d’au moins un composant electrique.
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
US10755495B1 (en) 2017-09-25 2020-08-25 State Farm Mutual Automobile Insurance Company Technology for detecting onboard sensor tampering
CN109215197B (zh) * 2018-09-17 2021-09-03 广州小鹏汽车科技有限公司 一种鉴权方法、电子设备及计算机可读存储介质
CN110315968B (zh) * 2019-07-03 2021-04-16 上海科世达-华阳汽车电器有限公司 一种控制换挡操纵装置的方法、设备、系统及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
JP4650247B2 (ja) * 2005-12-07 2011-03-16 株式会社デンソー カーナビゲーションシステム
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
CN102112945B (zh) * 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
KR100967556B1 (ko) * 2009-01-07 2010-07-05 아진산업(주) 차량실내 감시 기록장치
KR101564222B1 (ko) 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
JP2010282390A (ja) * 2009-06-04 2010-12-16 Toyama Prefecture 通行車両撮影方法と撮影装置
DE102009032069A1 (de) 2009-07-07 2011-01-13 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle in einem Fahrzeug
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
KR101623007B1 (ko) * 2009-11-11 2016-05-20 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
CN102131047B (zh) * 2011-04-18 2012-09-26 广州市晶华光学电子有限公司 一种360度自动跟踪式狩猎相机及其工作方法
US20120329529A1 (en) 2011-06-21 2012-12-27 GreatCall, Inc. Gesture activate help process and system
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
DE102012000201A1 (de) * 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012000263A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
KR20130124143A (ko) * 2012-11-30 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
AU2013205613B2 (en) 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
KR20130124139A (ko) * 2012-11-21 2013-11-13 삼성전자주식회사 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
WO2013175603A1 (ja) * 2012-05-24 2013-11-28 パイオニア株式会社 操作入力装置、操作入力方法及び操作入力プログラム
JP5916566B2 (ja) * 2012-08-29 2016-05-11 アルパイン株式会社 情報システム

Also Published As

Publication number Publication date
EP3098692A1 (en) 2016-11-30
US10108334B2 (en) 2018-10-23
CN106062668A (zh) 2016-10-26
JP2017510875A (ja) 2017-04-13
JP6671288B2 (ja) 2020-03-25
WO2015111869A1 (ko) 2015-07-30
CN106062668B (zh) 2019-11-15
US20170010797A1 (en) 2017-01-12
EP3098692A4 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
KR20150087544A (ko) 제스처 장치, 그 동작 방법 및 이를 구비한 차량
US8693732B2 (en) Computer vision gesture based control of a device
US8085243B2 (en) Input device and its method
US10102361B2 (en) Method and apparatus for implementing touch key and fingerprint identification, and terminal device
US8537231B2 (en) User interface system based on pointing device
JP5172485B2 (ja) 入力装置及び入力装置の制御方法
JP2016520946A (ja) 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法
US20140053115A1 (en) Computer vision gesture based control of a device
KR20140079162A (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
JP2012027515A (ja) 入力方法及び入力装置
CN110908569B (zh) 虚实影像的互动方法及装置
JP2018055264A (ja) ジェスチャ検出装置
JP2009031981A (ja) インタフェース装置、インタフェース方法及びインタフェースプログラム
KR20120048190A (ko) 동작인식을 이용한 차량 기능 제어 시스템
CN105320340B (zh) 触控装置及其控制方法与判断解锁的方法
JPH05232908A (ja) 指示入力装置
CN106527704A (zh) 智能系统及其控制分屏的方法
JP5118663B2 (ja) 情報端末装置
KR100527512B1 (ko) 차량 전자장비의 제어 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination