KR20160090047A - 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치 - Google Patents

차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치 Download PDF

Info

Publication number
KR20160090047A
KR20160090047A KR1020150009823A KR20150009823A KR20160090047A KR 20160090047 A KR20160090047 A KR 20160090047A KR 1020150009823 A KR1020150009823 A KR 1020150009823A KR 20150009823 A KR20150009823 A KR 20150009823A KR 20160090047 A KR20160090047 A KR 20160090047A
Authority
KR
South Korea
Prior art keywords
driver
vein pattern
image
hand
images
Prior art date
Application number
KR1020150009823A
Other languages
English (en)
Inventor
김선아
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150009823A priority Critical patent/KR20160090047A/ko
Priority to CN201510482883.9A priority patent/CN105807912B/zh
Priority to US14/822,759 priority patent/US9898652B2/en
Publication of KR20160090047A publication Critical patent/KR20160090047A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • B60K2360/146—
    • B60K2360/1464—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identical check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B60W2050/08—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Abstract

차량은 운전자 손의 회전 각도에 따라 복수의 기준 정맥 패턴 영상을 포함하는 정맥 패턴 룩업 테이블을 저장하는 저장부, 상기 운전자 손의 영상을 포함하는 운전자 영상을 획득하는 영상획득부, 상기 운전자 영상으로부터 상기 운전자 손의 정맥 패턴 영상을 추출하고, 상기 정맥 패턴 영상을 상기 정맥 패턴 룩업 테이블을 비교하여 운전자를 인증하고, 상기 정맥 패턴 영상을 기초로 상기 운전자 손의 위치, 상기 운전자 손이 지시하는 방향 및 상기 운전자 손의 회전 각도 가운데 적어도 하나를 포함하는 상기 운전자의 동작을 판단하는 제어부를 포함할 수 있다.

Description

차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치{VEHICLE, CONTROLLING METHOD THEREOF AND GESTURE RECOGNITION APPARATUS THEREIN}
개시된 발명은 차량, 차량의 제어 방법 및 차량에 포함된 동작 인식 장치에 관한 것으로써, 더욱 상세하게는 운전자의 동작을 인식하는 차량, 차량의 제어 방법 및 차량에 포함된 동작 인식 장치에 관한 발명이다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
최근 차량은 단순히 물자와 인력을 운송하는 것을 넘어서서 운전자가 운전 중에 음악을 듣고 영상을 볼 수 있도록 오디오 장치와 비디오 장치를 포함하는 것이 일반적이며, 운전자가 목적하는 장소까지의 경로를 표시하는 내비게이션(Navigation) 장치 역시 널리 설치되고 있다. 나아가, 최근에는 오디오 장치, 비디오 장치 및 내비게이션 장치가 일체화된 AVN (Audio/Video/Navigation) 장치가 차량에 설치되고 있다.
운전자가 운전 중에 AVN 장치를 조작하고자 하는 경우, 운전자의 시선이 분산될 뿐만 아니라 운전자의 손을 스티어링 휠로부터 AVN 장치로 이동시켜야 하며, 그로 인하여 사고 발생의 위험이 증가한다.
이에, 개시된 발명의 일 측면은 운전자의 동작을 감지하고, 감지된 동작에 대응하는 제어 명령을 인식하는 차량, 차량의 제어 방법 및 차량에 포함된 동작 인식 장치를 제공하고자 한다.
개시된 발명의 다른 일 측면은 운전자의 동작 인식을 더욱 정확히 인식하기 위하여 운전자의 손에 형성된 정맥 패턴을 검출하고, 검출된 정맥 패턴을 기초로 운전자의 동작을 감지하는 차량, 차량의 제어 방법 및 차량에 포함된 동작 인식 장치를 제공하고자 한다.
개시된 발명의 일 측면에 따른 차량은 운전자 손의 회전 각도에 따라 복수의 기준 정맥 패턴 영상을 포함하는 정맥 패턴 룩업 테이블을 저장하는 저장부, 상기 운전자 손의 영상을 포함하는 운전자 영상을 획득하는 영상획득부, 상기 운전자 영상으로부터 상기 운전자 손의 정맥 패턴 영상을 추출하고, 상기 정맥 패턴 영상을 상기 정맥 패턴 룩업 테이블을 비교하여 운전자를 인증하고, 상기 정맥 패턴 영상을 기초로 상기 운전자 손의 위치, 상기 운전자 손이 지시하는 방향 및 상기 운전자 손의 회전 각도 가운데 적어도 하나를 포함하는 상기 운전자의 동작을 판단하는 제어부를 포함할 수 있다.
실시 형태에 따라 상기 운전자 손의 회전 각도에 따른 복수의 기준 동작 영상을 표시하는 디스플레이 더 포함할 수 있다.
실시 형태에 따라 상기 복수의 기준 동작 영상 가운데 어느 하나의 기준 동작 영상이 표시되는 동안 상기 제어부는 상기 어느 하나의 기준 동작 영상에 대응되는 기준 운전자 영상을 획득할 수 있다.
실시 형태에 따라 상기 제어부는 상기 기준 운전자 영상을 이진화하고, 상기 이진화된 기준 운전자 영상으로부터 기준 정맥 패턴 영상을 추출할 수 있다.
실시 형태에 따라 상기 제어부는 상기 기준 정맥 패턴 영상을 기초로 상기 룩업 테이블을 생성할 수 있다.
실시 형태에 따라 상기 제어부는 상기 운전자 영상을 이진화하고, 상기 이진화된 운전자 영상으로부터 정맥 패턴 영상을 추출하고, 상기 정맥 패턴 영상의 위치를 기초로 상기 운전자 손의 위치를 판단할 수 있다.
실시 형태에 따라 상기 제어부는 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상을 회전 변환하고, 상기 정맥 패턴의 회전 각도를 기초로 상기 운전자 손이 지시하는 방향을 판단할 수 있다.
실시 형태에 따라 상기 제어부는 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상의 크기를 변환하고, 상기 정맥 패턴 영상의 크기 변환 비율을 기초로 상기 운전자 손의 높이를 판단할 수 있다.
실시 형태에 따라 상기 제어부는 상기 복수의 기준 정맥 패턴 영상 가운데 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 검색하고, 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 기초로 상기 운전자 손의 회전 각도를 판단할 수 있다.
실시 형태에 따라 상기 제어부는 상기 영상 획득부가 연속적으로 획득하는 복수의 운전자 영상을 처리하여 연속적인 운전자 동작을 판단하고, 상기 연속적인 운전자 동작을 기초로 상기 운전자의 움직임을 판단할 수 있다.
실시 형태에 따라 상기 제어부는 상기 운전자의 움직임을 기초로 상기 운전자의 제어 명령을 판단할 수 있다.
실시 형태에 따라 상기 운전자 영상으로부터 복수의 정맥 패턴 영상이 추출되면 상기 제어부는 상기 복수의 정맥 패턴 영상 각각을 상기 정맥 패턴 룩업 테이블과 비교하여 복수의 운전자를 식별하고, 상기 정맥 패턴 영상을 기초로 상기 식별된 운전자 각각을 인증할 수 있다.
개시된 발명의 일 측면에 따른 차량의 제어 방법은 운전자 손의 회전 각도에 따라 복수의 기준 정맥 패턴 영상을 포함하는 정맥 패턴 룩업 테이블을 저장하고, 상기 운전자 손의 영상을 포함하는 운전자 영상을 획득하고, 상기 운전자 영상으로부터 상기 운전자 손의 정맥 패턴 영상을 추출하고, 상기 정맥 패턴 영상을 상기 정맥 패턴 룩업 테이블을 비교하여 운전자를 인증하고, 상기 정맥 패턴 영상을 기초로 상기 운전자 손의 위치, 상기 운전자 손이 지시하는 방향 및 상기 운전자 손의 회전 각도 가운데 적어도 하나를 포함하는 상기 운전자의 동작을 판단하는 것을 포함할 수 있다.
실시 형태에 따라 상기 정맥 패턴 룩업 테이블을 저장하는 것은 상기 운전자 손의 회전 각도에 따라 기준 동작 영상을 표시하고, 상기 기준 동작 영상에 대응되는 기준 운전자 영상을 획득하고, 상기 기준 운전자 영상으로부터 기준 정맥 패턴 영상을 추출하고, 상기 기준 정맥 패턴 영상을 기초로 상기 룩업 테이블을 생성하는 것을 포함할 수 있다.
실시 형태에 따라 상기 정맥 패턴 영상을 기초로 상기 운전자의 동작을 판단하는 것은 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상을 회전 변환하고, 상기 정맥 패턴의 회전 각도를 기초로 상기 운전자 손이 지시하는 방향을 판단하는 것을 포함할 수 있다.
실시 형태에 따라 상기 정맥 패턴 영상을 기초로 상기 운전자의 동작을 판단하는 것은 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상의 크기를 변환하고, 상기 정맥 패턴 영상의 크기 변환 비율을 기초로 상기 운전자 손의 높이를 판단하는 것을 포함할 수 있다.
실시 형태에 따라 상기 정맥 패턴 영상을 기초로 상기 운전자의 동작을 판단하는 것은 상기 복수의 기준 정맥 패턴 영상 가운데 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 검색하고, 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 기초로 상기 운전자 손의 회전 각도를 판단하는 것을 포함할 수 있다.
실시 형태에 따라 상기 영상 획득부가 연속적으로 획득하는 복수의 운전자 영상을 처리하여 연속적인 운전자 동작을 판단하고, 상기 연속적인 운전자 동작을 기초로 상기 운전자의 움직임을 판단하고, 상기 운전자의 움직임을 기초로 상기 운전자의 제어 명령을 판단하는 것을 더 포함할 수 있다.
실시 형태에 따라 상기 운전자를 인증하는 것은 상기 운전자 영상으로부터 복수의 정맥 패턴 영상이 추출되면 상기 복수의 정맥 패턴 영상 각각을 상기 정맥 패턴 룩업 테이블과 비교하여 복수의 운전자를 식별하고, 상기 정맥 패턴 영상을 기초로 상기 식별된 운전자 각각을 인증하는 것을 포함할 수 있다.
개시된 발명의 일 측면에 따른 동작 인식 장치는 운전자 손의 회전 각도에 따라 복수의 기준 정맥 패턴 영상을 포함하는 정맥 패턴 룩업 테이블을 저장하는 메모리, 상기 운전자 손의 영상을 포함하는 운전자 영상을 획득하는 카메라 모듈, 상기 운전자 영상으로부터 상기 운전자 손의 정맥 패턴 영상을 추출하고, 상기 정맥 패턴 영상을 상기 정맥 패턴 룩업 테이블을 비교하는 그래픽 프로세서, 상기 정맥 패턴 영상을 기초로 상기 운전자 손의 위치, 상기 운전자 손이 지시하는 방향 및 상기 운전자 손의 회전 각도 가운데 적어도 하나를 포함하는 상기 운전자의 동작을 판단하는 메인 프로세서를 포함할 수 있다.
실시 형태에 따라 상기 그래픽 프로세서는 상기 운전자 영상을 이진화하고, 상기 이진화된 운전자 영상으로부터 정맥 패턴 영상을 추출하고, 상기 메인 프로세서는 상기 정맥 패턴 영상의 위치를 기초로 상기 운전자 손의 위치를 판단할 수 있다.
실시 형태에 따라 상기 그래픽 프로세서는 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상을 회전 변환하고, 상기 메인 프로세서는 상기 정맥 패턴의 회전 각도를 기초로 상기 운전자 손이 지시하는 방향을 판단할 수 있다.
실시 형태에 따라 상기 그래픽 프로세서는 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상의 크기를 변환하고, 상기 메인 프로세서는 상기 정맥 패턴 영상의 크기 변환 비율을 기초로 상기 운전자 손의 높이를 판단할 수 있다.
실시 형태에 따라 상기 그래픽 프로세서는 상기 복수의 기준 정맥 패턴 영상 가운데 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 검색하고, 상기 메인 프로세서는 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 기초로 상기 운전자 손의 회전 각도를 판단할 수 있다.
개시된 발명의 일 측면에 따르면, 운전자의 동작을 감지하고, 감지된 동작에 대응하는 제어 명령을 인식하는 차량, 차량의 제어 방법 및 차량에 포함된 동작 인식 장치를 제공할 수 있다.
개시된 발명의 다른 일 측면에 따르면 운전자의 동작 인식을 더욱 정확히 인식하기 위하여 운전자의 손에 형성된 정맥 패턴을 검출하고, 검출된 정맥 패턴을 기초로 운전자의 동작을 감지하는 차량, 차량의 제어 방법 및 차량에 포함된 동작 인식 장치를 제공할 수 있다.
도 1은 일 실시예에 의한 차량의 외관을 도시한다.
도 2는 일 실시예에 의한 차량의 내부를 도시한다.
도 3은 일 실시예에 의한 동작 인식 장치의 구성을 도시한다.
도 4은 일 실시예에 의한 동작 인식 장치에 포함되는 발광부 및 영상 획득부를 도시한다.
도 5는 일 실시예에 의한 차량에 포함된 각종 전자 장치 사이의 전기적 연결을 도시한다.
도 6은 일 실시예에 의한 차량에 포함된 AVN 장치의 구성을 도시한다.
도 7은 일 실시예에 의한 차량의 정맥 패턴 등록 동작을 도시한다.
도 8은 일 실시예에 의한 차량이 운전자의 정맥 패턴을 등록하기 위한 기준 동작 영상의 일 예를 도시한다.
도 9는 일 실시예에 의한 차량이 운전자 영상을 획득하는 일 예를 도시한다.
도 10은 일 실시예에 의한 차량이 획득한 운전자 영상의 일 예를 도시한다.
도 11는 일 실시예에 의한 차량이 운전자의 정맥 패턴을 등록하기 위한 기준 동작 영상의 다른 일 예를 도시한다.
도 12은 일 실시예에 의한 차량이 운전자 영상을 획득하는 다른 일 예를 도시한다.
도 13는 일 실시예에 의한 차량이 획득한 운전자 영상의 다른 일 예를 도시한다.
도 14는 일 실시예에 의한 차량이 생성한 룩업 테이블을 도시한다.
도 15a 및 도 15b는 일 실시예에 의한 차량의 운전자 인증 및 동작 인식 동작을 도시한다.
도 16은 일 실시예에 의한 차량이 운전자 인증 및 동작 인식을 위하여 획득한 운전자 영상의 일 예를 도시한다.
도 17 및 도 18은 일 실시예에 의한 차량이 운전자의 정맥 패턴 영상을 보정하는 일 예를 도시한다.
도 19는 일 실시예에 의한 차량이 정맥 패턴 룩업 테이블을 검색하는 일 예를 도시한다.
도 20은 일 실시예에 의한 차량이 운전자 인증 및 동작 인식을 위하여 획득한 운전자 영상의 다른 일 예를 도시한다.
도 21은 일 실시예에 의한 차량이 운전자 인증 및 동작 인식을 위하여 획득한 운전자 영상의 또 다른 일 예를 도시한다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
또한, 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, 본 명세서에서 사용한 "제1", "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 본 명세서 전체에서 사용되는 "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어를 의미할 수 있다.
이하에서는 첨부한 도면을 참조하여 개시된 발명의 일 실시예에 대하여 상세하게 설명한다.
도 1은 일 실시예에 의한 차량의 외관을 도시하고, 도 2는 일 실시예에 의한 차량의 내부를 도시한다.
도 1 및 도 2를 참조하면, 일 실시예에 의한 차량(1)은 차량(1)의 외관을 형성하는 차체(body) (11~16), 차량(1) 내부의 구성 부품을 지지하는 차대(chassis) (미도시), 차체(11~16) 및 차대를 이동시키는 차륜(21, 22)을 포함할 수 있다.
차륜(21, 22)은 차량의 전방에 마련되는 전륜(21), 차량의 후방에 마련되는 후륜(22)을 포함하며, 차체(11~16) 및 차대는 차륜(21, 22)의 회전에 의하여 전방 또는 후방으로 이동할 수 있다.
차체(11~16)는 후드(hood) (11), 프런트 펜더(front fender) (12), 루프 패널(roof panel) (13), 도어(door) (14), 트렁크 리드(trunk lid) (15), 쿼터 패널(quarter panel) (16) 등을 포함할 수 있다.
또한, 차체(11~16)의 외부에는 차체(11~16)의 전방 측에 설치되는 프런트 윈도(front window) (17), 도어(14)에 설치된 사이드 윈도우(side window) (18) 및 차체(11~16)의 후방 측에 설치되는 리어 윈도우(rear window) (19)가 마련될 수 있다.
차체(11~16)의 내부에는 탑승자가 앉는 시트(S1, S2), 차량(1)의 동작을 제어하고 차량(1)의 운행 정보를 표시하는 각종 계기가 마련되는 대시 보드(dash board) (30), 차량(1)의 주행 방향을 조작하는 스티어링 휠(steering wheel) (40), 운전자의 동작을 인식하는 동작 인식 장치(100)가 마련될 수 있다.
시트(S1, S2)는 운전자가 편안하고 안정적인 자세로 차량(1)을 조작할 수 있도록 하며, 운전자가 앉는 운전석(S1), 동승자가 앉는 조수석(S2), 차량 내 후방에 위치하는 뒷좌석(미도시)을 포함할 수 있다.
대시 보드(30)에는 상에 배치되어 주행과 관련된 정보를 표기하는 속도계기, 연료계기, 자동변속 선택레버 표시등, 타코 미터, 구간 거리계 등의 계기판(31), 차량(1)에 포함된 부속 장치들을 조작하는 컨트롤 패널이 마련되는 센터 페시아(center fascia)(33), 기어 스틱 및 주자 브레이크 스틱 등이 마련되는 센터 콘솔(center console)(35), 음악 및 영상 등을 출력하는 AVN (Audio/Video/Navigation) 장치(200) 등이 마련될 수 있다.
센터 페시아(33)는 운전석(S1)과 조수석(S2) 사이에 마련되며, 오디오 기기, 공기 조화기 및 히터를 조정하기 위한 조작부, 차체(11~16) 내부의 온도를 조절하기 위한 공기조화기의 송풍구, 시거잭 등이 설치될 수 있다.
센터 콘솔(35)은 운전석(S1)과 조수석(S2) 사이에 센터 페시아(33)의 아래에 마련되며, 변속을 위한 기어 스틱 및 주차를 위한 주차 브레이크 스틱 등이 설치될 수 있다.
AVN 장치(200)는 운전자의 제어 명령에 따라 음악 또는 영상을 출력하는 장치이다. 구체적으로, AVN 장치(200)는 운전자의 제어 명령에 따라 음악 또는 동영상을 재생하거나 목적지까지의 경로를 안내할 수 있다.
스티어링 휠(40)은 대시 보드(30)에 조향축을 중심으로 회전 가능하게 부착되며, 차량(1)의 진행 방향을 변경하기 위하여 운전자는 스티어링 휠(40)을 시계 방향 또는 반시계 방향으로 회전시킬 수 있다.
동작 인식 장치(100)는 도 2에 도시된 바와 같이 차체(11~16) 내부의 천장에 마련될 수 있다. 다만, 동작 인식 장치(100)가 차체(11~16) 내부의 천장에 마련된 것으로 한정되는 것은 아니며, 동작 인식 장치(100)는 센터 페시아(33) 또는 센터 콘솔(35) 등 운전자의 손을 감지할 수 있는 위치에 마련되면 충분하다.
동작 인식 장치(100)의 구성 및 동작에 대해서는 아래에서 자세하게 설명한다.
차대(미도시)에는 연료를 연소시켜 차량(1)을 이동시키기 위한 동력을 생성하는 동력 생성 장치, 동력 생성 장치에 연료를 공급하는 연료 장치, 가열된 동력 생성 장치를 냉각시키는 냉각 장치, 연료의 연소에 의하여 발생하는 가스를 배출시키는 배기 장치, 동력 생성 장치에 의하여 생성된 동력을 차륜(21, 22)까지 전달하는 동력 전달 장치, 스티어링 휠(40)에 의하여 조작된 차량(1)의 진행 방향을 차륜(21, 22)까지 전달하는 조향 장치, 차륜(21, 22)의 회전을 정지시키는 제동 장치, 도로에 의한 차륜(21, 22)의 진동을 흡수하는 현가 장치 등이 마련될 수 있다.
이상에서는 일 실시예에 의한 차량(1)의 외관 및 내부 구성에 대하여 설명하였다.
이하에서는 일 실시 예에 의한 동작 인식 장치(100)의 구성 및 동작에 대하여 설명한다.
도 3은 일 실시예에 의한 동작 인식 장치의 구성을 도시하고, 도 4은 일 실시예에 의한 동작 인식 장치에 포함되는 발광부 및 영상 획득부를 도시한다.
도 3 및 도 4를 참조하면, 동작 인식 장치(100)는 운전자로부터 제어 명령을 입력받는 입력부(120), 운전자의 신체 일부를 향하여 광을 발신하는 발광부(130), 운전자의 신체 일부로부터 반사된 광을 수신하는 영상 획득부(140), 차량(1)에 포함되는 다른 전자 장치와 통신하는 통신부(150), 동작 인식 장치(100)의 동작을 총괄 제어하는 제어부(110)를 포함한다.
입력부(120)는 운전자로부터 동작 인식 장치(100)의 동작을 제어하기 위한 각종 제어 명령을 입력받는 입력 버튼(121)을 포함할 수 있다. 예를 들어, 입력 버튼(121)은 운전자로부터 동작 인식 장치(100)의 동작 인식을 활성화시키는 동작 인식 활성화 명령 또는 동작 인식을 비활성화시키는 동작 인식 비활성화 명령을 입력받을 수 있다.
이와 같은 입력 버튼(121)은 푸시 스위치(push switch), 토글 스위치(toggle switch), 슬라이딩 스위치(sliding switch), 멤브레인 스위치(membrane switch), 터치 스위치(touch switch) 또는 다이얼(dial) 등을 채용할 수 있다.
발광부(130)는 적외선을 발신하는 제1 광원(131) 및 제2 광원(132)을 포함할 수 있다.
제1 광원(131) 및 제2 광원(132)는 도 4에 도시된 바와 같이 차체(11~16) 내부의 천장에 설치되어 하방을 향하여 적외선 광을 발신할 수 있다.
다만, 제1 광원(131) 및 제2 광원(132)의 위치가 차체(11~16) 내부의 천장에 한정되는 것은 아니다. 예를 들어, 제1 광원(131) 및 제2 광원(132)은 운전자의 전방에 마련된 센터 페시아(33)에 설치되거나, 운전자의 측방에 마련된 센터 콘솔(35)에 마련될 수 있다. 뿐만 아니라, 제1 광원(131)은 차체(11~16) 내부의 천장에 마련되고, 제2 광원(132)은 센터 페시아(33)에 마련될 수 있다. 또한, 제1 광원(131)은 센터 콘솔(35)에 마련되고, 제2 광원(132)은 센터 페시아(33)에 마련될 수도 있다.
이처럼 제1 광원(131) 및 제2 광원(132)의 위치가 특정한 위치에 한정되는 것은 아니며, 사용자의 신체 일부를 향하여 적외선 광을 발신할 수 있다면 어느 위치라도 무방하다.
이와 같은 제1 광원(131) 및 제2 광원(132)은 적외선 광을 발신하는 적외선 엘이디(LED, Light Emitting Diode), 적외선 레이저(LAZER, Light Amplification by Stimulated Emission of Radiation), 적외선 램프(Lamp) 등을 채용할 수 있다.
영상 획득부(140)는 운전자의 신체 일부에 반사된 적외선을 수신하는 카메라 모듈(141)을 포함할 수 있다.
카메라 모듈(141)은 도 4에 도시된 바와 같이 차체(11~16) 내부의 천장에 마련되어 차체(11~16) 내부의 천장으로부터 하방의 적외선 영상을 획득할 수 있다.
다만, 카메라 모듈(141)의 위치가 차체(11~16) 내부의 천장에 한정되는 것은 아니다. 예를 들어, 카메라 모듈(141)는 운전자의 전방에 마련된 센터 페시아(33)에 설치되거나, 운전자의 측방에 마련된 센터 콘솔(35)에 마련될 수 있다. 카메라 모듈(141)가 센터 페시아(33)에 설치되는 경우, 카메라 모듈(141)은 센터 페시아(33)로부터 후방의 적외선 영상을 획득할 수 있다. 또한, 카메라 모듈(141)이 센터 콘솔(35)에 설치되는 경우, 카메라 모듈(141)은 센터 콘솔(35)로부터 상방의 적외선 영상을 획득할 수 있다.
이처럼, 카메라 모듈(141)의 위치는 특정한 위치에 한정되는 것은 아니며, 사용자와 인접하여 사용자의 신체 일부의 영상을 획득할 수 있다면 어느 위치라도 무방하다.
이와 같은 카메라 모듈(141)은 광을 집중시키는 렌즈(미도시), 광을 진기적 신호로 변환하는 영상 센서(미도시)를 포함할 수 있다.
여기서, 영상 센서는 적외선에 해당하는 파장의 광을 수신하는 적외선 영상 센서 또는 적외선 및 가시광선을 포함하는 광을 수신하는 범용 영상 센서를 채용할 수 있다. 특히, 범용 영상 센서를 채용하는 경우, 카메라 모듈(141)는 가시광선은 차단하고 적외선만을 투과하는 적외선 필터(미도시)를 더 포함할 수 있다.
이와 같은 영상 센서는 CMOS(Complementary Metal Oxide Semiconductor) 센서 또는 CCD(Charge coupled device) 센서를 채용할 수 있다.
통신부(150)는 캔(Control Area Network: CAN) 통신 규약을 이용하여 차량(1)에 포함된 각종 전자 장치와 통신하는 캔 통신 모듈(151)을 포함할 수 있다.
동작 인식 장치(100)가 캔 통신 모듈(151)을 이용하여 차량(1)에 포함된 다른 전자 장치와 통신하는 것에 대해서는 아래에서 자세하게 설명한다.
제어부(110)는 동작 인식 장치(100)에 포함된 각종 구성 장치와 제어부(110) 사이에서 데이터의 출입을 매개하는 입출력 인터페이스(117), 프로그램 및 데이터를 기억하는 메모리(115), 영상 처리를 수행하는 그래픽 프로세서(113), 메모리(113)에 기억된 프로그램 및 데이터에 따라 연산 동작을 수행하는 메인 프로세서(111)를 포함할 수 있다. 또한, 제어부(110)는 메인 프로세서(111), 입출력 인터페이스(117), 메모리(115), 그래픽 프로세서(113) 및 메인 프로세서(111) 사이의 데이터 송수신의 통로가 되는 시스템 버스(119)를 포함할 수 있다.
입출력 인터페이스(117)는 유저 인터페이스(120)로부터 제어 명령 데이터, 영상 획득부(140)로부터 영상 데이터 또는 통신부(150)로부터 통신 데이터를 수신하고, 수시된 데이터를 시스템 버스(119)를 통하여 메인 프로세서(111), 그래픽 프로세서(113) 또는 메모리(115)로 전달할 수 있다.
또한, 입출력 인터페이스(117)는 메인 프로세서(111)가 출력하는 각종 제어 신호 및 데이터를 통신부(150)에 전달할 수 있다.
메모리(115)는 동작 인식 장치(100)의 동작을 제어하기 위한 제어 프로그램 및 제어 데이터를 저장하거나, 메인 프로세서(111)가 출력하는 제어 신호, 그래픽 프로세서(113)가 출력하는 영상 데이터 등을 기억할 수 있다.
이와 같은 메모리(115)는 S램(Static Random Access Memory, S-RAM), D랩(Dynamic Random Access Memory, D-RAM 등의 휘발성 메모리(미도시)와 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등의 비휘발성 메모리(미도시)를 포함할 수 있다.
비휘발성 메모리는 휘발성 메모리의 보조 기억 장치로서 동작할 수 있으며, 멀티미디어 장치(100)의 동작을 제어하기 위한 제어 프로그램 및 제어 데이터를 저장할 수 있다. 또한, 비휘발성 메모리는 동작 인식 장치(100)의 전원이 차단되더라도 저장된 데이터를 유지할 수 있고, 운전자 인증을 위한 정맥 패턴 룩업 테이블(Lockup Table, LUT)을 저장할 수 있다.
휘발성 메모리는 비휘발성 메모리로부터 제어 프로그램 및 제어 데이터를 로딩하거나, 메인 프로세서(111)가 출력하는 제어 신호, 그래픽 프로세서(113)가 출력하는 영상 데이터 등을 기억할 수 있다. 휘발성 메모리는 비휘발성 메모리와 달리 멀티미디어 장치(100)의 전원이 차단되면 기억된 데이터를 손실할 수 있다.
그래픽 프로세서(113)는 영상 획득부(140)로부터 수신된 영상 데이터 또는 메모리(115)에 저장된 영상 데이터를 처리한다. 예를 들어, 그래픽 프로세서(113)는영상 획득부(141)의 카메라 모듈(141)로부터 수신된 영상 데이터를 이진화하거나, 영상 데이터를 회전 변환시키기나, 영상 데이터의 크기를 변경시킬 수 있다. 또한, 그래픽 프로세서(113)는 2개의 영상을 서로 비교하여 2개의 영상이 서로 매칭되는지를 판단할 수 있다.
메인 프로세서(111)는 메모리(115)에 저장된 제어 프로그램 및 제어 데이터에 따라 입력부(120), 발광부(130), 영상 획득부(140), 통신부(150)를 제어하기 위한 연산 동작을 수행할 수 있다.
예를 들어, 메인 프로세서(111)는 입력부(120)의 입력 버튼(121)으로부터 수신된 운전자의 제어 명령을 처리하고 입력된 제어 명령에 대응하는 제어 신호를 출력할 수 있다.
또한, 메인 프로세서(111)는 그래픽 프로세서(113)의 영상 처리 결과를 기초로 운전자의 제어 명령을 인식하고 인식된 제어 명령에 대응하는 제어 신호를 출력할 수 있다. 구체적으로, 메인 프로세서(111)는 그래픽 프로세서(113)의 영상 처리 결과를 기초로 운전자의 동작을 판단하고, 연속된 운전자의 동작을 기초로 운전자의 제어 명령을 판단할 수 있다. 또한, 메인 프로세서(111)는 판단된 운전자의 제어 명령을 통신부(150)를 통하여 차량(1)에 포함된 각종 전자 장치(예를 들어, AVN장치)에 전송할 수 있다.
이상에서는 메인 프로세서(111)와 그래픽 프로세서(113)를 구분하여 설명하였으나, 이에 한정되는 것은 아니며 메인 프로세서(111)와 그래픽 프로세서(113)가 하나의 프로세서로 마련될 수 있다.
이처럼, 제어부(110)는 운전자의 동작을 기초로 운전자의 제어 명령을 인식하고, 인식된 운전자의 제어 명령에 따라 동작 인식 장치(100)에 포함된 각종 구성 부품의 동작을 제어할 수 있다.
따라서, 아래에서 설명할 동작 인식 장치(100)의 동작은 제어부(110)의 제어 동작에 의한 것으로 해석할 수 있다.
이상에서는 동작 인식 장치(100)의 구성에 대하여 설명하였다. 그러나, 차량(1)에 포함되는 전자 장치는 동작 인식 장치(100)에 한정되는 것은 아니며, 각종 전자 장치가 서로 통신한다.
도 5는 일 실시예에 의한 차량에 포함된 각종 전자 장치 사이의 전기적 연결을 도시하고, 도 6은 일 실시예에 의한 차량에 포함된 AVN 장치의 구성을 도시한다.
도 5에 도시된 바와 같이 차량(1)은 동작 인식 장치(100)와 함께 다양한 전자 장치(100, 200, 310, 320, 330)를 포함할 수 있다.
예를 들어, 차량(1)는 동작 인식 장치(100) 외에도 앞서 설명한 AVN 장치(200), 차량(1)의 엔진에 공급되는 연료를 조절하고 엔진의 가동을 제어하는 엔진 제어 장치(engine control unit: ECU) (310), 차량(1)의 제동을 제어하는 전자 제동 장치(Brake-by-wire) (320), 전방 충돌 회피 기능, 차선 이탈 경고 기능, 사각 지대 감시 기능, 후방 감시 기능 등을 포함하여 운전자의 운전을 보조하는 운전 보조 장치(Advanced Driver Assistance System) (330) 등을 포함할 수 있다.
또한, 차량(1)에 포함된 각종 전자 장치(100, 200, 310, 320, 330)은 도 5에 도시된 바와 같이 캔 통신 라인(300)을 통하여 서로 데이터를 주고 받을 수 있다. 다시 말해, 동작 인식 장치(100)는 캔 통신 라인(300)을 통하여 다른 전자 장치(200, 310, 320, 330)에 데이터를 전송하고, 다른 전자 장치(200, 310, 320, 330)로부터 데이터를 수신할 수 있다.
예를 들어, 동작 인식 장치(100)는 운전자의 동작을 통하여 AVN 장치(200)에 대한 제어 명령을 입력받고, 입력된 제어 명령을 캔 통신을 통하여 AVN 장치(200)에 전송할 수 있다.
또한, 정맥 패턴 등록 시에 동작 인식 장치(100)는 AVN 장치(200)를 통하여 운전자에게 기준 동작을 안내하고, AVN 장치(200)가 안내하는 기준 동작에 따라 운전자 인증을 위한 정맥 패턴 룩업 테이블을 생성할 수 있다.
도 5에 도시된 다양한 전자 장치(100, 200, 310, 320, 330) 가운데 AVN 장치(200)에 대하여 간략하게 설명한다.
앞서 설명한 바와 같이 AVN 장치(200)는 운전자의 제어 명령에 따라 음악 또는 동영상을 재생하거나 목적지까지의 경로를 안내할 수 있다.
이와 같은 AVN 장치(200)는 운전자와 상호작용하고 영상을 표시하는 유저 인터페이스(220), 음향을 입력받는 음향 입력부(230), 음향을 출력하는 음향 출력부(240), 차량(1)의 다른 전자 장치(100, 310, 320, 330)와 통신하는 통신부(250), AVN 장치(200)를 총괄 제어하는 제어부(210)를 포함할 수 있다.
여기서, 유저 인터페이스(220)는 운전자로부터 제어 명령을 입력 받고 운전자의 제어 명령에 따라 다양한 영상 정보를 표시하는 터치 스크린(221)을 포함할 수 있다. 터치 스크린(221)은 운전자의 제어 명령을 입력받고 운전자가 입력한 제어 명령에 대응하여 각종 정보를 시각적으로 표시할 수 있으며, 운전자의 터치 여부 및 운전자의 터치 좌표를 검출하는 터치 패널(미도시), 영상 정보를 표시하는 디스플레이(미도시), 터치 스크린(221)의 동작을 제어하는 터치 스크린 컨트롤러(미도시)를 포함할 수 있다.
또한, 통신부(250)는 캔 통신 규약을 이용하여 차량(1)에 포함된 다른 전자 장치(100, 310, 320, 330)와 통신하는 캔 통신 모듈(251)을 포함할 수 있다.
제어부(210)는 AVN 장치(200)에 포함된 각종 구성의 동작을 총괄 제어한다.
예를 들어, 통신부(250)를 통하여 동작 인식 장치(100)로부터 영상 표시 요청이 수신되면, 제어부(210)는 해당 영상이 표시되도록 유저 인터페이스(220)의 터치 스크린(221)과 음향 출력부(240)를 제어할 수 있다.
이상에서는 동작 인식 장치(100)와 AVN 장치(200)가 별도로 마련되고 서로 통신하는 것을 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 동작 인식 장치(100)와 AVN 장치(200)가 일체로 마련되고, AVN 장치(200)가 동작 인식 장치(100)를 통하여 운전자의 제어 명령을 입력받을 수 있다.
다만, 이하에서는 이해를 돕기 위하여 동작 인식 장치(100)와 AVN 장치(200)가 별도로 마련된 것으로 가정한다.
이상에서는 차량(1) 및 동작 인식 장치(100)의 구성에 대하여 설명하였다.
이하에서는 차량(1) 및 동작 인식 장치(100)의 동작에 대하여 설명한다. 우선, 차량(1) 및 동작 인식 장치(100)가 운전자의 정맥 패턴을 등록하는 것에 대하여 설명한다.
도 7은 일 실시예에 의한 차량의 정맥 패턴 등록 동작을 도시한다. 또한, 도 8은 일 실시예에 의한 차량이 운전자의 정맥 패턴을 등록하기 위한 기준 동작 영상의 일 예를 도시하고, 도 9는 일 실시예에 의한 차량이 운전자 영상을 획득하는 일 예를 도시하고, 도 10은 일 실시예에 의한 차량이 획득한 운전자 영상의 일 예를 도시한다. 또한, 도 11는 일 실시예에 의한 차량이 운전자의 정맥 패턴을 등록하기 위한 기준 동작 영상의 다른 일 예를 도시하고, 도 12은 일 실시예에 의한 차량이 운전자 영상을 획득하는 다른 일 예를 도시하고, 도 13는 일 실시예에 의한 차량이 획득한 운전자 영상의 다른 일 예를 도시한다. 또한, 도 14는 일 실시예에 의한 차량이 생성한 룩업 테이블을 도시한다.
도 7 내지 도 14를 참조하여, 차량(1)의 정맥 패턴 등록 방법(1000)을 설명한다.
우선, 차량(1)은 운전자(U)를 등록할지를 판단한다(1010). 구체적으로, 차량(1)은 운전자(U)로부터 정맥 패턴 등록 명령이 입력되는지를 판단할 수 있다.
운전자(U)는 다양한 방법으로 차량(1)에 정맥 패턴 등록 명령을 입력할 수 있다.
예를 들어, 운전자(U)는 동작 인식 장치(100)의 입력 버튼(121)을 통하여 정맥 패턴 등록 명령을 입력할 수 있다. 운전자(U)의 정맥 패턴 등록 명령이 입력되면 동작 인식 장치(100)는 정맥 패턴 등록을 위한 준비 동작을 수행할 수 있다. 동작 인식 장치(100)는 발광부(130)를 통하여 적외선을 발신하고, 영상 획득부(140)를 통하여 적외선 영상을 획득할 수 있다.
다른 예로, 운전자(U)는 AVN 장치(200)의 터치 스크린(221)을 통하여 정맥 패턴 등록 명령을 입력할 수 있다. 운전자(U)가 AVN 장치(200)를 통하여 정맥 패턴 등록 명령을 입력하면, AVN 장치(200)는 통신부(250)를 통하여 동작 인식 장치(100)에 정맥 패턴 등록 명령을 전송한다. 또한, 통신부(150)를 통하여 정맥 패턴 등록 명령이 수신되면, 동작 인식 장치(100)는 정맥 패턴 등록을 위한 준비 동작을 수행할 수 있다.
운전자(U)를 등록하는 것으로 판단되면(1010의 예), 차량(1)은 정맥 패턴 등록을 위한 기준 동작을 안내한다(1020). 구체적으로, 동작 인식 장치(100)의 요청에 따라 AVN 장치(200)는 정맥 패턴 등록을 위한 기준 동작 영상을 표시할 수 있다.
동작 인식 장치(100)는 AVN 장치(200)에 운전자(U)의 정맥 패턴 등록을 위한 기준 동작 영상을 표시하도록 요청할 수 있다. 또한, 동작 인식 장치(100)로부터 기준 동작 영사의 표시를 요청받으면, AVN 장치(200)는 사전에 저장된 기준 동작 영상을 터치 스크린(221)에 표시하거나, 동작 인식 장치(100)로부터 수신된 기준 동작 영상을 터치 스크린(221)에 표시할 수 있다.
예를 들어, AVN 장치(200)는 도 8에 도시된 바와 같이 터치 스크린(221)의 화면(400)에 제1 기준 동작 영상(401)을 표시할 수 있다. 제1 기준 동작은 제1 기준 동작 영상(401)에 표시된 바와 같이 손가락을 펴고 손등이 상방을 향하도록 하는 손동작일 수 있다.
또한, AVN 장치(200)는 음향 출력부(240)를 통하여 운전자(U)에게 터치 스크린(221)에 표시된 영상과 동일한 동작을 취하도록 안내할 수 있다.
이후, 차량(1)은 운전자 영상을 획득한다(1030). 구체적으로, 동작 인식 장치(100)는 영상 획득부(140)를 통하여 운전자 영상을 획득하고, 획득된 운전자 영상을 분석한다.
운전자(U)는 AVN 장치(200)의 터치 스크린(221)에 표시되는 기준 동작 영상과 동일한 동작을 취할 수 있다.
예를 들어, AVN 장치(200)에 제1 기준 동작 영상(401)이 표시되면, 운전자(U)는 손을 센터 콘솔(35)의 위에 위치시키고, 손등이 상방을 향하도록 하는 제1 기준 동작을 취할 수 있다.
운전자(U)가 제1 기준 동작 영상(401)에 표시된 제1 기준 동작을 취하면, 도 9에 도시된 바와 같이 동작 인식 장치(100)의 발광부(130)로부터 발신된 적외선이 운전자(U)의 손등에서 반사된다.
또한, 동작 인식 장치(100)의 영상 획득부(140)는 도 10에 도시된 바와 같이 운전자(U)의 손으로부터 반사된 적외선을 통하여 제1 운전자 영상(501)을 획득할 수 있다.
이때, 적외선은 운전자 손의 피부 표면에서 반사될 뿐만 아니라, 운전자(U)의 피부를 투과하여 운전자 손에 형성된 정맥에서 반사될 수 있다. 그 결과, 영상 획득부(140)에 의하여 획득된 영상은 운전자(U)의 손의 형상 뿐만 아니라 운전자(U)의 손에 형성된 정맥의 영상을 포함할 수 있다.
이때, 사람은 고유한 정맥 패턴을 가지므로, 차량(1)은 운전자(U)의 손에 형성된 정맥 패턴을 이용하여 운전자(U)를 식별하고, 운전자(U)를 인증할 수 있다. 뿐만 아니라, 차량(1)은 정맥 패턴의 형상을 이용하여 운전자(U)의 동작을 인식할 수도 있다.
이때, 동작 인식 장치(100)는 더욱 정확한 정맥 패턴 영상을 획득하기 위하여, 제1 운전자 영상(501)으로부터 운전자 손의 영상 이외의 영상을 제거할 수 있다.
구체적으로, 동작 인식 장치(100)는 제1 운전자 영상(501)에 대하여 영상 평활화(image smoothing)을 수행한다. 영상 평활화가 수행된 제1 운전자 영상(501)은 정맥 패턴이 삭제되고, 운전자 손의 형상만 남는다. 동작 인식 장치(100)는 영상 평활화가 수행된 제1 운전자 영상(501)으로부터 운전자 손의 영상을 판단할 수 있다. 이후, 동작 인식 장치(100)는 제1 운전자 영상(501)으로부터 운전자 손 이외 영상을 모두 삭제할 수 있다.
이처럼, 운전자 손 이외의 영상이 제거된 제1 운전자 영상(501)은 영상의 크기가 작아져 영상 처리를 위한 시간이 단축될 수 있다.
이후, 차량(1)은 운전자 영상을 이진화한다(1040). 구체적으로, 차량(1)에 포함된 동작 인식 장치(100)는 운전자 영상을 이진화한다.
운전자 영상은 운전자(U)의 손으로부터 반사된 적외선의 세기에 따라 다양한 밝기를 나타낼 수 있다. 예를 들어, 운전자 손이 표시되는 부분은 밝게 표시되고, 운전자 손이 표시되지 않는 부분은 어둡게 표시된다. 또한, 운전자 손에 형성된 정맥이 표시되는 부분은 운전자 손의 다른 부분에 비하여 어둡게 표시될 수 있다.
동작 인식 장치(100)는 운전자 영상을 단순화시키고, 운전자 영상에 포함된 정맥 패턴이 명확해지도록 운전자 영상을 이진화시킬 수 있다. 다시 말해, 동작 인식 장치(100)는 운전자 영상을 검정색과 흰색을 포함하는 모노 영상으로 변환할 수 있다.
예를 들어, 동작 인식 장치(100)는 미리 정해진 기준 밝기 값을 기준으로 운전자 영상에 포함된 픽셀의 밝기 값을 검정색을 나타내는 "0"과 흰색을 나타내는 "1"로 변환할 수 있다.
구체적으로, 동작 인식 장치(100)는 운전자 영상에 포함된 픽셀의 밝기 값이 기준 밝기 값보다 크거나 같으면 흰색을 나타내는 "1"을 저장하고, 픽셀의 밝기 값이 기준 밝기 값보다 작으면 검은색을 나타내는 "0"을 저장할 수 있다.
이처럼, 이진화된 운전자 영상은 흰색을 나타내는 "1"과 검정색을 나타내는 "1"만을 포함하고 있어, 영상 획득부(140)가 획득한 운전자 영상에 비하여 단순화된다.
다른 예로, 동작 인식 장치(100)는 운전자 영상의 히스토그램(histogram)을 분석하여 기준 밝기 값을 산출하고, 산출된 기준 밝기 값에 따라 운전자 영상을 이진화할 수 있다. 여기서, 영상의 히스토그램이란 밝기 값에 따른 픽셀의 도수 분포를 의미한다.
구체적으로, 동작 인식 장치(100)는 운전자 영상으로부터 운전자 영상의 히스토그램을 생성할 수 있다. 이후, 동작 인식 장치(100)는 운전자 영상에 대하여 히스토그램 균등화(histogram equalization)를 수행할 수 있다. 히스토그램 균등화에 의하여, 운전자 영상은 더욱 선명해질 수 있다. 이후, 동작 인식 장치(100)는 히스토그램 균등화가 수행된 운전자 영상의 히스토그램으로부터 기준 밝기 값을 산출할 수 있다. 예를 들어, 동작 인식 장치(100)는 히스토그램 균등화가 수행된 운전자 영상에 포함된 모든 픽셀의 밝기 값을 평균하여 기준 밝기 값을 산출할 수 있다.
이진화된 운전자 영상은 영상 획득부(140)에 의하여 획득된 운전자 영상에 비하여 손의 형상 및 정맥 패턴이 더욱 선명하게 표시된다.
이후, 동작 인식 장치(100)는 이진화된 운전자 영상으로부터 정맥 패턴 영상을 생성한다(1050). 구체적으로, 동작 인식 장치(100)는 이진화된 운전자 영상으로부터 관심 영역(ROI)을 추출하고, 관심 영역 내의 영상으로부터 정맥 패턴 영상을 생성한다.
영상 획득부(140)가 획득한 운전자 영상은 운전자 손의 정맥 패턴 뿐만 아니라 운전자 손의 형상도 포함한다. 동작 인식 장치(100)는 운전자(U)의 정맥 패턴을 추출하기 위하여 정맥 패턴 영상으로부터 운전자(U)의 정맥 패턴만을 포함하는 관심 영역을 설정할 수 있다.
예를 들어, 동작 인식 장치(100)는 도 10에 도시된 바와 같이 제1 운전자 영상(501)에 나타내는 손의 형상을 기초로 관심 영역을 설정할 수 있다. 구체적으로, 동작 인식 장치(100)는 제1 운전자 영상(501)으로부터 소지(小指)와 손몸통이 접하는 경계, 검지와 손몸통이 접하는 경계 및 손몸통과 손목의 경계 양끝을 기초로 직사각형 형태의 관심 영역(ROI)을 설정할 수 있다. 즉, 동작 인식 장치(100)는 제1 운전자 영상(501) 가운데 손몸통(손바닥 또는 손등)에 해당하는 부분을 관심 영역으로 설정할 수 있다.
또한, 동작 인식 장치(100)는 관심 영역(ROI) 내부의 영상을 제1 정맥 패턴 영상(502)으로 저장할 수 있다. 제1 정맥 패턴 영상(502)은 도 10에 도시된 바와 같이 운전자 영상으로부터 운전자 손의 형상이 제거되고 운전자(U)의 손몸통에 형성된 정맥의 패턴만을 포함할 수 있다.
이후, 차량(1)은 정맥 패턴 등록이 완료되었는지를 판단한다(1060). 구체적으로, 동작 인식 장치(100)는 복수의 기준 동작에 대응되는 정맥 패턴 영상이 생성되었는지를 판단할 수 있다.
운전자(U)는 손을 다양한 위치에 위치시킬 수 있고, 손이 다양한 방향을 향하도록 할 수 있으며, 손을 여러 각도로 회전시킬 수 있다. 여기서, 손의 위치란 차량 내부에서 운전자(U)의 손이 위치하는 위치를 나타내고, 손의 방향이란 손몸통으로부터 손가락이 가리키는 방향을 나타내고, 손의 회전 각도란 손이 팔을 기준으로 회전시킨 각도를 의미한다.
특히, 운전자(U)가 손을 회전시키는 경우, 손의 회전 각도에 따라 영상 획득부(140)가 획득하는 정맥 패턴이 전혀 다른 형태로 변환한다. 구체적으로, 운전자(U)가 손의 위치 또는 손의 방향이 변경하더라도 정맥 패턴 그 자체는 변화하지 않는다, 그러나, 운전자(U)가 손을 회전시키면 정맥 패턴의 형태가 변화하므로 운전자(U)를 인증하거나 운전자(U)의 동작을 인식하기 곤란하다.
이러한 이유로, 동작 인식 장치(100)는 정맥 패턴 등록 시에 다양한 기준 동작에 관하여 운전자(U)의 정맥 패턴 영상을 획득하고, 다양한 기준 동작은 운전자 손의 회전 각도를 달리하는 동작이 된다.
다시 말해, 동작 인식 장치(100)는 운전자(U)의 손을 회전시키면서 다양한 손의 회전 각도에서 운전자(U)의 정맥 패턴 영상을 획득할 수 있다. 예를 들어, 동작 인식 장치(100)는 운전자(U)의 손을 대략 180도 회전시키면서 손등으로부터 손바닥까지의 정맥 패턴 영상을 획득할 수 있다.
이처럼 다양한 손의 회전 각도에서 정맥 패턴 영상을 획득하기 위하여 동작 인식 장치(100)는 AVN 장치(200)를 통하여 운전자(U)의 손을 회전시키는 기준 동작 영상을 표시하고, 운전자 손의 다양한 회전 각도에서 정맥 패턴 영상을 회득할 수 있다.
정맥 패턴 등록이 완료되지 않은 것으로 판단되면(1060의 아니오), 차량(1)은 다시 기준 동작을 안내하고(1020), 운전자 영상을 획득하고(1030), 운전자 영상을 이진화하고(1040), 정맥 패턴 영상을 생성한다(1050).
제1 기준 동작에 대응하는 정맥 패턴을 생성한 후 차량(1)은 제2 기준 동작에 대응하는 정맥 패턴 영상을 생성할 수 있다.
예를 들어, AVN 장치(100)는 도 11에 도시된 바와 같이 터치 스크린(221)의 화면(400)에 제2 기준 영상(402)을 표시할 수 있다. 여기서, 제2 기준 동작은 제2 기준 동작 영상(402)에 표시된 바와 같이 제1 기준 동작으로부터 손을 대략 30도 회전시킨 손동작일 수 있다.
운전자(U)는 AVN 장치(200)의 안내에 따라 터치 스크린(221)에 표시되는 기준 동작 영상과 동일한 동작을 취할 수 있다. 다시 말해, 제2 기준 동작 영상(402)에 따라 운전자(U)는 제2 기준 동작을 취할 수 있다.
운전자(U)가 제2 기준 동작을 취하면, 동작 인식 장치(100)는 도 12 및 도 13에 도시된 바와 같이 제2 기준 동작에 대응하는 제2 운전자 영상(511)을 획득할 수 있다. 제2 운전자 영상(511)을 획득한 동작 인식 장치(100)은 제2 운전자 영상(511)을 이진화하고, 이진화된 제2 운전자 영상(511)으로부터 제2 정맥 패턴 영상(512)을 생성할 수 있다.
이처럼, 차량(1)의 동작 인식 장치(100)는 모든 기준 동작에 대응하는 운전자 영상을 획득할 때까지 운전자 영상 획득, 운전자 영상 이진화, 정맥 패턴 영상 생성을 반복한다.
정맥 패턴 등록이 완료된 것으로 판단되면(1060의 예), 차량(1)은 정맥 패턴 룩업 테이블을 생성한다(1070).
차량(1)에 포함된 동작 인식 장치(100)는 도 14에 도시된 바와 같이 손의 회전 각도와 그에 대응되는 정맥 패턴 영상을 관련시켜 정맥 패턴 룩업 테이블을 생성할 수 있다. 여기서, 손의 회전 각도는 각각의 기준 동작에 따른 손의 회전 각도를 나타낸다.
예를 들어, 제1 기준 동작 영상(401, 도 8 참조)에 표시된 제1 기준 동작은 회전 각도가 "0"인 기준 동작일 수 있고, 제1 기준 동작에 대응하여 생성된 제1 정맥 패턴 영상(502, 도 10 참조)은 회전 각도 "0"과 관련되어 저장될 수 있다.
또한, 제2 기준 동작 영상(402, 도 11 참조)에 표시된 제2 기준 동작은 회전 각도가 "30"인 기준 동작일 수 있고, 제2 기준 동작에 대응하여 생성된 제2 정맥 패턴 영상(512, 도 13 참조)은 회전 각도 "30"과 관련되어 저장될 수 있다.
이상에서 설명한 바와 같이 차량(1)은 운전자(U)에게 다양한 기준 동작을 안내하고, 기준 동작을 안내하는 동안 운전자(U)의 손에 형성된 정맥 패턴의 영상을 획득할 수 있다. 또한, 차량(1)은 획득된 정맥 패턴 영상을 기초로 운전자 인증 및 운전자 동작 인식을 위한 정맥 패턴 룩업 테이블을 생성한다.
다음으로 차량(1) 및 동작 인식 장치(100)가 운전자(U)의 정맥 패턴을 이용하여 운전자(U)를 인증하고 운전자(U)의 동작을 인식하는 것에 대하여 설명한다.
도 15a 및 도 15b는 일 실시예에 의한 차량의 운전자 인증 및 동작 인식 동작을 도시한다. 또한, 도 16은 일 실시예에 의한 차량이 운전자 인증 및 동작 인식을 위하여 획득한 운전자 영상의 일 예를 도시하고, 도 17 및 도 18은 일 실시예에 의한 차량이 운전자의 정맥 패턴 영상을 보정하는 일 예를 도시하고, 도 19는 일 실시예에 의한 차량이 정맥 패턴 룩업 테이블을 검색하는 일 예를 도시한다. 또한, 도 20은 일 실시예에 의한 차량이 운전자 인증 및 동작 인식을 위하여 획득한 운전자 영상의 다른 일 예를 도시한다.
도 15a 내지 도 20을 참조하여, 차량(1)의 운전자 인증 및 동작 인식 방법(1100)을 설명한다. 구체적으로, 차량(1)이 운전자(U)의 정지 동작을 판단하는 방법을 설명한다.
우선, 차량(1)은 동작 인식을 활성화할지 판단한다(1110), 구체적으로, 차량(1)은 운전자(U)로부터 동작 인식 활성화 명령이 입력되는지를 판단할 수 있다.
운전자(U)는 다양한 방법으로 차량(1)에 동작 인식 활성화 명령을 입력할 수 있다.
예를 들어, 운전자(U)는 동작 인식 장치(100)의 입력 버튼(121)을 통하여 동작 인식 활성화 명령을 입력할 수 있다. 운전자(U)의 동작 인식 활성화 명령이 입력되면 동작 인식 장치(100)는 동작 인식을 위한 준비 동작을 수행할 수 있다. 동작 인식 장치(100)는 발광부(130)를 통하여 적외선을 발신하고, 영상 획득부(140)를 통하여 적외선 영상을 획득할 수 있다.
다른 예로, 운전자(U)는 AVN 장치(200)의 터치 스크린(221)을 통하여 동작 인식 활성화 명령을 입력할 수 있다. 운전자(U)가 AVN 장치(200)를 통하여 동작 인식 활성화 명령을 입력하면, AVN 장치(200)는 통신부(250)를 통하여 동작 인식 장치(100)에 동작 인식 활성화 명령을 전송한다. 또한, 통신부(150)를 통하여 동작 인식 활성화 명령이 수신되면, 동작 인식 장치(100)는 동작 인식을 위한 준비 동작을 수행할 수 있다.
또 다른 예로, 운전자(U)는 미리 정해진 동작을 이용하여 동작 인식 활성화 명령을 입력할 수 있다. 이러한 경우, 동작 인식 장치(100)는 운전자(U)가 차량(1)에 탑승하면 동작 인식을 위한 준비 동작을 수행할 수 있으며, 운전자(U)가 미리 정해진 동작 인식 활성화 동작을 취하면 동작 인식 장치(100)는 동작 인식 기능을 활성화시킬 수 있다.
동작 인식이 활성화되면(1110의 예), 차량(1)은 운전자 영상을 획득한다(1120). 구체적으로, 동작 인식 장치(100)는 영상 획득부(140)를 통하여 운전자 영상을 획득하고, 획득된 운전자 영상을 분석한다.
운전자(U)는 차량(1)에 입력할 제어 명령에 대응하는 동작을 취할 수 있다. 예를 들어, 운전자(U)는 오른손(스티어링 휠이 차량의 우측에 위치하는 경우, 왼손)을 센터 콘솔(35)의 위에 위치시키면, 동작 인식 장치(100)의 발광부(130)로부터 발신된 적외선이 운전자(U)의 손등에서 반사되고, 동작 인식 장치(100)의 영상 획득부(140)는 도 16에 도시된 바와 같은 운전자 영상(600)을 획득할 수 있다.
앞서 설명한 바와 같이 영상 획득부(140)가 획득한 운전자 영상은 운전자(U)의 손의 형상 뿐만 아니라 운전자(U)의 손에 형성된 정맥의 패턴을 포함할 수 있다.
이때, 동작 인식 장치(100)는 더욱 정확한 정맥 패턴 영상을 획득하기 위하여, 운전자 영상(600)으로부터 운전자 손의 영상 이외의 영상을 제거할 수 있다.
구체적으로, 동작 인식 장치(100)는 운전자 영상(600)에 대하여 영상 평활화(image smoothing)을 수행한다. 영상 평활화가 수행된 운전자 영상(600)은 정맥 패턴이 삭제되고, 운전자 손의 형상만 남는다. 동작 인식 장치(100)는 영상 평활화가 수행된 운전자 영상(600)으로부터 운전자 손의 영상을 판단할 수 있다. 이후, 동작 인식 장치(100)는 운전자 영상(600)으로부터 운전자 손 이외 영상을 모두 삭제할 수 있다.
이후, 차량(1)은 운전자 영상을 이진화한다(1130). 구체적으로, 차량(1)에 포함된 동작 인식 장치(100)는 운전자 영상을 이진화한다.
동작 인식 장치(100)는 운전자 영상을 단순화시키고, 운전자 영상에 포함된 정맥 패턴이 명확해지도록 운전자 영상을 이진화시킬 수 있다. 다시 말해, 동작 인식 장치(100)는 운전자 영상을 검정색과 흰색을 포함하는 모노 영상으로 변환할 수 있다.
예를 들어, 동작 인식 장치(100)는 미리 정해진 기준 밝기 값을 기준으로 운전자 영상에 포함된 픽셀의 밝기 값을 검정색을 나타내는 "0"과 흰색을 나타내는 "1"로 변환할 수 있다.
다른 예로, 동작 인식 장치(100)는 운전자 영상의 히스토그램(histogram)을 분석하여 기준 밝기 값을 산출하고, 산출된 기준 밝기 값에 따라 운전자 영상을 이진화할 수 있다.
이진화된 운전자 영상은 영상 획득부(140)에 의하여 획득된 운전자 영상에 비하여 손의 형상 및 정맥 패턴이 더욱 선명하게 표시된다.
이후, 동작 인식 장치(100)는 이진화된 운전자 영상으로부터 정맥 패턴 영상을 생성하고, 운전자(U)의 손이 위치를 산출한다(1140).
구체적으로, 동작 인식 장치(100)는 이진화된 운전자 영상으로부터 관심 영역(ROI)을 추출하고, 관심 영역 내의 영상으로부터 정맥 패턴 영상을 생성할 수 있다.
예를 들어, 동작 인식 장치(100)는 도 16에 도시된 바와 같이 운전자 영상(600)에 나타내는 손의 형상을 기초로 관심 영역을 설정할 수 있다. 구체적으로, 동작 인식 장치(100)는 운전자 영상(600)으로부터 소지(小指)와 손몸통이 접하는 경계, 검지와 손몸통이 접하는 경계 및 손몸통과 손목의 경계 양끝을 기초로 직사각형 형태의 관심 영역(ROI)을 설정할 수 있다. 즉, 동작 인식 장치(100)는 제1 운전자 영상(501) 가운데 손몸통(손바닥 또는 손등)에 해당하는 부분을 관심 영역으로 설정할 수 있다.
또한, 동작 인식 장치(100)는 관심 영역(ROI) 내부의 영상을 정맥 패턴 영상(602)으로 저장할 수 있다. 정맥 패턴 영상(602)은 도 16에 도시된 바와 같이 운전자 영상으로부터 운전자 손의 형상이 제거되고 운전자(U)의 손몸통에 형성된 정맥의 패턴만을 포함할 수 있다.
또한, 동작 인식 장치(100)는 관심 영역의 위치(P1)를 기초로 운전자(U)의 손이 위치 (x1, y2)를 판단할 수 있다.
이후, 차량(1)은 정맥 패턴 영상을 보정하고, 운전자 손의 방향을 산출한다(1160). 구체적으로, 차량(1)에 포함된 동작 인식 장치(100)는 정맥 패턴 영상을 회전 변환하거나 평행 이동시킬 수 있다.
운전 중에 운전자(U)는 손을 임의의 위치에 위치시키고 임의의 방향을 가리키며, 제어 명령의 입력을 위한 동작을 수행할 수 있다. 이처럼 임의의 위치에 위치하고 임의의 방향을 가리키는 운전자 손의 영상으로부터 정맥 패턴을 추출하기 위해서 동작 인식 장치(100)는 정맥 패턴 영상을 아핀 변환(Affine Transformation) 할 수 있다.
아핀 변환은 평행 이동(translation), 축척(scaling), 회전(rotation), 전단 변형(shearing) 등을 포함하며, [수학식 1]과 같은 기본 형태를 갖는다.
[수학식 1]
Figure pat00001
(단, T(x)는 아핀 변환, A는 임의의 행렬, b는 임의의 벡터, x는 변환하고자 하는 벡터를 나타낸다.)
예를 들어, 도 17의 (a)에 도시된 바와 같은 회전 변환을 위하여 동작 인식 장치(100)는 [수학식 2]를 이용할 수 있다.
[수학식 2]
Figure pat00002
(단, x2 및 y2는 변환된 후의 좌표, θ는 회전 각도, x1 및 y1은 변환되기 전의 좌표를 나타낸다.)
또한, 도 17의 (b)에 도시된 바와 같은 전단 변형을 위하여 동작 인식 장치(100)는 [수학식 3]를 이용할 수 있다.
[수학식 3]
Figure pat00003
(단, x2 및 y2는 변환된 후의 좌표, A는 변환 변위, x1 및 y1은 변환되기 전의 좌표를 나타낸다.)
또한, 도 17의 (c)에 도시된 바와 같은 전단 변환을 위하여 동작 인식 장치(100)는 [수학식 4]를 이용할 수 있다.
Figure pat00004
(단, x2 및 y2는 변환된 후의 좌표, B는 변환 변위, x1 및 y1은 변환되기 전의 좌표를 나타낸다.)
이와 같은 아핀 변환을 이용하여 동작 인식 장치(100)는 정맥 패턴 룩업 테이블과 비교하기 위하여 정맥 패턴 영상을 보정할 수 있다.
예를 들어, 도 17에 도시된 바와 같이 운전자(U)가 손을 임의의 방향(θ)을 가리키도록 한 경우, 동작 인식 장치(100)는 도 18에 도시된 바와 같이 θ만큼 기울어진 직사각형 형태의 정맥 패턴 영상(602)을 획득할 수 있다.
동작 인식 장치(100)는 기울어진 직사각형 형태의 정맥 패턴 영상(602)에 대하여 회전 변환을 수행함으로써 도 18에 도시된 바와 같이 보정된 정맥 패턴 영상(602')을 획득할 수 있다.
또한, 동작 인식 장치(100)는 변환 전의 정맥 패턴 영상(602)이 기울어진 각도(θ)를 기초로 운전자(U)의 손이 가리키는 방향(차량의 전방으로부터 벗어난 각도)을 산출할 수 있다.
다른 예로, 운전자(U)가 손을 임의의 높이에 위치시킨 경우, 동작 인식 장치(100)는 정맥 패턴 영상(602)에 대하여 축척 변환을 수행함으로써 정맥 패턴 룩업 테이블에 저장된 정맥 패턴 영상과 동일한 크기의 정맥 패턴 영상(602')을 획득할 수 있다.
또한, 동작 인식 장치(100)는 변환 전의 정맥 패턴 영상(602)과 변환 후의 정맥 패턴 영상(602') 사이의 크기의 차이를 기초로 운전자(U)의 손의 높이를 산출할 수 있다.
이후, 차량(1)은 운전자(U)를 인증하고, 운전자 손의 회전 각도를 산출한다(1160).
구체적으로, 차량(1)에 포함된 동작 인식 장치(100)는 보정된 정맥 패턴 영상과 정맥 패턴 룩업 테이블을 비교함으로써 운전자를 인증한다.
예를 들어, 동작 인식 장치(100)는 도 19에 도시된 바와 같이 운전자(U)의 정맥 패턴 영상(602')과 정맥 패턴 룩업 테이블에 저장된 정맥 패턴 영상(501, 502)을 비교한다. 비교 결과, 정맥 패턴 룩업 테이블에서 정맥 패턴 영상(602')와 동일한 정맥 패턴 영상이 검색되면, 동작 인식 장치(100)는 운전자(U)가 등록된 운전자인 것으로 판단할 수 있다. 만일, 정맥 패턴 룩업 테이블에서 정맥 패턴 영상(602')와 동일한 정맥 패턴 영상이 검색되지 않으면, 동작 인식 장치(100)는 운전자(U)가 등록되지 않은 운전자인 것으로 판단할 수 있다.
또한, 동작 인식 장치(100)는 정맥 패턴 영상과 정맥 패턴 룩업 테이블을 비교하여, 운전자(U)의 손이 운전자(U)의 팔을 기준으로 회전된 각도를 판단할 수 있다.
예를 들어, 도 19에 도시된 바와 같이 정맥 패턴 룩업 테이블의 정맥 패턴 영상 가운데 제1 정맥 패턴 영상(501)이 운전자(U)의 정맥 패턴 영상(602')과 동일하며, 동작 인식 장치(100)는 운전자(U)의 손이 "0"도 회전(손등이 상방을 향함)한 것으로 판단할 수 있다.
이후, 차량(1)은 운전자(U)가 등록된 운전자인지를 판단한다(1170).
구체적으로, 정맥 패턴 룩업 테이블에서 정맥 패턴 영상(602')와 동일한 정맥 패턴 영상이 검색되면 동작 인식 장치(100)는 운전자(U)가 인증된 것으로 판단하고, 정맥 패턴 룩업 테이블에서 정맥 패턴 영상(602')와 동일한 정맥 패턴 영상이 검색되지 않으면 동작 인식 장치(100)는 운전자(U)가 인증되지 않은 것으로 판단할 수 있다.
등록된 운전자인 것으로 판단되면(1170의 예), 차량(1)은 운전자(U)의 정지 동작을 판단한다(1180).
구체적으로, 차량(1)의 동작 인식 장치(100)는 운전자(U)의 정지 동작을 판단하기 위하여, 운전자 손의 위치, 운전자 손이 가리키는 방향 운전자 손의 높이 및 운전자 손의 회전 각도 등을 저장할 수 있다.
등록된 운전자가 아닌 것으로 판단되면(1170의 아니오), 차량(1)은 동작 인식을 종료한다.
이상에서 설명한 바와 같이 차량(1)은 운전자(U)의 정맥 패턴을 이용하여 운전자(U)의 정지 동작을 판단할 수 있다. 구체적으로, 차량(1)은 운전자 손의 위치, 운전자 손이 가리키는 방향 운전자 손의 높이 및 운전자 손의 회전 각도 등을 판단할 수 있다.
또한, 차량(1)은 동작 인식 장치(100)가 연속적으로 획득한 운전자 영상에 대하여 앞서 설명한 운전자의 정지 동작 판단 기능을 수행함으로써 운전자(U)의 연속적인 정지 동작 즉 운전자(U)의 움직임을 판단할 수 있다.
예를 들어, 차량(1)는 도 16에 도시된 운전자 영상(600)으로부터 운전자(U)의 정지 동작을 판단한 이후, 도 20에 도시된 운전자 영상(610)으로부터 운전자(U)의 정지 동작을 판단할 수 있다.
이후, 도 16에 도시된 운전자 영상(600)으로부터 판단된 운전자 손의 위치(x1, y1), 운전자 손이 가리키는 방향 운전자 손의 높이 및 운전자 손의 회전 각도와 도 20에 도시된 운전자 영상(610)으로부터 판단된 운전자 손의 위치(x2, y2), 운전자 손이 가리키는 방향 운전자 손의 높이 및 운전자 손의 회전 각도 사이의 차이를 기초로 운전자의 움직임 즉 운전자 손의 이동 및 회전을 판단할 수 있다.
또한, 차량(1)는 운전자의 움직임을 기초로 운전자가 입력하고자 하는 제어 명령을 판단할 수 있다.
이처럼, 운전자의 손에 형성된 정맥 패턴을 이용하여 운전자의 동작을 판단하는 경우, 차량(1)은 운전자와 동승자를 식별할 수 있다.
도 21은 일 실시예에 의한 차량이 운전자 인증 및 동작 인식을 위하여 획득한 운전자 영상의 또 다른 일 예를 도시한다.
예를 들어, 도 21에 도시된 바와 같이 동작 인식 장치(100)가 운전자(U1) 손과 동승자(U2)의 손을 모두 촬영한 경우, 동작 인식 장치(100)는 촬영된 영상(620)으로부터 운전자 손의 영상(621)과 동승자 손의 영상(623)을 분리할 수 있다.
이후, 동작 인식 장치(100)는 운전자 손의 영상(621)과 동승자 손의 영상(623)으로부터 운전자(U1)의 정맥 패턴 영상(622)과 동승자(U2)의 정맥 패턴 영상(624)을 추출할 수 있다.
이후, 동작 인식 장치(100)는 운전자(U1)의 정맥 패턴 영상(622)과 동승자(U2)의 정맥 패턴 영상(624)을 정맥 패턴 룩업 테이블과 비교하여, 운전자(U1)의 정맥 패턴 영상(622)을 식별할 수 있다.
그 결과, 동작 인식 장치(100)는 운전자(U1)와 동승자(U2)가 함께 촬영된 영상(620)으로부터 운전자의 정지 동작을 판단할 수 있으며, 연속적인 운전자의 정지 동작으로부터 운전자의 움직임을 판단할 수 있다. 또한, 동작 인식 장치(100)는 운전자의 움직임으로부터 운전자의 제어 명령을 인식할 수 있다.
차량(1)이 운전자의 동작만을 인식하는 것에 한정되는 것은 아니다.
예를 들어, 운전자(U1)와 동승자(U2)가 모두 정맥 패턴을 등록한 경우, 차량(1)는 운전자(U1)의 동작과 동승자(U2)을 모두 인식할 수 있다.
도 21에 도시된 바와 같이 동작 인식 장치(100)가 운전자(U1) 손과 동승자(U2)의 손을 모두 촬영한 경우, 동작 인식 장치(100)는 촬영된 영상(620)으로부터 운전자 손의 영상(621)과 동승자 손의 영상(623)을 분리하여, 운전자(U1)의 정맥 패턴 영상(622)과 동승자(U2)의 정맥 패턴 영상(624)를 획득할 수 있다.
이후, 동작 인식 장치(100)는 운전자(U1)의 정맥 패턴 영상(622)과 동승자(U2)의 정맥 패턴 영상(624)을 정맥 패턴 룩업 테이블과 비교하여, 운전자(U1)의 정맥 패턴 영상(622)과 동승자(U2)의 정맥 패턴 영상(624)을 식별할 수 있다.
동작 인식 장치(100)는 운전자(U1)의 정지 동작과 동승자(U2)의 정지 동작을 각각 판단할 수 있으며, 나아가 운전자(U1)의 움직임과 동승자(U2)의 움직임을 각각 판단할 수 있다.
그 결과, 동작 인식 장치(100)는 운전자(U1)와 동승자(U2)로부터 각각 움직임을 통한 제어 명령을 입력받을 수 있다.
이상에서 설명한 바와 같이 차량(1) 및 동작 인식 장치(100)는 운전자의 정맥 패턴을 추출하고, 추출된 정맥 패턴의 형상으로부터 운전자의 정지 동작을 판단할 수 있다. 또한, 차량(1) 및 동작 인식 장치(100)는 연속적인 운전자의 정지 동작으로부터 운전자의 제어 명령을 판단할 수 있다.
이상에서는 개시된 발명의 일 실시예에 대하여 도시하고 설명하였지만, 개시된 발명은 상술한 특정의 실시예에 한정되지 아니하며 청구범위에서 청구하는 요지를 벗어남 없이 개시된 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의하여 다양한 변형실시가 가능함을 물론이고 이러한 변형실시들은 개시된 발명으로부터 개별적으로 이해될 수 없다.
1: 차량 100: 동작 인식 장치
110: 제어부 120: 입력부
130: 발광부 140: 영상 획득부
150: 통신부 200: AVN 장치

Claims (24)

  1. 운전자 손의 회전 각도에 따라 복수의 기준 정맥 패턴 영상을 포함하는 정맥 패턴 룩업 테이블을 저장하는 저장부;
    상기 운전자 손의 영상을 포함하는 운전자 영상을 획득하는 영상획득부;
    상기 운전자 영상으로부터 상기 운전자 손의 정맥 패턴 영상을 추출하고, 상기 정맥 패턴 영상을 상기 정맥 패턴 룩업 테이블을 비교하여 운전자를 인증하고, 상기 정맥 패턴 영상을 기초로 상기 운전자 손의 위치, 상기 운전자 손이 지시하는 방향 및 상기 운전자 손의 회전 각도 가운데 적어도 하나를 포함하는 상기 운전자의 동작을 판단하는 제어부를 포함하는 차량.
  2. 제1항에 있어서,
    상기 운전자 손의 회전 각도에 따른 복수의 기준 동작 영상을 표시하는 디스플레이 더 포함하는 차량.
  3. 제2항에 있어서,
    상기 복수의 기준 동작 영상 가운데 어느 하나의 기준 동작 영상이 표시되는 동안 상기 제어부는 상기 어느 하나의 기준 동작 영상에 대응되는 기준 운전자 영상을 획득하는 차량.
  4. 제3항에 있어서,
    상기 제어부는 상기 기준 운전자 영상을 이진화하고, 상기 이진화된 기준 운전자 영상으로부터 기준 정맥 패턴 영상을 추출하는 차량.
  5. 제4항에 있어서,
    상기 제어부는 상기 기준 정맥 패턴 영상을 기초로 상기 룩업 테이블을 생성하는 차량.
  6. 제1항에 있어서,
    상기 제어부는 상기 운전자 영상을 이진화하고, 상기 이진화된 운전자 영상으로부터 정맥 패턴 영상을 추출하고, 상기 정맥 패턴 영상의 위치를 기초로 상기 운전자 손의 위치를 판단하는 차량.
  7. 제1항에 있어서,
    상기 제어부는 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상을 회전 변환하고, 상기 정맥 패턴의 회전 각도를 기초로 상기 운전자 손이 지시하는 방향을 판단하는 차량.
  8. 제1항에 있어서,
    상기 제어부는 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상의 크기를 변환하고, 상기 정맥 패턴 영상의 크기 변환 비율을 기초로 상기 운전자 손의 높이를 판단하는 차량.
  9. 제1항에 있어서,
    상기 제어부는 상기 복수의 기준 정맥 패턴 영상 가운데 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 검색하고, 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 기초로 상기 운전자 손의 회전 각도를 판단하는 차량.
  10. 제1항에 있어서,
    상기 제어부는 상기 영상 획득부가 연속적으로 획득하는 복수의 운전자 영상을 처리하여 연속적인 운전자 동작을 판단하고, 상기 연속적인 운전자 동작을 기초로 상기 운전자의 움직임을 판단하는 차량.
  11. 제10항에 있어서,
    상기 제어부는 상기 운전자의 움직임을 기초로 상기 운전자의 제어 명령을 판단하는 차량.
  12. 제1항에 있어서,
    상기 운전자 영상으로부터 복수의 정맥 패턴 영상이 추출되면 상기 제어부는 상기 복수의 정맥 패턴 영상 각각을 상기 정맥 패턴 룩업 테이블과 비교하여 복수의 운전자를 식별하고, 상기 정맥 패턴 영상을 기초로 상기 식별된 운전자 각각을 인증하는 차량.
  13. 운전자 손의 회전 각도에 따라 복수의 기준 정맥 패턴 영상을 포함하는 정맥 패턴 룩업 테이블을 저장하고;
    상기 운전자 손의 영상을 포함하는 운전자 영상을 획득하고;
    상기 운전자 영상으로부터 상기 운전자 손의 정맥 패턴 영상을 추출하고;
    상기 정맥 패턴 영상을 상기 정맥 패턴 룩업 테이블을 비교하여 운전자를 인증하고;
    상기 정맥 패턴 영상을 기초로 상기 운전자 손의 위치, 상기 운전자 손이 지시하는 방향 및 상기 운전자 손의 회전 각도 가운데 적어도 하나를 포함하는 상기 운전자의 동작을 판단하는 것을 포함하는 차량의 제어 방법.
  14. 제13항에 있어서,
    상기 정맥 패턴 룩업 테이블을 저장하는 것은
    상기 운전자 손의 회전 각도에 따라 기준 동작 영상을 표시하고;
    상기 기준 동작 영상에 대응되는 기준 운전자 영상을 획득하고;
    상기 기준 운전자 영상으로부터 기준 정맥 패턴 영상을 추출하고;
    상기 기준 정맥 패턴 영상을 기초로 상기 룩업 테이블을 생성하는 것을 포함하는 차량의 제어 방법.
  15. 제13항에 있어서,
    상기 정맥 패턴 영상을 기초로 상기 운전자의 동작을 판단하는 것은,
    상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상을 회전 변환하고;
    상기 정맥 패턴의 회전 각도를 기초로 상기 운전자 손이 지시하는 방향을 판단하는 것을 포함하는 차량의 제어 방법.
  16. 제13항에 있어서,
    상기 정맥 패턴 영상을 기초로 상기 운전자의 동작을 판단하는 것은,
    상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상의 크기를 변환하고;
    상기 정맥 패턴 영상의 크기 변환 비율을 기초로 상기 운전자 손의 높이를 판단하는 것을 포함하는 차량의 제어 방법.
  17. 제13항에 있어서,
    상기 정맥 패턴 영상을 기초로 상기 운전자의 동작을 판단하는 것은,
    상기 복수의 기준 정맥 패턴 영상 가운데 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 검색하고;
    상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 기초로 상기 운전자 손의 회전 각도를 판단하는 것을 포함하는 차량의 제어 방법.
  18. 제13항에 있어서,
    상기 영상 획득부가 연속적으로 획득하는 복수의 운전자 영상을 처리하여 연속적인 운전자 동작을 판단하고;
    상기 연속적인 운전자 동작을 기초로 상기 운전자의 움직임을 판단하고,
    상기 운전자의 움직임을 기초로 상기 운전자의 제어 명령을 판단하는 것을 더 포함하는 차량의 제어 방법.
  19. 제13항에 있어서,
    상기 운전자를 인증하는 것은,
    상기 운전자 영상으로부터 복수의 정맥 패턴 영상이 추출되면 상기 복수의 정맥 패턴 영상 각각을 상기 정맥 패턴 룩업 테이블과 비교하여 복수의 운전자를 식별하고;
    상기 정맥 패턴 영상을 기초로 상기 식별된 운전자 각각을 인증하는 것을 포함하는 차량의 제어 방법.
  20. 운전자 손의 회전 각도에 따라 복수의 기준 정맥 패턴 영상을 포함하는 정맥 패턴 룩업 테이블을 저장하는 메모리;
    상기 운전자 손의 영상을 포함하는 운전자 영상을 획득하는 카메라 모듈;
    상기 운전자 영상으로부터 상기 운전자 손의 정맥 패턴 영상을 추출하고, 상기 정맥 패턴 영상을 상기 정맥 패턴 룩업 테이블을 비교하는 그래픽 프로세서;
    상기 정맥 패턴 영상을 기초로 상기 운전자 손의 위치, 상기 운전자 손이 지시하는 방향 및 상기 운전자 손의 회전 각도 가운데 적어도 하나를 포함하는 상기 운전자의 동작을 판단하는 메인 프로세서를 포함하는 동작 인식 장치.
  21. 제20항에 있어서,
    상기 그래픽 프로세서는 상기 운전자 영상을 이진화하고, 상기 이진화된 운전자 영상으로부터 정맥 패턴 영상을 추출하고,
    상기 메인 프로세서는 상기 정맥 패턴 영상의 위치를 기초로 상기 운전자 손의 위치를 판단하는 동작 인식 장치.
  22. 제20항에 있어서,
    상기 그래픽 프로세서는 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상을 회전 변환하고,
    상기 메인 프로세서는 상기 정맥 패턴의 회전 각도를 기초로 상기 운전자 손이 지시하는 방향을 판단하는 동작 인식 장치.
  23. 제20항에 있어서,
    상기 그래픽 프로세서는 상기 복수의 기준 정맥 패턴 영상을 기초로 상기 정맥 패턴 영상의 크기를 변환하고,
    상기 메인 프로세서는 상기 정맥 패턴 영상의 크기 변환 비율을 기초로 상기 운전자 손의 높이를 판단하는 동작 인식 장치.
  24. 제20항에 있어서,
    상기 그래픽 프로세서는 상기 복수의 기준 정맥 패턴 영상 가운데 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 검색하고,
    상기 메인 프로세서는 상기 정맥 패턴 영상과 매칭되는 기준 정맥 패턴을 기초로 상기 운전자 손의 회전 각도를 판단하는 동작 인식 장치.
KR1020150009823A 2015-01-21 2015-01-21 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치 KR20160090047A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150009823A KR20160090047A (ko) 2015-01-21 2015-01-21 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
CN201510482883.9A CN105807912B (zh) 2015-01-21 2015-08-07 车辆、用于控制该车辆的方法和其中的手势识别装置
US14/822,759 US9898652B2 (en) 2015-01-21 2015-08-10 Vehicle, method for controlling the same and gesture recognition apparatus therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150009823A KR20160090047A (ko) 2015-01-21 2015-01-21 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170091682A Division KR101809916B1 (ko) 2017-07-19 2017-07-19 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치

Publications (1)

Publication Number Publication Date
KR20160090047A true KR20160090047A (ko) 2016-07-29

Family

ID=56408091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150009823A KR20160090047A (ko) 2015-01-21 2015-01-21 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치

Country Status (3)

Country Link
US (1) US9898652B2 (ko)
KR (1) KR20160090047A (ko)
CN (1) CN105807912B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106526A (ko) * 2018-01-11 2020-09-14 후아웨이 테크놀러지 컴퍼니 리미티드 비디오튜브를 사용한 활동 인식 방법
KR20200126479A (ko) 2019-04-29 2020-11-09 주식회사 웰파인 아로니아를 유효성분으로 함유하는 항비만 음료 및 그 제조방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147261A1 (en) * 2016-06-08 2019-05-16 Mitsubishi Electric Corporation Vehicle-mounted information processing device, vehicle-mounted device, and vehicle-mounted information processing method
US10281990B2 (en) * 2016-12-07 2019-05-07 Ford Global Technologies, Llc Vehicle user input control system and method
FR3060473A1 (fr) * 2016-12-16 2018-06-22 Peugeot Citroen Automobiles Sa Pavillon de toit de vehicule automobile comportant un dispositif de commande sans contact d’au moins un composant electrique.
FR3064090B1 (fr) * 2017-03-17 2021-09-17 Valeo Comfort & Driving Assistance Module de commande pour habitacle de vehicule
FR3065783B1 (fr) * 2017-04-28 2019-07-12 Valeo Comfort And Driving Assistance Module de commande pour habitacle de vehicule
US10229309B2 (en) * 2017-05-12 2019-03-12 Dura Operations, Llc Biometric control member
DE102017208756B4 (de) 2017-05-23 2020-09-10 Bayerische Motoren Werke Aktiengesellschaft Steuerung einer Komponente eines Kraftfahrzeugs aufweisend einen Sensor zur Abtastung eines biometrischen Merkmals
WO2019067096A1 (en) * 2017-09-29 2019-04-04 Apple Inc. VEIN SCANNING DEVICE FOR AUTOMATIC RECOGNITION OF GESTURES AND FINGERS
FR3075402B1 (fr) * 2017-12-20 2021-01-08 Valeo Comfort & Driving Assistance Dispositif de visualisation d'un habitacle de vehicule, habitacle et procede de visualisation associes
CN109366497A (zh) * 2018-11-12 2019-02-22 奇瑞汽车股份有限公司 车载机器人、车载机器人的控制方法、装置及存储介质
CN110008918B (zh) * 2019-04-11 2023-06-06 成都合纵连横数字科技有限公司 一种摩托车模拟器驾驶员姿态识别方法
CN111845757A (zh) * 2019-04-30 2020-10-30 通用汽车环球科技运作有限责任公司 分心驾驶消除系统
CN112298102A (zh) * 2019-07-31 2021-02-02 比亚迪股份有限公司 车辆控制的方法、装置、存储介质及电子设备和车辆
KR20210034843A (ko) * 2019-09-23 2021-03-31 삼성전자주식회사 차량의 제어 장치 및 방법
EP3961483A1 (en) * 2020-09-01 2022-03-02 Aptiv Technologies Limited Method and system for authenticating an occupant within an interior of a vehicle

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092616A (ja) * 2000-09-20 2002-03-29 Hitachi Ltd 個人認証装置
KR100428540B1 (ko) 2001-07-03 2004-04-28 주식회사 테크스피어 개인 식별을 위한 손등의 혈관패턴 인식 장치 및 그 방법
JP3900893B2 (ja) * 2001-11-02 2007-04-04 ソニー株式会社 操舵装置、ドライバー認証方法、自動車
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP4692174B2 (ja) * 2005-09-14 2011-06-01 株式会社日立製作所 個人認証装置及びドア開閉システム
JP2007115072A (ja) 2005-10-21 2007-05-10 Yoko Arimasa 指静脈認証システムと指静脈認証装置
JP4704185B2 (ja) * 2005-10-27 2011-06-15 富士通株式会社 生体認証システム及び生体認証方法
JP4670619B2 (ja) 2005-12-07 2011-04-13 株式会社日立製作所 生体情報照合システム
JP4640295B2 (ja) * 2006-09-07 2011-03-02 株式会社日立製作所 個人認証装置及び方法
JP4680158B2 (ja) * 2006-09-13 2011-05-11 株式会社日立製作所 生体認証装置
JP5065965B2 (ja) * 2008-03-31 2012-11-07 富士通株式会社 非接触型生体認証装置の生体誘導制御方法及び非接触型生体認証装置
JP5392900B2 (ja) * 2009-03-03 2014-01-22 現代自動車株式会社 車載機器の操作装置
WO2010106644A1 (ja) * 2009-03-17 2010-09-23 富士通株式会社 データ照合装置およびプログラム
JP5436010B2 (ja) 2009-04-08 2014-03-05 日立マクセル株式会社 操作装置
JP5814920B2 (ja) * 2010-07-22 2015-11-17 富士通株式会社 静脈撮像装置
EP2704093A4 (en) * 2011-04-22 2014-10-01 Hitachi Ltd IMAGE CAPTURE DEVICE FOR BLOOD VESSELS, AND ORGAN AUTHENTICATION DEVICE
CN103324274A (zh) * 2012-03-22 2013-09-25 联想(北京)有限公司 一种人机交互方法和装置
KR20140087866A (ko) * 2012-12-31 2014-07-09 현대자동차주식회사 정맥 영상을 이용한 제스처 인식 방법 및 인식 장치
CN103442114B (zh) * 2013-08-16 2015-10-21 中南大学 一种基于动态手势的身份认证方法
CN104462908B (zh) * 2013-09-12 2018-01-19 中国电信股份有限公司 一种触摸屏手指书写签名的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106526A (ko) * 2018-01-11 2020-09-14 후아웨이 테크놀러지 컴퍼니 리미티드 비디오튜브를 사용한 활동 인식 방법
KR20200126479A (ko) 2019-04-29 2020-11-09 주식회사 웰파인 아로니아를 유효성분으로 함유하는 항비만 음료 및 그 제조방법

Also Published As

Publication number Publication date
US20160210504A1 (en) 2016-07-21
US9898652B2 (en) 2018-02-20
CN105807912A (zh) 2016-07-27
CN105807912B (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
KR20160090047A (ko) 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
KR101860610B1 (ko) 디스플레이 장치 및 이를 포함하는 차량
US10229654B2 (en) Vehicle and method for controlling the vehicle
US9013286B2 (en) Driver assistance system for displaying surroundings of a vehicle
JP5313072B2 (ja) 外界認識装置
US10179608B2 (en) Parking assist device
US8953840B2 (en) Vehicle perimeter monitoring device
US11132534B2 (en) Monitoring system
US10095313B2 (en) Input device, vehicle having the input device, and method for controlling the vehicle
KR101498973B1 (ko) 차량용 주차 지원 시스템 및 방법
US20180329415A1 (en) Driver monitoring apparatus and driver monitoring method
JP2016506572A (ja) インフォテイメントシステム
JP2004067031A (ja) 操作者判別装置およびこれを用いた車載装置
US9612655B2 (en) Method for inputting a control command for a component of a motor vehicle
US20150003682A1 (en) Gesture recognition apparatus using vehicle steering wheel, and method for recognizing hand
JP2013033312A (ja) 画像処理装置
JP2010111260A (ja) 車速制御装置
KR101809916B1 (ko) 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
KR102268641B1 (ko) 어라운드 뷰 시스템 및 그 동작방법
KR20160146280A (ko) 자동주차 보조장치 및 이를 포함하는 차량
CN210618064U (zh) 车辆中控交互设备及车辆
JP2009190675A (ja) 車両用操作装置
KR101816570B1 (ko) 차량용 디스플레이 장치
KR20190135144A (ko) 차량 및 장애물 검출 방법
KR101757263B1 (ko) 근거리 물체 감지 장치 및 방법과 이를 이용한 차량

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
A107 Divisional application of patent