KR101586228B1 - 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법 - Google Patents

얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법 Download PDF

Info

Publication number
KR101586228B1
KR101586228B1 KR1020140112608A KR20140112608A KR101586228B1 KR 101586228 B1 KR101586228 B1 KR 101586228B1 KR 1020140112608 A KR1020140112608 A KR 1020140112608A KR 20140112608 A KR20140112608 A KR 20140112608A KR 101586228 B1 KR101586228 B1 KR 101586228B1
Authority
KR
South Korea
Prior art keywords
face
unit
recognition
person
motion
Prior art date
Application number
KR1020140112608A
Other languages
English (en)
Inventor
임용재
김시욱
Original Assignee
주식회사 켐트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 켐트로닉스 filed Critical 주식회사 켐트로닉스
Priority to KR1020140112608A priority Critical patent/KR101586228B1/ko
Priority to US14/836,912 priority patent/US9576189B2/en
Priority to CN201510536896.XA priority patent/CN105389490A/zh
Priority to EP15182736.7A priority patent/EP2990997A3/en
Application granted granted Critical
Publication of KR101586228B1 publication Critical patent/KR101586228B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Security & Cryptography (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 자동차 제어에 관한 것으로, 더욱 상세하게는 자동차 외부의 사람 얼굴을 인식하고, 인증 한 후 동작인식을 통해 자동차의 제어를 포함하는 기타 서비스를 제공할 수 있는 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법 에 관한 것이다. 이와 같은 본 발명은 자동차 외부의 영상을 획득하는 영상획득부(10); 상기 영상획득부(10)에서 획득한 영상에서 사람 얼굴의 특징 구성요소를 바탕으로 입력영상으로부터 사람의 얼굴을 찾아내고 추적하여 얼굴의 특징정보를 추출하는 얼굴인식부(20); 상기 얼굴 인식부(20)에서 추출된 특징정보와 사전에 등록한 사람의 얼굴 특징정보를 비교하여 임계치 이내인 경우에 등록된 얼굴로 인증하는 얼굴인증부(30); 상기 얼굴 인증부(30)를 통해 인증이 완료된 경우 동작을 인식하는 동작인식부(40); 및 얼굴 인식 및 인증이 완료된 사람의 동작을 인식하여 설정된 기능을 수행하도록 하는 제어부(50);를 포함하여 구성됨을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치를 제공한다.

Description

얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법{Method and apparatus for controlling vehicle using motion recognition with face recognition}
본 발명은 자동차 제어에 관한 것으로, 더욱 상세하게는 자동차 외부의 사람 얼굴을 인식하고, 인증 한 후 동작인식을 통해 자동차의 제어를 포함하는 기타 서비스를 제공할 수 있는 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법 에 관한 것이다.
최근 자동차에 다양하고 많은 종류의 카메라가 장착되고 있으며 이를 활용한 다양한 기술이 연구되고 있다. 주로 자동차의 운행중의 안전에 관한 기술이 연구되고 있다.
그 중에서도 얼굴인식 기술을 활용한 분야는 주로 운행중의 운전자의 졸음이나 이상을 감지하는 기술과 특정 운전자를 확인하여 운전석의 시트 위치 조정 등의 편의사항을 제공하는 기술들이 많다.
대한민국 공개특허 10-2011-0040562호(차량용 개인화 서비스 장치 및 방법)는 차량의 운전석 도어에 설치되어 차량의 외부 물체를 촬영하는 카메라, 그리고 촬영된 영상을 근거로 물체가 차량에 등록된 운전자인지 여부를 판단하고, 등록된 운전자이면, 등록된 운전자에 대응되는 설정 값으로 차량을 설정하여 등록된 운전자에게 개인화 서비스를 제공하는 처리부를 포함하여 사전에 등록된 운전자이면, 등록된 운전자에 대응되는 설정 값으로 차량을 설정하여 개인화서비스를 제공할 수 있는 효과가 있다.
특히 운전자가 탑승하기 전 촬영된 영상으로 등록된 운전자인지 여부를 판단하여 개인화 서비스 제공에 걸리는 시간을 단축할 수 있는 이점이 있기는 하지만 운전자에 따라 운전적 위치조절과 같은 단순히 설정값을 재조절하는 수준이며 고사양, 고성능의 시스템이 요구되어 고급차량의 옵션으로만 제공되고 있으며 저가 차량에 적용하기는 용이하지 않았다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명은 자동차 외부의 사람 얼굴을 인식하고, 인증 한 후 동작인식을 통해 자동차의 제어를 포함하는 다양한 서비스를 저사양으로 구현하고, 저비용으로 제공할 수 있는 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위한 본 발명 얼굴인식과 동작인식을 이용한 자동차 제어 장치는 자동차 외부의 영상을 획득하는 영상획득부(10); 상기 영상획득부(10)에서 획득한 영상에서 사람 얼굴의 특징 구성요소를 바탕으로 입력영상으로부터 사람의 얼굴을 찾아내고 추적하여 얼굴의 특징정보를 추출하는 얼굴인식부(20); 상기 얼굴 인식부(20)에서 추출된 특징정보와 사전에 등록한 사람의 얼굴 특징정보를 비교하여 임계치 이내인 경우에 등록된 얼굴로 인증하는 얼굴인증부(30); 상기 얼굴 인증부(30)를 통해 인증이 완료된 경우 동작을 인식하는 동작인식부(40); 및 얼굴 인식 및 인증이 완료된 사람의 동작을 인식하여 설정된 기능을 수행하도록 하는 제어부(50);를 포함하여 구성됨을 특징으로 한다.
여기서 영상획득부(10)는 자동차 외부의 사람에 대한 얼굴 및 동작 영상을 획득하는 것이 바람직하다.
그리고 영상획득부(10)는 입력영상의 노이즈를 제거하고, 이진영상으로 변환하는 것이 바람직하다.
또한 얼굴인식부(20)는 입력 영상에 다수의 얼굴이 존재할 경우 모든 얼굴의 특징정보를 추출하고 추적하는 것이 바람직하다.
한편 얼굴인증부(30)는 얼굴 인식부(20)에서 다수의 얼굴이 인식된 경우 개별적으로 모든 얼굴을 인증하는 것이 바람직하다.
그리고 동작인식부(40)는 인증된 사람의 얼굴 표정의 변화나 인증된 사람의 몸 동작의 변화를 인식하는 것이 바람직하다.
여기서 동작인식부(40)는 동작 인식이 완료되었음을 알리거나 인식되지 않은 경우 동작을 다시 요구하는 것이 바람직하다.
그리고 동작을 다시 요구하는 것은 자동차 내부 컴퓨터(200)에 연결된 램프나 스피커를 통해 이루어지는 것이 바람직하다.
한편 동작인식부(40)에서 인식하는 동작은 눈과 입 모양의 변화를 포함하는 얼굴 표정의 변화와, 손바닥, 손, 발 모양의 변화를 포함하는 몸동작의 변화를 인식하는 것이 바람직하다.
또한 자동차 제어 장치는, 얼굴 인식 및 인증이 완료된 사람의 동작을 인식하여 설정된 기능을 수행하도록 하기 위하여, 자동차 내부 컴퓨터(ECU)(200)로 동작 인식에 따른 기능을 수행하도록 데이터를 송신하기 위한 내부 통신부(70)와, 인터넷망(300)으로 동작 인식에 따른 기능을 수행하도록 데이터를 송신하기 위한 외부통신부(80)가 더 구성된 것이 바람직하다.
한편 자동차 제어 장치는, 얼굴을 등록하여 저장하는 얼굴 저장부(61)와, 저장된 얼굴에 따른 사람의 동작 및 동작과 연동된 기능을 저장하는 동작저장부(62) 및 자동차 제어 장치(100) 제어에 필요한 프로그램이 저장되고, 외부 통신부(80)를 통해 데이터를 전송하고자 하는 경우에 필요한 식별정보를 저장하기 위한 메모리부(63)를 포함하는 저장부(60)가 더 구성됨이 바람직하다.
여기서 자동차 제어 장치는, 별도의 메모리 카드를 장착하고 상기 영상획득부(10)를 이용하여 블랙박스로 이용됨이 바람직하다.
한편 자동차 제어 장치는, 자동차 제어장치(100)의 온/오프, 얼굴인식명령 입력 및 저장, 동작인식명령 입력 및 저장, 인터넷(300)을 통해 데이터를 전송하고자 하는 착신측의 전화번호, 이메일 정보를 입력하는데 이용되는 입력부(90)가 더 포함되어 구성됨이 바람직하다.
그리고 사전에 등록한 설정된 특정 동작으로는, 자동차 문 및 트렁크의 열림 / 잠김, 자동차 헤드라이트 및 내외부 전등의 온/오프(On/Off), 현재 주차 위치를 카메라(영상획득부)로 찍어서 등록된 전화번호의 휴대폰으로 전송해주는 기능 및 자동차 블랙박스 기능의 온/오프(On/Off) 및 자동차의 종류에 따라 동작가능한 기능의 제어가 가능한 것이 바람직하다.
또한 자동차 제어장치는 인터넷(300)을 통해 새로운 프로그램을 업그레이드 또는 업데이트하는 것에 따라 새로운 서비스에 대한 추가가 가능한 것이 바람직하다.
또한 상기한 목적을 달성하기 위한 본 발명 얼굴인식과 동작인식을 이용한 자동차 제어 방법은 사람의 얼굴과 동작을 저장하는 단계(S10); 영상획득부(10)를 통해 영상이 획득되면(S20), 얼굴인식부(20)는 얼굴을 인식하는 단계(S30); 상기 얼굴 인식부(20)에서 추출된 특징정보와 사전에 저장부(60)에 저장(등록)한 사람의 얼굴 특징정보를 얼굴인증부(30)에서 비교하여 얼굴을 인증하는 단계(S60); 상기 얼굴 인증부(30)를 통해 인증이 완료되면 동작인식부(40)에서 사람의 동작을 인식하는 단계(S80); 및 상기 동작인식부(40)에서 인식된 동작에 따라 제어부(50)에서 얼굴 인식 및 인증이 완료된 사람의 동작을 인식하여 설정된 기능을 수행하도록 제어 및 서비스 하는 단계(S110);를 포함하여 이루어지는 것을 특징으로 한다.
여기서 영상획득부(10)는 자동차 외부의 사람에 대한 얼굴 및 동작 영상을 획득하여 입력영상의 노이즈를 제거하고, 이진영상으로 변환하는 것이 바람직하다.
그리고 동작인식부(40)에서 사람의 동작을 인식하는 단계(S80)는 인증된 사람의 얼굴 표정의 변화나 인증된 사람의 몸 동작의 변화를 인식하는 것이 바람직하다.
한편 얼굴인식부(20)는 입력 영상에 다수의 얼굴이 존재할 경우 모든 얼굴의 특징정보를 추출하고 추적하며, 얼굴인증부(30)는 상기 얼굴 인식부(20)에서 다수의 얼굴이 인식된 경우 개별적으로 모든 얼굴을 인증하는 것이 바람직하다.
또한 상기 얼굴을 인식하는 단계(S30)와, 상기 동작을 인식하는 단계(S80)는 각각 인식이 성공하였는지를 판단하는 단계(S40)(S90)와, 인식이 성공하지 않은 경우 각가 재인식을 요청하는 단계(S50)(S100)를 포함하여 이루어지는 것이 바람직하다.
여기서 재인식을 요청하는 단계(S50)(S100)는 자동차 내부 컴퓨터(200)에 연결된 램프나 스피커를 통해 이루어지는 것이 바람직하다.
그리고 제어부(50)가 제어 및 서비스하는 단계(S110)는, 동작 인식에 따른 기능을 수행하도록 내부 통신부(70)을 통해 자동차 내부 컴퓨터(ECU)(200)로 데이터를 송신하거나, 외부통신부(80)을 통해 인터넷(300)으로 동작 인식에 따른 기능을 수행하도록 데이터를 송신하는 것이 바람직하다.
한편 제어부(50)가 제어 및 서비스하는 단계(S110)는, 인터넷(300)을 통해 새로운 프로그램을 업그레이드 또는 업데이트하는 것에 따라 새로운 서비스에 대한 추가가 가능한 것을 포함하는 것이 바람직하다.
또한 제어부(50)가 제어 및 서비스하는 단계(S110)는, 자동차 문 및 트렁크의 열림 / 잠김, 자동차 헤드라이트 및 내외부 전등의 온/오프(On/Off), 현재 주차 위치를 카메라(영상획득부)로 찍어서 등록된 전화번호의 휴대폰으로 전송해주는 기능 및 자동차 블랙박스 기능의 온/오프(On/Off) 중 하나 이상을 포함하는 것이 바람직하다.
본 발명에 의하면 다음과 같은 효과가 있다.
첫째, 자동차 외부에 위치한 사람의 얼굴을 인식하여 사전 등록한 사람으로 인증되면, 해당 사람이 사전에 등록한 표정 및 몸 동작만으로 미리 설정된 방식으로 자동차를 제어할 수 있다.
둘째, 자동차 외부에서도 운전자가 다른 외부 장치의 도움 없이도 단순한 몸동작 만으로도 쉽게 자동차를 제어하거나 다양한 서비스를 제공받을 수 있도록 한다.
도 1은 본 발명에 따른 얼굴인식과 동작인식을 이용한 자동차 제어 장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명에 따른 얼굴인식과 동작인식을 이용한 자동차 제어를 설명하기 위한 영상촬영의 일 예를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 얼굴인식과 동작인식을 이용한 자동차 제어 방법을 설명하기 위한 흐름도이다.
본 발명의 바람직한 실시예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
도 1은 본 발명에 따른 얼굴인식과 동작인식을 이용한 자동차 제어 장치를 설명하기 위한 블록 구성도이고, 도 2는 본 발명에 따른 얼굴인식과 동작인식을 이용한 자동차 제어에서 영상촬영의 일 예를 설명하기 위한 도면이다.
본 발명에 따른 얼굴인식과 동작인식을 이용한 자동차 제어 장치는 도 1에 나타낸 바와 같이, 영상획득부(10), 얼굴인식부(20), 얼굴인증부(30), 동작인식부(40), 제어부(50), 저장부(60), 내부통신부(70), 외부통신부(80) 및 입력부(90)로 구성된다.
여기서 영상획득부(10)는 자동차 외부의 영상을 획득하며, 입력영상의 노이즈를 제거하고, 이진영상으로 변환하며, 자동차 외부의 강한 외란에 영향을 최소화하도록 한다. 이러한 영상획득부(10)는 도 2에 나타낸 바와 같은 자동차 내부에 설치된 카메라일 수 있으며, 카메라를 통해 자동차 외부의 사람에 대한 얼굴 및 동작 영상을 획득한다. 이때, 도 2에서는 자동차 전방의 영상을 획득하는 것으로 나타내고 있으나, 전, 후, 좌, 우 위치에 특별히 한정할 필요없이 모드 방향의 영상을 입력받을 수 있다.
얼굴인식부(20)는 사람 얼굴의 특징 구성요소를 바탕으로 입력영상으로부터 사람의 얼굴을 찾아내고 추적하기 위한 것으로, 얼굴의 특징정보를 추출한다. 이때, 입력 영상에 다수의 얼굴이 존재할 경우 모든 얼굴의 특징정보를 동시에 추출하고 추적한다.
얼굴인증부(30)는 얼굴 인식부(20)에서 추출된 특징정보와 사전에 등록한 사람의 얼굴 특징정보를 비교하여 임계치 이내인 경우에 등록된 얼굴로 인증한다. 또한 얼굴 인식부(20)에서 다수의 얼굴이 인식된 경우 개별적으로 얼굴을 인증한다.
동작인식부(40)는 얼굴 인증부(30)를 통해 인증이 완료된 경우 동작 인식을 대기하는데, 인증된 사람의 얼굴 표정의 변화나 인증된 사람의 몸 동작의 변화를 인식하여 인식된 동작이 사전에 입력하여 약속된 동작인지 확인한다. 이때, 동작 인식이 완료되었음을 알리거나 인식되지 않은 경우(오인식) 동작을 다시 요구할 수있다. 이러한 요구는 자동차 내부 컴퓨터(200)에 연결된 램프나 스피커 등을 통해 이루어지도록 하는 것이 바람직하다. 또한 얼굴 인증부(30)에서 다수의 얼굴이 인증된 경우 개별적으로 동작을 인식하도록 하며, 다수의 인증된 사람의 동작을 인식하여 인식 정보를 연동하도록 할 수 있다. 이러한 눈깜밖임, 입 모양 등의 얼굴 표정의 변화 등이 있을 수 있고, 몸 동작으로는 박수모양 및 박수모양 회수, 발구르기 및 발구르기 회수, 팔로 원만들기, 오른팔 왼팔 벌리기 등이 있을 수 있다.
제어부(50)는 얼굴 인식 및 인증이 완료된 사람의 동작을 인식하여 설정된 기능을 수행하도록 하기 위한 것으로, 자동차 내부 컴퓨터(ECU)(200)와 내부 통신부(70)(예: CAN, OBD-II 등)을 통해 연결되어 동작 인식에 따른 기능을 수행하도록 데이터를 송수신하0거나, 외부 네트워크(유무선 인터넷(300))에 외부통신부(80)(예: 3G, LTE, WIFI, BT 등)을 통해 동작 인식에 따른 기능을 수행하도록 데이터를 송수신한다.
한편 저장부(60)는 얼굴 저장부(61), 동작저장부(62) 및 메모리부(63)로 구성된다. 이때, 얼굴 저장부(61)는 얼굴을 등록하여 저장하며, 동작저장부(62)는 저장된 얼굴에 따른 사람의 동작 및 동작과 연동된 기능을 저장한다. 메모리부(63)는 자동차 제어 장치(100) 제어에 필요한 프로그램이 저장되고, 외부 통신부(80)를 통해 데이터를 전송하고자 하는 경우에 필요한 식별정보(전화번호, 이메일 정보 등)을 저장한다. 또한, 영상획득부(10)가 구비되어 있으므로 블랙박스로도 이용할 수 있는데 그와 같은 경우에는 별도의 마이크로 SD카드를 장착하여 이용할 수 있다. 이때, 차량 주행 중에는 블랙박스모드로 동작되도록 설정할 수 있다.
입력부(90)는 자동차 제어장치(100)의 온/오프, 얼굴인식명령 입력 및 저장, 동작인식명령 입력 및 저장, 외부 통신부(80)와 인터넷(300)을 통해 데이터를 전송하고자 하는 착신측 정보(전화번호, 이메일 정보) 등을 입력하는데 이용된다. 이때, 영상획득부(10)를 통해 얼굴과 동작을 입력받고, 이를 얼굴 저장부(61)와 동작 저장부(62)에 저장한다. 이러한 입력부(90)는 터치스크린상에 터치입력식으로 구성할 수 있다.
한편, 사전에 등록한 설정된 특정 동작으로는 자동차 문 및 트렁크의 열림 / 잠김, 자동차 헤드라이트 및 내외부 전등의 온/오프(On/Off), 현재 주차 위치를 카메라(영상획득부)로 찍어서 등록된 전화번호의 휴대폰으로 전송해주는 기능, 자동차 블랙박스 기능의 온/오프(On/Off) 및 기타 자동차의 종류에 따라 동작가능한 모든 기능의 제어가 가능할 것이다. 한편 자동차 제어장치(100)는 인터넷(300)과 외부 통신부(80)를 통해서 새로운 프로그램을 업그레이드 또는 업데이트하는 것에 따라 새로운 서비스에 대한 추가가 가능하도록 할 수 있다.
도 3은 본 발명에 따른 얼굴인식과 동작인식을 이용한 자동차 제어 방법을 설명하기 위한 흐름도이다.
본 발명에 따른 얼굴인식과 동작인식을 이용한 자동차 제어 방법은 도 3에 나타낸 바와 같이, 사람의 얼굴과 동작을 저장한다(S10). 이때 입력부(90)를 통해 사람의 얼굴과 동작을 입력 및 저장하기 위한 명령이 입력되면 영상획득부(10)를 통해 영상을 획득하고, 얼굴과 동작은 얼굴인증부(30)와 동작인식부(40)를 통해 각각 인증 및 인식한 후 저장부(60)에 저장한다.
한편 저장이 완료된 후, 영상획득부(10)를 통해 영상이 획득되면(S20), 얼굴인식부(20)는 획득된 입력영상으로부터 특징 구성요소를 바탕으로 입력영상으로부터 사람의 얼굴을 찾아내고 추적하기 위하여 얼굴의 특징정보를 추출한다. 이때, 입력 영상에 다수의 얼굴이 존재할 경우 모든 얼굴의 특징정보를 동시에 추출하고 추적하여 얼굴을 인식한다(S30).
그리고 얼굴인식에 성공하였는지를 판단한다(S40).
판단결과(S40) 인식에 실패하였다면 재인식을 요청한다(S50). 이때, 특징정보 추출에 실패한 경우에 재인식을 요청한다.
그러나 판단결과(S40) 인식에 성공하였다면 얼굴인증부(30)는 얼굴 인식부(20)에서 추출된 특징정보와 사전에 저장부(60)에 저장(등록)한 사람의 얼굴 특징정보를 비교하여 임계치 이내인 경우에 등록된 얼굴로 인증한다. 또한 다수의 얼굴이 인식된 경우 개별적으로 얼굴을 인증한다(S60).
인증결과 얼굴인증이 성공하였는지를 판단한다(S70).
판단결과(S70) 인증에 실패하였다면 저장되지 않은 사람의 얼굴이므로 종료한다.
그러나 판단결과(S70) 인증에 성공하였다면 동작인식부(40)는 얼굴 인증부(30)를 통해 인증이 완료된 경우 동작 인식을 대기하고 있다가 인증된 사람의 얼굴 표정의 변화나 인증된 사람의 몸 동작의 변화를 인식하여 인식된 동작이 사전에 입력하여 약속된 동작, 즉 저장부(60)에 저장된 동작인지 확인한다(S80). 이때, 동작 인식이 완료되었음을 알리거나 인식되지 않은 경우(오인식) 동작을 다시 요구할 수 있다.
그리고 동작인식결과 동작인식에 성공하였는지를 판단한다(S90).
판단결과(S90) 동작인식에 실패하였다면 재인식을 요청한다(S90). 이때, 저장되지 않은 동작이거나, 동작인식에 필요한 임계값 이하인 경우 동작인식 실패에 따른 재인식을 요청할 수 있다.
그러나 판단결과(S90) 동작인식에 성공하였다면 제어부(50)는 얼굴 인식 및 인증이 완료된 사람의 동작을 인식하여 설정된 기능을 수행하도록 내부 통신부(70)을 통해 자동차 내부 컴퓨터(ECU)(200)로 동작 인식에 따른 기능을 수행하도록 데이터를 송신하거나, 외부통신부(80)을 통해 인터넷(300)으로 동작 인식에 따른 기능을 수행하도록 데이터를 송신한다.
이러한 내부 통신부(70)을 통해 자동차 내부 컴퓨터(200)로 동작인식에 따른 기능을 수행하도록 하는 것으로는 자동차 문 및 트렁크의 열림/잠김, 자동차 헤드라이트 및 내외부 전등의 온/오프(On/Off), 자동차 블랙박스 기능의 온/오프(On/Off) 및 기타 자동차의 종류에 따라 동작가능한 모든 기능의 제어가 가능할 것이다. 또한 외부 통신부(80)를 통해 동작인식에 따른 기능을 수행하도록 하는 것으로는 현재 주차 위치를 카메라(영상획득부)로 찍어서 등록된 전화번호의 휴대폰으로 전송해주거나, 자동차 블랙박스의 메모리에 저장된 영상/음성 데이터를 휴대폰으로 전송해주도록 하는 기능 등이 포함될 수 있다. 이는 자동차 제어 장치(100)에 영상획득을 위한 카메라가 있고, 저장부(60)가 있으므로 블랙박스로도 이용할 수 있으므로 당업자라면 용이하게 실현할 수 있을 것이다.
본 발명을 첨부된 도면과 함께 설명하였으나, 이는 본 발명의 요지를 포함하는 다양한 실시 형태 중의 하나의 실시예에 불과하며, 당업계에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 하는 데에 그 목적이 있는 것으로, 본 발명은 상기 설명된 실시예에만 국한되는 것이 아님은 명확하다. 따라서, 본 발명의 보호범위는 하기의 청구범위에 의해 해석되어야 하며, 본 발명의 요지를 벗어나지 않는 범위 내에서의 변경, 치환, 대체 등에 의해 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함될 것이다. 또한, 도면의 일부 구성은 구성을 보다 명확하게 설명하기 위한 것으로 실제보다 과장되거나 축소되어 제공된 것임을 명확히 한다.
10 : 영상획득부 20 : 얼굴인식부
30 : 얼굴인증부 40 : 동작인식부
50 : 제어부 60 : 저장부
61 : 얼굴저장부 62 : 동작저장부
63 : 메모리부 70 : 내부통신부
80 : 외부통신부 90 : 입력부
100 : 자동차 제어장치
200 : ECU(전자제어장치) 300 : 인터넷

Claims (24)

  1. 자동차 외부의 영상을 획득하는 영상획득부(10);
    상기 영상획득부(10)에서 획득한 영상에서 사람 얼굴의 특징 구성요소를 바탕으로 입력영상으로부터 사람의 얼굴을 찾아내고 추적하여 얼굴의 특징정보를 추출하는 얼굴인식부(20);
    상기 얼굴 인식부(20)에서 추출된 특징정보와 사전에 등록한 사람의 얼굴 특징정보를 비교하여 임계치 이내인 경우에 등록된 얼굴로 인증하는 얼굴인증부(30);
    상기 얼굴 인증부(30)를 통해 인증이 완료된 경우 동작을 인식하는 동작인식부(40); 및
    얼굴 인식 및 인증이 완료된 사람의 동작을 인식하여 설정된 기능을 수행하도록 하는 제어부(50);를 포함하되,
    상기 동작인식부는, 눈과 입 모양의 변화를 포함하는 얼굴 표정의 변화와, 손바닥, 손, 발 모양의 변화를 포함하는 몸동작의 변화를 인식하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  2. 제1항에 있어서,
    상기 영상획득부(10)는 자동차 외부의 사람에 대한 얼굴 및 동작 영상을 획득하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  3. 제1항에 있어서,
    상기 영상획득부(10)는 입력영상의 노이즈를 제거하고, 이진영상으로 변환하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  4. 제1항에 있어서,
    상기 얼굴인식부(20)는 입력 영상에 다수의 얼굴이 존재할 경우 모든 얼굴의 특징정보를 추출하고 추적하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  5. 제1항에 있어서,
    상기 얼굴인증부(30)는 얼굴 인식부(20)에서 다수의 얼굴이 인식된 경우 개별적으로 모든 얼굴을 인증하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  6. 제1항에 있어서,
    상기 동작인식부(40)는 인증된 사람의 얼굴 표정의 변화나 인증된 사람의 몸 동작의 변화를 인식하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  7. 제6항에 있어서,
    상기 동작인식부(40)는 동작 인식이 완료되었음을 알리거나 인식되지 않은 경우 동작을 다시 요구하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  8. 제7항에 있어서,
    상기 동작을 다시 요구하는 것은 자동차 내부 컴퓨터(200)에 연결된 램프나 스피커를 통해 이루어지는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 자동차 제어 장치는,
    얼굴 인식 및 인증이 완료된 사람의 동작을 인식하여 설정된 기능을 수행하도록 하기 위하여,
    자동차 내부 컴퓨터(ECU)(200)로 동작 인식에 따른 기능을 수행하도록 데이터를 송신하기 위한 내부 통신부(70)와,
    인터넷망(300)으로 동작 인식에 따른 기능을 수행하도록 데이터를 송신하기 위한 외부통신부(80)가 더 구성된 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  11. 제10항에 있어서,
    상기 자동차 제어 장치는,
    얼굴을 등록하여 저장하는 얼굴 저장부(61)와,
    저장된 얼굴에 따른 사람의 동작 및 동작과 연동된 기능을 저장하는 동작저장부(62) 및
    상기 자동차 제어 장치(100) 제어에 필요한 프로그램이 저장되고, 외부 통신부(80)를 통해 데이터를 전송하고자 하는 경우에 필요한 식별정보를 저장하기 위한 메모리부(63)를 포함하는 저장부(60)가 더 구성됨을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  12. 제11항에 있어서,
    상기 자동차 제어 장치는,
    별도의 메모리 카드를 장착하고 상기 영상획득부(10)를 이용하여 블랙박스로 이용됨을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  13. 제1항에 있어서,
    상기 자동차 제어 장치는,
    상기 자동차 제어장치(100)의 온/오프, 얼굴인식명령 입력 및 저장, 동작인식명령 입력 및 저장, 인터넷(300)을 통해 데이터를 전송하고자 하는 착신측의 전화번호, 이메일 정보를 입력하는데 이용되는 입력부(90)가 더 포함되어 구성됨을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  14. 제1항에 있어서,
    사전에 등록한 설정된 기능으로는,
    자동차 문 및 트렁크의 열림 / 잠김, 자동차 헤드라이트 및 내외부 전등의 온/오프(On/Off), 현재 주차 위치를 카메라(영상획득부)로 찍어서 등록된 전화번호의 휴대폰으로 전송해주는 기능 및 자동차 블랙박스 기능의 온/오프(On/Off) 및 자동차의 종류에 따라 동작가능한 기능의 제어가 가능한 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  15. 제1항에 있어서,
    상기 자동차 제어장치는
    인터넷(300)을 통해 새로운 프로그램을 업그레이드 또는 업데이트하는 것에 따라 새로운 서비스에 대한 추가가 가능한 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 장치.
  16. 사람의 얼굴과 동작을 저장하는 단계(S10);
    영상획득부(10)를 통해 영상이 획득되면(S20), 얼굴인식부(20)는 얼굴을 인식하는 단계(S30);
    상기 얼굴 인식부(20)에서 추출된 특징정보와 사전에 저장부(60)에 저장(등록)한 사람의 얼굴 특징정보를 얼굴인증부(30)에서 비교하여 얼굴을 인증하는 단계(S60);
    상기 얼굴 인증부(30)를 통해 인증이 완료되면 동작인식부(40)에서 사람의 동작을 인식하는 단계(S80); 및
    상기 동작인식부(40)에서 인식된 동작에 따라 제어부(50)에서 얼굴 인식 및 인증이 완료된 사람의 동작을 인식하여 설정된 기능을 수행하도록 제어 및 서비스 하는 단계(S110);를 포함하되,
    상기 제어 및 서비스 하는 단계(S110)를 통해 이루어지는 상기 설정된 기능으로는,
    자동차 문 및 트렁크의 열림 / 잠김, 자동차 헤드라이트 및 내외부 전등의 온/오프(On/Off), 현재 주차 위치를 카메라(영상획득부)로 찍어서 등록된 전화번호의 휴대폰으로 전송해주는 기능 및 자동차 블랙박스 기능의 온/오프(On/Off) 및 자동차의 종류에 따라 동작가능한 기능의 제어가 가능한 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 방법.
  17. 제16항에 있어서,
    상기 영상획득부(10)는 자동차 외부의 사람에 대한 얼굴 및 동작 영상을 획득하여 입력영상의 노이즈를 제거하고, 이진영상으로 변환하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 방법.
  18. 제16항에 있어서,
    상기 동작인식부(40)에서 사람의 동작을 인식하는 단계(S80)는
    인증된 사람의 얼굴 표정의 변화나 인증된 사람의 몸 동작의 변화를 인식하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 방법.
  19. 제16항에 있어서,
    상기 얼굴인식부(20)는 입력 영상에 다수의 얼굴이 존재할 경우 모든 얼굴의 특징정보를 추출하고 추적하며,
    상기 얼굴인증부(30)는 상기 얼굴 인식부(20)에서 다수의 얼굴이 인식된 경우 개별적으로 모든 얼굴을 인증하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 방법.
  20. 제16항에 있어서,
    상기 얼굴을 인식하는 단계(S30)와,
    상기 동작을 인식하는 단계(S80)는
    각각 인식이 성공하였는지를 판단하는 단계(S40)(S90)와,
    인식이 성공하지 않은 경우 각각 재인식을 요청하는 단계(S50)(S100)를 포함하여 이루어지는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 방법.
  21. 제20항에 있어서,
    상기 재인식을 요청하는 단계(S50)(S100)는 자동차 내부 컴퓨터(200)에 연결된 램프나 스피커를 통해 이루어지는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 방법.
  22. 제16항에 있어서,
    상기 제어부(50)가 제어 및 서비스하는 단계(S110)는,
    상기 동작 인식에 따른 기능을 수행하도록 내부 통신부(70)을 통해 자동차 내부 컴퓨터(ECU)(200)로 데이터를 송신하거나, 외부통신부(80)을 통해 인터넷(300)으로 동작 인식에 따른 기능을 수행하도록 데이터를 송신하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 방법.
  23. 제22항에 있어서,
    상기 제어부(50)가 제어 및 서비스하는 단계(S110)는,
    인터넷(300)을 통해 새로운 프로그램을 업그레이드 또는 업데이트하는 것에 따라 새로운 서비스에 대한 추가가 가능한 것을 포함하는 것을 특징으로 하는 얼굴인식과 동작인식을 이용한 자동차 제어 방법.
  24. 삭제
KR1020140112608A 2014-08-27 2014-08-27 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법 KR101586228B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140112608A KR101586228B1 (ko) 2014-08-27 2014-08-27 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
US14/836,912 US9576189B2 (en) 2014-08-27 2015-08-26 Method and apparatus for controlling vehicle using motion recognition with face recognition
CN201510536896.XA CN105389490A (zh) 2014-08-27 2015-08-27 利用面部识别和动作识别的汽车控制装置及方法
EP15182736.7A EP2990997A3 (en) 2014-08-27 2015-08-27 Method and apparatus for controlling vehicle using motion recognition with face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140112608A KR101586228B1 (ko) 2014-08-27 2014-08-27 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101586228B1 true KR101586228B1 (ko) 2016-01-18

Family

ID=54185828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140112608A KR101586228B1 (ko) 2014-08-27 2014-08-27 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법

Country Status (4)

Country Link
US (1) US9576189B2 (ko)
EP (1) EP2990997A3 (ko)
KR (1) KR101586228B1 (ko)
CN (1) CN105389490A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124483A1 (zh) * 2016-01-23 2017-07-27 刘建兵 识别人脸图像开启车门技术的信息推送方法以及识别系统
WO2017124482A1 (zh) * 2016-01-23 2017-07-27 刘建兵 人脸识别技术开启车门时的技术信息采集方法和识别系统
KR20180070818A (ko) 2016-12-19 2018-06-27 씨제이포디플렉스 주식회사 안면인식 기술 이용한 노즐 제어 의자 및 노즐 제어방법.
KR20200044211A (ko) * 2018-10-11 2020-04-29 현대자동차주식회사 차량의 제어 장치 및 방법
KR102301426B1 (ko) * 2020-09-07 2021-09-14 방병주 오브젝트의 액션 패턴 분석을 통한 중장비 콘트롤 시스템
KR102301427B1 (ko) * 2020-10-22 2021-09-14 방병주 오브젝트의 액션 패턴 예측을 통한 중장비 콘트롤 시스템

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445603B1 (en) * 2015-12-11 2019-10-15 Lytx, Inc. System for capturing a driver image
JP6833354B2 (ja) * 2016-06-10 2021-02-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3481661A4 (en) * 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
CN106355679A (zh) * 2016-09-26 2017-01-25 东莞市锐准电子科技股份有限公司 一种行车记录仪
KR101996414B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법
US10232814B2 (en) * 2017-01-18 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Inflatable vehicle occupant positioning system
JP6525345B2 (ja) * 2017-03-15 2019-06-05 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
CN107391983B (zh) * 2017-03-31 2020-10-16 创新先进技术有限公司 一种基于物联网的信息处理方法及装置
AU2018296964A1 (en) * 2017-07-03 2020-02-20 Gp Network Asia Pte. Ltd. Processing payments
JP6805996B2 (ja) 2017-07-28 2020-12-23 トヨタ自動車株式会社 情報処理装置、情報処理方法及び情報処理システム
CN109421702A (zh) * 2017-08-25 2019-03-05 上海汽车集团股份有限公司 一种汽车控制方法及装置
US11072311B2 (en) * 2017-09-05 2021-07-27 Future Mobility Corporation Limited Methods and systems for user recognition and expression for an automobile
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
CN108162975A (zh) * 2017-12-11 2018-06-15 厦门蓝斯通信股份有限公司 一种驾驶员身份识别与监管方法及系统
CN108791308B (zh) * 2018-06-25 2020-05-19 大连大学 基于驾驶环境构建驾驶策略的系统
US10745018B2 (en) 2018-09-19 2020-08-18 Byton Limited Hybrid user recognition systems for vehicle access and control
CN110271557B (zh) * 2019-06-12 2021-05-14 浙江亚太机电股份有限公司 一种车辆用户特征识别系统
WO2021181527A1 (ja) * 2020-03-10 2021-09-16 日本電気株式会社 撮影制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7419122B2 (ja) * 2020-03-18 2024-01-22 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
CN111625086A (zh) * 2020-04-24 2020-09-04 爱驰汽车有限公司 基于用户动作的车辆交互方法、系统、设备及存储介质
JP7399790B2 (ja) * 2020-05-27 2023-12-18 本田技研工業株式会社 エントリー支援システム、エントリー支援方法、及びエントリー支援プログラム
JP7332535B2 (ja) * 2020-05-27 2023-08-23 本田技研工業株式会社 車両制御システム、サーバ、及び車両制御方法
JP7410796B2 (ja) * 2020-05-27 2024-01-10 本田技研工業株式会社 車両制御システム、及び車両制御方法
CN112061137B (zh) * 2020-08-19 2022-01-14 一汽奔腾轿车有限公司 一种车外的人车互动控制方法
EP4064213A1 (en) * 2021-03-25 2022-09-28 Grazper Technologies ApS Utility vehicle and corresponding apparatus, method and computer program for a utility vehicle
CN114495337A (zh) * 2022-02-28 2022-05-13 重庆长安汽车股份有限公司 一种基于舱内外摄像头的智能汽车尾门开启系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080042357A (ko) * 2006-11-09 2008-05-15 현대자동차주식회사 얼굴 인식에 기반한 운전자 인증 장치 및 방법
KR100887688B1 (ko) * 2007-11-29 2009-03-11 현대자동차주식회사 핸드 셰이프에 의한 도어개폐 제어장치
KR20120063785A (ko) * 2010-12-08 2012-06-18 현대자동차주식회사 얼굴인증 시스템 및 그 방법
KR20130106640A (ko) * 2012-03-20 2013-09-30 (주) 세인 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498970B2 (en) 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
CN1579848A (zh) * 2003-08-15 2005-02-16 程滋颐 具有图像摄取和无线通讯功能的汽车防盗报警器
WO2005050583A1 (fr) 2003-08-15 2005-06-02 Ziyi Cheng Systeme d'alarme pour protection d'automobiles avec identification de visage et fonction de communication sans fil
KR101568789B1 (ko) 2009-10-14 2015-11-12 현대모비스 주식회사 차량용 개인화 서비스 장치 및 방법
JP2012010222A (ja) * 2010-06-28 2012-01-12 Kyocera Corp 携帯無線通信端末装置
DE102010054625A1 (de) 2010-12-16 2012-06-21 Daimler Ag Verfahren und Vorrichtung zum Öffnen und Schließen einer Tür und/oder einer Heckklappe eines Fahrzeugs
US9177130B2 (en) * 2012-03-15 2015-11-03 Google Inc. Facial feature detection
KR101983784B1 (ko) * 2012-04-13 2019-09-03 현대엠엔소프트 주식회사 내비게이션에 지도 데이터를 업데이트 하기 위한 지도 데이터의 업데이트 방법
CN102799868B (zh) * 2012-07-10 2014-09-10 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
JP2014164697A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置および画像処理方法、プログラム、並びに記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080042357A (ko) * 2006-11-09 2008-05-15 현대자동차주식회사 얼굴 인식에 기반한 운전자 인증 장치 및 방법
KR100887688B1 (ko) * 2007-11-29 2009-03-11 현대자동차주식회사 핸드 셰이프에 의한 도어개폐 제어장치
KR20120063785A (ko) * 2010-12-08 2012-06-18 현대자동차주식회사 얼굴인증 시스템 및 그 방법
KR20130106640A (ko) * 2012-03-20 2013-09-30 (주) 세인 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124483A1 (zh) * 2016-01-23 2017-07-27 刘建兵 识别人脸图像开启车门技术的信息推送方法以及识别系统
WO2017124482A1 (zh) * 2016-01-23 2017-07-27 刘建兵 人脸识别技术开启车门时的技术信息采集方法和识别系统
KR20180070818A (ko) 2016-12-19 2018-06-27 씨제이포디플렉스 주식회사 안면인식 기술 이용한 노즐 제어 의자 및 노즐 제어방법.
KR20200044211A (ko) * 2018-10-11 2020-04-29 현대자동차주식회사 차량의 제어 장치 및 방법
KR102634349B1 (ko) * 2018-10-11 2024-02-07 현대자동차주식회사 차량의 제어 장치 및 방법
KR102301426B1 (ko) * 2020-09-07 2021-09-14 방병주 오브젝트의 액션 패턴 분석을 통한 중장비 콘트롤 시스템
KR102301427B1 (ko) * 2020-10-22 2021-09-14 방병주 오브젝트의 액션 패턴 예측을 통한 중장비 콘트롤 시스템

Also Published As

Publication number Publication date
US9576189B2 (en) 2017-02-21
EP2990997A2 (en) 2016-03-02
US20160063315A1 (en) 2016-03-03
EP2990997A3 (en) 2016-03-30
CN105389490A (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
KR101586228B1 (ko) 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
CN110335389B (zh) 车门解锁方法及装置、系统、车、电子设备和存储介质
JP7428993B2 (ja) 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体
CN108473109B (zh) 无缝车辆访问系统
CN108280524B (zh) 识别车辆和生成预约信息的系统和方法
US10434982B2 (en) System and method for on-demand passive entry disable
KR102540920B1 (ko) 차량 단말 및 그의 얼굴 인증 방법
JP2022122981A (ja) 車載ブルートゥースの接続方法、装置、電子機器及び記憶媒体
CN106331138A (zh) 控制方法、移动终端、服务器及控制系统
US20200074060A1 (en) User authentication device and method for triggering user-specific target operation
CN107878370A (zh) 一种车辆的控制方法及装置
KR102093858B1 (ko) 바이오메트릭스 기반 차량 제어 장치 및 이를 이용한 차량 제어 방법
CN112819997A (zh) 创建车辆钥匙的方法、装置和计算机可读存储介质
CN113147674A (zh) 车辆的生物识别用户认证密钥和使用方法
SE1650416A1 (en) Secure storage of fingerprint related elements
CN113815562A (zh) 基于全景摄像头的车辆解锁方法、设备及存储介质
CN110217194B (zh) 共享汽车控制方法、装置及电子设备
US10471965B2 (en) Securing guest access to vehicle
US20200151433A1 (en) Face recognition apparatus and face recognition method
KR20140111138A (ko) 테일 게이트 작동 시스템 및 그 방법
CN113911054A (zh) 车辆个性化配置方法及装置、电子设备和存储介质
KR101636296B1 (ko) 트렁크 자동 오픈 시스템 및 그 동작 제어방법
CN110895688A (zh) 辨识用户身分的系统及辨识用户身分的方法
CN110895601A (zh) 辨识用户的装置及辨识用户的系统
CN110717155A (zh) 车载身份识别方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181017

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200113

Year of fee payment: 5