KR20200044211A - 차량의 제어 장치 및 방법 - Google Patents

차량의 제어 장치 및 방법 Download PDF

Info

Publication number
KR20200044211A
KR20200044211A KR1020180121244A KR20180121244A KR20200044211A KR 20200044211 A KR20200044211 A KR 20200044211A KR 1020180121244 A KR1020180121244 A KR 1020180121244A KR 20180121244 A KR20180121244 A KR 20180121244A KR 20200044211 A KR20200044211 A KR 20200044211A
Authority
KR
South Korea
Prior art keywords
vehicle
feature vector
driver
object around
face
Prior art date
Application number
KR1020180121244A
Other languages
English (en)
Other versions
KR102634349B1 (ko
Inventor
이혜진
김현상
신희원
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180121244A priority Critical patent/KR102634349B1/ko
Priority to US16/184,468 priority patent/US11010594B2/en
Priority to CN201811415308.7A priority patent/CN111038447B/zh
Publication of KR20200044211A publication Critical patent/KR20200044211A/ko
Application granted granted Critical
Publication of KR102634349B1 publication Critical patent/KR102634349B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B60R25/241—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user whereby access privileges are related to the identifiers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B60K2370/11—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명의 차량의 제어 장치는 차량 주변 객체의 움직임 및 접근을 감지하는 센서, 상기 차량 주변 객체의 움직임 영상 및 얼굴 영상을 획득하는 카메라 및 상기 차량의 주변 객체의 움직임 영상 및 상기 획득된 얼굴 영상을 기반으로 그래픽 유저 인터페이스(GUI)를 생성하는 제어부를 포함하여, 사용자에게 심미적 가치를 전달하고, 차량 상품성을 향상시킬 수 있다.

Description

차량의 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING DISPLAY OF VEHICLE}
본 발명은 차량의 제어 장치 및 방법에 관한 것이다.
차량의 운전 성능 개선 뿐만 아니라 사용자의 편의를 중요시하여 차량과 사용자 간의 커뮤니케이션을 부각시키는 기술이 개발되고 있는 추세이다. 예를들면, 웰컴 시스템을 차량의 외장램프류에 접목시키는 기술이 있다.
웰컴 시스템은 사용자가 차량 가까이 접근하면 차량이 사용자를 반기는 듯한 반응을 보이는 시스템으로, 이와 연계되는 작동 시스템으로는 램프(퍼들 램프, 포지셔닝 램프, 테일 램프, 포켓 램프 등)의 점등, 아웃사이드 미러의 이동, 웰컴 사운드 작동 등이 있다.
이와 같은 웰컴 시스템은 사용자에게 차량 인식의 편의성을 제공할 뿐만 아니라 사용자의 감성적인 욕구를 충족시킬 수 있는 신개념의 시스템이다.
그러나, 웰컴 시스템은 획일적인 디스플레이와 작동 모드로 인하여 사용자의 상태를 반영하지 못하는 문제가 있다.
한편, 사용자의 편의를 위해 스마트키 시스템을 도입하여 스마트 키를 몸에 지니는 것만으로도 차량의 도어 잠금장치를 제어할 수 있고 시동을 걸 수 있도록 할 수 있다. 또한, 차량 내 각 구성부를 사용자가 직접 조작하여 제어하는 것이 아닌, 센서에 의해 자동으로 인식하여 제어할 수 있도록 기능을 구현하고 있다.
최근에는 사용자 얼굴을 인식하여 차량의 도어 잠금장치를 제어하는 기술이 개발되고 있다. 따라서, 사용자는 본인의 얼굴을 인식시키기 위해 차량에 접근하는데, 정확하게 인식되지 않는 경우 원인이 피드백되지 않고 재인식을 요청하는 경우가 많아 사용자에게 오히려 불편함을 유발하는 문제가 있다.
본 발명의 일 목적은 얼굴 미감지시 미감지를 피드백하는 그래픽 유저 인터페이스를 출력하거나, 사용자 감정 상태에 따른 그래픽 유저 인터페이스를 출력하는데 있다.
본 발명의 차량의 제어 장치는 차량 주변 객체의 접근을 감지하는 센서와, 상기 차량 주변 객체의 움직임 영상 및 얼굴 영상을 획득하는 카메라 및 상기 차량의 주변 객체의 움직임 영상 및 상기 획득된 얼굴 영상을 기반으로 그래픽 유저 인터페이스(GUI)를 생성하는 제어부를 포함한다.
그리고, 상기 제어부는 상기 차량 주변 객체의 움직임 영상을 기반으로 제1 특징 벡터를 추출한다.
그리고, 상기 제1 특징 벡터는 상기 차량 주변 객체의 특정 제스처 및 상기 차량 주변 객체의 신체 형태 중 적어도 어느 하나를 포함한다.
그리고, 상기 제어부는 상기 얼굴 영상으로부터 제2 특징 벡터를 추출하고, 상기 제2 특징 벡터를 기반으로 운전자인지 여부를 판단한다.
그리고, 상기 제2 특징 벡터는 상기 표정 및 상기 안색 중 적어도 어느 하나를 포함한다.
그리고, 상기 제어부는 상기 제2 특징 벡터 및 상기 제2 특징 벡터와 매칭되는 상기 제1 특징 벡터를 기반으로 멀티 모달 데이터를 생성한다.
그리고, 상기 제어부는 상기 멀티 모달 데이터를 기반으로 상기 운전자의 감정 상태를 판단한다.
그리고, 상기 제어부는 상기 감정 상태에 따라 상이한 상기 그래픽 유저 인터페이스(GUI)를 생성한다.
그리고, 상기 제어부는 상기 차량 주변 객체가 운전자인 것으로 판단하면 차량 도어의 개폐를 제어하도록 한다.
그리고, 상기 제어부는 상기 움직임 영상을 기반으로 상기 차량 주변 객체의 얼굴 감지 여부를 판단하고, 얼굴이 미감지되면 미감지 원인을 피드백하는 그래픽 유저 인터페이스(GUI)를 생성한다.
그리고, 상기 그래픽 유저 인터페이스(GUI)가 출력되는 윈도우 디스플레이를 더 포함한다.
본 발명의 차량 제어 방법은 차량 주변 객체의 움직임 영상 및 얼굴 영상을 획득하는 단계와, 상기 차량 주변 객체의 움직임 영상 및 상기 획득된 얼굴 영상을 기반으로 운전자의 감정 상태를 판단하는 단계 및 상기 운전자 감정 상태를 기반으로 생성된 그래픽 유저 인터페이스를 출력하는 단계를 포함한다.
그리고, 상기 차량 주변 객체의 얼굴 영상을 획득하는 단계 이전, 상기 움직임 영상을 기반으로 상기 차량 주변 객체의 얼굴을 감지하였지 판단하는 단계 및 상기 차량 주변 객체의 얼굴이 미감지되면 미감지 원인을 피드백하는 그래픽 유저 인터페이스를 출력하는 단계를 더 포함한다.
그리고, 상기 차량 주변 객체의 움직임 영상을 획득하는 단계 이후, 상기 차량 주변 객체의 움직임 영상으로부터 제1 특징 벡터를 추출하는 단계를 더 포함한다.
그리고, 상기 제1 특징 벡터는 상기 차량 주변 객체의 특정 제스처 및 상기 차량 주변 객체의 신체 형태 중 적어도 어느 하나를 포함한다.
그리고, 상기 차량 주변 객체의 얼굴 영상을 획득하는 단계 이후, 상기 차량 주변 객체의 얼굴 영상으로부터 제2 특징 벡터를 추출하고, 상기 제2 특징 벡터를 기반으로 운전자인지 여부를 판단하는 단계를 더 포함한다.
그리고, 상기 제2 특징 벡터는 표정 및 안색 중 적어도 어느 하나를 포함한다.
그리고, 상기 차량 주변 객체의 움직임 영상 및 상기 획득된 얼굴 영상을 기반으로 운전자의 감정 상태를 판단하는 단계는 상기 제2 특징 벡터 및 이와 매칭되는 상기 제1 특징 벡터를 기반으로 멀티 모달 데이터를 생성하는 단계 및 상기 멀티 모달 데이터를 기반으로 상기 운전자의 감정 상태를 판단하는 단계를 포함한다.
그리고, 상기 차량 주변 객체가 운전자인 것으로 판단하면, 차량 도어의 개폐를 제어하는 단계를 더 포함한다.
그리고, 상기 운전자 감정 상태를 기반으로 생성된 그래픽 유저 인터페이스를 출력하는 단계는 상기 운전자 감정 상태에 따라 상이한 상기 그래픽 유저 인터페이스를 출력한다.
본 발명의 일 실시예에 따른 차량 제어 장치 및 방법은 얼굴 미감지시 미감지를 피드백하는 그래픽 유저 인터페이스를 출력하거나, 감정 상태에 따른 상이하게 생성되는 그래픽 유저 인터페이스를 출력하여, 사용자에게 심미적 가치를 전달하고, 차량 상품성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 제어 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 제어 방법을 나타낸 순서도이다.
도 3은 본 발명의 다른 실시예에 따른 차량의 제어 방법을 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 제어 장치에 포함되는 카메라를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 카메라의 촬영 각도를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 방식을 나타낸 도면이다.
도 7 내지 도 13은 본 발명의 실시예들에 따라 디스플레이 되는 그래픽 유저 인터페이스를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량의 제어 장치를 나타낸 블록도이다.
도 1에 도시되 바와 같이, 본 발명의 일 실시예에 따른 차량의 제어 장치는 센서(10), 카메라(20), 윈도우 디스플레이(30) 및 제어부(40)를 포함할 수 있다.
센서(10)는 차량 주변 객체의 움직임, 접근을 감지할 수 있다. 이를 위하여 센서(10)는 근접센서로 구현될 수 있으며, 차량 측부에 구비될 수 있다. 여기서, 차량 주변 객체의 움직임은 차량 주변에서 움직이는 모든 객체의 움직임을 의미할 수 있고, 객체는 사용자를 포함할 수 있다.
근접 센서는 임의의 객체가 설정되어 있는 제어 구역 내에 접근하는지를 기계적 접촉없이 감지하는 기능을 할 수 있으며, IR센서, 정전용량 센서, RF 센서 등을 포함할 수 있다.
센서(10)는 일 실시예에 따라 차량으로부터 소정거리 내에서의 차량 주변 객체의 움직임, 접근을 감지할 수 있다. 여기서, 소정거리는 30cm로 정의될 수 있다.
카메라(20)는 차량 주변 객체의 움직임 영상 및 얼굴 영상을 획득할 수 있다. 이를 위하여 카메라(20)는 일 실시예에 따라 차량의 필러 즉, 센터필러(B필러)에 구비될 수 있다.
카메라(20)가 측면필러에 구비되는 경우 카메라(20)의 상하 화각은 42° 내지 70°이고, 좌우 화각은 45° 내지 55°이다.
윈도우 디스플레이(30)는 프로젝터 방식으로 글라스에 영상이 투사되는 도어 글라스를 포함할 수 있다.
윈도우 디스플레이(30)는 일 실시예에 따르면 차량의 앞좌석 양측의 도어 글라스에서 영상이 투사되는 방식으로 구현될 수 있다.
제어부(40)는 본 발명의 차량의 제어 장치의 전반적인 동작을 제어할 수 있다. 제어부(40)는 차량 주변 객체의 움직임이 감지된 것으로 판단하면, 카메라(20)로부터 획득된 차량 주변 객체의 움직임 영상으로부터 제1 특징 벡터를 추출할 수 있다.
여기서 제1 특징 벡터는 차량 주변 객체의 움직임 특징을 검출하기 위한 것으로, 실시예에 따르면 차량 주변 객체의 특정 제스처나 신체 형태 등을 포함할 수 있다. 이때, 신체 형태에는 얼굴이 포함될 수 있다. 여기서 검출되는 얼굴 은 운전자인지 여부를 판단할 수 있을 정도의 정확도를 갖고 있지 않기 때문에 제1 특징 벡터로 추출된 얼굴만을 가지고 운전자를 판단하기는 용이하지 않다.
따라서, 제어부(40)는 차량 주변 객체의 움직임 영상으로부터 차량 주변 객체의 특정 제스처나 신체 형태를 추출하고, 이로부터 차량 주변 객체 움직임의 특징을 검출할 수 있다.
제어부(40)는 차량 주변 객체가 차량에 접근한 것으로 확인하면, 차량 주변 객체의 얼굴도 감지되었는지 판단할 수 있다. 차량 주변 객체의 얼굴이 감지된 것으로 판단하면, 카메라(20)로부터 획득된 차량 주변 객체의 얼굴 영상으로부터 제2 특징 벡터를 추출할 수 있다.
여기서, 제2 특징 벡터는 표정을 검출하기 위한 것으로, 실시예에 따르면 얼굴 구성 요소(눈, 코, 입) 및 안색 등을 포함할 수 있다.
따라서, 제어부(40)는 차량 주변 객체의 얼굴 영상으로부터 얼굴 구성 요소나 안색을 추출하고 이로부터 표정 특징을 검출할 수 있다.
제어부(40)는 추출된 제2 특징 벡터를 기반으로 차량 주변 객체가 누구인지 확인할 수 있다. 차량 주변 객체가 차량 내 기 등록된 운전자인 것으로 판단되면, 차량 도어가 개폐되도록 제어할 수 있다. 한편, 차량 주변 객체가 차량 내 등록된 운전자가 아닌 것으로 판단되면, 차량 도어가 개폐되지 않도록 제어할 수 있다.
제어부(40)는 추출된 제2 특징 벡터를 기반으로 차량 주변 객체와 차량 내 기 등록된 운전자 정보를 비교하여 차량 주변 객체가 운전자인 것으로 판단하면, 제1 특징 벡터와 제2 특징 벡터를 매칭하여 멀티 모달 데이터를 생성할 수 있다.
보다 구체적으로, 제어부(40)는 추출된 운전자의 제2 특징 벡터 즉, 운전자의 얼굴 구성 요소나 운전자의 안색 정보와 차량 주변 객체의 신체 형태를 매칭하여 일치하는 제1 특징 벡터를 기반으로 멀티 모달 데이터를 생성할 수 있다. 즉, 제1 특징 벡터는 운전자 뿐만 아니라 차량 주변 모든 객체의 움직임으로부터 추출되기 때문에 추출된 모든 제1 특징 벡터가 멀티 모달 데이터를 생성하는데 사용되는 것이 아니라, 제2 특징 벡터로부터 추출된 운전자의 얼굴 구성 요소 또는 안색과 일치하는 제1 특징 벡터의 특징만이 선택되고 멀티 모달 데이터를 생성하는데 사용될 수 있다.
제어부(40)는 멀티 모달 데이터가 생성되면 이를 기반으로 운전자의 감정 상태를 판단할 수 있다. 일 예로, 제어부(40)는 운전자의 현재 감정 상태를 즐거운 상태, 지루한 상태, 슬픈 상태 등으로 판단할 수 있다.
제어부(40)는 운전자의 감정 상태를 판단하면, 이를 기반으로 감정 상태에 따른 그래픽 유저 인터페이스를 생성하고, 윈도우 디스플레이에 출력하도록 제어할 수 있다. 이와 관련된 구체적인 설명은 도 7 내지 도 9를 참조한다.
한편, 제어부(40)는 차량 주변 객체가 차량에 접근하였지만, 얼굴이 감지되지 않은 것으로 판단하면, 이를 윈도우 디스플레이를 통해 얼굴이 미감지된 것을 피드백할 수 있다.
일 예로, 제어부(40)는 차량 주변 객체가 카메라의 촬영가능범위 내에 위치하지 않은 것으로 판단하면, 촬영가능범위 내에 위치하도록 유도하는 그래픽 유저 인터페이스를 생성할 수 있다. 차량 주변 객체와 차량 사이의 거리에 따라 그래픽의 크기를 변경할 수 있다. 예를들면, 차량 주변 객체가 차량으로부터 멀리 위치할수록 출력되는 그래픽의 크기를 크게 조절하고, 가까이 위치할수록 출력되는 그래픽의 크기를 작게 조절할 수 있다.
또한, 제어부(40)는 차량 주변 객체가 카메라의 촬영가능범위 내에 위치하고 있지만 카메라의 이물로 인해 감지가 어려운 경우, 카메라에 이물이 있음을 피드백하여 얼굴을 용이하게 감지할 수 있도록 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량의 제어 방법을 나타낸 순서도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량의 제어 방법에서, 제어부(40)는 차량 주변 객체의 움직임 영상을 획득하고, 차량 주변 객체의 접근을 확인한다(S21). 제어부(40)는 센서(10)를 통해 차량 주변 객체의 접근을 확인하면 움직임 영상을 기반으로 얼굴이 감지되었는지 판단한다(S22).
S22에서 얼굴이 감지되지 않은 것으로 판단하면 제어부(40)는 얼굴이 미감지된 것을 피드백하는 그래픽 유저 인터페이스를 생성하고, 윈도우 디스플레이(30)를 통해 이를 출력한다(S23).
S23에서 제어부(40)는 차량 주변 객체가 카메라의 촬영가능범위 내에 위치하지 않은 것으로 판단하면, 촬영가능범위 내에 위치하도록 유도하는 그래픽 유저 인터페이스를 생성할 수 있다. 예를들면, 차량으로부터 차량 주변 객체의 사이 거리 별로 그래픽의 크기를 변경할 수 있다. 차량 주변 객체가 차량으로부터 멀리 위치할수록 출력되는 그래픽의 크기를 크게 조절하고, 가까이 위치할수록 출력되는 그래픽의 크기를 작게 조절할 수 있다.
S23에서 제어부(40)는 차량 주변 객체가 카메라의 촬영가능범위 내에 위치하고 있지만 카메라의 이물로 인해 감지가 어려운 경우, 카메라에 이물이 있음을 피드백하여 얼굴을 용이하게 감지할 수 있도록 할 수 있다.
S24에서 제어부(40)는 카메라(20)로부터 차량 주변 객체의 얼굴 영상을 획득한다(S24).
제어부(40)는 S24에서 획득된 차량 주변 객체의 얼굴 영상을 기반으로 제2 특징 벡터를 추출한다(S25). 여기서, 제2 특징 벡터는 표정을 검출하기 위한 것으로, 실시예에 따르면 얼굴 구성 요소(눈, 코, 입) 및 안색 등을 포함할 수 있다.
제어부(40)는 S25에서 추출된 제2 특징 벡터를 기반으로 차량 주변 객체가 차량 내 등록된 운전자인지 여부를 판단한다(S26). S26에서 차량 주변 객체가 운전자인 것으로 판단하면(Y), 차량 도어를 열거나 닫도록 제어한다(S27). 한편, S26에서 차량 주변 객체가 차량 내 등록된 운전자가 아닌 것으로 판단되면 종료한다.
도 3은 본 발명의 다른 실시예에 따른 차량의 제어 방법을 나타낸 순서도이다.
도 3에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 차량의 제어 방법에서, 제어부(40)는 센서(10)에서 감지된 차량 주변 객체 움직임을 확인한다(S31). S31에서 차량 주변 객체의 움직임은 차량 주변에서 움직이는 모든 객체의 움직임을 의미할 수 있고, 객체는 사용자를 포함할 수 있다.
제어부(40)는 차량 주변 객체 움직임이 있는 것으로 확인하면, 카메라(20)로부터 차량 주변 객체의 움직임 영상을 획득한다(S32).
제어부(40)는 차량 주변 객체 움직임 영상을 기반으로 제1 특징 벡터를 추출한다(S33). 여기서, 제1 특징 벡터는 차량 주변 객체의 움직임 특징을 검출하기 위한 것으로, 실시예에 따르면 차량 주변 객체의 특정 제스처나 신체 형태 등을 포함할 수 있다. 이때, 신체 형태에는 얼굴이 포함될 수 있다. 여기서 검출되는 얼굴은 운전자인지 여부를 판단할 수 있을 정도의 정확도를 갖고 있지 않기 때문에 제1 특징 벡터로 추출된 신체 형태만을 가지고 운전자를 판단하기는 용이하지 않다.
제어부(40)는 센서(10)로부터 감지된 차량 주변 객체의 차량 접근을 확인한다(S34). 제어부(40)는 차량 주변 객체가 차량으로 접근한 것을 확인하면, 움직임 영상을 기반으로 얼굴이 감지되었는지 여부를 판단한다(S35).
S35에서 얼굴이 감지되지 않은 것으로 판단하면(N), 제어부(40)는 얼굴이 미감지된 것을 피드백하는 그래픽 유저 인터페이스를 생성하고, 윈도우 디스플레이를 통해 이를 출력한다(S36).
S36에서 제어부(40)는 차량 주변 객체가 카메라의 촬영가능범위 내에 위치하지 않은 것으로 판단하면, 촬영가능범위 내에 위치하도록 유도하는 그래픽 유저 인터페이스를 생성할 수 있다. 예를들면, 차량 주변 객체의 거리 별로 그래픽의 크기를 변경할 수 있다. 차량 주변 객체가 차량으로부터 멀리 위치할수록 출력되는 그래픽의 크기를 크게 조절하고, 가까이 위치할수록 출력되는 그래픽의 크기를 작게 조절할 수 있다.
S36에서 제어부(40)는 차량 주변 객체가 카메라의 촬영가능범위 내에 위치하고 있지만 카메라의 이물로 인해 감지가 어려운 경우, 카메라에 이물이 있음을 피드백하여 얼굴을 용이하게 감지할 수 있도록 할 수 있다.
한편, S35에서 얼굴이 감지된 것으로 판단하면(Y), 제어부(40)는 카메라(20)로부터 차량 주변 객체의 얼굴 영상을 획득한다(S37).
제어부(40)는 획득된 얼굴 영상을 기반으로 제2 특징 벡터를 추출한다(S38). 여기서, 제2 특징 벡터는 표정을 검출하기 위한 것으로, 실시예에 따르면 얼굴 구성 요소(눈, 코, 입) 및 안색 등을 포함할 수 있다.
제어부(40)는 S38에서 추출된 제2 특징 벡터를 기반으로 차량 주변 객체가 차량 내 등록된 운전자인 것을 확인한다(S39).
제어부(40)는 차량 주변 객체가 운전자인 것을 확인하면, 제1 특징 벡터와 제2 특징벡터를 매칭하여 멀티 모달 데이터를 생성한다(S40).
S40에서 제어부(40)는 추출된 운전자의 제2 특징 벡터 즉, 운전자의 얼굴 구성 요소나 운전자의 안색 정보와 주변 객체의 신체 형태를 매칭하여 일치하는 제1 특징 벡터를 기반으로 멀티 모달 데이터를 생성할 수 있다. 즉, 제1 특징 벡터는 운전자 뿐만 아니라 차량 주변 모든 객체의 움직임으로부터 추출되기 때문에 추출된 모든 제1 특징 벡터가 멀티 모달 데이터를 생성하는데 사용되는 것이 아니라, 제2 특징 벡터로부터 추출된 운전자의 얼굴 구성 요소 또는 안색과 일치하는 제1 특징 벡터의 특징만이 선택되고 멀티 모달 데이터를 생성하는데 사용될 수 있다.
제어부(40)는 멀티 모달 데이터가 생성되면 이를 기반으로 운전자의 감정 상태를 판단한다(S41). S41에서 제어부(40)는 운전자의 현재 감정 상태를 멀티 모달 데이터를 기반으로 즐거운 상태, 지루한 상태, 슬픈 상태 등으로 판단할 수 있다.
제어부(40)는 운전자의 감정 상태를 판단하면, 감정 상태에 따른 그래픽 유저 인터페이스를 생성하고 이를 윈도우 디스플레이에 출력한다(S42).
도 4는 본 발명의 일 실시예에 따른 차량의 제어 장치에 포함되는 카메라를 나타낸 도면이다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 카메라(20)는 차량 측면의 센터필라(B필라,41) 내에 삽입된 형태로 구현될 수 있으며, 따라서 차량 주변 객체의 움직임 영상, 차량에 가깝게 접근한 차량 주변 객체의 얼굴 영상을 용이하게 획득할 수 있다.
도 5는 본 발명의 일 실시예에 따른 카메라의 촬영 각도를 나타낸 도면이다.
도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 카메라의 화각은 최소 42°에서 최대 70°이며, 이에 따라 차량으로부터 30cm 떨어진 차량 주변 객체의 얼굴 및 움직임 영상을 용이하게 촬영할 수 있다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 방식을 나타낸 도면이다.
도 6에 도시된 바와 같이, 본 발명의 윈도우 디스플레이(30)는 프로젝터로부터 영상이 투사되는 윈도우 디스플레이(61)를 포함할 수 있다. 여기서, 프로젝터(62)는 차량 양측의 윈도우 디스플레이(61)를 향해 영상을 투사하기 위해 일 실시예에 따르면 차량 내부의 선바이저(63)에 구비될 수 있다.
도 7 내지 도 13은 본 발명의 실시예들에 따라 출력되는 그래픽 유저 인터페이스를 나타낸 도면이다.
먼저, 도 7 내지 도 9는 제어부(40)가 판단한 운전자 감정 상태에 따라 상이하게 생성된 그래픽 유저 인터페이스를 나타낸 도면이다.
도 7에 도시된 바와 같이, 본 발명의 실시예에 따르면 제어부(40)는 운전자의 감정 상태가 즐거운 상태인 것으로 판단하면, 윈도우 디스플레이(71)에 즐거운 표정을 갖는 이모티콘(72)을 출력할 수 있다.
도 8에 도시된 바와 같이, 본 발명의 실시예에 따르면 제어부(40)는 운전자의 감정 상태가 슬픈 상태인 것으로 판단하면, 윈도우 디스플레이(81)에 슬픈 표정을 갖는 이모티콘(82)을 출력할 수 있다.
도 9에 도시된 바와 같이, 본 발명의 실시예에 따르면 제어부(40)는 운전자의 감정 상태가 지루한 상태인 것으로 판단하면, 윈도우 디스플레이(91)에 지루한 표정을 갖는 이모티콘(92)을 출력할 수 있다.
아울러, 도 10 내지 도 13은 제어부(40)가 차량 주변 객체의 차량 접근을 판단하였지만 얼굴이 감지되지 않은 것으로 판단하면, 이를 윈도우 디스플레이를 통해 얼굴이 미감지된 것을 피드백할 수 있다.
도 10 및 도 11에 도시된 바와 같이, 본 발명의 실시예에 따르면 제어부(40)는 차량 주변 객체의 접근은 확인하였지만, 카메라의 촬영가능범위에 위치하지 않아 얼굴이 미감지된 것으로 판단하면, 제어부(40)는 센터필러의 카메라가 구비된 위치로 얼굴의 이동을 유도하는 이미지를 윈도우 디스플레이(101,111)에 출력할 수 있다. 얼굴의 이동을 유도하는 이미지는 도 10 및 도 11에 도시된 바와 같이 화살표(102,202)를 포함할 수 있다. 그러나, 화살표에 한정되는 것은 아니고 다양한 형태로 구현 가능하다. 또한, 이미지는 거리에 따라 상이한 크기를 갖도록 출력될 수 있다. 아울러, 이미지는 얼굴의 이동을 유도하는 차량 주변 객체와 차량 사이의 거리를 나타내는 숫자를 포함할 수 있다.
예를들어, 제어부(40)는 차량 주변 객체가 차량으로부터 멀리 떨어져 있는 것으로 판단하면, 도 10에 도시된 바와 같이, 화살표의 크기(102)를 크게 설정하여 출력하도록 할 수 있고, 차량 주변 객체가 차량에 가까이 접근한 것으로 판단하면, 도 11에 도시된 바와 같이, 화살표의 크기(112)를 작게 설정하여 출력하도록 할 수 있다.
도 12 및 도 13에 도시된 바와 같이, 본 발명의 실시예에 따르면 제어부(40)는 차량 주변 객체가 카메라의 촬영범위 내에 위치하고 있지만 카메라 이물로 인해 감지가 어려운 경우, 카메라에 이물이 있음을 피드백하여 얼굴을 용이하게 감지할 수 있도록 한다. 일 예로 도 12에 도시된 바와 같이, 'error' 문자 메시지(122)를 생성하여 윈도우 디스플레이(121)에 출력하거나 도 13에 도시된 바와 같이, 'wipe the lens' 문자 메시지(132)를 생성하여 윈도우 디스플레이(131)에 출력하도록 제어할 수 있다. 그러나, 피드백하기 위해 출력되는 것이 문자 메세지에 한정되는 것은 아니고, 피드백 내용이 반영된 이미지로 출력될 수 있다. 예를들면 B필라 주변부의 윈도우 디스플레이(131)에 이미지를 출력하여 이물로 인해 감지되지 않음을 피드백 할 수 있고, 붉은색 원형 이미지를 출력하여 카메라에 이물이 있음을 피드백 할 수 있다.
도 14는 본 발명의 일 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면이다.
도 14를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
센서 10
카메라 20
윈도우 디스플레이 30
제어부 40

Claims (20)

  1. 차량 주변 객체의 접근을 감지하는 센서;
    상기 차량 주변 객체의 움직임 영상 및 얼굴 영상을 획득하는 카메라; 및
    상기 차량의 주변 객체의 움직임 영상 및 상기 획득된 얼굴 영상을 기반으로 그래픽 유저 인터페이스(GUI)를 생성하는 제어부를 포함하는 차량의 제어 장치.
  2. 청구항 1에 있어서,
    상기 제어부는
    상기 차량 주변 객체의 움직임 영상을 기반으로 제1 특징 벡터를 추출하는 차량의 제어 장치.
  3. 청구항 2에 있어서,
    상기 제1 특징 벡터는
    상기 차량 주변 객체의 특정 제스처 및 상기 차량 주변 객체의 신체 형태 중 적어도 어느 하나를 포함하는 제어 장치.
  4. 청구항 2에 있어서,
    상기 제어부는
    상기 얼굴 영상으로부터 제2 특징 벡터를 추출하고, 상기 제2 특징 벡터를 기반으로 운전자인지 여부를 판단하는 차량의 제어 장치.
  5. 청구항 4에 있어서,
    상기 제2 특징 벡터는
    상기 표정 및 상기 안색 중 적어도 어느 하나를 포함하는 차량의 제어 장치.
  6. 청구항 4에 있어서,
    상기 제어부는
    상기 제2 특징 벡터 및 상기 제2 특징 벡터와 매칭되는 상기 제1 특징 벡터를 기반으로 멀티 모달 데이터를 생성하는 차량의 제어 장치.
  7. 청구항 6에 있어서,
    상기 제어부는
    상기 멀티 모달 데이터를 기반으로 상기 운전자의 감정 상태를 판단하는 차량의 제어 장치.
  8. 청구항 7에 있어서,
    상기 제어부는
    상기 감정 상태에 따라 상이한 상기 그래픽 유저 인터페이스(GUI)를 생성하는 차량의 제어 장치.
  9. 청구항 4에 있어서,
    상기 제어부는
    상기 차량 주변 객체가 운전자인 것으로 판단하면 차량 도어의 개폐를 제어하도록 하는 차량의 제어 장치.
  10. 청구항 1에 있어서,
    상기 제어부는
    상기 움직임 영상을 기반으로 상기 차량 주변 객체의 얼굴 감지 여부를 판단하고, 얼굴이 미감지되면 미감지 원인을 피드백하는 그래픽 유저 인터페이스(GUI)를 생성하는 차량의 제어 장치.
  11. 청구항 1에 있어서,
    상기 그래픽 유저 인터페이스(GUI)가 출력되는 윈도우 디스플레이를 더 포함하는 차량의 제어 장치.
  12. 차량 주변 객체의 움직임 영상 및 얼굴 영상을 획득하는 단계;
    상기 차량 주변 객체의 움직임 영상 및 상기 획득된 얼굴 영상을 기반으로 운전자의 감정 상태를 판단하는 단계; 및
    상기 운전자 감정 상태를 기반으로 생성된 그래픽 유저 인터페이스를 출력하는 단계를 포함하는 차량의 제어 방법.
  13. 청구항 12에 있어서,
    상기 차량 주변 객체의 얼굴 영상을 획득하는 단계 이전,
    상기 움직임 영상을 기반으로 상기 차량 주변 객체의 얼굴을 감지하였지 판단하는 단계; 및
    상기 차량 주변 객체의 얼굴이 미감지되면 미감지 원인을 피드백하는 그래픽 유저 인터페이스를 출력하는 단계를 더 포함하는 차량의 제어 방법.
  14. 청구항 12에 있어서,
    상기 차량 주변 객체의 움직임 영상을 획득하는 단계 이후,
    상기 차량 주변 객체의 움직임 영상으로부터 제1 특징 벡터를 추출하는 단계를 더 포함하는 차량의 제어 방법.
  15. 청구항 14에 있어서,
    상기 제1 특징 벡터는
    상기 차량 주변 객체의 특정 제스처 및 상기 차량 주변 객체의 신체 형태 중 적어도 어느 하나를 포함하는 제어 방법.
  16. 청구항 14에 있어서,
    상기 차량 주변 객체의 얼굴 영상을 획득하는 단계 이후,
    상기 차량 주변 객체의 얼굴 영상으로부터 제2 특징 벡터를 추출하고, 상기 제2 특징 벡터를 기반으로 운전자인지 여부를 판단하는 단계를 더 포함하는 차량의 제어 방법.
  17. 청구항 16에 있어서,
    상기 제2 특징 벡터는
    표정 및 안색 중 적어도 어느 하나를 포함하는 차량의 제어 방법.
  18. 청구항 16에 있어서,
    상기 차량 주변 객체의 움직임 영상 및 상기 획득된 얼굴 영상을 기반으로 운전자의 감정 상태를 판단하는 단계는
    상기 제2 특징 벡터 및 이와 매칭되는 상기 제1 특징 벡터를 기반으로 멀티 모달 데이터를 생성하는 단계; 및
    상기 멀티 모달 데이터를 기반으로 상기 운전자의 감정 상태를 판단하는 단계를 포함하는 차량의 제어 방법.
  19. 청구항 16에 있어서,
    상기 차량 주변 객체가 운전자인 것으로 판단하면, 차량 도어의 개폐를 제어하는 단계를 더 포함하는 차량의 제어 방법.
  20. 청구항 12에 있어서,
    상기 운전자 감정 상태를 기반으로 생성된 그래픽 유저 인터페이스를 출력하는 단계는
    상기 운전자 감정 상태에 따라 상이한 상기 그래픽 유저 인터페이스를 출력하는 것인 차량의 제어 방법.

KR1020180121244A 2018-10-11 2018-10-11 차량의 제어 장치 및 방법 KR102634349B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180121244A KR102634349B1 (ko) 2018-10-11 2018-10-11 차량의 제어 장치 및 방법
US16/184,468 US11010594B2 (en) 2018-10-11 2018-11-08 Apparatus and method for controlling vehicle
CN201811415308.7A CN111038447B (zh) 2018-10-11 2018-11-26 用于控制车辆的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180121244A KR102634349B1 (ko) 2018-10-11 2018-10-11 차량의 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200044211A true KR20200044211A (ko) 2020-04-29
KR102634349B1 KR102634349B1 (ko) 2024-02-07

Family

ID=70161354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180121244A KR102634349B1 (ko) 2018-10-11 2018-10-11 차량의 제어 장치 및 방법

Country Status (3)

Country Link
US (1) US11010594B2 (ko)
KR (1) KR102634349B1 (ko)
CN (1) CN111038447B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020110777A1 (de) * 2020-04-21 2021-10-21 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Außenkommunikation eines Fahrzeugs
US11981288B2 (en) * 2021-08-24 2024-05-14 Ford Global Technologies, Llc Activating vehicle components based on intent of individual near vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009201756A (ja) * 2008-02-28 2009-09-10 Omron Corp 情報処理装置および方法、並びに、プログラム
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
KR101586228B1 (ko) * 2014-08-27 2016-01-18 주식회사 켐트로닉스 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
KR20160057458A (ko) * 2013-09-17 2016-05-23 도요타 모터 세일즈, 유.에스.에이., 인코포레이티드 사용자 식별 및 차량 기능 제어를 갖는 인터랙티브 차량 윈도우 디스플레이 시스템
KR20160132655A (ko) * 2015-05-11 2016-11-21 엘지전자 주식회사 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2003303363A (ja) * 2002-04-11 2003-10-24 Ishikawajima Harima Heavy Ind Co Ltd コンテナターミナルの入出場管理方法及び装置
US7697729B2 (en) * 2004-01-29 2010-04-13 Authentec, Inc. System for and method of finger initiated actions
DE102005018487B4 (de) * 2005-04-21 2008-09-25 Daimler Ag Verfahren zum Betreiben einer Überwachungs- und Alarmvorrichtung bei parkenden Fahrzeugen sowie Überwachungs- und Alarmvorrichtung
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
KR101073216B1 (ko) 2009-04-17 2011-10-12 엘지전자 주식회사 버너 및 조리기기
KR101051365B1 (ko) * 2009-07-16 2011-07-22 주식회사 유니온커뮤니티 카메라를 구비한 출입관리장치 및 그 출입관리방법
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
KR101901417B1 (ko) * 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
JP5197816B2 (ja) * 2011-08-31 2013-05-15 株式会社東芝 電子機器、電子機器の制御方法
US8441548B1 (en) * 2012-06-15 2013-05-14 Google Inc. Facial image quality assessment
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
US9473718B2 (en) * 2012-07-03 2016-10-18 Clarion Co., Ltd. Vehicle surroundings monitoring device
US9275212B2 (en) * 2012-12-26 2016-03-01 Cellco Partnership Secure element biometric authentication system
JP6245875B2 (ja) * 2013-07-26 2017-12-13 クラリオン株式会社 レンズ汚れ検出装置およびレンズ汚れ検出方法
US20150220991A1 (en) * 2014-02-05 2015-08-06 Harman International Industries, Incorporated External messaging in the automotive environment
JP6246014B2 (ja) * 2014-02-18 2017-12-13 クラリオン株式会社 外界認識システム、車両、及びカメラの汚れ検出方法
US9734425B2 (en) * 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
KR102222111B1 (ko) 2014-08-01 2021-03-03 삼성에스디아이 주식회사 이차 전지
US11392580B2 (en) * 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
DE102015209391A1 (de) * 2015-05-22 2016-11-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
GB2545764B (en) * 2016-06-21 2022-04-06 Flashy Ltd A communication system and a method of communication
JP6585995B2 (ja) * 2015-11-06 2019-10-02 クラリオン株式会社 画像処理システム
CN106114519A (zh) * 2016-08-05 2016-11-16 威马中德汽车科技成都有限公司 一种通过操作虚拟按钮对车辆进行控制的装置及方法
CN206003194U (zh) * 2016-08-30 2017-03-08 郭宇翔 一种交通工具的身份智能识别控制系统
KR101795416B1 (ko) 2016-10-07 2017-11-09 현대자동차 주식회사 도어 글라스 웰컴 시스템
CN106293102A (zh) * 2016-10-13 2017-01-04 旗瀚科技有限公司 一种基于用户心情变化情绪的机器人情感交流方法
JP6419134B2 (ja) 2016-11-25 2018-11-07 本田技研工業株式会社 車両感情表示装置、車両感情表示方法および車両感情表示プログラム
DE102017201328A1 (de) * 2017-01-27 2018-08-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bestimmung eines Gesichtsausdrucks
US10845198B2 (en) * 2017-03-14 2020-11-24 Trimble Inc. Integrated vision-based and inertial sensor systems for use in vehicle navigation
US20180275747A1 (en) * 2017-03-25 2018-09-27 Camille Suzanne Campbell Portable emoji display and control
EP3456599A1 (en) * 2017-09-18 2019-03-20 The Hi-Tech Robotic Systemz Ltd Monitoring drivers and external environment for vehicles
US10205428B1 (en) * 2017-10-31 2019-02-12 Toyota Research Institute, Inc. Variable audible-alert device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009201756A (ja) * 2008-02-28 2009-09-10 Omron Corp 情報処理装置および方法、並びに、プログラム
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
KR20160057458A (ko) * 2013-09-17 2016-05-23 도요타 모터 세일즈, 유.에스.에이., 인코포레이티드 사용자 식별 및 차량 기능 제어를 갖는 인터랙티브 차량 윈도우 디스플레이 시스템
KR101586228B1 (ko) * 2014-08-27 2016-01-18 주식회사 켐트로닉스 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
KR20160132655A (ko) * 2015-05-11 2016-11-21 엘지전자 주식회사 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량

Also Published As

Publication number Publication date
CN111038447B (zh) 2023-05-05
CN111038447A (zh) 2020-04-21
KR102634349B1 (ko) 2024-02-07
US11010594B2 (en) 2021-05-18
US20200117885A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
US8966613B2 (en) Multi-frame depth image information identification
EP3540621B1 (en) Identity authentication method and apparatus, terminal and server
US9576189B2 (en) Method and apparatus for controlling vehicle using motion recognition with face recognition
US11151234B2 (en) Augmented reality virtual reality touchless palm print identification
CN104298909B (zh) 电子装置、身份验证系统及方法
KR101242304B1 (ko) 무선 디바이스의 기능에 대한 제어되는 액세스
KR101326221B1 (ko) 안면 특징 검출
TWI490778B (zh) 來自使用者的音頻輸入
JP5755012B2 (ja) 情報処理装置、その処理方法、プログラム及び撮像装置
US20220083796A1 (en) Iris or other body part identification on a computing device
WO2016172872A1 (zh) 用于验证活体人脸的方法、设备和计算机程序产品
US10769417B2 (en) Payment method, apparatus, and system
KR102429822B1 (ko) 운전자의 감정상태 인식 장치 및 방법
US20100185328A1 (en) Robot and control method thereof
KR20190127338A (ko) 차량 단말 및 그의 얼굴 인증 방법
US11830289B2 (en) Multi-modal far field user interfaces and vision-assisted audio processing
JP5061563B2 (ja) 検出装置、生体判定方法、およびプログラム
KR20210011146A (ko) 비음성 웨이크업 신호에 기반한 서비스 제공 장치 및 그 방법
KR102634349B1 (ko) 차량의 제어 장치 및 방법
KR102160137B1 (ko) 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법
KR20150030789A (ko) 후방카메라를 이용한 차량의 핸즈프리 리프트 게이트 개방시스템 및 방법
CN114187637A (zh) 车辆控制方法、装置、电子设备及存储介质
CN115291724A (zh) 人机交互的方法、装置、存储介质和电子设备
KR101947040B1 (ko) 테일 게이트 작동 시스템 및 그 방법
US20200151433A1 (en) Face recognition apparatus and face recognition method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right