KR102297162B1 - 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체 - Google Patents

차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체 Download PDF

Info

Publication number
KR102297162B1
KR102297162B1 KR1020207012404A KR20207012404A KR102297162B1 KR 102297162 B1 KR102297162 B1 KR 102297162B1 KR 1020207012404 A KR1020207012404 A KR 1020207012404A KR 20207012404 A KR20207012404 A KR 20207012404A KR 102297162 B1 KR102297162 B1 KR 102297162B1
Authority
KR
South Korea
Prior art keywords
vehicle
user
delete delete
predetermined
facial image
Prior art date
Application number
KR1020207012404A
Other languages
English (en)
Other versions
KR20200057768A (ko
Inventor
데 멩
케 리
첸디 유
렌보 퀸
Original Assignee
상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 filed Critical 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority to KR1020217027087A priority Critical patent/KR102374507B1/ko
Publication of KR20200057768A publication Critical patent/KR20200057768A/ko
Application granted granted Critical
Publication of KR102297162B1 publication Critical patent/KR102297162B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2018—Central base unlocks or authorises unlocking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/34—Detection related to theft or to other events relevant to anti-theft systems of conditions of vehicle components, e.g. of windows, door locks or gear selectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06K9/00255—
    • G06K9/00268—
    • G06K9/00288—
    • G06K9/00845—
    • G06K9/00906—
    • G06K9/6202—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/10—Communication protocols, communication systems of vehicle anti-theft devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Lock And Its Accessories (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체를 제공하고, 여기서, 차량 제어 방법은, 현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하는 단계(110); 상기 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계(120) - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장됨 - ; 및 상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계(130)를 포함한다. 본 발명은 특징 매칭에 기반하여 미리 기록된 인원의 권리를 보장하고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 네트워크에 대한 의존성을 극복하고, 차량의 안전 보장성을 추가로 향상시킨다.

Description

차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
본원 발명은 2018년 6월 4일에 중국 특허청에 제출된 출원번호가 CN 201810565700.3이고 발명의 명칭이 “차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체”인 중국 특허 출원의 우선권을 주장하는 바, 이의 모든 내용은 참조로서 본원 발명에 인용된다.
본 발명은 차량 지능형 인식 기술에 관한 것으로, 특히 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체에 관한 것이다.
지능형 차량은 환경 감지, 계획 결책, 멀티 레벨 보조 운전 등 기능이 일체화된 종합 시스템으로, 주로 컴퓨터, 현대 감지, 정보 융합, 통신, 인공 지능 및 자동 제어 등 기술을 적용하였고, 전형적인 하이테크 종합체이다. 현재, 지능형 차량에 대한 연구는 주로 자동차의 안전성, 편의성을 향상시키고 우수한 인간-차량 인터페이스를 제공하기 위해 노력하고 있다. 근년에 지능형 차량은 이미 세계 차량 공학 분야 연구에서의 이슈 및 자동차 산업 성장에서의 새로운 동력으로 되었고, 많은 선진국에서는 모두 이를 각자의 중점적 발전의 지능형 교통 시스템에 포함시켰다.
본 발명의 실시예는 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체를 제공한다.
본 발명의 실시예의 일 양태에 따르면,
현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하는 단계;
상기 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장됨 - ; 및
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계를 포함하는 차량 제어 방법을 제공한다.
선택 가능하게, 상기 차량 사용은 차량 예약, 차량 운전, 차량 탑승, 차량 세척, 차량 정비, 차량 보수, 차량 주유, 차량 충전 중 하나 또는 임의의 조합을 포함한다.
선택 가능하게, 상기 데이터 세트에는 적어도 하나의 차량 탑승이 이미 예약된 사용자의 기저장된 안면 이미지가 저장되고;
상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는, 차문을 개방하도록 제어하는 단계를 포함한다.
선택 가능하게, 상기 데이터 세트에는 적어도 하나의 차량 사용이 이미 예약된 사용자의 기저장된 안면 이미지가 저장되고;
상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는, 차문을 개방하도록 제어하고 차량 운전 제어권을 허가하는 단계를 포함한다.
선택 가능하게, 상기 데이터 세트에는 적어도 하나의 이미 기록된, 차량 탑승이 허용되는 사용자의 이미 기록된 기저장된 안면 이미지가 저장되고;
상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는, 차문을 개방하도록 제어하는 단계를 포함한다.
선택 가능하게, 상기 데이터 세트에는 적어도 하나의 이미 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는, 차문을 개방하도록 제어하고 차량 운전 제어권을 허가하는 단계를 포함한다.
선택 가능하게, 상기 데이터 세트에는 적어도 하나의 잠금 해제가 이미 예약되거나, 이미 기록된, 잠금 해제가 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는, 차량 잠금을 해제하도록 제어하는 단계를 포함한다.
선택 가능하게, 상기 데이터 세트에는 적어도 하나의 차량 주유가 이미 예약되거나, 이미 기록된, 차량 주유가 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는, 차량 주유구를 오픈하도록 제어하는 단계를 포함한다.
선택 가능하게, 상기 데이터 세트에는 적어도 하나의 차량 충전이 이미 예약되거나, 이미 기록된, 차량 충전이 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는, 충전 기기와 차량의 전지의 연결을 허용하도록 제어하는 단계를 포함한다.
선택 가능하게, 상기 차량 제어 방법은, 사용자의 차량 사용을 허용하도록 나타내는 프롬프트 정보를 송신하도록 차량을 제어하는 단계를 더 포함한다.
선택 가능하게, 현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하는 단계는,
상기 차량에 설치된 촬영 컴포넌트를 통해 상기 사용자의 안면 이미지를 수집하는 단계를 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
상기 차량과 클라우드 서버가 통신 연결 상태일 경우, 상기 클라우드 서버에 데이터 세트 다운로드 요청을 송신하는 단계; 및
상기 클라우드 서버에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭 성공된 기저장된 안면 이미지에 따라 상기 사용자의 신분 정보를 획득하는 단계; 및
상기 클라우드 서버에 상기 안면 이미지 및 상기 신분 정보를 송신하는 단계를 더 포함한다.
선택 가능하게, 상기 차량 제어 방법은, 상기 안면 이미지의 생체 검출 결과를 획득하는 단계를 더 포함하고;
상기 특징 매칭 결과에 따라, 상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는,
상기 특징 매칭 결과 및 상기 생체 검출 결과에 따라, 상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계를 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
상기 차량과 이동단 기기가 통신 연결 상태일 경우, 상기 이동단 기기에 데이터 세트 다운로드 요청을 송신하는 단계; 및
상기 이동단 기기에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함한다.
선택 가능하게, 상기 데이터 세트는 상기 이동단 기기가 상기 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버로부터 획득하여 상기 차량에 송신된 것이다.
선택 가능하게, 상기 차량 제어 방법은,
상기 특징 매칭 결과가 특징 매칭 실패인 것으로 나타내면, 상기 사용자의 차량 사용을 거절하도록 차량 동작을 제어하는 단계를 더 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
예약 정보를 송신하여 프롬프트하는 단계;
상기 예약 정보에 따라 상기 사용자의 예약 요청을 수신하는 단계, 상기 사용자의 예약 요청은 사용자의 예약 안면 이미지를 포함함 - ; 및
상기 예약 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
상기 안면 이미지에 기반하여 사용자 상태 검출을 진행하는 단계; 및
사용자 상태 검출의 결과에 따라 비정상적 상태의 경보 프롬프트를 진행하는 단계를 더 포함한다.
선택 가능하게, 상기 사용자 상태 검출은 사용자 피로 상태 검출, 사용자 부주의 상태 검출, 사용자의 사전 결정된 부주의 동작 검출 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 안면 이미지에 기반하여 사용자 피로 상태 검출을 진행하는 단계는,
상기 안면 이미지의 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득하는 단계, 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함함 - ;
소정의 시간 내의 상기 안면의 적어도 일부 영역의 상태 정보에 따라, 사용자 피로 상태를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
사용자 피로 상태를 나타내는 지표의 파라미터 값에 따라 사용자 피로 상태 검출의 결과를 결정하는 단계를 포함한다.
선택 가능하게, 상기 사용자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
상기 하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 안면 이미지에 기반하여 사용자 부주의 상태 검출을 진행하는 단계는,
상기 안면 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하는 단계;
소정의 시간 내의 상기 안면 방향 정보 및/또는 시선 방향 정보에 따라, 사용자 부주의 상태를 나타내는 지표의 파라미터 값을 결정하는 단계 - 상기 사용자 부주의 상태를 나타내는 지표는 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함함 - ; 및
상기 사용자 부주의 상태를 나타내는 지표의 파라미터 값에 따라 사용자 부주의 상태 검출의 결과를 결정하는 단계를 포함한다.
선택 가능하게, 상기 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
상기 시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 안면 이미지 중의 사용자에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계는,
상기 안면 이미지의 안면 키 포인트를 검출하는 단계; 및
상기 안면 키 포인트에 따라 안면 방향 및/또는 시선 방향 검출을 진행하는 단계를 포함한다.
선택 가능하게, 상기 안면 키 포인트에 따라 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 단계는,
상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계; 및
상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 결정하는 단계를 포함한다.
선택 가능하게, 상기 사전 결정된 부주의 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 안면 이미지에 기반하여 사용자의 사전 결정된 부주의 동작 검출을 진행하는 단계는,
상기 안면 이미지에 대해 상기 사전 결정된 부주의 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 박스를 획득하는 단계; 및
상기 타겟 객체의 검출 박스에 따라, 상기 사전 결정된 부주의 동작의 발생 여부를 결정하는 단계를 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
사전 결정된 부주의 동작이 발생되면, 소정의 시간 내 상기 사전 결정된 부주의 동작의 발생 여부의 결정 결과를 획득하고, 사용자 부주의 정도를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
상기 사용자 부주의 정도를 나타내는 지표의 파라미터 값에 따라 사용자의 사전 결정된 부주의 동작 검출의 결과를 결정하는 단계를 더 포함한다.
선택 가능하게, 상기 사용자 부주의 정도를 나타내는 지표의 파라미터 값은 사전 결정된 부주의 동작의 횟수, 사전 결정된 부주의 동작의 지속 시간, 사전 결정된 부주의 동작의 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
사용자의 사전 결정된 부주의 동작 검출의 결과가 사전 결정된 부주의 동작이 검출된 것이면, 검출된 사전 결정된 부주의 동작을 프롬프트하는 단계를 더 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함한다.
선택 가능하게, 상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는,
결정된 상기 사용자 상태 검출의 결과가 프롬프트/경고의 사전 결정된 조건을 만족시키면, 상기 프롬프트/경고의 사전 결정된 조건에 대응되는 프롬프트/경고 정보를 출력하는 단계; 및/또는,
결정된 상기 사용자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 기설정된 연락처에 사전 결정된 정보를 송신하거나 기설정된 연락처와 통신 연결을 구축하는 단계; 및/또는,
결정된 상기 사용자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 단계 중 적어도 하나를 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
클라우드 서버에 상기 사용자 상태 검출의 적어도 일부 결과를 송신하는 단계를 더 포함한다.
선택 가능하게, 상기 적어도 일부 결과는 사용자 상태 검출에 따라 결정된 비정상적 차량 사용 상태 정보를 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 저장하는 단계; 및/또는,
상기 클라우드 서버에 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 송신하는 단계를 더 포함한다.
본 발명의 실시예의 다른 일 양태에 따르면,
현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하는 사용자 이미지 획득 유닛;
상기 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 매칭 유닛 - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장됨 - ; 및
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 차량 제어 유닛을 포함하는 차량 탑재 지능형 시스템을 제공한다.
본 발명의 실시예의 또 다른 일 양태에 따르면,
차량에 의해 송신된 인식될 안면 이미지를 수신하는 단계;
상기 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장됨 - ; 및
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 상기 차량에 차량 제어를 허용하는 명령을 송신하는 단계를 포함하는 차량 제어 방법을 제공한다.
선택 가능하게, 상기 차량 제어 방법은,
차량에 의해 송신된 데이터 세트 다운로드 요청을 수신하는 단계 - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장됨 - ; 및
상기 차량에 상기 데이터 세트를 송신하는 단계를 더 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
차량 또는 이동단 기기에 의해 송신된 예약 요청을 수신하는 단계 - 상기 예약 요청은 사용자의 예약 안면 이미지를 포함함 - ; 및
상기 예약 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함한다.
선택 가능하게, 상기 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계는,
상기 차량으로부터 상기 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계를 포함한다.
선택 가능하게, 상기 차량 제어 방법은,
상기 차량에 의해 송신된 상기 사용자 상태 검출의 적어도 일부 결과를 수신하고, 비정상적 차량 사용 상태의 경보 프롬프트를 진행하는 단계를 더 포함한다.
선택 가능하게, 상기 적어도 일부 결과는 사용자 상태 검출에 따라 결정된 비정상적 차량 사용 상태 정보를 포함한다.
선택 가능하게, 상기 차량 제어 방법은, 상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함한다.
선택 가능하게, 상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는,
결정된 상기 사용자 상태 검출의 결과가 프롬프트/경고의 사전 결정된 조건을 만족시키면, 상기 프롬프트/경고의 사전 결정된 조건에 대응되는 프롬프트/경고 정보를 출력하는 단계; 및/또는,
결정된 상기 사용자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하는 단계; 및/또는,
결정된 상기 사용자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 단계를 포함한다.
선택 가능하게, 상기 차량 제어 방법은, 상기 차량에 의해 송신된, 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 수신하는 단계를 더 포함한다.
선택 가능하게, 상기 차량 제어 방법은, 상기 비정상적 차량 사용 상태 정보에 기반하여 데이터 통계, 차량 관리, 사용자 관리 중 적어도 하나의 동작을 진행하는 단계를 더 포함한다.
선택 가능하게, 상기 비정상적 차량 사용 상태 정보에 기반하여 데이터 통계를 진행하는 단계는,
상기 비정상적 차량 사용 상태 정보에 기반하여, 수신된 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 통계하여, 상기 안면 이미지를 상이한 비정상적 차량 사용 상태에 따라 분류하고, 각 상기 비정상적 차량 사용 상태의 통계 상황을 결정하는 단계를 포함한다.
선택 가능하게, 상기 비정상적 차량 사용 상태 정보에 기반하여 차량 관리를 진행하는 단계는,
상기 비정상적 차량 사용 상태 정보에 기반하여, 수신된 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 통계하여, 상기 안면 이미지를 상이한 차량에 따라 분류하고, 각 상기 차량의 비정상적 차량 사용 통계 상황을 결정하는 단계를 포함한다.
선택 가능하게, 상기 비정상적 차량 사용 상태 정보에 기반하여 사용자 관리를 진행하는 단계는,
상기 비정상적 차량 사용 상태 정보에 기반하여, 수신된 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 처리하여, 상기 안면 이미지를 상이한 사용자에 따라 분류하고, 각 상기 사용자의 비정상적 차량 사용 통계 상황을 결정하는 단계를 포함한다.
본 발명의 실시예의 또 다른 일 양태에 따르면,
차량에 의해 송신된 인식될 안면 이미지를 수신하는 이미지 수신 유닛;
상기 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 매칭 결과 획득 유닛 - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장됨 - ; 및
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 상기 차량에 차량 제어를 허용하는 명령을 송신하는 명령 송신 유닛을 포함하는 전자 기기를 제공한다.
본 발명의 실시예의 또 다른 일 양태에 따르면,
상기 어느 한 양태에 따른 차량 제어 방법을 수행하는 차량; 및/또는
상기 어느 한 양태에 따른 차량 제어 방법을 수행하는 클라우드 서버를 포함하는 차량 제어 시스템을 제공한다.
선택 가능하게, 상기 차량 제어 시스템은 이동단 기기를 더 포함하되,
상기 이동단 기기는, 사용자 등록 요청을 수신하고, 상기 사용자 등록 요청은 사용자의 등록 안면 이미지를 포함하며;
상기 사용자 등록 요청을 상기 클라우드 서버에 송신한다.
본 발명의 실시예의 또 다른 일 양태에 따르면,
실행 가능한 명령을 저장하는 메모리; 및
상기 실행 가능한 명령을 실행하도록 상기 메모리와 통신하여 상기 어느 한 양태에 따른 차량 제어 방법을 완성하는 프로세서를 포함하는 전자 기기를 제공한다.
본 발명의 실시예의 또 다른 일 양태에 따르면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에 실행될 경우, 상기 전자 기기 중의 프로세서는 상기 어느 한 양태에 따른 차량 제어 방법을 구현하도록 실행된다.
본 발명의 실시예의 또 다른 일 양태에 따르면, 컴퓨터 판독 가능 명령이 저장된 컴퓨터 저장 매체를 제공하고, 상기 명령이 실행될 경우 상기 어느 한 양태에 따른 차량 제어 방법을 구현한다.
본 발명의 상기 실시예에 의해 제공되는 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체에 기반하여, 현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하고; 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하며; 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 사용자의 차량 사용을 허용하도록 차량 동작을 제어함으로써, 특징 매칭에 기반하여 미리 기록된 인원의 권리를 보장하고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 네트워크에 대한 의존성을 극복하고, 차량의 안전 보장성을 추가로 향상시킨다.
아래, 도면 및 실시예를 통해 본 발명의 기술적 해결수단을 더 상세하게 설명하도록 한다.
명세서의 일부분을 구성하는 도면은 본 발명의 실시예를 설명하였고 설명과 함께 본 발명의 원리를 해석한다.
도면을 참조하여 아래 상세한 설명에 따라 본 발명을 보다 명확하게 이해할 수 있다.
도 1은 본 발명의 일부 실시예의 차량 제어 방법의 흐름도이다.
도 2는 본 발명의 일부 실시예 중 안면 이미지에 기반하여 사용자 피로 상태 검출을 진행한 흐름도이다.
도 3은 본 발명의 일부 실시예 중 안면 이미지에 기반하여 사용자 부주의 상태 검출을 진행한 흐름도이다.
도 4는 본 발명의 일부 실시예 중 안면 이미지에 기반하여 사용자의 사전 결정된 부주의 동작 검출을 진행한 흐름도이다.
도 5는 본 발명의 일부 실시예의 사용자 상태 검출 방법의 흐름도이다.
도 6은 본 발명의 일부 실시예의 차량 탑재 지능형 시스템의 구조 모식도이다.
도 7은 본 발명의 다른 일부 실시예의 차량 제어 방법의 흐름도이다.
도 8은 본 발명의 일부 실시예의 전자 기기의 구조 모식도이다.
도 9는 본 발명의 일부 실시예의 차량 관리 시스템의 사용 흐름도이다.
도 10은 본 발명의 일부 실시예의 전자 기기의 하나의 응용예의 구조 모식도이다.
아래, 도면을 참조하여 본 발명의 각 예시적 실시예를 상세하게 설명하도록 한다. 달리 설명되지 않은 한, 이러한 실시예에서 설명된 부재와 단계의 상대적 배치, 숫자 표현식 및 수치는 본 발명의 범위를 한정하지 않음을 유의해야 한다.
아울러, 설명의 편의를 위해, 도면에 도시된 각 부재의 사이즈는 실제 비율 관계에 따라 제작된 것이 아님을 이해해야 한다.
이하, 적어도 하나의 예시적 실시예에 대한 설명은 실제적으로 설명적인 것이고, 본 발명 및 그 응용 또는 사용에 대해 어떠한 한정도 하지 않는다.
관련 분야의 통상의 기술자가 이미 알고 있는 기술, 방법, 기기를 상세하게 토론하지 않을 수 있지만, 적절한 상황 하에, 상기 기술, 방법, 기기는 명세서의 일부분으로 간주되어야 한다.
유사한 부호 및 알파벳은 아래의 도면에서 유사한 항을 나타내므로, 일단 어느 한 항이 하나의 도면에서 정의되면, 그 뒤의 도면에서 이에 대해 더 토론할 필요가 없다.
본 발명의 실시예는 다른 다양한 범용 또는 전용 컴퓨터 시스템 환경 또는 구성과 함께 조작될 수 있는 단말 기기, 컴퓨터 시스템, 서버 등 전자 기기에 응용될 수 있다. 단말 기기, 컴퓨터 시스템, 서버 등 전자 기기와 함께 사용하기에 적합한 공지된 다양한 단말 기기, 컴퓨터 시스템, 환경 및/또는 구성의 예는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 신 클라이언트, 팻 클라이언트, 휴대용 또는 랩톱 기기, 마이크로프로세서 기반의 시스템, 셋톱박스, 프로그래밍 소비자 전자제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 대형 컴퓨터 시스템, 및 상기 임의의 시스템을 포함하는 분산식 클라우드 컴퓨팅 기술 환경 등을 포함하지만 이에 한정되지 않는다.
단말 기기, 컴퓨터 시스템, 서버 등 전자 기기는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템이 실행 가능한 명령(예를 들어, 프로그램 모듈)의 일반 언어 환경에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 예제 프로그램, 프로그램, 타겟 프로그램, 컴포넌트, 로직, 데이터 구조 등을 포함할 수 있고, 이들은 특정된 태스크를 실행하거나 특정된 추상적 데이터 타입을 구현한다. 컴퓨터 시스템/서버는 분산식 클라우드 컴퓨팅 환경에서 실시될 수 있고, 분산식 클라우드 컴퓨팅 환경에서, 태스크는 통신 네트워크를 통해 연결된 원격 처리 기기에 의해 실행된다. 분산식 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.
도 1은 본 발명의 일부 실시예의 차량 제어 방법의 흐름도이다. 도 1에 도시된 바와 같이, 본 실시예의 차량 제어 방법의 수행 주체는 예컨대 차량 탑재 지능형 시스템 또는, 유사한 기능을 구비하는 다른 기기와 같은 차량단 기기일 수 있고, 상기 실시예의 방법은 하기와 같은 단계를 포함한다.
단계110에서, 현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득한다.
선택 가능하게, 사용자의 안면 이미지를 획득하기 위하여, 차량의 외부 또는 내부에 설치된 이미지 수집 장치를 통해 나타나는 사람에 대해 이미지 수집을 진행하여 안면 이미지를 획득할 수 있다. 선택 가능하게, 품질이 비교적 좋은 안면 이미지를 획득하기 위하여, 수집된 이미지에 대해 안면 검출, 안면 품질 선별 및 생체 인식 등 동작을 진행할 수 있다.
하나의 선택 가능한 예에서, 상기 단계110은 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 사용자 이미지 획득 유닛(61)에 의해 수행될 수도 있다.
단계120에서, 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득한다.
선택 가능하게, 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장된다.
선택 가능하게, 안면 이미지와 데이터 세트 중의 기저장된 안면 이미지에 대해 특징 매칭을 진행하고, 콘볼루션 뉴럴 네트워크를 통해 안면 이미지의 특징과 기저장된 안면 이미지의 특징을 각각 획득한 다음, 특징 매칭을 진행하여 안면 이미지와 대응되는 동일한 안면을 구비하는 기저장된 안면 이미지를 인식함으로써, 수집된 안면 이미지의 사용자의 신분을 인식할 수 있다.
하나의 선택 가능한 예에서, 상기 단계120는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 매칭 유닛(62)에 의해 수행될 수도 있다.
단계130에서, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 사용자의 차량 사용을 허용하도록 차량 동작을 제어한다.
선택 가능하게, 특징 매칭 결과는 특징 매칭 성공 및 특징 매칭 실패인 두 가지 상황을 포함하고, 특징 매칭 성공일 경우, 상기 사용자가 예약되거나 허용된 사용자임을 나타내므로, 차량을 사용할 수 있는데, 이때, 사용자의 차량 사용을 허용하도록 차량 동작을 제어한다.
하나의 선택 가능한 예에서, 상기 단계130은 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 차량 제어 유닛(63)에 의해 수행될 수도 있다.
본 발명의 상기 실시예에 의해 제공되는 차량 제어 방법에 기반하여, 현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하고; 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하며; 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 사용자의 차량 사용을 허용하도록 차량 동작을 제어함으로써, 특징 매칭에 기반하여 미리 기록된 인원의 권리를 보장하고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 네트워크에 대한 의존성을 극복하고, 차량의 안전 보장성을 추가로 향상시킨다.
하나 또는 다수의 선택 가능한 실시예에서, 상기 차량 사용은 차량 예약, 차량 운전, 차량 탑승, 차량 세척, 차량 정비, 차량 보수, 차량 주유, 차량 충전 중 하나 또는 임의의 조합을 포함할 수 있지만 이에 한정되지 않는다.
일반적으로 차량 사용, 차량 운전은 차량에 대한 운전 제어권을 획득해야 하고; 차량 탑승(예를 들어, 통근차, 인터넷으로 예약해서 타는 차)은 차문을 개방하도록 제어해야 하며; 차량 세척은 상이한 경우가 존재할 수 있는데, 예를 들어, 인공 세차일 경우, 차량은 고정되어 움직이지 않을 수 있고, 세척원은 이를 위해 차문을 개방하도록 제어해야 하며, 자동 세차일 경우, 세척원에 차량의 운전 제어권을 제공해야 할 수 있고; 차량 정비 및 차량 보수는 대응되는 인원을 위해 차문을 개방하도록 제어할 수 있으며; 차량 주유는 주유구를 오픈하도록 제어해야 하고; 차량을 충전(전동차)할 경우, 충전 기기(예를 들어, 충전총)와 차량의 전지의 연결을 허용하도록 제어해야 한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 차량 탑승이 이미 예약된 사용자의 기저장된 안면 이미지가 저장되고;
단계130은, 차문을 개방하도록 제어하는 단계를 포함할 수 있다.
차량 탑승이 예약된(예를 들어, 인터넷으로 예약해서 타는 차) 사용자를 위해 차문을 개방하여, 사용자가 성공적으로 차량에 탑승할 수 있도록 하고, 예약되지 않은 다른 사용자는 차문을 개방할 수 없어 탑승할 수 없음으로써, 예약 사용자의 권익과 차량의 안전을 보장한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 차량 사용이 이미 예약된 사용자의 기저장된 안면 이미지가 저장되고;
단계130은, 차문을 개방하도록 제어하고 차량 운전 제어권을 허가하는 단계를 포함할 수 있다.
예약 사용자가 예약한 것이 차량 운전(예를 들어, 차량 렌트 예약)일 경우, 사용자를 위해 차량 운전 제어권을 제공하고, 예약되지 않은 다른 사용자는 차량에 들어갈 수 없으므로, 차량에 불법으로 들어간다 하더라고 차량을 운전할 수 없음으로써, 차량의 안전을 보장한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 이미 기록된, 차량 탑승이 허용되는 사용자의 이미 기록된 기저장된 안면 이미지가 저장되고;
단계130은, 차문을 개방하도록 제어하는 단계를 포함할 수 있다.
사용자가 이미 기록된, 차량 탑승이 허용된 사용자(예를 들어, 자가용에 대응되는 운전 능력을 구비하지 않은 멤버, 통근차의 승객)일 경우, 사용자를 위해 차문을 개방하도록 제어하여 사용자가 안전하게 차에 탑승할 수 있도록 한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 이미 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
단계130은, 차문을 개방하도록 제어하고 차량 운전 제어권을 허가하는 단계를 포함한다.
사용자가 이미 기록된, 차량 사용이 허용된 사용자(예를 들어, 자가용에 대응되는 운전 능력을 구비하는 멤버)일 경우, 사용자를 위해 차량 운전 제어권을 제공하고, 기록되지 않은 다른 사용자는 차량에 들어갈 수 없으므로, 차량에 불법으로 들어간다 하더라고 차량을 운전할 수 없음으로써, 차량의 안전을 보장한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 잠금 해제가 이미 예약되거나, 이미 기록된, 잠금 해제가 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
단계130은, 차량 잠금을 해제하도록 제어하는 단계를 포함한다.
일부 특수한 차량(예를 들어, 전동 자전거, 전동 스쿠터, 공용 자전거 등)은 차량 잠금을 해제해야만 사용될 차량을 획득할 수 있는데, 이때, 사용자는 예약 사용자(임시 예약 또는 장기간 예약을 포함) 또는 이미 기록된, 잠금 해제가 허용된 사용자일 수 있고, 상기 사용자를 위해 차량 잠금을 해제하도록 제어함으로써, 차량의 안전을 보장한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 차량 주유가 이미 예약되거나, 이미 기록된, 차량 주유가 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
단계130은, 차량 주유구를 오픈하도록 제어하는 단계를 포함한다.
차량에 주유해야 할 경우, 주유구를 오픈해야 하고, 차량 주유가 이미 예약되거나, 이미 기록된, 차량 주유가 허용된 사용자에 대해, 상기 사용자를 위해 차량 주유구를 오픈하도록 제어하여 차량 주유를 구현함으로써, 차량의 각 측면에서의 성능의 안전성을 보장한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 차량 충전이 이미 예약되거나, 이미 기록된, 차량 충전이 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
단계130은, 충전 기기와 차량의 전지의 연결을 허용하도록 제어하는 단계를 포함한다.
차량을 충전해야 할 경우(예를 들어, 전동 자동차 또는 전동 자전거 등), 충전 기기와 차량의 전지의 연결을 허용하도록 제어해야 하고, 차량 충전이 이미 예약되거나, 이미 기록된, 차량 충전이 허용된 사용자에 대해, 상기 사용자를 위해 충전 기기와 차량의 전지의 연결을 허용하도록 제어하여 차량 충전을 구현함으로써, 차량 전지의 안전성을 보장한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은, 사용자의 차량 사용을 허용하도록 나타내는 프롬프트 정보를 송신하도록 차량을 제어하는 단계를 더 포함한다.
사용자에게 보다 좋은 사용 체험을 제공하기 위해, 사용자의 차량 사용을 허용하도록 나타내는 프롬프트 정보를 송신하여 사용자가 차량을 사용할 수 있도록 프롬프트함으로써, 사용자가 기다리는 것을 방지하거나 사용자 대기 시간을 단축시키고, 사용자에게 보다 좋은 서비스를 제공할 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 단계110은,
차량에 설치된 촬영 컴포넌트를 통해 사용자의 안면 이미지를 수집하는 단계를 포함할 수 있다.
본 실시예가 사용자를 위해 제공한 것이 차량 사용 서비스로, 차량 내부에서의 동작(예를 들어, 차량 운전) 또는 차량 외부에서의 동작(예를 들어, 차문 개방, 차량 잠금 해제)을 포함할 수 있으므로, 촬영 컴포넌트는 차량의 외부 또는 내부에 설치될 수 있고, 고정되게 설치되거나 이동 가능하게 설치될 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은,
차량과 클라우드 서버가 통신 연결 상태일 경우, 클라우드 서버에 데이터 세트 다운로드 요청을 송신하는 단계; 및
클라우드 서버에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함한다.
선택 가능하게, 일반적으로 데이터 세트는 클라우드 서버에 저장되고, 본 실시예는 차량단에서 안면 매칭을 구현해야 하며, 네트워크가 존재하지 않을 경우에도 안면을 매칭시킬 수 있도록, 네트워크가 존재할 경우 클라우드 서버로부터 데이터 세트를 다운로드하고 데이터 세트를 차량단에 저장할 수 있는데, 이때, 네트워크가 존재하지 않아 클라우드 서버와 통신할 수 없어도, 차량단에서 안면 매칭을 구현할 수 있고, 데이터 세트에 대한 차량단의 관리에 편리하다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은,
특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭 성공된 기저장된 안면 이미지에 따라 사용자의 신분 정보를 획득하는 단계; 및
클라우드 서버에 안면 이미지 및 신분 정보를 송신하는 단계를 더 포함할 수 있다.
본 실시예에서, 특징 매칭 성공시, 상기 사용자는 차량 사용이 이미 예약되거나 이미 허용된 사용자임을 설명하고, 데이터 세트로부터 사용자에 대응되는 신분 정보를 획득할 수 있으며, 안면 이미지 및 신분 정보를 클라우드 서버에 송신하고, 클라우드 서버에서 상기 사용자에 대해 실시간 추적(예를 들어, 어느 한 사용자가 어느 시간, 어느 지점에서 어느 차량을 탑승하였는지)을 구축할 수 있고, 네트워크가 존재할 경우, 안면 이미지를 클라우드 서버에 실시간으로 업로드함으로써, 사용자의 차량 사용 상태에 대한 분석 및 통계를 구현할 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은, 안면 이미지의 생체 검출 결과를 획득하는 단계를 더 포함하고;
단계130은,
특징 매칭 결과 및 생체 검출 결과에 따라, 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계를 포함할 수 있다.
본 실시예에서, 생체 검출은 이미지가 실물(또는 살아있는 사람)로부터 유래된 것인지를 판단하는 것이고, 생체 검출을 통해 운전자의 신분 검증이 보다 정확하도록 할 수 있다. 본 실시예에서 생체 검출에 대한 구체적인 방식은 한정되지 않는데, 예를 들어, 이미지의 삼차원 정보 깊이 분석, 얼굴 광류 분석, 푸리에 스펙트럼 분석, 가장자리 또는 반사광선 등 위조방지 클루 분석, 비디오 스트림 중 멀티프레임 비디오 이미지 프레임 종합 분석 등 방법을 통해 구현될 수 있으므로, 여기서 더 이상 설명하지 않는다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은,
차량과 이동단 기기가 통신 연결 상태일 경우, 이동단 기기에 데이터 세트 다운로드 요청을 송신하는 단계;
이동단 기기에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함한다.
선택 가능하게, 데이터 세트는 이동단 기기가 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버로부터 획득하여 상기 차량에 송신된 것이다.
선택 가능하게, 이동단 기기는 휴대폰, PAD 또는 다른 차량에서의 단말 기기 등일 수 있고, 이동단 기기는 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버에 데이터 세트 다운로드 요청을 송신한 다음, 데이터 세트를 획득하여 다시 차량에 송신하며, 이동단 기기를 통해 데이터 세트를 다운로드할 경우, 이동단 기기 자체가 휴대한 네트워크(예를 들어, 2G, 3G, 4G 네트워크 등)을 응용할 수 있음으로써, 차량이 네트워크 제한을 받아 클라우드 서버로부터 데이터 세트를 다운로드하지 못해 안면 매칭을 진행할 수 없는 문제를 방지한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은, 특징 매칭 결과가 특징 매칭 실패인 것으로 나타내면, 사용자의 차량 사용을 거절하도록 차량 동작을 제어하는 단계를 더 포함한다.
본 실시예에서, 특징 매칭 실패는 상기 사용자의 차량 사용이 예약되지 않거나 허용되지 않은 것을 나타내는데, 이때, 차량 사용이 이미 예약되거나 이미 허용된 사용자의 권익을 보장하기 위하여, 차량은 상기 사용자가 차량을 사용하는 것을 거절한다.
선택 가능하게, 차량 제어 방법은,
예약 정보를 송신하여 프롬프트하는 단계;
예약 정보에 따라 사용자의 예약 요청을 수신하는 단계 - 사용자의 예약 요청은 사용자의 예약 안면 이미지를 포함함 - ; 및
예약 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함한다.
본 실시예에서, 차량을 통해 사용자에 의해 송신된 예약 요청을 수신하고, 상기 사용자의 예약 안면 이미지를 저장하며, 차량단에서 상기 예약 안면 이미지에 기반하여 데이터 세트를 구축하고, 데이터 세트를 통해 차량단의 단독 안면 매칭을 구현할 수 있음으로써, 클라우드 서버로부터 데이터 세트를 다운로드할 필요가 없다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은,
안면 이미지에 기반하여 사용자 상태 검출을 진행하는 단계; 및
사용자 상태 검출의 결과에 따라 비정상적 상태의 경보 프롬프트를 진행하는 단계를 더 포함한다.
일부 실시예에서, 사용자 상태 검출의 결과를 출력할 수 있다.
다른 일부 실시예에서, 사용자가 운전자일 경우, 사용자 상태 검출의 결과에 따라, 차량에 대해 지능형 운전 제어를 진행할 수 있다.
또 다른 일부 실시예에서, 사용자가 운전자일 경우, 사용자 상태 검출의 결과를 출력할 수 있는 동시에, 사용자 상태 검출의 결과에 따라, 차량에 대해 지능형 운전 제어를 진행할 수 있다.
선택 가능하게, 사용자 상태 검출의 결과를 로컬 출력하거나 및/또는 사용자 상태 검출의 결과를 원격 출력할 수 있다. 여기서, 사용자 상태 검출의 결과를 로컬 출력하는 것은 사용자 상태 검출 장치 또는 사용자 모니터링 시스템을 통해 사용자 상태 검출의 결과를 출력하거나, 또는 차량 중의 센터 콘솔 시스템에 사용자 상태 검출의 결과를 출력하여, 차량이 상기 사용자 상태 검출의 결과에 기반하여 차량에 대해 지능형 운전 제어를 진행하도록 하는 것이다. 사용자 상태 검출의 결과를 원격 출력하는 것은, 예를 들어 클라우드 서버 또는 관리 노드에 사용자 상태 검출의 결과를 송신하여 클라우드 서버 또는 관리 노드에 의해 사용자 상태 검출의 결과의 수집, 분석 및/또는 관리를 진행하도록 하거나, 또는 상기 사용자 상태 검출의 결과에 기반하여 차량에 대해 원격 제어를 진행하도록 하는 것이다.
하나의 선택 가능한 예에서, 사용자 상태 검출의 결과에 따라 비정상적 상태의 경보 프롬프트를 진행하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 출력 모듈에 의해 수행될 수도 있다.
하나의 선택 가능한 예에서, 상기 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 사용자 상태 검출 유닛에 의해 수행될 수도 있다.
일부 실시예에서, 사용자 상태 검출은 예를 들어 사용자 피로 상태 검출, 사용자 부주의 상태 검출, 사용자의 사전 결정된 부주의 동작 검출, 사용자 제스처 검출 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 사용자 상태 검출의 결과도 대응되게 사용자 피로 상태 검출의 결과, 사용자 부주의 상태 검출의 결과, 사용자의 사전 결정된 부주의 동작 검출의 결과, 사용자 제스처 검출의 결과 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
본 실시예에서, 사전 결정된 부주의 동작은 사용자의 주의력을 분산시킬 수 있는 임의의 부주의 동작일 수 있는데, 예를 들어, 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 등일 수 있다. 여기서, 음식을 먹는 동작은 예컨대 과일, 간식 등을 먹는 동작이고, 오락하는 동작은 예컨대 메시지를 전송하는 동작, 게임하는 동작, 노래하는 동작 등 전자 기기를 통해 실행되는 임의의 동작이다. 여기서, 전자 기기는 예컨대 휴대폰 단말기, 팜톱 컴퓨터, 게임기 등이다.
본 발명의 상기 실시예에 의해 제공되는 사용자 상태 검출 방법에 기반하여, 안면 이미지에 대해 사용자 상태 검출을 진행하고, 사용자 상태 검출의 결과를 출력할 수 있음으로써, 사용자의 차량 사용 상태를 실시간으로 검출하여 사용자의 차량 사용 상태가 나쁠 경우 즉시 대응되는 조치를 취하므로, 안전 운전을 보장하고, 도로 교통 사고의 발생을 감소 또는 방지한다.
도 2는 본 발명의 일부 실시예 중 안면 이미지에 기반하여 사용자 피로 상태 검출을 진행한 흐름도이다. 하나의 선택 가능한 예에서, 도 2에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 유닛에 의해 수행될 수도 있다. 도 2에 도시된 바와 같이, 안면 이미지에 기반하여 사용자 피로 상태 검출을 진행하는 방법은 하기와 같은 단계를 포함할 수 있다.
단계202에서, 안면 이미지의 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득한다.
하나의 선택 가능한 예에서, 상기 안면의 적어도 일부 영역은 사용자 안면 눈 영역, 사용자 안면 입 영역 및 사용자 안면의 전체 영역 등 중 적어도 하나를 포함할 수 있다. 여기서, 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함할 수 있다.
선택 가능하게, 상기 눈 개폐 상태 정보는 예컨대 사용자가 눈을 반쯤 감았는 지의 여부(“반쯤”은 졸음 상태에 눈을 가늘게 뜨는 등 눈을 완전히 감지 않은 상태를 나타냄), 눈을 감았는 지의 여부, 눈감는 횟수, 눈감는 폭 등 사용자에 대해 눈감는 검출을 진행할 수 있다. 선택 가능하게, 눈 개폐 상태 정보는 눈을 뜬 높이에 대해 정규화 처리를 진행한 후의 정보일 수 있다. 선택 가능하게, 상기 입 개폐 상태 정보는 사용자에 대해 하품하는 검출을 진행할 수 있는데, 예를 들어, 사용자가 하품하는 지의 여부, 하품하는 횟수 등을 검출할 수 있다. 선택 가능하게, 입 개폐 상태 정보는 입을 벌리는 높이에 대해 정규화 처리를 진행한 후의 정보일 수 있다.
하나의 선택 가능한 예에서, 안면 이미지에 대해 안면 키 포인트 검출을 진행하고, 검출된 안면 키 포인트 중의 눈 키 포인트를 이용하여 산출함으로써, 산출 결과에 따라 눈 개폐 상태 정보를 획득할 수 있다.
하나의 선택 가능한 예에서, 먼저 안면 키 포인트 중의 눈 키 포인트(예를 들어, 사용자 이미지에서의 눈 키 포인트의 좌표 정보)를 이용하여 사용자 이미지 중의 눈을 위치결정시켜 눈 이미지를 획득하고, 상기 눈 이미지를 이용하여 윗눈꺼풀선과 아랫눈꺼풀선을 획득하며, 윗눈꺼풀선과 아랫눈꺼풀선 사이의 간격을 산출하여 눈 개폐 상태 정보를 획득할 수 있다.
하나의 선택 가능한 예에서, 안면 키 포인트 중의 입 키 포인트를 직접 이용하여 산출함으로써, 산출 결과에 따라 입 개폐 상태 정보를 획득할 수 있다.
하나의 선택 가능한 예에서, 먼저 안면 키 포인트 중의 입 키 포인트(예를 들어, 사용자 이미지에서의 입 키 포인트의 좌표 정보)를 이용하여 사용자 이미지 중의 입을 위치결정시키고, 절취 등 방식을 통해 입 이미지를 획득하고, 상기 입 이미지를 이용하여 윗입술선과 아랫입술선을 획득하며, 윗입술선과 아랫입술선 사이의 간격을 산출하여 입 개폐 상태 정보를 획득할 수 있다.
단계204에서, 소정의 시간 내의 안면의 적어도 일부 영역의 상태 정보에 따라, 사용자 피로 상태를 나타내는 지표의 파라미터 값을 획득한다.
일부 선택 가능한 예에서, 사용자 피로 상태를 나타내는 지표는 예컨대 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
하나의 선택 가능한 예에서, 눈감는 정도의 파라미터 값은 예컨대 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않거나; 및/또는, 하품하는 정도의 파라미터 값은 예컨대 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
단계206에서, 사용자 피로 상태를 나타내는 지표의 파라미터 값에 따라 사용자 피로 상태 검출의 결과를 결정한다.
선택 가능하게, 상기 사용자 피로 상태 검출의 결과는 피로 상태의 미검출 및 피로 상태일 수 있다. 또는, 사용자가 운전자일 경우, 상기 사용자 피로 상태 검출의 결과는 피로 운전 정도일 수도 있고, 여기서, 피로 운전 정도는 정상적 운전 레벨(비-피로 운전 레벨라고도 함) 및 피로 운전 레벨을 포함할 수 있다. 여기서, 피로 운전 레벨은 하나의 레벨일 수 있고, 다수의 상이한 레벨로 나뉠 수도 있는데, 예를 들어, 상기 피로 운전 레벨은 프롬프트 피로 운전 레벨(경도 피로 운전 레벨이라고도 할 수 있음) 및 경고 피로 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)로 나뉠 수 있다. 물론, 피로 운전 정도는 더 많은 레벨로 나뉠 수도 있는데, 예를 들어, 경도 피로 운전 레벨, 중등 피로 운전 레벨 및 고도 피로 운전 레벨 등으로 나뉠 수 있다. 본 발명은 피로 운전 정도에 포함되는 상이한 레벨을 한정하지 않는다.
도 3은 본 발명의 일부 실시예 중 안면 이미지에 기반하여 사용자 부주의 상태 검출을 진행한 흐름도이다. 하나의 선택 가능한 예에서, 도 3에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 유닛에 의해 수행될 수도 있다. 도 3에 도시된 바와 같이, 안면 이미지에 기반하여 사용자 부주의 상태 검출을 진행하는 방법은 하기와 같은 단계를 포함할 수 있다.
단계302에서, 안면 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득한다.
선택 가능하게, 상기 안면 방향 정보는 사용자의 안면 방향이 정상인 지를 결정할 수 있는데, 예를 들어, 사용자가 얼굴을 옆으로 돌렸거나 머리를 뒤로 돌렸는 지의 여부 등을 결정할 수 있다. 선택 가능하게, 안면 방향 정보는 사용자 안면의 정면과 사용자가 사용한 차량의 정면 사이의 협각일 수 있다. 선택 가능하게, 상기 시선 방향 정보는 사용자의 시선 방향이 정상인 지를 결정할 수 있는데, 예를 들어, 사용자가 전방을 주시하고 있는 지의 여부 등을 결정할 수 있고, 시선 방향 정보는 사용자의 시선이 이탈 현상 등이 발생하였는 지의 여부를 판단할 수 있다. 선택 가능하게, 시선 방향 정보는 선택 가능하게 사용자의 시선과 사용자가 사용한 차량의 정면 사이의 협각일 수 있다.
단계304에서, 소정의 시간 내의 안면 방향 정보 및/또는 시선 방향 정보에 따라, 사용자 부주의 상태를 나타내는 지표의 파라미터 값을 결정한다.
일부 선택 가능한 예에서, 사용자 부주의 상태를 나타내는 지표는 예컨대 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 하나의 선택 가능한 예에서, 안면 방향 이탈 정도의 파라미터 값은 예컨대 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않거나; 및/또는, 시선 이탈 정도의 파라미터 값은 예컨대 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
하나의 선택 가능한 예에서, 상기 시선 이탈 정도는 예컨대 시선이 이탈되었는 지의 여부 및 시선이 심각하게 이탈되었는 지의 여부 중 적어도 하나를 포함할 수 있고; 상기 안면 방향 이탈 정도(얼굴을 돌리는 정도 또는 머리를 돌리는 정도라고도 할 수 있음)는 예컨대 머리를 돌렸는 지의 여부, 단시간 동안 머리를 돌렸는 지의 여부 및 장시간 동안 머리를 돌렸는 지의 여부 중 적어도 하나를 포함할 수 있다.
하나의 선택 가능한 예에서, 안면 방향 정보가 제1 방향보다 크고, 제1 방향보다 큰 이러한 현상이 N1 프레임(예를 들어, 9 프레임 또는 10 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 사용자가 한 번의 장시간 동안 큰 각도로 머리를 돌리는 현상이 발생되었음을 결정하고, 한 번의 장시간 동안 큰 각도로 머리를 돌린 것으로 기록할 수 있으며, 이번의 머리 돌림 지속 시간을 기록할 수도 있고; 안면 방향 정보가 제1 방향보다 크지 않고 제2 방향보다 크며, 제1 방향보다 크지 않고 제2 방향보다 큰 이러한 현상이 N1 프레임(예를 들어, 9 프레임 또는 10 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 사용자가 한 번의 장시간 동안 작은 각도로 머리를 돌리는 현상이 발생되었음을 결정하고, 한 번의 작은 각도로 머리를 돌린 것으로 기록할 수 있으며, 이번의 머리 돌림 지속 시간을 기록할 수도 있다.
하나의 선택 가능한 예에서, 시선 방향 정보와 차량 정면 사이의 협각이 제1 협각보다 크고, 제1 협각보다 큰 이러한 현상이 N2 프레임(예를 들어, 8 프레임 또는 9 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 사용자가 한 번의 시선이 심각하게 이탈되는 현상이 발생되었음을 결정하고, 한 번의 시선이 심각하게 이탈된 것으로 기록할 수 있으며, 이번의 시선이 심각하게 이탈되는 지속 시간을 기록할 수도 있고; 시선 방향 정보와 차량 정면 사이의 협각이 제1 협각보다 크지 않고 제2 협각보다 크며, 제1 협각보다 크지 않고 제2 협각보다 큰 이러한 현상이 N2 프레임(예를 들어, 8 프레임 또는 9 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 사용자가 한 번의 시선이 이탈되는 현상이 발생되었음을 결정하고, 한 번의 시선이 이탈된 것으로 기록할 수 있으며, 이번의 시선이 이탈되는 지속 시간을 기록할 수도 있다.
하나의 선택 가능한 예에서, 상기 제1 방향, 제2 방향, 제1 협각, 제2 협각, N1 및 N2의 값은 실제 상황에 따라 설정될 수 있고, 본 실시예는 값의 크기를 한정하지 않는다.
단계306에서, 사용자 부주의 상태를 나타내는 지표의 파라미터 값에 따라 사용자 부주의 상태 검출의 결과를 결정한다.
선택 가능하게, 상기 사용자 부주의 상태 검출의 결과는 예컨대 사용자 주의력 집중(사용자의 주의력이 분산되지 않음), 사용자 주의력 분산을 포함할 수 있거나; 또는, 사용자 부주의 상태 검출의 결과는 사용자 주의력 분산 레벨일 수 있는데, 예를 들어, 사용자 주의력 집중(사용자의 주의력이 분산되지 않음), 사용자 주의력 경도 분산, 사용자 주의력 중등 분산, 사용자 주의력 고도 분산 등을 포함할 수 있다. 여기서, 사용자 주의력 분산 레벨은 사용자 부주의 상태를 나타내는 지표의 파라미터 값이 만족시키는 기설정된 조건을 통해 결정될 수 있다. 예를 들어, 시선 방향 이탈 각도와 안면 방향 이탈 각도가 모두 제1 기설정된 각도보다 작으면, 사용자 주의력 분산 레벨은 사용자 주의력 집중이고; 시선 방향 이탈 각도와 안면 방향 이탈 각도 중 어느 하나가 제1 기설정된 각도보다 크거나 같고, 지속 시간이 제1 기설정된 지속 시간보다 크며, 제2 기설정된 지속 시간보다 작거나 같으면, 사용자 주의력 경도 분산이며; 시선 방향 이탈 각도와 안면 방향 이탈 각도 중 어느 하나가 제1 기설정된 각도보다 크거나 같고, 지속 시간이 제2 기설정된 지속 시간보다 크며, 제3 기설정된 지속 시간보다 작거나 같으면, 사용자 주의력 중등 분산이고; 시선 방향 이탈 각도와 안면 방향 이탈 각도 중 어느 하나가 제1 기설정된 각도보다 크거나 같고, 지속 시간이 제3 기설정된 지속 시간보다 크면, 사용자 주의력 고도 분산이며, 여기서, 제1 기설정된 지속 시간은 제2 기설정된 지속 시간보다 작고, 제2 기설정된 지속 시간은 제3 기설정된 지속 시간보다 작다.
본 실시예는 사용자가 운전자일 경우 사용자 이미지의 안면 방향 및/또는 시선 방향을 검출하여 사용자 부주의 상태를 나타내는 지표의 파라미터 값을 결정하고, 이에 따라 사용자 부주의 상태 검출의 결과를 결정하여 사용자가 주의력을 집중하여 운전하는 지의 여부를 판단하며, 사용자 부주의 상태의 지표를 계량화하여 운전 집중 정도를 시선 이탈 정도 및 머리 돌림 정도의 지표 중 적어도 하나로 계량화함으로써, 사용자의 집중 운전 상태를 즉시 객관적으로 판단하는데 유리하다.
일부 실시예에서, 안면 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계302는,
안면 이미지의 안면 키 포인트를 검출하는 단계; 및
안면 키 포인트에 따라 안면 방향 및/또는 시선 방향 검출을 진행하는 단계를 포함할 수 있다.
안면 키 포인트에 일반적으로 머리 자세 특징 정보가 포함되는데, 일부 선택 가능한 예에서, 안면 키 포인트에 따라 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 단계는, 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계; 머리 자세의 특징 정보에 따라 안면 방향(머리 자세라고도 함) 정보를 획득하는 단계를 포함하고, 여기서의 안면 방향 정보는 예컨대 안면이 회전하는 방향 및 각도를 나타낼 수 있으며, 여기서의 회전하는 방향은 왼쪽으로 회전, 오른쪽으로 회전, 아래로 회전 및/또는 위로 회전 등일 수 있다.
하나의 선택 가능한 예에서, 안면 방향을 통해 사용자가 주의력을 집중하여 운전하는 지의 여부를 판단할 수 있다. 안면 방향(머리 자세)은 (yaw, pitch)로 나타낼 수 있고, 여기서, yaw는 정규화 구면 좌표(카메라가 위치한 사진기 좌표계)에서의 머리의 수평 편향 각도(편류각)와 수직 편향 각도(부앙각)를 나타낸다. 수평 편향 각도 및/또는 수직 편향 각도가 하나의 기설정된 각도 임계값보다 크고 지속 시간이 하나의 기설정된 시간 임계값보다 클 경우 사용자 부주의 상태 검출의 결과가 주의력 불집중인 것으로 결정할 수 있다.
하나의 선택 가능한 예에서, 대응되는 뉴럴 네트워크를 이용하여 적어도 하나의 사용자 이미지의 안면 방향 정보를 획득할 수 있다. 예를 들어, 상기 검출된 안면 키 포인트를 제1 뉴럴 네트워크에 입력하고, 제1 뉴럴 네트워크를 통해, 수신된 안면 키 포인트에 기반하여 머리 자세의 특징 정보를 추출하여 제2 뉴럴 네트워크에 입력할 수 있으며; 제2 뉴럴 네트워크에 의해 상기 머리 자세의 특징 정보에 기반하여 머리 자세 평가를 진행하여 안면 방향 정보를 획득한다.
발전이 비교적 성숙되고 우수한 실시간성을 구비하는 기존의, 머리 자세의 특징 정보를 추출하기 위한 뉴럴 네트워크와 안면 방향을 추측하기 위한 뉴럴 네트워크를 사용하여 안면 방향 정보를 획득할 경우, 카메라가 촬영한 비디오에 대해 비디오 중 적어도 하나의 이미지 프레임(즉, 적어도 하나의 프레임 사용자 이미지)에 대응되는 안면 방향 정보를 정확하고 신속하게 검출할 수 있음으로써, 사용자 주의력 정도의 정확성 향상에 유리하다.
일부 선택 가능한 예에서, 안면 키 포인트에 따라 시선 방향 검출을 진행하여 시선 방향 정보를 획득하는 단계는, 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하고, 동공 가장자리 위치에 따라 동공 중심 위치를 산출하는 단계; 동공 중심 위치와 눈 중심 위치에 따라 시선 방향 정보를 산출하는 단계를 포함한다. 예를 들어, 동공 중심 위치와 눈 이미지 중의 눈 중심 위치의 벡터를 산출하고, 상기 벡터는 시선 방향 정보로 사용될 수 있다.
하나의 선택 가능한 예에서, 시선 방향을 통해 사용자가 주의력을 집중하여 운전하는 지의 여부를 판단할 수 있다. 시선 방향은 (yaw, pitch)로 나타낼 수 있고, 여기서, yaw는 정규화 구면 좌표(카메라가 위치한 사진기 좌표계)에서의 시선의 수평 편향 각도(편류각)와 수직 편향 각도(부앙각)를 나타낸다. 수평 편향 각도 및/또는 수직 편향 각도가 하나의 기설정된 각도 임계값보다 크고 지속 시간이 하나의 기설정된 시간 임계값보다 클 경우 사용자 부주의 상태 검출의 결과가 주의력 불집중인 것으로 결정할 수 있다.
하나의 선택 가능한 예에서, 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하는 단계는, 제3 뉴럴 네트워크에 기반하여, 안면 키 포인트에 따라 분할된 이미지 중의 눈 영역 이미지에 대해 동공 가장자리 위치의 검출을 진행하고, 제3 뉴럴 네트워크에 의해 출력된 정보에 따라 동공 가장자리 위치를 획득하는 단계를 통해 구현될 수 있다.
도 4는 본 발명의 일부 실시예 중 안면 이미지에 기반하여 사용자의 사전 결정된 부주의 동작 검출을 진행한 흐름도이다. 하나의 선택 가능한 예에서, 도 4에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 유닛에 의해 수행될 수도 있다. 도 4에 도시된 바와 같이, 안면 이미지에 기반하여 사용자의 사전 결정된 부주의 동작 검출을 진행하는 방법은 하기와 같은 단계를 포함할 수 있다.
단계402에서, 안면 이미지에 대해 사전 결정된 부주의 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 박스를 획득한다.
단계404에서, 타겟 객체의 검출 박스에 따라, 사전 결정된 부주의 동작의 발생 여부를 결정한다.
본 실시예에서, 사용자에 대해 사전 결정된 부주의 동작 검출을 진행하는 것은, 사전 결정된 부주의 동작에 대응되는 타겟 객체를 검출하고, 검출된 타겟 객체의 검출 박스에 따라 사전 결정된 부주의 동작의 발생 여부를 결정함으로써, 사용자의 부주의 여부를 판단하므로, 정확한 사용자의 사전 결정된 부주의 동작 검출의 결과 획득에 유리함으로써, 사용자 상태 검출의 결과의 정확성 향상에 유리하다.
예를 들어, 사전 결정된 부주의 동작이 흡연 동작일 경우, 상기 단계402 ~ 단계404는, 제4 뉴럴 네트워크를 통해 사용자 이미지에 대해 안면 검출을 진행하여 안면 검출 박스를 획득하고, 안면 검출 박스의 특징 정보를 추출하는 단계; 제4 뉴럴 네트워크를 통해 안면 검출 박스의 특징 정보에 따라 흡연 동작의 발생 여부를 결정하는 단계를 포함할 수 있다.
또한 예를 들어, 사전 결정된 부주의 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작(즉, 음식을 먹는 동작 및/또는 물을 마시는 동작 및/또는 전화하는 동작 및/또는 오락하는 동작)일 경우, 상기 단계402 ~ 단계404는, 제5 뉴럴 네트워크를 통해 사용자 이미지에 대해 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작에 대응되는 기설정된 타겟 객체 검출을 진행하여 기설정된 타겟 객체의 검출 박스를 획득하는 단계 - 기설정된 타겟 객체는 손, 입, 눈, 타겟 물체를 포함하고, 타겟 물체는 예컨대 용기, 음식, 전자 기기 중 임의의 한 가지 또는 여러 가지를 포함할 수 있지만 이에 한정되지 않음 - ; 기설정된 타겟 객체의 검출 박스에 따라 사전 결정된 부주의 동작의 검출 결과를 획득하는 단계 - 상기 사전 결정된 부주의 동작의 검출 결과는 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작의 미발생, 음식을 먹는 동작의 발생, 물을 마시는 동작의 발생, 전화하는 동작의 발생, 오락하는 동작의 발생 중 하나를 포함할 수 있음 - ;를 포함할 수 있다.
일부 선택 가능한 예에서, 사전 결정된 부주의 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작(즉, 음식을 먹는 동작 및/또는 물을 마시는 동작 및/또는 전화하는 동작 및/또는 오락하는 동작)일 경우, 기설정된 타겟 객체의 검출 박스에 따라 사전 결정된 부주의 동작의 검출 결과를 결정하는 단계는, 손의 검출 박스, 입의 검출 박스, 눈의 검출 박스 및 타겟 물체의 검출 박스가 검출되었는 지의 여부에 따라, 또한 손의 검출 박스와 타겟 물체의 검출 박스의 중첩 여부, 타겟 물체의 타입 및 타겟 물체의 검출 박스와 입의 검출 박스 또는 눈의 검출 박스 사이의 거리가 기설정된 조건을 만족시키는 지의 여부에 따라, 사전 결정된 부주의 동작의 검출 결과를 결정하는 단계를 포함할 수 있다.
선택 가능하게, 손의 검출 박스와 타겟 물체의 검출 박스가 중첩되고, 타겟 물체의 타입이 용기 또는 음식이며, 타겟 물체의 검출 박스와 입의 검출 박스 사이가 중첩되면, 음식을 먹는 동작 또는 물을 마시는 동작의 발생을 결정하거나; 및/또는, 손의 검출 박스와 타겟 물체의 검출 박스가 중첩되고, 타겟 물체의 타입이 전자 기기이며, 타겟 물체의 검출 박스와 입의 검출 박스 사이의 최소 거리가 제1 기설정된 거리보다 작거나, 타겟 물체의 검출 박스와 눈의 검출 박스 사이의 최소 거리가 제2 기설정된 거리보다 작으면, 오락하는 동작 또는 전화하는 동작의 발생을 결정한다.
이 밖에, 손의 검출 박스, 입의 검출 박스 및 어느 하나의 타겟 물체의 검출 박스가 동시에 검출되지 않았고, 손의 검출 박스, 눈의 검출 박스 및 어느 하나의 타겟 물체의 검출 박스가 동시에 검출되지 않았으면, 부주의 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하거나; 및/또는, 손의 검출 박스와 타겟 물체의 검출 박스가 중첩되지 않으면, 부주의 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하거나; 및/또는, 타겟 물체의 타입이 용기 또는 음식이고, 타겟 물체의 검출 박스와 입의 검출 박스 사이는 중첩되지 않거나, 및/또는, 타겟 물체의 타입이 전자 기기이고, 타겟 물체의 검출 박스와 입의 검출 박스 사이의 최소 거리가 제1 기설정된 거리보다 작지 않거나, 타겟 물체의 검출 박스와 눈의 검출 박스 사이의 최소 거리가 제2 기설정된 거리보다 작지 않으면, 부주의 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정한다.
이 밖에, 상기 사용자 이미지에 대해 사전 결정된 부주의 동작 검출을 진행하는 실시예에서, 사용자 부주의 상태 검출의 결과가 사전 결정된 부주의 동작이 검출된 것이면, 사전 결정된 부주의 동작이 검출된 것을 프롬프트하는데, 예를 들어, 흡연 동작이 검출될 경우, 흡연하는 것이 검출된 것을 프롬프트하고; 물을 마시는 동작이 검출될 경우, 물을 마시는 것이 검출된 것을 프롬프트하며; 전화하는 동작이 검출될 경우, 전화하는 것이 검출된 것을 프롬프트한다.
하나의 선택 가능한 예에서, 상기 사전 결정된 부주의 동작이 검출된 것을 프롬프트하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 프롬프트 유닛에 의해 수행될 수도 있다.
이 밖에, 다시 도 4를 참조하면, 사용자 이미지에 대해 사용자의 사전 결정된 부주의 동작 검출을 진행하는 다른 일 실시예에서, 하기와 같은 단계를 선택적으로 더 포함할 수 있다.
단계406에서, 사전 결정된 부주의 동작이 발생되면, 소정의 시간 내 사전 결정된 부주의 동작의 발생 여부의 결정 결과를 획득하고, 사용자 부주의 정도를 나타내는 지표의 파라미터 값을 획득한다.
선택 가능하게, 사용자 부주의 정도를 나타내는 지표는 예컨대 사전 결정된 부주의 동작의 횟수, 사전 결정된 부주의 동작의 지속 시간, 사전 결정된 부주의 동작의 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 예를 들어, 흡연 동작의 횟수, 지속 시간, 빈도; 물을 마시는 동작의 횟수, 지속 시간, 빈도; 전화하는 동작의 횟수, 지속 시간, 빈도 등 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
단계408에서, 사용자 부주의 정도를 나타내는 지표의 파라미터 값에 따라 사용자의 사전 결정된 부주의 동작 검출의 결과를 결정한다.
선택 가능하게, 상기 사용자의 사전 결정된 부주의 동작 검출의 결과는 사전 결정된 부주의 동작이 검출되지 않은 것, 사전 결정된 부주의 동작이 검출된 것을 포함할 수 있다. 이 밖에, 상기 사용자의 사전 결정된 부주의 동작 검출의 결과는 부주의 레벨일 수 있는데, 예를 들어, 부주의 레벨은 미부주의 레벨(집중 운전 레벨이라고도 할 수 있음), 프롬프트 부주의 운전 레벨(경도 부주의 운전 레벨이라고도 할 수 있음) 및 경고 부주의 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)로 나뉠 수 있다. 물론, 부주의 레벨은 더 많은 레벨로 나뉠 수도 있는데, 예를 들어, 미부주의 운전 레벨, 경도 부주의 운전 레벨, 중등 부주의 운전 레벨 및 고도 부주의 운전 레벨 등으로 나뉠 수 있다. 물론, 본 실시예의 적어도 하나의 실시예의 부주의 레벨은 다른 상황에 따라 나뉠 수도 있고, 레벨을 나누는 상기 상황을 한정하지 않는다.
하나의 선택 가능한 예에서, 부주의 레벨은 부주의 정도를 나타내는 지표의 파라미터 값이 만족시키는 기설정된 조건에 의해 결정될 수 있다. 예를 들어, 사전 결정된 부주의 동작이 검출되지 않으면, 부주의 레벨은 미부주의 레벨(집중 운전 레벨라고도 할 수 있음)이고; 사전 결정된 부주의 동작의 지속 시간이 제1 기설정된 지속 시간보다 작고 빈도가 제1 기설정된 빈도보다 작은 것으로 검출되면, 부주의 레벨은 경도 부주의 운전 레벨이며; 사전 결정된 부주의 동작의 지속 시간이 제1 기설정된 지속 시간보다 크거나, 및/또는 빈도가 제1 기설정된 빈도보다 크면, 부주의 레벨은 고도 부주의 운전 레벨이다.
일부 실시예에서, 사용자 상태 검출 방법은, 사용자 부주의 상태 검출의 결과 및/또는 사용자의 사전 결정된 부주의 동작 검출의 결과에 따라, 부주의 프롬프트 정보를 출력하는 단계를 더 포함할 수 있다.
선택 가능하게, 사용자 부주의 상태 검출의 결과가 사용자 주의력 분산 또는 사용자 주의력 분산 레벨이거나, 및/또는 사용자의 사전 결정된 부주의 동작 검출의 결과가 사전 결정된 부주의 동작이 검출된 것이면, 부주의 프롬프트 정보를 출력하여 사용자가 주의력을 집중하여 운전하도록 알릴 수 있다.
하나의 선택 가능한 예에서, 상기 사용자 부주의 상태 검출의 결과 및/또는 사용자의 사전 결정된 부주의 동작 검출의 결과에 따라, 부주의 프롬프트 정보를 출력하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 프롬프트 유닛에 의해 수행될 수도 있다.
도 5는 본 발명의 일부 실시예의 사용자 상태 검출 방법의 흐름도이다. 하나의 선택 가능한 예에서, 도 5에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 유닛에 의해 수행될 수도 있다. 도 5에 도시된 바와 같이, 상기 실시예의 사용자 상태 검출 방법은 하기와 같은 단계를 포함한다.
단계502에서, 안면 이미지에 기반하여 사용자 피로 상태 검출, 사용자 부주의 상태 검출 및 사용자의 사전 결정된 부주의 동작 검출을 진행하여 사용자 피로 상태 검출의 결과, 사용자 부주의 상태 검출의 결과 및 사용자의 사전 결정된 부주의 동작 검출의 결과를 획득한다.
단계504에서, 사용자 피로 상태 검출의 결과, 사용자 부주의 상태 검출의 결과 및 사용자의 사전 결정된 부주의 동작 검출의 결과가 만족시키는 기설정된 조건에 따라 사용자 상태 레벨을 결정한다.
단계506에서, 결정된 사용자 상태 레벨을 사용자 상태 검출의 결과로 사용한다.
하나의 선택 가능한 예에서, 각각의 사용자 상태 레벨에 모두 기설정된 조건이 대응되고, 사용자 피로 상태 검출의 결과, 사용자 부주의 상태 검출의 결과 및 사용자의 사전 결정된 부주의 동작 검출의 결과가 만족시키는 기설정된 조건을 실시간으로 판단할 수 있으며, 만족되는 기설정된 조건에 대응되는 상태 레벨을 사용자의 사용자 상태 검출의 결과로 결정할 수 있다. 사용자가 운전자일 경우, 여기서, 사용자 상태 레벨은 예컨대 정상적 운전 상태(집중 운전 레벨이라고도 할 수 있음), 프롬프트 운전 상태(운전 상태가 비교적 나쁨), 경고 운전 상태(운전 상태가 아주 나쁨)를 포함할 수 있다.
하나의 선택 가능한 예에서, 상기 도 5에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 출력 모듈에 의해 수행될 수도 있다.
예를 들어, 사용자가 운전자일 경우, 정상적 운전 상태(집중 운전 레벨이라고도 할 수 있음)에 대응되는 기설정된 조건은,
사용자 피로 상태 검출의 결과가 피로 상태 또는 비-피로 운전 레벨이 검출되지 않은 것인 조건1;
사용자 부주의 상태 검출의 결과가 사용자 주의력 집중인 조건2; 및
사용자의 사전 결정된 부주의 동작 검출의 결과가 사전 결정된 부주의 동작 또는 미부주의 레벨이 검출되지 않은 조건3을 포함할 수 있다.
상기 조건1, 조건2, 조건3을 모두 만족시킬 경우, 운전 상태 레벨은 정상적 운전 상태(집중 운전 레벨이라고도 할 수 있음)이다.
예를 들어, 사용자가 운전자일 경우, 예를 들어, 하나의 선택 가능한 예에서, 프롬프트 운전 상태(운전 상태가 비교적 나쁨)에 대응되는 기설정된 조건은,
사용자 피로 상태 검출의 결과가 프롬프트 피로 운전 레벨(경도 피로 운전 레벨이라고도 할 수 있음)인 조건11;
사용자 부주의 상태 검출의 결과가 사용자 주의력 경도 분산인 조건22; 및
사용자의 사전 결정된 부주의 동작 검출의 결과가 프롬프트 부주의 운전 레벨(경도 부주의 운전 레벨이라고도 할 수 있음)인 조건33을 포함할 수 있다.
상기 조건11, 조건22, 조건33 중의 어느 하나의 조건을 만족시키고, 다른 조건 중의 결과가 더 심각한 피로 운전 레벨, 주의력 분산 레벨, 부주의 레벨에 대응되는 기설정된 조건에 도달하지 못할 경우, 운전 상태 레벨은 프롬프트 운전 상태(운전 상태가 비교적 나쁨)이다.
예를 들어, 사용자가 운전자일 경우, 경고 운전 상태(운전 상태가 아주 나쁨)에 대응되는 기설정된 조건은,
사용자 피로 상태 검출의 결과가 경고 피로 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)인 조건111;
사용자 부주의 상태 검출의 결과가 사용자 주의력 고도 분산인 조건222; 및
사용자의 사전 결정된 부주의 동작 검출의 결과가 경고 부주의 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)인 조건333을 포함할 수 있다.
상기 조건111, 조건222, 조건333 중의 어느 하나의 조건을 만족시킬 경우, 운전 상태 레벨은 경고 운전 상태(운전 상태가 아주 나쁨)이다.
일부 실시예에서, 사용자 상태 검출 방법은,
사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함할 수 있다.
하나의 선택 가능한 예에서, 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 제어 유닛에 의해 수행될 수도 있다.
선택 가능하게, 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는 하기와 같은 단계 중 적어도 하나를 포함할 수 있다.
사용자가 운전자일 경우, 사용자 상태 검출의 결과가 프롬프트/경고의 사전 결정된 조건을 만족시키면, 예를 들어, 프롬프트 운전 상태(운전 상태가 비교적 나쁨)에 대응되는 기설정된 조건을 만족시키거나 상태 레벨이 프롬프트 운전 상태(운전 상태가 비교적 나쁨)이면, 상기 프롬프트/경고의 사전 결정된 조건에 대응되는 프롬프트/경고 정보를 출력하고, 예를 들어, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임 등)/진동 등 방식을 통해 사용자를 프롬프트하여, 사용자가 주의하도록 알리고, 사용자가 분산된 주의력을 운전에 되돌리도록 하거나 사용자가 휴식 등을 취하도록 함으로써, 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하거나; 및/또는,
사용자가 운전자일 경우, 사용자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 예를 들어, 경고 운전 상태(운전 상태가 아주 나쁨)에 대응되는 기설정된 조건을 만족시키거나 운전 상태 레벨이 경고 부주의 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)이면, 운전 모드를 자동 운전 모드로 전환시켜 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하며; 동시에, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임 등)/진동 등 방식을 통해 사용자를 프롬프트하여, 사용자가 주의하도록 알리고, 사용자가 분산된 주의력을 운전에 되돌리도록 하거나 사용자가 휴식 등을 취하도록 하거나; 및/또는,
결정된 사용자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하고, 예를 들어, 사용자가 어느 또는 일부 동작을 실행하도록 약정할 경우, 사용자가 위험 상태에 있거나 도움이 필요함을 나타내는데, 이러한 동작이 검출될 경우, 사전 결정된 연락처(예를 들어, 경보 전화, 최근 연락자의 전화 또는 설정된 긴급 연락자의 전화)에 사전 결정된 정보(예를 들어, 경보 정보, 프롬프트 정보 또는 통화 연결)를 송신하고, 차량 탑재 기기를 통해 사전 결정된 연락처와 직접 통신 연결(예를 들어, 영상 통화, 음성 통화 또는 전화 통화)을 구축하여 사용자의 신변 및/또는 재산 안전을 보장할 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은, 클라우드 서버에 사용자 상태 검출의 적어도 일부 결과를 송신하는 단계를 더 포함한다.
선택 가능하게, 적어도 일부 결과는 사용자 상태 검출에 따라 결정된 비정상적 차량 사용 상태 정보를 포함한다.
사용자 상태 검출에 의해 획득된 일부 결과 또는 전체 결과를 클라우드 서버에 송신할 경우, 비정상적 차량 사용 상태 정보를 백업할 수 있고, 정상적 차량 사용 상태는 기록할 필요가 없으므로, 본 실시예는 비정상적 차량 사용 상태 정보만 클라우드 서버에 송신하며; 획득된 사용자 상태 검출 결과가 정상적 차량 사용 상태 정보 및 비정상적 차량 사용 상태 정보를 포함할 경우, 일부 결과를 전송하는데, 즉 비정상적 차량 사용 상태 정보만 클라우드 서버에 송신하고; 사용자 상태 검출의 전체 결과가 모두 비정상적 차량 사용 상태 정보일 경우, 전체 비정상적 차량 사용 상태 정보를 클라우드 서버에 전송한다.
선택 가능하게, 차량 제어 방법은, 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 저장하는 단계; 및/또는,
클라우드 서버에 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 송신하는 단계를 더 포함한다.
본 실시예에서, 차량단에서 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 로컬 저장하여 증거를 저장하고, 저장된 안면 이미지를 통해, 후속적으로 사용자로 인해 비정상적 차량 사용 상태에 안전 또는 다른 문제가 존재하면, 저장된 안면 이미지를 수거하여 확인하여 책임을 결정하며, 저장된 안면 이미지에서 발생된 문제와 관련된 비정상적 차량 사용 상태가 발견되면, 상기 사용자의 책임으로 결정할 수 있고; 차량단의 데이터가 잘못 삭제되거나 고의로 삭제되는 것을 방지하기 위하여, 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 클라우드 서버에 업로드하여 백업할 수 있으며, 정보가 필요할 경우, 클라우드 서버로부터 차량단에 다운로드하여 조회할 수 있거나, 클라우드 서버로부터 다른 클라이언트에 다운로드하여 조회할 수 있다.
본 기술분야의 통상의 기술자는 상기 방법 실시예의 모든 또는 부분 단계의 구현은 프로그램 명령과 관련되는 하드웨어를 통해 완성될 수 있고, 전술한 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법 실시예를 포함하는 단계를 수행하고, 전술한 저장 매체는 ROM, RAM, 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함함을 이해할 수 있다.
도 6은 본 발명의 일부 실시예의 차량 탑재 지능형 시스템의 구조 모식도이다. 상기 실시예의 차량 탑재 지능형 시스템은 본 발명의 상기 각 차량 제어 방법 실시예를 구현할 수 있다. 도 6에 도시된 바와 같이, 상기 실시예의 차량 탑재 지능형 시스템은 하기와 같은 유닛을 포함한다.
사용자 이미지 획득 유닛(61)은, 현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득한다.
매칭 유닛(62)은, 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득한다.
선택 가능하게, 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장된다.
차량 제어 유닛(63)은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 사용자의 차량 사용을 허용하도록 차량 동작을 제어한다.
본 발명의 상기 실시예에 의해 제공되는 차량 탑재 지능형 시스템에 기반하여, 현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하고; 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하며; 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 사용자의 차량 사용을 허용하도록 차량 동작을 제어함으로써, 특징 매칭에 기반하여 미리 기록된 인원의 권리를 보장하고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 네트워크에 대한 의존성을 극복하고, 차량의 안전 보장성을 추가로 향상시킨다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 사용은 차량 예약, 차량 운전, 차량 탑승, 차량 세척, 차량 정비, 차량 보수, 차량 주유, 차량 충전 중 하나 또는 임의의 조합을 포함한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 차량 탑승이 이미 예약된 사용자의 기저장된 안면 이미지가 저장되고;
차량 제어 유닛(63)은, 차문을 개방하도록 제어한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 차량 사용이 이미 예약된 사용자의 기저장된 안면 이미지가 저장되고;
차량 제어 유닛(63)은, 차문을 개방하도록 제어하고 차량 운전 제어권을 허가한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 이미 기록된, 차량 탑승이 허용되는 사용자의 이미 기록된 기저장된 안면 이미지가 저장되고;
차량 제어 유닛(63)은, 차문을 개방하도록 제어한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 이미 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
차량 제어 유닛(63)은, 차문을 개방하도록 제어하고 차량 운전 제어권을 허가한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 잠금 해제가 이미 예약되거나, 이미 기록된, 잠금 해제가 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
차량 제어 유닛(63)은, 차량 잠금을 해제하도록 제어한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 차량 주유가 이미 예약되거나, 이미 기록된, 차량 주유가 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
차량 제어 유닛(63)은, 차량 주유구를 오픈하도록 제어한다.
일부 실시예에서, 데이터 세트에는 적어도 하나의 차량 충전이 이미 예약되거나, 이미 기록된, 차량 충전이 허용되는 사용자의 기저장된 안면 이미지가 저장되고;
차량 제어 유닛(63)은, 충전 기기와 차량의 전지의 연결을 허용하도록 제어한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 유닛(63)은 또한, 사용자의 차량 사용을 허용하도록 나타내는 프롬프트 정보를 송신하도록 제어한다.
하나 또는 다수의 선택 가능한 실시예에서, 사용자 이미지 획득 유닛(61)은, 차량에 설치된 촬영 컴포넌트를 통해 사용자의 안면 이미지를 수집한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은, 차량과 클라우드 서버가 통신 연결 상태일 경우, 클라우드 서버에 데이터 세트 다운로드 요청을 송신하고, 클라우드 서버에 의해 송신된 데이터 세트를 수신하여 저장하는 제1 데이터 다운로드 유닛을 더 포함한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은,
특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭 성공된 기저장된 안면 이미지에 따라 사용자의 신분 정보를 획득하고, 클라우드 서버에 안면 이미지 및 신분 정보를 송신하는 정보 저장 유닛을 더 포함할 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은, 안면 이미지의 생체 검출 결과를 획득하는 생체 검출 유닛을 더 포함할 수 있고;
차량 제어 유닛(63)은, 특징 매칭 결과 및 생체 검출 결과에 따라, 사용자의 차량 사용을 허용하도록 차량 동작을 제어한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은,
차량과 이동단 기기가 통신 연결 상태일 경우, 이동단 기기에 데이터 세트 다운로드 요청을 송신하고, 이동단 기기에 의해 송신된 데이터 세트를 수신하여 저장하는 제2 데이터 다운로드 유닛을 더 포함한다.
선택 가능하게, 데이터 세트 이동단 기기가 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버로부터 획득하여 상기 차량에 송신된 것이다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 유닛(63)은 또한, 특징 매칭 결과가 특징 매칭 실패인 것으로 나타내면, 사용자의 차량 사용을 거절하도록 차량 동작을 제어한다.
선택 가능하게, 차량 탑재 지능형 시스템은 예약 유닛을 더 포함하되,
상기 예약 유닛은, 예약 정보를 송신하여 프롬프트하고; 예약 정보에 따라 사용자의 예약 요청을 수신하며, 사용자의 예약 요청은 사용자의 예약 안면 이미지를 포함하고; 예약 안면 이미지에 따라 데이터 세트를 구축한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은,
안면 이미지에 기반하여 사용자 상태 검출을 진행하는 상태 검출 유닛; 및
사용자 상태 검출의 결과에 따라 비정상적 상태의 경보 프롬프트를 진행하는 출력 유닛을 더 포함한다.
일부 실시예에서, 사용자 상태 검출의 결과를 출력할 수 있다.
다른 일부 실시예에서, 사용자가 운전자일 경우, 사용자 상태 검출의 결과에 따라, 차량에 대해 지능형 운전 제어를 진행할 수 있다.
또 다른 일부 실시예에서, 사용자가 운전자일 경우, 사용자 상태 검출의 결과를 출력할 수 있는 동시에, 사용자 상태 검출의 결과에 따라, 차량에 대해 지능형 운전 제어를 진행할 수 있다.
선택 가능하게, 사용자 상태 검출은 사용자 피로 상태 검출, 사용자 부주의 상태 검출, 사용자의 사전 결정된 부주의 동작 검출 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상태 검출 유닛은 안면 이미지에 기반하여 사용자 피로 상태 검출을 진행할 경우,
안면 이미지의 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득하고, 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함하며;
소정의 시간 내의 안면의 적어도 일부 영역의 상태 정보에 따라, 사용자 피로 상태를 나타내는 지표의 파라미터 값을 획득하고;
사용자 피로 상태를 나타내는 지표의 파라미터 값에 따라 사용자 피로 상태 검출의 결과를 결정한다.
선택 가능하게, 사용자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상태 검출 유닛은 안면 이미지에 기반하여 사용자 부주의 상태 검출을 진행할 경우,
안면 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하고;
소정의 시간 내의 안면 방향 정보 및/또는 시선 방향 정보에 따라, 사용자 부주의 상태를 나타내는 지표의 파라미터 값을 결정하며, 사용자 부주의 상태를 나타내는 지표는 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함하고;
사용자 부주의 상태를 나타내는 지표의 파라미터 값에 따라 사용자 부주의 상태 검출의 결과를 결정한다.
선택 가능하게, 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상태 검출 유닛은 안면 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행할 경우,
안면 이미지의 안면 키 포인트를 검출하고;
안면 키 포인트에 따라 안면 방향 및/또는 시선 방향 검출을 진행한다.
선택 가능하게, 상태 검출 유닛은 안면 키 포인트에 따라 안면 방향 검출을 진행하여 안면 방향 정보를 획득할 경우,
안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하고;
머리 자세의 특징 정보에 따라 안면 방향 정보를 결정한다.
선택 가능하게, 사전 결정된 부주의 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상태 검출 유닛은 안면 이미지에 기반하여 사용자의 사전 결정된 부주의 동작 검출을 진행할 경우,
안면 이미지에 대해 사전 결정된 부주의 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 박스를 획득하고;
타겟 객체의 검출 박스에 따라, 사전 결정된 부주의 동작의 발생 여부를 결정한다.
선택 가능하게, 상태 검출 유닛은 또한,
사전 결정된 부주의 동작이 발생되면, 소정의 시간 내 사전 결정된 부주의 동작의 발생 여부의 결정 결과를 획득하고, 사용자 부주의 정도를 나타내는 지표의 파라미터 값을 획득하며;
사용자 부주의 정도를 나타내는 지표의 파라미터 값에 따라 사용자의 사전 결정된 부주의 동작 검출의 결과를 결정한다.
선택 가능하게, 사용자 부주의 정도를 나타내는 지표의 파라미터 값은 사전 결정된 부주의 동작의 횟수, 사전 결정된 부주의 동작의 지속 시간, 사전 결정된 부주의 동작의 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 차량 탑재 지능형 시스템은,
사용자의 사전 결정된 부주의 동작 검출의 결과가 사전 결정된 부주의 동작이 검출된 것이면, 검출된 사전 결정된 부주의 동작을 프롬프트하는 프롬프트 유닛을 더 포함한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은,
사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 제어 유닛을 더 포함한다.
선택 가능하게, 제어 유닛은,
결정된 사용자 상태 검출의 결과가 프롬프트/경고의 사전 결정된 조건을 만족시키면, 프롬프트/경고의 사전 결정된 조건에 대응되는 프롬프트/경고 정보를 출력하거나; 및/또는,
결정된 사용자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 기설정된 연락처에 사전 결정된 정보를 송신하거나 기설정된 연락처와 통신 연결을 구축하거나; 및/또는,
결정된 사용자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시킨다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은,
클라우드 서버에 사용자 상태 검출의 적어도 일부 결과를 송신하는 결과 송신 유닛을 더 포함한다.
선택 가능하게, 적어도 일부 결과는 사용자 상태 검출에 따라 결정된 비정상적 차량 사용 상태 정보를 포함한다.
선택 가능하게, 차량 탑재 지능형 시스템은,
비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 저장하거나; 및/또는, 클라우드 서버에 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 송신하는 이미지 저장 유닛을 더 포함한다.
본 발명의 실시예에 의해 제공되는 차량 탑재 지능형 시스템의 어느 하나의 실시예의 동작 과정 및 설치 방식은 모두 본 발명의 상기 대응되는 방법 실시예의 구체적인 설명을 참조할 수 있고, 편폭의 제한으로 인해 여기서 더 이상 설명하지 않는다.
도 7은 본 발명의 다른 일부 실시예의 차량 제어 방법의 흐름도이다. 도 7에 도시된 바와 같이, 본 실시예의 차량 제어 방법의 수행 주체는 예컨대 전자 기기 또는, 유사한 기능을 구비하는 다른 기기와 같은 클라우드 서버일 수 있고, 상기 실시예의 방법은 하기와 같은 단계를 포함한다.
단계710에서, 차량에 의해 송신된 인식될 안면 이미지를 수신한다.
선택 가능하게, 인식될 안면 이미지는 차량을 통해 수집하고, 안면 이미지를 획득하는 과정은 안면 검출, 안면 품질 선별 및 생체 인식을 포함할 수 있으며, 이러한 과정을 통해, 획득된 인식될 안면 이미지가 차량 내부 또는 외부의 리얼 사용자의 품질이 비교적 좋은 안면 이미지임을 보장할 수 있고, 후속의 특징 매칭의 효과를 보장한다.
하나의 선택 가능한 예에서, 상기 단계710는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 이미지 수신 유닛(81)에 의해 수행될 수도 있다.
단계720에서, 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득한다.
선택 가능하게, 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장되고; 클라우드 서버는 차량으로부터 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 직접 획득할 수 있는데, 이때, 특징 매칭 과정은 차량단에서 구현된다.
하나의 선택 가능한 예에서, 상기 단계720는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 매칭 결과 획득 유닛(82)에 의해 수행될 수도 있다.
단계730에서, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량 제어를 허용하는 명령을 차량에 송신을 송신한다.
하나의 선택 가능한 예에서, 상기 단계730는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 명령 송신 유닛(83)에 의해 수행될 수도 있다.
본 발명의 상기 실시예에 의해 제공되는 차량 제어 방법에 기반하여, 차량단에서 안면 특징 매칭을 구현함으로써, 네트워크에 대한 사용자 인식의 의존을 감소시키고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으며, 차량의 안전 보장성을 추가로 향상시킨다.
선택 가능하게, 차량 제어 방법은,
차량에 의해 송신된 데이터 세트 다운로드 요청을 수신하는 단계 - 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장됨 - ; 및
차량에 데이터 세트를 송신하는 단계를 더 포함한다.
선택 가능하게, 일반적으로 데이터 세트는 클라우드 서버에 저장되고, 본 실시예는 차량단에서 안면 매칭을 구현해야 하며, 네트워크가 존재하지 않을 경우에도 안면을 매칭시킬 수 있도록, 네트워크가 존재할 경우 클라우드 서버로부터 데이터 세트를 다운로드하고 데이터 세트를 차량단에 저장할 수 있는데, 이때, 네트워크가 존재하지 않아 클라우드 서버와 통신할 수 없어도, 차량단에서 안면 매칭을 구현할 수 있고, 데이터 세트에 대한 차량단의 관리에 편리하다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은,
차량 또는 이동단 기기에 의해 송신된 예약 요청을 수신하는 단계 - 예약 요청은 사용자의 예약 안면 이미지를 포함함 - ; 및
예약 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함한다.
사용자가 예약되었는 지의 여부를 인식하기 위하여, 먼저 예약된 사용자에 대응되는 예약 안면 이미지를 저장해야 하고, 본 실시예에서, 클라우드 서버에서, 이미 예약된 예약 안면 이미지에 데이터 세트를 구축하며, 데이터 세트에 이미 예약된 다수의 사용자의 예약 안면 이미지를 저장하고, 클라우드 서버를 통해 저장함으로써, 데이터의 안전성을 보장한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은,
차량에 의해 송신된 사용자 상태 검출의 적어도 일부 결과를 수신하고, 비정상적 차량 사용 상태의 경보 프롬프트를 진행하는 단계를 더 포함한다.
선택 가능하게, 적어도 일부 결과는 사용자 상태 검출에 따라 결정된 비정상적 차량 사용 상태 정보를 포함한다.
사용자 상태 검출에 의해 획득된 일부 결과 또는 전체 결과를 클라우드 서버에 송신할 경우, 비정상적 차량 사용 상태 정보를 백업할 수 있고, 정상적 차량 사용 상태는 기록할 필요 없으므로, 본 실시예는 비정상적 차량 사용 상태 정보만 클라우드 서버에 송신하며; 획득된 운전자 상태 검출 결과가 정상적 차량 사용 상태 정보 및 비정상적 차량 사용 상태 정보를 포함할 경우, 일부 결과를 전송하는데, 즉 비정상적 차량 사용 상태 정보만 클라우드 서버에 송신하고; 사용자 상태 검출의 전체 결과가 모두 비정상적 차량 사용 상태 정보일 경우, 전체 비정상적 차량 사용 상태 정보를 클라우드 서버에 전송한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 제어 방법은, 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함한다.
선택 가능하게, 사용자가 운전자일 경우, 사용자 상태 검출의 결과가 프롬프트/경고의 사전 결정된 조건을 만족시키면, 예를 들어, 프롬프트 운전 상태(운전 상태가 비교적 나쁨)에 대응되는 기설정된 조건을 만족시키거나 상태 레벨이 프롬프트 운전 상태(운전 상태가 비교적 나쁨)이면, 상기 프롬프트/경고의 사전 결정된 조건에 대응되는 프롬프트/경고 정보를 출력하고, 예를 들어, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임 등)/진동 등 방식을 통해 사용자를 프롬프트하여, 사용자가 주의하도록 알리고, 사용자가 분산된 주의력을 운전에 되돌리도록 하거나 사용자가 휴식 등을 취하도록 함으로써, 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하거나; 및/또는,
사용자가 운전자일 경우, 사용자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 예를 들어, 경고 운전 상태(운전 상태가 아주 나쁨)에 대응되는 기설정된 조건을 만족시키거나 운전 상태 레벨이 경고 부주의 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)이면, 운전 모드를 자동 운전 모드로 전환시켜 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하며; 동시에, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임 등)/진동 등 방식을 통해 사용자를 프롬프트하여, 사용자가 주의하도록 알리고, 사용자가 분산된 주의력을 운전에 되돌리도록 하거나 사용자가 휴식 등을 취하도록 하거나; 및/또는,
결정된 사용자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하고, 예를 들어, 사용자가 어느 또는 일부 동작을 실행하도록 약정할 경우, 사용자가 위험 상태에 있거나 도움이 필요함을 나타내는데, 이러한 동작이 검출될 경우, 사전 결정된 연락처(예를 들어, 경보 전화, 최근 연락자의 전화 또는 설정된 긴급 연락자의 전화)에 사전 결정된 정보(예를 들어, 경보 정보, 프롬프트 정보 또는 통화 연결)를 송신하고, 차량 탑재 기기를 통해 사전 결정된 연락처와 직접 통신 연결(예를 들어, 영상 통화, 음성 통화 또는 전화 통화)을 구축하여 사용자의 신변 및/또는 재산 안전을 보장할 수 있다.
선택 가능하게, 차량 제어 방법은, 차량에 의해 송신된 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 수신하는 단계를 더 포함한다.
본 실시예에서, 차량단의 데이터가 잘못 삭제되거나 고의로 삭제되는 것을 방지하기 위하여, 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 클라우드 서버에 업로드하여 백업할 수 있으며, 정보가 필요할 경우, 클라우드 서버로부터 차량단에 다운로드하여 조회할 수 있거나, 클라우드 서버로부터 다른 클라이언트에 다운로드하여 조회할 수 있다.
선택 가능하게, 차량 제어 방법은, 비정상적 차량 사용 상태 정보에 기반하여 데이터 통계, 차량 관리, 사용자 관리 중 적어도 하나의 동작을 진행하는 단계를 더 포함한다.
클라우드 서버는 다수의 차량의 비정상적 차량 사용 상태 정보를 수신할 수 있고, 빅 데이터에 기반한 데이터 통계, 차량 및 사용자에 대한 관리를 구현하여 차량 및 사용자를 위해 보다 좋은 서비스를 제공할 수 있다.
선택 가능하게, 비정상적 차량 사용 상태 정보에 기반하여 데이터 통계를 진행하는 단계는,
비정상적 차량 사용 상태 정보에 기반하여, 수신된 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 통계하여, 안면 이미지를 상이한 비정상적 차량 사용 상태에 따라 분류하고, 각 비정상적 차량 사용 상태의 통계 상황을 결정하는 단계를 포함한다.
각 상이한 비정상적 차량 사용 상태에 대해 분류 통계를 진행하여 빅 데이터에 기반한, 사용자가 흔히 나타나는 비정상적 차량 사용 상태를 획득할 수 있고, 차량에서 비정상적 차량 사용 상태에 보다 적합하게 대응하기 위한 설정 및 장치를 제공하도록, 차량 개발자에 보다 많은 참고 데이터를 제공할 수 있고, 사용자에 보다 편안한 차량 사용 환경을 제공한다.
선택 가능하게, 비정상적 차량 사용 상태 정보에 기반하여 차량 관리를 진행하는 단계는,
비정상적 차량 사용 상태 정보에 기반하여, 수신된 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 통계하여, 안면 이미지를 상이한 차량에 따라 분류하고, 각 차량의 비정상적 차량 사용 통계 상황을 결정하는 단계를 포함한다.
차량에 기반하여 비정상적 차량 사용 상태 정보를 통계함으로써, 차량에 대응되는 모든 사용자의 비정상적 차량 사용 상태 정보를 처리할 수 있는데, 예를 들어, 어느 하나의 차량에 문제가 발생되면, 상기 차량에 대응되는 모든 비정상적 차량 사용 상태 정보를 조회하여 책임을 결정할 수 있다.
선택 가능하게, 비정상적 차량 사용 상태 정보에 기반하여 사용자 관리를 진행하는 단계는,
비정상적 차량 사용 상태 정보에 기반하여, 수신된 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 처리하여, 안면 이미지를 상이한 사용자에 따라 분류하고, 각 사용자의 비정상적 차량 사용 통계 상황을 결정하는 단계를 포함한다.
사용자에 기반하여 비정상적 차량 사용 상태 정보를 통계함으로써, 각각의 사용자의 차량 사용 습관 및 흔히 발생되는 문제를 획득할 수 있고, 각각의 사용자에 개성화 서비스를 제공할 수 있으며, 차량 안전 사용의 목적에 도달하는 동시에, 차량 사용 습관이 우수한 사용자를 간섭하지 않는다. 예를 들어, 비정상적 차량 사용 상태 정보를 통계하여 어느 운전자가 흔히 차량 운전시 하품하는 것이 결정되면, 상기 운전자에 대해 더 높은 음량의 프롬프트 정보를 제공할 수 있다.
본 기술분야의 통상의 기술자는 상기 방법 실시예의 모든 또는 부분 단계의 구현은 프로그램 명령과 관련되는 하드웨어를 통해 완성될 수 있고, 전술한 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법 실시예를 포함하는 단계를 수행하고, 전술한 저장 매체는 ROM, RAM, 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함함을 이해할 수 있다.
도 8은 본 발명의 일부 실시예의 전자 기기의 구조 모식도이다. 상기 실시예의 전자 기기는 본 발명의 상기 각 차량 제어 방법 실시예를 구현할 수 있다. 도 8에 도시된 바와 같이, 상기 실시예의 전자 기기는 하기와 같은 유닛을 포함한다.
이미지 수신 유닛(81)은, 차량에 의해 송신된 인식될 안면 이미지를 수신한다.
매칭 결과 획득 유닛(82)은, 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득한다.
선택 가능하게, 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장된다. 선택 가능하게, 클라우드 서버는 차량으로부터 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 직접 획득할 수 있는데, 이때, 특징 매칭 과정은 차량단에서 구현된다.
명령 송신 유닛(83)은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량 제어를 허용하는 명령을 차량에 송신을 송신한다.
본 발명의 상기 실시예에 의해 제공되는 전자 기기에 기반하여, 차량단에서 안면 특징 매칭을 구현함으로써, 네트워크에 대한 사용자 인식의 의존을 감소시키고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으며, 차량의 안전 보장성을 추가로 향상시킨다.
선택 가능하게, 전자 기기는 데이터 송신 유닛을 더 포함하되,
상기 데이터 송신 유닛은, 차량에 의해 송신된 데이터 세트 다운로드 요청을 수신하고, 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장되며; 차량에 데이터 세트를 송신한다.
하나 또는 다수의 선택 가능한 실시예에서, 전자 기기는 예약 요청 수신 유닛을 더 포함하되,
상기 예약 요청 수신 유닛은, 차량 또는 이동단 기기에 의해 송신된 예약 요청을 수신하고, 예약 요청은 사용자의 예약 안면 이미지를 포함하며;
예약 안면 이미지에 따라 데이터 세트를 구축한다.
하나 또는 다수의 선택 가능한 실시예에서, 전자 기기는,
차량에 의해 송신된 사용자 상태 검출의 적어도 일부 결과를 수신하고, 비정상적 차량 사용 상태의 경보 프롬프트를 진행하는 검출 결과 수신 유닛을 더 포함한다.
선택 가능하게, 적어도 일부 결과는 사용자 상태 검출에 따라 결정된 비정상적 차량 사용 상태 정보를 포함한다.
하나 또는 다수의 선택 가능한 실시예에서, 전자 기기는, 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 실행 제어 유닛을 더 포함한다.
선택 가능하게, 실행 제어 유닛은,
결정된 사용자 상태 검출의 결과가 프롬프트/경고의 사전 결정된 조건을 만족시키면, 프롬프트/경고의 사전 결정된 조건에 대응되는 프롬프트/경고 정보를 출력하거나; 및/또는,
결정된 사용자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하거나; 및/또는,
결정된 사용자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시킨다.
선택 가능하게, 전자 기기는,
차량에 의해 송신된 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 수신하는 상태 이미지 수신 유닛을 더 포함한다.
선택 가능하게, 전자 기기는,
비정상적 차량 사용 상태 정보에 기반하여 데이터 통계, 차량 관리, 사용자 관리 중 적어도 하나의 동작을 진행하는 비정상 처리 유닛을 더 포함한다.
선택 가능하게, 비정상 처리 유닛은 비정상적 차량 사용 상태 정보에 기반하여 데이터 통계를 진행할 경우, 비정상적 차량 사용 상태 정보에 기반하여, 수신된 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 통계하여, 안면 이미지를 상이한 비정상적 차량 사용 상태에 따라 분류하고, 각 비정상적 차량 사용 상태의 통계 상황을 결정한다.
선택 가능하게, 비정상 처리 유닛은 비정상적 차량 사용 상태 정보에 기반하여 차량 관리를 진행할 경우, 비정상적 차량 사용 상태 정보에 기반하여, 수신된 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 통계하여, 안면 이미지를 상이한 차량에 따라 분류하고, 각 차량의 비정상적 차량 사용 통계 상황을 결정한다.
선택 가능하게, 비정상 처리 유닛은 비정상적 차량 사용 상태 정보에 기반하여 사용자 관리를 진행할 경우, 비정상적 차량 사용 상태 정보에 기반하여, 수신된 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 처리하여, 안면 이미지를 상이한 사용자에 따라 분류하고, 각 사용자의 비정상적 차량 사용 통계 상황을 결정한다.
본 발명의 실시예에 의해 제공되는 전자 기기의 어느 하나의 실시예의 동작 과정 및 설치 방식은 모두 본 발명의 상기 대응되는 방법 실시예의 구체적인 설명을 참조할 수 있고, 편폭의 제한으로 인해 여기서 더 이상 설명하지 않는다.
본 발명의 실시예의 다른 일 양태에 따르면,
도 1 ~ 도 5에 도시된 실시예 중 어느 하나에 따른 차량 제어 방법을 수행하는 차량; 및/또는
도 7에 도시된 실시예 중 어느 하나에 따른 차량 제어 방법을 수행하는 클라우드 서버를 포함하는 차량 관리 시스템을 제공한다.
선택 가능하게, 차량 관리 시스템은 이동단 기기를 더 포함하되,
상기 이동단 기기는, 사용자 등록 요청을 수신하고, 사용자 등록 요청은 사용자의 등록 안면 이미지를 포함하며;
사용자 등록 요청을 클라우드 서버에 송신한다.
본 실시예의 차량 관리 시스템은 차량 클라이언트에서 안면 매칭을 구현함으로써, 클라우드에 의존할 필요없이 안면 매칭을 진행할 수 있으므로, 데이터의 실시간 전송에서 소모되는 플로우 원가를 절감시키고; 유연성이 높으며, 네트워크에 대한 의존이 낮고, 차량 데이터 세트 다운로드는 네트워크가 존재할 경우 완성될 수 있으며, 차량 유휴시 특징 추출을 진행함으로써, 네트워크에 대한 의존을 감소시킨다. 사용자가 차량 사용을 요청할 시 네트워크에 의존하지 않고 인증에 성공한 후 네트워크가 나타나면 비교 결과를 업로드할 수 있다.
도 9는 본 발명의 일부 실시예의 차량 관리 시스템의 사용 흐름도이다. 도 9에 도시된 바와 같이, 상기 실시예에 의해 구현되는 예약 과정은 휴대폰단(이동단 기기)에서 구현되고, 선별된 안면 이미지 및 사용자 ID 정보를 클라우드 서버에 업로드하며, 클라우드 서버는 안면 이미지 및 사용자 ID 정보를 예약 데이터 세트에 저장하고, 요청자 이미지를 수집할 경우, 차량단을 통해 예약 데이터 세트를 차량 클라이언트에 다운로드하여 매칭시키며; 차량은 요청자 이미지를 획득하고, 요청자 이미지에 대해 안면 검출, 품질 선별 및 생체 인식을 순차적으로 진행하여, 선별된 요청 안면 이미지와 예약 데이터 세트 중 모든 안면 이미지를 매칭시키되, 매칭은 안면 특징에 기반하여 구현되고, 안면 특징은 뉴럴 네트워크를 통해 추출되어 획득될 수 있으며, 비교 결과에 기반하여 요청 안면 이미지가 예약자인 지의 여부를 결정하고, 예약자가 차량을 사용하도록 허용한다.
본 발명을 구체적으로 응용할 경우, 이동단 기기(예를 들어, 휴대폰단), 클라우드 서버 및 차량(예를 들어, 차량단)인 3개 부분을 포함할 수 있는데, 구체적으로, 휴대폰단으로 촬영하고, 품질 선별을 진행한 다음, 사진과 인원 정보를 클라우드에 업로드하여 저장하여 예약 과정을 완성한다. 클라우드는 인원 정보를 차량단에 동기화시킨다. 차량단은 인원 정보에 따라 안면 인식 비교를 진행한 후, 지능적 판단을 진행하는 동시에, 클라우드에 사용자 상태를 업데이트하도록 통지한다. 구체적으로 하기와 같은 장점을 포함한다. 실시간성이 좋고, 응답 속도가 빠르며, 딥러닝 기술과 매입형 칩 최적화 기술이 결합되고; 차량단은 ARM, X86 주류 플랫폼을 지원하며(가격이 더 낮은 차량 칩 IMX6, Cotex-A9 800MHz를 지원함); 유연성이 높고, 네트워크에 대한 의존이 낮으며, 차량단 정보 동기화는 네트워크가 존재할 경우 완성될 수 있다. 사용자가 차량 탑승 등록시 네트워크에 의존하지 않고, 인증에 성공한 후 네트워크가 나타나면 상태 정보를 업로드할 수 있으며; 프로세스가 명확하고 간단하며, 네트워크 전송 이미지 크기는 안면 위치에 따라 커팅될 수 있음으로써, 네트워크 오버헤드를 감소시킨다. 이미지 크기는 JPEG 압축을 거쳐 몇십 K를 차지하고; 클라우드를 통해 데이터를 저장 및 관리하므로, 쉽게 손실되지 않으며, 확장성을 강화시킬 수 있고; 안면 인식의 전체 프로세스를 연결시켜 최적화함으로써, 최종 인식 정확률을 보장한다.
본 발명의 실시예의 또 다른 일 양태에 따르면,
실행 가능한 명령을 저장하는 메모리; 및
실행 가능한 명령을 실행하도록 메모리와 통신하여 상기 어느 한 실시예에 따른 차량 제어 방법을 완성하는 프로세서를 포함하는 전자 기기를 제공한다.
도 10은 본 발명의 일부 실시예의 전자 기기의 하나의 응용예의 구조 모식도이다. 아래 도 10을 참조하면, 이는 본 발명의 실시예를 구현하기 위한 단말 기기 또는 서버에 적용되는 전자 기기의 구조 모식도를 나타낸다. 도 10에 도시된 바와 같이, 상기 전자 기기는 하나 또는 다수의 프로세서, 통신부 등을 포함하고, 상기 하나 또는 다수의 프로세서는 예컨대 하나 또는 다수의 중앙 처리 장치(CPU)(1001), 및/또는 하나 또는 다수의 가속 유닛(1013) 등이며, 가속 유닛은 GPU, FPGA, 다른 타입의 전용 프로세서 등을 포함할 수 있지만 이에 한정되지 않고, 프로세서는 판독 전용 메모리(ROM)(1002)에 저장된 실행 가능한 명령 또는 저장 부분(1008)으로부터 랜덤 액세스 메모리(RAM)(1003)에 로딩된 실행 가능한 명령에 따라 다양한 적절한 동작 및 프로세스를 실행할 수 있다. 통신부(1012)는 랜 카드를 포함할 수 있지만 이에 한정되지 않고, 상기 랜 카드는 IB(Infiniband) 랜 카드를 포함할 수 있지만 이에 한정되지 않으며, 프로세서는 판독 전용 메모리(1002) 및/또는 랜덤 액세스 메모리(1003)와 통신하여 실행 가능한 명령을 실행하고, 버스(1004)를 통해 통신부(1012)와 연결되어 통신부(1012)를 통해 다른 타겟 기기와 통신할 수 있음으로써, 본 발명의 실시예에 의해 제공되는 어느 하나의 방법에 대응되는 동작을 완성할 수 있는데, 예를 들어, 현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하고; 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하며; 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 사용자의 차량 사용을 허용하도록 차량 동작을 제어한다.
이 밖에, RAM(1003)에 장치 조작에 필요한 다양한 프로그램과 데이터가 저장될 수 있다. CPU(1001), ROM(1002) 및 RAM(1003)은 버스(1004)를 통해 서로 연결된다. RAM(1003)이 존재할 경우, ROM(1002)은 선택 가능한 모듈이다. RAM(1003)은 실행 가능한 명령을 저장하거나, 또는 실행시 ROM(1002)에 실행 가능한 명령을 라이팅하고, 실행 가능한 명령은 중앙 처리 장치(1001)가 본 발명의 상기 어느 하나의 방법에 대응되는 동작을 실행하도록 한다. 입력/출력(I/O) 인터페이스(1005)도 버스(1004)에 연결된다. 통신부(1012)는 집적되어 설치될 수 있고, 다수의 서브 모듈(예를 들어, 다수의 IB 랜 카드)을 구비하고 버스에 연결되도록 설치될 수도 있다.
키보드, 마우스 등을 포함하는 입력 부분(1006); 음극선관(CRT), 액정 표시 장치(LCD) 및 스피커 등을 포함하는 출력 부분(1007); 하드 디스크 등을 포함하는 저장 부분(1008); 및 LAN 카드, 모뎀 등과 같은 네트워크 인터페이스 카드를 포함하는 통신 부분(1009)은 I/O 인터페이스(1005)에 연결된다. 통신 부분(1009)은 예컨대 인터넷의 네트워크를 통해 통신 처리를 수행한다. 드라이버(1010)도 필요에 따라 I/O 인터페이스(1005)에 연결된다. 예컨대 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등 탈착 가능한 매체(1011)는 필요에 따라 드라이버(1010)에 장착되어, 이들로부터 판독된 컴퓨터 프로그램이 필요에 따라 저장 부분(1008)에 장착되도록 한다.
도 10에 도시된 구조는 하나의 선택 가능한 실시형태일 뿐, 구체적인 구현 과정에서, 실제 필요에 따라 상기 도 10의 부재 개수 및 타입을 선택, 삭감, 추가 또는 대체할 수 있고, 상이한 기능 부재에서, 분리 설치 또는 집적 설치 등 실시형태를 사용할 수도 있는데, 예를 들어, 가속 유닛(1013)과 CPU(1001)는 분리되어 설치될 수 있거나 가속 유닛(1013)을 CPU(1001)에 집적시킬 수 있고, 통신부는 분리되어 설치될 수 있으며, CPU(1001) 또는 가속 유닛(1013)에 집적될 수도 있음을 유의해야 한다. 이러한 대체적인 실시형태는 모두 본 발명이 공개한 보호범위에 속한다.
특히, 본 발명의 실시예에 따르면, 위에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어, 본 발명의 실시예는 기계 판독 가능 매체에 유형적으로 포함되는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 발명의 어느 하나의 실시예에 의해 제공되는 차량 제어 방법의 단계를 대응되게 수행하는 대응되는 명령을 포함할 수 있다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신부(1009)를 통해 네트워크로부터 다운로드되거나 네트워크에 설치될 수 있거나, 및/또는 탈착 가능한 매체(1011)에 설치될 수 있다. 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 본 발명의 어느 하나의 방법에서의 대응되는 단계를 수행한다.
본 발명의 실시예의 또 다른 양태에 따르면, 컴퓨터 판독 가능 명령이 저장된 컴퓨터 저장 매체를 제공하고, 상기 명령이 실행될 경우 상기 실시예의 어느 하나에 따른 차량 제어 방법의 단계를 수행한다.
본 명세서의 각 실시예는 모두 차례로 설명되었고, 각 실시예에서 중점적으로 설명된 것은 모두 다른 실시예와 상이한 부분이며, 각 실시예 사이의 동일하거나 유사한 부분은 서로 참조할 수 있다. 시스템 실시예는 방법 실시예와 기본적으로 대응되므로, 비교적 간단하게 설명되었고, 관련 부분은 방법 실시예의 부분적 설명을 참조할 수 있다.
아주 다양한 방식으로 본 발명의 방법, 장치, 시스템, 기기를 구현할 수 있다. 예를 들어, 소프트웨어, 하드웨어, 펌웨어, 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 본 발명의 방법, 장치, 시스템, 기기를 구현할 수 있다. 상기 방법의 단계에 사용되는 상기 순서는 설명하기 위한 것일 뿐, 다른 방식으로 특별히 설명되지 않은 한, 본 발명의 방법의 단계는 이상의 설명 순서에 한정되지 않는다. 이 밖에, 일부 실시예에서, 본 발명을 기록 매체에 기록되는 프로그램으로 실시할 수 있고, 이러한 프로그램은 본 발명에 따른 방법을 구현하기 위한 기계 판독 가능 명령을 포함한다. 따라서, 본 발명은 또한 본 발명에 따른 방법을 수행하기 위한 프로그램을 저장하는 기록 매체를 커버리징한다.
본 발명의 설명은 예시 및 설명을 위한 것이고, 누락이 없거나 본 발명을 공개된 형태에 한정하는 것이 아니다. 많은 수정 및 변경은 본 기술분야의 통상의 기술자에게 있어서 자명한 것이다. 실시예를 선택하고 설명하는 것은 본 발명의 원리 및 실제 응용을 보다 명확하게 설명하기 위한 것이고, 본 기술분야의 통상의 기술자가 본 발명을 이해할 수 있도록 함으로써 설계가 특정된 용도의 다양하게 수정되는 다양한 실시예에 적용되도록 한다.

Claims (105)

  1. 차량 기기에 의해 수행되는 차량 제어 방법으로서,
    차량에 설치된 촬영 컴포넌트를 통해 현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하는 단계 - 상기 차량 사용은 차량 예약, 차량 운전, 차량 탑승, 차량 세척, 차량 정비, 차량 보수, 차량 주유, 차량 충전 중 적어도 하나를 포함함- ;
    상기 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 하나 또는 복수 개의 기저장된 안면 이미지가 저장되고, 상기 데이터 세트에는 적어도 하나의 차량 사용이 이미 예약된 사용자의 기저장된 안면 이미지가 저장됨 - ;
    상기 특징 매칭 결과가 특징 매칭 성공인 것에 응답하여, 상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하고, 상기 특징 매칭 결과가 특징 매칭 실패인 것에 응답하여, 상기 사용자의 차량 사용을 거절하도록 차량 동작을 제어하는 단계;
    상기 안면 이미지에 기반하여 사용자 상태 검출을 진행하는 단계; 및
    상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계
    를 포함하며,
    상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는,
    차문을 개방하도록 제어하는 단계; 차문을 개방하도록 제어하고 차량 운전 제어권을 허가하는 단계; 차량 잠금을 해제하도록 제어하는 단계; 차량 주유구를 오픈하도록 제어하는 단계; 및 충전 기기와 차량의 전지의 연결을 허용하도록 제어하는 단계; 중 적어도 하나를 포함하며,
    상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는,
    결정된 상기 사용자 상태 검출의 결과가 프롬프트/경고의 사전 결정된 조건을 만족시키는 것에 응답하여, 상기 프롬프트/경고의 사전 결정된 조건에 대응되는 프롬프트/경고 정보를 출력하는 단계;
    결정된 상기 사용자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키는 것에 응답하여, 기설정된 연락처에 사전 결정된 정보를 송신하거나 기설정된 연락처와 통신 연결을 구축하는 단계; 및
    결정된 상기 사용자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키는 것에 응답하여, 운전 모드를 자동 운전 모드로 전환시키는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 제어 방법.
  2. 청구항 1 에 있어서,
    사용자의 차량 사용을 허용하도록 나타내는 프롬프트 정보를 송신하도록 차량을 제어하는 단계를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  3. 청구항 1에 있어서,
    현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하는 단계는,
    상기 차량에 설치된 촬영 컴포넌트를 통해 상기 사용자의 안면 이미지를 수집하는 단계를 포함하는 것을 특징으로 하는 차량 제어 방법.
  4. 청구항 1에 있어서,
    상기 차량과 클라우드 서버가 통신 연결 상태일 경우, 상기 클라우드 서버에 데이터 세트 다운로드 요청을 송신하는 단계; 및
    상기 클라우드 서버에 의해 송신된 데이터 세트를 수신하여 저장하는 단계;
    또는,
    상기 차량과 이동단 기기가 통신 연결 상태일 경우, 상기 이동단 기기에 데이터 세트 다운로드 요청을 송신하는 단계; 및
    상기 이동단 기기에 의해 송신된 데이터 세트를 수신하여 저장하는 단계 - 상기 데이터 세트는 상기 이동단 기기가 상기 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버로부터 획득하여 상기 차량에 송신된 것임 - ; 를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  5. 청구항 1에 있어서,
    상기 특징 매칭 결과가 특징 매칭 성공인 것에 응답하여, 특징 매칭 성공된 기저장된 안면 이미지에 따라 상기 사용자의 신분 정보를 획득하는 단계; 및
    클라우드 서버에 상기 안면 이미지 및 상기 신분 정보를 송신하는 단계를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  6. 청구항 1 에 있어서,
    상기 안면 이미지의 생체 검출 결과를 획득하는 단계를 더 포함하고;
    상기 특징 매칭 결과가 특징 매칭 성공인 것에 응답하여, 상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는,
    상기 특징 매칭 결과 및 상기 생체 검출 결과에 따라, 상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계를 포함하는 것을 특징으로 하는 차량 제어 방법.
  7. 청구항 6에 있어서,
    예약 정보를 송신하여 프롬프트하는 단계;
    상기 예약 정보에 따라 상기 사용자의 예약 요청을 수신하는 단계 - 상기 사용자의 예약 요청은 사용자의 예약 안면 이미지를 포함함 - ; 및
    상기 예약 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  8. 청구항 1에 있어서,
    사용자 상태 검출의 결과에 따라 비정상적 상태의 경보 프롬프트를 진행하는 단계를 더 포함하며,
    상기 사용자 상태 검출은 사용자 피로 상태 검출, 사용자 부주의 상태 검출, 사용자의 사전 결정된 부주의 동작 검출 중 임의의 하나 또는 다수를 포함하며,
    상기 안면 이미지에 기반하여 사용자 피로 상태 검출을 진행하는 단계는,
    상기 안면 이미지의 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득하는 단계 - 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함함 - ;
    소정의 시간 내의 상기 안면의 적어도 일부 영역의 상태 정보에 따라, 사용자 피로 상태를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
    사용자 피로 상태를 나타내는 지표의 파라미터 값에 따라 사용자 피로 상태 검출의 결과를 결정하는 단계를 포함하며,
    상기 사용자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함하며,
    상기 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하며,
    상기 하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 차량 제어 방법.
  9. 청구항 8에 있어서,
    상기 안면 이미지에 기반하여 사용자 부주의 상태 검출을 진행하는 단계는,
    상기 안면 이미지에 대해 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 것 및 상기 안면 이미지에 대해 시선 방향 검출을 진행하여 시선 방향 정보를 획득하는 것 중 적어도 하나를 진행하는 단계;
    소정의 시간 내의 상기 안면 방향 정보 및 시선 방향 정보 중 적어도 하나에 따라, 사용자 부주의 상태를 나타내는 지표의 파라미터 값을 결정하는 단계 - 상기 사용자 부주의 상태를 나타내는 지표는 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함함 - ; 및
    상기 사용자 부주의 상태를 나타내는 지표의 파라미터 값에 따라 사용자 부주의 상태 검출의 결과를 결정하는 단계를 포함하며,
    상기 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하며;
    상기 시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 차량 제어 방법.
  10. 청구항 9에 있어서,
    상기 안면 이미지 중의 사용자에 대해 안면 방향 검출 및 시선 방향 검출 중 적어도 하나를 진행하는 단계는,
    상기 안면 이미지의 안면 키 포인트를 검출하는 단계; 및
    상기 안면 키 포인트에 따라 안면 방향 검출 및 시선 방향 검출 중 적어도 하나를 진행하는 단계를 포함하는 것을 특징으로 하는 차량 제어 방법.
  11. 청구항 10에 있어서,
    상기 안면 키 포인트에 따라 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 단계는,
    상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계; 및
    상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 차량 제어 방법.
  12. 청구항 8에 있어서,
    상기 사전 결정된 부주의 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함하며,
    상기 안면 이미지에 기반하여 사용자의 사전 결정된 부주의 동작 검출을 진행하는 단계는,
    상기 안면 이미지에 대해 상기 사전 결정된 부주의 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 박스를 획득하는 단계; 및
    상기 타겟 객체의 검출 박스에 따라, 상기 사전 결정된 부주의 동작의 발생 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 차량 제어 방법.
  13. 청구항 12에 있어서,
    사전 결정된 부주의 동작이 발생된 것에 응답하여, 소정의 시간 내 상기 사전 결정된 부주의 동작의 발생 여부의 결정 결과를 획득하고, 사용자 부주의 정도를 나타내는 지표의 파라미터 값을 획득하는 단계 - 상기 사용자 부주의 정도를 나타내는 지표의 파라미터 값은 사전 결정된 부주의 동작의 횟수, 사전 결정된 부주의 동작의 지속 시간, 사전 결정된 부주의 동작의 빈도 중 임의의 하나 또는 다수를 포함함 - ; 및
    상기 사용자 부주의 정도를 나타내는 지표의 파라미터 값에 따라 사용자의 사전 결정된 부주의 동작 검출의 결과를 결정하는 단계를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  14. 청구항 12에 있어서,
    사용자의 사전 결정된 부주의 동작 검출의 결과가 사전 결정된 부주의 동작이 검출된 것에 응답하여, 검출된 사전 결정된 부주의 동작을 프롬프트하는 단계를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  15. 삭제
  16. 청구항 8에 있어서,
    클라우드 서버에 상기 사용자 상태 검출의 적어도 일부 결과를 송신하는 단계를 더 포함하며, 상기 적어도 일부 결과는 사용자 상태 검출에 따라 결정된 비정상적 차량 사용 상태 정보를 포함하며,
    상기 차량 제어 방법은,
    상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 저장하는 단계; 및
    상기 클라우드 서버에 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 송신하는 단계; 중 적어도 하나를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  17. 차량 탑재 지능형 시스템으로서,
    프로세서;
    상기 프로세서에 의해 실행 가능한 명령을 저장하는 메모리를 포함하고,
    상기 명령이 프로세서에 의해 실행될 경우, 프로세서는,
    현재 차량 사용을 요청하는 사용자의 안면 이미지를 획득하는 단계- 상기 차량 사용은 차량 예약, 차량 운전, 차량 탑승, 차량 세척, 차량 정비, 차량 보수, 차량 주유, 차량 충전 중 적어도 하나를 포함함- ;
    상기 안면 이미지와 차량의 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 하나 또는 복수 개의 기저장된 안면 이미지가 저장되고, 상기 데이터 세트에는 적어도 하나의 차량 사용이 이미 예약된 사용자의 기저장된 안면 이미지가 저장됨 - ;
    상기 특징 매칭 결과가 특징 매칭 성공인 것에 응답하여, 상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하고, 상기 특징 매칭 결과가 특징 매칭 실패인 것에 응답하여, 상기 사용자의 차량 사용을 거절하도록 차량 동작을 제어하는 단계;
    상기 안면 이미지에 기반하여 사용자 상태 검출을 진행하는 단계; 및
    상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계
    를 실행하며,
    상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는,
    차문을 개방하도록 제어하는 단계; 차문을 개방하도록 제어하고 차량 운전 제어권을 허가하는 단계; 차량 잠금을 해제하도록 제어하는 단계; 차량 주유구를 오픈하도록 제어하는 단계; 및 충전 기기와 차량의 전지의 연결을 허용하도록 제어하는 단계; 중 적어도 하나를 포함하며,
    상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는,
    결정된 상기 사용자 상태 검출의 결과가 프롬프트/경고의 사전 결정된 조건을 만족시키는 것에 응답하여, 상기 프롬프트/경고의 사전 결정된 조건에 대응되는 프롬프트/경고 정보를 출력하는 단계;
    결정된 상기 사용자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키는 것에 응답하여, 기설정된 연락처에 사전 결정된 정보를 송신하거나 기설정된 연락처와 통신 연결을 구축하는 단계; 및
    결정된 상기 사용자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키는 것에 응답하여, 운전 모드를 자동 운전 모드로 전환시키는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  18. 클라우드 서버에 의해 실행되는 차량 제어 방법으로서,
    차량에 의해 송신된 인식될 안면 이미지를 수신하는 단계;
    상기 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 하나 또는 복수 개의 기저장된 안면 이미지가 저장되고, 상기 데이터 세트에는 적어도 하나의 차량 사용이 이미 예약된 사용자의 기저장된 안면 이미지가 저장됨 - ;
    상기 특징 매칭 결과가 특징 매칭 성공인 것에 응답하여, 상기 차량에 차량 제어를 허용하는 명령을 송신하고, 상기 특징 매칭 결과가 특징 매칭 실패인 것에 응답하여, 상기 차량에 차량 제어를 거절하는 명령을 송신하는 단계;
    상기 안면 이미지에 기반하여 사용자 상태 검출을 진행하는 단계; 및
    상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계
    를 포함하며,
    상기 사용자의 차량 사용을 허용하도록 차량 동작을 제어하는 단계는,
    차문을 개방하도록 제어하는 단계; 차문을 개방하도록 제어하고 차량 운전 제어권을 허가하는 단계; 차량 잠금을 해제하도록 제어하는 단계; 차량 주유구를 오픈하도록 제어하는 단계; 및 충전 기기와 차량의 전지의 연결을 허용하도록 제어하는 단계; 중 적어도 하나를 포함하며,
    상기 사용자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는,
    결정된 상기 사용자 상태 검출의 결과가 프롬프트/경고의 사전 결정된 조건을 만족시키는 것에 응답하여, 상기 프롬프트/경고의 사전 결정된 조건에 대응되는 프롬프트/경고 정보를 출력하는 단계;
    결정된 상기 사용자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키는 것에 응답하여, 기설정된 연락처에 사전 결정된 정보를 송신하거나 기설정된 연락처와 통신 연결을 구축하는 단계; 및
    결정된 상기 사용자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키는 것에 응답하여, 운전 모드를 자동 운전 모드로 전환시키는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 제어 방법.
  19. 청구항 18에 있어서,
    차량에 의해 송신된 데이터 세트 다운로드 요청을 수신하는 단계 - 상기 데이터 세트에는 적어도 하나의 미리 기록된, 차량 사용이 허용되는 사용자의 기저장된 안면 이미지가 저장됨 - ;
    상기 차량에 상기 데이터 세트를 송신하는 단계;
    차량 또는 이동단 기기에 의해 송신된 예약 요청을 수신하는 단계 - 상기 예약 요청은 사용자의 예약 안면 이미지를 포함함 - ; 및
    상기 예약 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  20. 청구항 18에 있어서,
    상기 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계는,
    상기 차량으로부터 상기 안면 이미지와 데이터 세트 중 적어도 하나의 기저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 차량 제어 방법.
  21. 청구항 18에 있어서,
    상기 차량에 의해 송신된 상기 사용자 상태 검출의 적어도 일부 결과를 수신하고, 비정상적 차량 사용 상태의 경보 프롬프트를 진행하는 단계 - 상기 적어도 일부 결과는 사용자 상태 검출에 따라 결정된 비정상적 차량 사용 상태 정보를 포함함 - ;를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  22. 청구항 21에 있어서,
    상기 차량에 의해 송신된, 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 차량 제어 방법.
  23. 청구항 22에 있어서,
    상기 비정상적 차량 사용 상태 정보에 기반하여 데이터 통계, 차량 관리, 사용자 관리 중 적어도 하나의 동작을 진행하는 단계를 더 포함하며,
    상기 비정상적 차량 사용 상태 정보에 기반하여 데이터 통계를 진행하는 단계는,
    상기 비정상적 차량 사용 상태 정보에 기반하여, 수신된 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 통계하여, 상기 안면 이미지를 상이한 비정상적 차량 사용 상태에 따라 분류하고, 각 상기 비정상적 차량 사용 상태의 통계 상황을 결정하는 단계를 포함하며,
    상기 비정상적 차량 사용 상태 정보에 기반하여 차량 관리를 진행하는 단계는,
    상기 비정상적 차량 사용 상태 정보에 기반하여, 수신된 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 통계하여, 상기 안면 이미지를 상이한 차량에 따라 분류하고, 각 상기 차량의 비정상적 차량 사용 통계 상황을 결정하는 단계를 포함하며,
    상기 비정상적 차량 사용 상태 정보에 기반하여 사용자 관리를 진행하는 단계는,
    상기 비정상적 차량 사용 상태 정보에 기반하여, 수신된 상기 비정상적 차량 사용 상태 정보에 대응되는 안면 이미지를 처리하여, 상기 안면 이미지를 상이한 사용자에 따라 분류하고, 각 상기 사용자의 비정상적 차량 사용 통계 상황을 결정하는 단계를 포함하는 것을 특징으로 하는 차량 제어 방법.
  24. 전자 기기로서,
    프로세서;
    상기 프로세서에 의해 실행 가능한 명령을 저장하는 메모리를 포함하고,
    상기 명령이 프로세서에 의해 실행될 경우, 프로세서는 청구항 18에 따른 차량 제어 방법을 구현하는 것을 특징으로 하는 전자 기기.
  25. 컴퓨터 판독 가능 명령이 저장되고, 차량 기기에 적용되는 비휘발성 컴퓨터 저장 매체로서,
    상기 명령이 실행될 경우 청구항 1 에 따른 차량 제어 방법을 구현하는 것을 특징으로 하는 비휘발성 컴퓨터 저장 매체.
  26. 컴퓨터 판독 가능 명령이 저장되고, 차량 기기에 적용되는 비휘발성 컴퓨터 저장 매체로서,
    상기 명령이 실행될 경우 청구항 18 에 따른 차량 제어 방법을 구현하는 것을 특징으로 하는 비휘발성 컴퓨터 저장 매체.
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 삭제
  99. 삭제
  100. 삭제
  101. 삭제
  102. 삭제
  103. 삭제
  104. 삭제
  105. 삭제
KR1020207012404A 2018-06-04 2018-09-14 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체 KR102297162B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217027087A KR102374507B1 (ko) 2018-06-04 2018-09-14 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810565700.3 2018-06-04
CN201810565700.3A CN108819900A (zh) 2018-06-04 2018-06-04 车辆控制方法和系统、车载智能系统、电子设备、介质
PCT/CN2018/105809 WO2019232973A1 (zh) 2018-06-04 2018-09-14 车辆控制方法和系统、车载智能系统、电子设备、介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217027087A Division KR102374507B1 (ko) 2018-06-04 2018-09-14 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체

Publications (2)

Publication Number Publication Date
KR20200057768A KR20200057768A (ko) 2020-05-26
KR102297162B1 true KR102297162B1 (ko) 2021-09-06

Family

ID=64143618

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217027087A KR102374507B1 (ko) 2018-06-04 2018-09-14 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
KR1020207012404A KR102297162B1 (ko) 2018-06-04 2018-09-14 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217027087A KR102374507B1 (ko) 2018-06-04 2018-09-14 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체

Country Status (6)

Country Link
EP (1) EP3628549B1 (ko)
JP (1) JP6916307B2 (ko)
KR (2) KR102374507B1 (ko)
CN (1) CN108819900A (ko)
SG (1) SG11201911197VA (ko)
WO (1) WO2019232973A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291607B (zh) * 2018-12-06 2021-01-22 广州汽车集团股份有限公司 驾驶员分神检测方法、装置、计算机设备和存储介质
CN109693612A (zh) * 2019-01-09 2019-04-30 北京旷视科技有限公司 一种行车辅助方法、装置、车载终端和计算机可读介质
CN110077361B (zh) * 2019-04-26 2022-02-22 深圳市元征科技股份有限公司 一种车辆控制方法及装置
CN110111535A (zh) * 2019-06-11 2019-08-09 陈乐堂 利用第五代移动通信技术的实时交通监控方法
CN110271557B (zh) * 2019-06-12 2021-05-14 浙江亚太机电股份有限公司 一种车辆用户特征识别系统
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
CN110674717B (zh) * 2019-09-16 2022-08-26 杭州奔巴慧视科技有限公司 基于姿态识别的吸烟监测系统
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN112793570A (zh) * 2019-10-29 2021-05-14 北京百度网讯科技有限公司 自动驾驶车辆的控制方法、装置、设备及存储介质
CN111049802A (zh) * 2019-11-18 2020-04-21 上海擎感智能科技有限公司 无感登录方法、系统、存储介质及车机端
CN111516640B (zh) * 2020-04-24 2022-01-04 上海商汤临港智能科技有限公司 车门控制方法、车辆、系统、电子设备和存储介质
WO2021212504A1 (zh) * 2020-04-24 2021-10-28 上海商汤临港智能科技有限公司 车辆和车舱域控制器
CN112037380B (zh) * 2020-09-03 2022-06-24 上海商汤临港智能科技有限公司 车辆控制方法及装置、电子设备、存储介质和车辆
CN112883417A (zh) * 2021-02-01 2021-06-01 重庆长安新能源汽车科技有限公司 一种基于人脸识别的新能源汽车控制方法、系统及新能源汽车
CN113312958B (zh) * 2021-03-22 2024-04-12 广州宸祺出行科技有限公司 一种基于司机状态的派单优先度调整方法及装置
CN113223227B (zh) * 2021-04-15 2023-01-20 广州爽游网络科技有限公司 通过在短视频图像上执行手势控制门禁开关的实现方法
CN113696853B (zh) * 2021-08-27 2022-05-31 武汉市惊叹号科技有限公司 一种基于物联网的智能汽车中央控制系统
CN114124528B (zh) * 2021-09-17 2024-01-23 珠海极海半导体有限公司 无线mcu和车辆配置系统
CN114296465B (zh) * 2021-12-31 2024-06-11 上海商汤临港智能科技有限公司 一种车辆的控制方法、设备和计算机可读存储介质
CN115862270A (zh) * 2022-12-27 2023-03-28 东风悦享科技有限公司 一种新型的安全员状态监测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015056530A1 (ja) * 2013-10-17 2015-04-23 みこらった株式会社 自動運転車、自動運転車の盗難防止システム、自動運転車の盗難防止プログラム、端末制御用プログラム及び自動運転車のレンタル方法
JP2015529599A (ja) * 2012-09-28 2015-10-08 インテル コーポレイション 車両群に対する段階的アクセスレベル
JP2018013811A (ja) 2016-07-18 2018-01-25 株式会社デンソー ドライバ状態判定装置、及びドライバ状態判定プログラム
JP2018030498A (ja) 2016-08-25 2018-03-01 株式会社デンソーテン 入出庫支援装置および入出庫支援方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046538A1 (en) * 1995-06-07 2009-02-19 Automotive Technologies International, Inc. Apparatus and method for Determining Presence of Objects in a Vehicle
JP4161963B2 (ja) * 2004-12-16 2008-10-08 トヨタ自動車株式会社 画像情報認証システム
ES2374221T3 (es) * 2005-07-11 2012-02-14 Volvo Technology Corporation Métodos y dispositivo para llevar a cabo la verificación de identidad de un conductor.
KR100778060B1 (ko) * 2007-06-01 2007-11-21 (주)텔릭스타 얼굴인식기술을 이용한 위난방지장치 및 이를 이용한위난방지장치 시스템
DE102008020915A1 (de) * 2007-11-06 2009-05-14 Klotz, Werner Elektronischer Nachweis- Einrichtungen "Schlüssel" programmierbare Freigabe- Fahrerlaubnis Lizenz- "Mobil"-Funkfernbedienungs- Kontroll- System- oder Schlüsselsteuerung
JP4636171B2 (ja) * 2008-12-17 2011-02-23 トヨタ自動車株式会社 車両用生体認証システム
JP5402365B2 (ja) * 2009-08-04 2014-01-29 大日本印刷株式会社 キーレスエントリー装置
JP5437904B2 (ja) * 2010-05-12 2014-03-12 株式会社東海理化電機製作所 給電プラグロック装置
CN101902619A (zh) * 2010-06-22 2010-12-01 浙江天鸿汽车用品有限公司 车载智能身份识别与监视系统
JP5782726B2 (ja) * 2011-02-04 2015-09-24 日産自動車株式会社 覚醒低下検出装置
CN102975690A (zh) * 2011-09-02 2013-03-20 上海博泰悦臻电子设备制造有限公司 汽车锁定系统及方法
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
CN103303257A (zh) * 2013-06-24 2013-09-18 开平市中铝实业有限公司 一种汽车指纹及人脸认证启动系统
DE102013114394A1 (de) * 2013-12-18 2015-06-18 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Authentifizierung eines Fahrers in einem Kraftfahrzeug
JP6150258B2 (ja) * 2014-01-15 2017-06-21 みこらった株式会社 自動運転車
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
JP2015153258A (ja) * 2014-02-17 2015-08-24 パナソニックＩｐマネジメント株式会社 車両用個人認証システム及び車両用個人認証方法
EP3154830A4 (en) * 2014-06-11 2018-06-20 Veridium IP Limited System and method for facilitating user access to vehicles based on biometric information
CN104143090B (zh) * 2014-07-30 2018-02-02 哈尔滨工业大学深圳研究生院 一种基于人脸识别的汽车开门方法
KR20160133179A (ko) * 2015-05-12 2016-11-22 자동차부품연구원 통합 hvi기반 운전자 위험상황 판단 방법 및 장치
CN105035025B (zh) * 2015-07-03 2018-04-13 郑州宇通客车股份有限公司 一种驾驶员识别管理方法及系统
KR101895485B1 (ko) * 2015-08-26 2018-09-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법
CN105843375A (zh) * 2016-02-22 2016-08-10 乐卡汽车智能科技（北京）有限公司 用于车辆的设置方法、装置及车载电子信息系统
JP6750796B2 (ja) * 2016-03-25 2020-09-02 Ｎｅｃソリューションイノベータ株式会社 車両システム
JP2017206183A (ja) * 2016-05-20 2017-11-24 Ｎｅｃソリューションイノベータ株式会社 車両システム
CN106218405A (zh) * 2016-08-12 2016-12-14 深圳市元征科技股份有限公司 疲劳驾驶监控方法及云端服务器
CN106335469B (zh) * 2016-09-04 2019-11-26 深圳市云智易联科技有限公司 车载认证方法、系统、车载装置、移动终端及服务器
KR102371591B1 (ko) * 2016-10-06 2022-03-07 현대자동차주식회사 운전자 상태 판단 장치 및 방법
US9963106B1 (en) * 2016-11-07 2018-05-08 Nio Usa, Inc. Method and system for authentication in autonomous vehicles
CN107316363A (zh) * 2017-07-05 2017-11-03 奇瑞汽车股份有限公司 一种基于生物识别技术的汽车智能互联系统
CN108022451A (zh) * 2017-12-06 2018-05-11 驾玉科技（上海）有限公司 一种基于云端的驾驶员状态预警上报及分发系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015529599A (ja) * 2012-09-28 2015-10-08 インテル コーポレイション 車両群に対する段階的アクセスレベル
WO2015056530A1 (ja) * 2013-10-17 2015-04-23 みこらった株式会社 自動運転車、自動運転車の盗難防止システム、自動運転車の盗難防止プログラム、端末制御用プログラム及び自動運転車のレンタル方法
JP2018013811A (ja) 2016-07-18 2018-01-25 株式会社デンソー ドライバ状態判定装置、及びドライバ状態判定プログラム
JP2018030498A (ja) 2016-08-25 2018-03-01 株式会社デンソーテン 入出庫支援装置および入出庫支援方法

Also Published As

Publication number Publication date
KR20200057768A (ko) 2020-05-26
WO2019232973A1 (zh) 2019-12-12
SG11201911197VA (en) 2020-01-30
CN108819900A (zh) 2018-11-16
KR20210111863A (ko) 2021-09-13
JP6916307B2 (ja) 2021-08-11
EP3628549A1 (en) 2020-04-01
KR102374507B1 (ko) 2022-03-15
EP3628549A4 (en) 2020-08-05
EP3628549B1 (en) 2022-05-04
JP2020525884A (ja) 2020-08-27

Similar Documents

Publication Publication Date Title
KR102297162B1 (ko) 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
KR102305914B1 (ko) 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
US10970571B2 (en) Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
US10915769B2 (en) Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
KR102391279B1 (ko) 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량
US10540557B2 (en) Method and apparatus for providing driver information via audio and video metadata extraction
US10503990B2 (en) System and method for determining probability that a vehicle driver is associated with a driver identifier
CN108791299B (zh) 一种基于视觉的驾驶疲劳检测及预警系统及方法
US11383676B2 (en) Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems
CN103434484B (zh) 车载识别认证装置、移动终端、智能车钥控制系统及方法
CN113825689A (zh) 自主交通工具系统
KR20200062284A (ko) 차량 및 차량 도어 잠금 해제 제어 방법, 장치 및 차량 도어 잠금 해제 시스템
US7792328B2 (en) Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
CN110290945A (zh) 记录操作员和周围视场的视频
CN109460780A (zh) 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
JP2020525884A5 (ko)
KR101350882B1 (ko) 영상 분석 서버
KR20110065304A (ko) 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 및 방법
KR101005339B1 (ko) 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템
CN109770922A (zh) 嵌入式疲劳检测系统及方法
RU2703341C1 (ru) Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства
JP2020042490A (ja) 情報管理装置および情報管理方法
P Mathai A New Proposal for Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)