KR20200063193A - 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체 - Google Patents

운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체 Download PDF

Info

Publication number
KR20200063193A
KR20200063193A KR1020207012402A KR20207012402A KR20200063193A KR 20200063193 A KR20200063193 A KR 20200063193A KR 1020207012402 A KR1020207012402 A KR 1020207012402A KR 20207012402 A KR20207012402 A KR 20207012402A KR 20200063193 A KR20200063193 A KR 20200063193A
Authority
KR
South Korea
Prior art keywords
driver
vehicle
image
result
detection
Prior art date
Application number
KR1020207012402A
Other languages
English (en)
Other versions
KR102305914B1 (ko
Inventor
데 멩
케 리
첸디 유
렌보 퀸
Original Assignee
상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 filed Critical 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Publication of KR20200063193A publication Critical patent/KR20200063193A/ko
Application granted granted Critical
Publication of KR102305914B1 publication Critical patent/KR102305914B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00845—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G06K9/00228—
    • G06K9/00268—
    • G06K9/00288—
    • G06K9/00906—
    • G06K9/6211—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

본 출원의 실시예는 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체를 개시하고, 여기서, 운전 관리 방법은, 차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집하는 단계; 상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및 상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 단계를 포함한다. 본 출원의 실시예는 네트워크에 대한 운전자 인식의 의존을 감소시키고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 차량 안전 보장성을 향상시킨다.

Description

운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
본 출원은 2018년 6월 4일에 중국 특허청에 제출된 출원번호가 CN 201810565711.1이고 발명의 명칭이 “운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체”인 중국 특허 출원의 우선권을 주장하는 바, 이의 모든 내용은 참조로서 본 출원에 인용된다.
본 출원은 인공 지능형 기술에 관한 것으로, 특히 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체에 관한 것이다.
지능형 차량은 환경 감지, 계획 결정, 멀티 레벨 보조 운전 등 기능이 일체화된 종합 시스템으로, 주로 컴퓨터, 현대 감지, 정보 융합, 통신, 인공 지능 및 자동 제어 등 기술을 적용하였으며, 전형적인 하이테크 종합 단지이다. 현재, 지능형 차량에 대한 연구는 주로 자동차의 안전성, 편의성을 향상시키고 우수한 인간-차량 인터페이스를 제공하기 위해 노력하고 있다. 근년에 지능형 차량은 이미 세계 차량 공학 분야 연구에서의 이슈 및 자동차 산업 성장에서의 새로운 동력으로 되었고, 많은 선진국에서는 모두 이를 각자의 중점적 발전의 지능형 교통 시스템에 포함시키고 있다.
본 출원의 실시예는 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체를 제공한다.
본 출원의 실시예의 일 양태에 따르면,
차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집하는 단계;
상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 단계를 포함하는 운전 관리 방법을 제공한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 차량과 클라우드 서버가 통신 연결 상태일 경우, 상기 클라우드 서버에 데이터 세트 다운로드 요청을 송신하는 단계; 및
상기 클라우드 서버에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 상기 차량 운전자의 신분 정보를 획득하는 단계; 및
상기 클라우드 서버에 상기 이미지 및 상기 신분 정보를 송신하는 단계를 더 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 상기 차량 운전자의 신분 정보를 획득하는 단계;
상기 이미지 중의 안면 부분을 절취하는 단계; 및
상기 클라우드 서버에 상기 절취된 안면 부분 및 상기 신분 정보를 송신하는 단계를 더 포함한다.
선택 가능하게, 상기 운전 관리 방법은, 수집된 이미지의 생체 검출 결과를 획득하는 단계를 더 포함하고;
상기 특징 매칭 결과에 따라, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 단계는,
상기 특징 매칭 결과 및 생체 검출 결과에 따라, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 단계를 포함한다.
선택 가능하게, 상기 데이터 세트 중의 저장된 안면 이미지에는 운전 권한이 더 대응되게 설정되고;
상기 운전 관리 방법은, 상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 대응되는 운전 권한을 획득하는 단계를 더 포함하며;
상기 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 단계는, 차량을 제어하여 상기 차량에 의해 수신된 상기 권한 범위 내의 조작 명령을 실행하는 단계를 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 비디오 스트림에 기반하여 운전자 상태 검출을 진행하는 단계; 및
운전자 상태 검출의 결과에 따라, 비정상적 운전 상태의 경보 리마인드를 진행하거나 및/또는 지능형 운전 제어를 진행하는 단계를 더 포함한다.
선택 가능하게, 상기 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 사전 결정된 산만 동작 검출, 운전자 제스처 검출 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 비디오 스트림에 기반하여 운전자 피로 상태 검출을 진행하는 단계는,
상기 비디오 스트림 중의 적어도 하나의 이미지의 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득하는 단계 - 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함함 - ;
소정의 시간 내의 상기 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정하는 단계를 포함한다.
선택 가능하게, 상기 운전자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
상기 하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 비디오 스트림에 기반하여 운전자 산만 상태 검출을 진행하는 단계는,
상기 비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하는 단계;
소정의 시간 내의 상기 안면 방향 정보 및/또는 시선 방향 정보에 따라, 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하는 단계 - 상기 운전자 산만 상태를 나타내는 지표는 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함함 - ; 및
상기 운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정하는 단계를 포함한다.
선택 가능하게, 상기 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
상기 시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계는,
상기 비디오 스트림 중 운전자 이미지의 안면 키 포인트를 검출하는 단계; 및
상기 안면 키 포인트에 따라 안면 방향 및/또는 시선 방향 검출을 진행하는 단계를 포함한다.
선택 가능하게, 상기 안면 키 포인트에 따라 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 단계는,
상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계; 및
상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득하는 단계를 포함한다.
선택 가능하게, 상기 사전 결정된 산만 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 비디오 스트림에 기반하여 운전자의 사전 결정된 산만 동작 검출을 진행하는 단계는,
상기 비디오 스트림 중 적어도 하나의 이미지에 대해 상기 사전 결정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하는 단계; 및
상기 타겟 객체의 검출 프레임에 따라, 상기 사전 결정된 산만 동작의 발생 여부를 결정하는 단계를 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
사전 결정된 산만 동작이 발생되면, 소정의 시간 내 상기 사전 결정된 산만 동작의 발생 여부의 결정 결과를 획득하고, 운전자 산만 정도를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
상기 운전자 산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 사전 결정된 산만 동작 검출의 결과를 결정하는 단계를 더 포함한다.
선택 가능하게, 상기 운전자 산만 정도의 지표의 파라미터 값은 사전 결정된 산만 동작의 횟수, 사전 결정된 산만 동작의 지속 시간, 사전 결정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
운전자의 사전 결정된 산만 동작 검출의 결과가 사전 결정된 산만 동작이 검출된 것이면, 검출된 산만 동작을 리마인드하는 단계를 더 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함한다.
선택 가능하게, 상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는,
결정된 상기 운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 상기 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하는 단계; 및/또는,
결정된 상기 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하는 단계; 및/또는,
결정된 상기 운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 단계 중 적어도 하나를 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 클라우드 서버에 상기 운전자 상태 검출의 적어도 일부 결과를 송신하는 단계를 더 포함한다.
선택 가능하게, 상기 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 비디오 스트림 중 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 저장하는 단계; 및/또는,
상기 클라우드 서버에 상기 비디오 스트림 중 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 송신하는 단계를 더 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 차량과 모바일 기기가 통신 연결 상태일 경우, 상기 모바일 기기에 데이터 세트 다운로드 요청을 송신하는 단계; 및
상기 모바일 기기에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함한다.
선택 가능하게, 상기 데이터 세트는 상기 모바일 기기가 상기 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버로부터 획득하여 상기 차량에 송신된 것이다.
선택 가능하게, 상기 운전 관리 방법은,
상기 특징 매칭 결과가 특징 매칭 실패인 것으로 나타내면, 수신된 조작 명령의 실행을 거절하는 단계를 더 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
등록 리마인드 정보를 송신하는 단계;
상기 등록 리마인드 정보에 따라 운전자 등록 요청을 수신하는 단계 - 상기 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함함 - ; 및
상기 등록 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함한다.
선택 가능하게, 상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계는,
상기 차량과 클라우드 서버가 통신 연결 상태일 경우, 상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분을 상기 클라우드 서버에 업로드하고, 상기 클라우드 서버에 의해 송신된 특징 매칭 결과를 수신하는 단계를 포함한다.
본 출원의 실시예의 다른 일 양태에 따르면,
차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집하는 비디오 수집 유닛;
상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 결과 획득 유닛 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 조작 유닛을 포함하는 차량 탑재 지능형 시스템을 제공한다.
본 출원의 실시예의 또 다른 일 양태에 따르면,
차량에 의해 송신된 인식될 안면 이미지를 수신하는 단계;
상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 상기 차량에 차량 제어를 허용하는 명령을 송신하는 단계를 포함하는 운전 관리 방법을 제공한다.
선택 가능하게, 상기 운전 관리 방법은,
차량에 의해 송신된 데이터 세트 다운로드 요청을 수신하는 단계 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
상기 차량에 상기 데이터 세트를 송신하는 단계를 더 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
차량 또는 모바일 기기에 의해 송신된 운전자 등록 요청을 수신하는 단계 - 상기 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함함 - ; 및
상기 등록 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함한다.
선택 가능하게, 상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계는,
상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지에 대해 특징 매칭을 진행하여 상기 특징 매칭 결과를 획득하는 단계를 포함한다.
선택 가능하게, 상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계는,
상기 차량으로부터 상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계를 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 차량에 의해 송신된 운전자 상태 검출의 적어도 일부 결과를 수신하고, 비정상적 운전 상태의 경보 리마인드를 진행하거나 및/또는 상기 차량에 지능형 운전 제어를 진행하는 명령을 송신하는 단계를 더 포함한다.
선택 가능하게, 상기 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함한다.
선택 가능하게, 상기 운전 관리 방법은, 상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함한다.
선택 가능하게, 상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는,
결정된 상기 운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 상기 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하는 단계; 및/또는,
결정된 상기 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하는 단계; 및/또는,
결정된 상기 운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 단계를 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 수신하는 단계를 더 포함한다.
선택 가능하게, 상기 운전 관리 방법은,
상기 비정상적 운전 상태 정보에 기반하여 데이터 통계, 차량 관리, 사용자 관리 중 적어도 하나의 동작을 진행하는 단계를 더 포함한다.
선택 가능하게, 상기 비정상적 운전 상태 정보에 기반하여 데이터 통계를 진행하는 단계는,
상기 비정상적 운전 상태 정보에 기반하여, 수신된 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 상기 이미지 또는 비디오 클립을 상이한 비정상적 운전 상태에 따라 분류하고, 각 상기 비정상적 운전 상태의 통계 상황을 결정하는 단계를 포함한다.
선택 가능하게, 상기 비정상적 운전 상태 정보에 기반하여 차량 관리를 진행하는 단계는,
상기 비정상적 운전 상태 정보에 기반하여, 수신된 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 상기 이미지 또는 비디오 클립을 상이한 차량에 따라 분류하고, 각 상기 차량의 비정상적 운전 통계 상황을 결정하는 단계를 포함한다.
선택 가능하게, 상기 비정상적 운전 상태 정보에 기반하여 운전자 관리를 진행하는 단계는,
상기 비정상적 운전 상태 정보에 기반하여, 수신된 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 처리하여, 상기 이미지 또는 비디오 클립을 상이한 운전자에 따라 분류하고, 각 상기 운전자의 비정상적 운전 통계 상황을 결정하는 단계를 포함한다.
본 출원의 실시예의 또 다른 일 양태에 따르면,
차량에 의해 송신된 인식될 안면 이미지를 수신하는 이미지 수신 유닛;
상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 매칭 결과 획득 유닛 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 상기 차량에 차량 제어를 허용하는 명령을 송신하는 명령 송신 유닛을 포함하는 전자 기기를 제공한다.
본 출원의 실시예의 또 다른 일 양태에 따르면,
상기 어느 한 양태에 따른 운전 관리 방법을 수행하는 차량; 및/또는
상기 어느 한 양태에 따른 운전 관리 방법을 수행하는 클라우드 서버를 포함하는 운전 관리 시스템을 제공한다
선택 가능하게, 상기 차량 탑재 지능형 시스템은 모바일 기기를 더 포함하며,
상기 모바일 기기는, 운전자 등록 요청을 수신하고, 상기 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함하며;
상기 운전자 등록 요청을 상기 클라우드 서버에 송신한다.
본 출원의 실시예의 또 다른 일 양태에 따르면,
실행 가능한 명령을 저장하는 메모리; 및
상기 실행 가능한 명령을 실행하도록 상기 메모리와 통신하여 상기 어느 한 양태에 따른 운전 관리 방법을 완성하는 프로세서를 포함하는 전자 기기를 제공한다.
본 출원의 실시예의 또 다른 일 양태에 따르면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에 실행될 경우, 상기 전자 기기 중의 프로세서는 상기 어느 한 양태에 따른 운전 관리 방법을 구현하도록 실행된다.
본 출원의 실시예의 또 다른 일 양태에 따르면, 컴퓨터 판독 가능 명령이 저장된 컴퓨터 저장 매체를 제공하고, 상기 명령이 실행될 경우 상기 어느 한 양태에 따른 운전 관리 방법을 구현한다.
본 출원의 상기 실시예에 의해 제공되는 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체에 기반하여, 차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집하고; 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하며; 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 차량에 의해 수신된 조작 명령을 실행함으로써, 네트워크에 대한 운전자 인식의 의존을 감소시키고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 차량 안전 보장성을 향상시킨다.
아래, 도면 및 실시예를 통해 본 출원의 기술적 해결수단을 더 상세하게 설명하도록 한다.
명세서의 일부분을 구성하는 도면은 본 출원의 실시예를 설명하고 또한 설명과 함께 본 출원의 원리를 해석한다.
도면을 참조하여 아래 상세한 설명에 따라 본 출원을 보다 명확하게 이해할 수 있다.
도 1은 본 출원의 일부 실시예의 운전 관리 방법의 흐름도이다.
도 2는 본 출원의 일부 실시예 중 비디오 스트림에 기반하여 운전자 피로 상태 검출을 진행하는 단계의 흐름도이다.
도 3은 본 출원의 일부 실시예 중 비디오 스트림에 기반하여 운전자 산만 상태 검출을 진행하는 단계의 흐름도이다.
도 4는 본 출원의 일부 실시예 중 비디오 스트림에 기반하여 운전자의 사전 결정된 산만 동작 검출을 진행하는 단계의 흐름도이다.
도 5는 본 출원의 일부 실시예의 운전자 상태 검출 방법의 흐름도이다.
도 6은 본 출원의 일부 실시예의 운전 관리 방법의 하나의 응용예의 흐름도이다.
도 7은 본 출원의 일부 실시예의 차량 탑재 지능형 시스템의 구조 모식도이다.
도 8은 본 출원의 다른 일부 실시예의 운전 관리 방법의 흐름도이다.
도 9는 본 출원의 일부 실시예의 전자 기기의 구조 모식도이다.
도 10은 본 출원의 일부 실시예의 운전 관리 시스템의 사용 흐름도이다.
도 11은 본 출원의 다른 일부 실시예의 운전 관리 시스템의 사용 흐름도이다.
도 12는 본 출원의 일부 실시예의 전자 기기의 하나의 응용예의 구조 모식도이다.
아래, 도면을 참조하여 본 출원의 각 예시적 실시예를 상세하게 설명하도록 한다. 달리 설명되지 않은 한, 이러한 실시예에서 설명된 부재와 단계의 상대적 배치, 숫자 표현식 및 수치는 본 출원의 범위를 한정하지 않음을 유의해야 한다.
아울러, 설명의 편의를 위해, 도면에 도시된 각 부재의 사이즈는 실제 비율 관계에 따라 제작된 것이 아님을 이해해야 한다.
이하, 적어도 하나의 예시적 실시예에 대한 설명은 실제적으로 설명적인 것이고, 본 출원 및 그 응용 또는 사용에 대해 어떠한 한정도 하지 않는다.
관련 분야의 통상의 기술자가 이미 알고 있는 기술, 방법, 기기를 상세하게 토론하지 않을 수 있지만, 적절한 상황 하에, 상기 기술, 방법, 기기는 명세서의 일부분으로 간주되어야 한다.
유사한 부호 및 알파벳은 아래의 도면에서 유사한 항을 나타내므로, 일단 어느 한 항이 하나의 도면에서 정의되면, 그 뒤의 도면에서 이에 대해 더 토론할 필요가 없다.
본 출원의 실시예는 다른 다양한 범용 또는 전용 컴퓨터 시스템 환경 또는 구성과 함께 조작될 수 있는 단말 기기, 컴퓨터 시스템, 서버 등 전자 기기에 응용될 수 있다. 단말 기기, 컴퓨터 시스템, 서버 등 전자 기기와 함께 사용하기에 적합한 공지된 다양한 단말 기기, 컴퓨터 시스템, 환경 및/또는 구성의 예는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 신 클라이언트, 팻 클라이언트, 휴대용 또는 랩톱 기기, 마이크로프로세서 기반의 시스템, 셋톱박스, 프로그래밍 소비자 전자제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 대형 컴퓨터 시스템, 및 상기 임의의 시스템을 포함하는 분산식 클라우드 컴퓨팅 기술 환경 등을 포함하지만 이에 한정되지 않는다.
단말 기기, 컴퓨터 시스템, 서버 등 전자 기기는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템이 실행 가능한 명령(예를 들어, 프로그램 모듈)의 일반 언어 환경에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 예제 프로그램, 프로그램, 타겟 프로그램, 컴포넌트, 로직, 데이터 구조 등을 포함할 수 있고, 이들은 특정된 태스크를 실행하거나 특정된 추상적 데이터 타입을 구현한다. 컴퓨터 시스템/서버는 분산식 클라우드 컴퓨팅 환경에서 실시될 수 있고, 분산식 클라우드 컴퓨팅 환경에서, 태스크는 통신 네트워크를 통해 연결된 원격 처리 기기에 의해 실행된다. 분산식 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.
도 1은 본 출원의 일부 실시예의 운전 관리 방법의 흐름도이다. 도 1에 도시된 바와 같이, 본 실시예의 운전 관리 방법의 수행 주체는 예컨대 차량 탑재 지능형 시스템 또는, 유사한 기능을 구비하는 다른 기기와 같은 차량측 기기일 수 있고, 상기 실시예의 방법은 하기와 같은 단계를 포함한다.
단계110에서, 차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집한다.
선택 가능하게, 운전자의 안면 이미지를 획득하기 위하여, 촬영 컴포넌트는 차량의 내부에서 운전석을 촬영할 수 있는 위치에 설치되고, 상기 촬영 컴포넌트의 위치는 고정되거나 고정되지 않을 수 있으며; 고정되지 않을 경우, 상이한 운전자에 따라 촬영 컴포넌트의 위치를 조정할 수 있고; 고정될 경우, 상이한 운전자에 대해 촬영 컴포넌트의 렌즈 방향을 조정할 수 있다.
하나의 선택 가능한 예에서, 상기 단계110은 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 비디오 수집 유닛(71)에 의해 수행될 수도 있다.
단계120에서, 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득한다.
선택 가능하게, 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장되는데, 이미 등록된 운전자에 대응되는 안면 이미지를 사전 저장된 안면 이미지로서 데이터 세트에 저장한다.
선택 가능하게, 안면 검출(예를 들어, 신경망에 기반하여 안면 검출을 진행함)을 통해 이미지 중의 안면 부분을 획득할 수 있고; 안면 부분과 데이터 세트 중의 사전 저장된 안면 이미지에 대해 특징 매칭을 진행하고, 콘볼루션 뉴럴 네트워크를 통해 안면 부분의 특징과 사전 저장된 안면 이미지의 특징을 각각 획득한 다음, 특징 매칭을 진행하여 안면 부분과 대응되는 동일한 안면을 구비하는 사전 저장된 안면 이미지를 인식함으로써, 수집된 이미지의 운전자의 신분을 인식할 수 있다.
하나의 선택 가능한 예에서, 상기 단계120은 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 결과 획득 유닛(72)에 의해 수행될 수도 있다.
단계130에서, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 차량에 의해 수신된 조작 명령을 실행한다.
선택 가능하게, 특징 매칭 결과는 특징 매칭 성공 및 특징 매칭 실패인 두 가지 상황을 포함하고, 특징 매칭 성공일 경우, 상기 차량 운전자가 이미 등록된 운전자임을 나타내므로, 차량을 제어할 수 있는데, 이때, 차량을 제어하여 수신된 조작 명령(운전자에 의해 송신된 조작 명령)을 실행한다.
하나의 선택 가능한 예에서, 상기 단계130은 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 조작 유닛(73)에 의해 수행될 수도 있다.
본 출원의 상기 실시예에 의해 제공되는 운전 관리 방법에 기반하여, 차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집하고; 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하며; 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 차량에 의해 수신된 조작 명령을 실행함으로써, 네트워크에 대한 운전자 인식의 의존을 감소시키고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 차량 안전 보장성을 향상시킨다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 차량과 클라우드 서버가 통신 연결 상태일 경우, 클라우드 서버에 데이터 세트 다운로드 요청을 송신하는 단계; 및 클라우드 서버에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함한다.
선택 가능하게, 일반적으로 데이터 세트는 클라우드 서버에 저장되고, 본 실시예는 차량측에서 안면 매칭을 구현해야 하며, 네트워크가 존재하지 않을 경우에도 안면을 매칭시킬 수 있도록, 네트워크가 존재할 경우 클라우드 서버로부터 데이터 세트를 다운로드하고 데이터 세트를 차량측에 저장할 수 있는데, 이때, 네트워크가 존재하지 않아 클라우드 서버와 통신할 수 없어도, 차량측에서 안면 매칭을 구현할 수 있고, 데이터 세트에 대한 차량측의 관리에 편리하다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 차량 운전자의 신분 정보를 획득하는 단계; 및 클라우드 서버에 이미지 및 신분 정보를 송신하는 단계를 더 포함한다.
본 실시예에서, 특징 매칭 성공 시, 상기 운전자는 이미 등록된 운전자임을 설명하고, 데이터 세트로부터 대응되는 신분 정보를 획득할 수 있으며, 이미지 및 신분 정보를 클라우드 서버에 송신하고, 클라우드 서버에서 상기 운전자에 대해 실시간 추적(예를 들어, 어느 한 운전자가 어느 시간, 어느 지점에서 어느 차량을 운전하였는지)을 구축할 수 있고, 이미지는 비디오 스트림에 기반하여 획득된 것이므로, 네트워크가 존재할 경우, 이미지를 클라우드 서버에 실시간으로 업로드함으로써, 운전자 운전 상태에 대한 분석 및 통계 및/또는 관리를 구현할 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 차량 운전자의 신분 정보를 획득하는 단계; 이미지 중의 안면 부분을 절취하는 단계; 및 클라우드 서버에 절취된 안면 부분 및 신분 정보를 송신하는 단계를 더 포함할 수 있다.
안면 매칭 과정은 이미지 중의 안면 부분에 기반하여 구현되므로, 본 실시예에서, 클라우드 서버에 이미지를 송신할 경우, 이미지 분할에 기반하여 획득된 안면 부분만 송신할 수 있음으로써, 차량측 기기와 클라우드 서버 사이의 통신 네트워크 오버헤드의 감소에 유리하고, 클라우드 서버는 절취된 안면 부분 및 신분 정보를 수신한 후, 상기 안면 부분을 상기 운전자의 새로운 안면 이미지로서 데이터 세트에 저장하여 기존의 안면 이미지에 추가하거나 기존의 안면 이미지를 대체하여 다음 번 안면 인식을 진행하는 기초로 사용할 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 수집된 이미지의 생체 검출 결과를 획득하는 단계를 더 포함할 수 있고; 단계130은, 특징 매칭 결과 및 생체 검출 결과에 따라, 차량을 제어하여 차량에 의해 수신된 조작 명령을 실행하는 단계를 포함할 수 있다.
본 실시예에서, 생체 검출은 이미지가 실물(또는 살아있는 사람)로부터 유래된 것인지를 판단하는 것이고, 생체 검출을 통해 운전자의 신분 검증이 보다 정확하도록 할 수 있다. 본 실시예에서 생체 검출에 대한 구체적인 방식은 한정되지 않는데, 예를 들어, 이미지의 삼차원 정보 깊이 분석, 얼굴 광학 분석, 푸리에 스펙트럼 분석, 가장자리 또는 반사광선 등 위조방지 단서 분석, 비디오 스트림 중 멀티프레임 비디오 이미지 프레임 종합 분석 등 방법을 통해 구현될 수 있으므로, 여기서 더 이상 설명하지 않는다.
선택 가능하게, 데이터 세트 중의 저장된 안면 이미지에는 운전 권한이 더 대응되게 설정되고; 운전 관리 방법은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 대응되는 운전 권한을 획득하는 단계를 더 포함할 수 있으며; 단계130은, 차량을 제어하여 차량에 의해 수신된 권한 범위 내의 조작 명령을 실행하는 단계를 포함할 수 있다.
본 실시예에서, 상이한 운전자에 대해 상이한 운전 권한을 설정하여 분류 관리를 구현함으로써, 차량의 안전성을 향상시키고, 권한이 높은 운전자가 보다 높은 제어권을 가지도록 보장하며, 사용자 체험을 향상시킬 수 있다. 상이한 권한의 설정은 조작 시간 및/또는 조작 범위를 통해 구분할 수 있는데, 예를 들어, 일부 운전자에 대응되는 운전 권한은 낮 또는 특정 시간대에만 차량을 운전할 수 있는 것이고, 다른 일부 운전자에 대응되는 운전 권한은 하루 종일 차량을 운전할 수 있는 등일 수 있거나; 또는, 일부 운전자에 대응되는 운전 권한은 차량을 운전할 시 차량 내의 오락 기기를 사용할 수 있는 것이고, 다른 일부 운전자에 대응되는 운전 권한은 차량을 운전할 수만 있는 것이다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 비디오 스트림에 기반하여 운전자 상태 검출을 진행하는 단계; 운전자 상태 검출의 결과에 따라, 비정상적 운전 상태의 경보 리마인드를 진행하거나 및/또는 지능형 운전 제어를 진행하는 단계를 더 포함한다.
일부 실시예에서, 운전자 상태 검출의 결과를 출력할 수 있다.
다른 일부 실시예에서, 운전자 상태 검출의 결과에 따라, 차량에 대해 지능형 운전 제어를 진행할 수 있다.
또 다른 일부 실시예에서, 운전자 상태 검출의 결과를 출력하는 동시에, 운전자 상태 검출의 결과에 따라, 차량에 대해 지능형 운전 제어를 진행할 수 있다.
선택 가능하게, 운전자 상태 검출의 결과를 로컬 출력하거나 및/또는 운전자 상태 검출의 결과를 원격 출력할 수 있다. 여기서, 운전자 상태 검출의 결과를 로컬 출력하는 것은 운전자 상태 검출 장치 또는 운전자 모니터링 시스템을 통해 운전자 상태 검출의 결과를 출력하거나, 또는 차량 중의 센터 콘솔 시스템에 운전자 상태 검출의 결과를 출력하여, 차량이 상기 운전자 상태 검출의 결과에 기반하여 차량에 대해 지능형 운전 제어를 진행하도록 하는 것이다. 운전자 상태 검출의 결과를 원격 출력하는 것은, 예를 들어 클라우드 서버 또는 관리 노드에 운전자 상태 검출의 결과를 송신하여 클라우드 서버 또는 관리 노드에 의해 운전자 상태 검출을 진행한 결과의 수집, 분석 및/또는 관리를 진행하도록 하거나, 또는 상기 운전자 상태 검출의 결과에 기반하여 차량에 대해 원격 제어를 진행하도록 하는 것이다.
하나의 선택 가능한 예에서, 운전자 상태 검출의 결과에 따라, 비정상적 운전 상태의 경보 리마인드를 진행하거나 및/또는 지능형 운전 제어를 진행하는 단계는, 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 출력 모듈 및/또는 지능형 운전 제어 모듈에 의해 수행될 수도 있다.
하나의 선택 가능한 예에서, 상기 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 운전자 상태 검출 유닛에 의해 수행될 수도 있다.
일부 실시예에서, 운전자 상태 검출은 예를 들어 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 사전 결정된 산만 동작 검출, 운전자 제스처 검출 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 운전자 상태 검출의 결과도 대응되게 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과, 운전자의 사전 결정된 산만 동작 검출의 결과, 운전자 제스처 검출의 결과 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
본 실시예에서, 사전 결정된 산만 동작은 운전자의 주의력을 분산시킬 수 있는 임의의 산만 동작일 수 있는데, 예를 들어, 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 등일 수 있다. 여기서, 음식을 먹는 동작은 예컨대 과일, 간식 등 음식을 먹는 동작이고, 오락하는 동작은 예컨대 메시지를 전송하는 동작, 게임하는 동작, 노래하는 동작 등 전자 기기를 통해 실행되는 임의의 동작이다. 여기서, 전자 기기는 예컨대 휴대폰 단말기, 팜톱 컴퓨터, 게임기 등이다.
본 출원의 상기 실시예에 의해 제공되는 운전자 상태 검출 방법에 기반하여, 운전자 이미지에 대해 운전자 상태 검출을 진행하고, 운전자 상태 검출의 결과를 출력할 수 있음으로써, 운전자의 운전 상태를 실시간으로 검출하여 운전자의 운전 상태가 나쁠 경우 즉시 대응되는 조치를 취하므로, 안전 운전을 보장하고, 도로 교통 사고의 발생을 방지한다.
도 2는 본 출원의 일부 실시예 중 비디오 스트림에 기반하여 운전자 피로 상태 검출을 진행하는 단계의 흐름도이다. 하나의 선택 가능한 예에서, 도 2에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 유닛에 의해 수행될 수도 있다. 도 2에 도시된 바와 같이, 비디오 스트림에 기반하여 운전자 피로 상태 검출을 진행하는 방법은 하기와 같은 단계를 포함할 수 있다.
단계202에서, 비디오 스트림 중의 적어도 하나의 이미지의 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득한다.
하나의 선택 가능한 예에서, 상기 안면의 적어도 일부 영역은 운전자 안면 눈 영역, 운전자 안면 입 영역 및 운전자 안면의 전체 영역 등 중 적어도 하나를 포함할 수 있다. 여기서, 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함할 수 있다.
선택 가능하게, 상기 눈 개폐 상태 정보는 예컨대 운전자가 눈을 반쯤 감았는 지의 여부(“반쯤”은 졸음 상태의 눈을 가늘게 뜨는 등 눈을 완전히 감지 않은 상태를 나타냄), 눈을 감았는 지의 여부, 눈감는 횟수, 눈감는 폭 등 운전자에 대해 눈감는 검출을 진행할 수 있다. 선택 가능하게, 눈 개폐 상태 정보는 눈을 뜬 높이에 대해 정규화 처리를 진행한 후의 정보일 수 있다. 선택 가능하게, 상기 입 개폐 상태 정보는 운전자의 하품 검출을 진행할 수 있는데, 예를 들어, 운전자가 하품하는 지의 여부, 하품하는 횟수 등을 검출할 수 있다. 선택 가능하게, 입 개폐 상태 정보는 입을 벌리는 높이에 대해 정규화 처리를 진행한 후의 정보일 수 있다.
하나의 선택 가능한 예에서, 운전자 이미지에 대해 안면 키 포인트 검출을 진행하고, 검출된 안면 키 포인트 중의 눈 키 포인트를 이용하여 산출함으로써, 산출 결과에 따라 눈 개폐 상태 정보를 획득할 수 있다.
하나의 선택 가능한 예에서, 먼저 안면 키 포인트 중의 눈 키 포인트(예를 들어, 운전자 이미지에서의 눈 키 포인트의 좌표 정보)를 이용하여 운전자 이미지 중의 눈 위치 결정하여 눈 이미지를 획득하고, 상기 눈 이미지를 이용하여 상부 눈꺼풀 라인과 하부 눈꺼풀 라인을 획득하며, 상부 눈꺼풀 라인과 하부 눈꺼풀 라인 사이의 간격을 산출하여 눈 개폐 상태 정보를 획득할 수 있다.
하나의 선택 가능한 예에서, 안면 키 포인트 중의 입 키 포인트를 직접 이용하여 산출함으로써, 산출 결과에 따라 입 개폐 상태 정보를 획득할 수 있다.
하나의 선택 가능한 예에서, 먼저 안면 키 포인트 중의 입 키 포인트(예를 들어, 운전자 이미지에서의 입 키 포인트의 좌표 정보)를 이용하여 운전자 이미지 중의 입 위치 결정하여, 절취 등 방식을 통해 입 이미지를 획득하고, 상기 입 이미지를 이용하여 윗입술선과 아랫입술선을 획득하며, 윗입술선과 아랫입술선 사이의 간격을 산출하여 입 개폐 상태 정보를 획득할 수 있다.
단계204에서, 소정의 시간 내의 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득한다.
일부 선택 가능한 예에서, 운전자 피로 상태를 나타내는 지표는 예컨대 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
하나의 선택 가능한 예에서, 눈감는 정도의 파라미터 값은 예컨대 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않거나; 및/또는, 하품하는 정도의 파라미터 값은 예컨대 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
단계206에서, 운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정한다.
선택 가능하게, 상기 운전자 피로 상태 검출의 결과는 피로 상태 및 피로 운전 상태의 미 검출일 수 있다. 또는, 상기 운전자 피로 상태 검출의 결과는 피로 운전 정도일 수도 있고, 여기서, 피로 운전 정도는 정상적 운전 레벨(비-피로 운전 레벨이라고도 함) 및 피로 운전 레벨을 포함할 수 있다. 여기서, 피로 운전 레벨은 하나의 레벨일 수 있고, 다수의 상이한 레벨로 나뉠 수도 있는데, 예를 들어, 상기 피로 운전 레벨은 리마인드 피로 운전 레벨(경도 피로 운전 레벨이라고도 할 수 있음) 및 경고 피로 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)로 나뉠 수 있다. 물론, 피로 운전 정도는 더 많은 레벨로 나뉠 수도 있는데, 예를 들어, 경도 피로 운전 레벨, 중등 피로 운전 레벨 및 고도 피로 운전 레벨 등으로 나뉠 수 있다. 본 출원은 피로 운전 정도에 포함되는 상이한 레벨을 한정하지 않는다.
도 3은 본 출원의 일부 실시예 중 비디오 스트림에 기반하여 운전자 산만 상태 검출을 진행하는 단계의 흐름도이다. 하나의 선택 가능한 예에서, 도 3에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 유닛에 의해 수행될 수도 있다. 도 3에 도시된 바와 같이, 비디오 스트림에 기반하여 운전자 산만 상태 검출을 진행하는 방법은 하기와 같은 단계를 포함할 수 있다.
단계302에서, 비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득한다.
선택 가능하게, 상기 안면 방향 정보는 운전자의 안면 방향이 정상인 지를 결정할 수 있는데, 예를 들어, 운전자가 얼굴을 옆으로 돌렸거나 머리를 뒤로 돌렸는 지의 여부 등을 결정할 수 있다. 선택 가능하게, 안면 방향 정보는 운전자 안면의 정면과 운전자가 운전하고 있는 차량의 정면 사이의 협각일 수 있다. 선택 가능하게, 상기 시선 방향 정보는 운전자의 시선 방향이 정상인 지를 결정할 수 있는데, 예를 들어, 운전자가 전방을 주시하고 있는 지의 여부 등을 결정할 수 있고, 시선 방향 정보는 운전자의 시선이 이탈 현상 등이 발생하였는 지의 여부를 판단할 수 있다. 선택 가능하게, 시선 방향 정보는 운전자의 시선과 운전자가 운전하고 있는 차량의 정면 사이의 협각일 수 있다.
단계304에서, 소정의 시간 내의 안면 방향 정보 및/또는 시선 방향 정보에 따라, 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정한다.
일부 선택 가능한 예에서, 운전자 산만 상태를 나타내는 지표는 예컨대 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 하나의 선택 가능한 예에서, 안면 방향 이탈 정도의 파라미터 값은 예컨대 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않거나; 및/또는, 시선 이탈 정도의 파라미터 값은 예컨대 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
하나의 선택 가능한 예에서, 상기 시선 이탈 정도는 예컨대 시선이 이탈되었는 지의 여부 및 시선이 심각하게 이탈되었는 지의 여부 중 적어도 하나를 포함할 수 있고; 상기 안면 방향 이탈 정도(얼굴을 돌리는 정도 또는 머리를 돌리는 정도라고도 할 수 있음)는 예컨대 머리를 돌렸는 지의 여부, 단시간 동안 머리를 돌렸는 지의 여부 및 장시간 동안 머리를 돌렸는 지의 여부 중 적어도 하나를 포함할 수 있다.
하나의 선택 가능한 예에서, 안면 방향 정보가 제1 방향보다 크고, 제1 방향보다 큰 이러한 현상이 N1 프레임(예를 들어, 9 프레임 또는 10 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 운전자가 한 번의 장시간 동안 큰 각도로 머리를 돌리는 현상이 발생되었음을 결정하고, 한 번의 장시간 동안 큰 각도로 머리를 돌린 것으로 기록할 수 있으며, 이번의 머리 돌림 지속 시간을 기록할 수도 있고; 안면 방향 정보가 제1 방향보다 크지 않고 제2 방향보다 크며, 제1 방향보다 크지 않고 제2 방향보다 큰 이러한 현상이 N1 프레임(예를 들어, 9 프레임 또는 10 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 운전자가 한 번의 장시간 동안 작은 각도로 머리를 돌리는 현상이 발생되었음을 결정하고, 한 번의 작은 각도로 머리를 돌린 것으로 기록할 수 있으며, 이번의 머리 돌림 지속 시간을 기록할 수도 있다.
하나의 선택 가능한 예에서, 시선 방향 정보와 차량 정면 사이의 협각이 제1 협각보다 크고, 제1 협각보다 큰 이러한 현상이 N2 프레임(예를 들어, 8 프레임 또는 9 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 운전자가 한 번의 시선이 심각하게 이탈되는 현상이 발생되었음을 결정하고, 한 번의 시선이 심각하게 이탈된 것으로 기록할 수 있으며, 이번의 시선이 심각하게 이탈되는 지속 시간을 기록할 수도 있고; 시선 방향 정보와 차량 정면 사이의 협각이 제1 협각보다 크지 않고 제2 협각보다 크며, 제1 협각보다 크지 않고 제2 협각보다 큰 이러한 현상이 N2 프레임(예를 들어, 8 프레임 또는 9 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 운전자가 한 번의 시선이 이탈되는 현상이 발생되었음을 결정하고, 한 번의 시선이 이탈된 것으로 기록할 수 있으며, 이번의 시선이 이탈되는 지속 시간을 기록할 수도 있다.
하나의 선택 가능한 예에서, 상기 제1 방향, 제2 방향, 제1 협각, 제2 협각, N1 및 N2의 값은 실제 상황에 따라 설정될 수 있고, 본 실시예는 값의 크기를 한정하지 않는다.
단계306에서, 운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정한다.
선택 가능하게, 상기 운전자 산만 상태 검출의 결과는 예컨대 운전자 주의력 집중(운전자의 주의력이 분산되지 않음), 운전자 주의력 분산을 포함할 수 있거나; 또는, 운전자 산만 상태 검출의 결과는 운전자 주의력 분산 레벨일 수 있는데, 예를 들어, 운전자 주의력 집중(운전자의 주의력이 분산되지 않음), 운전자 주의력 경도 분산, 운전자 주의력 중등 분산, 운전자 주의력 고도 분산 등을 포함할 수 있다. 여기서, 운전자 주의력 분산 레벨은 운전자 산만 상태를 나타내는 지표의 파라미터 값이 만족시키는 사전 설정된 조건을 통해 결정될 수 있다. 예를 들어, 시선 방향 이탈 각도와 안면 방향 이탈 각도가 모두 제1 사전 설정된 각도보다 작으면, 운전자 주의력 분산 레벨은 운전자 주의력 집중이고; 시선 방향 이탈 각도와 안면 방향 이탈 각도 중 어느 하나가 제1 사전 설정된 각도보다 크거나 같고, 지속 시간이 제1 사전 설정된 지속 시간보다 크며, 제2 사전 설정된 지속 시간보다 작거나 같으면, 운전자 주의력 경도 분산이며; 시선 방향 이탈 각도와 안면 방향 이탈 각도 중 어느 하나가 제1 사전 설정된 각도보다 크거나 같고, 지속 시간이 제2 사전 설정된 지속 시간보다 크며, 제3 사전 설정된 지속 시간보다 작거나 같으면, 운전자 주의력 중등 분산이고; 시선 방향 이탈 각도와 안면 방향 이탈 각도 중 어느 하나가 제1 사전 설정된 각도보다 크거나 같고, 지속 시간이 제3 사전 설정된 지속 시간보다 크면, 운전자 주의력 고도 분산이며, 여기서, 제1 사전 설정된 지속 시간은 제2 사전 설정된 지속 시간보다 작고, 제2 사전 설정된 지속 시간은 제3 사전 설정된 지속 시간보다 작다.
본 실시예는 운전자 이미지의 안면 방향 및/또는 시선 방향을 검출하여 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하고, 이에 따라 운전자 산만 상태 검출의 결과를 결정하여 운전자가 주의력을 집중하여 운전하는 지의 여부를 판단하며, 운전자 산만 상태의 지표를 계량화하여 운전 집중 정도를 시선 이탈 정도 및 머리 돌림 정도의 지표 중 적어도 하나로 계량화함으로써, 운전자의 집중 운전 상태를 즉시 객관적으로 판단하는데 유리하다.
일부 실시예에서, 비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계302는, 비디오 스트림 중 운전자 이미지의 안면 키 포인트를 검출하는 단계; 및 안면 키 포인트에 따라 안면 방향 및/또는 시선 방향 검출을 진행하는 단계를 포함할 수 있다.
안면 키 포인트에 일반적으로 머리 자세 특징 정보가 포함되는데, 일부 선택 가능한 예에서, 안면 키 포인트에 따라 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 단계는, 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계; 머리 자세의 특징 정보에 따라 안면 방향(머리 자세라고도 함) 정보를 획득하는 단계를 포함하고, 여기서의 안면 방향 정보는 예컨대 안면이 회전하는 방향 및 각도를 나타낼 수 있으며, 여기서의 회전하는 방향은 왼쪽으로 회전, 오른쪽으로 회전, 아래로 회전 및/또는 위로 회전 등일 수 있다.
하나의 선택 가능한 예에서, 안면 방향을 통해 운전자가 주의력을 집중하여 운전하는 지의 여부를 판단할 수 있다. 안면 방향(머리 자세)은 (yaw, pitch)로 나타낼 수 있고, 여기서, yaw, pitch는 각각 정규화 구면 좌표(카메라가 위치한 사진기 좌표계)에서의 머리의 수평 편향 각도(요 각도)와 수직 편향 각도(피치 각도)를 나타낸다. 수평 편향 각도 및/또는 수직 편향 각도가 하나의 사전 설정된 각도 임계값보다 크고 지속 시간이 하나의 사전 설정된 시간 임계값보다 클 경우 운전자 산만 상태 검출의 결과가 주의력 불집중인 것으로 결정할 수 있다.
하나의 선택 가능한 예에서, 대응되는 신경망을 이용하여 적어도 하나의 운전자 이미지의 안면 방향 정보를 획득할 수 있다. 예를 들어, 상기 검출된 안면 키 포인트를 제1 신경망에 입력하고, 제1 신경망을 통해, 수신된 안면 키 포인트에 기반하여 머리 자세의 특징 정보를 추출하여 제2 신경망에 입력할 수 있으며; 제2 신경망에 의해 상기 머리 자세의 특징 정보에 기반하여 머리 자세 평가를 진행하여 안면 방향 정보를 획득한다.
발전이 비교적 성숙되고 우수한 실시간성을 구비하는 기존의, 머리 자세의 특징 정보를 추출하기 위한 신경망과 안면 방향을 추측하기 위한 신경망을 사용하여 안면 방향 정보를 획득할 경우, 카메라가 촬영한 비디오에 대해 비디오 중 적어도 하나의 이미지 프레임(즉, 적어도 하나의 프레임 운전자 이미지)에 대응되는 안면 방향 정보를 정확하고 신속하게 검출할 수 있음으로써, 운전자 주의력 정도의 정확성 향상에 유리하다.
일부 선택 가능한 예에서, 안면 키 포인트에 따라 시선 방향 검출을 진행하여 시선 방향 정보를 획득하는 단계는, 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하고, 동공 가장자리 위치에 따라 동공 중심 위치를 산출하는 단계; 동공 중심 위치와 눈 중심 위치에 따라 시선 방향 정보를 산출하는 단계를 포함한다. 예를 들어, 동공 중심 위치와 눈 이미지 중의 눈 중심 위치의 벡터를 산출하고, 상기 벡터는 시선 방향 정보로 사용될 수 있다.
하나의 선택 가능한 예에서, 시선 방향을 통해 운전자가 주의력을 집중하여 운전하는 지의 여부를 판단할 수 있다. 시선 방향은 (yaw, pitch)로 나타낼 수 있고, 여기서, yaw, pitch는 각각 정규화 구면 좌표(카메라가 위치한 사진기 좌표계)에서의 시선의 수평 편향 각도(요 각도)와 수직 편향 각도(피치 각도)를 나타낸다. 수평 편향 각도 및/또는 수직 편향 각도가 하나의 사전 설정된 각도 임계값보다 크고 지속 시간이 하나의 사전 설정된 시간 임계값보다 클 경우 운전자 산만 상태 검출의 결과가 주의력 불집중인 것으로 결정할 수 있다.
하나의 선택 가능한 예에서, 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하는 단계는, 제3 신경망에 기반하여, 안면 키 포인트에 따라 분할된 이미지 중의 눈 영역 이미지에 대해 동공 가장자리 위치의 검출을 진행하고, 제3 신경망에 의해 출력된 정보에 따라 동공 가장자리 위치를 획득하는 단계를 통해 구현될 수 있다.
도 4는 본 출원의 일부 실시예 중 비디오 스트림에 기반하여 운전자의 사전 결정된 산만 동작 검출을 진행하는 단계의 흐름도이다. 하나의 선택 가능한 예에서, 도 4에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 유닛에 의해 수행될 수도 있다. 도 4에 도시된 바와 같이, 비디오 스트림에 기반하여 운전자의 사전 결정된 산만 동작 검출을 진행하는 방법은 하기와 같은 단계를 포함할 수 있다.
단계402에서, 비디오 스트림 중 적어도 하나의 이미지에 대해 사전 결정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득한다.
단계404에서, 타겟 객체의 검출 프레임에 따라, 사전 결정된 산만 동작의 발생 여부를 결정한다.
본 실시예에서, 운전자에 대해 사전 결정된 산만 동작 검출을 진행하는 것은, 사전 결정된 산만 동작에 대응되는 타겟 객체를 검출하고, 검출된 타겟 객체의 검출 프레임에 따라 사전 결정된 산만 동작의 발생 여부를 결정함으로써, 운전자의 산만 여부를 판단하므로, 정확한 운전자의 사전 결정된 산만 동작 검출의 결과 획득에 유리함으로써, 운전자 상태 검출의 결과의 정확성 향상에 유리하다.
예를 들어, 사전 결정된 산만 동작이 흡연 동작일 경우, 상기 단계402 ~ 단계404는, 제4 신경망을 통해 운전자 이미지에 대해 안면 검출을 진행하여 안면 검출 프레임을 획득하고, 안면 검출 프레임의 특징 정보를 추출하는 단계; 제4 신경망을 통해 안면 검출 프레임의 특징 정보에 따라 흡연 동작의 발생 여부를 결정하는 단계를 포함할 수 있다.
또한 예를 들어, 사전 결정된 산만 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작(즉, 음식을 먹는 동작 및/또는 물을 마시는 동작 및/또는 전화하는 동작 및/또는 오락하는 동작)일 경우, 상기 단계402 ~ 단계404는, 제5 신경망을 통해 운전자 이미지에 대해 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작에 대응되는 사전 설정된 타겟 객체 검출을 진행하여 사전 설정된 타겟 객체의 검출 프레임을 획득하는 단계 - 사전 설정된 타겟 객체는 손, 입, 눈, 타겟 물체를 포함하고, 타겟 물체는 예컨대 용기, 음식, 전자 기기 중 임의의 한 가지 또는 여러 가지를 포함할 수 있지만 이에 한정되지 않음 - ; 사전 설정된 타겟 객체의 검출 프레임에 따라 사전 결정된 산만 동작의 검출 결과를 획득하는 단계 - 상기 사전 결정된 산만 동작의 검출 결과는 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작의 미발생, 음식을 먹는 동작의 발생, 물을 마시는 동작의 발생, 전화하는 동작의 발생, 오락하는 동작의 발생 중 하나를 포함할 수 있음 - ; 를 포함할 수 있다.
일부 선택 가능한 예에서, 사전 결정된 산만 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작(즉, 음식을 먹는 동작 및/또는 물을 마시는 동작 및/또는 전화하는 동작 및/또는 오락하는 동작)일 경우, 사전 설정된 타겟 객체의 검출 프레임에 따라 사전 결정된 산만 동작의 검출 결과를 결정하는 단계는, 손의 검출 프레임, 입의 검출 프레임, 눈의 검출 프레임 및 타겟 물체의 검출 프레임이 검출되었는 지의 여부에 따라, 또한 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 타겟 물체의 타입 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 거리가 사전 설정된 조건을 만족시키는 지의 여부에 따라, 사전 결정된 산만 동작의 검출 결과를 결정하는 단계를 포함할 수 있다.
선택 가능하게, 손의 검출 프레임과 타겟 물체의 검출 프레임이 중첩되고, 타겟 물체의 타입이 용기 또는 음식이며, 타겟 물체의 검출 프레임과 입의 검출 프레임 사이가 중첩되면, 음식을 먹는 동작 또는 물을 마시는 동작의 발생을 결정하거나; 및/또는, 손의 검출 프레임과 타겟 물체의 검출 프레임이 중첩되고, 타겟 물체의 타입이 전자 기기이며, 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 사전 설정된 거리보다 작거나, 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 사전 설정된 거리보다 작으면, 오락하는 동작 또는 전화하는 동작의 발생을 결정한다.
이 밖에, 손의 검출 프레임, 입의 검출 프레임 및 어느 하나의 타겟 물체의 검출 프레임이 동시에 검출되지 않았고, 손의 검출 프레임, 눈의 검출 프레임 및 어느 하나의 타겟 물체의 검출 프레임이 동시에 검출되지 않았으면, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하거나; 및/또는, 손의 검출 프레임과 타겟 물체의 검출 프레임이 중첩되지 않으면, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하거나; 및/또는, 타겟 물체의 타입이 용기 또는 음식이고, 타겟 물체의 검출 프레임과 입의 검출 프레임 사이는 중첩되지 않거나, 및/또는, 타겟 물체의 타입이 전자 기기이고, 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 사전 설정된 거리보다 작지 않거나, 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 사전 설정된 거리보다 작지 않으면, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정한다.
이 밖에, 상기 운전자 이미지에 대해 사전 결정된 산만 동작 검출을 진행하는 실시예에서, 운전자 산만 상태 검출의 결과가 사전 결정된 산만 동작이 검출된 것이면, 사전 결정된 산만 동작이 검출된 것을 리마인드하는데, 예를 들어, 흠연 동작이 검출될 경우, 흡연하는 것이 검출된 것을 리마인드하고; 물을 마시는 동작이 검출될 경우, 물을 마시는 것이 검출된 것을 리마인드하며; 전화하는 동작이 검출될 경우, 전화하는 것이 검출된 것을 리마인드한다.
하나의 선택 가능한 예에서, 상기 사전 결정된 산만 동작이 검출된 것을 리마인드하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 리마인드 유닛에 의해 수행될 수도 있다.
이 밖에, 다시 도 4를 참조하면, 운전자 이미지에 대해 운전자의 사전 결정된 산만 동작 검출을 진행하는 다른 일 실시예에서, 하기와 같은 단계를 선택적으로 더 포함할 수 있다.
단계406에서, 사전 결정된 산만 동작이 발생되면, 소정의 시간 내 사전 결정된 산만 동작의 발생 여부의 결정 결과를 획득하고, 운전자 산만 정도를 나타내는 지표의 파라미터 값을 획득한다.
선택 가능하게, 운전자 산만 정도를 나타내는 지표는 예컨대 사전 결정된 산만 동작의 횟수, 사전 결정된 산만 동작의 지속 시간, 사전 결정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 예를 들어, 흡연 동작의 횟수, 지속 시간, 빈도; 물을 마시는 동작의 횟수, 지속 시간, 빈도; 전화하는 동작의 횟수, 지속 시간, 빈도 등 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
단계408에서, 운전자 산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 사전 결정된 산만 동작 검출의 결과를 결정한다.
선택 가능하게, 상기 운전자의 사전 결정된 산만 동작 검출의 결과는 사전 결정된 산만 동작이 검출되지 않은 것, 사전 결정된 산만 동작이 검출된 것을 포함할 수 있다. 이 밖에, 상기 운전자의 사전 결정된 산만 동작 검출의 결과는 산만 레벨일 수 있는데, 예를 들어, 산만 레벨은 비산만 레벨(집중 운전 레벨이라고도 할 수 있음), 리마인드 산만 운전 레벨(경도 산만 운전 레벨이라고도 할 수 있음) 및 경고 산만 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)로 나뉠 수 있다. 물론, 산만 레벨은 더 많은 레벨로 나뉠 수도 있는데, 예를 들어, 비산만 운전 레벨, 경도 산만 운전 레벨, 중등 산만 운전 레벨 및 고도 산만 운전 레벨 등으로 나뉠 수 있다. 물론, 본 실시예의 적어도 하나의 실시예의 산만 레벨은 다른 상황에 따라 나뉠 수도 있고, 레벨을 나누는 상기 상황을 한정하지 않는다.
하나의 선택 가능한 예에서, 산만 레벨은 운전자 산만 정도를 나타내는 지표의 파라미터 값이 만족시키는 사전 설정된 조건에 의해 결정될 수 있다. 예를 들어, 사전 결정된 산만 동작이 검출되지 않으면, 산만 레벨은 비산만 레벨(집중 운전 레벨이라고도 할 수 있음)이고; 사전 결정된 산만 동작의 지속 시간이 제1 사전 설정된 지속 시간보다 작고 빈도가 제1 사전 설정된 빈도보다 작은 것으로 검출되면, 산만 레벨은 경도 산만 운전 레벨이며; 사전 결정된 산만 동작의 지속 시간이 제1 사전 설정된 지속 시간보다 크거나, 및/또는 빈도가 제1 사전 설정된 빈도보다 크면, 산만 레벨은 고도 산만 운전 레벨이다.
일부 실시예에서, 운전자 상태 검출 방법은, 운전자 산만 상태 검출의 결과 및/또는 운전자의 사전 결정된 산만 동작 검출의 결과에 따라, 산만 리마인드 정보를 출력하는 단계를 더 포함할 수 있다.
선택 가능하게, 운전자 산만 상태 검출의 결과가 운전자 주의력 분산 또는 운전자 주의력 분산 레벨이거나, 및/또는 운전자의 사전 결정된 산만 동작 검출의 결과가 사전 결정된 산만 동작이 검출된 것이면, 산만 리마인드 정보를 출력하여 운전자가 주의력을 집중하여 운전하도록 알릴 수 있다.
하나의 선택 가능한 예에서, 상기 운전자 산만 상태 검출의 결과 및/또는 운전자의 사전 결정된 산만 동작 검출의 결과에 따라, 산만 리마인드 정보를 출력하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 리마인드 유닛에 의해 수행될 수도 있다.
도 5는 본 출원의 일부 실시예의 운전자 상태 검출 방법의 흐름도이다. 하나의 선택 가능한 예에서, 도 5에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 유닛에 의해 수행될 수도 있다. 도 5에 도시된 바와 같이, 상기 실시예의 운전자 상태 검출 방법은 하기와 같은 단계를 포함한다.
단계502에서, 비디오 스트림에 기반하여 운전자 피로 상태 검출, 운전자 산만 상태 검출 및 운전자의 사전 결정된 산만 동작 검출을 진행하여 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 사전 결정된 산만 동작 검출의 결과를 획득한다.
단계504에서, 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 사전 결정된 산만 동작 검출의 결과가 만족시키는 사전 설정된 조건에 따라 운전 상태 레벨을 결정한다.
단계506에서, 결정된 운전자 상태 레벨을 운전자 상태 검출의 결과로 사용한다.
하나의 선택 가능한 예에서, 각각의 운전자 상태 레벨에 모두 사전 설정된 조건이 대응되고, 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 사전 결정된 산만 동작 검출의 결과가 만족시키는 사전 설정된 조건을 실시간으로 판단할 수 있으며, 만족되는 사전 설정된 조건에 대응되는 상태 레벨을 운전자의 운전자 상태 검출의 결과로 결정할 수 있다. 여기서, 운전자 상태 레벨은 예컨대 정상적 운전 상태(집중 운전 레벨이라고도 할 수 있음), 리마인드 운전 상태(운전 상태가 비교적 나쁨), 경고 운전 상태(운전 상태가 아주 나쁨)를 포함할 수 있다.
하나의 선택 가능한 예에서, 상기 도 5에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 출력 모듈에 의해 수행될 수도 있다.
예를 들어, 정상적 운전 상태(집중 운전 레벨이라고도 할 수 있음)에 대응되는 사전 설정된 조건은,
운전자 피로 상태 검출의 결과가 피로 상태 또는 비-피로 운전 레벨이 검출되지 않은 것인 조건1;
운전자 산만 상태 검출의 결과가 운전자 주의력 집중인 조건2; 및
운전자의 사전 결정된 산만 동작 검출의 결과가 사전 결정된 산만 동작 또는 비산만 레벨이 검출되지 않은 조건3을 포함할 수 있다.
상기 조건1, 조건2, 조건3을 모두 만족시킬 경우, 운전 상태 레벨은 정상적 운전 상태(집중 운전 레벨이라고도 할 수 있음)이다.
예를 들어, 예를 들어, 리마인드 운전 상태(운전 상태가 비교적 나쁨)에 대응되는 사전 설정된 조건은,
운전자 피로 상태 검출의 결과가 리마인드 피로 운전 레벨(경도 피로 운전 레벨이라고도 할 수 있음)인 조건11;
운전자 산만 상태 검출의 결과가 운전자 주의력 경도 분산인 조건22; 및
운전자의 사전 결정된 산만 동작 검출의 결과가 리마인드 산만 운전 레벨(경도 산만 운전 레벨이라고도 할 수 있음)인 조건33을 포함할 수 있다.
상기 조건11, 조건22, 조건33 중의 어느 하나의 조건을 만족시키고, 다른 조건 중의 결과가 더 심각한 피로 운전 레벨, 주의력 분산 레벨, 산만 레벨에 대응되는 사전 설정된 조건에 도달하지 못할 경우, 운전 상태 레벨은 리마인드 운전 상태(운전 상태가 비교적 나쁨)이다.
예를 들어, 경고 운전 상태(운전 상태가 아주 나쁨)에 대응되는 사전 설정된 조건은,
운전자 피로 상태 검출의 결과가 경고 피로 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)인 조건111;
운전자 산만 상태 검출의 결과가 운전자 주의력 고도 분산인 조건222; 및
운전자의 사전 결정된 산만 동작 검출의 결과가 경고 산만 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)인 조건333을 포함할 수 있다.
상기 조건111, 조건222, 조건333 중의 어느 하나의 조건을 만족시킬 경우, 운전 상태 레벨은 경고 운전 상태(운전 상태가 아주 나쁨)이다.
일부 실시예에서, 운전자 상태 검출 방법은,
운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함할 수 있다.
하나의 선택 가능한 예에서, 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 제어 유닛에 의해 수행될 수도 있다.
선택 가능하게, 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는 하기와 같은 단계 중 적어도 하나를 포함할 수 있다.
운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 예를 들어, 리마인드 운전 상태(운전 상태가 비교적 나쁨)에 대응되는 사전 설정된 조건을 만족시키거나 상태 레벨이 리마인드 운전 상태(운전 상태가 비교적 나쁨)이면, 상기 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하고, 예를 들어, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임 등)/진동 등 방식을 통해 운전자를 리마인드하여, 운전자가 주의하도록 알리고, 운전자가 분산된 주의력을 운전에 되돌리도록 하거나 운전자가 휴식 등을 취하도록 함으로써, 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하거나; 및/또는,
운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 예를 들어, 경고 운전 상태(운전 상태가 아주 나쁨)에 대응되는 사전 설정된 조건을 만족시키거나 운전 상태 레벨이 경고 산만 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)이면, 운전 모드를 자동 운전 모드로 전환시켜 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하며; 동시에, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임 등)/진동 등 방식을 통해 운전자를 리마인드하여, 운전자가 주의하도록 알리고, 운전자가 분산된 주의력을 운전에 되돌리도록 하거나 운전자가 휴식 등을 취하도록 하거나; 및/또는, 결정된 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하고, 예를 들어, 운전자가 어느 또는 일부 동작을 실행하도록 약정할 경우, 운전자가 위험 상태에 있거나 도움이 필요함을 나타내는데, 이러한 동작이 검출될 경우, 사전 결정된 연락처(예를 들어, 경보 전화, 최근 연락자의 전화 또는 설정된 긴급 연락자의 전화)에 사전 결정된 정보(예를 들어, 경보 정보, 리마인드 정보 또는 통화 연결)를 송신하고, 차량 탑재 기기를 통해 사전 결정된 연락처와 직접 통신 연결(예를 들어, 영상 통화, 음성 통화 또는 전화 통화)을 구축하여 운전자의 신변 및/또는 재산 안전을 보장할 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 운전자 상태 검출 방법은, 클라우드 서버에 운전자 상태 검출의 적어도 일부 결과를 송신하는 단계를 더 포함할 수 있다.
선택 가능하게, 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함한다.
본 실시예에서, 운전자 상태 검출에 의해 획득된 일부 결과 또는 전체 결과를 클라우드 서버에 송신할 경우, 비정상적 운전 상태 정보를 백업할 수 있고, 정상적 운전 상태는 기록할 필요 없으므로, 본 실시예는 비정상적 운전 상태 정보만 클라우드 서버에 송신하며; 획득된 운전자 상태 검출 결과가 정상적 운전 상태 정보 및 비정상적 운전 상태 정보를 포함할 경우, 일부 결과를 전송하는데, 즉 비정상적 운전 상태 정보만 클라우드 서버에 송신하고; 운전자 상태 검출의 전체 결과가 모두 비정상적 운전 상태 정보일 경우, 전체 비정상적 운전 상태 정보를 클라우드 서버에 전송한다.
선택 가능하게, 운전자 상태 검출 방법은, 차량측에서 비디오 스트림 중 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 저장하는 단계; 및/또는,
클라우드 서버에 비디오 스트림 중 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 송신하는 단계를 더 포함할 수 있다.
본 실시예에서, 차량측에서 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 로컬 저장하여 증거를 저장하고, 저장된 이미지 또는 비디오 클립을 통해, 후속적으로 운전자로 인해 비정상적 운전 상태에 운전 안전 또는 다른 문제가 존재하면, 저장된 이미지 또는 비디오 클립을 수거하여 확인하여 책임을 결정하며, 저장된 이미지 또는 비디오 클립에서 발생된 문제와 관련된 비정상적 운전 상태가 발견되면, 상기 운전자의 책임으로 결정할 수 있고; 차량측의 데이터가 잘못 삭제되거나 고의로 삭제되는 것을 방지하기 위하여, 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 클라우드 서버에 업로드하여 백업할 수 있으며, 정보가 필요할 경우, 클라우드 서버로부터 차량측에 다운로드하여 조회할 수 있거나, 클라우드 서버로부터 다른 클라이언트에 다운로드하여 조회할 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 차량과 모바일 기기가 통신 연결 상태일 경우, 모바일 기기에 데이터 세트 다운로드 요청을 송신하는 단계; 및
모바일 기기에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함한다.
여기서, 데이터 세트는 모바일 기기가 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버로부터 획득하여 차량에 송신된 것이다.
선택 가능하게, 모바일 기기는 휴대폰, PAD 또는 다른 차량에서의 단말 기기 등일 수 있고, 모바일 기기는 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버에 데이터 세트 다운로드 요청을 송신한 다음, 데이터 세트를 획득하여 다시 차량에 송신하며, 모바일 기기를 통해 데이터 세트를 다운로드할 경우, 모바일 기기 자체가 휴대한 네트워크(예를 들어, 2G, 3G, 4G 네트워크 등)을 응용할 수 있음으로써, 차량이 네트워크 제한을 받아 클라우드 서버로부터 데이터 세트를 다운로드하지 못해 안면 매칭을 진행할 수 없는 문제를 방지한다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 특징 매칭 결과가 특징 매칭 실패인 것으로 나타내면, 수신된 조작 명령의 실행을 거절하는 단계를 더 포함한다.
본 실시예에서, 특징 매칭 실패는 상기 운전자가 등록되지 않은 것을 나타내는데, 이때, 이미 등록된 운전자의 권익을 보장하기 위하여, 차량은 상기 운전자가 조작 명령을 실행하는 것을 거절한다.
선택 가능하게, 운전 관리 방법은,
등록 리마인드 정보를 송신하는 단계;
등록 리마인드 정보에 따라 운전자 등록 요청을 수신하는 단계 - 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함함 - ; 및
등록 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함한다.
본 실시예에서, 차량을 통해 운전자에 의해 송신된 예약 요청을 수신하고, 상기 운전자의 등록 안면 이미지를 저장하며, 차량측에서 상기 등록 안면 이미지에 기반하여 데이터 세트를 구축하고, 데이터 세트를 통해 차량측의 단독 안면 매칭을 구현할 수 있음으로써, 클라우드 서버로부터 데이터 세트를 다운로드할 필요가 없다.
도 6은 본 출원의 일부 실시예의 운전 관리 방법의 하나의 응용예의 흐름도이다. 도 6에 도시된 바와 같이, 본 실시예의 운전 관리 방법의 수행 주체는 예컨대 차량 탑재 지능형 시스템 또는, 유사한 기능을 구비하는 다른 기기와 같은 차량측 기기일 수 있고, 선별된 안면 이미지 및 운전자 ID 정보(신분 정보)를 대응되는 운전자 권한 정보에 할당한 후 데이터 세트에 저장한다.
차량 클라이언트는 운전자 이미지를 획득하고, 운전자 이미지에 대해 안면 검출, 품질 선별 및 생체 인식을 순차적으로 진행하여, 선별된 인식될 안면 이미지와 데이터 세트 중 모든 안면 이미지를 매칭시키며, 매칭은 안면 특징에 기반하여 구현되고, 안면 특징은 신경망을 통해 추출되어 획득될 수 있으며, 비교 결과에 기반하여 인식될 안면 이미지에 대응되는 권한 정보를 결정하고, 권한 정보에 기반하여 차량 동작을 제어하며; 차량 클라이언트에서 인식될 이미지 및 데이터 세트 중의 안면 이미지에 대해 각각 특징 추출을 진행하여 대응되는 안면 특징을 획득하고, 안면 특징에 기반하여 매칭하며, 매칭 결과에 기반하여 대응되는 단계를 수행한다.
하나 또는 다수의 선택 가능한 실시예에서, 단계120은, 차량과 클라우드 서버가 통신 연결 상태일 경우, 비디오 스트림 중 적어도 하나의 이미지의 안면 부분을 클라우드 서버에 업로드하고, 클라우드 서버에 의해 송신된 특징 매칭 결과를 수신하는 단계를 포함할 수 있다.
본 실시예에서, 클라우드 서버에서 특징 매칭을 진행하고, 매칭 전에, 차량은 비디오 스트림 중 적어도 하나의 이미지의 안면 부분을 클라우드 서버에 업로드하며, 클라우드 서버는 상기 안면 부분과 데이터 세트 중의 안면 이미지에 대해 특징 매칭을 진행하여 특징 매칭 결과를 획득하고, 차량은 클라우드 서버로부터 상기 특징 매칭 결과를 획득함으로써, 차량과 클라우드 서버 사이의 데이터 트래픽을 감소시키고, 네트워크 오버헤드를 감소시킨다.
본 기술분야의 통상의 기술자는 상기 방법 실시예의 모든 또는 부분 단계의 구현은 프로그램 명령과 관련되는 하드웨어를 통해 완성될 수 있고, 상술한 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법 실시예를 포함하는 단계를 수행하고, 상술한 저장 매체는 ROM, RAM, 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함함을 이해할 수 있다.
도 7은 본 출원의 일부 실시예의 차량 탑재 지능형 시스템의 구조 모식도이다. 상기 실시예의 차량 탑재 지능형 시스템은 본 출원의 상기 각 운전 관리 방법 실시예를 구현할 수 있다. 도 7에 도시된 바와 같이, 상기 실시예의 차량 탑재 지능형 시스템은 하기와 같은 유닛을 포함한다.
비디오 수집 유닛(71)은, 차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집한다.
결과 획득 유닛(72)은, 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득한다.
선택 가능하게, 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장된다.
조작 유닛(73)은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 차량에 의해 수신된 조작 명령을 실행한다.
본 출원의 상기 실시예에 의해 제공되는 차량 탑재 지능형 시스템에 기반하여, 차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집하고; 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하며; 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 차량에 의해 수신된 조작 명령을 실행함으로써, 네트워크에 대한 운전자 인식의 의존을 감소시키고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 차량 안전 보장성을 향상시킨다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은, 차량과 클라우드 서버가 통신 연결 상태일 경우, 클라우드 서버에 데이터 세트 다운로드 요청을 송신하는 단계 제1 데이터 다운로드 유닛; 클라우드 서버에 의해 송신된 데이터 세트를 수신하여 저장하는 데이터 저장 유닛을 더 포함한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 차량 운전자의 신분 정보를 획득하고, 클라우드 서버에 이미지 및 신분 정보를 송신하는 제1 클라우드 저장 유닛을 더 포함한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 차량 운전자의 신분 정보를 획득하고, 이미지 중의 안면 부분을 절취하며, 클라우드 서버에 절취된 안면 부분 및 신분 정보를 송신하는 제2 클라우드 저장 유닛을 더 포함할 수 있다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은, 수집된 이미지의 생체 검출 결과를 획득하는 생체 검출 유닛을 더 포함할 수 있고; 조작 유닛(73)은, 특징 매칭 결과 및 생체 검출 결과에 따라, 차량을 제어하여 차량에 의해 수신된 조작 명령을 실행한다.
선택 가능하게, 데이터 세트 중의 저장된 안면 이미지에는 운전 권한이 더 대응되게 설정되고; 본 실시예의 차량 탑재 지능형 시스템은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 대응되는 운전 권한을 획득하는 권한 획득 유닛을 더 포함할 수 있고; 조작 유닛(73)은 또한, 차량을 제어하여 차량에 의해 수신된 권한 범위 내의 조작 명령을 실행한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은,
비디오 스트림에 기반하여 운전자 상태 검출을 진행하는 상태 검출 유닛;
운전자 상태 검출의 결과에 따라, 비정상적 운전 상태의 경보 리마인드를 진행하는 출력 유닛; 및/또는,
운전자 상태 검출의 결과에 따라, 지능형 운전 제어를 진행하는 지능형 운전 제어 유닛을 더 포함한다.
일부 실시예에서, 운전자의 운전자 상태 검출의 결과를 출력할 수 있다.
다른 일부 실시예에서, 운전자 상태 검출의 결과에 따라, 차량에 대해 지능형 운전 제어를 진행할 수 있다.
또 다른 일부 실시예에서, 운전자 상태 검출의 결과를 출력하는 동시에, 운전자 상태 검출의 결과에 따라, 차량에 대해 지능형 운전 제어를 진행할 수 있다.
선택 가능하게, 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 사전 결정된 산만 동작 검출, 운전자 제스처 검출 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상태 검출 유닛은 비디오 스트림에 기반하여 운전자 피로 상태 검출을 진행할 경우,
비디오 스트림 중의 적어도 하나의 이미지의 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득하고, 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함하며;
소정의 시간 내의 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득하고;
운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정한다.
선택 가능하게, 운전자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함한다.
하나 또는 다수의 선택 가능한 실시예에서, 상태 검출 유닛은 비디오 스트림에 기반하여 운전자 산만 상태 검출을 진행할 경우,
비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하고;
소정의 시간 내의 안면 방향 정보 및/또는 시선 방향 정보에 따라, 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하며, 운전자 산만 상태를 나타내는 지표는 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함하고;
운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정한다.
선택 가능하게, 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상태 검출 유닛은 비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행할 경우,
비디오 스트림 중 운전자 이미지의 안면 키 포인트를 검출하고;
안면 키 포인트에 따라 안면 방향 및/또는 시선 방향 검출을 진행한다.
선택 가능하게, 상태 검출 유닛은 안면 키 포인트에 따라 안면 방향 검출을 진행할 경우,
안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하고;
머리 자세의 특징 정보에 따라 안면 방향 정보를 획득한다.
선택 가능하게, 사전 결정된 산만 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함한다.
하나 또는 다수의 선택 가능한 실시예에서, 상태 검출 유닛은 비디오 스트림에 기반하여 운전자의 사전 결정된 산만 동작 검출을 진행할 경우,
비디오 스트림 중 적어도 하나의 이미지에 대해 사전 결정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하고;
타겟 객체의 검출 프레임에 따라, 사전 결정된 산만 동작의 발생 여부를 결정한다.
선택 가능하게, 상태 검출 유닛은 또한,
사전 결정된 산만 동작이 발생되면, 소정의 시간 내 사전 결정된 산만 동작의 발생 여부의 결정 결과를 획득하고, 산만 정도를 나타내는 지표의 파라미터 값을 획득하고;
산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 사전 결정된 산만 동작 검출의 결과를 결정한다.
선택 가능하게, 산만 정도를 나타내는 지표의 파라미터 값은 사전 결정된 산만 동작의 횟수, 사전 결정된 산만 동작의 지속 시간, 사전 결정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 차량 탑재 지능형 시스템은,
운전자의 사전 결정된 산만 동작 검출의 결과가 사전 결정된 산만 동작이 검출된 것이면, 검출된 산만 동작을 리마인드하는 리마인드 유닛을 더 포함한다.
선택 가능하게, 차량 탑재 지능형 시스템은,
운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 제어 유닛을 더 포함한다.
선택 가능하게, 제어 유닛은,
결정된 운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하거나; 및/또는,
결정된 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하거나; 및/또는,
결정된 운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시킨다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은, 클라우드 서버에 운전자 상태 검출의 적어도 일부 결과를 송신하는 결과 송신 유닛을 더 포함한다.
선택 가능하게, 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함한다.
선택 가능하게, 차량 탑재 지능형 시스템은, 비디오 스트림 중 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 저장하거나; 및/또는, 클라우드 서버에 비디오 스트림 중 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 송신하는 비디오 저장 유닛을 더 포함한다.
하나 또는 다수의 선택 가능한 실시예에서, 차량 탑재 지능형 시스템은, 차량과 모바일 기기가 통신 연결 상태일 경우, 모바일 기기에 데이터 세트 다운로드 요청을 송신하고, 모바일 기기에 의해 송신된 데이터 세트를 수신하여 저장하는 제2 데이터 다운로드 유닛을 더 포함한다.
선택 가능하게, 데이터 세트는 모바일 기기가 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버로부터 획득하여 차량에 송신된 것이다.
하나 또는 다수의 선택 가능한 실시예에서, 조작 유닛(73)은 또한, 특징 매칭 결과가 특징 매칭 실패인 것으로 나타내면, 수신된 조작 명령의 실행을 거절한다.
선택 가능하게, 조작 유닛(73)은 또한, 등록 리마인드 정보를 송신하고; 등록 리마인드 정보에 따라 운전자 등록 요청을 수신하며, 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함하고; 등록 안면 이미지에 따라 데이터 세트를 구축한다.
하나 또는 다수의 선택 가능한 실시예에서, 결과 획득 유닛(72)은, 차량과 클라우드 서버가 통신 연결 상태일 경우, 비디오 스트림 중 적어도 하나의 이미지의 안면 부분을 클라우드 서버에 업로드하고, 클라우드 서버에 의해 송신된 특징 매칭 결과를 수신한다.
본 출원의 실시예에 의해 제공되는 차량 탑재 지능형 시스템의 어느 하나의 실시예의 동작 과정 및 설치 방식은 모두 본 출원의 상기 대응되는 방법 실시예의 구체적인 설명을 참조할 수 있고, 공간 제한으로 인해 여기서 더 이상 설명하지 않는다.
도 8은 본 출원의 다른 일부 실시예의 운전 관리 방법의 흐름도이다. 도 8에 도시된 바와 같이, 본 실시예의 운전 관리 방법의 수행 주체는 예컨대 전자 기기 또는, 유사한 기능을 구비하는 다른 기기와 같은 클라우드 서버일 수 있고, 상기 실시예의 방법은 하기와 같은 단계를 포함한다.
단계810에서, 차량에 의해 송신된 인식될 안면 이미지를 수신한다.
선택 가능하게, 인식될 안면 이미지는 차량을 통해 수집하고, 안면을 검출하여, 수집된 비디오 중의 이미지로부터 안면 이미지를 획득하며, 비디오 중의 이미지에 기반하여 안면 이미지를 획득하는 과정은 안면 검출, 안면 품질 선별 및 생체 인식을 포함할 수 있고, 이러한 과정을 통해, 획득된 인식될 안면 이미지가 차량 중의 리얼 운전자의 품질이 비교적 좋은 안면 이미지임을 보장할 수 있고, 후속의 특징 매칭의 효과를 보장한다.
하나의 선택 가능한 예에서, 상기 단계810은 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 이미지 수신 유닛(91)에 의해 수행될 수도 있다.
단계820에서, 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득한다.
선택 가능하게, 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장되고; 선택 가능하게, 선택 가능하게, 클라우드 서버는 차량으로부터 특징 매칭 결과를 직접 획득할 수 있는데, 이때, 특징 매칭 과정은 차량측에서 구현된다.
선택 가능하게, 차량으로부터 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득한다.
하나의 선택 가능한 예에서, 상기 단계820은 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 매칭 결과 획득 유닛(92)에 의해 수행될 수도 있다.
단계830에서, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량에 차량 제어를 허용하는 명령을 송신한다.
하나의 선택 가능한 예에서, 상기 단계830은 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 명령 송신 유닛(93)에 의해 수행될 수도 있다.
본 출원의 상기 실시예에 의해 제공되는 운전 관리 방법에 기반하여, 차량측에서 안면 특징 매칭을 구현함으로써, 네트워크에 대한 운전자 인식의 의존을 감소시키고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 차량 안전 보장성을 향상시킨다.
선택 가능하게, 운전 관리 방법은, 차량에 의해 송신된 데이터 세트 다운로드 요청을 수신하는 단계 - 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및 차량에 데이터 세트를 송신하는 단계를 더 포함한다.
선택 가능하게, 일반적으로 데이터 세트는 클라우드 서버에 저장되고, 본 실시예는 차량측에서 안면 매칭을 구현해야 하며, 네트워크가 존재하지 않을 경우에도 안면을 매칭시킬 수 있도록, 네트워크가 존재할 경우 클라우드 서버로부터 데이터 세트를 다운로드하고 데이터 세트를 차량측에 저장할 수 있는데, 이때, 네트워크가 존재하지 않아 클라우드 서버와 통신할 수 없어도, 차량측에서 안면 매칭을 구현할 수 있고, 데이터 세트에 대한 차량측의 관리에 편리하다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 차량 또는 모바일 기기에 의해 송신된 운전자 등록 요청을 수신하는 단계 - 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함함 - ; 및 등록 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함한다.
운전자가 등록되었는 지의 여부를 인식하기 위하여, 먼저 등록된 운전자에 대응되는 등록 안면 이미지를 저장해야 하고, 본 실시예에서, 클라우드 서버에서, 이미 등록된 등록 안면 이미지에 데이터 세트를 구축하며, 데이터 세트에 이미 등록된 다수의 운전자의 등록 안면 이미지를 저장하고, 클라우드 서버를 통해 저장함으로써, 데이터의 안전성을 보장한다.
하나 또는 다수의 선택 가능한 실시예에서, 단계820은, 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지에 대해 특징 매칭을 진행하여 특징 매칭 결과를 획득하는 단계를 포함할 수 있다.
본 실시예에서, 클라우드 서버에서 특징 매칭을 진행하고, 매칭 전에, 차량은 비디오 스트림 중 적어도 하나의 이미지의 안면 부분을 클라우드 서버에 업로드하며, 클라우드 서버는 상기 안면 부분과 데이터 세트 중의 안면 이미지에 대해 특징 매칭을 진행하여 특징 매칭 결과를 획득하고, 차량은 클라우드 서버로부터 상기 특징 매칭 결과를 획득함으로써, 차량과 클라우드 서버 사이의 데이터 트래픽을 감소시키고, 네트워크 오버헤드를 감소시킨다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 차량에 의해 송신된 운전자 상태 검출의 적어도 일부 결과를 수신하고, 비정상적 운전 상태의 경보 리마인드를 진행하거나 및/또는 차량에 지능형 운전 제어를 진행하는 명령을 송신하는 단계를 더 포함한다.
선택 가능하게, 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함한다.
운전자 상태 검출에 의해 획득된 일부 결과 또는 전체 결과를 클라우드 서버에 송신할 경우, 비정상적 운전 상태 정보를 백업할 수 있고, 정상적 운전 상태는 기록할 필요 없으므로, 본 실시예는 비정상적 운전 상태 정보만 클라우드 서버에 송신하며; 획득된 운전자 상태 검출 결과가 정상적 운전 상태 정보 및 비정상적 운전 상태 정보를 포함할 경우, 일부 결과를 전송하는데, 즉 비정상적 운전 상태 정보만 클라우드 서버에 송신하고; 운전자 상태 검출의 전체 결과가 모두 비정상적 운전 상태 정보일 경우, 전체 비정상적 운전 상태 정보를 클라우드 서버에 전송한다.
하나 또는 다수의 선택 가능한 실시예에서, 운전 관리 방법은, 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함한다.
선택 가능하게, 결정된 운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 예를 들어, 리마인드 운전 상태(운전 상태가 비교적 나쁨)에 대응되는 사전 설정된 조건을 만족시키거나 상태 레벨이 리마인드 운전 상태(운전 상태가 비교적 나쁨)이면, 상기 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하고, 예를 들어, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임 등)/진동 등 방식을 통해 운전자를 리마인드하여, 운전자가 주의하도록 알리고, 운전자가 분산된 주의력을 운전에 되돌리도록 하거나 운전자가 휴식 등을 취하도록 함으로써, 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하거나; 및/또는 결정된 운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 예를 들어, 경고 운전 상태(운전 상태가 아주 나쁨)에 대응되는 사전 설정된 조건을 만족시키거나 운전 상태 레벨이 경고 산만 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)이면, 운전 모드를 자동 운전 모드로 전환시켜 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하며; 동시에, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임 등)/진동 등 방식을 통해 운전자를 리마인드하여, 운전자가 주의하도록 알리고, 운전자가 분산된 주의력을 운전에 되돌리도록 하거나 운전자가 휴식 등을 취하도록 하거나; 및/또는,
결정된 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하고, 예를 들어, 운전자가 어느 또는 일부 동작을 실행하도록 약정할 경우, 운전자가 위험 상태에 있거나 도움이 필요함을 나타내는데, 이러한 동작이 검출될 경우, 사전 결정된 연락처(예를 들어, 경보 전화, 최근 연락자의 전화 또는 설정된 긴급 연락자의 전화)에 사전 결정된 정보(예를 들어, 경보 정보, 리마인드 정보 또는 통화 연결)를 송신하고, 차량 탑재 기기를 통해 사전 결정된 연락처와 직접 통신 연결(예를 들어, 영상 통화, 음성 통화 또는 전화 통화)을 구축하여 운전자의 신변 및/또는 재산 안전을 보장할 수 있다.
선택 가능하게, 운전 관리 방법은, 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 수신하는 단계를 더 포함한다.
본 실시예에서, 차량측의 데이터가 잘못 삭제되거나 고의로 삭제되는 것을 방지하기 위하여, 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 클라우드 서버에 업로드하여 백업할 수 있으며, 정보가 필요할 경우, 클라우드 서버로부터 차량측에 다운로드하여 조회할 수 있거나, 클라우드 서버로부터 다른 클라이언트에 다운로드하여 조회할 수 있다.
선택 가능하게, 운전 관리 방법은, 비정상적 운전 상태 정보에 기반하여 데이터 통계, 차량 관리, 사용자 관리 중 적어도 하나의 동작을 진행할 수 있는 단계를 더 포함한다.
클라우드 서버는 다수의 차량의 비정상적 운전 상태 정보를 수신할 수 있고, 빅 데이터에 기반한 데이터 통계, 차량 및 운전자에 대한 관리를 구현하여 차량 및 운전자를 위해 보다 좋은 서비스를 제공할 수 있다.
선택 가능하게, 비정상적 운전 상태 정보에 기반하여 데이터 통계를 진행하는 단계는, 비정상적 운전 상태 정보에 기반하여, 수신된 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 이미지 또는 비디오 클립을 상이한 비정상적 운전 상태에 따라 분류하고, 각 비정상적 운전 상태의 통계 상황을 결정하는 단계를 포함한다.
각 상이한 비정상적 운전 상태에 대해 분류 통계를 진행하여 빅 데이터에 기반한, 운전자가 흔히 나타나는 비정상적 운전 상태를 획득할 수 있고, 차량에서 비정상적 운전 상태에 보다 적합하게 대응하기 위한 설정 및 장치를 제공하도록, 차량 개발자에 보다 많은 참고 데이터를 제공할 수 있고, 운전자에 보다 편안한 차량 사용 환경을 제공한다.
선택 가능하게, 비정상적 운전 상태 정보에 기반하여 차량 관리를 진행하는 단계는, 비정상적 운전 상태 정보에 기반하여, 수신된 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 이미지 또는 비디오 클립을 상이한 차량에 따라 분류하고, 각 차량의 비정상적 운전 통계 상황을 결정하는 단계를 포함한다.
차량에 기반하여 비정상적 운전 상태 정보를 통계함으로써, 차량에 대응되는 모든 운전자의 비정상적 운전 상태 정보를 처리할 수 있는데, 예를 들어, 어느 하나의 차량에 문제가 발생되면, 상기 차량에 대응되는 모든 비정상적 운전상태 정보를 조회하여 책임을 결정할 수 있다.
선택 가능하게, 비정상적 운전 상태 정보에 기반하여 운전자 관리를 진행하는 단계는, 비정상적 운전 상태 정보에 기반하여, 수신된 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 처리하여, 이미지 또는 비디오 클립을 상이한 운전자에 따라 분류하고, 각 운전자의 비정상적 운전 통계 상황을 결정하는 단계를 포함한다.
운전자에 기반하여 비정상적 운전 상태 정보를 통계함으로써, 각각의 운전자의 운전 습관 및 흔히 발생되는 문제를 획득할 수 있고, 각각의 운전자에 개성화 서비스를 제공할 수 있으며, 차량 안전 운전의 목적에 도달하는 동시에, 운전 습관이 우수한 운전자를 간섭하지 않는다. 예를 들어, 비정상적 운전 상태 정보를 통계하여 어느 운전자가 흔히 차량 운전시 하품하는 것이 결정되면, 상기 운전자에 대해 더 높은 음량의 리마인드 정보를 제공할 수 있다.
본 기술분야의 통상의 기술자는 상기 방법 실시예의 모든 또는 부분 단계의 구현은 프로그램 명령과 관련되는 하드웨어를 통해 완성될 수 있고, 상술한 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법 실시예를 포함하는 단계를 수행하고, 상술한 저장 매체는 ROM, RAM, 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함함을 이해할 수 있다.
도 9는 본 출원의 일부 실시예의 전자 기기의 구조 모식도이다. 상기 실시예의 전자 기기는 본 출원의 상기 각 운전 관리 방법 실시예를 구현할 수 있다. 도 9에 도시된 바와 같이, 상기 실시예의 전자 기기는 하기와 같은 유닛을 포함한다.
이미지 수신 유닛(91)은, 차량에 의해 송신된 인식될 안면 이미지를 수신한다.
매칭 결과 획득 유닛(92)은, 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득한다.
선택 가능하게, 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장된다.
선택 가능하게, 차량으로부터 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득한다.
명령 송신 유닛(93)은, 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량에 차량 제어를 허용하는 명령을 송신한다.
본 출원의 상기 실시예에 의해 제공되는 전자 기기에 기반하여, 차량측에서 안면 특징 매칭을 구현함으로써, 네트워크에 대한 운전자 인식의 의존을 감소시키고, 네트워크가 존재하지 않을 경우 특징 매칭을 구현할 수 있으므로, 차량 안전 보장성을 향상시킨다.
선택 가능하게, 전자 기기는 제1 데이터 송신 유닛을 더 포함하며, 상기 제1 데이터 송신 유닛은, 차량에 의해 송신된 데이터 세트 다운로드 요청을 수신하고, 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장되며; 차량에 상기 데이터 세트를 송신한다.
하나 또는 다수의 선택 가능한 실시예에서, 전자 기기는 등록 요청 수신 유닛을 더 포함하며,
상기 등록 요청 수신 유닛은, 차량 또는 모바일 기기에 의해 송신된 운전자 등록 요청을 수신하고, 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함하며; 등록 안면 이미지에 따라 데이터 세트를 구축한다.
하나 또는 다수의 선택 가능한 실시예에서, 매칭 결과 획득 유닛(92)은, 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지에 대해 특징 매칭을 진행하여 특징 매칭 결과를 획득한다.
하나 또는 다수의 선택 가능한 실시예에서, 전자 기기는, 차량에 의해 송신된 운전자 상태 검출의 적어도 일부 결과를 수신하고, 비정상적 운전 상태의 경보 리마인드를 진행하거나 및/또는 차량에 지능형 운전 제어를 진행하는 명령을 송신하는 검출 결과 수신 유닛을 더 포함한다.
선택 가능하게, 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함한다.
하나 또는 다수의 선택 가능한 실시예에서, 전자 기기는, 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 실행 제어 유닛을 더 포함한다.
선택 가능하게, 실행 제어 유닛은,
결정된 운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하거나; 및/또는,
결정된 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하거나; 및/또는,
결정된 운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시킨다.
선택 가능하게, 전자 기기는, 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 수신하는 비디오 수신 유닛을 더 포함한다.
선택 가능하게, 전자 기기는, 비정상적 운전 상태 정보에 기반하여 데이터 통계, 차량 관리, 사용자 관리 중 적어도 하나의 동작을 진행하는 비정상 처리 유닛을 더 포함한다.
선택 가능하게, 비정상 처리 유닛은 비정상적 운전 상태 정보에 기반하여 데이터 통계를 진행할 경우, 비정상적 운전 상태 정보에 기반하여, 수신된 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 이미지 또는 비디오 클립을 상이한 비정상적 운전 상태에 따라 분류하고, 각 비정상적 운전 상태의 통계 상황을 결정한다.
선택 가능하게, 비정상 처리 유닛은 비정상적 운전 상태 정보에 기반하여 차량 관리를 진행할 경우, 비정상적 운전 상태 정보에 기반하여, 수신된 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 이미지 또는 비디오 클립을 상이한 차량에 따라 분류하고, 각 차량의 비정상적 운전 통계 상황을 결정한다.
선택 가능하게, 비정상 처리 유닛은 비정상적 운전 상태 정보에 기반하여 운전자 관리를 진행할 경우, 비정상적 운전 상태 정보에 기반하여, 수신된 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 처리하여, 이미지 또는 비디오 클립을 상이한 운전자에 따라 분류하고, 각 운전자의 비정상적 운전 통계 상황을 결정한다.
본 출원의 실시예에 의해 제공되는 전자 기기의 어느 하나의 실시예의 동작 과정 및 설치 방식은 모두 본 출원의 상기 대응되는 방법 실시예의 구체적인 설명을 참조할 수 있고, 공간의 제한으로 인해 여기서 더 이상 설명하지 않는다.
본 출원의 실시예의 다른 일 양태에 따르면,
도 1 ~ 도 6에 도시된 실시예 중 어느 하나에 따른 운전 관리 방법을 수행하는 차량; 및/또는
도 8에 도시된 실시예 중 어느 하나에 따른 운전 관리 방법을 수행하는 클라우드 서버를 포함하는 운전 관리 시스템을 제공한다.
선택 가능하게, 운전 관리 시스템은 모바일 기기를 더 포함하며,
상기 모바일 기기는, 운전자 등록 요청을 수신하고, 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함하며; 운전자 등록 요청을 클라우드 서버에 송신한다.
도 10은 본 출원의 일부 실시예의 운전 관리 시스템의 사용 흐름도이다. 도 10에 도시된 바와 같이, 상기 실시예에 의해 구현되는 등록 과정은 휴대폰단(모바일 기기)에서 구현되고, 선별된 안면 이미지 및 운전자 ID 정보(신분 정보)를 클라우드 서버에 업로드하며, 클라우드 서버는 안면 이미지와 운전자 ID 정보 및 상기 안면 이미지에 대응되는 사용자 권한 정보를 데이터 세트에 저장하고, 권한 매칭을 진행해야 할 경우, 차량 클라이언트를 통해 데이터 세트를 차량 클라이언트에 다운로드하여 매칭시키며; 차량 클라이언트는 운전자 이미지를 획득하고, 운전자 이미지에 대해 안면 검출, 품질 선별 및 생체 인식을 순차적으로 진행하여, 선별된 인식될 안면 이미지와 데이터 세트 중 모든 안면 이미지를 매칭시키며, 매칭은 안면 특징에 기반하여 구현되고, 안면 특징은 신경망을 통해 추출되어 획득될 수 있으며, 비교 결과에 기반하여 인식될 안면 이미에 대응되는 권한 정보를 결정하고, 권한 정보에 기반하여 차량 동작을 제어한다.
도 11은 본 출원의 다른 일부 실시예의 운전 관리 시스템의 사용 흐름도이다. 도 11에 도시된 바와 같이, 상기 실시예에 의해 구현되는 등록 과정은 휴대폰단(모바일 기기)에서 구현되고, 선별된 안면 이미지 및 운전자 ID 정보(신분 정보)를 클라우드 서버에 업로드하며, 클라우드 서버는 안면 이미지와 운전자 ID 정보 및 상기 안면 이미지에 대응되는 사용자 권한 정보를 데이터 세트에 저장하고, 권한 매칭을 진행해야 할 경우, 차량 클라이언트를 통해 업로드된 인식될 안면 이미지를 수신하며, 인식될 안면 이미지와 데이터 세트 중 모든 안면 이미지를 매칭시키며, 매칭은 안면 특징에 기반하여 구현되고, 안면 특징은 신경망을 통해 추출되어 획득될 수 있으며, 비교 결과에 기반하여 인식될 안면 이미지에 대응되는 권한 정보를 결정하고, 권한 정보에 기반하여 차량 동작을 제어한다. 차량 클라이언트는 운전자 이미지를 획득하고, 운전자 이미지에 대해 안면 검출, 품질 선별 및 생체 인식을 순차적으로 진행하여 인식될 안면 이미지를 획득한다.
본 출원의 실시예의 또 다른 일 양태에 따르면,
실행 가능한 명령을 저장하는 메모리; 및
실행 가능한 명령을 실행하도록 메모리와 통신하여 상기 어느 한 실시예에 따른 운전 관리 방법을 완성하는 프로세서를 포함하는 전자 기기를 제공한다.
도 12는 본 출원의 일부 실시예의 전자 기기의 하나의 응용예의 구조 모식도이다. 아래 도 12를 참조하면, 이는 본 출원의 실시예를 구현하기 위한 단말 기기 또는 서버에 적용되는 전자 기기의 구조 모식도를 나타낸다. 도 12에 도시된 바와 같이, 상기 전자 기기는 하나 또는 다수의 프로세서, 통신부 등을 포함하고, 상기 하나 또는 다수의 프로세서는 예컨대 하나 또는 다수의 중앙 처리 장치(CPU)(1201), 및/또는 하나 또는 다수의 가속 유닛(1213) 등이며, 가속 유닛은 GPU, FPGA, 다른 타입의 전용 프로세서 등을 포함할 수 있지만 이에 한정되지 않고, 프로세서는 판독 전용 메모리(ROM)(1202)에 저장된 실행 가능한 명령 또는 저장 부분(1208)으로부터 랜덤 액세스 메모리(RAM)(1203)에 로딩된 실행 가능한 명령에 따라 다양한 적절한 동작 및 프로세스를 실행할 수 있다. 통신부(1212)는 랜 카드를 포함할 수 있지만 이에 한정되지 않고, 상기 랜 카드는 IB(Infiniband) 랜 카드를 포함할 수 있지만 이에 한정되지 않으며, 프로세서는 판독 전용 메모리(1202) 및/또는 랜덤 액세스 메모리(1203)와 통신하여 실행 가능한 명령을 실행하고, 버스(1204)를 통해 통신부(1212)와 연결되어 통신부(1212)를 통해 다른 타겟 기기와 통신할 수 있음으로써, 본 출원의 실시예에 의해 제공되는 어느 하나의 방법에 대응되는 동작을 완성할 수 있는데, 예를 들어, 차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집하고; 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하며; 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 차량에 의해 수신된 조작 명령을 실행한다.
이 밖에, RAM(1203)에 장치 조작에 필요한 다양한 프로그램과 데이터가 저장될 수 있다. CPU(1201), ROM(1202) 및 RAM(1203)은 버스(1204)를 통해 서로 연결된다. RAM(1203)이 존재할 경우, ROM(1202)은 선택 가능한 모듈이다. RAM(1203)은 실행 가능한 명령을 저장하거나, 또는 실행 시 ROM(1202)에 실행 가능한 명령을 라이팅하고, 실행 가능한 명령은 중앙 처리 장치(1201)가 본 출원의 상기 어느 하나의 방법에 대응되는 동작을 실행하도록 한다. 입력/출력(I/O) 인터페이스(1205)도 버스(1204)에 연결된다. 통신부(1212)는 집적되어 설치될 수 있고, 다수의 서브 모듈(예를 들어, 다수의 IB 랜 카드)을 구비하고 버스에 연결되도록 설치될 수도 있다.
키보드, 마우스 등을 포함하는 입력 부분(1206); 음극선관(CRT), 액정 표시 장치(LCD) 및 스피커 등을 포함하는 출력 부분(1207); 하드 디스크 등을 포함하는 저장 부분(1208); 및 LAN 카드, 모뎀 등과 같은 네트워크 인터페이스 카드를 포함하는 통신 부분(1209)은 I/O 인터페이스(1205)에 연결된다. 통신 부분(1209)은 예컨대 인터넷의 네트워크를 통해 통신 처리를 수행한다. 드라이버(1210)도 필요에 따라 I/O 인터페이스(1205)에 연결된다. 예컨대 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등 탈착 가능한 매체(1211)는 필요에 따라 드라이버(1212)에 장착되어, 이들로부터 판독된 컴퓨터 프로그램이 필요에 따라 저장 부분(1208)에 장착되도록 한다.
도 12에 도시된 구조는 하나의 선택 가능한 실시형태일 뿐, 구체적인 구현 과정에서, 실제 필요에 따라 상기 도 12의 부재 개수 및 타입을 선택, 삭감, 추가 또는 대체할 수 있고, 상이한 기능 부재에서, 분리 설치 또는 집적 설치 등 실시형태를 사용할 수도 있는데, 예를 들어, 가속 유닛(1213)과 CPU(1201)는 분리되어 설치될 수 있거나 가속 유닛(1213)을 CPU(1201)에 집적할 수 있고, 통신부는 분리되어 설치될 수 있으며, CPU(1201) 또는 가속 유닛(1213)에 집적될 수도 있음을 유의해야 한다. 이러한 대체적인 실시형태는 모두 본 출원이 개시한 보호범위에 속한다.
특히, 본 출원의 실시예에 따르면, 위에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어, 본 출원의 실시예는 기계 판독 가능 매치에 유형적으로 포함되는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 출원의 어느 하나의 실시예에 의해 제공되는 운전 관리 방법의 단계를 대응되게 수행하는 대응되는 명령을 포함할 수 있다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신 부분을 통해 네트워크로부터 다운로드 되거나 네트워크에 설치될 수 있거나, 및/또는 탈착 가능한 매체에 설치될 수 있다. 상기 컴퓨터 프로그램이 CPU(1201)에 의해 실행될 경우, 본 출원의 방법에서 한정된 상기 기능을 수행한다.
본 출원의 실시예의 또 다른 양태에 따르면, 컴퓨터 판독 가능 명령이 저장된 컴퓨터 저장 매체를 제공하고, 상기 명령이 실행될 경우 상기 실시예의 어느 하나에 따른 운전 관리 방법의 단계를 수행한다.
본 명세서의 각 실시예는 모두 차례로 설명되었고, 각 실시예에서 중점적으로 설명된 것은 모두 다른 실시예와 상이한 부분이며, 각 실시예 사이의 동일하거나 유사한 부분은 서로 참조할 수 있다. 시스템 실시예는 방법 실시예와 기본적으로 대응되므로, 비교적 간단하게 설명되었고, 관련 부분은 방법 실시예의 부분적 설명을 참조할 수 있다.
아주 다양한 방식으로 본 출원의 방법, 장치, 시스템, 기기를 구현할 수 있다. 예를 들어, 소프트웨어, 하드웨어, 펌웨어, 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 본 출원의 방법, 장치, 시스템, 기기를 구현할 수 있다. 상기 방법의 단계에 사용되는 상기 순서는 설명하기 위한 것일 뿐, 다른 방식으로 특별히 설명되지 않은 한, 본 출원의 방법의 단계는 이상의 설명 순서에 한정되지 않는다. 이 밖에, 일부 실시예에서, 본 출원을 기록 매체에 기록되는 프로그램으로 실시할 수 있고, 이러한 프로그램은 본 출원에 따른 방법을 구현하기 위한 기계 판독 가능 명령을 포함한다. 따라서, 본 출원은 또한 본 출원에 따른 방법을 수행하기 위한 프로그램을 저장하는 기록 매체를 커버리징한다.
본 출원의 설명은 예시 및 설명을 위한 것이고, 누락이 없거나 본 출원을 개시된 형태에 한정하는 것이 아니다. 많은 수정 및 변경은 본 기술분야의 통상의 기술자에게 있어서 자명한 것이다. 실시예를 선택하고 설명하는 것은 본 출원의 원리 및 실제 응용을 보다 명확하게 설명하기 위한 것이고, 본 기술분야의 통상의 기술자가 본 출원을 이해할 수 있도록 함으로써 설계가 특정된 용도의 다양하게 수정되는 다양한 실시예에 적용되도록 한다.

Claims (93)

  1. 운전 관리 방법으로서,
    차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집하는 단계;
    상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
    상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  2. 청구항 1에 있어서,
    상기 차량과 클라우드 서버가 통신 연결 상태일 경우, 상기 클라우드 서버에 데이터 세트 다운로드 요청을 송신하는 단계; 및
    상기 클라우드 서버에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 상기 차량 운전자의 신분 정보를 획득하는 단계; 및
    상기 클라우드 서버에 상기 이미지 및 상기 신분 정보를 송신하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  4. 청구항 1 또는 청구항 2에 있어서,
    상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 상기 차량 운전자의 신분 정보를 획득하는 단계;
    상기 이미지 중의 안면 부분을 절취하는 단계; 및
    상기 클라우드 서버에 상기 절취된 안면 부분 및 상기 신분 정보를 송신하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 운전 관리 방법은,
    수집된 이미지의 생체 검출 결과를 획득하는 단계를 더 포함하고;
    상기 특징 매칭 결과에 따라, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 단계는,
    상기 특징 매칭 결과 및 상기 생체 검출 결과에 따라, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  6. 청구항 5에 있어서,
    상기 데이터 세트 중의 저장된 안면 이미지에는 운전 권한이 더 대응되게 설정되고;
    상기 운전 관리 방법은,
    상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 대응되는 운전 권한을 획득하는 단계를 더 포함하며;
    상기 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 단계는,
    차량을 제어하여 상기 차량에 의해 수신된 상기 권한 범위 내의 조작 명령을 실행하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
    상기 비디오 스트림에 기반하여 운전자 상태 검출을 진행하는 단계; 및
    운전자 상태 검출의 결과에 따라, 비정상적 운전 상태의 경보 리마인드를 진행하거나 및/또는 지능형 운전 제어를 진행하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  8. 청구항 7에 있어서,
    상기 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 사전 결정된 산만 동작 검출, 운전자 제스처 검출 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 관리 방법.
  9. 청구항 8에 있어서,
    상기 비디오 스트림에 기반하여 운전자 피로 상태 검출을 진행하는 단계는,
    상기 비디오 스트림 중의 적어도 하나의 이미지의 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득하는 단계 - 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함함 - ;
    소정의 시간 내의 상기 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
    운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  10. 청구항 9에 있어서,
    상기 운전자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 관리 방법.
  11. 청구항 10에 있어서,
    상기 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
    상기 하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 관리 방법.
  12. 청구항 8 내지 청구항 11 중 어느 한 항에 있어서,
    상기 비디오 스트림에 기반하여 운전자 산만 상태 검출을 진행하는 단계는,
    상기 비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하는 단계;
    소정의 시간 내의 상기 안면 방향 정보 및/또는 시선 방향 정보에 따라, 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하는 단계 - 상기 운전자 산만 상태를 나타내는 지표는 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함함 - ; 및
    상기 운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  13. 청구항 12에 있어서,
    상기 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
    상기 시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 관리 방법.
  14. 청구항 12 또는 청구항 13에 있어서,
    상기 비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계는,
    상기 비디오 스트림 중 운전자 이미지의 안면 키 포인트를 검출하는 단계; 및
    상기 안면 키 포인트에 따라 안면 방향 및/또는 시선 방향 검출을 진행하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  15. 청구항 14에 있어서,
    상기 안면 키 포인트에 따라 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 단계는,
    상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계; 및
    상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  16. 청구항 8 내지 청구항 15 중 어느 한 항에 있어서,
    상기 사전 결정된 산만 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 관리 방법.
  17. 청구항 16에 있어서,
    상기 비디오 스트림에 기반하여 운전자의 사전 결정된 산만 동작 검출을 진행하는 단계는,
    상기 비디오 스트림 중 적어도 하나의 이미지에 대해 상기 사전 결정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하는 단계; 및
    상기 타겟 객체의 검출 프레임에 따라, 상기 사전 결정된 산만 동작의 발생 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  18. 청구항 17에 있어서,
    사전 결정된 산만 동작이 발생되면, 소정의 시간 내 상기 사전 결정된 산만 동작의 발생 여부의 결정 결과를 획득하고, 운전자 산만 정도를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
    상기 운전자 산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 사전 결정된 산만 동작 검출의 결과를 결정하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  19. 청구항 18에 있어서,
    상기 운전자 산만 정도의 지표의 파라미터 값은 사전 결정된 산만 동작의 횟수, 사전 결정된 산만 동작의 지속 시간, 사전 결정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 관리 방법.
  20. 청구항 16 내지 청구항 19 중 어느 한 항에 있어서,
    운전자의 사전 결정된 산만 동작 검출의 결과가 사전 결정된 산만 동작이 검출된 것이면, 검출된 산만 동작을 리마인드하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  21. 청구항 7 내지 청구항 20 중 어느 한 항에 있어서,
    상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  22. 청구항 21에 있어서,
    상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는,
    결정된 상기 운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 상기 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하는 단계; 및/또는,
    결정된 상기 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하는 단계; 및/또는,
    결정된 상기 운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 운전 관리 방법.
  23. 청구항 7 내지 청구항 22 중 어느 한 항에 있어서,
    상기 클라우드 서버에 상기 운전자 상태 검출의 적어도 일부 결과를 송신하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  24. 청구항 23에 있어서,
    상기 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함하는 것을 특징으로 하는 운전 관리 방법.
  25. 청구항 24에 있어서,
    상기 비디오 스트림 중 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 저장하는 단계; 및/또는,
    상기 클라우드 서버에 상기 비디오 스트림 중 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 송신하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  26. 청구항 1에 있어서,
    상기 차량과 모바일 기기가 통신 연결 상태일 경우, 상기 모바일 기기에 데이터 세트 다운로드 요청을 송신하는 단계; 및
    상기 모바일 기기에 의해 송신된 데이터 세트를 수신하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  27. 청구항 26에 있어서,
    상기 데이터 세트는 상기 모바일 기기가 상기 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버로부터 획득하여 상기 차량에 송신된 것임을 특징으로 하는 운전 관리 방법.
  28. 청구항 1 내지 청구항 27 중 어느 한 항에 있어서,
    상기 특징 매칭 결과가 특징 매칭 실패인 것으로 나타내면, 수신된 조작 명령의 실행을 거절하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  29. 청구항 28에 있어서,
    등록 리마인드 정보를 송신하는 단계;
    상기 등록 리마인드 정보에 따라 운전자 등록 요청을 수신하는 단계 - 상기 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함함 - ; 및
    상기 등록 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  30. 청구항 1 내지 청구항 29 중 어느 한 항에 있어서,
    상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계는,
    상기 차량과 클라우드 서버가 통신 연결 상태일 경우, 상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분을 상기 클라우드 서버에 업로드하고, 상기 클라우드 서버에 의해 송신된 특징 매칭 결과를 수신하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  31. 차량 탑재 지능형 시스템으로서,
    차량에 설치된 촬영 컴포넌트를 제어하여 차량 운전자의 비디오 스트림을 수집하는 비디오 수집 유닛;
    상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분과 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 결과 획득 유닛 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
    상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 조작 유닛을 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  32. 청구항 31에 있어서,
    상기 차량과 클라우드 서버가 통신 연결 상태일 경우, 상기 클라우드 서버에 데이터 세트 다운로드 요청을 송신하는 제1 데이터 다운로드 유닛; 및
    상기 클라우드 서버에 의해 송신된 데이터 세트를 수신하여 저장하는 데이터 저장 유닛을 더 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  33. 청구항 31 또는 청구항 32에 있어서,
    상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 상기 차량 운전자의 신분 정보를 획득하고, 상기 클라우드 서버에 상기 이미지 및 상기 신분 정보를 송신하는 제1 클라우드 저장 유닛을 더 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  34. 청구항 31 또는 청구항 32에 있어서,
    상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 따라 상기 차량 운전자의 신분 정보를 획득하고, 상기 이미지 중의 안면 부분을 절취하며, 상기 클라우드 서버에 상기 절취된 안면 부분 및 상기 신분 정보를 송신하는 제2 클라우드 저장 유닛을 더 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  35. 청구항 31 내지 청구항 34 중 어느 한 항에 있어서,
    상기 차량 탑재 지능형 시스템은, 수집된 이미지의 생체 검출 결과를 획득하는 생체 검출 유닛을 더 포함하고;
    상기 조작 유닛은, 상기 특징 매칭 결과 및 상기 생체 검출 결과에 따라, 차량을 제어하여 상기 차량에 의해 수신된 조작 명령을 실행하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  36. 청구항 35에 있어서,
    상기 데이터 세트 중의 저장된 안면 이미지에는 운전 권한이 더 대응되게 설정되고;
    상기 차량 탑재 지능형 시스템은, 상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 특징 매칭에 성공한 사전 저장된 안면 이미지에 대응되는 운전 권한을 획득하는 권한 획득 유닛을 더 포함하고;
    상기 조작 유닛은 또한, 차량을 제어하여 상기 차량에 의해 수신된 상기 권한 범위 내의 조작 명령을 실행하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  37. 청구항 31 내지 청구항 36 중 어느 한 항에 있어서,
    상기 비디오 스트림에 기반하여 운전자 상태 검출을 진행하는 상태 검출 유닛;
    운전자 상태 검출의 결과에 따라, 비정상적 운전 상태의 경보 리마인드를 진행하는 출력 유닛; 및/또는,
    운전자 상태 검출의 결과에 따라, 지능형 운전 제어를 진행하는 지능형 운전 제어 유닛을 더 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  38. 청구항 37에 있어서,
    상기 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 사전 결정된 산만 동작 검출, 운전자 제스처 검출 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  39. 청구항 38에 있어서,
    상기 상태 검출 유닛은 상기 비디오 스트림에 기반하여 운전자 피로 상태 검출을 진행할 경우,
    상기 비디오 스트림 중의 적어도 하나의 이미지의 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득하고, 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함하며;
    소정의 시간 내의 상기 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득하고;
    운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  40. 청구항 39에 있어서,
    상기 운전자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  41. 청구항 40에 있어서,
    상기 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
    상기 하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  42. 청구항 38 내지 청구항 41 중 어느 한 항에 있어서,
    상기 상태 검출 유닛은 상기 비디오 스트림에 기반하여 운전자 산만 상태 검출을 진행할 경우,
    상기 비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하고;
    소정의 시간 내의 상기 안면 방향 정보 및/또는 시선 방향 정보에 따라, 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하며; 상기 운전자 산만 상태를 나타내는 지표는 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함하고;
    상기 운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  43. 청구항 42에 있어서,
    상기 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하거나; 및/또는,
    상기 시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  44. 청구항 42 또는 청구항 43에 있어서,
    상기 상태 검출 유닛은 상기 비디오 스트림 중 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행할 경우,
    상기 비디오 스트림 중 운전자 이미지의 안면 키 포인트를 검출하고;
    상기 안면 키 포인트에 따라 안면 방향 및/또는 시선 방향 검출을 진행하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  45. 청구항 44에 있어서,
    상기 상태 검출 유닛은 상기 안면 키 포인트에 따라 안면 방향 검출을 진행할 경우,
    상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하고;
    상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  46. 청구항 38 내지 청구항 45 중 어느 한 항에 있어서,
    상기 사전 결정된 산만 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  47. 청구항 46에 있어서,
    상기 상태 검출 유닛은 상기 비디오 스트림에 기반하여 운전자의 사전 결정된 산만 동작 검출을 진행할 경우,
    상기 비디오 스트림 중 적어도 하나의 이미지에 대해 상기 사전 결정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하고;
    상기 타겟 객체의 검출 프레임에 따라, 상기 사전 결정된 산만 동작의 발생 여부를 결정하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  48. 청구항 47에 있어서,
    상기 상태 검출 유닛은 또한,
    사전 결정된 산만 동작이 발생되면, 소정의 시간 내 상기 사전 결정된 산만 동작의 발생 여부의 결정 결과를 획득하고, 운전자 산만 정도를 나타내는 지표의 파라미터 값을 획득하며;
    상기 운전자 산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 사전 결정된 산만 동작 검출의 결과를 결정하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  49. 청구항 48에 있어서,
    상기 운전자 산만 정도의 지표의 파라미터 값은 사전 결정된 산만 동작의 횟수, 사전 결정된 산만 동작의 지속 시간, 사전 결정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  50. 청구항 46 내지 청구항 49 중 어느 한 항에 있어서,
    운전자의 사전 결정된 산만 동작 검출의 결과가 사전 결정된 산만 동작이 검출된 것이면, 검출된 산만 동작을 리마인드하는 리마인드 유닛을 더 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  51. 청구항 37 내지 청구항 50 중 어느 한 항에 있어서,
    상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 제어 유닛을 더 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  52. 청구항 51에 있어서,
    상기 제어 유닛은,
    결정된 상기 운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 상기 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하거나; 및/또는,
    결정된 상기 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하거나; 및/또는,
    결정된 상기 운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  53. 청구항 37 내지 청구항 52 중 어느 한 항에 있어서,
    상기 클라우드 서버에 상기 운전자 상태 검출의 적어도 일부 결과를 송신하는 결과 송신 유닛을 더 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  54. 청구항 53에 있어서,
    상기 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  55. 청구항 54에 있어서,
    상기 비디오 스트림 중 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 저장하거나; 및/또는, 상기 클라우드 서버에 상기 비디오 스트림 중 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 송신하는 비디오 저장 유닛을 더 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  56. 청구항 31에 있어서,
    상기 차량과 모바일 기기가 통신 연결 상태일 경우, 상기 모바일 기기에 데이터 세트 다운로드 요청을 송신하고, 상기 모바일 기기에 의해 송신된 데이터 세트를 수신하여 저장하는 제2 데이터 다운로드 유닛을 더 포함하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  57. 청구항 56에 있어서,
    상기 데이터 세트는 상기 모바일 기기가 상기 데이터 세트 다운로드 요청을 수신할 경우 클라우드 서버로부터 획득하여 상기 차량에 송신된 것임을 특징으로 하는 차량 탑재 지능형 시스템.
  58. 청구항 31 내지 청구항 57 중 어느 한 항에 있어서,
    상기 조작 유닛은 또한, 상기 특징 매칭 결과가 특징 매칭 실패인 것으로 나타내면, 수신된 조작 명령의 실행을 거절하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  59. 청구항 58에 있어서,
    상기 조작 유닛은 또한,
    등록 리마인드 정보를 송신하고;
    상기 등록 리마인드 정보에 따라 운전자 등록 요청을 수신하며, 상기 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함하고;
    상기 등록 안면 이미지에 따라 데이터 세트를 구축하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  60. 청구항 31 내지 청구항 59 중 어느 한 항에 있어서,
    상기 결과 획득 유닛은, 상기 차량과 클라우드 서버가 통신 연결 상태일 경우, 상기 비디오 스트림 중 적어도 하나의 이미지의 안면 부분을 상기 클라우드 서버에 업로드하고, 상기 클라우드 서버에 의해 송신된 특징 매칭 결과를 수신하는 것을 특징으로 하는 차량 탑재 지능형 시스템.
  61. 운전 관리 방법으로서,
    차량에 의해 송신된 인식될 안면 이미지를 수신하는 단계;
    상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
    상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 상기 차량에 차량 제어를 허용하는 명령을 송신하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  62. 청구항 61에 있어서,
    차량에 의해 송신된 데이터 세트 다운로드 요청을 수신하는 단계 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
    상기 차량에 상기 데이터 세트를 송신하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  63. 청구항 61 또는 청구항 62에 있어서,
    차량 또는 모바일 기기에 의해 송신된 운전자 등록 요청을 수신하는 단계 - 상기 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함함 - ; 및
    상기 등록 안면 이미지에 따라 데이터 세트를 구축하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  64. 청구항 61 내지 청구항 63 중 어느 한 항에 있어서,
    상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계는,
    상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지에 대해 특징 매칭을 진행하여 상기 특징 매칭 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  65. 청구항 61 내지 청구항 64 중 어느 한 항에 있어서,
    상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계는,
    상기 차량으로부터 상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  66. 청구항 61 내지 청구항 65 중 어느 한 항에 있어서,
    상기 차량에 의해 송신된 운전자 상태 검출의 적어도 일부 결과를 수신하고, 비정상적 운전 상태의 경보 리마인드를 진행하거나 및/또는 상기 차량에 지능형 운전 제어를 진행하는 명령을 송신하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  67. 청구항 66에 있어서,
    상기 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함하는 것을 특징으로 하는 운전 관리 방법.
  68. 청구항 66 또는 청구항 67에 있어서,
    상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  69. 청구항 68에 있어서,
    상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 단계는,
    결정된 상기 운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 상기 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하는 단계; 및/또는,
    결정된 상기 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하는 단계; 및/또는,
    결정된 상기 운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  70. 청구항 67 내지 청구항 69 중 어느 한 항에 있어서,
    상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 수신하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  71. 청구항 70에 있어서,
    상기 비정상적 운전 상태 정보에 기반하여 데이터 통계, 차량 관리, 사용자 관리 중 적어도 하나의 동작을 진행하는 단계를 더 포함하는 것을 특징으로 하는 운전 관리 방법.
  72. 청구항 71에 있어서,
    상기 비정상적 운전 상태 정보에 기반하여 데이터 통계를 진행하는 단계는,
    상기 비정상적 운전 상태 정보에 기반하여, 수신된 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 상기 이미지 또는 비디오 클립을 상이한 비정상적 운전 상태에 따라 분류하고, 각 상기 비정상적 운전 상태의 통계 상황을 결정하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  73. 청구항 71 또는 청구항 72에 있어서,
    상기 비정상적 운전 상태 정보에 기반하여 차량 관리를 진행하는 단계는,
    상기 비정상적 운전 상태 정보에 기반하여, 수신된 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 상기 이미지 또는 비디오 클립을 상이한 차량에 따라 분류하고, 각 상기 차량의 비정상적 운전 통계 상황을 결정하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  74. 청구항 71 내지 청구항 73 중 어느 한 항에 있어서,
    상기 비정상적 운전 상태 정보에 기반하여 운전자 관리를 진행하는 단계는,
    상기 비정상적 운전 상태 정보에 기반하여, 수신된 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 처리하여, 상기 이미지 또는 비디오 클립을 상이한 운전자에 따라 분류하고, 각 상기 운전자의 비정상적 운전 통계 상황을 결정하는 단계를 포함하는 것을 특징으로 하는 운전 관리 방법.
  75. 전자 기기로서,
    차량에 의해 송신된 인식될 안면 이미지를 수신하는 이미지 수신 유닛;
    상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 매칭 결과 획득 유닛 - 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장됨 - ; 및
    상기 특징 매칭 결과가 특징 매칭 성공인 것으로 나타내면, 상기 차량에 차량 제어를 허용하는 명령을 송신하는 명령 송신 유닛을 포함하는 것을 특징으로 하는 전자 기기.
  76. 청구항 75에 있어서,
    제1 데이터 송신 유닛을 더 포함하며,
    상기 제1 데이터 송신 유닛은,
    차량에 의해 송신된 데이터 세트 다운로드 요청을 수신하고, 상기 데이터 세트에는 이미 등록된 운전자의 적어도 하나의 사전 저장된 안면 이미지가 저장되며;
    상기 차량에 상기 데이터 세트를 송신하는 것을 특징으로 하는 전자 기기.
  77. 청구항 75 또는 청구항 76에 있어서,
    등록 요청 수신 유닛을 더 포함하며,
    상기 등록 요청 수신 유닛은,
    차량 또는 모바일 기기에 의해 송신된 운전자 등록 요청을 수신하고, 상기 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함하며;
    상기 등록 안면 이미지에 따라 데이터 세트를 구축하는 것을 특징으로 하는 전자 기기.
  78. 청구항 75 내지 청구항 77 중 어느 한 항에 있어서,
    상기 매칭 결과 획득 유닛은, 상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지에 대해 특징 매칭을 진행하여 상기 특징 매칭 결과를 획득하는 것을 특징으로 하는 전자 기기.
  79. 청구항 75 내지 청구항 78 중 어느 한 항에 있어서,
    상기 매칭 결과 획득 유닛은, 상기 차량으로부터 상기 안면 이미지와 데이터 세트 중 적어도 하나의 사전 저장된 안면 이미지의 특징 매칭 결과를 획득하는 것을 특징으로 하는 전자 기기.
  80. 청구항 75 내지 청구항 79 중 어느 한 항에 있어서,
    상기 차량에 의해 송신된 운전자 상태 검출의 적어도 일부 결과를 수신하고, 비정상적 운전 상태의 경보 리마인드를 진행하거나 및/또는 상기 차량에 지능형 운전 제어를 진행하는 명령을 송신하는 검출 결과 수신 유닛을 더 포함하는 것을 특징으로 하는 전자 기기.
  81. 청구항 80에 있어서,
    상기 적어도 일부 결과는 운전자 상태 검출에 따라 결정된 비정상적 운전 상태 정보를 포함하는 것을 특징으로 하는 전자 기기.
  82. 청구항 80 또는 청구항 81에 있어서,
    상기 운전자 상태 검출의 결과에 대응되는 제어 동작을 실행하는 실행 제어 유닛을 더 포함하는 것을 특징으로 하는 전자 기기.
  83. 청구항 82에 있어서,
    상기 실행 제어 유닛은,
    결정된 상기 운전자 상태 검출의 결과가 리마인드/경고의 사전 결정된 조건을 만족시키면, 상기 리마인드/경고의 사전 결정된 조건에 대응되는 리마인드/경고 정보를 출력하거나; 및/또는,
    결정된 상기 운전자 상태 검출의 결과가 사전 결정된 정보 송신 조건을 만족시키면, 사전 결정된 연락처에 사전 결정된 정보를 송신하거나 사전 결정된 연락처와 통신 연결을 구축하거나; 및/또는,
    결정된 상기 운전자 상태 검출의 결과가 사전 결정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 것을 특징으로 하는 전자 기기.
  84. 청구항 81 내지 청구항 83 중 어느 한 항에 있어서,
    상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 수신하는 비디오 수신 유닛을 더 포함하는 것을 특징으로 하는 전자 기기.
  85. 청구항 84에 있어서,
    상기 비정상적 운전 상태 정보에 기반하여 데이터 통계, 차량 관리, 사용자 관리 중 적어도 하나의 동작을 진행하는 비정상 처리 유닛을 더 포함하는 것을 특징으로 하는 전자 기기.
  86. 청구항 85에 있어서,
    상기 비정상 처리 유닛은 상기 비정상적 운전 상태 정보에 기반하여 데이터 통계를 진행할 경우, 상기 비정상적 운전 상태 정보에 기반하여, 수신된 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 상기 이미지 또는 비디오 클립을 상이한 비정상적 운전 상태에 따라 분류하고, 각 상기 비정상적 운전 상태의 통계 상황을 결정하는 것을 특징으로 하는 전자 기기.
  87. 청구항 85 또는 청구항 86에 있어서,
    상기 비정상 처리 유닛은 상기 비정상적 운전 상태 정보에 기반하여 차량 관리를 진행할 경우, 상기 비정상적 운전 상태 정보에 기반하여, 수신된 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 통계하여, 상기 이미지 또는 비디오 클립을 상이한 차량에 따라 분류하고, 각 상기 차량의 비정상적 운전 통계 상황을 결정하는 것을 특징으로 하는 전자 기기.
  88. 청구항 85 내지 청구항 87 중 어느 한 항에 있어서,
    상기 비정상 처리 유닛은 상기 비정상적 운전 상태 정보에 기반하여 운전자 관리를 진행할 경우, 상기 비정상적 운전 상태 정보에 기반하여, 수신된 상기 비정상적 운전 상태 정보에 대응되는 이미지 또는 비디오 클립을 처리하여, 상기 이미지 또는 비디오 클립을 상이한 운전자에 따라 분류하고, 각 상기 운전자의 비정상적 운전 통계 상황을 결정하는 것을 특징으로 하는 전자 기기.
  89. 운전 관리 시스템으로서,
    청구항 1 내지 청구항 30 중 어느 한 항에 따른 운전 관리 방법을 수행하는 차량; 및/또는
    청구항 61 내지 청구항 74 중 어느 한 항에 따른 운전 관리 방법을 수행하는 클라우드 서버를 포함하는 것을 특징으로 하는 운전 관리 시스템.
  90. 청구항 89에 있어서,
    모바일 기기를 더 포함하며,
    상기 모바일 기기는,
    운전자 등록 요청을 수신하고, 상기 운전자 등록 요청은 운전자의 등록 안면 이미지를 포함하며;
    상기 운전자 등록 요청을 상기 클라우드 서버에 송신하는 것을 특징으로 하는 운전 관리 시스템.
  91. 전자 기기로서,
    실행 가능한 명령을 저장하는 메모리; 및
    상기 실행 가능한 명령을 실행하도록 상기 메모리와 통신하여 청구항 1 내지 청구항 30 중 어느 한 항에 따른 운전 관리 방법 또는 청구항 61 내지 청구항 74 중 어느 한 항에 따른 운전 관리 방법을 완성하는 프로세서를 포함하는 것을 특징으로 하는 전자 기기.
  92. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 판독 가능 코드가 전자 기기에 실행될 경우, 상기 전자 기기 중의 프로세서는 청구항 1 내지 청구항 30 중 어느 한 항에 따른 운전 관리 방법 또는 청구항 61 내지 청구항 74 중 어느 한 항에 따른 운전 관리 방법을 구현하도록 실행되는 것을 특징으로 하는 컴퓨터 프로그램.
  93. 컴퓨터 판독 가능 명령이 저장된 컴퓨터 저장 매체로서,
    상기 명령이 실행될 경우 청구항 1 내지 청구항 30 중 어느 한 항에 따른 운전 관리 방법 또는 청구항 61 내지 청구항 74 중 어느 한 항에 따른 운전 관리 방법을 구현하는 것을 특징으로 하는 컴퓨터 저장 매체.
KR1020207012402A 2018-06-04 2018-09-14 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체 KR102305914B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810565711.1 2018-06-04
CN201810565711.1A CN109002757A (zh) 2018-06-04 2018-06-04 驾驶管理方法和系统、车载智能系统、电子设备、介质
PCT/CN2018/105790 WO2019232972A1 (zh) 2018-06-04 2018-09-14 驾驶管理方法和系统、车载智能系统、电子设备、介质

Publications (2)

Publication Number Publication Date
KR20200063193A true KR20200063193A (ko) 2020-06-04
KR102305914B1 KR102305914B1 (ko) 2021-09-28

Family

ID=64574253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207012402A KR102305914B1 (ko) 2018-06-04 2018-09-14 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체

Country Status (7)

Country Link
EP (1) EP3617935A4 (ko)
JP (1) JP6932208B2 (ko)
KR (1) KR102305914B1 (ko)
CN (1) CN109002757A (ko)
MY (1) MY197453A (ko)
SG (1) SG11201911404QA (ko)
WO (1) WO2019232972A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510733B1 (ko) * 2022-08-10 2023-03-16 주식회사 에이모 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977771A (zh) * 2019-02-22 2019-07-05 杭州飞步科技有限公司 司机身份的验证方法、装置、设备及计算机可读存储介质
CN110119708A (zh) * 2019-05-10 2019-08-13 万雪莉 一种基于台灯的用户状态调整方法和装置
CN112069863B (zh) * 2019-06-11 2022-08-19 荣耀终端有限公司 一种面部特征的有效性判定方法及电子设备
CN112218270A (zh) * 2019-07-09 2021-01-12 奥迪股份公司 车辆用户的呼入或呼出处理系统及相应的方法和介质
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
CN110550043B (zh) * 2019-09-05 2022-07-22 上海博泰悦臻网络技术服务有限公司 危险行为的警示方法、系统、计算机存储介质及车载终端
CN110737688B (zh) * 2019-09-30 2023-04-07 上海商汤临港智能科技有限公司 驾驶数据分析方法、装置、电子设备和计算机存储介质
CN110780934B (zh) * 2019-10-23 2024-03-12 深圳市商汤科技有限公司 车载图像处理系统的部署方法和装置
CN110758324A (zh) * 2019-10-23 2020-02-07 上海能塔智能科技有限公司 试驾控制方法及系统、车载智能设备、车辆、存储介质
CN110816473B (zh) * 2019-11-29 2022-08-16 福智易车联网(宁波)有限公司 一种车辆控制方法、车辆控制系统及存储介质
CN111476185B (zh) * 2020-04-13 2023-10-10 罗跃宸 一种驾驶者注意力监测方法、装置以及系统
CN112351915A (zh) * 2020-04-24 2021-02-09 上海商汤临港智能科技有限公司 车辆和车舱域控制器
CN111483471B (zh) * 2020-04-26 2021-11-30 湘潭牵引机车厂有限公司 车辆控制方法、装置及车载控制器
CN113696897B (zh) * 2020-05-07 2023-06-23 沃尔沃汽车公司 驾驶员分神预警方法和驾驶员分神预警系统
CN113744498B (zh) * 2020-05-29 2023-10-27 杭州海康汽车软件有限公司 驾驶员注意力监测的系统和方法
CN111951637B (zh) * 2020-07-19 2022-05-03 西北工业大学 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法
CN112037380B (zh) * 2020-09-03 2022-06-24 上海商汤临港智能科技有限公司 车辆控制方法及装置、电子设备、存储介质和车辆
CN112288286A (zh) * 2020-10-30 2021-01-29 上海仙塔智能科技有限公司 安全派单方法、安全派单系统及可读存储介质
CN112660157B (zh) * 2020-12-11 2022-12-27 重庆邮电大学 一种多功能无障碍车远程监控与辅助驾驶系统
CN112699807A (zh) * 2020-12-31 2021-04-23 车主邦（北京）科技有限公司 一种驾驶员状态信息监控方法和装置
CN112861677A (zh) * 2021-01-28 2021-05-28 上海商汤临港智能科技有限公司 轨交驾驶员的动作检测方法及装置、设备、介质及工具
CN115147785A (zh) * 2021-03-29 2022-10-04 东风汽车集团股份有限公司 一种车辆识别方法、装置、电子设备和存储介质
CN113343754A (zh) * 2021-04-21 2021-09-03 彭泳 基于视频图像分析的危货监管系统及危货监管方法
CN113104046B (zh) * 2021-04-28 2022-11-11 中国第一汽车股份有限公司 一种基于云服务器的开门预警方法及装置
CN113191286B (zh) * 2021-05-08 2023-04-25 重庆紫光华山智安科技有限公司 图像数据质量检测调优方法、系统、设备及介质
CN113285998B (zh) * 2021-05-20 2023-02-10 江西北斗应用科技有限公司 驾驶员管理终端和无人航空器监管系统
CN113581209B (zh) * 2021-08-04 2023-06-20 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质
CN114132329B (zh) * 2021-12-10 2024-04-12 智己汽车科技有限公司 一种驾驶员注意力保持方法及系统
CN114475623A (zh) * 2021-12-28 2022-05-13 阿波罗智联(北京)科技有限公司 车辆的控制方法、装置、电子设备及存储介质
CN114368395B (zh) * 2022-01-21 2023-07-21 华录智达科技股份有限公司 一种基于公交数字化转型的人工智能公交驾驶安全管理系统
CN114312669B (zh) * 2022-02-15 2022-08-05 远峰科技股份有限公司 一种基于人脸识别的智能座舱显示系统
CN114895983A (zh) * 2022-05-12 2022-08-12 合肥杰发科技有限公司 Dms的启动方法及相关设备
CN115214505B (zh) * 2022-06-29 2024-04-26 重庆长安汽车股份有限公司 车辆座舱音效的控制方法、装置、车辆及存储介质
CN116912808B (zh) * 2023-09-14 2023-12-01 四川公路桥梁建设集团有限公司 架桥机控制方法、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072792A1 (en) * 2004-09-29 2006-04-06 Aisin Seiki Kabushiki Kaisha Driver monitoring system for vehicle
CN101844548A (zh) * 2010-03-30 2010-09-29 奇瑞汽车股份有限公司 一种车辆自动控制方法和系统
CN107578025A (zh) * 2017-09-15 2018-01-12 赵立峰 一种驾驶员识别方法及系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2546415B2 (ja) * 1990-07-09 1996-10-23 トヨタ自動車株式会社 車両運転者監視装置
EP2305106A1 (en) * 2002-02-19 2011-04-06 Volvo Technology Corporation Method for monitoring and managing driver attention loads
CN100398065C (zh) * 2002-10-15 2008-07-02 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
JP2004284460A (ja) * 2003-03-20 2004-10-14 Aisin Seiki Co Ltd 車両盗難防止システム
US7362210B2 (en) * 2003-09-05 2008-04-22 Honeywell International Inc. System and method for gate access control
TWI405134B (zh) * 2009-10-21 2013-08-11 Automotive Res & Testing Ct Driver face image recognition system
JP2011192031A (ja) * 2010-03-15 2011-09-29 Denso It Laboratory Inc 制御装置及び運転安全性保護方法
CN102975690A (zh) * 2011-09-02 2013-03-20 上海博泰悦臻电子设备制造有限公司 汽车锁定系统及方法
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
JP6150258B2 (ja) * 2014-01-15 2017-06-21 みこらった株式会社 自動運転車
CN104408878B (zh) * 2014-11-05 2017-01-25 唐郁文 一种车队疲劳驾驶预警监控系统及方法
CN104732251B (zh) * 2015-04-23 2017-12-22 郑州畅想高科股份有限公司 一种基于视频的机车司机驾驶状态检测方法
JP6447379B2 (ja) * 2015-06-15 2019-01-09 トヨタ自動車株式会社 認証装置、認証システムおよび認証方法
CN105469035A (zh) * 2015-11-17 2016-04-06 中国科学院重庆绿色智能技术研究院 基于双目视频分析的驾驶员不良驾驶行为检测系统
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
FR3048544B1 (fr) * 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
CN108369766A (zh) * 2016-05-10 2018-08-03 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法
JP6790483B2 (ja) * 2016-06-16 2020-11-25 日産自動車株式会社 認証方法及び認証装置
CN106335469B (zh) * 2016-09-04 2019-11-26 深圳市云智易联科技有限公司 车载认证方法、系统、车载装置、移动终端及服务器
CN106338944B (zh) * 2016-09-29 2019-02-15 山东华旗新能源科技有限公司 施工升降机安全智能控制系统
US10246014B2 (en) * 2016-11-07 2019-04-02 Nauto, Inc. System and method for driver distraction determination
CN108052888B (zh) * 2017-04-18 2019-08-20 黄海虹 一种驾驶人员更换系统
CN107244306A (zh) * 2017-07-27 2017-10-13 深圳小爱智能科技有限公司 一种启动汽车的装置
CN107657236A (zh) * 2017-09-29 2018-02-02 厦门知晓物联技术服务有限公司 汽车安全驾驶预警方法及车载预警系统
CN107891746A (zh) * 2017-10-19 2018-04-10 李娟� 基于汽车驾驶防疲劳的系统
CN207433445U (zh) * 2017-10-31 2018-06-01 安徽江淮汽车集团股份有限公司 一种车辆管理系统
CN107953854A (zh) * 2017-11-10 2018-04-24 惠州市德赛西威汽车电子股份有限公司 一种基于人脸识别的智能车载辅助系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072792A1 (en) * 2004-09-29 2006-04-06 Aisin Seiki Kabushiki Kaisha Driver monitoring system for vehicle
CN101844548A (zh) * 2010-03-30 2010-09-29 奇瑞汽车股份有限公司 一种车辆自动控制方法和系统
CN107578025A (zh) * 2017-09-15 2018-01-12 赵立峰 一种驾驶员识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510733B1 (ko) * 2022-08-10 2023-03-16 주식회사 에이모 영상에서 학습 대상 이미지 프레임을 선별하는 방법 및 장치

Also Published As

Publication number Publication date
EP3617935A4 (en) 2020-07-08
SG11201911404QA (en) 2020-01-30
KR102305914B1 (ko) 2021-09-28
JP6932208B2 (ja) 2021-09-08
EP3617935A1 (en) 2020-03-04
JP2020525334A (ja) 2020-08-27
CN109002757A (zh) 2018-12-14
MY197453A (en) 2023-06-19
WO2019232972A1 (zh) 2019-12-12

Similar Documents

Publication Publication Date Title
KR102305914B1 (ko) 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
US10915769B2 (en) Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
KR102297162B1 (ko) 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
KR102391279B1 (ko) 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량
CN111079476B (zh) 驾驶状态分析方法和装置、驾驶员监控系统、车辆
US10970571B2 (en) Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
JP7146959B2 (ja) 運転状態検出方法及び装置、運転者監視システム並びに車両
US20200151479A1 (en) Method and apparatus for providing driver information via audio and video metadata extraction
CN111709264A (zh) 驾驶员注意力监测方法和装置及电子设备
JP7407198B2 (ja) ながら運転のモニタリング方法、システム及び電子機器
Guria et al. Iot-enabled driver drowsiness detection using machine learning
KR102401607B1 (ko) 운전자의 운행 집중도 레벨 분석방법
US20190149777A1 (en) System for recording a scene based on scene content
Radhika et al. Container based Driver Fatigue System using IoT
P Mathai A New Proposal for Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers
US20190149778A1 (en) Method for variable recording of a scene based on scene content
Chinta et al. Driver Distraction Detection and Recognition
CN117333853A (zh) 基于图像处理的驾驶员疲劳监测方法、装置及存储介质
CN115359466A (zh) 异常驾驶行为识别方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant