KR20200079277A - 승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체 - Google Patents
승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체 Download PDFInfo
- Publication number
- KR20200079277A KR20200079277A KR1020207014873A KR20207014873A KR20200079277A KR 20200079277 A KR20200079277 A KR 20200079277A KR 1020207014873 A KR1020207014873 A KR 1020207014873A KR 20207014873 A KR20207014873 A KR 20207014873A KR 20200079277 A KR20200079277 A KR 20200079277A
- Authority
- KR
- South Korea
- Prior art keywords
- passenger
- child
- vehicle
- human body
- state
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 claims abstract description 238
- 230000004044 response Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims description 93
- 238000000605 extraction Methods 0.000 claims description 68
- 238000013528 artificial neural network Methods 0.000 claims description 62
- 230000001815 facial effect Effects 0.000 claims description 32
- 238000012544 monitoring process Methods 0.000 claims description 28
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 206010011469 Crying Diseases 0.000 claims description 25
- 230000006399 behavior Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 206010011224 Cough Diseases 0.000 claims description 9
- 230000002618 waking effect Effects 0.000 claims description 6
- 206010047700 Vomiting Diseases 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 5
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000000391 smoking effect Effects 0.000 claims description 5
- 230000008673 vomiting Effects 0.000 claims description 5
- 230000001154 acute effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000006378 damage Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- LQIAZOCLNBBZQK-UHFFFAOYSA-N 1-(1,2-Diphosphanylethyl)pyrrolidin-2-one Chemical compound PCC(P)N1CCCC1=O LQIAZOCLNBBZQK-UHFFFAOYSA-N 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005586 smoking cessation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G06K9/00832—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
-
- G06K9/00288—
-
- G06K9/00362—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
- B60R2300/8013—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo for child monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/01—Occupants other than the driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Transportation (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Traffic Control Systems (AREA)
- Automatic Disk Changers (AREA)
- Devices For Checking Fares Or Tickets At Control Points (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
본 출원의 실시예는 승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체를 개시하였고, 여기서, 상기 승객 상태 분석 방법은, 차량 내 뒷좌석 영역의 비디오 스트림을 획득하는 단계; 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하는 단계; 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 뒷좌석 영역의 승객의 상태 정보를 결정하는 단계; 및 상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계를 포함한다.
Description
관련 출원의 상호 참조
본 출원은 2018년 10월 19일에 중국 특허청에 제출한 출원 번호가 CN201811224257.X이고, 발명의 명칭이 "승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체"인 중국 특허 출원의 우선권을 주장하며, 그 전부 내용은 인용을 통해 본 출원에 결합된다.
본 출원은 컴퓨터 시각 기술에 관한 것으로서, 특히 승객의 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체에 관한 것이다.
실생활에서, 운전자가 차량을 운전할 때, 운전자의 운전 상태는 안전 운전 문제에 영향을 미치는 중요한 요소이다. 운전 중 안전 운전을 확보하기 위해, 운전자의 주행 상태를 모니터링하고, 모니터링 결과에 따라 차량의 주행 상태를 조정 및 제어한다.
본 출원의 실시예는 승객 상태 분석 기술 방안을 제공하였다.
본 출원의 실시예의 하나의 측면에 따라 제공된 승객 상태 분석 방법은,
차량 내 뒷좌석 영역의 비디오 스트림을 획득하는 단계;
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하는 단계;
얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 뒷좌석 영역의 승객의 상태 정보를 결정하는 단계; 및
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계를 포함한다.
본 출원의 실시예의 다른 측면에 따라 제공된 승객 상태 분석 장치는,
차량 내 뒷좌석 영역의 비디오 스트림을 획득하기 위한 비디오 수집 유닛;
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하기 위한 이미지 검출 유닛;
얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 뒷좌석 영역의 승객의 상태 정보를 결정하기 위한 상태 결정 유닛; 및
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 정보 프롬프트 유닛을 포함한다.
본 출원의 실시예의 또 다른 측면에 따라 제공된 차량은, 상기 실시예 중 어느 하나에 따른 승객 상태 분석 장치를 포함한다.
본 출원의 실시예의 또 다른 측면에 따라 제공된 전자 기기는, 프로세서를 포함하며, 상기 프로세서는 상기 어느 한 항에 따른 승객 상태 분석 장치를 포함한다.
본 출원의 실시예의 또 다른 측면에 따라 제공된 전자 기기는, 실행 가능한 명령어를 저장하기 위한 메모리; 및
상기 메모리와 통신하여 상기 실행 가능한 명령어를 실행함으로써 상기 어느 한 항에 따른 승객 상태 분석 방법의 동작을 완료하기 위한 프로세서를 포함한다.
본 출원의 실시예의 또 다른 측면에 따라 제공된 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 판독 가능한 저장 매체는, 상기 명령어가 실행될 때 상기 어느 한 항에 따른 승객 상태 분석 방법의 동작을 실행한다.
본 출원의 실시예의 또 다른 측면에 따라 제공된 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품은, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기 중의 프로세서는 상기 어느 한 항에 따른 승객 상태 분석 방법을 구현하기 위한 명령어를 실행한다.
본 출원의 상기 실시예에 기반하여 제공된 승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체는, 차량 내 뒷좌석 영역의 비디오 스트림을 획득하고; 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하며; 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 뒷좌석 영역의 승객의 상태 정보를 결정하며; 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하며, 승객의 상태에 대해 분석을 수행함으로써, 프롬프트 정보와 결합하여 의외의 상황의 발생을 줄일 수 있어, 승객 승차의 안전성 및 편의성을 향상시킨다.
아래에, 첨부된 도면 및 실시예를 참조하여 본 출원의 기술 방안을 상세히 설명한다.
본 명세서의 일부를 구성하는 도면은 본 출원의 실시예를 설명하고, 본 명세서의 원리를 설명과 함께 해석하기 위한 것이다.
도면을 참조하면, 본 출원은 다음의 상세한 설명에 따라, 더욱 명확하게 이해될 수 있으며, 여기서,
도 1은 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 흐름 모식도이다.
도 2는 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 다른 흐름 모식도이다.
도 3은 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 하나의 선택적인 예의 흐름 모식도이다.
도 4는 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 다른 선택적인 예의 흐름 모식도이다.
도 5는 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 또 다른 선택적인 예의 흐름 모식도이다.
도 6은 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 또 다른 선택적인 예의 흐름 모식도이다.
도 7은 본 출원의 실시예에 의해 제공된 승객 상태 분석 장치의 구조 모식도이다.
도 8은 본 출원의 실시예의 단말 기기 또는 서버를 구현하기에 적합한 전자 기기의 구조 모식도이다.
도면을 참조하면, 본 출원은 다음의 상세한 설명에 따라, 더욱 명확하게 이해될 수 있으며, 여기서,
도 1은 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 흐름 모식도이다.
도 2는 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 다른 흐름 모식도이다.
도 3은 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 하나의 선택적인 예의 흐름 모식도이다.
도 4는 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 다른 선택적인 예의 흐름 모식도이다.
도 5는 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 또 다른 선택적인 예의 흐름 모식도이다.
도 6은 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 또 다른 선택적인 예의 흐름 모식도이다.
도 7은 본 출원의 실시예에 의해 제공된 승객 상태 분석 장치의 구조 모식도이다.
도 8은 본 출원의 실시예의 단말 기기 또는 서버를 구현하기에 적합한 전자 기기의 구조 모식도이다.
아래에 첨부 도면을 참조하여 본 출원의 다양한 실시예를 상세히 설명한다. 유의해야 할 것은, 달리 구체적으로 언급되지 않는 한, 실시예에 제시된 구성 요소, 단계의 상대적인 배열, 수치 표현 및 값은 본 출원의 범위를 한정하려는 것이 아니다.
또한, 설명의 편의를 위해, 도면에 도시된 각 부분의 크기는 실제 비율로 도시되지 않았음을 이해해야한다.
적어도 하나의 예시적인 실시예에 대한 다음의 설명은 실제로 예시적인 것에 불과하며, 본 출원 및 그 응용이나 사용에 대한 어떠한 한정으로도 간주되지 않는다.
관련 기술 분야의 통상의 기술자에게 공지된 기술, 방법 및 기기는 상세하게 논의되지 않을 수 있지만, 적절한 경우, 상기 기술, 방법 및 기기는 명세서의 일부로 간주되어야 한다.
유의해야 할 것은, 다음의 도면에서 유사한 참조 번호 및 문자는 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 논의될 필요가 없다.
본 출원의 실시예는 컴퓨터 시스템/서버에 응용될 수 있으며, 이는 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 작동될 수있다. 컴퓨터 시스템/서버와 함께 이용하기에 적합한 잘 알려진 컴퓨팅 시스템, 환경 및 구성 중 적어도 하나의 예는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트, 씩 클라이언트, 핸드 헬드 또는 랩톱 기기, 마이크로 프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 대형 컴퓨터 시스템 및 상기 시스템 중 어느 하나를 포함하는 분산 클라우드 컴퓨팅 기술 환경을 포함하지만 이에 한정되지 않는다.
컴퓨터 시스템/서버는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템 실행 가능 명령어(예를 들어, 프로그램 모듈)의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 실행하거나 특정 추상 데이터 타입을 구현하기 위한 루틴, 프로그램, 타겟 프로그램, 어셈블리, 논리, 데이터 구조 등을 포함할 수 있다. 컴퓨터 시스템/서버는 작업이 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 실행되는 분산 클라우드 컴퓨팅 환경에서 구현될 수 있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.
도 1은 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 흐름 모식도이다. 상기 방법은 단말 기기, 서버, 모바일 기기, 차량 탑재 기기 등과 같은 임의의 전자 기기에 의해 실행될 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다. 도 1에 도시된 바와 같이, 상기 실시예의 방법은 다음의 단계를 포함한다.
단계 110에 있어서, 차량 내 뒷좌석 영역의 비디오 스트림을 획득한다.
본 출원의 실시예에서의 차량은 소형 자동차, 작은 버스, 큰 버스와 같은 다양한 모델의 유인 차량을 포함할 수 있다. 이러한 차량은 운전자 외에도 적어도 하나의 승객을 더 포함할 수 있으며, 본 실시예에서의 승객은 차량 실내의 비운전석 영역에 있는 사람을 의미하고; 승객의 위치와 운전자의 위치는 뚜렷이 구분되며, 본 출원의 실시예는 승객 좌석 영역을 뒷좌석 영역이라 지칭하고, 즉, 차 실내에서 운전 영역 뒤의 좌석 영역에 위치하며, 뒷좌석 영역이라 지칭하며, 반드시 맨 뒷좌석일 필요는 없으며, 중간 좌석일 수도 있고; 뒷좌석 영역에 대해 승객을 포함한 비디오 스트림을 수집 획득함으로써, 차량 내 승객의 상태를 분석한다.
하나의 선택적인 예에서, 상기 단계 110은 메모리에 저장된 상응한 명령어가 프로세서에 의해 호출되여 실행될 수 있거나, 프로세서에 의해 작동되는 비디오 수집 유닛(71)에 의해 실행될 수도 있다.
단계 120에 있어서, 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행한다.
선택적으로, 차량 내 승객의 상태는 얼굴 표정을 통해 결정된 상태뿐만 아니라, 또한 몸동작에 기반하여 결정된 상태를 포함하며, 따라서, 본 출원의 실시예에서 얼굴 및 인체 중 적어도 하나에 대해 검출을 수행함으로써, 승객 상태에 대한 분석을 구현하여, 승객 상태 검출의 정확도를 향상시켜, 상태 누락으로 인한 뜻밖의 사고를 줄이며, 예를 들어, 승객 얼굴이 정상 상태이고, 손을 차창 밖으로 내미는 경우, 얼굴 검출만 수행하면, 위험한 행동에 대한 경보가 누락되며; 다른 예를 들어, 승객의 신체가 움직이지 않고, 얼굴에 구토나 고통 상태 등 증상이 있을 경우, 인체 검출만 수행되면, 승객 이상 상태에 대한 경보가 누락될 것이며; 따라서, 본 출원의 실시예는 얼굴 및 인체 중 적어도 하나에 대해 검출을 수행함으로써, 구체적으로 얼굴이나 인체에 대해 검출을 수행할지 아니면 얼굴 및 인체 모두에 대해 검출을 수행할지는 획득된 승객 이미지에서 어느 부분이 이상 내용을 포함하는지에 따라 결정될 수 있다. 선택적으로, 본 출원의 각 실시예에서의 뉴럴 네트워크는 각각 하나의 다중 계층 뉴럴 네트워크(즉, 딥 뉴럴 네트워크)일 수 있으며, 여기서 뉴럴 네트워크는 다중 계층의 컨볼루션 뉴럴 네트워크일 수 있으며, 예를 들어, LeNet, AlexNet, GoogLeNet, VGG, ResNet 등 임의의 뉴럴 네트워크 모델일 수 있다. 각 뉴럴 네트워크는 동일한 타입 및 구조의 뉴럴 네트워크를 사용할 수 있거나, 상이한 타입 및 구조 중 적어도 하나의 뉴럴 네트워크를 사용할 수도 있다. 본 출원의 실시예는 이를 한정하지 않는다.
선택적으로, 하나 또는 두 개의 훈련된 뉴럴 네트워크를 통해 얼굴 및 인체 중 적어도 하나에 대한 검출을 구현하여, 승객의 얼굴 및 인체 중 적어도 하나의 검출 결과를 획득할 수 있으며, 본 출원의 실시예는 구체적인 검출 과정을 한정하지 않는다.
하나의 선택적인 예에서, 상기 단계 120은 메모리에 저장된 상응하는 명령어가 프로세서에 의해 호출되어 실행될 수 있거나, 프로세서에 의해 작동되는 이미지 검출 유닛(72)에 의해 실행될 수도 있다.
단계 130에 있어서, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 뒷좌석 영역의 승객의 상태 정보를 결정한다.
하나 또는 복수 개의 선택적인 실시예에서, 승객의 상태 정보를 획득하기 위해 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나를 분석하거나 통계하며, 예를 들어, 검출 결과 중의 눈을 감은 시간을 통계하고, 눈을 감은 시간이 설정 시간에 도달하거나 눈을 감은 누적 시간이 통계 시간창에서 차지하는 비율이 설정 임계값을 초과할 때, 상기 승객의 상태는 수면 상태인 것으로 간주될 수 있다.
하나의 선택적인 예에서, 상기 단계 130은 메모리에 저장된 대응하는 명령어가 프로세서에 의해 호출되어 실행되거나, 프로세서에 의해 작동되는 상태 결정 유닛(73)에 의해 실행될 수 있다.
단계 140에 있어서, 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력한다.
선택적으로, 프롬프트 정보는 소리 프롬프트 정보(예컨대, 경보음, 음성 프롬프트 등), 진동 프롬프트 정보(예컨대, 운전석 진동 제어, 다른 기기 진동 제어 등), 프롬프트 정보의 디스플레이(예컨대, 비디오 스트림에서 프롬프트 내용과 관련된 이미지 프레임의 디스플레이, 문자 또는 캐릭터 프롬프트 정보의 디스플레이 등), 냄새 프롬프트 정보(예컨대, 운전자 위치로 자극성 냄새를 방출하는 등) 등 중 적어도 하나의 표현 형태를 포함하지만 이에 한정되지 않는다. 위의 프롬프트 정보는 수신자가 프롬프트 정보를 정확하고 제때에 수신할 수 있는 확률을 증가시키기 위해 독립적으로 채택되거나 조합하여 사용될 수 있다.
선택적으로, 승객의 실시간 안전성을 향상시키기 위해, 차량 내의 운전자 영역에서의 운전자의 시야 범위 내에 디스플레이 기기를 설치하여, 운전자가 실시간으로 프롬프트 정보를 획득함으로써, 승객 상태를 제때에 처리할 수 있으므로, 승객의 안전성을 향상시킨다.
하나의 선택적인 예에서, 상기 단계 140은 메모리에 저장된 상응한 명령어를 호출함으로써 프로세서에 의해 실행될 수 있거나, 프로세서에 의해 작동되는 정보 프롬프트 유닛(74)에 의해 실행될 수도 있다.
본 출원의 상기 실시예에 의해 제공된 승객 상태 분석 방법은, 차량 내 뒷좌석 영역의 비디오 스트림을 획득하고; 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하며; 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 뒷좌석 영역의 승객의 상태 정보를 결정하고; 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하며, 승객의 상태에 대해 분석을 수행함으로써, 프롬프트 정보와 결합하여 의외의 상황의 발생을 줄일 수 있어, 승객 승차의 안전성 및 편의성을 향상시킨다. 뒷좌석 영역은 운전자의 시야를 벗어난 영역이므로, 상기 영역의 사람의 상태 분석을 통해, 유효한 정보 또는 운전자가 관심을 갖는 정보를 운전자에게 제때에 프롬프트하여, 운전자가 일반적인 상황에서 운전에 전념할 수 있으므로, 주의력 분산 운전 요인을 줄여, 운전 안전성을 향상시키며; 또한 이상 정보 또는 운전자가 관심을 갖는 정보를 제때에 발견할 수 있어, 운전자가 제때에 조치를 취하여 처리함으로써, 사용자 경험을 향상시킨다.
도 2는 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 다른 흐름 모식도이다. 예컨대, 도 2에 도시된 바와 같이, 본 실시예의 방법은 다음의 단계를 포함한다.
단계 210에 있어서, 차량 내 뒷좌석 영역의 비디오 스트림을 획득한다.
단계 220에 있어서, 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행한다.
본 출원의 실시예의 단계 210 및 단계 220은 상기 실시예의 단계 110 및 단계 120과 유사하며, 상기 실시예를 참조함으로써 상기 단계를 이해하며, 여기서 더이상 반복하지 않는다.
단계 230에 있어서, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라, 승객이 이상 상태에 있는지 여부 및 승객이 위험한 행동을 하는지 여부 중 적어도 하나를 결정한다.
본 출원의 실시예에서, 승객이 이상 상태에 있는 것 및 위험한 행동을 하는 것 중 적어도 하나는, 승객의 안전 또는 차량의 안전에 위협을 가져올 수 있으며, 이 경우, 승객의 상태를 제때에 처리하지 못하면, 심각한 결과를 초래할 수 있다.
하나 또는 복수 개의 선택적인 실시예에서, 이상 상태는 화난 상태, 구토 상태, 급체 상태, 기침 상태, 고통 상태, 울음 상태, 수면 상태, 잠을 깬 상태 등 중 적어도 하나를 포함하지만 이에 한정되지 않는다.
선택적으로, 이상 상태는 일반적으로 하나의 프레임 이미지의 검출 결과에만 기반하여 결정될 수 없으므로, 승객이 이상 상태에 있는지 여부를 결정하기 위해, 얼굴 검출 및 인체 검출 중 적어도 하나의 결과에 대해 통계 또는 분석을 수행할 수 있으며, 예를 들어, 검출 결과 중의 눈을 감은 시간을 통계하여, 눈을 감은 시간이 설정 시간에 도달하면, 상기 승객의 상태가 수면 상태인 것으로 간주될 수 있으며; 또는 훈련된 분류 뉴럴 네트워크에 기반하여 구현되거나, 얼굴 검출 및 인체 검출 중 적어도 하나의 결과에 기반하여 이상 상태에 있는지 여부의 분류 결과를 직접 획득할 수 있으며; 본 출원의 실시예는 승객이 이상 상태에 있는지 여부를 획득하는 구체적인 수단을 한정하지 않는다.
선택적으로, 어린이는 특수 승객인 바, 어린이의 상태가 불안정하고, 외부의 간섭에 취약하여 의외의 상태가 발생하기 쉬우며, 승객이 어린이일 때, 어린이의 상태는 운전자의 상태에 영향을 줄 수 있으며, 예를 들어, 어린이가 울면, 운전자의 주의력은 분산되어, 안전 운전을 구현할 수 없으며, 또는, 어린이가 자리에서 마음대로 움직이는 것을 운전자가 제때에 발견하지 못하면, 어린이에게 위험을 초래할 수 있다.
하나 또는 복수 개의 선택적인 실시예에서, 위험한 행동은 차문을 여는 것, 손에 기구를 들고 있는 것, 안전벨트를 해제하는 것, 신체 일부를 차창 밖으로 내미는 것, 지정된 영역을 이탈하는 것, 및 흡연하는 것 등 중 적어도 하나를 포함하지만 이에 한정되지 않는다.
선택적으로, 차량 주행 중, 예컨대, 승객이 자신 또는 다른 승객 및 운전자의 신변안전에 위협적인 행동을 할 때, 상기 승객이 위험한 행동을 한 것으로 간주되며, 이러한 위험한 행동이 나타날 경우, 사고의 발생을 방지하기 위해 운전자 또는 다른 승객 또는 다른 관련 인원은 제때에 제지해야 하고, 예를 들어, 금연 기기가 구비된 차량 내에서, 담배를 피우면 금연 기기(예컨대, 연기 경보기 등)가 트리거되며; 승객이 위험한 행동을 하는지 여부를 결정하여 얼굴 검출 및 인체 검출 중 적어도 하나의 결과에 대해 통계 또는 분석을 수행하고, 예를 들어, 통계 검출 결과 중의 손이 차문의 손잡이 위치에 있는 경우, 손이 차문의 손잡이에 있는 시간이 설정 시간에 도달하면, 상기 승객이 차문을 여는 위험한 행동을 하는 것으로 간주되며; 또는 훈련된 분류 뉴럴 네트워크에 기반하여 구현되거나, 얼굴 검출 및 인체 검출 중 적어도 하나의 결과에 기반하여 승객이 위험한 행동을 하는지 여부의 분류 결과를 직접 획득할 수 있으며; 본 출원의 실시예는 승객이 위험한 행동을 하는지 여부를 획득하는 구체적인 수단을 한정하지 않는다.
선택적으로, 어린이의 특수성으로 인해, 어린이의 이상 상태 중의 지정된 영역을 이탈하는 것은 차일드 시트를 이탈하는 것일 수 있으며, 어린이가 차일드 시트를 이탈할 때 승차의 안전을 보장할 수 없으며, 차일드 시트는 어린이에게 승차 안전의 보장을 제공할 수 있으며, 중국 국가 기준 <자동차 어린이 탑승자 제한 시스템>에 따라, 어린이 승차 시, 차일드 시트에 앉아야 하며; 어른이 지정된 영역(예를 들어, 대형 버스의 고정 좌석)을 떠나는 경우, 일어서거나 다른 좌석에 앉을 가능성이 있으므로, 다른 승객의 이익을 해칠 수 있어, 여전히 제때에 제지할 필요가 있다.
단계 240에 있어서, 승객에게 이상 상태가 나타나거나, 승객이 위험한 행동을 하거나, 승객이 이상 상태에 있는 시간이 기설정 시간에 도달하거나, 승객이 위험한 행동 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력한다.
본 출원의 실시예에서, 승객의 상이한 이상 상태 및 위험한 행동은 상이한 시급성을 가지므로, 일부 이상 상태 및 위험한 행동이 발생하면, 즉시 처리해야 하고, 그렇지 않으면 심각한 결과를 초래하며, 예를 들어, 승객이 급체 상태에 있는 경우, 예컨대, 제때에 처리하지 않으면 승객의 생명 안전을 해칠 수 있으므로, 제때에 처리해야 하거나, 승객 신체 일부를 차창 밖으로 내미는 경우, 차량이 주행 중에 있으므로, 언제든지 다른 차량과 엇갈리게 되어, 승객이 위험에 처할 수 있어, 상기 승객의 위험한 행동을 제때에 제지해야 하며; 일부 이상 상태 및 위험한 행동은 시급성이 낮으므로, 일정 시간 후에 처리될 수 있으며, 예를 들어, 승객이 기침 상태에 있는 경우, 질병이나 다른 이유로 인한 것일 수 있지만, 단시간 기침은 승객의 정상적인 행동이나 만성 질환에 속할 수 있으므로, 처리 인원의 개입은 뚜렷한 효과를 가져올 수 없으며, 그 위험성은 작아, 기침 지속 시간이 설정 시간에 도달했을 때만, 특수 상황인 것을 설명하므로, 처리 인원이 올바르게 개입하여, 승객 안전을 보장할 필요가 있으며; 보다 구체적으로, 승객이 어린이인 경우, 어린이는 어른보다 시급성이 높고; 시급성의 상이함에 따라 처리 인원이 프롬프트 정보가 많아서 서두르며 실수하지 않고 동시에 나타난 복수의 상태를 순차적으로 처리할 수 있으며, 예를 들어, 차 내에서 신체 일부를 차창 밖으로 내미는 승객 및 기침 승객이 동시에 나타나면, 먼저 신체 일부를 차창 밖으로 내미는 것에 대해 프롬프트 정보를 발송한 다음, 기침 상태에 있는 시간이 기설정 시간에 도달할 때, 프롬프트 정보를 발송한다.
하나 또는 복수 개의 선택적인 실시예에서, 승객은 어른 및 어린이 중 적어도 하나를 포함한다.
즉 승객이 어린이 또는 어른인 경우, 본 출원의 실시예에서 언급된 어린이는, 아동, 영아, 유아 등을 포함할 수 있지만 이에 한정되지 않으며; 이미지에서의 사람이 어린이인지 여부를 결정하기 위해, 일반적으로 대중들이 시각적으로 어린이라고 간주하는 사람을 어린이로 결정할 수 있거나, 기준 연령 또는 자체 정의 연령 미만인 사람을 어린이로 결정할 수 있으며, 예를 들어, 기준 연령은 법으로 규정된 아동 연령(예컨대 12 세임)일 수 있거나, 자체 정의 연령을 3 세, 6 세 또는 8 세 등으로 설정할 수 있으며, 본 출원의 실시예는 어린이의 특정 연령을 한정하지 않으며, 구체적인 상황에 따라 상이한 연령대를 어린이로 자체 정의할 수 있으며, 예를 들어, 유치원에서는 6 세 미만의 어린이를 어린이로 정의하고, 차를 탈 때는 12 세 미만의 어린이를 어린이로 정의한다. 어른은 어린이가 아닌 미성년자 및 성인을 포함할 수 있지만 여기에 한정되지 않고, 여기서, 성인은 또한 연령대에 따라 청소년, 청년, 중년, 노인 등 여러 부류로 나눌 수 있다.
본 출원의 실시예에서의 승객은 일반적인 의미의 승객이거나, 노인, 환자, 임산부, 장애인, 이동이 불편한 사람과 같은 특별한 주의가 필요한 사람일 수 있다. 여기서, 승객 및 운전자는 가족 구성원 관계와 같은 특정 관계를 가질 수 있으며; 대중 교통 차량의 운전자 및 승객과 같은 특정 관계를 가지지 않을 수도 있다.
하나 또는 복수 개의 선택적인 실시예에서, 얼굴 검출 및 인체 검출 중 적어도 하나의 결과는 얼굴 존재 여부, 인체 존재 여부, 눈을 뜬 것, 눈을 감은 것, 표정, 연령, 입을 벌린 것, 입을 다문 것, 몸동작 중 적어도 하나를 포함하지만 이에 한정되지 않는다.
승객의 상태는 얼굴 검출 및 인체 검출 중 적어도 하나의 결과에 의해 결정되며, 따라서, 본 출원의 실시예에서의 얼굴 검출 및 인체 검출 중 적어도 하나의 결과는 사람의 상태와 관련된 검출 결과이며, 위의 적어도 하나의 검출 결과에 기반하여 사람의 상태를 결정할 수 있으며, 예를 들어, 눈을 감은 상태에 기반하여 승객이 수면 상태에 있는지 여부를 결정하며, 눈을 감은 상태 및 눈을 뜬 상태에 따라 승객이 잠을 깬 상태에 있지 여부를 결정하며, 지정된 영역에 인체 존재 여부 또는 얼굴 존재 여부에 따라, 승객이 지정된 영역을 떠났는지 여부를 결정한다.
도 3은 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 하나의 선택적인 예의 흐름 모식도이다. 본 선택적인 예에서 승객은 어린이를 포함하며; 뒷좌석 영역은 차일드 시트 영역을 포함하고; 예컨대, 도 3에 도시된 바와 같이, 본 실시예의 방법은 다음의 단계를 포함한다.
단계 310에 있어서, 차량 내 뒷좌석 영역의 비디오 스트림을 획득한다.
단계 320에 있어서, 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하여, 이미지에 얼굴 존재 여부 및 인체 존재 여부 중 적어도 하나를 결정한다.
본 출원의 실시예에서 단계 310 및 단계 320은 상기 실시예의 단계 110 및 단계 120과 유사하며, 상기 실시예를 참조함으로써 상기 단계를 이해하며, 여기서 더이상 반복하지 않는다.
단계 320과 상기 단계 120의 구별은 획득된 검출 결과가 얼굴 존재 여부, 인체 존재 여부 중의 적어도 하나를 포함하는지에만 있으며, 검출 결과를 제한함으로써 어린이의 하나의 상황에 대한 상태를 획득하여, 어린이의 상태에 대한 처리 효율을 향상시킨다.
단계 330에 있어서, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 어린이가 차일드 시트에 있는지 여부를 결정한다.
선택적으로, 차일드 시트 영역에 얼굴 존재 여부 및 인체 존재 여부 중 적어도 하나에 따라, 어린이가 차일드 시트에 있는지 여부를 결정할 수 있으며, 특히, 어린이가 차일드 시트에 있을 때, 다른 물체(예컨대, 이불, 담요 등)가 신체 부위를 가릴 수 있으므로, 신체가 가려진 상태에서, 얼굴 존재 여부를 통해 어린이가 차일드 시트에 있는지 여부를 판단하거나, 얼굴 존재 여부 및 인체 존재 여부를 통해 어린이가 차일드 시트에 있는지를 판단하여, 검출 결과의 정확성을 향상시킬 수 있다.
단계 340에 있어서, 어린이가 차일드 시트를 이탈하거나 차일드 시트에 어린이가 없는 상태가 지속되는 시간이 기설정 시간을 초과한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력한다.
어린이의 안전성을 향상시키기 위해, 차일드 시트는 일반적으로 차량 좌석에 고정되며, 고정 후, 차일드 시트의 위치는 결정되고, 어린이가 차일드 시트를 이탈하거나 또는 차일드 시트에 어린이가 없는 상태가 지속되는 시간이 기설정 시간을 초과하면, 어린이가 차일드 시트에 앉아있지 않음을 의미하며, 차량이 주행 중일 때, 어린이가 차일드 시트에 앉아있지 않는 것은 매우 위험하므로, 어린이 승차의 안전성을 향상시키기 위해 본 출원의 실시예에 의해 제공된 프롬프트 정보에 따라 어린이를 안치할 필요가 있다.
도 4는 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 다른 선택적인 예의 흐름 모식도이다. 본 선택적인 예에서 승객은 어린이를 포함하며; 예컨대, 도 4에 도시된 바와 같이, 본 실시예의 방법은 다음의 단계를 포함한다.
단계 410에 있어서, 차량 내 뒷좌석 영역의 비디오 스트림을 획득한다.
단계 420에 있어서, 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행한다.
본 출원의 실시예에서 단계 410 및 단계 420은 상기 실시예의 단계 110 및 단계 120과 유사하며, 상기 실시예를 참조함으로써 상기 단계를 이해하며, 여기서 더이상 반복하지 않는다.
단계 430에 있어서, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 어린이가 우는지 여부를 결정한다.
본 실시예에서, 어린이가 우는지 여부를 판단하는 것은, 훈련된 뉴럴 네트워크에 의해 구현될 수 있거나, 다른 방식으로 어린이가 우는지 여부를 결정하며, 본 출원의 실시예는 어린이가 우는지 여부를 결정하는 구체적인 수단을 한정하지 않으며; 예를 들어, 훈련된 분류 네트워크를 이용하여 어린이가 우는지 여부를 판단할 수 있으며, 상기 분류 네트워크는 두 가지 타입(우는 것 및 울지 않는 것)을 포함할 수 있으며; 상기 분류 네트워크는 얼굴 이미지를 직접 처리할 수 있거나, 얼굴 이미지에 대응하는 얼굴 특징을 처리할 수도 있으며, 상기 얼굴 특징은 얼굴 이미지에 의해 특징 추출을 거쳐 획득된 것이다.
단계 440에 있어서, 어린이가 울거나 또는 어린이가 울음 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력한다.
어린이의 정서 및 신체 상황이 불안정하므로, 언제라도 변할 수 있으며, 어린이의 불편함을 줄이거나 안전 운전에 영향을 덜 미치기 위해 어린이가 상이한 상태에 있을 때, 합리적으로 작동해야 하며, 예를 들어, 이상 상태가 어린이에게 주는 피해를 줄이기 위해 어린이가 울음 상태에 있을 때, 제때에 처리(예를 들어, 어린이를 즉시 달래는 등)해야 한다.
도 5는 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 또 다른 선택적인 예의 흐름 모식도이다. 본 선택적인 예에서 승객은 어린이를 포함하며; 예컨대, 도 4에 도시된 바와 같이, 본 실시예의 방법은 다음의 단계를 포함한다.
단계 510에 있어서, 차량 내 뒷좌석 영역의 비디오 스트림을 획득한다.
본 출원의 실시예에서 단계 510은 상기 실시예의 단계 110과 유사하며, 상기 실시예를 참조함으로써 상기 단계를 이해하며, 여기서 더이상 반복하지 않는다.
단계 520에 있어서, 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출을 수행하여, 이미지에서 승객이 눈을 떴는지 여부 및 눈을 감았는지 여부 중 적어도 하나를 결정한다.
선택적으로, 눈이 얼굴에 있으므로, 본 출원의 실시예는 승객의 눈을 뜬 상태 및 눈을 감은 상태 중 적어도 하나를 결정하기 위해, 이미지에 대해 얼굴 검출을 수행하기만 하면, 승객이 눈을 뜬 상태 및 눈을 감은 상태 중 적어도 하나를 결정할 수 있으며, 비디오 스트림에 대해 승객의 눈 상태를 결정하며, 적어도 하나의 프레임 이미지에서 눈을 뜬 상태 또는 눈을 감은 상태에 기반하여 결정할 수 있다.
단계 530에 있어서, 소정의 시간창 내에서 어린이의 눈을 뜬 상태 및 눈을 감은 상태 중 적어도 하나에 따라 분석 결과를 통계하여, 어린이가 수면 상태에 있는지 여부 또는 잠을 깬 상태에 있는지 여부를 결정한다.
선택적으로, 어린이의 눈 상태는 일반적으로 눈을 뜬 상태 및 눈을 감은 상태인 두 가지 상태만 포함하며, 눈을 감은 상태가 설정 시간 동안 지속되면, 어린이가 수면 상태에 있는 것으로 간주하며, 본 출원의 실시예는 비디오 스트림을 통해 어린이의 상태를 분석하므로, 비디오 스트림에서의 연속적인 프레임에 기반하여 어린이의 눈을 뜬 상태 또는 눈을 감은 상태를 통계하면, 어린이가 눈을 뜬 상태 또는 눈을 감은 상태의 지속 시간을 결정할 수 있으며; 지속적으로 눈을 감은 상태에서 눈을 뜬 상태로의 전환, 또는 눈을 감은 상태에서 여러 번 눈을 뜬 상태 및 눈을 감은 상태로의 전환은, 어린이가 잠을 깬 상태에 있는 것으로 간주할 수 있다.
단계 540에 있어서, 어린이가 수면 상태에 있거나, 수면 상태에 있는 시간이 기설정 시간에 도달하거나, 잠을 깬 상태에 있거나, 잠을 깬 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력한다.
어린이가 수면 상태 및 잠을 깬 상태는 긴급 레벨이 낮은 경우에 속하며, 프롬프트 정보를 제때에 발송할 수 있거나, 어린이가 수면 상태에 있는 시간이 기설정 시간에 도달하거나, 어린이가 잠을 깬 상태에 있는 시간이 기설정 시간에 도달하면 프롬프트 정보를 발송할 수 있으며, 여기서 수면 상태에 대응하는 기설정 시간 및 잠을 깬 상태에 대응하는 기설정 시간은 동일하거나 상이하다.
하나 또는 복수 개의 선택적인 실시예에서, 얼굴 검출 및 인체 검출 중 적어도 하나의 결과는 승객이 어린이인지 여부의 분류 결과를 포함한다.
단계 120에 있어서,
비디오 스트림에서의 적어도 하나의 프레임 이미지의 얼굴 및 인체 중 적어도 하나의 특징을 추출하는 단계; 및 추출된 특징에 기반하여 승객이 어린이인지 여부의 분류 처리를 수행하는 단계를 포하한다.
선택적으로, 어린이는 특수 그룹에 속하므로, 예를 들어, 어린이가 승차 시 차일드 시트에 앉아야 하며, 따라서, 승객 상태를 분석할 경우, 승객을 어린이 및 어린이가 아닌 사람으로 분류하며, 어린이가 아니면 어른을 의미할 수 있으며; 어린이인지 여부를 결정하기 위해, 훈련된 분류 네트워크 사이의 출력이 어린이인지 여부의 결과에 기반하거나, 훈련된 뉴럴 네트워크에 기반하여 승객의 연령에 대해 인식을 수행하며, 상기 승객의 연령이 기설정 연령보다 작거나 같을 때, 상기 승객은 어린이인 것으로 결정되며, 상기 승객의 연령이 기설정 연령보다 클 때, 상기 승객은 어린이가 아닌 것으로 결정되며, 본 실시예에서 기설정 연령은 실제 상황에 따라 설정하거나, 필요에 따라 복수 개의 기설정 연령을 설정할 수 있으므로, 어린이의 연령을 복수 개의 상이한 연령대로 분할하며, 예를 들어, 유치원 버스에서, 7 세 이하의 어린이를 0-3 세 및 3 세 이상과 같이 적어도 두 가지 연령대로 나누며, 0-3 세의 어린이는 차일드 시트 외에도, 어른의 보호가 필요하며, 3-7 세의 어린이는 활동적이므로, 좌석 위치를 모니터링해야 하며; 이 경우, 기설정 연령은 제1 기설정 연령 및 제2 기설정 연령을 포함할 수 있으며, 제1 기설정 연령은 3 세이고, 제2 기설정 연령은 7 세이다.
하나 또는 복수 개의 선택적인 실시예에서, 단계 120은, 뉴럴 네트워크의 특징 추출 브랜치를 통해 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출 및 인체 특징 추출 중 적어도 하나를 수행하는 단계; 및
뉴럴 네트워크에서 특징 추출 브랜치에 연결된 적어도 하나의 검출 브랜치를 통해, 특징 추출 브랜치에 의해 추출된 얼굴 특징 및 인체 특징 중 적어도 하나에 기반하여 얼굴 검출 및 인체 검출 중 적어도 하나의 결과를 결정하는 단계를 포함한다.
본 출원의 실시예에서, 상이한 검출 브랜치를 통해 얼굴 검출 및 인체 검출을 각각 구현할 수 있으며, 즉 하나의 검출 브랜치를 통해 얼굴 검출의 결과를 획득하고, 다른 검출 브랜치를 통해 인체 검출의 결과를 획득하며, 적어도 하나의 검출 브랜치를 통해 특징 추출 브랜치에 연결되어, 특징 추출 브랜치에 의해 획득된 특징을 공유하여 얼굴 검출 결과 및 인체 검출 결과를 획득함으로써, 검출 과정을 가속화하여, 검출 시간을 줄인다.
하나 또는 복수 개의 선택적인 실시예에서, 단계 120은 뉴럴 네트워크의 특징 추출 브랜치를 통해, 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출 및 인체 특징 추출 중 적어도 하나를 수행하는 단계; 및
뉴럴 네트워크에서 특징 추출 브랜치에 연결된 분류 브랜치 및 적어도 하나의 검출 브랜치를 통해, 특징 추출 브랜치에 의해 추출된 얼굴 특징 및 인체 특징 중 적어도 하나에 기반하여 이미지에서의 사람이 어린이인지 여부, 및 얼굴 검출 및 인체 검출 중 적어도 하나의 결과를 각각 결정하는 단계를 포함한다.
본 출원의 실시예에서 승객이 어린이인지의 판단이 추가되며, 선택적으로, 본 실시예에서 얼굴 특징을 분류 브랜치에 입력함으로써, 승객이 어린이인지의 분류 결과(두 가지 분류 결과) 즉 승객이 어린이인지 또는 어린이가 아닌지를 결정하며; 얼굴 특징 및 인체 특징 중 적어도 하나를 공유하여 어린이인지 여부, 및 얼굴 검출 및 인체 검출 중 적어도 하나의 결과를 결정하여, 하나의 특징 추출 과정만을 거치므로, 검출 및 분류의 효율을 향상시킨다.
하나 또는 복수 개의 선택적인 실시예에서, 단계 120은, 뉴럴 네트워크의 특징 추출 브랜치를 통해, 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출을 수행하는 단계;
뉴럴 네트워크에서 특징 추출 브랜치에 연결된 분류 브랜치를 통해, 특징 추출 브랜치 추출된 얼굴 특징에 기반하여 이미지에서의 사람이 어린이인지 여부를 결정하는 단계; 또는,
뉴럴 네트워크에서 특징 추출 브랜치에 연결된 인식 브랜치를 통해 이미지에서의 승객의 연령을 결정하여, 연령이 기설정 연령보다 작거나 같은 승객을 어린이로 결정하는 단계를 포함한다.
본 출원의 실시예에서, 뉴럴 네트워크를 별도로 제안하여 승객이 어린이인지 여부의 판단을 구현하며, 선택적으로, 하나의 분류 브랜치를 통해 얼굴 특징에 기반하여 어린이인지 여부의 분류 결과를 결정하거나, 인식 브랜치를 통해 얼굴 특징에 기반하여 승객의 연령을 결정하여, 연령이 기설정 연령보다 작거나 같으면 승객을 어린이로 결정한다.
선택적으로, 이미지에서의 사람이 어린이인지 여부를 결정하는 분류 브랜치 성별을 구별하는 어린이의 태그 데이터에 기반하여 미리 훈련됨으로써 완료된다.
본 출원의 실시예에서, 이미지에서의 사람이 어린이인지 여부는 분류 브랜치를 통해 구현되며, 상기 분류 브랜치는 샘플 이미지의 훈련을 거치며, 성별에 따라 얼굴 특징은 상이하게 나타나며, 즉, 동일한 연령의 남자 어린이 및 여자 어린이의 경우, 연령을 인식할 때, 상이한 결과를 얻을 수 있으므로, 상기 분류 브랜치의 분류 정확성을 향상시키기 위해, 상기 분류 브랜치를 훈련시킬 때, 샘플 이미지를 어린이의 성별에 기반하여 구별할 수 있다.
선택적으로, 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하기 전에,
샘플 이미지를 이용하여 뉴럴 네트워크에 대해 훈련을 수행하는 단계 - 샘플 이미지는 어린이의 태그 정보를 가짐 -를 더 포함한다.
선택적으로, 뉴럴 네트워크가 특징 추출 브랜치, 및 특징 추출 브랜치에 연결된 분류 브랜치 및 적어도 하나의 검출 브랜치를 포함할 때, 샘플 이미지는 어린이의 태그 정보 외에도 검출 태그 정보를 더 포함하며, 이 경우 뉴럴 네트워크에 기반하여 획득된 것이 어린이인지 여부의 예측 결과 및 어린이의 태그 정보에 따라 제1 손실을 결정하며, 뉴럴 네트워크에 의해 획득된 검출 예측 정보 및 검출 태그 정보에 따라 제2 손실을 결정하며, 제1 손실 및 제2 손실은 뉴럴 네트워크를 공통으로 훈련시키며, 예를 들어, 제1 손실 및 제2 손실을 가중합산한 후 뉴럴 네트워크를 훈련시킨다.
선택적으로, 뉴럴 네트워크가 특징 추출 브랜치 및 분류 브랜치를 포함하거나, 특징 추출 브랜치 및 인식 브랜치를 포함할 경우, 샘플 이미지은 어린이의 태그 정보를 포함하면 되고, 샘플 이미지는 특징 추출 브랜치 및 분류 브랜치를 포함한 뉴럴 네트워크를 통해 어린이 분류 예측 결과를 획득하여, 어린이 분류 예측 결과 및 어린이의 태그 정보에 기반하여 네트워크 손실을 결정함으로써, 뉴럴 네트워크 훈련을 수행하며; 샘플 이미지는 특징 추출 브랜치 및 인식 브랜치를 포함한 뉴럴 네트워크를 통해 연령 예측 결과를 획득하며, 연령 예측 결과에 기반하여 어린이인지 여부의 예측 결과를 결정하며, 어린이인지 여부의 예측 결과와 어린이의 태그 정보에 기반하여 네트워크 손실을 결정하여, 뉴럴 네트워크에 대해 훈련을 수행한다.
선택적으로, 어린이 태그 정보는 샘플 이미지에서의 사람이 어린이인지 여부를 나타내고, 샘플 이미지에서의 사람의 연령 또는 추정 연령이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 큰 것에 응답하여, 샘플 이미지의 어린이 태그 정보는 어린이가 아님을 나타내며, 샘플 이미지에서의 사람의 연령 또는 추정 연령이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 작거나 같은 것에 응답하여, 상기 샘플 이미지의 어린이 태그 정보는 어린이임을 나타낸다.
추정 연령을 수동으로 판단하든지, 네트워크를 통해 획득된 사람의 연령을 결정하든지, 모두 오차가 존재할 수 있으므로, 샘플 이미지에서의 사람의 연령은 제공된 생년월일에 따라 획득된 연령이거나, 수동으로 결정되거나 네트워크에 의해 결정되어 획득된 추정 연령일 수 있으며, 참조 이미지에서의 사람은 연령 또는 추정 연령을 사용할 수도 있다.
상이한 사람이 어린이에 대한 판단 기준이 상이하므로, 상이한 사람에 의해 태그된 후에 얻은 동일한 이미지의 태그 결과가 상이한 것을 초래하며, 본 실시예에서, 상기 샘플 이미지에서의 사람이 어린이인지 여부를 결정하기 위해, 샘플 이미지를 참조 이미지와 비교하여, 수동 태그로 인한 판단 기준의 차이를 줄임으로써, 샘플 이미지의 어린이 태그 정보의 정확성을 향상시켜, 훈련 네트워크의 정확성을 향상시키며; 선택적으로, 본 실시예에서 샘플 이미지에서의 사람의 연령 또는 추정 연령이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 큰지 여부는 수동으로 구현되거나, 훈련된 뉴럴 네트워크를 통해 구현될 수 있다.
선택적으로, 참조 이미지는 남자 어린이 참조 이미지 및 여자 어린이 참조 이미지를 포함한다.
성별에 따라 어린이에 대한 판단 기준도 상이하며, 사람들의 시각 감지에는 종종 큰 차이가 있다. 따라서, 성별 차이로 인한 태그 정보의 오차를 감소시키기 위해, 본 실시예에서 남자 및 여자에 대해 남자 어린이 참조 이미지 및 여자 어린이 참조 이미지를 각각 설정함으로써, 태그 정보의 신뢰성을 향상시킨다. 두 개의 상이한 남자 어린이 참조 이미지 및 여자 어린이 참조 이미지를 기준으로 사용하여, 이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 크면, 어린이가 아닌 것으로 판단하며; 이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 작으면, 어린이인 것으로 판단한다. 남자 및 여자로 나누어 하나의 이미지가 어린이인지 여부를 판단함으로써, 어린이 데이터 세트의 소음을 줄여, 어린이 데이터 세트의 정확도를 향상시킨다.
하나 또는 복수 개의 선택적인 실시예에서, 단계 110은, 차량 내에 설치된 차량 내부의 적어도 하나의 카메라에 기반하여 뒷좌석 영역의 비디오 스트림을 수집 획득하는 단계를 포함한다.
승객의 상태를 결정하기 위해, 개별 얼굴 이미지를 분석 기초로 사용하면 이미지가 뚜렷하지 못하거나 표정에 변화가 발생하는 등 정확하지 않는 상황이 발생하며, 상태 분석의 정확도를 향상시키기 위해, 본 실시예는 차량 내부의 카메라를 통해 차량 내의 승객 이미지를 수집하여, 비디오 스트림을 획득함으로써, 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지를 획득된 이미지로 하여, 획득된 이미지로 차량 내의 승객 상태의 모니터링을 구현한다.
선택적으로, 본 실시예의 모니터링 카메라는 차량 좌석 전방에 설치할 수 있으며, 예를 들어, 각 차량 좌석에 대응하여 하나의 카메라를 각각 설치하며, 각 차량 좌석의 이미지를 각각 수집하여, 정확한 위치 인식을 구현하며, 또는, 모든 차량 좌석 전방에 하나 또는 복수 개의 카메라를 설치하여, 전체 차량 내의 이미지(각 차량 좌석의 위치를 기설정해야 함)를 획득함으로써, 각 좌석의 승객에 대한 인식을 구현한다.
하나 또는 복수 개의 선택적인 실시예에서, 단계 140은,
승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 운전자 시야 범위 내의 기기 및 미리 설정된 기기 중 적어도 하나로 프롬프트 정보를 출력하는 단계를 포함한다.
선택적으로, 프롬프트 정보는 적어도 하나의 프롬프트 정보를 포함하고, 운전자 시야 범위 내의 기기를 통해 정보를 디스플레이할 때, 운전자 또는 차 내의 다른 승객이 차량 내의 상황을 제때에 확인할 수 있으며, 미리 설정된 기기는 설정된 보호자 휴대폰, 운전자 휴대폰, 경보 기기, 다른 단말 기기 등을 포함할 수 있으며, 미리 설정된 기기는 차량 외부의 다른 위치에서 차량 내의 상황에 대해 모니터링을 구현할 수 있으며, 예를 들어, 운전자가 잠깐 자리를 비울 때, 단말 기기(예컨대, 휴대폰 등)는 차량 내 승객 특히 어린이의 상태를 확인할 수 있으므로, 프롬프트 정보를 수신하면, 차량에 즉시 돌아와, 돌발 상황에 대처할 수 있다. 예를 들어, 고속도로 휴계소에서 휴식 시, 화장실을 가려고 하지만, 차 안에 있는 어린이의 상황이 걱정되는 경우, 휴대폰 APP를 통해 스마트 배면 모니터링 기능을 켤 수 있다.
하나 또는 복수 개의 선택적인 실시예에서, 본 출원의 실시예의 방법은,
운전자 시야 범위 내의 기기 및 미리 설정된 기기 중 적어도 하나를 통해 획득된 비디오 스트림의 적어도 하나의 이미지 프레임 및 검출 결과 중 적어도 하나의 정보를 디스플레이하는 단계를 더 포함한다.
프롬프트 정보 외에도, 또한 운전자시야 범위 내의 기기 및 미리 설정된 기기 중 적어도 하나는 획득된 비디오 스트림의 적어도 하나의 이미지 프레임, 검출 결과 등 정보를 디스플레이할 수 있으며, 이러한 정보를 통해 운전자 또는 다른 사람이 자체 분석하여 필요한 정보를 획득하여, 승객 상태를 이해할 수 있다.
하나 또는 복수 개의 선택적인 실시예에서, 차량 내 뒷좌석 영역의 비디오 스트림을 획득하기 전에, 본 출원의 실시예의 방법은,
모바일 애플리케이션 엔드 또는 차량 탑재 기기를 통해 모니터링 명령어를 수신하는 단계를 더 포함하고;
차량 내 뒷좌석 영역의 비디오 스트림을 획득하는 단계는, 모니터링 명령어에 따라 차량 내 뒷좌석 영역의 비디오 스트림을 획득하는 단계를 포함한다.
선택적으로, 본 실시예에서의 모바일 애플리케이션 엔드는 상기 실시예에서의 미리 설정된 기기일 수 있으며, 즉 미리 설정된 기기를 통해 모니터링 명령어를 수신한 다음, 미리 설정된 기기를 통해 수신 프롬프트 정보, 및 수집된 비디오 스트림의 적어도 하나의 이미지 프레임, 및 검출 결과 정보 등 중 적어도 하나를 통해, 모니터링 정보를 요청자에게 피드백하는 것을 구현하며, 모바일 애플리케이션 엔드는 휴대폰, 태블릿 등 기기를 포함할 수 있으며; 본 실시예에서의 차량 탑재 기기는 상기 피드백을 수신한 운전자 시야 범위 내의 기기일 수 있으므로, 운전자가 요청한 경우, 모니터링 정보를 운전자에게 피드백하는 것을 구현하며, 상기 차량 탑재 기기는 다른 승객 위치의 차량 탑재 기기(터치 디스플레이 스크린 등)이며, 다른 승객의 요청에 따라, 모니터링 정보를 운전자에게 피드백하는 것을 구현한다.
도 6은 본 출원의 실시예에 의해 제공된 승객 상태 분석 방법의 또 다른 선택적인 예의 흐름 모식도이다. 예컨대, 도 6에 도시된 바와 같이, 본 실시예의 예에서, 모니터링 명령어를 수신하는 모바일 애플리케이션 엔드는 휴대폰 APP을 선택하거나, 차량 탑재 기기를 앞좌석 인간-기계 인터페이스(HMI, Human Machine Interface) 터치 스크린으로 선택하여, 앞좌석 인간-기계 인터페이스(HMI, Human Machine Interface) 터치 스크린 또는 휴대폰 APP를 통해 뒷좌석 모니터링 기능을 시작하도록 선택한 다음, 모니터링 화면을 확인할지 여부를 선택할 수 있다. 뒷좌석 모니터링 기능이 켜진 후, 소프트웨어 시스템은 카메라에 의해 입력된 비디오 데이터를 통해 현재 좌석의 사람의 연령이 설정 연령(예컨대, 12 세)을 판단할 것이며, 연령이 설정 연령보다 작으면 어린이 상태 모니터링 및 차일드 시트 제안 프롬프트를 수행하며, 어린이가 차일드 시트에 앉지 않으면 차일드 시트에 앉으라는 제안이 프롬프트되며, 예컨대, 어린이가 좌석에 앉아 있는 경우 어린이가 잠들었는지 여부, 우는지 여부, 잠에서 깨었는지 여부, 중도에 차일드 시트를 이탈했는지 여부에 대해 모니터링 및 경보(앞좌석 HMI 또는 휴대폰 APP에 피드백함)를 수행하며; 어른 상태에 대한 모니터링인 경우, 연령이 설정 연령보다 클 때, 앞좌석 HMI 또는 휴대폰 APP에 어른의 연령, 성별 등 모니터링 정보가 디스플레이된다.
당업자는 상기 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완료될 수 있으며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 수행될 때, 수행은 상기 방법 실시예의 동작을 포함하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
도 7은 본 출원의 실시예에 의해 제공된 승객 상태 분석 장치의 구조 모식도이다. 상기 실시예의 장치는 본 출원의 상기 각 방법에 따른 실시예를 구현하기 위한 것일 수 있다. 예컨대, 도 7에 도시된 바와 같이, 상기 실시예의 장치는,
차량 내 뒷좌석 영역의 비디오 스트림을 획득하기 위한 비디오 수집 유닛(71);
비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하기 위한 이미지 검출 유닛(72);
얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 뒷좌석 영역의 승객의 상태 정보를 결정하기 위한 상태 결정 유닛(73); 및
승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 정보 프롬프트 유닛(74)을 포함한다.
본 출원의 상기 실시예에 의해 제공된 승객 상태 분석 장치는, 차량 내 뒷좌석 영역의 비디오 스트림을 획득하고; 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하며; 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 뒷좌석 영역의 승객의 상태 정보를 결정하며; 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하며, 승객의 상태에 대해 분석을 수행함으로써, 프롬프트 정보와 결합하여 의외의 상황의 발생을 줄일 수 있어, 승객 승차의 안전성 및 편의성을 향상시킨다. 뒷좌석 영역은 운전자의 시야를 벗어난 영역이므로, 상기 영역의 사람의 상태 분석을 통해, 유효한 정보 또는 운전자가 관심을 갖는 정보를 운전자에게 적시에 프롬프트하여, 운전자가 일반적인 상황에서 운전에 전념할 수 있으므로, 주의력 분산 운전 요인을 줄여, 운전 안전성을 향상시키며; 또한 이상 정보 또는 운전자가 관심을 갖는 정보를 적시에 발견할 수 있어, 운전자가 적시에 조치를 취하여 처리함으로써, 사용자 경험을 향상시킨다.
하나 또는 복수 개의 선택적인 실시예에서, 상태 결정 유닛(73)은, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라, 승객이 이상 상태에 있는지 여부 및 승객이 위험한 행동을 하는지 여부 중 적어도 하나를 결정하기 위한 것이다.
정보 프롬프트 유닛(74)은, 승객에게 이상 상태가 나타나거나, 승객이 위험한 행동을 하거나, 승객이 이상 상태에 있는 시간이 기설정 시간에 도달하거나, 승객이 위험한 행동 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 것이다.
본 출원의 실시예에서, 승객의 상이한 이상 상태 및 위험한 행동은 상이한 시급성을 가지므로, 일부 이상 상태 및 위험한 행동이 발생하면, 즉시 처리해야 하며, 그렇지 않으면 심각한 결과를 초래하며, 예를 들어, 승객이 급체 상태에 있는 경우, 예컨대, 제때에 처리하지 않으면 승객의 생명 안전을 해칠 수 있으므로, 제때에 처리해야 하거나, 승객 신체 일부를 차창 밖으로 내미는 경우, 차량이 주행 중에 있으므로, 언제든지 다른 차량과 엇갈리게 되어, 승객이 위험에 처할 수 있어, 상기 승객의 위험한 행동을 제때에 제지해야 하며; 일부 이상 상태 및 위험한 행동은 시급성이 낮으므로, 일정 시간 후에 처리될 수 있다.
선택적으로, 이상 상태는 화난 상태, 구토 상태, 급체 상태, 기침 상태, 고통 상태, 울음 상태, 수면 상태, 잠을 깬 상태 등 중 적어도 하나를 포함하지만 이에 한정되지 않는다.
선택적으로, 위험한 행동은 차문을 여는 것, 손에 기구를 들고 있는 것, 안전벨트를 해제하는 것, 신체 일부를 차창 밖으로 내미는 것, 지정된 영역을 이탈하는 것, 및 흡연하는 것 등 중 적어도 하나를 포함하지만 이에 한정되지 않는다.
선택적으로, 승객은 어른 및 어린이 중 적어도 하나를 포함한다.
선택적으로, 얼굴 검출 및 인체 검출 중 적어도 하나의 결과는 얼굴 존재 여부, 인체 존재 여부, 눈을 뜬 것, 눈을 감은 것, 표정, 연령, 입을 벌린 것, 입을 다문 것 및 몸동작 중 적어도 하나를 포함한다.
하나 또는 복수 개의 선택적인 실시예에서, 승객은 어린이를 포함하며; 뒷좌석 영역은 차일드 시트 영역을 포함하며; 얼굴 검출 및 인체 검출 중 적어도 하나의 결과는 얼굴 존재 여부 및 인체 존재 여부 중 적어도 하나를 포함한다.
상태 결정 유닛(73)은, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 어린이가 차일드 시트에 있는지 여부를 결정하기 위한 것이다.
정보 프롬프트 유닛(74)은, 어린이가 차일드 시트를 이탈하거나 또는 차일드 시트에 어린이가 없는 상태가 지속되는 시간이 기설정 시간을 초과한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 것이다.
어린이의 안전성을 향상시키기 위해, 차일드 시트는 일반적으로 차량 좌석에 고정하며, 고정 후, 차일드 시트의 위치는 결정되었고, 어린이가 차일드 시트를 이탈하거나 또는 차일드 시트에 어린이가 없는 상태가 지속되는 시간이 기설정 시간을 초과하면, 어린이가 차일드 시트에 앉아있지 않음을 의미하며, 차량이 주행 중일 때, 어린이가 차일드 시트에 앉아있지 않는 것은 매우 위험하므로, 어린이 승차의 안전성을 향상시키기 위해 본 출원의 실시예에 의해 제공된 프롬프트 정보에 따라 어린이를 안치할 필요가 있다.
하나 또는 복수 개의 선택적인 실시예에서, 승객은 어린이를 포함한다.
상태 결정 유닛(73)은, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 어린이가 우는지 여부를 결정하기 위한 것이다.
정보 프롬프트 유닛(74)은, 어린이가 울거나 또는 어린이가 울음 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 것이다.
어린이의 정서 및 신체 상황이 불안정하므로, 언제라도 변할 수 있으며, 어린이의 불편함을 줄이거나 안전 운전에 영향을 덜 미치기 위해 어린이가 상이한 상태에 있을 때, 합리적으로 작동해야 하며, 예를 들어, 이상 상태가 어린이에게 주는 피해를 줄이기 위해 어린이가 울음 상태에 있을 때, 제때에 처리(예를 들어, 어린이를 즉시 달래는 등)해야 한다.
하나 또는 복수 개의 선택적인 실시예에서, 승객은 어린이를 포함한다.
얼굴 검출 및 인체 검출 중 적어도 하나의 결과는 눈을 뜬 것 및 눈을 감은 것을 포함한다.
상태 결정 유닛(73)은, 소정의 시간창 내에서 어린이의 눈을 뜬 상태 및 눈을 감은 상태 중 적어도 하나에 따라 분석 결과를 통계하여, 어린이가 수면 상태에 있는지 여부 또는 잠을 깬 상태에 있는지 여부를 결정하기 위한 것이다.
정보 프롬프트 유닛(74)은, 어린이가 수면 상태에 있거나, 수면 상태에 있는 시간이 기설정 시간에 도달하거나, 잠을 깬 상태에 있거나, 잠을 깬 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 것이다.
어린이가 수면 상태 및 잠을 깬 상태는 긴급 레벨이 낮은 경우에 속하며, 프롬프트 정보를 제때에 발송할 수 있으며, 또는 어린이가 수면 상태에 있는 시간이 기설정 시간에 도달하거나, 어린이가 잠을 깬 상태에 있는 시간이 기설정 시간에 도달하면 프롬프트 정보를 발송할 수 있으며, 여기서 수면 상태에 대응하는 기설정 시간 및 잠을 깬 상태에 대응하는 기설정 시간은 동일하거나 상이하다.
하나 또는 복수 개의 선택적인 실시예에서, 얼굴 검출 및 인체 검출 중 적어도 하나의 결과는 승객이 어린이인지 여부의 분류 결과를 포함한다.
이미지 검출 유닛(72)은, 비디오 스트림에서의 적어도 하나의 프레임 이미지의 얼굴 및 인체 중 적어도 하나의 특징을 추출하며; 추출된 특징에 기반하여 승객이 어린이인지 여부의 분류 처리를 수행하기 위한 것이다.
하나 또는 복수 개의 선택적인 실시예에서, 이미지 검출 유닛(72)은, 뉴럴 네트워크의 특징 추출 브랜치를 통해 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출 및 인체 특징 추출 중 적어도 하나를 수행하고; 뉴럴 네트워크에서 특징 추출 브랜치에 연결된 적어도 하나의 검출 브랜치를 통해, 특징 추출 브랜치에 의해 추출된 얼굴 특징 및 인체 특징에 기반하여 얼굴 검출 및 인체 검출 중 적어도 하나의 결과를 결정하기 위한 것이다.
본 출원의 실시예에서, 상이한 검출 브랜치를 통해 얼굴 검출 및 인체 검출을 각각 구현할 수 있으며, 즉 하나의 검출 브랜치를 통해 얼굴 검출의 결과를 획득하고, 다른 검출 브랜치를 통해 인체 검출의 결과를 획득하며, 적어도 하나의 검출 브랜치를 통해 특징 추출 브랜치에 연결되고, 특징 추출 브랜치에 의해 획득된 특징을 공유하여 얼굴 검출 결과 및 인체 검출 결과를 획득함으로써, 검출 과정을 가속화하여, 검출 시간을 줄인다.
하나 또는 복수 개의 선택적인 실시예에서, 이미지 검출 유닛(72)은, 뉴럴 네트워크의 특징 추출 브랜치를 통해 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출 및 인체 특징 추출 중 적어도 하나를 수행하고; 뉴럴 네트워크에서 특징 추출 브랜치에 연결된 분류 브랜치 및 적어도 하나의 검출 브랜치를 통해, 특징 추출 브랜치에 의해 추출된 얼굴 특징 및 인체 특징 중 적어도 하나에 기반하여 이미지에서의 사람이 어린이인지 여부 및 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나를 결정하기 위한 것이다.
본 출원의 실시예에서 승객이 어린이인지의 판단이 추가되며, 선택적으로, 본 실시예에서 얼굴 특징을 분류 브랜치에 입력함으로써, 승객이 어린이인지의 분류 결과(두 가지 분류 결과), 즉 승객이 어린이인지 또는 어린이가 아닌지를 결정하며; 얼굴 특징 및 인체 특징 중 적어도 하나를 공유하여 어린이인지 여부, 및 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나를 결정하여, 하나의 특징 추출 과정만을 거치므로, 검출 및 분류의 효율을 향상시킨다.
하나 또는 복수 개의 선택적인 실시예에서, 이미지 검출 유닛(72)은, 뉴럴 네트워크의 특징 추출 브랜치를 통해 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출을 수행하거나; 뉴럴 네트워크에서 특징 추출 브랜치에 연결된 분류 브랜치를 통해, 특징 추출 브랜치에 의해 추출된 얼굴 특징에 기반하여 이미지에서의 사람이 어린이인지 여부를 결정하며; 또는, 뉴럴 네트워크에서 특징 추출 브랜치에 연결된 인식 브랜치를 통해 이미지에서의 승객의 연령을 결정하여, 연령이 기설정 연령보다 작거나 같은 승객을 어린이로 결정하기 위한 것이다.
본 출원의 실시예에서, 뉴럴 네트워크를 별도로 제안하여 승객이 어린이인지 여부의 판단을 구현하며, 선택적으로, 하나의 분류 브랜치를 통해 얼굴 특징에 기반하여 어린이인지 여부의 분류 결과를 결정하거나, 인식 브랜치를 통해 얼굴 특징에 기반하여 승객의 연령을 결정하여, 연령이 기설정 연령보다 작거나 같으면 승객을 어린이로 결정한다.
선택적으로, 이미지에서의 사람이 어린이인지 여부를 결정하는 분류 브랜치는 성별을 구별하는 어린이의 태그 데이터에 기반하여 미리 훈련됨으로써 완료된다.
선택적으로, 본 출원의 실시예의 장치는,
샘플 이미지를 이용하여 뉴럴 네트워크에 대해 훈련을 수행하기 위한 네트워크 훈련 유닛을 더 포함하며, 샘플 이미지는 어린이의 태그 정보를 가진다.
선택적으로, 어린이 태그 정보는 샘플 이미지에서의 사람이 어린이인지 여부를 나타내고, 샘플 이미지에서의 사람의 연령 또는 추정 연령이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 큰 것에 응답하여, 샘플 이미지의 어린이 태그 정보는 어린이가 아님을 나타내며, 샘플 이미지에서의 사람의 연령 또는 추정 연령이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 작거나 같은 것에 응답하여, 상기 샘플 이미지의 어린이 태그 정보는 어린이임을 나타낸다..
선택적으로, 참조 이미지는 남자 어린이 참조 이미지 및 여자 어린이 참조 이미지를 포함한다.
하나 또는 복수 개의 선택적인 실시예에서, 비디오 수집 유닛(71)은, 차량 내에 설치된 차량 내부의 적어도 하나의 카메라에 기반하여 뒷좌석 영역의 비디오 스트림을 수집 획득하기 위한 것이다.
승객의 상태를 결정하기 위해, 개별 얼굴 이미지를 분석 기초로 사용하면 이미지가 뚜렷하지 못하거나 표정에 변화가 발생하는 등 정확하지 않는 상황이 발생하며, 상태 분석의 정확도를 향상시키기 위해, 본 실시예는 차량 내부의 카메라를 통해 차량 내의 승객 이미지를 수집하여, 비디오 스트림을 획득함으로써, 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지를 획득된 이미지로 하여, 획득된 이미지로 차량 내의 승객 상태의 모니터링을 구현한다.
하나 또는 복수 개의 선택적인 실시예에서, 정보 프롬프트 유닛(74)은, 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 운전자 시야 범위 내의 기기 및 미리 설정된 기기 중 적어도 하나로 프롬프트 정보를 출력하기 위한 것이다.
선택적으로, 본 출원의 실시예의 장치는,
운전자 시야 범위 내의 기기 및 미리 설정된 기기 중 적어도 하나를 통해 획득된 비디오 스트림의 적어도 하나의 이미지 프레임 및 검출 결과 중 적어도 하나의 정보를 디스플레이하기 위한 디스플레이 유닛을 더 포함한다.
선택적으로, 본 출원의 실시예의 장치는,
차량 탑재 기기 및 모바일 애플리케이션 엔드 중 적어도 하나를 통해 모니터링 명령어를 수신하기 위한 명령어 수신 유닛; 및
모니터링 명령어에 따라 차량 내 뒷좌석 영역의 비디오 스트림을 획득하기 위한 비디오 수집 유닛을 더 포함한다.
본 발명의 실시예에 의해 제공된 승객 상태 분석 장치의 임의의 실시예의 작업 과정, 설치 방식 및 상응한 기술적 효과는, 모두 본 발명의 상기 상응한 방법 실시예의 구체적인 설명을 참조할 수 있으며, 편폭의 제한으로, 여기서 더이상 반복하지 않는다.
본 출원의 실시예의 다른 측면에 따라 제공된 차량은, 상기 임의의 실시예에 의해 제공된 승객 상태 분석 장치를 포함한다.
본 출원의 실시예에 의해 제공된 차량을 통해, 차량 내 뒷좌석의 승객에 대해 모니터링을 수행할 수 있음으로써, 운전자 시각 사각지대의 단점을 극복하여 승객이 비상 상황에 처했을 경우 운전자 또는 다른 관련 인원이 제때에 이해할 수 있으므로, 의외의 상황의 발생을 줄일 수 있어, 승객 승차의 안전성 및 편의성을 향상시킨다.
본 분야의 기술자는, 상기 승객 상태 분석 장치에서의 모바일 애플리케이션 엔드 및 미리 설정된 기기가 예컨대, 차량에 설치될 경우, 본 출원의 실시예가 보호하는 차량의 부분에 속하지 않음을 이해해야 한다.
하나 또는 복수 개의 선택적인 실시예에서, 차량에는 적어도 하나의 제1 카메라가 설치되고, 제1 카메라는 차량 내 뒷좌석 영역의 비디오를 수집하기 위한 것이다.
본 출원의 실시예에서의 제1 카메라는 독립적인 카메라이거나 다른 차량 탑재 기기(예컨대, 차량용 태블릿, 차량용 디스플레이 스크린 등) 상의 카메라이거나, 선행기술에서의 다른 형태의 카메라이며, 뒷좌석 영역의 비디오를 수집할 수 있으면 되며, 본 출원의 실시예는 카메라의 구체적인 방식을 한정하지 않는다.
선택적으로, 제1 카메라는 뒷좌석 영역을 향한 앞좌석 배면의 일측, 및 차량 내 뒷좌석 위측의 위치에 설치된다.
제1 카메라는 뒷좌석 영역을 향한 앞좌석 배면의 일측에 설치되어 제1 카메라가 뒷좌석 영역을 더 쉽게 획득할 수 있으며, 뒷좌석의 위측 위치에 설치되어 뒷좌석에서의 승객의 이미지를 효과적으로 수집할 수 있으므로, 카메라 위치가 잘못되어 유효한 이미지를 수집할 수 없는 문제를 감소시킨다.
하나 또는 복수 개의 선택적인 실시예에서, 차량은 운전자의 시야 범위의 영역 내에 차량 탑재 기기가 설치되고, 카메라는 차량 탑재 기기에 통신 연결된다.
선택적으로, 차량 탑재 기기는 차량 주행 중 운전자의 시야 범위 내 즉 콘솔 영역, 기기 영역, 앞 유리창 위측 등 위치에 설치될 수 있으며, 상기 차량 탑재 기기의 설치는 운전자의 시야를 가리지 않는 것을 기준으로 안전 운전에 영향을 미치지 않도록 운전자가 차량의 뒷좌석의 승객 상황을 실시간으로 파악할 수 있도록 설치되어야 한다.
선택적으로, 차량 탑재 기기는 또한, 분석 운전자의 상태 정보, 운전자의 상태 분석 결과가 기설정 피로 또는 주의력 분산 또는 위험 운전의 소정의 조건을 만족할 때, 프롬프트 정보를 출력하기 위한 것이다.
본 출원의 실시예는 또한 운전자의 상태 정보를 획득할 수 있고, 상기 상태 정보를 분석하며, 상태 정보는 행위 행동, 얼굴 정보 등을 포함하지만 이에 한정되지 않으며, 상태 분석 결과가 기설정 피로 또는 주의력 분산 또는 위험 운전 소정의 조건을 만족할 경우, 프롬프트 정보를 출력하여, 피로 운전이나 주의력 분산 운전으로 인한 위험을 방지하며, 피로 또는 주의력 분산 또는 위험 운전의 소정의 조건는 기존의 흔히 볼 수 있는 피로 또는 주의력 분산 또는 위험 운전의 상황 등을 포함하지만 이에 한정되지 않으며, 예를 들어, 상태 분석 결과에서 운전자가 통화 중인 것으로 결정되면, 주의력 분산 운전 상태에 있음을 의미하고, 상태 분석 결과에서 운전자가 눈을 감은 시간이 설정 시간을 초과한 것으로 결정되거나 운전자가 하품을 하는 것으로 결정되면, 운전자가 피로 운전 상태임을 의미하며, 상태 분석 결과에서 운전자가 한손으로 스티어링 휠을 잡고 있는 시간이 기설정 시간을 초과하면, 운전자가 위험 운전 상태에 있음을 의미하며; 이상의 이러한 예는 다만 당업자에게 이해를 돕기 위해 제공된 것이지, 본 출원을 한정하기 위한 것이 아니며, 당업자는 다른 다양한 피로 또는 주의력 분산 또는 위험 운전의 상황이 모두 본 출원의 실시예의 보호 범위에 속함을 이해해야 한다.
본 출원의 각 실시예에서의 뉴럴 네트워크에 있어서, 각각 하나의 다중 계층 뉴럴 네트워크(즉, 딥 뉴럴 네트워크)일 수 있으며, 예를 들어, 다중 계층의 컨볼루션 뉴럴 네트워크이며, 예를 들어, LeNet, AlexNet, GoogLeNet, VGG, ResNet 등 임의의 뉴럴 네트워크 모델일 수 있다. 각 뉴럴 네트워크는 동일한 타입 및 구조의 뉴럴 네트워크를 사용할 수 있거나, 상이한 타입 및 구조 중 적어도 하나의 뉴럴 네트워크를 사용할 수도 있다. 본 출원의 실시예는 이를 한정하지 않는다.
본 출원의 실시예의 또 다른 측면에 따라 제공된 전자 기기는, 프로세서를 포함하며, 상기 프로세서는 상기 어느 한 실시예에 의해 제공된 승객 상태 분석 장치를 포함한다.
본 출원의 실시예의 또 다른 측면에 따라 제공된 전자 기기는, 실행 가능한 명령어를 저장하기 위한 메모리; 및
메모리와 통신하여 실행 가능한 명령어를 실행함으로써 상기 어느 한 항에 따른 승객 상태 분석 방법의 동작을 완료하기 위한 프로세서를 포함한다.
본 출원의 실시예의 또 다른 측면에 따라 제공된 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 판독 가능한 저장 매체는, 명령어가 실행될 때 상기 어느 한 항에 따른 승객 상태 분석 방법의 동작을 실행한다.
본 출원의 실시예의 또 다른 측면에 따라 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품은, 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 기기 중의 프로세서는 상기 어느 한 실시예에 의해 제공된 승객 상태 분석 방법을 구현하기 위한 명령어를 실행한다.
본 출원의 실시예는 또한 이동 단말, 개인용 컴퓨터(PC), 태블릿, 서버와 같은 것일 수 있는 전자 기기를 제공한다. 도 8을 참조하면, 본 출원의 실시예에 따른 단말기기 또는 서버를 구현하기에 적합한 전자 기기(800)의 구조 모식도이며, 도 8에 도시된 바와 같이, 전자 기기(800)는 하나 또는 복수 개의 프로세서, 통신부 등을 포함하며, 상기 하나 또는 복수 개의 프로세서는, 예를 들어, 하나 또는 복수 개의 중앙 처리 장치(CPU)(801), 및 하나 또는 복수 개의 이미지 프로세서(가속 유닛)(813) 중 적어도 하나이며, 프로세서는 판독 전용 메모리(ROM)(802)에 저장된 실행 가능 명령어 또는 저장 부분(808)으로부터 랜덤 액세스 메모리(RAM)(803)에 로딩된 실행 가능한 명령어에 따라 다양한 적절한 동작 및 처리를 실행할 수 있다. 통신부(812)는 인피니밴드(Infiniband, IB) 네트워크 카드를 포함할 수 있지만 이에 한정되지 않는 네트워크 카드를 포함할 수 있지만 이에 한정되지 않는다.
실행 가능한 명령어를 실행하기 위해 프로세서는 판독 전용 메모리(802) 및 랜덤 액세스 메모리(803) 중 적어도 하나와 통신할 수 있으며, 버스(804)를 통해 통신부(812)에 연결되며, 통신부(812)를 통해 다른 목표 기기와 통신함으로써, 본 출원의 실시예에 의해 제공된 임의의 방법에 대응하는 동작을 완료하며, 예를 들어, 차량 내 뒷좌석 영역의 비디오 스트림을 획득하고; 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 신체 검출 중 적어도 하나를 수행하며; 얼굴 검출 결과 및 신체 검출 결과 중 적어도 하나에 따라 뒷좌석 영역의 승객의 상태 정보를 결정하며; 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력한다.
또한, RAM(803)에는 장치의 동작에 필요한 다양한 프로그램 및 데이터가 더 저장될 수 있다. CPU(801), ROM(802) 및 RAM(803)은 통신 버스(804)를 통해 서로 연결된다. RAM(803)이 있는 경우, ROM(802)은 옵션 모듈이다. RAM(803)은 실행 가능 명령어를 저장하고, 또는 작동될 경우, ROM(802)에 실행 가능 명령어를 기록하며, 실행 가능 명령어는 중앙 처리 장치(801)로 하여금 상기 통신 방법에 대응하는 동작을 실행하도록 한다. 입력/출력(I/O) 인터페이스(505)도 버스(504)에 연결된다. 통신부(812)는 통합될 수 있거나, 버스에 연결된 복수 개의 서브 모듈(예를 들어 복수 개의 IB 네트워크 카드)을 갖도록 구성될 수 있다.
키보드, 마우스 등을 포함하는 입력 부분(806); 음극 선관(CRT), 액정 디스플레이(LCD), 스피커 등을 포함하는 출력 부분(807); 하드웨어 등을 포함하는 저장 부분(808); 및 LAN 카드, 모뎀 등 네트워크 인터페이스 카드를 포함하는 통신 부분(809) 등 구성 요소는 I/O 인터페이스(805)에 연결된다. 통신 부분(809)은 인터넷과 같은 네트워크를 통해 통신 처리를 수행한다. 드라이버(810)는 또한 필요에 따라 I/O 인터페이스(805)에 연결된다. 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등과 같은 탈착 가능한 매체(511)는 필요에 따라 저장 부분(508)에 장착된 컴퓨터 프로그램을 판독할 수 있도록 필요에 따라 드라이버(510)에 장착된다.
설명해야 할 것은, 도 8에 도시된 아키텍쳐는 다만 선택적인 구현 방식일 뿐, 구체적인 실천 과정에서, 상기 도 8의 구성 요소의 개수 및 유형은 실제 필요에 따라 선택, 감소, 증가 또는 교체되며; 상이한 기능적 구성 요소 설치에서 분리 설치 또는 통합 설치 등 구현 방식을 사용할 수 있으며, 예를 들어 가속 유닛(813) 및 CPU(801)는 분리 설치되거나 가속 유닛(813)이 CPU(801)에 통합되며, 통신부는 CPU(801) 또는 가속 유닛(813)에 분리 설치 또는 통합 설치될 수 있는 등이다. 이러한 대안적인 실시형태는 모두 본 출원의 보호 범위에 속한다.
특히, 본 출원의 실시예에 따른 흐름도를 참조하여 설명된 과정은 컴퓨터 소프트웨어 프로그램에 의해 구현된다. 예를 들어, 본 출원의 실시예는 기계 판독 가능 매체에 유형적으로 포함된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하며, 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 출원의 실시예에서 제공되는 방법의 단계를 수행하는 것에 대응되는 명령어를 포함할 수 있으며, 예를 들어, 차량 내 뒷좌석 영역의 비디오 스트림을 획득하는 단계; 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하는 단계; 얼굴 검출 결과 및 신체 검출 결과 중 적어도 하나에 따라 뒷좌석 영역의 승객의 상태 정보를 결정하는 단계; 및 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계를 포함한다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신 부분(809)를 통해 네트워크로부터 다운로드 및 설치될 수 있는 것 및 탈착 가능한 매체(811)로부터 설치될 수 있는 것 중 적어도 하나이다. 상기 컴퓨터 프로그램은 중앙 처리 장치(CPU)(801)에 의해 실행될 때, 본 출원의 방법에 정의된 상기 기능의 동작을 실행한다.
본 명세서에, 각 실시예는 모두 점진적으로 설명되며, 각 실시예는 다른 실시예와의 차이점에 초점을 맞추고, 각 실시예 사이의 동일하거나 유사한 부분은 서로 참조될 수 있다. 시스템 실시예는 방법 실시예에 거의 대응되므로, 설명이 비교적 간단하고, 관련 부분에 대해서는 방법 실시예의 설명을 참조한다.
본 출원의 방법과 장치는 많은 방식으로 구현된다. 예를 들어, 본 출원의 방법과 장치는 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 구현될 수 있다. 달리 구체적으로 언급되지 않는 한, 상기 방법의 단계의 상기 순서는 다만 구체적인 설명을 위한 것이며, 본 출원의 방법의 단계는 상술한 구체적인 설명의 순서에 한정되지 않는다. 또한, 일부 실시예에 있어서, 본 출원은 기록 매체에 기록된 프로그램으로서 구현될 수도 있으며, 이들 프로그램은 본 출원의 방법을 구현하기 위한 기계 판독 가능 명령어를 포함한다. 따라서, 본 출원은 본 출원에 따른 방법들을 실행하기 위한 프로그램을 저장하는 기록 매체를 더 포함한다.
본 출원의 설명은 예시 및 설명을 목적으로 제공되며, 누락된 부분이 없거나 본 출원을 개시된 형태로 한정하려는 것은 아니다. 많은 보정과 변경이 본 기술분야의 통상의 기술자에게 자명하다. 실시예를 선택하고 설명한 것은 본 출원의 원리 및 실제 적용을 더 잘 설명하기 위해한 것이며, 본 기술분야의 통상의 기술자로 하여금 본 출원을 이해하여, 특정 사용에 적용 가능한 다양한 보정들을 갖는 다양한 실시예들을 설계하도록 한다.
Claims (53)
- 승객 상태 분석 방법으로서,
차량 내 뒷좌석 영역의 비디오 스트림을 획득하는 단계;
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하는 단계;
얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 뒷좌석 영역의 승객의 상태 정보를 결정하는 단계; 및
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항에 있어서,
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 뒷좌석 영역의 승객의 상태 정보를 결정하는 단계는, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라, 상기 승객이 이상 상태에 있는지 여부 및 상기 승객이 위험한 행동을 하는지 여부 중 적어도 하나를 결정하는 단계; 및
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계는, 상기 승객에게 이상 상태가 나타나거나, 승객이 위험한 행동을 하거나, 승객이 이상 상태에 있는 시간이 기설정 시간에 도달하거나, 승객이 위험한 행동 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제2항에 있어서,
상기 이상 상태는 화난 상태, 구토 상태, 급체 상태, 기침 상태, 고통 상태, 울음 상태, 수면 상태, 잠을 깬 상태 중 적어도 하나를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제2항 또는 제3항에 있어서,
상기 위험한 행동은 차문을 여는 것, 손에 기구를 들고 있는 것, 안전벨트를 해제하는 것, 신체 일부를 차창 밖으로 내미는 것, 지정된 영역을 이탈하는 것, 및 흡연하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 승객은 어른 및 어린이 중 적어도 하나를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나는 얼굴 존재 여부, 인체 존재 여부, 눈을 뜬 것, 눈을 감은 것, 표정, 연령, 입을 벌린 것, 입을 다문 것 및 몸동작 중 적어도 하나를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 승객은 어린이를 포함하며;
상기 뒷좌석 영역은 차일드 시트 영역을 포함하며;
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나는 얼굴 존재 여부 및 인체 존재 여부 중 적어도 하나를 포함하며;
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 뒷좌석 영역의 승객의 상태 정보를 결정하는 단계는, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 어린이가 상기 차일드 시트에 있는지 여부를 결정하는 단계를 포함하며;
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계는, 상기 어린이가 상기 차일드 시트를 이탈하거나 상기 차일드 시트에 어린이가 없는 상태의 지속 시간이 기설정 시간을 초과한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 승객은 어린이를 포함하며;
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 뒷좌석 영역의 승객의 상태 정보를 결정하는 단계는, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 어린이가 우는지 여부를 결정하는 단계; 및
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계는, 상기 어린이가 울거나 또는 상기 어린이가 울음 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 승객은 어린이를 포함하며;
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나는 눈을 뜬 것 및 눈을 감은 것을 포함하며;
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 뒷좌석 영역의 승객의 상태 정보를 결정하는 단계는, 소정의 시간창 내에서 상기 어린이의 눈을 뜬 상태 및 눈을 감은 상태 중 적어도 하나에 따라 분석 결과를 통계하여, 상기 어린이가 수면 상태에 있는지 여부 또는 잠을 깬 상태에 있는지 여부를 결정하는 단계를 포함하며;
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계는, 상기 어린이가 수면 상태에 있거나, 수면 상태에 있는 시간이 기설정 시간에 도달하거나, 잠을 깬 상태에 있거나, 잠을 깬 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나는 상기 승객이 어린이인지 여부의 분류 결과를 포함하며;
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하는 단계는,
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지의 얼굴 특징 및 인체 특징 중 적어도 하나를 추출하는 단계; 및
추출된 특징에 기반하여 상기 승객이 어린이인지 여부의 분류 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하는 단계는, 뉴럴 네트워크의 특징 추출 브랜치를 통해, 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출 및 인체 특징 추출 중 적어도 하나를 수행하는 단계; 및
상기 뉴럴 네트워크에서 상기 특징 추출 브랜치에 연결된 적어도 하나의 검출 브랜치를 통해, 상기 특징 추출 브랜치에 의해 추출된 얼굴 특징 및 인체 특징 중 적어도 하나에 기반하여 상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하는 단계는, 뉴럴 네트워크의 특징 추출 브랜치를 통해, 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출 및 인체 특징 추출 중 적어도 하나를 수행하는 단계; 및
상기 뉴럴 네트워크에서 상기 특징 추출 브랜치에 연결된 분류 브랜치 및 적어도 하나의 검출 브랜치를 통해, 상기 특징 추출 브랜치에 의해 추출된 얼굴 특징 및 인체 특징 중 적어도 하나에 기반하여 상기 이미지에서의 사람이 어린이인지 여부, 및 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나를 각각 결정하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하는 단계는, 뉴럴 네트워크의 특징 추출 브랜치를 통해, 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출을 수행하는 단계;
상기 뉴럴 네트워크에서 상기 특징 추출 브랜치에 연결된 분류 브랜치를 통해, 상기 특징 추출 브랜치에 의해 추출된 얼굴 특징에 기반하여 상기 이미지에서의 사람이 어린이인지 여부를 결정하는 단계; 또는,
상기 뉴럴 네트워크에서 상기 특징 추출 브랜치에 연결된 인식 브랜치를 통해 상기 이미지에서의 승객의 연령을 결정하여, 상기 연령이 기설정 연령보다 작거나 같은 승객을 어린이로 결정하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제12항 또는 제13항에 있어서,
상기 이미지에서의 사람이 어린이인지 여부를 결정하는 분류 브랜치는 어린이의 성별을 구별하는 태그 데이터에 기반하여 미리 훈련됨으로써 완료되는 것을 특징으로 하는 승객 상태 분석 방법. - 제12항 내지 제14항 중 어느 한 항에 있어서,
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하기 전에,
샘플 이미지를 이용하여 상기 뉴럴 네트워크에 대해 훈련을 수행하는 단계 - 상기 샘플 이미지는 어린이의 태그 정보를 가짐 - 를 더 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제15항에 있어서,
상기 어린이의 태그 정보는 상기 샘플 이미지에서의 사람이 어린이인지 여부를 나타내고, 상기 샘플 이미지에서의 사람의 연령 또는 추정 연령이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 큰 것에 응답하여, 상기 샘플 이미지의 어린이의 태그 정보는 어린이가 아님을 나타내며; 상기 샘플 이미지에서의 사람의 연령 또는 추정 연령이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 작거나 같은 것에 응답하여, 상기 샘플 이미지의 어린이의 태그 정보는 어린이임을 나타내는 것을 특징으로 하는 승객 상태 분석 방법. - 제16항에 있어서,
상기 참조 이미지는 남자 어린이 참조 이미지 및 여자 어린이 참조 이미지를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제17항 중 어느 한 항에 있어서,
상기 차량 내 뒷좌석 영역의 비디오 스트림을 획득하는 단계는,
상기 차량 내에 설치된 차량 내부의 적어도 하나의 카메라에 기반하여 상기 뒷좌석 영역의 비디오 스트림을 수집 획득하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제18항 중 어느 한 항에 있어서,
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하는 단계는,
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 운전자 시야 범위 내의 기기 및 미리 설정된 기기 중 적어도 하나로 프롬프트 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제18항 또는 제19항에 있어서,
상기 승객 상태 분석 방법은,
운전자 시야 범위 내의 기기 및 미리 설정된 기기 중 적어도 하나를 통해 상기 획득된 비디오 스트림의 적어도 하나의 이미지 프레임 및 상기 검출 결과 중 적어도 하나의 정보를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 제1항 내지 제20항 중 어느 한 항에 있어서,
상기 차량 내 뒷좌석 영역의 비디오 스트림을 획득하기 전에,
모바일 애플리케이션 엔드 또는 차량 탑재 기기를 통해 모니터링 명령어를 수신하는 단계를 더 포함하고;
상기 차량 내 뒷좌석 영역의 비디오 스트림을 획득하는 단계는,
상기 모니터링 명령어에 따라 차량 내 뒷좌석 영역의 비디오 스트림을 획득하는 단계를 포함하는 것을 특징으로 하는 승객 상태 분석 방법. - 승객 상태 분석 장치로서,
차량 내 뒷좌석 영역의 비디오 스트림을 획득하기 위한 비디오 수집 유닛;
상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 검출 및 인체 검출 중 적어도 하나를 수행하기 위한 이미지 검출 유닛;
얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 뒷좌석 영역의 승객의 상태 정보를 결정하기 위한 상태 결정 유닛; 및
상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 정보 프롬프트 유닛을 포함하는 것을 특징으로 하는 승객 상태 분석 장치. - 제22항에 있어서,
상기 상태 결정 유닛은, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라, 상기 승객이 이상 상태에 있는지 여부 및 상기 승객이 위험한 행동을 하는지 여부 중 적어도 하나를 결정하기 위한 것이며;
상기 정보 프롬프트 유닛은, 상기 승객에게 이상 상태가 나타나거나, 승객이 위험한 행동을 하거나, 승객이 이상 상태에 있는 시간이 기설정 시간에 도달하거나, 승객이 위험한 행동 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제23항에 있어서,
상기 이상 상태는 화난 상태, 구토 상태, 급체 상태, 기침 상태, 고통 상태, 울음 상태, 수면 상태, 잠을 깬 상태 중 적어도 하나를 포함하는 것을 특징으로 하는 승객 상태 분석 장치. - 제23항 또는 제24항에 있어서,
상기 위험한 행동은 차문을 여는 것, 손에 기구를 들고 있는 것, 안전벨트를 해제하는 것, 신체 일부를 차창 밖으로 내미는 것, 지정된 영역을 이탈하는 것, 및 흡연하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제25항 중 어느 한 항에 있어서,
상기 승객은 어른 및 어린이 중 적어도 하나를 포함하는 것을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제26항 중 어느 한 항에 있어서,
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나는 얼굴 존재 여부, 인체 존재 여부, 눈을 뜬 것, 눈을 감은 것, 표정, 연령, 입을 벌린 것, 입을 다문 것 및 몸동작 중 적어도 하나를 포함하는 것을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제27항 중 어느 한 항에 있어서,
상기 승객은 어린이를 포함하며;
상기 뒷좌석 영역은 차일드 시트 영역을 포함하며;
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나는 얼굴 존재 여부 및 인체 존재 여부 중 적어도 하나를 포함하며;
상기 상태 결정 유닛은, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 어린이가 상기 차일드 시트에 있는지 여부를 결정하기 위한 것이며;
상기 정보 프롬프트 유닛은, 상기 어린이가 상기 차일드 시트를 이탈하거나 상기 차일드 시트에 어린이가 없는 상태의 지속 시간이 기설정 시간을 초과한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제28항 중 어느 한 항에 있어서,
상기 승객은 어린이를 포함하며;
상기 상태 결정 유닛은, 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나에 따라 상기 어린이가 우는지 여부를 결정하기 위한 것이며;
상기 정보 프롬프트 유닛은, 상기 어린이가 울거나 또는 상기 어린이가 울음 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제29항 중 어느 한 항에 있어서,
상기 승객은 어린이를 포함하며;
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나는 눈을 뜬 것 및 눈을 감은 것을 포함하며;
상기 상태 결정 유닛은, 소정의 시간창 내에서 상기 어린이의 눈을 뜬 상태 및 눈을 감은 상태 중 적어도 하나에 따라 분석 결과를 통계하여, 상기 어린이가 수면 상태에 있는지 여부 또는 잠을 깬 상태에 있는지 여부를 결정하기 위한 것이며;
상기 정보 프롬프트 유닛은, 상기 어린이가 수면 상태에 있거나, 수면 상태에 있는 시간이 기설정 시간에 도달하거나, 잠을 깬 상태에 있거나, 잠을 깬 상태에 있는 시간이 기설정 시간에 도달한 것에 응답하여, 차량 내의 운전자 영역 또는 지정된 기기로 프롬프트 정보를 출력하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제30항 중 어느 한 항에 있어서,
상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나는 상기 승객이 어린이인지 여부의 분류 결과를 포함하며;
상기 이미지 검출 유닛은, 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지의 얼굴 특징 및 인체 특징 중 적어도 하나를 추출하는 단계; 및 추출된 특징에 기반하여 상기 승객이 어린이인지 여부의 분류 처리를 수행하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제31항 중 어느 한 항에 있어서,
상기 이미지 검출 유닛은, 뉴럴 네트워크의 특징 추출 브랜치를 통해, 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출 및 인체 특징 추출 중 적어도 하나를 수행하고; 상기 뉴럴 네트워크에서 상기 특징 추출 브랜치에 연결된 적어도 하나의 검출 브랜치를 통해, 상기 특징 추출 브랜치에 의해 추출된 얼굴 특징 및 인체 특징 중 적어도 하나에 기반하여 상기 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나를 결정하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제31항 중 어느 한 항에 있어서,
상기 이미지 검출 유닛은, 뉴럴 네트워크의 특징 추출 브랜치를 통해, 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출 및 인체 특징 추출 중 적어도 하나를 수행하며; 상기 뉴럴 네트워크에서 상기 특징 추출 브랜치에 연결된 분류 브랜치 및 적어도 하나의 검출 브랜치를 통해, 상기 특징 추출 브랜치에 의해 추출된 얼굴 특징 및 인체 특징 중 적어도 하나에 기반하여 상기 이미지에서의 사람이 어린이인지 여부, 및 얼굴 검출 결과 및 인체 검출 결과 중 적어도 하나를 각각 결정하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제31항 중 어느 한 항에 있어서,
상기 이미지 검출 유닛은, 뉴럴 네트워크의 특징 추출 브랜치를 통해, 상기 비디오 스트림에서의 적어도 하나의 프레임 이미지에 대해 얼굴 특징 추출을 수행하거나; 상기 뉴럴 네트워크에서 상기 특징 추출 브랜치에 연결된 분류 브랜치를 통해, 상기 특징 추출 브랜치에 의해 추출된 얼굴 특징에 기반하여 상기 이미지에서의 사람이 어린이인지 여부를 결정하며; 또는, 상기 뉴럴 네트워크에서 상기 특징 추출 브랜치에 연결된 인식 브랜치를 통해 상기 이미지에서의 승객의 연령을 결정하여, 상기 연령이 기설정 연령보다 작거나 같은 승객을 어린이로 결정하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제33항 또는 제34항에 있어서,
상기 이미지에서의 사람이 어린이인지 여부를 결정하는 분류 브랜치는 어린이의 성별을 구별하는 태그 데이터에 기반하여 미리 훈련됨으로써 완료되는 것을 특징으로 하는 승객 상태 분석 장치. - 제33항 내지 제35항 중 어느 한 항에 있어서,
상기 승객 상태 분석 장치는,
샘플 이미지를 이용하여 상기 뉴럴 네트워크에 대해 훈련을 수행하기 위한 네트워크 훈련 유닛 - 상기 샘플 이미지는 어린이의 태그 정보를 가짐 - 을 더 포함하는 것을 특징으로 하는 승객 상태 분석 장치. - 제36항에 있어서,
상기 어린이의 태그 정보는 상기 샘플 이미지에서의 사람이 어린이인지 여부를 나타내고, 상기 샘플 이미지에서의 사람의 연령 또는 추정 연령이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 큰 것에 응답하여, 상기 샘플 이미지의 어린이의 태그 정보는 어린이가 아님을 나타내며; 상기 샘플 이미지에서의 사람의 연령 또는 추정 연령이 참조 이미지에서의 사람의 연령 또는 추정 연령보다 작거나 같은 것에 응답하여, 상기 샘플 이미지의 어린이의 태그 정보는 어린이임을 나타내는 것을 특징으로 하는 승객 상태 분석 장치. - 제37항에 있어서,
상기 참조 이미지는 남자 어린이 참조 이미지 및 여자 어린이 참조 이미지를 포함하는 것을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제38항 중 어느 한 항에 있어서,
상기 비디오 수집 유닛은, 상기 차량 내에 설치된 차량 내부의 적어도 하나의 카메라에 기반하여 상기 뒷좌석 영역의 비디오 스트림을 수집 획득하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제39항 중 어느 한 항에 있어서,
상기 정보 프롬프트 유닛은, 상기 승객의 상태 정보가 소정의 조건을 만족하는 것에 응답하여, 운전자 시야 범위 내의 기기 및 미리 설정된 기기 중 적어도 하나로 프롬프트 정보를 출력하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제39항 또는 제40항에 있어서,
상기 승객 상태 분석 장치는,
운전자 시야 범위 내의 기기를 통해 상기 획득된 비디오 스트림의 적어도 하나의 이미지 프레임 및 상기 검출 결과 중 적어도 하나의 정보를 디스플레이하기 위한 디스플레이 유닛을 더 포함하는 것을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제41항 중 어느 한 항에 있어서,
상기 승객 상태 분석 장치는,
차량 탑재 기기를 통해 모니터링 명령어를 수신하기 위한 명령어 수신 유닛을 더 포함하고;
상기 비디오 수집 유닛은, 상기 모니터링 명령어에 따라 차량 내 뒷좌석 영역의 비디오 스트림을 획득하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 제39항 내지 제42항 중 어느 한 항에 있어서,
상기 승객 상태 분석 장치는,
미리 설정된 기기를 통해 상기 획득된 비디오 스트림의 적어도 하나의 이미지 프레임 및 상기 검출 결과 중 적어도 하나의 정보를 디스플레이하기 위한 디스플레이 유닛을 더 포함하는 것을 특징으로 하는 승객 상태 분석 장치. - 제22항 내지 제42항 중 어느 한 항에 있어서,
상기 승객 상태 분석 장치는,
모바일 애플리케이션 엔드를 통해 모니터링 명령어를 수신하기 위한 명령어 수신 유닛을 더 포함하고 ;
상기 비디오 수집 유닛은, 상기 모니터링 명령어에 따라 차량 내 뒷좌석 영역의 비디오 스트림을 획득하기 위한 것임을 특징으로 하는 승객 상태 분석 장치. - 차량으로서,
제22항 내지 제42항 중 어느 한 항에 따른 승객 상태 분석 장치를 포함하는 것을 특징으로 하는 차량. - 제45항에 있어서,
상기 차량에는 적어도 하나의 제1 카메라가 설치되고, 상기 제1 카메라는 차량 내 뒷좌석 영역의 비디오를 수집하기 위한 것임을 특징으로 하는 차량. - 제46항에 있어서,
상기 제1 카메라는 뒷좌석 영역을 향한 앞좌석 배면의 일측, 및 차량 내 뒷좌석 위측의 위치에 설치되는 것을 특징으로 하는 차량. - 제45항 내지 제47항 중 어느 한 항에 있어서,
상기 차량은 운전자의 시야 범위의 영역 내에 차량 탑재 기기가 설치되고, 상기 카메라는 상기 차량 탑재 기기에 통신 연결되는 것을 특징으로 하는 차량. - 제48항에 있어서,
상기 차량 탑재 기기는 또한 상기 운전자의 상태 정보를 분석하여, 운전자의 상태 분석 결과가 소정의 피로 또는 주의력 분산 또는 위험 운전의 소정의 조건을 만족할 때, 프롬프트 정보를 출력하기 위한 것임을 특징으로 하는 차량. - 전자 기기로서,
프로세서를 포함하며, 상기 프로세서는 제22항 내지 제44항 중 어느 한 항에 따른 승객 상태 분석 장치를 포함하는 것을 특징으로 하는 전자 기기. - 전자 기기로서,
실행 가능한 명령어를 저장하는 메모리; 및
상기 메모리와 통신하여 상기 실행 가능한 명령어를 실행함으로써 제1항 내지 제21항 중 어느 한 항에 따른 승객 상태 분석 방법의 동작을 완료하기 위한 프로세서를 포함하는 것을 특징으로 하는 전자 기기. - 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 판독 가능한 저장 매체로서,
상기 명령어가 실행될 때 제1항 내지 제21항 중 어느 한 항에 따른 승객 상태 분석 방법의 동작을 실행하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체. - 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기 중의 프로세서는 제1항 내지 제21항 중 어느 한 항에 따른 승객 상태 분석 방법을 구현하기 위한 명령어를 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811224257.XA CN111079474A (zh) | 2018-10-19 | 2018-10-19 | 乘客状态分析方法和装置、车辆、电子设备、存储介质 |
| CN201811224257.X | 2018-10-19 | ||
| PCT/CN2019/111929 WO2020078462A1 (zh) | 2018-10-19 | 2019-10-18 | 乘客状态分析方法和装置、车辆、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200079277A true KR20200079277A (ko) | 2020-07-02 |
| KR102446686B1 KR102446686B1 (ko) | 2022-09-23 |
Family
ID=70284045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207014873A KR102446686B1 (ko) | 2018-10-19 | 2019-10-18 | 승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11386676B2 (ko) |
| JP (1) | JP2021504814A (ko) |
| KR (1) | KR102446686B1 (ko) |
| CN (1) | CN111079474A (ko) |
| SG (1) | SG11202004942RA (ko) |
| WO (1) | WO2020078462A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220014791A (ko) * | 2020-07-28 | 2022-02-07 | 모셔널 에이디 엘엘씨 | 승객 건강 검진 및 모니터링 |
| KR102457629B1 (ko) | 2022-01-26 | 2022-10-21 | 이상배 | 차량 실내 뒷좌석 상태 확인 장치 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11550320B2 (en) * | 2019-03-18 | 2023-01-10 | Pony Ai Inc. | Vehicle redundant processing resource usage |
| JPWO2020234993A1 (ko) * | 2019-05-21 | 2020-11-26 | ||
| US11132585B2 (en) * | 2019-12-17 | 2021-09-28 | Robert Bosch Gmbh | System and method for detecting abnormal passenger behavior in autonomous vehicles |
| US11810198B2 (en) | 2020-05-26 | 2023-11-07 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using common features |
| US11518391B1 (en) * | 2020-05-26 | 2022-12-06 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using semi-supervised clustering |
| US11518392B1 (en) | 2020-06-26 | 2022-12-06 | BlueOwl, LLC | Systems and methods for identifying distracted driving events using unsupervised clustering |
| CN112001230A (zh) * | 2020-07-09 | 2020-11-27 | 浙江大华技术股份有限公司 | 睡觉行为的监控方法、装置、计算机设备和可读存储介质 |
| JP7370073B2 (ja) * | 2020-09-30 | 2023-10-27 | 株式会社ユピテル | システムおよびプログラム等 |
| JP7480694B2 (ja) | 2020-12-22 | 2024-05-10 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、プログラム |
| CN112507976A (zh) * | 2021-01-08 | 2021-03-16 | 蔚来汽车科技(安徽)有限公司 | 一种车内儿童保护方法、设备、计算机设备、计算机可读存储介质以及车辆 |
| CN112906486B (zh) * | 2021-01-26 | 2023-09-12 | 吉利汽车研究院（宁波）有限公司 | 无人驾驶出租车的乘客状况检测方法、控制方法及系统 |
| CN112906515A (zh) * | 2021-02-03 | 2021-06-04 | 珠海研果科技有限公司 | 车内异常行为识别方法、系统、电子设备及存储介质 |
| US20240054815A1 (en) * | 2021-03-31 | 2024-02-15 | Nec Corporation | Information processing apparatus, information processing method, computer-readable medium, and information processing system |
| JP7305698B2 (ja) * | 2021-04-06 | 2023-07-10 | 矢崎総業株式会社 | 車両の混雑度判定方法、および車両の混雑度判定システム |
| CN113409543A (zh) * | 2021-06-24 | 2021-09-17 | 广西宁达汽车科技有限公司 | 一种车内小孩照看系统及方法 |
| CN113507593A (zh) * | 2021-06-24 | 2021-10-15 | 中汽创智科技有限公司 | 一种用于车辆座舱的监测方法、装置、系统及终端 |
| CN113581187A (zh) * | 2021-08-06 | 2021-11-02 | 阿尔特汽车技术股份有限公司 | 用于车辆的控制方法及相应的系统、车辆、设备和介质 |
| CN113920492A (zh) * | 2021-10-29 | 2022-01-11 | 上海商汤临港智能科技有限公司 | 车内人员检测方法及装置、电子设备和存储介质 |
| CN114475507A (zh) * | 2022-01-26 | 2022-05-13 | 广汽丰田汽车有限公司 | 车内儿童安全警示方法、装置、电子设备及存储介质 |
| CN114677651B (zh) * | 2022-05-30 | 2022-09-27 | 山东极视角科技有限公司 | 一种基于低画质低帧率视频的客流统计方法及相关装置 |
| CN114973155B (zh) * | 2022-08-01 | 2022-10-21 | 鹰驾科技（深圳）有限公司 | 一种基于ai图像识别行为智能监测分析管理系统 |
| CN115512315B (zh) * | 2022-11-01 | 2023-04-18 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种非机动车儿童搭乘检测方法、电子设备及存储介质 |
| CN116811915A (zh) * | 2023-06-30 | 2023-09-29 | 清华大学 | 基于乘员脑电信号的车辆决策方法、装置和计算机设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160078154A (ko) * | 2014-12-24 | 2016-07-04 | 주식회사 케이티 | 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램 |
| JP2017007548A (ja) * | 2015-06-23 | 2017-01-12 | 株式会社デンソー | 後席状況表示制御装置 |
| CN106781285A (zh) * | 2017-01-09 | 2017-05-31 | 重庆新派新智能科技有限公司 | 疲劳驾驶的警示方法和系统 |
| CN106985750A (zh) * | 2017-01-17 | 2017-07-28 | 戴姆勒股份公司 | 用于车辆的车内安全监控系统及汽车 |
| KR20180093632A (ko) * | 2017-02-14 | 2018-08-22 | 영남대학교 산학협력단 | 멀티 모달 데이터 기반 표정인식방법 및 장치 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1996054B (zh) * | 2006-11-23 | 2010-12-08 | 浙江工业大学 | 基于全方位视觉的泥石流预警预报装置 |
| JP2009219555A (ja) * | 2008-03-13 | 2009-10-01 | Toyota Motor Corp | 眠気検知装置、運転支援装置、眠気検知方法 |
| US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| WO2012139242A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Personalized program selection system and method |
| CN102201188A (zh) * | 2011-05-25 | 2011-09-28 | 华侨大学 | 一种面向楼宇电视广告系统的智能控制装置和方法 |
| JP2015067254A (ja) | 2013-10-01 | 2015-04-13 | パナソニックＩｐマネジメント株式会社 | 車載機器と、それを搭載した自動車 |
| JP2015096413A (ja) | 2013-10-11 | 2015-05-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 処理方法、プログラム、処理装置および検出システム |
| CN103978932B (zh) | 2014-05-16 | 2016-06-29 | 长安大学 | 一种公交车驾驶员危险驾驶的检测装置及检测方法 |
| JP2016030478A (ja) | 2014-07-28 | 2016-03-07 | ポップニート株式会社 | 車内情報処理装置、車内情報処理方法、プログラム、及びカメラ |
| US9594947B1 (en) * | 2014-09-30 | 2017-03-14 | Amazon Technologies, Inc. | Aspect ratio validation |
| CN104731649A (zh) * | 2015-04-21 | 2015-06-24 | 中国建设银行股份有限公司 | 一种多任务处理方法及装置 |
| US20160379466A1 (en) | 2015-06-26 | 2016-12-29 | Continental Automotive Systems, Inc. | System For Warning A Driver That A Passenger Is Left In A Vehicle |
| US9942522B2 (en) * | 2015-08-19 | 2018-04-10 | Faraday&Future Inc. | In-vehicle camera system |
| EP3345138A1 (en) | 2015-09-04 | 2018-07-11 | Robert Bosch GmbH | Access and control for driving of autonomous vehicle |
| US9663032B1 (en) * | 2015-11-09 | 2017-05-30 | Ford Global Technologies, Llc | Child seat monitoring system and method |
| GB201521885D0 (en) | 2015-12-11 | 2016-01-27 | Univ London Queen Mary | Method and apparatus for monitoring |
| CN106878364A (zh) * | 2015-12-11 | 2017-06-20 | 比亚迪股份有限公司 | 用于车辆的信息推送方法、系统、云服务器和车辆 |
| CN105975916B (zh) * | 2016-04-28 | 2019-10-11 | 西安电子科技大学 | 基于多输出卷积神经网络和有序回归的年龄估计方法 |
| JP6443393B2 (ja) | 2016-06-01 | 2018-12-26 | トヨタ自動車株式会社 | 行動認識装置，学習装置，並びに方法およびプログラム |
| CN106652025B (zh) * | 2016-12-20 | 2019-10-01 | 五邑大学 | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 |
| CN107341438A (zh) | 2017-01-24 | 2017-11-10 | 问众智能信息科技（北京）有限公司 | 基于计算机视觉的车内安全监测的方法和装置 |
| JP6714552B2 (ja) * | 2017-08-24 | 2020-06-24 | 本田技研工業株式会社 | 車両制御装置 |
| WO2019153193A1 (zh) * | 2018-02-08 | 2019-08-15 | 深圳前海达闼云端智能科技有限公司 | 一种出租车运营监测方法、设备、存储介质和系统 |
| US20190391581A1 (en) * | 2018-06-26 | 2019-12-26 | Uber Technologies, Inc. | Passenger Health Monitoring and Intervention for Autonomous Vehicles |
-
2018
- 2018-10-19 CN CN201811224257.XA patent/CN111079474A/zh active Pending
-
2019
- 2019-10-18 KR KR1020207014873A patent/KR102446686B1/ko active IP Right Grant
- 2019-10-18 JP JP2020528320A patent/JP2021504814A/ja active Pending
- 2019-10-18 WO PCT/CN2019/111929 patent/WO2020078462A1/zh active Application Filing
- 2019-10-18 SG SG11202004942RA patent/SG11202004942RA/en unknown
-
2020
- 2020-05-26 US US16/882,844 patent/US11386676B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160078154A (ko) * | 2014-12-24 | 2016-07-04 | 주식회사 케이티 | 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램 |
| JP2017007548A (ja) * | 2015-06-23 | 2017-01-12 | 株式会社デンソー | 後席状況表示制御装置 |
| CN106781285A (zh) * | 2017-01-09 | 2017-05-31 | 重庆新派新智能科技有限公司 | 疲劳驾驶的警示方法和系统 |
| CN106985750A (zh) * | 2017-01-17 | 2017-07-28 | 戴姆勒股份公司 | 用于车辆的车内安全监控系统及汽车 |
| KR20180093632A (ko) * | 2017-02-14 | 2018-08-22 | 영남대학교 산학협력단 | 멀티 모달 데이터 기반 표정인식방법 및 장치 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220014791A (ko) * | 2020-07-28 | 2022-02-07 | 모셔널 에이디 엘엘씨 | 승객 건강 검진 및 모니터링 |
| US11458995B2 (en) | 2020-07-28 | 2022-10-04 | Motional Ad Llc | Passenger health screening and monitoring |
| US11919539B2 (en) | 2020-07-28 | 2024-03-05 | Motional Ad Llc | Passenger health screening and monitoring |
| KR102457629B1 (ko) | 2022-01-26 | 2022-10-21 | 이상배 | 차량 실내 뒷좌석 상태 확인 장치 |
| WO2023146070A1 (ko) * | 2022-01-26 | 2023-08-03 | 이상배 | 차량 실내 뒷좌석 상태 확인 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11386676B2 (en) | 2022-07-12 |
| SG11202004942RA (en) | 2020-06-29 |
| KR102446686B1 (ko) | 2022-09-23 |
| US20200285870A1 (en) | 2020-09-10 |
| JP2021504814A (ja) | 2021-02-15 |
| WO2020078462A1 (zh) | 2020-04-23 |
| CN111079474A (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200079277A (ko) | 승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체 | |
| KR102631160B1 (ko) | 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치 | |
| TWI758689B (zh) | 車內人員危險動作識別方法和裝置、電子設備、儲存介質 | |
| US10486590B2 (en) | System and method for vehicle control integrating health priority alerts of vehicle occupants | |
| US20200156439A1 (en) | Facilitating personalized vehicle occupant comfort | |
| US11403879B2 (en) | Method and apparatus for child state analysis, vehicle, electronic device, and storage medium | |
| US6792339B2 (en) | Artificial passenger with condition sensors | |
| US20190391581A1 (en) | Passenger Health Monitoring and Intervention for Autonomous Vehicles | |
| JP2021504814A5 (ko) | ||
| US11034360B2 (en) | Method and apparatus that address motion sickness | |
| Hossain et al. | IOT based real-time drowsy driving detection system for the prevention of road accidents | |
| CN111524332A (zh) | 对车载环境条件做出响应 | |
| US20190382026A1 (en) | Drowsiness prevention device, drowsiness prevention method, and recording medium | |
| KR20180059052A (ko) | 자동차 뒷좌석 모니터링 시스템 | |
| US20220036101A1 (en) | Methods, systems and computer program products for driver monitoring | |
| US20220242452A1 (en) | Vehicle occupant monitoring | |
| Yan et al. | Exploration and evaluation of individual difference to driving fatigue for high‐speed railway: a parametric SVM model based on multidimensional visual cue | |
| Amira et al. | Driver drowsiness detection and tracking based on YOLO with Haar cascades and ERNN | |
| Binu et al. | An Iot Based Safety and Security Mechanism for Passenger Vehicles | |
| Raja et al. | Alcohol Detection and Emergency Alert System using IoT | |
| Mao et al. | Hybrid Accident Prevention Using Eye Blinking | |
| US20210362344A1 (en) | System and method for operating a digital assistant based on deviation from routine behavior of a user using the digital assistant | |
| Sini et al. | A Novel Real-Time Redundant System For Aiding Drivers To Increase Their Attention Level | |
| Ravindran et al. | IoT Enabled Ignition Interlock Device | |
| EP4325905A1 (en) | Method and system for evaluating a subject's experience |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |