KR20210135313A - 산만 운전 모니터링 방법, 시스템 및 전자기기 - Google Patents

산만 운전 모니터링 방법, 시스템 및 전자기기 Download PDF

Info

Publication number
KR20210135313A
KR20210135313A KR1020217032527A KR20217032527A KR20210135313A KR 20210135313 A KR20210135313 A KR 20210135313A KR 1020217032527 A KR1020217032527 A KR 1020217032527A KR 20217032527 A KR20217032527 A KR 20217032527A KR 20210135313 A KR20210135313 A KR 20210135313A
Authority
KR
South Korea
Prior art keywords
target
detection result
driving behavior
result
distracted driving
Prior art date
Application number
KR1020217032527A
Other languages
English (en)
Other versions
KR102543161B1 (ko
Inventor
샤오디 장
지웨이 장
티엔롱 바오
춘회이 딩
진 왕
Original Assignee
아크소프트 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아크소프트 코포레이션 리미티드 filed Critical 아크소프트 코포레이션 리미티드
Publication of KR20210135313A publication Critical patent/KR20210135313A/ko
Application granted granted Critical
Publication of KR102543161B1 publication Critical patent/KR102543161B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G06K9/00228—
    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

본 발명은 산만 운전 모니터링 방법, 시스템 및 전자기기를 제공한다. 산만 운전 모니터링 방법에 의하면, 운전자 영상을 수집하고, 목표물을 검측하여 검측 결과를 획득하며, 검측 결과에 근거하여 운전 행위의 판단 결과를 획득하고, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신함으로써 운전자의 산만 운전 행위를 실시간으로 모니터링하고 경보하여 운전자가 주의력을 집중하도록 독촉하여 안전 운전을 확보하고 교통 사고의 발생을 회피할 수 있다. 그리고 구체적으로 어떠한 산만 운전 행위인가를 판단하여 서로 다른 경보를 제시하여 법 집행 근거로 하거나 또는 데이터 수집, 데이터 분석, 진일보로 수동 확인하는데 이용하는데 유리하다. 따라서 주행과정에 나타낸 운전자의 산만 운전 행위를 모니터링하지 않음으로 인해 교통 사고가 발생하는 문제를 해결할 수 있다.

Description

산만 운전 모니터링 방법, 시스템 및 전자기기
본 발명은 컴퓨터 시각 처리 기술에 관한 것으로, 특히 산만 운전 모니터링 방법, 시스템 및 전자기기에 관한 것이다.
국가 경제가 발전함에 따라 국내 자동차 소유량이 지속적으로 상승되고 있고 가정용 차량, 교통 운송 차량이 급격히 증가되고 있다. 이와 동시에 교통 사고 발생 횟수가 급격히 상승되어 많은 사망자와 중대한 경제적 피해가 발생된다. 어떻게 교통 사고 횟수를 줄일것인가는 모두가 관심하는 문제로 되어 있다. 운전 과정에 전화를 받거나 담배를 피우거나 물을 마시거나 또는 음식을 먹는 등 행위가 나타날 경우, 운전자가 산만 운전하게 되고 교통 사고의 가장 일반적인 원인중의 하나이다. 따라서 운전자의 운전 과정에 그 행위를 모니터링할 필요가 있고 운전자에게 전화를 받거나 담배를 피우거나 물을 마시거나 또는 음식을 먹는 등 산만 운전 행위가 나타나면 즉시 경고하거나 감독 기관에 피드백하여 교통 사요 발생 위험을 줄여야 한다.
본 발명의 실시예에 있어서 적어도 주행과정에 나타낸 운전자의 산만 운전 행위를 모니터링하지 않음으로 인해 교통 사고가 발생하는 문제를 해결할 수 있는 산만 운전 모니터링 방법, 시스템 및 전자기기를 제공한다.
본 발명의 실시예의 일 측면에 따르면, 운전자 영상을 수집하는 단계; 산만 운전 행위에 대응는 목표물을 검측하여 검측 결과를 획득하는 단계; 상기 검측 결과에 근거하여 운전 행위의 판단 결과를 획득하는 단계; 상기 판단 결과가 상기 산만 운전 행위가 나타났음을 표시하는 경우, 경보 신호를 발신하는 단계를 포함하는 산만 운전 모니터링 방법을 제공한다.
진일보로, 상기 방법은 영상수집모듈에 의하여 운전자 영상을 수집하고, 여기서, 상기 영상수집모듈은 단독된 촬영장치 또는 전자기기에 집적된 촬영장치이다.
진일보로, 상기 목표물은 담배, 휴대폰, 물컵, 음식물중의 적어도 하나를 포함하고, 상기 목표물에 대응되는 상기 산만 운전 행위는 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기중의 적어도 하나를 포함한다.
진일보로, 상기 검측 결과가 상기 운전자 영상에 목표물이 포함되는 가를 표시하고, 상기 검측 결과가 상기 운전자 영상에 목표물이 포함됨을 표시하는 경우, 상기 운전 행위의 판단 결과는 산만 운전 행위이다.
진일보로, 상기 검측 결과는 상기 목표물의 종류, 상기 종류에 대응되는 확률값을 포함한다.
진일보로, 상기 방법은, 상기 확률값에 근거하여 검측 결과를 선별하는 단계를 포함한다.
진일보로, 상기 방법은, 상기 검측 결과중의 상기 종류에 대응되는 확률값을 제1 임계값과 비교하여 비교 결과를 획득하는 단계; 상기 비교 결과에 근거하여 검측 결과를 선별하는 단계를 포함한다.
진일보로, 상기 방법은, 상기 비교 결과가 검측 결과중의 상기 종류에 대응되는 확률값이 상기 제1 임계값을 초과함을 나타낼 경우, 그 검측 결과를 보류하고 그렇지 않으면 상기 검측 결과를 폐기하는 단계를 포함한다.
진일보로, 확률값이 제1 임계값을 초과하는 검측 결과가 복수 개 존재하는 경우, 확률값이 가장 큰 검측 결과만을 보류한다.
진일보로, 상기 방법은, 상기 운전자 영상을 수집한 후, 얼굴 영역을 검측하는 단계를 포함한다.
진일보로, 상기 검측 결과는 목표물의 위치를 포함한다.
진일보로, 상기 방법은, 상기 목표물의 위치와 기 설정된 적절한 영역과의 상대적 위치 관계를 분석하여 상기 검측 결과의 적절성을 평가하는 단계를 포함한다.
진일보로, 목표물의 위치와 기 설정된 적절한 영역과의 상대적 위치 관계를 분석하여 검측 결과의 적절성을 평가하는 단계는, 상기 목표물의 위치와 상기 목표물에 대응되는 상기 기 설정된 적절한 영역의 IoU (Intersection Over Union) 값을 계산하고 IoU값과 제2 임계값을 비교하는 단계; 상기 IoU값이 상기 제2 임계값을 초과하는 경우, 상기 목표물의 위치가 기 설정된 적절한 영역에 나타났음을 표시하고, 목표 검측 결과는 신뢰할 수 있는 것이고 그렇지 않으면 상기 목표 검측 결과를 폐기하는 단계를 포함한다.
진일보로, 운전자 영상을 수집한 후, 상기 방법은, 상기 운전자 영상에 대하여 영상 축소/확대, 픽셀 값 정규화, 영상 강화중의 적어도 하나를 포함하는 전처리를 수행하여 전처리 영상을 획득하는 단계를 더 포함한다.
진일보로, 상기 방법은 딥러닝 알고리즘을 이용하여 상기 운전자 영상 또는 상기 전처리 영상중의 상기 목표물의 위치, 종류과 확률값을 획득하고, 여기서, 상기 확률값은 상기 목표물이 상기 종류에 속하는 확률이다.
진일보로, 상기 방법은 연속 프레임의 판단 결과를 조합하여 최종 판단 결과를 결정한다.
진일보로, 상기 방법은 큐 구조를 이용하여 최근 t초내의 각 프레임의 판단 결과를 저장하고 그 큐를 유지하고, 그 큐 기록을 순회하여 운전 행위가 최근 t초내에서 차지하는 비율이 제3 임계값을 초과하면 그 운전 행위를 최종 판단 결과로 한다.
본 발명의 실시예의 다른 일 측면에 따르면, 운전자 영상을 수집하도록 구성된 영상수집모듈; 목표물을 검측하여 검측 결과를 획득하도록 구성된 검측모듈; 검측 결과에 근거하여 운전 행위의 판단 결과를 획득하도록 구성된 논리 판단모듈; 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신하도록 구성된 통신모듈을 포함하는 산만 운전 모니터링 시스템을 제공한다.
진일보로, 상기 영상수집모듈은 단독된 촬영장치 또는 전자기기에 집적된 촬영장치이다.
진일보로, 상기 목표물은 담배, 휴대폰, 물컵, 음식물중의 적어도 하나를 포함하고, 상기 목표물에 대응되는 상기 산만 운전 행위는 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기중의 적어도 하나를 포함한다.
진일보로, 상기 검측 결과는 목표물의 존재여부, 목표물의 위치, 목표물의 종류, 상기 종류에 대응되는 확률값중의 적어도 하나를 포함한다.
진일보로, 상기 논리 판단모듈은 상기 확률값에 근거하여 상기 검측 결과를 선별하도록 구성된다.
진일보로, 상기 논리 판단모듈은 상기 검측 결과중의 상기 종류에 대응되는 확률값을 제1 임계값과 비교하여 비교 결과를 획득하고, 상기 비교 결과에 근거하여 검측 결과를 선별하며, 상기 비교 결과가 검측 결과중의 상기 종류에 대응되는 확률값이 상기 제1 임계값을 초과함을 나타낼 경우 그 검측 결과를 보류하고, 그렇지 않으면 상기 검측 결과를 폐기하도록 구성된다.
진일보로, 확률값이 제1 임계값을 초과하는 검측 결과가 복수 개 존재하는 경우, 확률값이 가장 큰 검측 결과만을 보류한다.
진일보로, 상기 검측모듈은 상기 운전자 영상을 수집한 후, 얼굴 영역을 검측하도록 구성된다.
진일보로, 상기 논리 판단모듈은 상기 목표물의 위치와 기 설정된 적절한 영역과의 상대적 위치 관계를 분석하여 상기 검측 결과의 적절성을 평가하도록 구성된다.
진일보로, 목표물의 위치와 기 설정된 적절한 영역과의 상대적 위치 관계를 분석하여 검측 결과의 적절성을 평가하는 것이, 상기 목표물의 위치와 상기 목표물에 대응되는 상기 기 설정된 적절한 영역의 IoU값을 계산하고 IoU값과 제2 임계값을 비교하여 상기 IoU값이 상기 제2 임계값을 초과하는 경우, 상기 목표물의 위치가 기 설정된 적절한 영역에 나타났음을 표시하고 목표 검측 결과는 신뢰할 수 있는 것이고, 그렇지 않으면 상기 목표 검측 결과를 폐기하는 것을 포함한다.
진일보로, 상기 검측모듈은 딥러닝 알고리즘을 이용하여 상기 운전자 영상중의 상기 목표물의 위치, 종류과 확률값을 획득하고, 여기서, 상기 확률값은 상기 목표물이 상기 종류에 속하는 확률이다.
진일보로, 상기 논리 판단모듈은 연속 프레임의 판단 결과를 조합하여 최종 판단 결과를 결정한다.
진일보로, 상기 논리 판단모듈은 큐 구조를 이용하여 최근 t초내의 각 프레임의 판단 결과를 저장하고 그 큐를 유지하며, 그 큐 기록을 순회하여 운전 행위가 최근 t초내에서 차지하는 비율이 제3 임계값을 초과하면 그 운전 행위를 최종 판단 결과로 한다.
본 발명의 실시예의 다른 일 측면에 따르면, 프로세서와 상기 프로세서가 수행가능한 명령을 저장하는 메모리를 포함하고, 상기 프로세서가 상기 수행가능한 명령을 수행함으로써 상술한 어느 한 산만 운전 모니터링 방법을 실현하도록 구성되는 전자기기를 제공한다.
본 발명의 실시예의 또 다른 일 측면에 따르면, 저장된 프로그램을 포함하는 기억매체에 있어서, 상기 프로그램이 실행되면 상술한 어느 한 산만 운전 모니터링 방법을 수행하도록 상기 기억매체를 구비한 기기를 제어하는 기억매체를 제공한다.
본 발명의 실시예에 있어서, 운전자 영상을 수집하고, 목표물을 검측하여 검측 결과를 획득하며, 검측 결과에 근거하여 운전 행위의 판단 결과를 획득하고, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신함으로써 운전자의 산만 운전 행위를 실시간으로 모니터링하고 경보하여 운전자가 주의력을 집중하도록 독촉하여 안전 운전을 확보하고 교통 사고의 발생을 회피할 수 있다. 그리고 구체적으로 어떠한 산만 운전 행위인가를 판단하여 서로 다른 경보를 제시하여, 법 집행 근거로 하거나 데이터 분석 또는 진일보로 수동 확인하는데 이용될 수 있다. 따라서 주행과정에 나타낸 운전자의 산만 운전 행위를 모니터링하지 않음으로 인해 교통 사고가 발생하는 문제를 해결할 수 있다.
여기서 설명하는 도면은 본 발명을 진일보로 이해시키기 위한 것으로 본 발명의 일부를 구성하고 본 발명에 예시적으로 나타낸 실시예 및 그 설명은 본 발명을 해석하기 위한 것으로 본 발명을 한정하는 것이 아니다.
도 1은 본 발명의 실시예에 따른 선택가능한 산만 운전 모니터링 방법을 나타낸 도이다.
도 2는 본 발명의 실시예에 따른 다른 선택가능한 산만 운전 모니터링 방법을 나타낸 흐름도이다.
도 3은 본 발명의 실시예에 따른 선택가능한 산만 운전 모니터링 시스템의 구조를 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 선택가능한 전자기기의 구조를 나타낸 블록도이다.
이하, 이 분야의 기술자들이 본 발명의 기술방안을 보다 쉽게 이해할 수 있도록 본 발명의 실시예중의 도면을 참조하면서 본 발명의 실시예의 기술방안을 명확하고 완벽하게 설명하는데 이하에서 설명하는 실시예는 본 발명의 모든 실시예가 아니라 일부 실시예이다. 본 발명의 실시예에 근거하여 이 분야의 기술자가 창조성이 있는 노동을 필요로하지 않고 얻을 수 있는 모든 기타 실시예는 모두 본 발명의 보호범위에 속한다.
그리고, 본 발명의 명세서, 특허청구범위 및 도면에 기재된 용어 "제1", "제2" 등은 유사한 대상을 구별하기 위한 것으로 특정된 순서 또는 선후 순서를 표시하기 위한 것이 아니다. 본 발명의 실시예를 도면 또는 상기에서 설명한 순서와 다른 순서로 실시할 수 있도록 이렇게 사용된 대상이 적절한 상황에서 서로 교체될 수 있음은 이해할 수 있는 것이다. 그리고 용어 "포함", "구비" 및 이러한 용어의 임의의 변형은 비배제적 포함을 커버하기 위한 것으로, 예를 들어 일련의 단계 또는 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 기기는 명확히 기재된 단계 또는 유닛에 한정되지 않고 기재하지 않은 또는 이러한 프로세스, 방법, 제품 또는 기기 고유의 기타 단계 또는 유닛을 포함할 수도 있음을 표시한다.
본 발명의 실시예는 컴퓨터 시스템/서버에 적용될 수 있고 기타 많은 범용 또는 전용 계산 시스템 환경 또는 배치와 함께 조작될 수 있다. 컴퓨터 시스템/서버와 함께 사용되는 많은 공지의 계산 시스템, 환경 및/또는 배치의 예로는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 핸드헬드 또는 휴대용 기기, 마이크로프로세서에 기반한 시스템, 셋톱 박스, 프로그래밍 가능한 가전제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 대형 컴퓨터 시스템과 상술한 어느 한 시스템을 포함한 분포식 클라우드 컴퓨팅 기술 환경 등등을 포함하지만 이에 한정되는 것은 아니다.
컴퓨터 시스템/서버는 컴퓨터 시스템이 수행한 컴퓨터 시스템이 명령(예를 들어 프로그램모듈 등)을 수행할 수 있는 일반적인 언어환경에서 기술된다. 통상적으로, 프로그램모듈으로는 루틴, 프로그램, 목표 프로그램, 모듈, 놀리 및 데이터 구조 등등이 포함되고 특정된 임무를 수행하거나 또는 특정된 추상적 데이터 종류를 실현한다. 컴퓨터 시스템/서버는 분산식 클라우드 컴퓨팅 환경에서 실시되고 통신 네트워크를 통하여 연결된 원격 처리장치를 통하여 임무를 실행할 수 있다. 분산식 클라우드 컴퓨팅 환경에 있어서, 프로그램모듈은 저장장치를 포함하는 로컬 또는 원격 계산 시스템의 기억매체에 위치할 수 있다.
이하, 상세한 실시예를 통하여 본 발명을 설명한다.
도 1을 참조하면, 본 발명의 실시예에 따른 선택가능한 산만 운전 모니터링 방법을 나타낸 흐름도이다. 도 1에 도시한 바와 같이, 이 방법은 하기 단계S10, S12, S14, S16을 포함한다.
S10에 있어서, 운전자 영상을 수집한다.
S12에 있어서, 산만 운전 행위에 대응되는 목표물을 검측하여 검측 결과를 획득한다.
S14에 있어서, 검측 결과에 근거하여 운전 행위의 판단 결과를 획득한다.
S16에 있어서, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신한다.
본 발명의 실시예에 있어서, 상기 단계를 통하여, 즉 운전자 영상을 수집하고, 목표물을 검측하여 검측 결과를 획득하며, 검측 결과에 근거하여 운전 행위의 판단 결과를 획득하고, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신함으로써 운전자의 산만 운전 행위를 실시간으로 모니터링하고 경보하여 운전자가 주의력을 집중하도록 독촉하여 안전 운전을 확보하고 교통 사고의 발생을 회피할 수 있다.
이하, 상기 각 단계를 상세하게 설명한다.
단계S10에 있어서, 운전자 영상을 수집한다.
또한, 본 발명의 실시예에 있어서, 영상수집모듈에 의하여 운전자 영상을 획득할 수 있고, 여기서, 영상수집모듈은 단독된 촬영장치 또는 전자기기에 집적된 촬영장치 등일 수 있고, 예를 들어 독립된 적외선 카메라, 깊이 카메라, RGB 카메라, Mono 카메라 등이고 또는 휴대폰, 태블릿 PC, 주행기록기, 네비게이터, 오퍼레이션 패널, 센터 콘솔 등 전자기기에 구비된 카메라이다. 운전자 영상은 영상수집모듈이 수집한 비디오중의 영상 프레임을 절단하여 얻은 것일 수 있다.
차내(예를 들어, 운전실)의 광선이 통상 주행 환경에 따라 변화하여 좋은 날씨의 낮에는 차내(예를 들어, 운전실)의 광선이 밝고 밤 또는 흐린 날씨 또는 터널내에서는 차내(예를 들어, 운전실)의 광선이 어둡지만 적외선 카메라는 빛의 변화의 영향을 적게 받아 24시간 작동될 수 있는 능력을 구비하므로 적외선 카메라(근적외선 카메라 등을 포함)를 선택하여 운전자 영상을 획득함으로써 일반 카메라보다 품질이 우수한 운전자 영상을 획득하여 산만 운전 모니터링 결과의 정확성을 향상시킬 수 있다.
또는, 본 발명의 실시예에 있어서, 영상수집모듈은 차내의 임의의 운전자의 얼굴을 촬영할 수 있는 적어도 한 위치에 설치될 수 있고, 예를 들어, 대시보드 부근, 센터 콘솔 부근, 백미러 부근 등에 설치될 수 있다. 영상수집모듈의 개수는 하나 또는 복수 개일 수 있다.
또는, 본 발명의 실시예에 있어서, 소정 개수의 프레임을 간격으로 비디오 프레임 영상을 획득함으로써 비디오 프레임 영상의 획득 빈도를 줄이고 계산 자원을 최적화할 수 있다.
또는, 본 발명의 실시예에 있어서, 운전자 영상에 대하여 영상 축소/확대, 픽셀 값 정규화, 영상 강화중의 적어도 하나가 포함된 전처리를 수행할 수 있다. 따라서 명료도, 크기 등이 요구에 부합되는 운전자 영상을 획득할 수 있다.
단계S12에 있어서, 산만 운전 행위에 대응되는 목표물을 검측하여 검측 결과를 획득한다.
또는, 본 발명의 실시예에 있어서, 검측모듈을 통하여 목표물을 검측하여 검측 결과를 획득할 수 있다.
또는, 본 발명의 실시예에 있어서, 검측 결과는 운전자 영상에 목표물이 포함되는 가를 표시할 수 있다.
또는, 본 발명의 실시예에 있어서, 목표물에는 담배, 휴대폰, 물컵, 음식물중의 적어도 하나가 포함된다. 목표물에 대응되는 산만 운전 행위에는 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기중의 적어도 하나가 포함된다.
또는, 본 발명의 실시예에 있어서, 운전자 영상을 목표 검측 알고리즘에 입력하여 목표물을 검측할 수 있다. 여기서 목표 검측 알고리즘은 오프라인에서 대량의 샘풀을 훈련하여 얻을 수 있다. 바람직하게는, 목표 검측 알고리즘이 딥러닝 알고리즘일 수 있고, 예를 들어 yolo, faster-RCNN, SSD 등이다.
단계S14에 있어서, 검측 결과에 근거하여 운전 행위의 판단 결과를 획득한다.
또는, 본 발명의 실시예에 있어서, 논리 판단모듈을 통하여 검측 결과에 근거하여 운전 행위의 판단 결과를 획득할 수 있다.
또는, 본 발명의 실시예에 있어서, 운전 행위의 판단 결과에는 정상 운전 행위와 산만 운전 행위가 포함된다. 검측 결과가 운전자 영상에 목표물이 포함되었음을 표시하는 경우, 운전 행위의 판단 결과는 산만 운전 행위이고, 검측 결과가 운전자 영상에 목표물이 포함되지 않았음을 표시하는 경우, 운전 행위의 판단 결과는 정상 운전 행위이다.
단계S16에 있어서, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신한다.
또는, 본 발명의 실시예에 있어서, 통신모듈에 의하여 판단 결과에 근거하여 경보 신호를 발신할 수 있다. 여기서, 경보 신호는 음성 경고, 램프 경고, 진동 경고중의 적어도 하나이다. 구체적으로, 음성 경고는 음성 또는 벨 소리 등을 포함하고 램프 경고는 점등 또는 램프 깜박임 등을 포함한다.
또는, 본 발명의 실시예에 있어서, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 운전자 영상을 실시간으로 모니터링 센터로 전송하여 법 집행 근거로 하거나 또는 데이터 수집, 데이터 분석, 진일보로 수동 확인하는데 이용할 수 있다.
상기 단계를 통하여, 운전자의 산만 운전 행위를 모니터링하고 경보하여 운전자가 주의력을 집중하도록 독촉하여 안전 운전을 확보하고 교통 사고의 발생을 회피할 수 있다. 하지만, 상기 산만 운전 모니터링 방법에 의하면 운전자의 행위가 정상 운전 행위인가 산만 운전 행위인가를 판단하고 간단하게 경보할 뿐 구체적으로 어떠한 산만 운전 행위인가를 판단하고 서로 다른 경보를 제시할 수는 없다.
도 2를 참조하면, 본 발명의 실시예에 따른 다른 선택가능한 산만 운전 모니터링 방법을 나타낸 흐름도이다. 도 2에 도시한 바와 같이, 이 방법은 단계S20, S22, S24, S26, S28을 포함한다.
S20에 있어서, 운전자 영상을 수집한다.
S22에 있어서, 산만 운전 행위에 대응되는 목표물을 검측하여 검측 결과를 획득한다.
S24에 있어서, 검측 결과를 선별하여 목표물의 종류를 결정한다.
S26에 있어서, 목표물의 종류에 근거하여 운전 행위의 판단 결과를 획득한다.
S28에 있어서, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신한다.
본 발명의 실시예에 있어서, 상기 단계를 통하여, 즉 운전자 영상을 수집하고, 목표물을 검측하여 검측 결과를 획득하며, 검측 결과를 선별하여 목표물의 종류를 결정하고, 목표물의 종류에 근거하여 운전 행위의 판단 결과를 획득하며, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신함으로써, 운전자의 행위가 정상 운전 행위인가 산만 운전 행위인가를 판단하고 간단한 경보 신호를 발신하는 외, 구체적으로 어떠한 산만 운전 행위인가를 판단하여 서로 다른 경보를 제시하여 운전자가 주의력을 집중하도록 독촉하여 안전 운전을 확보하고 교통 사고의 발생을 회피할 수 있다. 이와 동시에 법 집행 근거로 하거나, 데이터 분석 또는 진일보로 수동 확인하는데 이용될 수 있다.
상기 단계S20는 도 1에 도시한 단계S10와 기본적으로 동일하므로 설명을 생략한다. 이하, 상기 단계S22~단계S28를 각각 상세하게 설명한다.
S22에 있어서, 산만 운전 행위에 대응되는 목표물을 검측하여 검측 결과를 획득한다.
또는, 본 발명의 실시예에 있어서, 검측모듈을 통하여 목표물을 검측하여 검측 결과를 획득할 수 있다.
또는, 본 발명의 실시예에 있어서, 검측 결과는 운전자 영상에 목표물이 포함되는 가를 표시할 수 있다.
또는, 본 발명의 실시예에 있어서, 목표물에는 담배, 휴대폰, 물컵, 음식물중의 적어도 하나가 포함된다. 목표물에 대응되는 산만 운전 행위는 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기중의 적어도 하나를 포함한다.
산만 운전 행위가 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기 등을 포함하므로, 보다 명확하게 어떠한 산만 운전 행위인가를 판단하기 위하여, 본 발명의 실시예에 있어서, 단계S22의 검측 결과는 운전자 영상중에 목표물에 포함되는 가를 표시하는 외, 운전자 영상에 목표물이 포함됨을 검측하였을 경우, 검측 결과에는 목표물의 종류, 상기 종류에 대응되는 확률값이 더 포함될 수 있다. 확률값은 목표물이 상기 종류인 확률을 나타내고, 바람직하게는, 그 값의 범위는 0~1이다.
S24에 있어서, 검측 결과를 선별하여 목표물의 종류를 결정한다.
또는, 본 발명의 실시예에 있어서, 논리 판단모듈을 통하여 검측 결과를 선별하여 목표물의 종류를 결정할 수 있다.
각 프레임의 운전자 영상에서 복수 개의 목표물 또는 목표물외의 간섭물이 검측될 수 있는데 그중의 일부는 오류 검측 목표이다. 이러한 오류 검측 목표를 제거하기 위하여, 본 발명의 실시예에 있어서, 검측 결과를 선별하여 목표물의 종류를 결정하는 단계는, 검측 결과중의 상기 종류에 대응되는 확률값과 제1 임계값을 비교하여 비교 결과를 획득하는 단계; 비교 결과에 근거하여 목표 검측 결과를 선별하는 단계를 포함할 수 있다. 그중의 복수 개의 서로 다른 종류의 목표물은 동일한 제1 임계값을 공용할 수 있고 또는 각 종류의 목표물이 하나의 제1 임계값에 대응될 수 있다. 비교 결과가 검측 결과중 상기 종류에 대응되는 확률값이 제1 임계값을 초과함을 표시하는 경우, 그 검측 결과를 보류하고, 그렇지 않으면 그 검측 결과를 폐기한다. 확률값이 제1 임계값을 초과하는 검측 결과가 하나뿐인 경우, 목표물의 종류를 결정할 수 있다. 확률값이 제1 임계값을 초과하는 검측 결과가 복수 개 존재하는 경우, 확률값이 가장 큰 검측 결과만을 보류하고 이에 근거하여 목표물의 종류를 결정한다.
또는, 본 발명의 실시예에 있어서, 운전자 영상을 목표 검측 알고리즘에 입력하여 목표물을 검측할 수 있다. 여기서 목표 검측 알고리즘은 오프라인에서 대량의 샘풀을 훈련하여 얻을 수 있다. 바람직하게는, 목표 검측 알고리즘은 딥러닝 알고리즘일 수 있고 예를 들어 yolo, faster-RCNN, SSD 등이다.
단계S26에 있어서, 목표물의 종류에 근거하여 운전 행위의 판단 결과를 획득한다.
또는, 본 발명의 실시예에 있어서, 논리 판단모듈을 통하여 목표물의 종류에 근거하여 운전 행위의 판단 결과를 획득할 수 있다.
또는, 본 발명의 실시예에 있어서, 운전 행위의 판단 결과에는 정상 운전 행위와 각종 구체적인 산만 운전 행위가 포함된다. 검측 결과가 운전자 영상에 목표물이 포함되지 않았음을 표시하는 경우, 운전 행위의 판단 결과는 정상 운전 행위이고, 검측 결과가 운전자 영상에 목표물이 포함됨을 표시하는 경우, 운전 행위의 판단 결과는 산만 운전 행위이며, 목표물의 종류에 근거하여 진일보로 각종 구체적인 산만 운전 행위, 예를 들어 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기 등을 판단할 수 있다. 구체적으로, 예를 들어 목표물 종류이 담배이면 구체적인 산만 운전 행위가 담배 피우기이라고 판단하고 목표물 종류이 물컵이면 구체적인 산만 운전 행위가 물 마시기라고 판단한다.
단계S28에 있어서, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신한다.
또는, 본 발명의 실시예에 있어서, 통신모듈을 통하여 판단 결과에 근거하여 경보 신호를 발신할 수 있다. 여기서, 경보 신호는 음성 경고, 램프 경고, 진동 경고중의 적어도 하나이다. 구체적으로, 음성 경고는 음성 또는 벨 소리 등을 포함하고 램프 경고는 점등 또는 램프 깜박임 등을 포함한다. 바람직하게는, 음성을 방송하는 방식으로 나타난 각종 구체적인 산만 운전 행위를 서로 다르게 경고할 수 있다.
또는, 본 발명의 실시예에 있어서, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 운전자 영상을 실시간으로 모니터링 센터로 전송하여, 법 집행 근거로 하거나 또는 데이터 수집, 데이터 분석, 진일보로 수동 확인하는데 이용할 수 있다.
상기 단계를 통하여, 운전자의 행위가 정상 운전 행위인가 산만 운전 행위인가를 판단하고 간단한 경보 신호를 발신하는 외, 구체적으로 어떠한 산만 운전 행위인가를 판단하여 서로 다른 경보를 제시하여 운전자가 주의력을 집중하도록 독촉하여 안전 운전을 확보하고 교통 사고의 발생을 회피할 수 있다. 이와 동시에 법 집행 근거로 하거나, 데이터 분석 또는 진일보로 수동 확인하는데 이용될 수 있다.
또는, 본 발명의 실시예의 산만 운전 모니터링 방법은 단계S10 또는 S20에서 운전자 영상을 수집하기 전에 하드웨어와 소프트웨어를 초기화하는 단계를 더 포함할 수 있다.
산만 운전 모니터링 결과의 정확성을 향상시키기 위하여, 본 발명의 실시예에 있어서, 단계S10 또는 S20(즉 운전자 영상을 수집한다) 이후에, 단계S11을 더 포함할 수 있고, 단계S11에 있어서 얼굴 영역을 검측한다. 다만, 단계S11은 단계S12 또는 S22(즉 목표물을 검측하여 검측 결과를 획득한다) 이전, 이후 또는 이와 동시에 수행할 수도 있다.
운전자 영상의 전체 영역이 크므로 이 영역내에 동시에 여러가지 목표물이 나타나거나 또는 목표물외의 간섭물이 나타날 가능성도 있으므로, 산만 운전 모니터링 결과의 정확성을 향상시키기 위하여, 본 발명의 실시예에 있어서, 단계S12 또는 S22의 검측 결과에는 목표물의 위치가 더 포함될 수 있다. 여기서, 목표물의 위치를 직사각형 틀로 표시할 수 있고, 왼쪽 상단, 오른쪽 하단의 두 점의 좌표 또는 오른쪽 상단, 왼쪽 하단의 두 점의 좌표 또는 왼쪽 상단, 오른쪽 하단, 오른쪽 상단, 왼쪽 하단의 4개 점의 좌표를 포함한다.
단계S12 또는 S22의 검측 결과에 목표물의 위치가 포함될 경우, 단계S14 또는 S24는 단계S13을 더 포함할 수 있고, 단계S13에 있어서, 검측 결과의 적절성을 평가한다. 또는, 본 발명의 실시예에 있어서, 목표물의 위치와 기 설정된 적절한 영역의 상대적 위치 관계를 분석하여 검측 결과의 적절성을 평가할 수도 있다. 구체적으로, 목표물 위치의 적절성을 평가하는 단계는 목표물의 위치와 그 목표물에 대응되는 기 설정된 적절한 영역의 IoU값을 계산하고, IoU값과 제2 임계값을 비교하여 IoU값이 제2 임계값을 초과하면 그 목표물의 위치가 기 설정된 적절한 영역에 나타났음을 표시하고 검측 결과는 신뢰할 수 있는 것이고 다음 단계를 수행할 수 있고, 그렇지 않으면 그 목표 검측 결과를 폐기하는 단계를 포함할 수 있다. 여기서, 기 설정된 적절한 영역은 산만 운전 행위가 얼굴 영역에서 나타날 수 있는 적절한 영역에 근거하여 사전에 설정된 것이다. 예를 들어, 전화 통화 행위에 대응되는 기 설정된 적절한 영역은 얼굴 영역의 양측 또는 하부 영역일 수 있고 담배 피우기 행위에 대응되는 기 설정된 적절한 영역은 얼굴의 하부 영역일 수 있다.
단계S11 및/또는 단계S13를 추가함으로써, 즉 얼굴 영역을 검측하고 및/또는 검측 결과의 적절성을 평가함으로써 산만 운전 모니터링 결과의 정확성을 향상시킬 수 있다.
산만 운전 모니터링 결과의 정확성을 보다 향상시키기 위하여, 본 발명의 실시예에 있어서, 단계S14 또는 단계S26에서 연속 프레임의 판단 결과를 조합하여 최종 판단 결과를 결정하여 보다 정확하게 산만 운전 행위를 판단하고 검측 오류를 저하시킬 수 있다. 구체적으로, 연속 프레임의 판단 결과를 겹합하는 단계는 큐 구조를 이용하여 최근 t초내의 각 프레임의 판단 결과를 저장하고 그 큐를 유지하는 단계; 그 큐 기록을 순회하여 한가지 운전 행위가 최근 t초내에서 차지하는 비율이 제3 임계값을 초과하면 그 운전 행위를 최종 판단 결과로 하는 단계를 포함한다.
본 발명의 실시예의 다른 일 측면에 따르면 산만 운전 모니터링 시스템을 제공하는데 산만 운전 모니터링 시스템(30)은 영상수집모듈(300)과, 검측모듈(302)과, 논리 판단모듈(304)과, 통신모듈(306)을 포함한다.
영상수집모듈(300)은 운전자 영상을 수집하도록 구성된다.
또는, 본 발명의 실시예에 있어서, 영상수집모듈(300)은 단독된 촬영장치 또는 전자기기에 집적된 촬영장치 등 일 수 있고, 예를 들어 독립된 적외선 카메라, 깊이 카메라, RGB 카메라, Mono 카메라 등일 수 있고, 또는 휴대폰, 태블릿 PC, 주행기록기, 네비게이터, 오퍼레이션 패널, 센터 콘솔 등 전자기기에 구비된 카메라이다. 운전자 영상은 영상수집모듈이 수집한 비디오중의 영상 프레임을 절단하여 얻은 것일 수 있다.
차내(예를 들어, 운전실)의 광선이 통상 주행 환경에 따라 변화하여, 좋은 날씨의 낮에는 차내(예를 들어, 운전실)의 광선이 밝고 밤 또는 흐린 날씨 또는 터널내에서는 차내(예를 들어, 운전실)의 광선이 어둡지만, 적외선 카메라는 빛의 변화의 영향을 적게 받아 24시간 작동될 수 있는 능력을 구비하므로 적외선 카메라(근적외선 카메라 등을 포함)를 선택하여 운전자의 영상을 획득함으로써 일반 카메라보다 품질이 우수한 운전자 영상을 획득하여 산만 운전 모니터링 결과의 정확성을 향상시킬 수 있다.
또는, 본 발명의 실시예에 있어서, 영상수집모듈(300)은 차내의 임의의 운전자의 얼굴을 촬영할 수 있는 적어도 한 위치에 설치될 수 있고, 예를 들어, 대시보드 부근, 센터 콘솔 부근, 백미러 부근 등에 설치될 수 있다. 영상수집모듈의 개수는 하나 또는 복수 개일 수 있다.
또는, 본 발명의 실시예에 있어서, 소정 개수의 프레임을 간격으로 비디오 프레임 영상을 획득함으로써 비디오 프레임 영상의 획득 빈도를 줄이고 계산 자원을 최적화할 수 있다.
또는, 본 발명의 실시예에 있어서, 영상수집모듈(300)을 통하여 운전자의 영상에 전처리를 수행할 수 있고, 전처리에는 영상 축소/확대, 픽셀 값 정규화, 영상 강화중의 적어도 하나가 포함된다. 따라서 명료도, 크기 등이 요구에 부합되는 운전자 영상을 획득할 수 있다.
검측모듈(302)은 목표물을 검측하여 검측 결과를 획득하도록 구성된다.
또는, 본 발명의 실시예에 있어서, 검측 결과는 운전자 영상에 목표물이 포함되는 가를 표시할 수 있다.
또는, 본 발명의 실시예에 있어서, 목표물에는 담배, 휴대폰, 물컵, 음식물중의 적어도 하나가 포함된다. 목표물에 대응되는 산만 운전 행위에는 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기중의 적어도 하나가 포함된다.
또는, 본 발명의 실시예에 있어서, 검측모듈(302)은 목표 검측 알고리즘을 이용하여 목표물을 검측할 수 있고, 여기서 목표 검측 알고리즘은 오프라인에서 대량의 샘풀을 훈련하여 얻을 수 있다. 바람직하게는, 목표 검측 알고리즘이 딥러닝 알고리즘일 수 있고, 예를 들어 yolo, faster-RCNN, SSD 등이다.
논리 판단모듈(304)은 검측 결과에 근거하여 운전 행위의 판단 결과를 획득하도록 구성된다.
또는, 본 발명의 실시예에 있어서, 운전 행위의 판단 결과에는 정상 운전 행위와 산만 운전 행위가 포함된다. 검측 결과가 운전자 영상에 목표물이 포함되었음을 표시하는 경우, 운전 행위의 판단 결과는 산만 운전 행위이고, 검측 결과가 운전자 영상에 목표물이 포함되지 않았음을 표시하는 경우, 운전 행위의 판단 결과는 정상 운전 행위이다.
통신모듈(306)은 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신하도록 구성된다.
또는, 본 발명의 실시예에 있어서, 경보 신호는 음성 경고, 램프 경고, 진동 경고중의 적어도 하나일 수 있다. 구체적으로, 음성 경고는 음성 또는 벨 소리 등을 포함하고 램프 경고는 점등 또는 램프 깜박임 등을 포함한다.
또는, 본 발명의 실시예에 있어서, 판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 통신모듈은 운전자 영상을 실시간으로 모니터링 센터로 전송하여 법 집행 근거로 하거나 또는 데이터 수집, 데이터 분석, 진일보로 수동 확인하는데 이용할 수 있다.
상기 영상수집모듈(300), 검측모듈(302), 논리 판단모듈(304)과 통신모듈(306)은 서로 독립된 방식으로 산만 운전 모니터링 시스템에 배치될 수 있고 일부 또는 전부가 하나의 큰 모듈에 집적된 방식으로 산만 운전 모니터링 시스템에 배치될 수도 있으며, 이로 인해 산만 운전 모니터링 시스템에 의하면 운전자의 산만 운전 행위에 대하여 실시간 모니터링과 경보를 수행할 수 있어 운전자에게 주의력을 집중시키도록 독촉하여 안전 운전을 확보하고 교통 사고의 발생을 회피할 수 있다.
산만 운전 행위에 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기 등이 포함됨으로 보다 명확하게 구체적으로 어떠한 산만 운전 행위인가를 판단하기 위하여, 본 발명의 실시예의 다른 산만 운전 모니터링 시스템에 있어서, 검측모듈(302)은 운전자 영상중에 목표물에 포함되는 가를 검측하는 외, 목표물의 종류, 상기 종류에 대응되는 확률값을 더 검측할 수 있다. 확률값은 목표물이 상기 종류인 확률을 나타내고, 바람직하게는, 그 값의 범위는 0~1이다.
하지만, 논리 판단모듈(304)은 상기 확률값에 근거하여 상기 검측 결과를 선별하여 목표물의 종류를 결정하도록 구성된다. 각 프레임의 운전자 영상에서 복수 개의 목표물 또는 목표물외의 간섭물이 검측될 수 있는데 그중의 일부는 오류 검측 목표이다. 이러한 오류 검측 목표를 제거하기 위하여, 본 발명의 실시예에 있어서, 논리 판단모듈(304)은 검측 결과중의 상기 종류에 대응되는 확률값과 제1 임계값을 비교하여 비교 결과를 획득하고, 비교 결과에 근거하여 목표 검측 결과를 선별하도록 구성될할 수 있다. 그중의 복수 개의 서로 다른 종류의 목표물은 동일한 제1 임계값을 공용할 수 있고 또는 각 종류의 목표물이 하나의 제1 임계값에 대응될 수 있다. 비교 결과가 검측 결과중 상기 종류에 대응되는 확률값이 제1 임계값을 초과함을 표시하는 경우, 그 검측 결과를 보류하고, 그렇지 않으면 그 검측 결과를 폐기한다. 확률값이 제1 임계값을 초과하는 검측 결과가 하나뿐인 경우, 목표물의 종류를 결정할 수 있다. 확률값이 제1 임계값을 초과하는 검측 결과가 복수 개 존재하는 경우, 확률값이 가장 큰 검측 결과만을 보류하고 이에 근거하여 목표물의 종류를 결정한다. 또는, 본 발명의 실시예에 있어서, 운전 행위의 판단 결과에는 정상 운전 행위와 각종 구체적인 산만 운전 행위가 포함된다. 검측 결과가 운전자 영상에 목표물이 포함되지 않았음을 표시하는 경우, 운전 행위의 판단 결과는 정상 운전 행위이고, 검측 결과가 운전자 영상에 목표물이 포함됨을 표시하는 경우, 운전 행위의 판단 결과는 산만 운전 행위이며, 목표물의 종류에 근거하여 논리 판단모듈(304)은 진일보로 각종 구체적인 산만 운전 행위, 예를 들어 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기 등을 판단할 수 있다. 구체적으로, 예를 들어 목표물 종류이 담배이면 구체적인 산만 운전 행위가 담배 피우기이라고 판단하고 목표물 종류이 물컵이면 구체적인 산만 운전 행위가 물 마시기라고 판단한다.
그 다음, 통신모듈(306)은 판단 결과에 근거하여 경보 신호를 발신한다. 여기서, 경보 신호는 음성 경고, 램프 경고, 진동 경고중의 적어도 하나일 수 있다. 구체적으로, 음성 경고는 음성 또는 벨 소리 등을 포함하고 램프 경고는 점등 또는 램프 깜박임 등을 포함한다. 바람직하게, 음성을 방송하는 방식으로 나타난 각종 구체적인 산만 운전 행위를 서로 다르게 경고할 수 있다.
본 발명의 실시예의 또다른 산만 운전 모니터링 시스템에 있어서, 검측모듈(302)은 상기 운전자 영상을 수집한 후, 얼굴 영역과 목표물의 위치를 검측하도록 구성될 수도 있고, 여기서, 목표물의 위치를 직사각형 틀로 표시할 수 있고 왼쪽 상단, 오른쪽 하단의 두 점의 좌표 또는 오른쪽 상단, 왼쪽 하단의 두 점의 좌표 또는 왼쪽 상단, 오른쪽 하단, 오른쪽 상단, 왼쪽 하단의 4개 점의 좌표를 포함한다.
논리 판단모듈(304)은 검측 결과의 적절성을 평가하도록 구성될 수도 있다. 또는, 본 발명의 실시예에 있어서, 목표물의 위치와 기 설정된 적절한 영역의 상대적 위치 관계를 분석하여 검측 결과의 적절성을 평가할 수도 있다. 구체적으로, 목표물 위치의 적절성을 평가하는 단계는 목표물의 위치와 그 목표물에 대응되는 기 설정된 적절한 영역의 IoU값을 계산하고, IoU값과 제2 임계값을 비교하는 단계; IoU값이 제2 임계값을 초과하면 그 목표물의 위치가 기 설정된 적절한 영역에 나타났음을 표시하고 검측 결과는 신뢰할 수 있는 것이고 다음 단계를 수행할 수 있고 그렇지 않으면 그 목표 검측 결과를 폐기하는 단계를 포함할 수 있다. 여기서, 기 설정된 적절한 영역은 산만 운전 행위가 얼굴 영역에서 나타날 수 있는 적절한 영역에 근거하여 사전에 설정된 것이다. 예를 들어, 전화 통화 행위에 대응되는 기 설정된 적절한 영역은 얼굴 영역의 양측 또는 하부 영역일 수 있고 담배 피우기 행위에 대응되는 기 설정된 적절한 영역은 얼굴의 하부 영역일 수 있다.
본 발명의 실시예의 또다른 산만 운전 모니터링 시스템에 있어서, 논리 판단모듈(304)은 연속 프레임의 판단 결과를 조합하여 최종 판단 결과를 결정하여 보다 정확하게 산만 운전 행위를 판단하고 검측 오류를 저하시키도록 구성될 수도 있다. 구체적으로, 연속 프레임의 판단 결과를 겹합하는 단계는 큐 구조를 이용하여 최근 t초내의 각 프레임의 판단 결과를 저장하고 그 큐를 유지하는 단계; 그 큐 기록을 순회하여 한가지 운전 행위가 최근 t초내에서 차지하는 비율이 제3 임계값을 초과하면 그 운전 행위를 최종 판단 결과로 하는 단계를 포함한다.
본 발명의 실시예의 다른 일 측면에 따르면 전자기기를 제공하는데 전자기기(40)는 프로세서(400)와 상기 프로세서(400)가 수행가능한 명령을 저장하는 메모리(402)를 포함하고, 상기 프로세서(400)는 상기 수행가능한 명령을 실행함으로써 상술한 어느 한 산만 운전 모니터링 방법을 실현하도록 구성된다.
본 발명의 실시예의 다른 일 측면에 따르면 기억매체를 제공하는데 상기 기억매체는 저장된 프로그램을 포함하고, 상기 프로그램이 실행되면 상술한 어느 한 산만 운전 모니터링 방법을 실현하도록 상기 기억매체를 구비한 기기를 제어한다.
본 발명의 실시예의 적용장면이 자동차 운전에만 제한되는 것이 아니라 선박, 비행기, 기차, 지하철, 경전철 등 기타 각종 교통모듈의 운전 과정에서 운전자의 운전 상태를 모니터링하는데도 적용될 수 있음을 당업자는 이해할 수 있다.
상술한 본 발명의 실시예의 번호는 설명의 편의를 위하여 부가된 것으로 실시예의 우열을 표시하는 것은 아니다.
본 발명의 상기 실시예에 있어서, 각 실시예의 설명은 중점이 서로 다르고 일부 실시예에서 상세하게 설명하지 않은 부분에 대하여서는 기타 실시예의 관련되는 부분의 설명을 참조할 수 있다.
본 출원에서 제공하는 여러개 실시예에 있어서, 제시한 기술내용을 다른 방식으로도 실현할 수 있음은 이해할 수 있을 것이다. 여기서, 상기에서 설명한 장치 실시예는 예시적인 것으로, 예를 들어 상기 유닛의 구획은 논리적 기능의 구획일 수 있지만 실제로 실현하는 경우 기타 방식으로 구획할 수도 있고, 예를 들어 다수의 유닛 또는 부품을 조합하거나 또는 기타한 시스템에 집적시킬 수도 있고 또는 일부 특징을 생략하거나 또는 수행하지 않을 수도 있다. 그리고 도시한 또는 검토한 상호 조합 또는 직접 조합 또는 통신 연결은 인터페이스, 유닛 또는 모듈을 통한 간접 조합 또는 통신 연결일 수 있고 전기적 또는 기타 형태의 조합일 수도 있다.
상술한 분리 부품으로 설명한 유닛은 물리적으로 분리된 것일 수 있고 물리적으로 분리되지 않은 것일 수도 있으며, 유닛으로 표시한 부품은 물리 유닛일 수 있고 물리 유닛이 아닐 수도 있으며, 즉 한 위치에 위치할 수 있고 다수의 유닛에 분포될 수도 있다. 실제 수요에 따라 그중의 일부 또는 전부 유닛을 선택하여 본 실시예의 기술방안을 실현하는 목적을 실현할 수 있다.
그리고, 본 발명의 각 실시예중의 각 기능 유닛을 하나의 처리유닛에 집적시킬 수 있고 각 유닛이 물리적으로 독립된 것일 수도 있으며 두개 또는 그 이상의 유닛을 하나의 유닛에 집적시킬 수도 있다. 상기 집적된 유닛을 하드웨어 형태로 실현할 수 있고 소프트웨어 기능 유닛의 형태로 실현할 수도 있다.
상술한 집적된 유닛을 소프트웨어 기능 유닛의 형태로 실현하고 단독 제품으로 판매하거나 또는 사용하는 경우, 컴퓨터가 읽을 수 있는 기억매체에 기억할 수 있다. 따라서, 본 발명의 기술방안의 실질 또는 기존기술에 대한 공헌이 있는 부분 또는 이 기술방안의 전부 또는 일부를 소프트웨어 제품 형태로 구현할 수 있고 컴퓨터 소프트웨어 제품을 하나의 기억매체에 기억할 수 있으며 컴퓨터 기기(PC, 서버 또는 네트워크 기기 등일 수 있다)가 본 발명의 각 실시예에서 설명한 방법의 모든 또는 일부 단계를 수행하도록 하는 여러개 명령을 포함한다. 상술한 기억매체는 USB 메모리, 판독 전용 메모리(ROM, Read-Only Memory), 랜덤액세스메모리(RAM, Random Access Memory), 외장 하드, 플로피 디스크 또는 광 디스크 등 프로그램 코드를 기억할 수 있는 각종 매체이다.
상술한 내용은 본 발명의 바람직한 실시형태로 이 분야의 기술자라면 본 발명의 원리를 벗어나지 않는 범위내에서 여러가지 개선과 수정를 가져올 수 있고 이러한 개선과 수정은 본 발명의 보호 범위에 속한다.

Claims (32)

  1. 운전자 영상을 수집하는 단계;
    산만 운전 행위에 대응는 목표물을 검측하여 검측 결과를 획득하는 단계;
    상기 검측 결과에 근거하여 운전 행위의 판단 결과를 획득하는 단계; 및
    상기 판단 결과가 상기 산만 운전 행위가 나타났음을 표시하는 경우, 경보 신호를 발신하는 단계를 포함하는 것을 특징으로 하는 산만 운전 모니터링 방법.
  2. 제 1 항에 있어서,
    단독된 촬영장치 또는 전자기기에 집적된 촬영장치인 영상수집모듈에 의하여 운전자 영상을 수집하는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    상기 목표물은 담배, 휴대폰, 물컵, 음식물중의 적어도 하나를 포함하고, 상기 목표물에 대응되는 상기 산만 운전 행위는 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기중의 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    상기 검측 결과는 상기 운전자 영상에 목표물이 포함되는 가를 표시하고, 상기 검측 결과가 상기 운전자 영상에 목표물이 포함됨을 표시하는 경우, 상기 운전 행위의 판단 결과는 산만 운전 행위인 것을 특징으로 하는 방법.
  5. 제 1 항 또는 제 4 항에 있어서,
    상기 검측 결과는 상기 목표물의 종류, 상기 종류에 대응되는 확률값을 포함하는 것을 특징으로 하는 방법.
  6. 제 5 항에 있어서,
    상기 확률값에 근거하여 검측 결과를 선별하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제 6 항에 있어서,
    상기 검측 결과중의 상기 종류에 대응되는 확률값을 제1 임계값과 비교하여 비교 결과를 획득하는 단계; 및
    상기 비교 결과에 근거하여 검측 결과를 선별하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서,
    상기 비교 결과가 검측 결과중의 상기 종류에 대응되는 확률값이 상기 제1 임계값을 초과함을 나타낼 경우, 상기 검측 결과를 보류하고, 그렇지 않으면 상기 검측 결과를 폐기하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제 8 항에 있어서,
    확률값이 제1 임계값을 초과하는 검측 결과가 복수 개 존재하는 경우, 확률값이 가장 큰 검측 결과만을 보류하는 것을 특징으로 하는 방법.
  10. 제 1 항에 있어서,
    상기 운전자 영상을 수집한 후, 얼굴 영역을 검측하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제 1 항 또는 제 4 항 또는 제 10 항에 있어서,
    상기 검측 결과는 목표물의 위치를 포함하는 것을 특징으로 하는 방법.
  12. 제 11 항에 있어서,
    상기 목표물의 위치와 기 설정된 적절한 영역과의 상대적 위치 관계를 분석하여, 상기 검측 결과의 적절성을 평가하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제 12 항에 있어서,
    목표물의 위치와 기 설정된 적절한 영역과의 상대적 위치 관계를 분석하여, 검측 결과의 적절성을 평가하는 단계는,
    상기 목표물의 위치와 상기 목표물에 대응되는 상기 기 설정된 적절한 영역의 IoU값을 계산하고 IoU값과 제2 임계값을 비교하는 단계; 상기 IoU값이 상기 제2 임계값을 초과하는 경우, 상기 목표물의 위치가 기 설정된 적절한 영역에 나타났음을 표시하고, 목표 검측 결과는 신뢰할 수 있는 것이고, 그렇지 않으면 상기 목표 검측 결과를 폐기하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 제 1 항에 있어서,
    운전자 영상을 수집하는 단계 이후,
    상기 운전자 영상에 대하여 영상 축소/확대, 픽셀 값 정규화, 영상 강화중의 적어도 하나를 포함하는 전처리를 수행하여 전처리 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 제 1 항 또는 제 14 항에 있어서,
    딥러닝 알고리즘을 이용하여 상기 운전자 영상 또는 상기 전처리 영상중의 상기 목표물의 위치, 종류, 상기 목표물이 상기 종류에 속하는 확률을 나타내는 확률값을 획득하는 것을 특징으로 하는 방법.
  16. 제 1 항에 있어서,
    연속 프레임의 판단 결과를 조합하여 최종 판단 결과를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 제 16 항에 있어서,
    큐 구조를 이용하여 최근 t초내의 각 프레임의 판단 결과를 저장하고 상기 큐를 유지하고, 상기 큐 기록을 순회하여 운전 행위가 최근 t초내에서 차지하는 비율이 제3 임계값을 초과하면, 상기 운전 행위를 최종 판단 결과로 하는 것을 특징으로 하는 방법.
  18. 운전자 영상을 수집하도록 구성된 영상수집모듈;
    목표물을 검측하여 검측 결과를 획득하도록 구성된 검측모듈;
    검측 결과에 근거하여 운전 행위의 판단 결과를 획득하도록 구성된 논리 판단모듈; 및
    판단 결과가 산만 운전 행위가 나타남을 표시하는 경우, 경보 신호를 발신하도록 구성된 통신모듈을 포함하는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  19. 제 18 항에 있어서,
    상기 영상수집모듈은 단독된 촬영장치 또는 전자기기에 집적된 촬영장치인 것을 특징으로 하는 산만 운전 모니터링 시스템.
  20. 제 18 항에 있어서,
    상기 목표물은 담배, 휴대폰, 물컵, 음식물중의 적어도 하나를 포함하고, 상기 목표물에 대응되는 상기 산만 운전 행위는 담배 피우기, 전화 통화, 물 마시기, 음식물 먹기중의 적어도 하나를 포함하는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  21. 제 18 항에 있어서,
    상기 검측 결과는 목표물의 존재여부, 목표물의 위치, 목표물의 종류, 상기 종류에 대응되는 확률값중의 적어도 하나를 포함하는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  22. 제 21 항에 있어서,
    상기 논리 판단모듈은 상기 확률값에 근거하여 상기 검측 결과를 선별하도록 구성되는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  23. 제 22 항에 있어서,
    상기 논리 판단모듈은,
    상기 검측 결과중의 상기 종류에 대응되는 확률값을 제1 임계값과 비교하여 비교 결과를 획득하고,
    상기 비교 결과에 근거하여 검측 결과를 선별하며, 상기 비교 결과가 검측 결과중의 상기 종류에 대응되는 확률값이 상기 제1 임계값을 초과함을 나타낼 경우, 상기 검측 결과를 보류하고, 그렇지 않으면 상기 검측 결과를 폐기하도록 구성되는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  24. 제 23 항에 있어서,
    확률값이 제1 임계값을 초과하는 검측 결과가 복수 개 존재하는 경우, 확률값이 가장 큰 검측 결과만을 보류하는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  25. 제 18 항 또는 제 21 항에 있어서,
    상기 검측모듈은 상기 운전자 영상이 수집된 후, 얼굴 영역을 검측하도록 구성되는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  26. 제 25 항에 있어서,
    상기 논리 판단모듈은 상기 목표물의 위치와 기 설정된 적절한 영역과의 상대적 위치 관계를 분석하여 상기 검측 결과의 적절성을 평가하도록 구성되는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  27. 제 26 항에 있어서,
    목표물의 위치와 기 설정된 적절한 영역과의 상대적 위치 관계를 분석하여 검측 결과의 적절성을 평가하는 것은,
    상기 목표물의 위치와 상기 목표물에 대응되는 상기 기 설정된 적절한 영역의 IoU값을 계산하고 IoU값과 제2 임계값을 비교하는 것;
    상기 IoU값이 상기 제2 임계값을 초과하는 경우, 상기 목표물의 위치가 기 설정된 적절한 영역에 나타났음을 표시하고 목표 검측 결과는 신뢰할 수 있는 것이고, 그렇지 않으면 상기 목표 검측 결과를 폐기하는 것을 포함하는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  28. 제 18 항에 있어서,
    상기 검측모듈은 딥러닝 알고리즘을 이용하여 상기 운전자 영상중의 상기 목표물의 위치, 종류, 상기 목표물이 상기 종류에 속하는 확률을 나타내는 확률값을 획득하는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  29. 제 18 항에 있어서,
    상기 논리 판단모듈은 연속 프레임의 판단 결과를 조합하여 최종 판단 결과를 결정하는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  30. 제 29 항에 있어서,
    상기 논리 판단모듈은,
    큐 구조를 이용하여 최근 t초내의 각 프레임의 판단 결과를 저장하고 상기 큐를 유지하며,
    상기 큐 기록을 순회하여 운전 행위가 최근 t초내에서 차지하는 비율이 제3 임계값을 초과하면 그 운전 행위를 최종 판단 결과로 하는 것을 특징으로 하는 산만 운전 모니터링 시스템.
  31. 프로세서와 상기 프로세서가 수행가능한 명령을 저장하는 메모리를 포함하는 전자기기에 있어서,
    상기 프로세서가 상기 수행가능한 명령을 수행함으로써 제 1 항 내지 제 17 항 중의 어느 한 항에 기재된 산만 운전 모니터링 방법을 실현하도록 구성되는 것을 특징으로 하는 전자기기.
  32. 저장된 프로그램을 포함하는 기억매체에 있어서,
    상기 프로그램이 실행되면 제 1 항 내지 제 17항 중의 어느 한 항에 기재된 산만 운전 모니터링 방법을 수행하도록 상기 기억매체를 구비한 기기를 제어하는 것을 특징으로 하는 기억매체.
KR1020217032527A 2019-03-08 2019-12-03 산만 운전 모니터링 방법, 시스템 및 전자기기 KR102543161B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910175982.0A CN111661059B (zh) 2019-03-08 2019-03-08 分心驾驶监测方法、系统及电子设备
CN201910175982.0 2019-03-08
PCT/CN2019/122790 WO2020181840A1 (zh) 2019-03-08 2019-12-03 分心驾驶监测方法、系统及电子设备

Publications (2)

Publication Number Publication Date
KR20210135313A true KR20210135313A (ko) 2021-11-12
KR102543161B1 KR102543161B1 (ko) 2023-06-14

Family

ID=70475931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217032527A KR102543161B1 (ko) 2019-03-08 2019-12-03 산만 운전 모니터링 방법, 시스템 및 전자기기

Country Status (6)

Country Link
US (1) US11783599B2 (ko)
EP (1) EP3730371A4 (ko)
JP (1) JP7407198B2 (ko)
KR (1) KR102543161B1 (ko)
CN (1) CN111661059B (ko)
WO (1) WO2020181840A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112208547B (zh) * 2020-09-29 2021-10-01 英博超算(南京)科技有限公司 一种安全自动驾驶系统
CN112347891B (zh) * 2020-10-30 2022-02-22 南京佑驾科技有限公司 基于视觉的舱内喝水状态检测方法
CN112613441A (zh) * 2020-12-29 2021-04-06 新疆爱华盈通信息技术有限公司 异常驾驶行为的识别和预警方法、电子设备
CN112677981B (zh) * 2021-01-08 2022-06-07 浙江三一装备有限公司 用于作业机械安全驾驶的智能辅助方法及装置
CN113191244A (zh) * 2021-04-25 2021-07-30 上海夏数网络科技有限公司 一种驾驶员不规范行为检测方法
CN113335296B (zh) * 2021-06-24 2022-11-29 东风汽车集团股份有限公司 一种分心驾驶自适应检测系统及方法
CN117163054B (zh) * 2023-08-30 2024-03-12 广州方驰信息科技有限公司 一种用于虚拟实景视频融合的大数据分析系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087204A (ja) * 2007-10-02 2009-04-23 Honda Motor Co Ltd 車両用電話通話判定装置
KR20140065520A (ko) * 2012-11-15 2014-05-30 현대자동차주식회사 레이더를 이용한 객체 인식방법 및 시스템
JP2015001979A (ja) * 2013-06-14 2015-01-05 由田新技股▲ふん▼有限公司 車両運転用の警告方法および車両用の電子装置
KR20190016332A (ko) * 2017-08-08 2019-02-18 주식회사 만도 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법
US20190065873A1 (en) * 2017-08-10 2019-02-28 Beijing Sensetime Technology Development Co., Ltd. Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4775658B2 (ja) * 2006-12-27 2011-09-21 アイシン・エィ・ダブリュ株式会社 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
US9952046B1 (en) * 2011-02-15 2018-04-24 Guardvant, Inc. Cellular phone and personal protective equipment usage monitoring system
CN102436715B (zh) * 2011-11-25 2013-12-11 大连海创高科信息技术有限公司 疲劳驾驶检测方法
JP2015012679A (ja) 2013-06-28 2015-01-19 株式会社日立製作所 アキシャルギャップ型回転電機
CN104598934B (zh) * 2014-12-17 2018-09-18 安徽清新互联信息科技有限公司 一种驾驶员吸烟行为监控方法
CN105069842A (zh) 2015-08-03 2015-11-18 百度在线网络技术（北京）有限公司 道路三维模型的建模方法和装置
CN105632104B (zh) * 2016-03-18 2019-03-01 内蒙古大学 一种疲劳驾驶检测系统和方法
CN106529565B (zh) * 2016-09-23 2019-09-13 北京市商汤科技开发有限公司 目标识别模型训练和目标识别方法及装置、计算设备
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
CN106709420B (zh) * 2016-11-21 2020-07-10 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
JP6972756B2 (ja) 2017-08-10 2021-11-24 富士通株式会社 制御プログラム、制御方法、及び情報処理装置
CN107704805B (zh) * 2017-09-01 2018-09-07 深圳市爱培科技术股份有限公司 疲劳驾驶检测方法、行车记录仪及存储装置
CN108629282B (zh) * 2018-03-29 2021-12-24 福建海景科技开发有限公司 一种吸烟检测方法、存储介质及计算机
CN108609018B (zh) * 2018-05-10 2019-11-05 郑州天迈科技股份有限公司 用于分析危险驾驶行为的预警终端、预警系统及分析算法
US10915769B2 (en) * 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
JP6870660B2 (ja) * 2018-06-08 2021-05-12 トヨタ自動車株式会社 ドライバ監視装置
CN109086662B (zh) * 2018-06-19 2021-06-15 浙江大华技术股份有限公司 一种异常行为检测方法及装置
CN109063574B (zh) * 2018-07-05 2021-04-23 顺丰科技有限公司 一种基于深度神经网络检测的包络框的预测方法、系统及设备
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087204A (ja) * 2007-10-02 2009-04-23 Honda Motor Co Ltd 車両用電話通話判定装置
KR20140065520A (ko) * 2012-11-15 2014-05-30 현대자동차주식회사 레이더를 이용한 객체 인식방법 및 시스템
JP2015001979A (ja) * 2013-06-14 2015-01-05 由田新技股▲ふん▼有限公司 車両運転用の警告方法および車両用の電子装置
KR20190016332A (ko) * 2017-08-08 2019-02-18 주식회사 만도 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법
US20190065873A1 (en) * 2017-08-10 2019-02-28 Beijing Sensetime Technology Development Co., Ltd. Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles

Also Published As

Publication number Publication date
CN111661059B (zh) 2022-07-08
US11783599B2 (en) 2023-10-10
EP3730371A1 (en) 2020-10-28
US20220180648A1 (en) 2022-06-09
KR102543161B1 (ko) 2023-06-14
WO2020181840A1 (zh) 2020-09-17
JP7407198B2 (ja) 2023-12-28
JP2022523247A (ja) 2022-04-21
CN111661059A (zh) 2020-09-15
EP3730371A4 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
KR102543161B1 (ko) 산만 운전 모니터링 방법, 시스템 및 전자기기
CN109937152B (zh) 驾驶状态监测方法和装置、驾驶员监控系统、车辆
EP3370416B1 (en) Cctv automatic selection monitoring system, and cctv automatic selection monitoring management server and management method
CN109345829B (zh) 无人车的监控方法、装置、设备及存储介质
US10810866B2 (en) Perimeter breach warning system
US20230005176A1 (en) Throwing position acquisition method and apparatus, computer device and storage medium
US10419724B2 (en) Monitoring system, monitoring method, and monitoring program
KR20120113455A (ko) 레이더를 이용한 야생동물 침입 탐지 방법 및 그 시스템
CN104658188A (zh) 通道安全预警系统以及通道预警方法
US20230177848A1 (en) Image analysis technologies for assessing safety of vehicle operation
CN110392239B (zh) 指定区域监控方法及装置
CN114821414A (zh) 一种基于改进yolov5的烟火检测方法、系统及电子设备
CN113593172B (zh) 一种船舶火灾监控方法、装置及介质
KR20180112336A (ko) 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
CN111382610A (zh) 一种事件检测方法、装置及电子设备
CN113674311A (zh) 异常行为检测方法、装置、电子设备、存储介质
CN111222421A (zh) 水域中人员状态检测方法、装置及电子设备
JP2018173501A (ja) 表示制御装置及び表示制御方法
JPS5911962A (ja) 踏切障害物検知方法
CN113744498B (zh) 驾驶员注意力监测的系统和方法
CN110927731B (zh) 一种立体防护方法、三维检测装置和计算机可读存储介质
JP2020101365A (ja) 監視システム
CN110738828B (zh) 门状态监测方法、装置、设备及存储介质
JP2002262282A (ja) 画像監視方法及び画像監視装置
CN116612638A (zh) 交通碰撞事故检测方法、装置及可读介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right