KR20210082723A - 관심영역을 이용한 운전자 모니터링 시스템 - Google Patents

관심영역을 이용한 운전자 모니터링 시스템 Download PDF

Info

Publication number
KR20210082723A
KR20210082723A KR1020190174961A KR20190174961A KR20210082723A KR 20210082723 A KR20210082723 A KR 20210082723A KR 1020190174961 A KR1020190174961 A KR 1020190174961A KR 20190174961 A KR20190174961 A KR 20190174961A KR 20210082723 A KR20210082723 A KR 20210082723A
Authority
KR
South Korea
Prior art keywords
driver
region
interest
data
monitoring system
Prior art date
Application number
KR1020190174961A
Other languages
English (en)
Other versions
KR102338067B1 (ko
Inventor
한동석
유민우
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020190174961A priority Critical patent/KR102338067B1/ko
Publication of KR20210082723A publication Critical patent/KR20210082723A/ko
Application granted granted Critical
Publication of KR102338067B1 publication Critical patent/KR102338067B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01534—Passenger detection systems using field detection presence sensors using electromagneticwaves, e.g. infrared
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/001—Vehicle control means, e.g. steering-wheel or column
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/0049—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means for non integrated articles
    • B60R2011/005—Connection with the vehicle part
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera

Abstract

본 발명의 실시예에 따른 관심영역을 이용한 운전자 모니터링 시스템은, 차량 실내의 영상을 촬영하는 카메라 모듈, 상기 카메라 모듈에서 촬영된 영상에서 얼굴의 위치와 윤곽을 갖는 얼굴데이터를 검출하는 얼굴데이터 검출부, 상기 얼굴데이터 검출부에서 검출된 얼굴데이터를 저장하는 데이터 저장부, 저장된 얼굴데이터를 기초로 관심영역을 설정하는 관심영역 설정부 및 상기 관심영역 설정부에서 설정된 관심영역에서 수집된 데이터를 이용하여 운전자의 상태를 판단하는 운전자 상태 판단부를 포함할 수 있다.

Description

관심영역을 이용한 운전자 모니터링 시스템{DRIVER MONITORING SYSTEM FOR USING INTEREST AREA}
본 발명은 관심영역을 이용한 운전자 모니터링 시스템에 대한 것으로, 운전자의 상태를 판단하는 성능은 유지하면서 동시에 연산시간과 부하를 줄일 수 있는 관심영역을 이용한 운전자 모니터링 시스템에 관한 것이다.
일반적으로 자동차는 많은 기본적인 안전 문제들을 포함하고 있으며, 이러한 안전 문제들은 운전자의 실수와 브레이크 고장과 같은 자동차 결함을 포함할 수 있다.
예측 가능한 안전 문제들에 따른 피해를 최소화하기 위해 자동차에는 안전 벨트와 에어백 등과 같이 안전 장치 들이 장착되고 있다.
그러나 이러한 장치들이 근본적으로 안전 문제를 해결할 수는 없으며, 자동차 사고들 중 많은 부분을 차지하는 운전자의 실수(예를 들어, 졸음운전 등)를 방지할 수 있는 방법이 요구된다.
이러한 필요성에 기인하여, 최근 운전자 상태 감시 시스템에 대한 논의 및 개발이 진행 중이고, 특히 졸음 운전 여부의 정확한 판단 및 경고 등에 대한 개발이 활발하게 진행되고 있다.
일반적으로 개발되는 운전자 상태 감시 시스템은 예컨대, 차량 내부의 센서(예를 들어, 카메라 등)를 이용하여 운전자의 졸음 상태만을 감시하고, 이를 근거로 주행 위험 요소를 파악하는 방식이 일반적이다.
그러나, 졸음 상태 감시만으로는 운전자 사고를 유발할 수 있는 생체 상태에 대한 종합적 판단이 어렵기 때문에 보다 정확하게 운전자 상태를 감시하여 경고 처리와 차량 제어를 수행할 수 있는 방안이 요구된다.
한편, 많은 지능형 운전자보조시스템(ADAS: advanced driver assistance systems)이 개발되고 있으며, 대표적인 ADAS 기술은 운전자가 설정한 속도에 맞춰 앞차와의 거리를 스스로 유지하며 주행하는 기능을 제공하는 ACC(adaptive cruise control), 카메라로 차선을 인식하여 자동차가 차선을 넘으려 할 경우, 스스로 운전대를 조작하거나 반대쪽 바퀴에 제동을 걸어 차를 차선에 밀어 넣는 기능을 제공하는 LKAS(lane keeping assist system), 및 운전자의 주의력과 경계심을 점검하여 부주의시 경고하는 기능을 제공하는 DMS(driver monitoring system) 등이 있다.
이러한 ADAS 시스템은 차 안에 포함된 연산장치를 통해 연산하고, 운전자에게 편의를 제공한다. 그러나 알고리즘의 복잡성으로 인하여 실시간 처리에 문제가 있다.
따라서 복잡한 알고리즘을 실시간 처리를 위해 시스템의 최적화가 필요하다. 그리고 DMS 기술에서 가장 기본이 되는 것은 얼굴을 찾는 것이지만 기존의 모듈은 얼굴이 매우 작은 것부터 큰 것까지 모두 검출이 가능하고 많은 얼굴을 검출할 수 있으므로 많은 자원을 소비한다. 따라서 성능은 유지하면서 연산시간을 줄이는 시스템 및 방법에 대한 연구가 진행되고 있다.
위에서 언급된 배경기술에 기재된 내용들은 단지 본 발명의 배경기술을 이해시키기 위해서 작성된 것이므로, 이 기술의 당업자에게 이미 알려진 공지기술 외의 내용을 포함할 수 있다.
대한민국 등록특허 10-2017766 대한민국 등록특허 10-1914190 대한민국 공개특허 10-2019-0095908
본 발명의 목적은 운전자의 얼굴데이터에서 운전자의 상태를 판단하기 위한 관심영역을 설정하는 알고리즘을 적용하여 기존 시스템보다 오류가 적고 정확하고 빠른 정보를 제공할 수 있는 관심영역을 이용한 운전자 모니터링 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 카메라 모듈에 의해서 감지되는 영상데이터에서 딥러닝 알고리즘을 이용하여 운전자의 얼굴데이터를 구별해 내고, 운전자의 상태정보가 비교적 많은 관심영역을 설정하는 과정을 통해 불필요한 연산을 줄이고, 연산 시간을 단축하며, 오류를 줄이는 관심영역을 이용한 운전자 모니터링 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 전체 영상데이터에서 운전자의 상태를 판단할 수 있는 관심영역을 탐색하고 이를 설정하기 때문에, 카메라 모듈의 설치 범위가 제한적이지 않고 다른 시스템에 비해 자유로운 관심영역을 이용한 운전자 모니터링 시스템을 제공하는 것이다.
본 발명의 실시예에 따른 관심영역을 이용한 운전자 모니터링 시스템은, 차량 실내의 영상을 촬영하는 카메라 모듈, 상기 카메라 모듈에서 촬영된 영상에서 운전자 얼굴의 위치와 윤곽을 갖는 얼굴데이터를 검출하는 얼굴데이터 검출부, 상기 얼굴데이터 검출부에서 검출된 얼굴데이터를 저장하는 데이터 저장부, 저장된 얼굴데이터를 기초로 관심영역을 설정하는 관심영역 설정부 및 상기 관심영역 설정부에서 설정된 관심영역에서 수집된 데이터를 이용하여 운전자의 상태를 판단하는 운전자 상태 판단부를 포함할 수 있다.
본 발명의 실시예에 따른 관심영역을 이용한 운전자 모니터링 시스템은 상기 얼굴데이터 검출부는 딥러닝 알고리즘을 통해서 상기 카메라 모듈로부터 전송되는 전체 영상데이터에서 얼굴데이터를 검출할 수 있다.
본 발명의 실시예에 따른 관심영역을 이용한 운전자 모니터링 시스템에서, 상기 관심영역 설정부는 운전자의 얼굴데이터에 대한 히스토그램 정보에 포함된 얼굴의 위치 및 윤곽 데이터를 이용하여, 관심영역을 설정할 수 있다.
본 발명의 실시예에 따른 관심영역을 이용한 운전자 모니터링 시스템에서, 상기 관심영역 설정부는 운전자의 행동반경 데이터를 고려하여 상기 관심영역을 설정할 수 있다.
본 발명의 실시예에 따른 관심영역을 이용한 운전자 모니터링 시스템에서, 상기 운전자 상태 판단부는 상기 카메라 모듈에 의해서 촬영된 얼굴데이터에서 미리 설정된 특징점들에 대한 데이터를 검출할 수 있다.
본 발명의 실시예에 따른 관심영역을 이용한 운전자 모니터링 시스템에서, 상기 카메라 모듈은 적외선카메라와 조명을 포함하고, 상기 운전자 상태 판단부는 운전자의 시선, 눈의 깜박거림, 및 얼굴 표정을 이용하여 운전상태를 판단할 수 있다.
본 발명의 실시예에 따른 관심영역을 이용한 운전자 모니터링 시스템에서, 상기 카메라 모듈은 운전석의 조향 핸들 전방 일측에 장착되고, 상기 관심영역 설정부는 상기 조향 핸들의 적어도 일부가 상기 관심영역에 포함되도록 하고, 상기 운전자 상태 판단부는 상기 조향 핸들의 움직임을 통해서 운전자의 상태를 판단할 수 있다.
본 발명의 실시예들에 따른 운전자 모니터링 시스템은 운전자의 상태를 판단하기 위해서 카메라 센서를 통해 입력된 영상데이터로부터 동승자와 운전자를 구별하고 운전자의 행동반경을 고려하여, 운전자의 상태를 판단할 수 있는 관심영역을 용이하게 도출할 수 있다.
또한, 본 발명의 실시예에 따르면, 딥러닝 알고리즘을 통해 학습된 얼굴데이터를 기초로 실제로 촬영영상 데이터에서 운전자와 동승자를 용이하게 구별할 수 있다.
또한, 본 발명의 실시예들에 따르면, 일정 시간 동안 딥러닝 알고리즘으로 학습된 운전자의 얼굴영역 데이터(히스토그램 정보 등)를 활용하여 실제로 촬영된 영상데이터에서 운전자의 상태를 판단할 수 있는 최적의 관심영역을 도출할 수 있다.
또한, 본 발명의 실시예들에 따르면, 카메라 모듈의 설치 장소가 제한적이지 않아 공간을 자유롭게 이용할 수 있으며, 카메라 모듈로부터 입력되는 영상데이터 중에서 불필요한 영역을 연산하지 않기 때문에 연산시간과 정확성을 동시에 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 기존 운전자 모니터링 시스템에 적용하여 운전 부주의 및 운전자의 특이상황을 효과적으로 검출할 수 있다.
또한, 현재 개발되고 있는 운전자 모니터링 시스템에 필요한 모델을 제공할 수 있으며, 다른 운전자 모니터링 시스템과 융합되어 시스템의 중추적 역할을 할 수 있다.
위에서 언급된 본 발명의 실시예에 따른 효과는 기재된 내용에만 한정되지 않고, 명세서 및 도면으로부터 예측 가능한 모든 효과를 더 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 운전자 모니터링 시스템의 전체적인 구성도이다.
도 2는 본 발명의 실시예에 따른 운전자 모니터링 방법을 보여주는 플로우차트이다.
도 3은 본 발명의 실시예에 따른 운전자 모니터링 시스템에서 촬영영역을 보여준다.
도 4는 본 발명의 실시예에 따라서 딥러닝 알고리즘에 의해서 학습되는 얼굴크기의 히스토그램을 보여주는 그래프이다.
도 5는 본 발명의 실시예에 따라서 운전자의 카메라 영상을 보여준다.
도 6은 본 발명의 실시예에 따라서 운전자의 얼굴데이터에서 특징점들을 보여준다.
도 7은 본 발명의 실시예에 따라서 운전자의 얼굴데이터의 움직임을 보여준다.
도 8은 본 발명의 다른 실시예에 따른 운전자 모니터링 시스템의 일부를 보여주는 개략적인 구성도이다.
본 발명은 이하에서 설명되는 특정 실시예에 한정되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 특정 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 뜻하지 않는 한 복수의 표현을 포함할 수 있다.
"포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 구성이나 작용 등 외에도 다른 구성이나 작용 등을 더 포함할 가능성이 있음을 의미한다. 제1, 제2 등의 용어는 구성요소들을 한정하기 위한 것이 아니며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적이다.
이하, 본 발명에 따른 관심영역을 이용한 운전자 모니터링 시스템. 의 실시예를 첨부도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 운전자 모니터링 시스템의 전체적인 구성도이다.
도 1을 참조하면, 운전자 모니터링 시스템(100)은 카메라 모듈(130), 및 연산부(110)를 포함하고, 연산부(110)는 얼굴데이터 검출부(112), 데이터 저장부(114), 운전자 판단부(116), 관심영역 설정부(118), 및 운전자 상태 판단부(120)를 포함한다.
상기 카메라 모듈(130)은 차량 실내의 영상을 검출하도록 미리 설정된 위치에 배치되고, 운전자를 식별하도록 적외선 카메라를 포함할 수 있으며, LED조명을 구비할 수 있다.
상기 얼굴데이터 검출부(112)는 상기 카메라 모듈(130)에서 검출된 영상에서 얼굴의 위치와 크기(윤곽)를 포함하는 얼굴데이터를 검출할 수 있다.
상기 데이터 저장부(114)는 상기 얼굴데이터 검출부(112)에서 검출된 얼굴 위치 및 크기(윤곽)을 포함하는 얼굴데이터를 저장하고, 상기 운전자 판단부(116)는 얼굴데이터로부터 운전자와 동승자를 구별할 수 있다.
상기 관심영역 설정부(118)는 저장된 얼굴데이터를 기초로 상기 카메라 모듈(130)에서 운전자의 얼굴데이터에 관심영역을 설정할 수 있고, 상기 관심영역 설정부(118)에서 설정된 관심영역의 데이터를 이용하여 운전자의 상태를 판단할 수 있다.
상기 연산부(110)는 설정된 프로그램에 의해 동작하는 하나 이상의 마이크로 프로세서로 구현될 수 있으며, 이러한 설정된 프로그램은 본 발명의 실시예에 따른 방법 등을 수행하기 위한 일련의 명령을 포함할 수 있다.
본 발명의 실시예에 따른 운전자 모니터링 시스템(100)에서, 연산 부하의 큰 요인은 알고리즘에 입력되는 카메라 모듈(130)의 영상데이터의 크기이므로 시스템 최적화를 하기 위해 가장 중요한 요소는 알고리즘에 입력되는 영상데이터의 크기를 줄이는 것이다.
따라서, 영상의 크기를 줄이는 방법에는 크게 2가지가 있는데, 이는 카메라 모듈로 입력되는 영상의 해상도를 낮추어 전체 영상의 크기를 줄이는 방법과 영상 속에서 운전자를 찾고 관심영역을 설정하는 방법이다.
본 발명의 실시예에서는 운전자의 상태를 판단하기 위해서 영상데이터에서 얼굴 주변 관심영역을 선택하는데, 이 관심영역을 설정하는 과정은 후술된다.
도 2는 본 발명의 실시예에 따른 운전자 모니터링방법을 보여주는 플로우차트이다.
도 2를 참조하면, S200에서 주행이 시작되고, S205에서 상기 카메라 모듈(130)이 작동된다. S210에서 관심영역의 설정이 완료되었는지 판단한다. 만약, 이 조건이 만족된 것으로 판단되면, S235을 수행하고, 이 조건이 만족되지 않은 것으로 판단되면, S215을 수행한다.
S215에서 얼굴데이터 검출부(112)가 딥러닝 알고리즘을 통해서 작동되는데, S220 내지 S230에서 조건이 충족될 때까지 얼굴데이터가 수집된다.
즉, 영상의 크기와 같은 배열(ARRAY)과 얼굴 크기의 값을 저장하는 배열(ARRAY)을 생성 후 카메라 모듈(130)로 들어오는 전체 영상데이터에 모든 얼굴데이터를 지속해서 딥러닝 알고리즘을 통해 검출하고, 검출된 얼굴을 생성된 배열 값에 저장하는데, 저장하는 방법은 검출된 얼굴 위치 배열 값에 얼굴 크기 값을 지속해서 저장한다. 즉, 얼굴데이터에는 얼굴의 위치와 크기(윤곽) 데이터가 포함된다. S225가 만족되지 않으면, S215가 다시 수행되고, S225가 만족되면, S235가 수행된다.
S235에서는 운전자를 판단하는 것으로, 동승자와 운전자를 구별할 수 있고, 영상데이터에서 운전자를 선택할 수 있다.
S235에서 관심영역이 설정되는데, 이는 딥러닝되어 저장된 얼굴데이터에서 위치와 윤곽 데이터를 기초로 설정된다.
좀 더 상세하게 설명하면, 저장된 데이터 중 가장 큰 빈도값을 가지는 위치가 운전자의 정자세에서 얼굴위치로 판단할 수 있고, 이 얼굴의 위치와 얼굴크기 값에서, 크기가 크고 빈도가 높은 데이터를 선택하여 운전자영역으로 판단한다.
그리고, 운전자의 행동반경을 고려하여 상하좌우 크기를 키워 준 뒤 관심영역으로 설정하며, 이러한 과정을 통해 카메라 모듈(130)로부터 입력된 영상데이터 중 설정된 관심영역을 추출한다.
S240에서는 관심영역에서 추출된 운전자의 얼굴데이터를 분석하여 운전자의 상태를 판단하는데, 졸음운전 상태 등을 판단하여 경고신호를 발생시킬 수 있으며, S245에서 주행이 종료된다.
도 3은 본 발명의 실시예에 따른 운전자 모니터링시스템에서 촬영영역을 보여준다. 도 3을 참조하면, 제1 영역(305)은 운전자를 포함하는 넓은 영역으로 운전자의 상태정보가 적고, 제2 영역(310)은 얼굴과 그 주변 영역을 보여주는 영역으로 운전자의 행동반경을 포함하여 운전자의 상태정보가 비교적 많으며, 제3 영역(315)은 운전자의 시선, 운전자의 얼굴표정, 흡연, 및 음식섭취 등을 포함하여 운전자의 상태 정보의 밀도가 가장 높다.
본 발명의 실시예에서는 제2 영역(310) 또는 제3 영역(315)을 관심영역을 설정하여, 운전자의 상태를 판단하기 위한 부하를 줄이고, 감지 오류도 함께 줄일 수 있다.
도 4는 본 발명의 실시예에 따라서 딥러닝 알고리즘에 의해서 학습되는 얼굴크기의 히스토그램을 보여주는 그래프이고, 도 5는 본 발명의 실시예에 따라서 운전자의 카메라 영상을 보여준다.
도 4에서는 사용한 학습 데이터의 얼굴 크기의 분포를 보여주는 것으로, 딥러닝을 통해서 얼굴을 검출하는 방법은 YOLO V2를 사용하였으며, 학습에 사용한 데이터는 20만 개의 얼굴 데이터를 사용했다.
또한, 학습데이터 중에서 얼굴의 크기가 1000보다 작은 것은 제외하여 학습을 진행했다. 그 밖의 환경은 배치 크기는 10, 학습률은 2 x 10^5, 최적화 함수는 Adam을 사용했다.
도 5는 실제 주행하는 영상데이터를 사용하여 제안한 방법으로 운전자의 관심영역(500)을 설정한다. 그 후 설정된 관심영역(500)이 정상적으로 이루어졌는지를 확인하기 위해 사람의 시선을 검출하는 gazeML 모델을 시스템에 적용할 수 있다.
도 6은 본 발명의 실시예에 따라서 운전자의 얼굴데이터에서 특징점들을 보여주고, 도 7은 본 발명의 실시예에 따라서 운전자의 얼굴데이터의 움직임을 보여준다.
도 6을 참조하면, 얼굴데이터에서 주요 특징을 갖는 특징점(610)들을 감지하고, 이러한 특징점(610)의 이동특성을 이용하여, 도 7에 기재된 바와 같이 운전자 얼굴의 PITCH, YAW, 및 ROLL상태를 판단할 수 있고, 운전자의 시선, 눈의 깜박거림, 및 얼굴표정도 판단할 수 있다.
본 발명의 실시예에 따른 운전자 모니터링 시스템은 운전자를 식별하고 적외선 카메라와 LED 조명 등을 이용해서 운전자의 시선 방향과 깜박거림을 모니터링하여 졸음운전 등 부주의한 운전 상황을 판단해 운전자에게 경고할 수 있다.
또한, 카메라의 영상에서 컴퓨터 자원을 소비하지 않아도 되는 영역을 제외시켜 컴퓨터 자원의 효율적 관리하고, 카메라 설치 위치를 고정하지 않아 공간을 자유롭게 이용 가능하다.
즉, 윈도우 시스템에서 파이썬과 GPU연산 환경으로 시스템을 구축하여 영상을 테스트하고, 운전자의 관심영역을 찾아 설정하여 기존 방법에 비해 컴퓨터 연산 시간과 연산량을 감소시킬 수 있다.
뿐만 아니라, 관심영역의 영상에 대해 얼굴표정, 시선, 및 눈꺼풀을 추정하여 기존 방법에 비해 높은 정확도와 안전성을 구현할 수 있으며, 관심영역 속의 영상을 사용 하여 기존의 시스템에서 동승자를 검출하는 오류도 해결할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 운전자 모니터링 시스템의 일부를 보여주는 개략적인 구성도이다.
도 8을 참조하면, 데쉬 보드(810) 후방에 조향 핸들(800)이 배치되고, 상기 조향 핸들(800)의 뒤쪽으로 운전자가 배치되며, 상기 데쉬 보드(810)의 상부 측에 카메라 모듈(130)이 배치된다. 여기서, 운전자의 얼굴을 촬영할 수 있는 조건에서 상기 카메라 모듈(130)의 위치는 변경될 수 있다.
상기 카메라 모듈(130)은 운전자 얼굴을 향하고 영상을 촬영하되, 상기 조향 핸들(800)도 일부 포함하도록 촬영한다.
그리고, 상기 관심영역 설정부(118)는 상기 조향 핸들(800)의 적어도 일부가 상기 관심영역에 포함되도록 하고, 상기 운전자 상태 판단부(120)는 상기 조향 핸들(800)의 움직임을 통해서 운전자의 상태를 판단할 수 있다. 예를 들어서, 상기 운전자 상태 판단부(120)는 상기 조향 핸들(800)의 움직임이 없을 경우에 경고신호를 생성할 수 있다.
이상에서 본 발명의 실시예들에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
100: 시스템 110: 연산부
112: 얼굴데이터 검출부 114: 데이터 저장부
116: 운전자 판단부 118: 관심영역 설정부
120: 운전자 상태 판단부 130: 카메라 모듈
305: 제1 영역 310: 제2 영역
315: 제3 영역 500: 관심영역

Claims (7)

  1. 차량 실내의 영상을 촬영하는 카메라 모듈;
    상기 카메라 모듈에서 촬영된 영상에서 운전자의 얼굴의 위치와 윤곽을 갖는 얼굴데이터를 검출하는 얼굴데이터 검출부;
    상기 얼굴데이터 검출부에서 검출된 얼굴데이터를 저장하는 데이터 저장부;
    저장된 얼굴데이터를 기초로 관심영역을 설정하는 관심영역 설정부; 및
    상기 관심영역 설정부에서 설정된 관심영역에서 수집된 데이터를 이용하여 운전자의 상태를 판단하는 운전자 상태 판단부; 를 포함하는 관심영역을 이용한 운전자 모니터링 시스템.
  2. 제 1 항에 있어서,
    상기 얼굴데이터 검출부는 딥러닝 알고리즘을 통해서 상기 카메라 모듈로부터 전송되는 전체 영상데이터에서 얼굴데이터를 검출하는 것을 특징으로 하는 관심영역을 이용한 운전자 모니터링 시스템.
  3. 제 1 항에 있어서,
    상기 관심영역 설정부는 운전자의 얼굴데이터에 대한 히스토그램 정보에 포함된 얼굴의 위치 및 윤곽 데이터를 이용하여, 관심영역을 설정하는 것을 특징으로 하는 관심영역을 이용한 운전자 모니터링 시스템.
  4. 제 1 항에 있어서,
    상기 관심영역 설정부는 운전자의 행동반경 데이터를 고려하여 상기 관심영역을 설정하는 것을 특징으로 하는 관심영역을 이용한 운전자 모니터링 시스템.
  5. 제 1 항에 있어서,
    상기 운전자 상태 판단부는 상기 카메라 모듈에 의해서 촬영된 얼굴데이터에서 미리 설정된 특징점들에 대한 데이터를 검출하는 것을 특징으로 하는 관심영역을 이용한 운전자 모니터링 시스템.
  6. 제 1 항에 있어서,
    상기 카메라 모듈은 적외선카메라와 조명을 포함하고, 상기 운전자 상태 판단부는 운전자의 시선, 눈의 깜박거림, 및 얼굴 표정을 이용하여 운전상태를 판단하는 것을 특징으로 하는 관심영역을 이용한 운전자 모니터링 시스템.
  7. 제 1 항에 있어서,
    상기 카메라 모듈은 운전석의 조향 핸들 전방 일측에 장착되고,
    상기 관심영역 설정부는 상기 조향 핸들의 적어도 일부가 상기 관심영역에 포함되도록 하고, 상기 운전자 상태 판단부는 상기 조향 핸들의 움직임을 통해서 운전자의 상태를 판단하는 것을 특징으로 하는 관심영역을 이용한 운전자 모니터링 시스템.
KR1020190174961A 2019-12-26 2019-12-26 관심영역을 이용한 운전자 모니터링 시스템 KR102338067B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190174961A KR102338067B1 (ko) 2019-12-26 2019-12-26 관심영역을 이용한 운전자 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190174961A KR102338067B1 (ko) 2019-12-26 2019-12-26 관심영역을 이용한 운전자 모니터링 시스템

Publications (2)

Publication Number Publication Date
KR20210082723A true KR20210082723A (ko) 2021-07-06
KR102338067B1 KR102338067B1 (ko) 2021-12-10

Family

ID=76860778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190174961A KR102338067B1 (ko) 2019-12-26 2019-12-26 관심영역을 이용한 운전자 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR102338067B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230071593A (ko) * 2021-11-16 2023-05-23 전남대학교산학협력단 인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128961A (ja) * 2008-11-28 2010-06-10 Toyota Motor Corp 画像監視装置
KR20120074820A (ko) * 2010-12-28 2012-07-06 대성전기공업 주식회사 얼굴 인식 기능을 이용한 차량 제어 시스템
KR101914190B1 (ko) 2017-06-12 2018-11-01 동국대학교 산학협력단 운전자 시선 추적 장치 및 방법
KR20190063986A (ko) * 2017-11-30 2019-06-10 주식회사 라스테크 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템
KR20190083155A (ko) * 2018-01-03 2019-07-11 한국전자통신연구원 운전자 상태 검출 장치 및 그 방법
KR20190095908A (ko) 2018-11-21 2019-08-16 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치
KR102017766B1 (ko) 2018-02-05 2019-10-15 동국대학교 산학협력단 딥 러닝 기반의 차량 운전자 시선 추적 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128961A (ja) * 2008-11-28 2010-06-10 Toyota Motor Corp 画像監視装置
KR20120074820A (ko) * 2010-12-28 2012-07-06 대성전기공업 주식회사 얼굴 인식 기능을 이용한 차량 제어 시스템
KR101914190B1 (ko) 2017-06-12 2018-11-01 동국대학교 산학협력단 운전자 시선 추적 장치 및 방법
KR20190063986A (ko) * 2017-11-30 2019-06-10 주식회사 라스테크 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템
KR20190083155A (ko) * 2018-01-03 2019-07-11 한국전자통신연구원 운전자 상태 검출 장치 및 그 방법
KR102017766B1 (ko) 2018-02-05 2019-10-15 동국대학교 산학협력단 딥 러닝 기반의 차량 운전자 시선 추적 장치 및 방법
KR20190095908A (ko) 2018-11-21 2019-08-16 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230071593A (ko) * 2021-11-16 2023-05-23 전남대학교산학협력단 인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR102338067B1 (ko) 2021-12-10

Similar Documents

Publication Publication Date Title
CN111741884B (zh) 交通遇险和路怒症检测方法
EP2380766B1 (en) Impaired Operation Detection Method and Impaired Operation Detection System
US9662977B2 (en) Driver state monitoring system
CN110765807B (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
US10817751B2 (en) Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and recording medium
US9064419B2 (en) Driver condition assessment device
US9090264B1 (en) Vision-based wet road surface detection
CN110576862B (zh) 基于拖车摇摆控制车辆
US10588549B2 (en) Driver's physical condition detection device and method
US11807277B2 (en) Driving assistance apparatus
JP7154959B2 (ja) 走行状況判断情報基盤の運転者状態認識装置及び方法
JP2008204107A (ja) 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
US10268903B2 (en) Method and system for automatic calibration of an operator monitor
US11538258B2 (en) Analysis apparatus, analysis method, and non-transitory storage medium for deciding the number of occupants detected in a vehicle
US10343681B2 (en) Apparatus and method for controlling stop of vehicle
KR102338067B1 (ko) 관심영역을 이용한 운전자 모니터링 시스템
US20130162791A1 (en) Vehicular warning system and method
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
JP5036620B2 (ja) 運転状態判定装置
US20230041371A1 (en) Driver Attention And Hand Placement Systems And Methods
US11208109B2 (en) Driver condition estimating device, driver condition estimating method and computer program therefor
US20230137063A1 (en) Driver assistance device
EP3654246B1 (en) Method, vehicle, system, and storage medium for indicating anomalous vehicle scenario using encoder network and replay buffer

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant