KR20230147963A - 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법 - Google Patents

운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법 Download PDF

Info

Publication number
KR20230147963A
KR20230147963A KR1020220046991A KR20220046991A KR20230147963A KR 20230147963 A KR20230147963 A KR 20230147963A KR 1020220046991 A KR1020220046991 A KR 1020220046991A KR 20220046991 A KR20220046991 A KR 20220046991A KR 20230147963 A KR20230147963 A KR 20230147963A
Authority
KR
South Korea
Prior art keywords
driver
feature point
driver monitoring
monitoring system
eye feature
Prior art date
Application number
KR1020220046991A
Other languages
English (en)
Inventor
오은송
지인찬
양대웅
Original Assignee
(주)딥인사이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)딥인사이트 filed Critical (주)딥인사이트
Priority to KR1020220046991A priority Critical patent/KR20230147963A/ko
Publication of KR20230147963A publication Critical patent/KR20230147963A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법에 관한 것이다.
본 발명의 일 실시예에 따른 운전자 모니터링 시스템은 운전자 얼굴을 3D 이미지로 획득하는 3D 카메라; 내부에 설치공간이 형성된 케이스; 상기 케이스에 일측부가 설치되고 상기 카메라에 타측부가 고정되어 상기 카메라를 상기 케이스에 연결시키는 연결부; 상기 케이스를 상기 차량의 내부에 고정시키는 고정부; 상기 케이스의 내부에 설치되고 상기 3D 이미지를 저장하는 저장부; 및 상기 케이스의 내부에 설치되고 상기 3D 카메라 및 상기 저장부와 통신적으로 연결되어 제어하는 제어부를 포함하고, 상기 제어부는, 상기 3D 카메라로부터 획득한 이미지에서 얼굴의 특징점의 3D 위치를 산출하고, 상기 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하도록 제어할 수 있다.

Description

운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법{Driver monitoring system and driver monitoring method using the same}
본 발명은 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법에 관한 것이다.
최근 들어 자동차에는 소비자의 편의 그리고 안전을 위한 장치가 많이 보급되고 있다. 편의 장치로써 주차 보조를 위한 전/후/좌/우측 카메라와 자동차의 상태를 한눈에 파악할 수 있는 통합 디스플레이 장치의 보급이 보편화되고 있는 추세에 있다.
한편, 자동차의 안전을 위한 장치로서, 차선 이탈 경보 장치나 앞차와의 간격을　감지하는 장치 등이 서서히 보급되고 있으며, 여기에 더불어　운전자의　졸음　운전이나 기타 다른 이유로　운전자가 정상적인 운전을 하지 못할 때 발생할 수 있는 사고를 미연에 방지하기 위한　운전자　상태 인식 기술에 대한 연구가 진행되고 있다. 이에 따라 주요 자동차 제조업체들은 차량의 안전운행을 보조하는 기능으로서 졸음 감지 또는 졸음 방지 등의 기능을 부가하고 있다.
한편, 졸음운전 감지 기술은 카메라에 의해 획득한 운전자의 얼굴 이미지를 기반으로 하는 방법이 일반적이다. 이러한 기술은 주로 얼굴의 특징점을 이용하여 운전자의 움직임을 감지함으로써, 졸음 여부를 결정한다.
그러나 종래의 운전자 모니터링 시스템은 스테레오 카메라를 기반으로 하기 때문에 복잡한 연산 및 카메라의 동기화에 따라 모니터링 정확도가 감소하고 결정 소요시간이 증가하는 문제점이 있다. 따라서 신속하면서도 정확하게 운전자의 상태를 파악할 수 있는 시스템의 개발이 요구되고 있다.
대한민국 등록특허공보 제10-2184109호
상기와 같은 기술적 배경을 바탕으로 안출된 것으로, 본 발명의 일실시예는 3D 카메라 이미지를 기반으로 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 운전자의 졸음 상태를 정확하고 신속하게 모니터링할 수 있는 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법을 제공하고자 한다.
상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 운전자 모니터링 시스템은 운전자 얼굴을 3D 이미지로 획득하는 3D 카메라; 내부에 설치공간이 형성된 케이스; 상기 케이스에 일측부가 설치되고 상기 카메라에 타측부가 고정되어 상기 카메라를 상기 케이스에 연결시키는 연결부; 상기 케이스를 차량의 내부에 고정시키는 고정부; 상기 케이스의 내부에 설치되고 상기 3D 이미지를 저장하는 저장부; 및 상기 케이스의 내부에 설치되고 상기 3D 카메라 및 상기 저장부와 통신적으로 연결되어 제어하는 제어부를 포함하고, 상기 제어부는, 상기 3D 카메라로부터 획득한 이미지에서 얼굴의 특징점의 3D 위치를 산출하고, 상기 얼굴의 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하도록 제어할 수 있다.
또한, 상기 3D 카메라의 외부면에는　거울이 마련될 수 있다.
또한, 상기 케이스의 일측부에는 메모부가 마련될 수 있다.
또한, 상기 연결부는, 상기 케이스의 내부에 배치되는 회전축; 상기 회전축에 일단부가 연결되고 상기 3D 카메라에 타단부가 연결되는 연결바; 상기 회전축을 상기 케이스의 내부에 연결시키는 연결브라켓을 포함할 수 있다.
또한, 상기 제어부는, 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출하고, 상기 눈 특징점의 위치 변화율이 제1 임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정하도록 제어할 수 있다.
또한, 상기 제어부는, 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 상기 눈 특징점 사이의 간격을 산출하고, 상기 눈 특징점의 위치 변화율이 제1 임계값 이상이며, 상기 눈 특징점 사이의 간격(δ)이 제2 임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정하도록 제어할 수 있다.
또한, 상기 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값일 수 있다.
또한, 상기 제어부는 상기 획득한 이미지에 따라 운전자를 식별하고, 해당 운전자별 이미지 정보를 상기 저장부에 저장하도록 제어하며, 상기 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값일 수 있다.
또한, 상기 눈 특징점의 위치 변화율은 변화 속도에 기초하여 산출되고, 상기 제어부는 일정한 위치 변화율이 일정 횟수 발생하면 졸음 상태로 결정하도록 제어할 수 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 운전자 모니터링 시스템을 이용한 운전자 모니터링 방법은 3D 카메라로 운전자 얼굴의 3D 이미지를 획득하는 단계; 제어부에 의해 3D 이미지에서 얼굴의 특징점의 3D 위치를 산출하는 단계; 및 제어부에 의해 상기 얼굴의 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하는 단계를 포함할 수 있다.
또한, 상기 3D 위치를 산출하는 단계는 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출하고, 상기 결정하는 단계는 상기 눈 특징점의 위치 변화율이 제1 임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다.
또한, 상기 3D 위치를 산출하는 단계는 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 상기 눈 특징점 사이의 간격을 산출하고, 상기 결정하는 단계는 상기 눈 특징점의 위치 변화율이 제1 임계값 이상이며, 상기 눈 특징점 사이의 간격(δ)이 제2 임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다.
또한, 상기 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값일 수 있다.
또한, 상기 획득한 이미지에 따라 운전자를 식별하고, 해당 운전자별 이미지 정보를 저장부에 저장하는 단계를 더 포함하고, 상기 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값일 수 있다.
또한, 상기 3D 위치를 산출하는 단계는 변화 속도에 기초하여 상기 눈 특징점의 위치 변화율을 산출하고, 상기 결정하는 단계는 일정한 위치 변화율이 일정 횟수 발생하면 졸음 상태로 결정할 수 있다.
본 발명의 일 실시예에 따른 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법은 3D 카메라 이미지를 기반으로 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 운전자의 졸음 상태를 결정함으로써, 깊이 정보를 적용하여 얼굴 특징점의 위치 및 위치 변화를 정확하게 산출할 수 있으므로 운전자의 졸음 상태를 정확하게 모니터링할 수 있어 제품의 신뢰성을 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법은 얼굴 특징점의 3D 좌표를 기반으로 위치 변화를 산출함으로써, 비교적 연산량이 적으므로 운전자의 졸음 상태를 신속하게 모니터링할 수 있어 운전자의 안전 운전을 보장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템이 차량에 적용된 것을 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템을 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템을 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템을 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템의 연결부를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템의 연결부를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템의 블록도이다.
도 8은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점 산출을 설명하기 위한 측면도이다.
도 9는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점의 위치 변화를 설명하기 위한 측면도이다.
도 10은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점의 위치 변화율을 설명하기 위한 측면도이다.
도 11은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 순서도이다.
도 12는 본 발명의 일 실시예에 따른 운전자 모니터링 방법에서 제1예의 결정 절차를 나타낸 순서도이다.
도 13은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 제2예의 결정 절차를 나타낸 순서도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서는 도면을 참조하여 본 발명의 실시예에 따른 운전자 모니터링 시스템을 보다 상세히 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템이 적용된 차량에서의 운전자의 일예를 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템의 블록도이다.
도 1 내지 도 7을 참고하면, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템(100)은 3D 카메라(110), 케이스(150), 연결부(160), 고정부(170), 저장부(120) 및 제어부(140)를 포함할 수 있다.
운전자 모니터링 시스템(100)은 운전자의 졸음 여부를 결정하기 위한 것으로, 운전자의 얼굴을 촬영하도록 차량(10) 내에서 운전자의 전방에 구비될 수 있다. 이때, 운전자 모니터링 시스템(100)은 운전자가 전방을 주시하는데 방해가 되지 않는 위치에 구비될 수 있다. 일례로, 운전자 모니터링 시스템(100)은 핸들(11) 또는 그 부근에 구비될 수 있다. 또한, 운전자 모니터링 시스템(100)은 차량(10) 내부의 전면 계기판(12)에 설치될 수 있다.
3D 카메라(110)는 운전자 얼굴을 3D 이미지로 획득할 수 있다. 여기서, 3D 카메라(110)는 2D 이미지에 원근감에 따른 깊이(depth) 정보를 포함하는 이미지를 획득할 수 있다. 일례로, 3D 카메라(110)는 ToF(Time-Of-Flight) 카메라일 수 있다. 여기서, 3D 카메라(110)는 높은 X-Y 해상도를 가질 수 있다. 부가적으로, 3D 카메라의 외부면에는 거울이 마련될 수 있다.
이 때, 거울은 특수 코팅처리로 투과율을 가지는 거울 또는 필터로 마련될 수 있다.
케이스(150)는 내부에 설치공간이 형성될 수 있다. 그리고, 케이스(150)의 일측부에는 메모부가 마련될 수 있다. 또한, 메모부에는 운전자의 연락처 등이 기재될 수 있다. 그리고, 케이스(150)의 타측부에는 케이스(150)의 내부의 열을 방출하기 위한 방열판이 마련될 수 있다.
연결부(160)는 케이스(150)에 일측부가 설치되고 3D 카메라(110)에 타측부가 고정되어 3D 카메라(110)를 케이스(150)에 연결시킬 수 있다.
그리고, 연결부(160)는 회전축(161), 연결바(162), 연결브라켓(163)을 포함할 수 있다.
회전축(161)은 케이스(150)의 내부에 배치될 수 있다. 그리고, 회전축(161)의 외주면의 단부에는 외측으로 돌출된 고정턱(161a)이 마련될 수 있다.
연결바(162)는 회전축(161)에 일단부가 연결되고 3D 카메라(110)에 타단부가 연결될 수 있다.
연결브라켓(163)은 회전축(161)을 케이스(150)의 내부에 연결시킬 수 있다. 좀 더 자세히 말하자면, 연결브라켓(163)은 일측부가 케이스(150)의 내부에 연결되고, 타측부가 회전축(161)의 일부를 감싸며 회전축(161)에 연결될 수 있다. 또한, 연결브라켓(163)의 타측부에는 복수개의 고정홈(163h)이 형성될 수 있다.
그리고, 회전축(161)은 회전될 수 있고, 연결브라켓(163)에 형성된 복수개의 고정홈(163h) 중 하나에 고정턱(161a)이 삽입되어 연결브라켓(163)에 고정될 수 있다. 좀 더 자세히 말하자면, 회전축(161)이 외력으로 인해 회전될 때, 연결브라켓(163)의 타측부는 탄성적으로 인장될 수 있다. 그리고, 회전축(161)이 회전을 멈춘 경우, 연결브라켓(163)의 타측부는 기존 형상으로 복구될 수 있다.
고정부(170)는 케이스(150)를 차량(10)의 내부에 고정시킬 수 있다.
저장부(120)는 3D 카메라(110)에서 획득된 3D 이미지를 저장할 수 있다. 또한, 저장부(120)는 제어부(140)에서 3D 이미지를 처리한 결과로서, 3D 이미지 내의 얼굴 특징점에 대한 위치 및 위치변화율을 저장할 수 있다.
제어부(140)는 3D 카메라(110) 및 저장부(120)와 통신적으로 연결되어 제어할 수 있다. 일례로, 제어부(140)는 운전자 모니터링 시스템(100)에 내장된 독립적인 컨트롤러일 수 있다. 다른 예로서, 제어부(140)는 차량(10)에 구비된 ECU(Electric Control Unit)일 수 있다. 이 경우, ECU는 제어부(140)에서 수행하는 기능으로서, 후술하는 바와 같은 방법에 대응하는 프로그램이 설치될 수 있다.
제어부(140)는 3D 카메라(110)로부터 획득한 이미지에서 얼굴의 특징점의 3D 위치를 산출하도록 제어할 수 있다. 아울러, 제어부(140)는 산출된 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 운전자의 졸음 여부를 판단하도록 제어할 수 있다.
도 8 내지 도 10을 참조하여, 운전자의 졸음 여부 판단을 더 상세하게 설명한다.
도 8은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점 산출을 설명하기 위한 측면도이다.
도 8을 참조하면, 제어부(140)는 3D 카메라(110)에서 획득된 3D 이미지에서 얼굴의 특징점을 산출할 수 있다. 이때, 얼굴의 특징점은 제1특징점으로서 눈꺼풀(A) 및 제2특징점으로서 눈의 하단(B)일 수 있다.
여기서, 제1특징점(A) 및 제2특징점(B)은 3D 좌표로 나타낼 수 있다. 즉, 제1특징점(A) 및 제2특징점(B)은 2D 이미지에 대응하는 X-Y 좌표와 함께 원근에 대응한 깊이를 나타내는 Z 좌표로 나타낼 수 있다.
이때, 제어부(140)는 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정할 수 있다. 여기서, 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값일 수 있다. 아울러, 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값일 수 있다.
일례로, 제어부(140)는 도 9에 도시된 바와 같이, 제1특징점(A)과 제2특징점(B) 사이의 간격, 즉, 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)에 따라 운전자의 졸음 여부를 결정하도록 제어할 수 있다.
다른 예로서, 제어부(140)는 도 10에 도시된 바와 같이, 제1특징점(A)의 위치 또는 제2특징점(B)의 위치의 시간에 따른 변화율을 기초로 운전자의 졸음 여부를 결정하도록 제어할 수 있다.
이에 의해, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템(100)은 깊이 정보를 적용하여 눈 특징점의 위치 및 위치 변화를 정확하게 산출할 수 있으므로 운전자의 졸음 상태를 정확하게 모니터링할 수 있고, 따라서 제품의 신뢰성을 향상시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점의 위치 변화를 설명하기 위한 측면도이다.
제어부(140)는 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점 사이의 간격(δ)을 산출하도록 제어할 수 있다. 여기서, 눈 특징점은 제1특징점(A) 및 제2특징점(B)을 포함할 수 있다. 즉, 제어부(140)는 제1특징점(A)의 위치와 제2특징점(B) 위치 사이의 간격(δ)을 각 특징점의 3D 좌표를 기반하여 산출하도록 제어할 수 있다.
이에 의해, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템(100)은 3D 좌표 기반으로 비교적 연산량이 적으므로 운전자의 졸음 상태를 신속하게 모니터링할 수 있고 따라서 운전자의 안전 운전을 보장할 수 있다.
제어부(140)는 제1특징점(A)과 제2특징점(B) 사이의 간격이 제2 임계값 미만이면 졸음 상태로 결정하도록 제어할 수 있다. 다시 말해, 제어부(140)는 제1특징점(A)과 제2특징점(B) 사이의 간격이 제2 임계값 미만일 경우에 졸음 상태를 사전에 예측하고 졸음 상태를 결정하도록 제어할 수 있다.
도 4에 도시된 바와 같이, 운전자가 눈을 완전히 감는 경우, 제1특징점(A')은 제2특징점(B)으로 이동된다. 이와 같이, 제1특징점(A)과 제2특징점(B) 사이의 간격(δ)이 "0"인 경우, 제어부(140)는 운전자의 졸음 상태로 결정하도록 제어할 수 있다. 다시 말해, 제어부(140)는 제1특징점(A)과 제2특징점(B) 사이의 간격(δ)이 "0"인 경우에 졸음 상태를 사전에 예측하고 졸음 상태를 결정하도록 제어할 수 있다.
이때, 제1특징점(A)은 눈꺼풀에 대응하므로 운전자가 일반적으로 눈꺼풀을 깜박이는 경우와 같이 아주 짧은 시간 동안은 반복적으로 제2특징점(B)과의 간격(δ)이 "0" 또는 매우 작은 값으로 감소한다. 또한, 일반적으로 사람이 졸고 있는 경우에는 눈꺼풀이 거의 감진 상태가 비교적 길어진다.
따라서 제어부(140)는 제1특징점(A)과 제2특징점(B) 사이의 간격(δ)이 제2 임계값 미만인 상태에서 일정시간을 경과한 경우에만 졸음 상태로 결정하도록 제어할 수 있다. 여기서, 제2 임계값은 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)에 대하여 5~10% 이하일 수 있다. 일례로, 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)은 차량(10)의 운전 개시 후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값에 기초하여 산출된 간격 값일 수 있다.
다른 예로서, 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)은 해당 운전자의 눈 특징점 위치의 누적 평균값에 기초하여 산출된 간격 값일 수 있다. 이때, 제어부(140)는 카메라(130)로부터 획득된 이미지에 따라 운전자를 식별할 수 있다. 또한, 제어부(140)는 식별된 운전자별 이미지 정보를 저장부(120)에 저장하도록 제어할 수 있다.
또한, 일정시간은 졸음 결정을 위한 기준시간으로서 0.1~1.5초 일 수 있다. 여기서, 0.1초 미만 경우, 일반적인 눈 깜박임에 대응하는 것으로 운전자의 졸음 결정에 대하여 오류가 빈번할 수 있다. 반면, 1.5초를 초과하면, 이미 졸음 상태임에 불구하고 졸음 상태를 알람하지 못하여 운전자가 졸음에 대응하지 못해 사고를 초래할 수 있다.
이 경우, 일정시간은 차량의 속도에 따라 결정될 수 있다. 즉, 제어부(140)는 차량(10)이 고속인 경우에는 안전을 위해 졸음 결정을 위한 기준시간을 감소하고, 차량(10)이 저속인 경우에는 정확한 졸음 판정을 위해 기준시간을 증가하도록 제어할 수 있다.
도 10은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점의 위치 변화율을 설명하기 위한 측면도이다.
제어부(140)는 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출하도록 제어할 수 있다. 여기서, 눈 특징점은 제1특징점(A) 또는 제2특징점(B)을 포함할 수 있다. 즉, 제어부(140)는 제1특징점(A) 및 제2특징점(B) 중 어느 하나의 위치 변화율을 각 특징점의 3D 좌표를 기반으로 산출하도록 제어할 수 있다.
제어부(140)는 제1특징점(A) 또는 제2특징점(B)의 위치 변화율이 제2 임계값 이상이면 졸음 상태로 결정하도록 제어할 수 있다. 도 5에 도시된 바와 같이, 운전자가 조는 경우, 머리를 앞뒤로 또는 위아래로 흔드는 경우, 제1특징점(A')도 동일하게 앞뒤 또는 위아래로 이동한다. 이하에서, 제1특징점(A)을 예로 하여 설명하지만, 제어부(140)는 제2특징점(B) 또는 이마 등과 같은 얼굴의 다른 특징점을 기반으로 졸음 여부를 결정하도록 제어할 수 있다.
이때, 일반적으로 운전자가 조는 경우, 머리의 흔들림은 일정시간 간격으로 반복된다. 이는 운전자가 특정 행동을 하는 경우와는 차이가 있다. 즉, 운전자가 대화중 단순히 고개를 끄덕이거나 좌우측 사이드 밀러를 보기 위해 고개를 돌리는 행동은 횟수에 제한적이며, 고개를 끄덕이거나 고개를 돌린 후 윈래 위치로 돌아오는 동작에 소요되는 시간이 비교적 짧을 수 있다.
따라서 제어부(140)는 제1특징점(A)의 위치 변화율이 제1 임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정하도록 제어할 수 있다. 여기서, 위치 변화율은 시간 경과에 따른 이전 위치에 대한 현재 위치의 변화 정도를 의미한다. 일례로, 위치 변화율은 0.2초당 위치 변화율을 의미한다. 제1 임계값은 정상인 경우의 제1특징점(A)의 위치에 대하여 ±5~10% 이상의 위치 변화값일 수 있다. 여기서, 정상인 경우의 제1특징점(A)의 위치는 차량(10)의 운전 개시 후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값에 기초하여 산출된 위치 값일 수 있다. 다른 예로서, 정상인 경우의 제1특징점(A)의 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값에 기초하여 산출된 위치 값일 수 있다.
또한, 위치 변화율은 일정한 크기의 위치 변화에 따른 소요 시간의 변화를 의미할 수 있다. 즉, 반복적으로 고개가 끄덕이는 경우, 위치 변화의 크기는 유사할 수 있지만, 고개가 위로 올라가는 속도보다 아래로 떨어지는 속도가 급격하게 변화할 수 있다. 이때, 제1 임계값은 정상적으로 고개를 끄덕이는 경우의 제1특징점(A)의 위치 변화 속도에 대한 5~10% 이상의 속도 변화값일 수 있다. 여기서, 정상적으로 고개를 끄덕이는 경우의 제1특징점(A)의 위치 변화 속도는 차량(10)의 운전 개시후 대화중에 고개를 끄덕이는 경우에 산출된 위치 변화 속도 값일 수 있다.
이때, 일정시간은 졸음 결정을 위한 기준시간으로서 0.5~1.5초 일 수 있다. 여기서, 0.5초 미만 경우, 일반적인 고개의 끄덕임이나 고개의 돌림에 대응하는 것으로 운전자의 졸음 결정에 대하여 오류가 빈번할 수 있다. 반면, 1.5초를 초과하면, 이미 졸음 상태임에 불구하고 졸음 상태를 알람하지 못하여 운전자가 졸음에 대응하지 못해 사고를 초래할 수 있다.
아울러, 일정시간은 횟수로 변경될 수 있다. 즉, 제어부(140)는 제1특징점(A)의 일정한 위치 변화율이 반복적으로 나타낸 횟수를 기반으로 졸음 여부를 결정할 수 있다. 이 경우, 제1 임계값은 3회 이상일 수 있다.
또한, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템(100)은 알람부(130)를 더 포함할 수 있다.
알람부(130)는 제어부(140)의 제어에 따라 운전자의 졸음 상태가 결정되면 이를 운전자에게 알람하기 위한 것으로서, 제어부(140)의 제어에 따라 음성 또는 시각적으로 알람할 수 있다.
여기서, 알람부(130)는 졸음 경고를 안내하는 음성을 출력하는 음성출력부일 수 있다. 일례로, 음성출력부는 차량(10)에 구비된 스피커일 수 있다. 이 경우, 운전자 모니터링 시스템(100)은 저장부(120)에 저장된 졸음 경고를 나타내는 음성 신호를 차량(10)의 스피커로 출력할 수 있다. 다른 예로서, 음성출력부는 운전자 모니터링 시스템(100)에 구비된 스피커일 수 있다.
또한, 알람부(130)는 졸음 경고에 대응하는 신호를 디스플레이하는 디스플레이일 수 있다. 일례로, 디스플레이는 차량(10)에 구비된 디스플레이일 수 있다. 이 경우, 운전자 모니터링 시스템(100)은 저장부(120)에 저장된 졸음 경고를 나타내는 이미지 신호를 차량(10)의 디스플레이로 출력할 수 있다. 다른 예로서, 디스플레이는 운전자 모니터링 시스템(100)에 구비된 LED일 수 있다. 이 경우, LED는 졸음 경고를 위해 절멸될 수 있다.
이하, 도 11 내지 도 13을 참조하여 본 발명의 일 실시예에 따른 운전자 모니터링 방법을 설명한다.
도 11은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 순서도이다.
운전자 모니터링 방법(200)은 3D 이미지를 획득하는 단계(S210), 특징점의 3D 위치를 산출하는 단계(S220) 및 졸음 여부를 결정하는 단계(S230)를 포함할 수 있다.
보다 상세히 설명하면, 도 11에 도시된 바와 같이, 먼저, 운전자 모니터링 시스템(100)은 3D 카메라(110)로 운전자 얼굴의 3D 이미지를 획득한다(단계 S210). 이때, 운전자 모니터링 시스템(100)은 ToF 카메라를 이용하여 2D 이미지에 원근감에 따른 깊이 정보를 포함하는 이미지를 획득할 수 있다.
다음으로, 운전자 모니터링 시스템(100)은 3D 이미지에서 얼굴의 특징점의 3D 위치를 산출한다(단계 S220). 여기서, 얼굴의 특징점은 제1특징점으로서 눈꺼풀(A) 및 제2특징점으로서 눈의 하단(B)일 수 있다.
이때, 제1특징점(A) 및 제2특징점(B)은 3D 좌표로 나타낼 수 있다. 즉, 제1특징점(A) 및 제2특징점(B)은 2D 이미지에 대응하는 X-Y 좌표와 함께 원근에 대응한 깊이를 나타내는 Z 좌표로 나타낼 수 있다.
다음으로, 운전자 모니터링 시스템(100)은 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정한다(단계 S230). 여기서, 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값일 수 있다. 아울러, 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값일 수 있다.
이때, 운전자 모니터링 시스템(100)은 도 12에 도시된 바와 같이, 제1특징점(A)과 제2특징점(B) 사이의 간격, 즉, 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)에 따라 운전자의 졸음 여부를 결정할 수 있다.
또한, 운전자 모니터링 시스템(100)은 도 13에 도시된 바와 같이, 제1특징점(A)의 위치 또는 제2특징점(B)의 위치의 시간에 따른 변화율을 기초로 운전자의 졸음 여부를 결정할 수 있다.
도 12는 본 발명의 일 실시예에 따른 운전자 모니터링 방법에서 제1예의 결정 절차를 나타낸 순서도이다.
제1예의 결정절차(200')는 특징점의 3D 위치 및 간격을 산출하는 단계(S222) 및 졸음 여부를 결정하는 단계(S232~S236)를 포함할 수 있다.
보다 상세히 설명하면, 도 12에 도시된 바와 같이, 먼저, 운전자 모니터링 시스템(100)은 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점 사이의 간격을 산출한다(단계 S222). 여기서, 눈 특징점은 제1특징점(A) 및 제2특징점(B)을 포함할 수 있다. 이때, 운전자 모니터링 시스템(100)은 제1특징점(A)의 위치와 제2특징점(B) 위치 사이의 간격(δ)을 각 특징점의 3D 좌표를 기반하여 산출할 수 있다.
다음으로, 운전자 모니터링 시스템(100)은 눈 특징점 사이의 간격(δ)이 제2 임계값 미만인지의 여부를 결정한다(단계 S232). 이때, 운전자 모니터링 시스템(100)은 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)이 제2 임계값 미만인지의 여부를 결정할 수 있다. 여기서, 제2 임계값은 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)에 대하여 5~10% 이하일 수 있다. 일례로, 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)은 운전 개시 후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값에 기초하여 산출된 간격 값일 수 있다.
다른 예로서, 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)은 해당 운전자의 눈 특징점 위치의 누적 평균값에 기초하여 산출된 간격 값일 수 있다. 이때, 운전자 모니터링 시스템(100)은 카메라(130)로부터 획득된 이미지에 따라 운전자를 식별할 수 있다. 또한, 운전자 모니터링 시스템(100)은 식별된 운전자별 이미지 정보를 저장부(120)에 저장할 수 있다.
단계 S232의 결정 결과, 눈 특징점 사이의 간격(δ)이 제2 임계값 이상이면, 운전자 모니터링 시스템(100)은 단계 S222로 복귀하여 눈 특징점 사이의 간격(δ) 산출 및 제2 임계값과의 비교를 반복해서 수행할 수 있다.
단계 S232의 결정 결과, 눈 특징점 사이의 간격(δ)이 제2 임계값 미만이면, 운전자 모니터링 시스템(100)은 일정시간이 경과하는지의 여부를 결정한다(단계 S234). 여기서, 일정시간은 졸음 결정을 위한 기준시간으로서 1.0~1.5초 일 수 있다.
이때, 운전자 모니터링 시스템(100)은 차량의 속도에 따라 일정시간을 결정할 수 있다. 즉, 운전자 모니터링 시스템(100)은 차량(10)이 고속인 경우에는 안전을 위해 졸음 결정을 위한 기준시간을 감소하고, 차량(10)이 저속인 경우에는 정확한 졸음 판정을 위해 기준시간을 증가할 수 있다.
단계 S234의 결정 결과, 눈 특징점 사이의 간격(δ)이 제2 임계값 미만인 상태에서 일정시간이 경과하지 않으면, 운전자 모니터링 시스템(100)은 단계 S222로 복귀하여 눈 특징점 사이의 간격(δ) 산출, 제2 임계값과의 비교 및 시간경과 체크를 반복해서 수행할 수 있다.
단계 S234의 결정 결과, 눈 특징점 사이의 간격(δ)이 제2 임계값 미만인 상태에서 일정시간이 경과하면, 운전자 모니터링 시스템(100)은 운전자의 졸음 상태로 결정한다(S236). 즉, 운전자 모니터링 시스템(100)은 눈 특징점 사이의 간격(δ)이 제2 임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다. 아울러, 운전자 모니터링 시스템(100)은 후술하는 바와 같이 눈 특징점의 위치 변화율이 제1 임계값 이상이면서, 눈 특징점 사이의 간격(δ)이 제2 임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다.
이때, 운전자 모니터링 시스템(100)은 음성 또는 시각적 효과로 졸음 상태를 운전자에게 알람할 수 있다.
도 13은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 제2예의 결정 절차를 나타낸 순서도이다.
제2예의 결정절차(200")는 특징점의 3D 위치 및 위치 변화율을 산출하는 단계(S224) 및 졸음 여부를 결정하는 단계(S233~S237)를 포함할 수 있다.
보다 상세히 설명하면, 도 8에 도시된 바와 같이, 먼저, 운전자 모니터링 시스템(100)은 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출한다(단계 S224). 여기서, 눈 특징점은 제1특징점(A) 또는 제2특징점(B)을 포함할 수 있다. 이때, 운전자 모니터링 시스템(100)은 제1특징점(A) 및 제2특징점(B) 중 어느 하나의 위치 변화율을 각 특징점의 3D 좌표를 기반으로 산출할 수 있다.
다음으로, 운전자 모니터링 시스템(100)은 눈 특징점의 위치 변화율이 제1 임계값 이상인지의 여부를 결정한다(단계 S233). 이때, 운전자 모니터링 시스템(100)은 제1특징점(A)의 위치 변화율이 제1 임계값 이상인지의 여부를 결정할 수 있다. 여기서, 제1특징점(A)을 예로 하여 설명하지만, 운전자 모니터링 시스템(100)은 제2특징점(B) 또는 이마 등과 같은 얼굴의 다른 특징점을 기반으로 졸음 여부를 결정할 수 있다.
아울러, 위치 변화율은 시간 경과에 따른 이전 위치에 대한 현재 위치의 변화 정도를 의미한다. 일례로, 위치 변화율은 0.2초당 위치 변화율을 의미한다. 이때, 제1 임계값은 정상인 경우의 제1특징점(A)의 위치에 대하여 ±5~10% 이상의 위치 변화값일 수 있다. 여기서, 정상인 경우의 제1특징점(A)의 위치는 차량(10)의 운전 개시 후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값에 기초하여 산출된 위치 값일 수 있다. 다른 예로서, 정상인 경우의 제1특징점(A)의 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값에 기초하여 산출된 위치 값일 수 있다.
또한, 위치 변화율은 일정한 크기의 위치 변화에 따른 소요 시간의 변화를 의미할 수 있다. 이때, 제1 임계값은 정상으로 고개를 끄덕이는 경우의 제1특징점(A)의 위치 변화 속도에 대한 5~10% 이상의 속도 변화값일 수 있다. 여기서, 정상적으로 고개를 끄덕이는 경우의 제1특징점(A)의 위치 변화 속도는 차량(10)의 운전 개시후 대화중에 고개를 끄덕이는 경우에 산출된 위치 변화 속도 값일 수 있다.
단계 S233의 결정 결과, 눈 특징점의 위치 변화율이 제1 임계값 미만이면, 운전자 모니터링 시스템(100)은 단계 S224로 복귀하여 눈 특징점의 위치 변화율 산출 및 제1 임계값과의 비교를 반복해서 수행할 수 있다.
단계 S233의 결정 결과, 특징점의 위치 변화율이 제1 임계값 이상이면, 운전자 모니터링 시스템(100)은 일정시간이 경과하는지의 여부를 결정한다(단계 S235). 여기서, 일정시간은 졸음 결정을 위한 기준시간으로서 0.5~1.5초 일 수 있다.
이때, 운전자 모니터링 시스템(100)은 일정시간을 횟수로 변경할 수 있다. 즉, 운전자 모니터링 시스템(100)은 제1특징점(A)의 일정한 위치 변화율이 반복적으로 나타낸 횟수를 기반으로 졸음 여부를 결정할 수 있다. 이 경우, 제1 임계값은 3회 이상일 수 있다.
단계 S235의 결정 결과, 특징점의 위치 변화율이 제1 임계값 이상인 상태에서 일정시간 경과하지 않으면, 운전자 모니터링 시스템(100)은 단계 S224로 복귀하여 눈 특징점의 위치의 변화율 산출, 제1 임계값과의 비교 및 시간경과(또는 횟수) 체크를 반복해서 수행할 수 있다.
단계 S235의 결정 결과, 특징점의 위치 변화율이 제1 임계값 이상인 상태에서 일정시간 경과하면, 운전자 모니터링 시스템(100)은 운전자의 졸음 상태로 결정한다(S237). 즉, 운전자 모니터링 시스템(100)은 눈 특징점의 위치 변화율이 제1 임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다. 이때, 운전자 모니터링 시스템(100)은 음성 또는 시각적 효과로 졸음 상태를 운전자에게 알람할 수 있다.
상기와 같은 방법들은 도 1 및 도 7에 도시된 바와 같은 운전자 모니터링 시스템(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
이때, 컴퓨터 판독가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예를 들면, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등일 수 있다.
본 발명을 앞서 기재한 바에 따라 바람직한 실시예를 통해 설명하였지만, 본 발명은 이에 한정되지 않으며 다음에 기재하는 특허청구범위의 개념과 범위를 벗어나지 않는 한, 다양한 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에 종사하는 자들은 쉽게 이해할 것이다.
10 : 차량
100 : 운전자 모니터링 시스템 110 : 3D 카메라
120 : 저장부 130 : 알람부
140 : 제어부 150 : 케이스
160 : 연결부 161 : 회전축
161a : 고정턱 162 : 연결바
163 : 연결브라켓 163h : 고정홈
170 : 고정부

Claims (15)

  1. 운전자 얼굴을 3D 이미지로 획득하는 3D 카메라;
    내부에 설치공간이 형성된 케이스;
    상기 케이스에 일측부가 설치되고 상기 3D 카메라에 타측부가 고정되어 상기 3D 카메라를 상기 케이스에 연결시키는 연결부;
    상기 케이스를 차량의 내부에 고정시키는 고정부;
    상기 케이스의 내부에 설치되고 상기 3D 이미지를 저장하는 저장부; 및
    상기 케이스의 내부에 설치되고 상기 3D 카메라 및 상기 저장부와 통신적으로 연결되어 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 3D 카메라로부터 획득한 이미지에서 얼굴의 특징점의 3D 위치를 산출하고,
    상기 얼굴의 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하도록 제어하는 운전자 모니터링 시스템.
  2. 제1항에 있어서,
    상기 3D 카메라의 외부면에는　거울이 마련되는 운전자 모니터링 시스템.
  3. 제1항에 있어서,
    상기 케이스의 일측부에는 메모부가 마련되는 운전자 모니터링 시스템.
  4. 제1항에 있어서,
    상기 연결부는,
    상기 케이스의 내부에 배치되는 회전축;
    상기 회전축에 일단부가 연결되고 상기 3D 카메라에 타단부가 연결되는 연결바;
    상기 회전축을 상기 3D 케이스의 내부에 연결시키는 연결브라켓을 포함하는 운전자 모니터링 시스템.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출하고,
    상기 눈 특징점의 위치 변화율이 제1 임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정하도록 제어하는 운전자 모니터링 시스템,
  6. 제5항에 있어서,
    상기 제어부는,
    상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 상기 눈 특징점 사이의 간격을 산출하고,
    상기 눈 특징점의 위치 변화율이 제1 임계값 이상이며, 상기 눈 특징점 사이의 간격(δ)이 제2 임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정하도록 제어하는 운전자 모니터링 시스템,
  7. 제1항에 있어서,
    상기 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값인 운전자 모니터링 시스템.
  8. 제1항에 있어서,
    상기 제어부는 상기 획득한 이미지에 따라 운전자를 식별하고, 해당 운전자별 이미지 정보를 상기 저장부에 저장하도록 제어하며,
    상기 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값인 운전자 모니터링 시스템.
  9. 제5항에 있어서,
    상기 눈 특징점의 위치 변화율은 변화 속도에 기초하여 산출되고,
    상기 제어부는 일정한 위치 변화율이 일정 횟수 발생하면 졸음 상태로 결정하도록 제어하는 운전자 모니터링 시스템.
  10. 3D 카메라로 운전자 얼굴의 3D 이미지를 획득하는 단계;
    제어부에 의해 3D 이미지에서 얼굴의 특징점의 3D 위치를 산출하는 단계; 및
    제어부에 의해 상기 얼굴의 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하는 단계를 포함하는 운전자 모니터링 방법.
  11. 제10항에 있어서,
    상기 3D 위치를 산출하는 단계는 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출하고,
    상기 결정하는 단계는 상기 눈 특징점의 위치 변화율이 제1 임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정하는 운전자 모니터링 방법.
  12. 제11항에 있어서,
    상기 3D 위치를 산출하는 단계는 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 상기 눈 특징점 사이의 간격을 산출하고,
    상기 결정하는 단계는 상기 눈 특징점의 위치 변화율이 제1 임계값 이상이며, 상기 눈 특징점 사이의 간격(δ)이 제2 임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정하는 운전자 모니터링 방법.
  13. 제10항에 있어서,
    상기 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값인 운전자 모니터링 방법.
  14. 제10항에 있어서,
    상기 획득한 이미지에 따라 운전자를 식별하고, 해당 운전자별 이미지 정보를 저장부에 저장하는 단계를 더 포함하고,
    상기 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값인 운전자 모니터링 방법.
  15. 제11항에 있어서,
    상기 3D 위치를 산출하는 단계는 변화 속도에 기초하여 상기 눈 특징점의 위치 변화율을 산출하고,
    상기 결정하는 단계는 일정한 위치 변화율이 일정 횟수 발생하면 졸음 상태로 결정하는 운전자 모니터링 방법.
KR1020220046991A 2022-04-15 2022-04-15 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법 KR20230147963A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220046991A KR20230147963A (ko) 2022-04-15 2022-04-15 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220046991A KR20230147963A (ko) 2022-04-15 2022-04-15 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법

Publications (1)

Publication Number Publication Date
KR20230147963A true KR20230147963A (ko) 2023-10-24

Family

ID=88515224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220046991A KR20230147963A (ko) 2022-04-15 2022-04-15 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법

Country Status (1)

Country Link
KR (1) KR20230147963A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102184109B1 (ko) 2017-09-26 2020-11-27 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102184109B1 (ko) 2017-09-26 2020-11-27 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
WO2017056401A1 (ja) 制御装置、制御方法及びプログラム
JP4924611B2 (ja) 車両用警報装置及び車両用警報方法
US10430677B2 (en) Method for classifying driver movements
JP6565408B2 (ja) 車両制御装置及び車両制御方法
JP7047821B2 (ja) 運転支援装置
JP6907250B2 (ja) 車両用表示装置
KR102433668B1 (ko) 운전자 모니터링 시스템 및 그 방법
KR20130065588A (ko) 운전 조건 판정 장치
US20190283672A1 (en) System and method to control a vehicle interface for human perception optimization
KR20190134909A (ko) 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
JPH11348696A (ja) 進行路形状推定装置及びこれを用いた走行支援装置
JP5742201B2 (ja) 運転支援装置、運転支援方法及び運転支援プログラム
US20220067412A1 (en) Emotion estimation device and emotion estimation method
JP6822325B2 (ja) 操縦支援装置、操縦支援方法、プログラム
JP6565305B2 (ja) 車両の安全運転促進方法及び車両の安全運転促進装置
JP4760113B2 (ja) 運転者状態推定装置
KR20230147963A (ko) 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법
JP2007269310A (ja) 走行制御装置および方法、プログラム、並びに記録媒体
US20230092515A1 (en) Apparatus and method for controlling steering wheel of autonomous vehicle
JP2008117303A (ja) 運転支援装置及び評価装置
US11685384B2 (en) Driver alertness detection method, device and system
US20220363283A1 (en) Method for adaptive lateral guidance of a motor vehicle and lateral guidance assistant for a motor vehicle
JP6638213B2 (ja) 車両の安全運転促進方法及び車両の安全運転促進装置
CN114253392A (zh) 用于控制多个车载智能虚拟助手的虚拟对话代理