KR102074519B1 - 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 - Google Patents

깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR102074519B1
KR102074519B1 KR1020180118666A KR20180118666A KR102074519B1 KR 102074519 B1 KR102074519 B1 KR 102074519B1 KR 1020180118666 A KR1020180118666 A KR 1020180118666A KR 20180118666 A KR20180118666 A KR 20180118666A KR 102074519 B1 KR102074519 B1 KR 102074519B1
Authority
KR
South Korea
Prior art keywords
image
driver
depth
area
detecting
Prior art date
Application number
KR1020180118666A
Other languages
English (en)
Inventor
권순각
이동석
유강촌
박도현
박준석
김현우
오규진
조정하
최은석
Original Assignee
엔컴주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔컴주식회사 filed Critical 엔컴주식회사
Priority to KR1020180118666A priority Critical patent/KR102074519B1/ko
Application granted granted Critical
Publication of KR102074519B1 publication Critical patent/KR102074519B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01534—Passenger detection systems using field detection presence sensors using electromagneticwaves, e.g. infrared
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Anesthesiology (AREA)
  • Electromagnetism (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

실시예는, 운전자가 탑승한 차량 내의 운전석을 촬영한 현재 깊이 영상과 상기 운전자가 탑승하지 않은 차량 내의 운전석을 촬영한 배경 깊이 영상으로부터 상기 현재 깊이 영상 내의 객체 영역을 검출하는 단계; 상기 객체 영역 내의 화소들의 깊이 값에 기초하여 상기 운전자의 얼굴 영역을 검출하는 단계; 현재 적외선 영상에서 상기 운전자의 얼굴 영역에 대응하는 얼굴 영역 적외선 영상을 생성하는 단계; 상기 화소들의 깊이 값에 기초하여 상기 얼굴 영역 적외선 영상 내의 눈 영역 적외선 영상을 생성하는 단계; 기계 학습에 따라 상기 눈 영역 적외선 영상에서 눈동자를 검출하는 단계; 및 상기 눈동자의 미검출 시간에 기초하여 상기 운전자의 졸음 여부를 판단하는 단계;를 포함하는 깊이 영상과 적외선 영상을 통한 졸음 감지 방법을 제공할 수 있다.

Description

깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체{METHOD AND DEVICE OF DETECTING DROWSINESS USING INFRARED AND DEPTH IMAGE, and Non-Transitory COMPUTER READABLE RECORDING MEDIUM}
본 발명은 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체에 관한 것이다. 상세하게는, 깊이 영상과 적외선 영상을 이용하여 운전자의 상태를 모니터링할 수 있는 기술에 관한 것이다.
졸음운전은 운전자가 운전 행동에 온전히 주의를 집중하지 못한다는 점에서 주의 분산으로 볼 수도 있지만, 주의가 분산되는 것이 아니라 의식의 부재가 동반되는 완전한 주의의 상실이며, 이것은 위험 상황의 발생에 대한 어떠한 대처도 할 수 없다는 점에서 그 위험성이 매우 크다. 현재, 운전자의 편의 및 주행 보조를 위해 차량 내에서 사용되는 각종 단말기 및 경고 제공 시스템은 운전자의 상태를 모니터링하기 위해서 영상기반의 눈 검출 및 표정인식을 통해 알람을 제공하는 방식으로, 현재 개발된 영상 기반의 운전자 상태 인식의 문제점은 주변 환경 및 날씨에 따라 인식률이 크게 차이나기 때문에 반드시 필요한 상황에서 운전자에게 주의 및 경고 정보를 제공하지 못하는 상황을 발생시킬 수 있다.
대한민국 공개특허공보 제10-2005-0108216호
본 발명의 일 목적은 주변 환경의 영향을 최소화하여 운전자 상태를 모니터링할 수 있는 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체를 제공하는데 있다.
또한, 본 발명 일 목적은 눈동자의 검출의 정확도를 향상시킨 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체를 제공하는데 있다.
또한, 본 발명의 일 목적은 차량 내부의 상태를 반영하여 객체 검출의 정확도를 향상시킬 수 있는 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체를 제공하는데 있다.
실시예는, 운전자가 탑승한 차량 내의 운전석을 촬영한 현재 깊이 영상과 상기 운전자가 탑승하지 않은 차량 내의 운전석을 촬영한 배경 깊이 영상으로부터 상기 현재 깊이 영상 내의 객체 영역을 검출하는 단계; 상기 객체 영역 내의 화소들의 깊이 값에 기초하여 상기 운전자의 얼굴 영역을 검출하는 단계; 현재 적외선 영상에서 상기 운전자의 얼굴 영역에 대응하는 얼굴 영역 적외선 영상을 생성하는 단계; 상기 화소들의 깊이 값에 기초하여 상기 얼굴 영역 적외선 영상 내의 눈 영역 적외선 영상을 생성하는 단계; 기계 학습에 따라 상기 눈 영역 적외선 영상에서 눈동자를 검출하는 단계; 및 상기 눈동자의 미검출 시간에 기초하여 상기 운전자의 졸음 여부를 판단하는 단계;를 포함하는 깊이 영상과 적외선 영상을 통한 졸음 감지 방법을 제공할 수 있다.
다른 측면에서, 상기 객체 영역을 검출하는 단계는, 상기 현재 깊이 영상과 상기 배경 깊이 영상의 차영상을 생성하는 단계; 상기 차영상으로부터 이진화 영상을 생성하는 단계; 상기 이진화 영상으로부터 레이블링 영상을 생성하는 단계; 및 상기 레이블링 영상을 블록화하여 배경, 상기 배경과 상기 객체의 경계 및 상기 객체 내부 영역을 구분하는 단계;를 포함하는 깊이 영상과 적외선 영상을 통한 졸음 감지 방법을 제공할 수 있다.
또 다른 측면에서, 상기 운전자의 얼굴 영역을 검출하는 단계는, 상기 객체 내부 영역에 대응하는 블록에 대응하는 상기 현재 깊이 영상의 영역 내의 화소들 중 최소 깊이 값 화소의 위치를 검출하는 단계; 및 상기 최소 깊이 값 화소의 위치를 중심으로 미리 설정된 크기의 영역인 상기 얼굴 영역을 검출하는 단계;를 포함하는 깊이 영상과 적외선 영상을 통한 졸음 감지 방법을 제공할 수 있다.
또 다른 측면에서, 상기 운전자의 얼굴 영역을 검출하는 단계는, 상기 객체 내부 영역에 대응하는 블록에 대응하는 상기 현재 깊이 영상의 영역 내의 화소들 중 최소 깊이 값 화소의 위치를 검출하는 단계; 상기 최소 깊이 값 화소의 인접 화소들의 깊이 값의 제1 분포 정보를 미리 저장된 얼굴의 영역별 깊이 값의 제2 분포 정보들과 비교하는 단계; 상기 제2 분포 정보들 중 상기 제1 분포 정보와 기 설정치 이상의 유사도를 보이는 제3 분포 정보를 추출하는 단계; 상기 제3 분포 정보가 코 영역의 깊이 값 분포 정보에 매칭되는지를 판단하는 단계; 상기 최소 깊이 값 화소의 위치로부터 소정의 거리만큼 이격된 영역 내에서 추가 최소 깊이 값 화소의 위치를 재검출하는 단계; 및 상기 추가 최소 깊이 값 화소 위치를 중심으로 미리 설정된 크기의 영역인 상기 얼굴 영역을 검출하는 단계;를 포함하는 깊이 영상과 적외선 영상을 통한 졸음 감지 방법을 제공할 수 있다.
또 다른 측면에서, 상기 운전자의 졸음이 판단되면 시각적, 청각적 및 물리적 피드백 중 어느 하나를 상기 운전자에게 제공하는 단계;를 더 포함하는 깊이 영상과 적외선 영상을 통한 졸음 감지 방법을 제공할 수 있다.
또 다른 측면에서, 상기 객체 영역을 검출하는 단계는, 미리 저장된 배경 깊이 영상 중 상기 차량의 운전석의 좌석의 위치에 기초하여 결정된 배경 깊이 영상과 상기 현재 깊이 영상으로부터 상기 객체 영역을 검출하는 깊이 영상과 적외선 영상을 통한 졸음 감지 방법을 제공할 수 있다.
또 다른 측면에서, 명령들을 저장하는 적어도 하나의 메모리; 및 적어도 하나의 프로세서;를 포함하고, 상기 명령들은 상기 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고, 상기 동작들은: 운전자가 탑승한 차량 내의 운전석을 촬영한 현재 깊이 영상과 상기 운전자가 탑승하지 않은 차량 내의 운전석을 촬영한 배경 깊이 영상으로부터 상기 현재 깊이 영상 내의 객체 영역을 검출하고, 상기 객체 영역 내의 화소들의 깊이 값에 기초하여 상기 운전자의 얼굴 영역을 검출하고, 현재 적외선 영상에서 상기 운전자의 얼굴 영역에 대응하는 얼굴 영역 적외선 영상을 생성하고, 상기 화소들의 깊이 값에 기초하여 상기 얼굴 영역 적외선 영상 내의 눈 영역 적외선 영상을 생성하고, 기계 학습에 따라 상기 눈 영역 적외선 영상에서 눈동자를 검출하며, 상기 눈동자의 미검출 시간에 기초하여 상기 운전자의 졸음 여부를 판단하는 것을 포함하는 졸음 감지 장치를 제공할 수도 있다.
실시예는 주변 환경의 영향을 최소화함으로써 운전자 상태의 정밀한 모니터링이 가능하게 한다.
또한, 실시예는 기계 학습을 통해 눈동자 검출의 정확도를 향상시킬 수 있다.
또한, 실시예는 운전석 공간의 상태에 따라 현재 깊이 영상과 비교할 배경 영상을 다르게 설정함으로써 객체 검출의 정확도를 향상시킬 수 있다.
또한, 실시예는 운전자의 졸음 상태를 감지하여 운전자로 하여금 여러가지 형태로 경고 피드백을 제공함으로써 안전 운행이 가능하도록 한다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 졸음 감지 장치를 도시하는 블록도이다.
도 2a는 본 발명의 실시예에 따른 졸음 감지 방법에 대한 예시적인 다이어그램이다.
도 2b는 객체 후보 검출 단계에 대한 구체적인 방법에 대한 흐름도이다.
도 2c는 객체의 얼굴 영역을 검출하는 구체적인 방법에 대한 흐름도이다.
도 3은 배경 영상과 촬영 영상의 깊이 정보를 나타낸 것이다.
도 4는 현재 깊이 영상에서 사람의 얼굴 검출 방법을 설명하기 위한 것이다.
도 5는 적외선 영상에서 눈영역 적외선 영상에 대한 예시도이다.
도 6은 Haar cascade 방법에 대한 설명도이다.
도 7은 Boosting의 약분류기와 강분류기에 대한 설명을 위한 도면이다.
도 8은 Cascade method 방법에 대한 설명도이다.
도 9는 본 발명의 실시예에 따른 졸음 감지 장치가 적용된 차량에 대한 예시도이다.
도 10은 차량 운전 보조 장치에 대한 예시적인 블록 다이어그램이다.
도 11 및 도 12는 영상 검출 장치가 차량 내부의 촬영 영역을 개략적으로 나타낸 예시도이다.
도 13은 졸음 감지에 따라 운전자에게 피드백 경고를 출력하는 것에 대한 예시도이다.
도 14는 운전석 좌석의 위치 조정에 따른 영상 검출 장치의 촬영 위치의 조정 및 복수의 배경 깊이 영상을 이용하는 방법을 설명하기 위한 개념도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 졸음 감지 장치를 도시하는 블록도이다.
졸음 감지 장치(100)는 영상 데이터를 영상 검출 장치(200)로부터 수신할 수 있다.
영상 검출 장치(200)는 깊이 영상(depth image)을 생성하는 깊이 영상 촬영 디바이스가 될 수 있다. 또한, 영상 검출 장치(200)는 적외선 영상을 생성하는 적외선 촬영 디바이스가 될 수 있다. 또한, 영상 검출 장치(200)는 깊이 영상과 적외선 영상을 생성할 수 있는 촬영 디바이스가 될 수 있다.
일부 구현예에서는, 졸음 감지 장치(100)와 영상 검출 장치(200)는 무선 통신을 위한 구성(10)이 갖추어질 수 있다.
일부 구현예에서는, 영상 검출 장치(200)는 검출된 영상 데이터를 영상 처리하여 졸음 감지 장치(100)로 전송할 수도 있다.
일부 구현예에서는, 졸음 감지 장치(100)는 컴퓨터 판독 가능 매체로부터 영상 처리된 영상 데이터를 수신할 수도 있다.
컴퓨터 판독 가능 매체는 영상 검출 장치(200)로부터 영상처리된 영상 데이터를 졸음 감지 장치(100)로 이동시킬 수 있는 임의 유형의 매체 또는 디바이스를 포함할 수 있다. 일 예로, 컴퓨터 판독 가능 매체는 영상 검출 장치(200)가 영상 데이터를 졸음 감지 장치(100)로 직접 실시간으로 송신하는 것을 가능하게 하는 통신 매체, 이를테면 송신 채널을 포함할 수 있다.
영상 처리된 영상 데이터는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 변조되고 졸음 감지 장치(100)로 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를테면 라디오 주파수 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 이를테면 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 졸음 감지 장치(100)와 영상 검출 장치(200) 간의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다. 몇몇 예들에서 영상 처리된 영상 데이터가 영상 검출 장치(200)의 출력 인터페이스 로부터 컴퓨터 판독 가능 저장 매체, 이를 테면 비일시적(non-transitory) 컴퓨터 판독가능 저장 매체, 즉, 데이터 저장 디바이스로 출력될 수도 있다. 마찬가지로 영상 데이터는 졸음 감지 장치(100)의 입력 인터페이스에 의해 저장 디바이스로부터 엑세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 영상 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산형 또는 국부적으로 액세스되는 비일시적 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스는 영상 검출 장치(200)에 의해 생성된 영상 데이터를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 해당할 수도 있다.
졸음 감지 장치(100)는 저장 디바이스로부터의 저장된 영상 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다.
일부 구현예에서, 졸음 감지 장치(100)는 영상 소스(110) 및 영상처리부(120)를 포함할 수 있다. 졸음 감지 장치(100)는 영상 검출 장치(200)에 의해 촬영된 영상을 수신하고 영상 소스(110)에 저장할 수 있다. 그리고, 영상처리부(120)는 영상 소스(110)에 저장된 촬영 영상을 분석할 수 있다.
다른 예에서, 졸음 감지 장치(100)와 영상 검출 장치(200)는 다른 컴포넌트들을 포함할 수 있다.
졸음 감지 장치(100)의 영상 소스(110)는 영상 검출 장치(200), 이를테면 카메라, 이전에 촬영된 깊이 영상을 포함하는 아카이브 (archive), 및/또는 깊이 영상과 적외선 영상 콘텐츠 제공자로부터의 깊이 및 적외선 영상을 수신하는 인터페이스를 포함할 수도 있다.
또한, 졸음 감지 장치(100) 및 영상 검출 장치(200)는 자동차의 각종 디바이스와 인터페이싱할 수도 있다.
일부 구현예에서 영상 검출 장치(200)는 장면의 깊이 정보를 픽셀(화소)당 16비트의 정수형 자료형으로 표현한 깊이 영상을 제공할 수 있다. 깊이 영상의 한 픽셀을 표현하기 위한 비트수는 변경될 수 있다. 영상 검출 장치(200)는 적외선을 이용하여 영상 검출 장치(200)로부터 객체 및 배경까지의 거리를 측정하여 거리에 비례 또는 반비례하는 값을 갖는 깊이 영상을 제공할 수 있다.
깊이 영상의 화소 값은 예를 들어, RGB의 색상 정보가 아닌 일 예로 mm 단위(이에 한정하는 것은 아님)의 정수로 된 깊이 정보가 될 수 있다.
졸음 감지 장치(100) 및 영상 검출 장치(200) 각각은 하나 이상의 메모리와 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적회로들 (ASIC들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 개별 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 그것들의 임의의 조합과 같은 다양한 형태로 구성될 수 있다.
메모리는 컴퓨터 판독가능 명령들 또는 프로세서 판독가능 명령들과 같은 명령들(예를 들어, 실행가능 명령들)을 포함한다. 명령들은 하나 이상의 프로세서들 각각에 의해서와 같이 컴퓨터에 의해 실행가능한 하나 이상의 명령어들을 포함할 수도 있다.
예를 들어 하나 이상의 명령들은 하나 이상의 프로세서들로 하여금 운전자의 상태 모니터링을 위해 검출된 영상을 프로세싱하는 것을 포함하는 동작들을 수행하기 위한 하나 이상의 프로세서들에 의해 실행가능 할 수도 있다.
상세하게는, 영상처리부(120)는 명령어들을 저장하는 하나 이상의 메모리(121)와 상기 명령어들을 실행하는 적어도 하나의 프로세서(122)를 포함할 수 있다.
영상처리부(120)의 프로세서(122)는 깊이 및 적외선 영상으로부터 운전자의 상태를 모니터링하기 위한 기법들이 적용되도록 구성될 수 있다.
일부 구현예에서, 졸음 감지 장치(100)는 영상처리부(120)로부터의 영상 데이터를 외부 장치로 전송, 디스플레이, 분석 등을 수행할 수 있도록 구성될 수 있다.
도 1에 도시되지 않았지만, 몇몇 실시예에서, 졸음 감지 장치(100)와 영상 검출 장치(200)는 통합된 장치가 될 수 있다.
도 2a는 본 발명의 실시예에 따른 졸음 감지 방법에 대한 예시적인 다이어그램이고, 도 2b는 객체 후보 검출 단계에 대한 구체적인 방법에 대한 흐름도이며, 도 2c는 객체의 얼굴 영역을 검출하는 구체적인 방법에 대한 흐름도이다. 그리고, 도 3은 배경 영상과 촬영 영상의 깊이 정보를 나타낸 것이다. 도 4는 현재 깊이 영상에서 사람의 얼굴 검출 방법을 설명하기 위한 것이다. 도 5는 적외선 영상에서 눈영역 적외선 영상에 대한 예시도이다. 도 6은 Haar cascade 방법에 대한 설명도이고, 도 7은 Boosting의 약분류기와 강분류기에 대한 설명을 위한 도면이며, 도 8은 Cascade method 방법에 대한 설명도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 졸음 감지 방법(S100)은 영상으로부터 객체 후보를 검출하는 단계(S110), 객체의 얼굴 영역을 검출하는 단계(S120), 얼굴 영역 내의 눈 영역을 검출하는 단계(S130), 눈동자 검출 단계(S140), 미리 설정된 시간 동안 눈동자 미검출 여부를 판단하는 단계(S150), 미리 설정된 시간 동안의 눈동자 미검출 여부에 따라 운전자의 상태를 감지하는 단계(S160) 및 운전자 상태에 기초하여 피드백을 제공하는 단계(S170)를 포함할 수 있다.
객체 영역을 검출하는 단계(S110).
도 2b를 더 참조하면, 프로세서(122)는 영상 검출 장치(200)로부터 현재 깊이 영상을 수신할 수 있다. 현재 깊이 영상은 도 3에 예시적으로 도시된 바와 같이 객체와 배경의 깊이 차이가 크게 나타난다. 도 3에서 실선은 배경 영상에서의 깊이 정보이고 점선은 객체에 대한 깊이 정보이다. 프로세서(122)는 수신된 현재 깊이 영상과 영상 소스(110)에 저장된 배경 깊이 영상 간의 차연산을 통해 차영상을 생성할 수 있다(S111).
배경 깊이 영상은 운전자가 탑승하지 않은 상태에서 운전석 측을 촬영한 깊이 영상이 될 수 있다.
프로세서(122)는 생성된 차영상을 이진화할 수 있다(S112).
상세하게, 프로세서(122)는 현재 깊이 영상의 화소들 각각의 깊이 정보 Dxy와 배경 깊이 영상에서의 깊이 정보 Bxy를 서로 비교할 수 있다(S112a).
일부 실시예에서, 이진화는 영상 검출 장치(200)의 측정 오류를 고려하여 현재 깊이 영상에서 깊이 정보가 배경 깊이 영상에서의 깊이 값과 미리 설정된 M 값 이상의 차이가 나는 지점에 대해 이진화를 수행한다.
프로세서(122)는 수학식 1에 따라 이진화 영상을 백과 흑의 밝기로 표현하기 위하여 이진화 영상을 1 또는 0으로 설정(S112b)하여 이진화 영상을 생성할 수 있다(S112c).
[수학식 1]
Figure 112018098222602-pat00001
다음으로, 프로세서(122)는 이진화 영상을 레이블링하여 레이블링 영상을 생성할 수 있다(S113).
상세하게, 레이블링이란 이진화 영상에 복수의 객체가 존재하는 경우 해당 객체를 이루는 화소끼리 같은 라벨(label)을 부여하는 것이다. 레이블링은 이진화된 영상에서 흰 화소을 하나 찾고 이에 연결된 화소들을 찾음으로써 수행될 수 있고, 레이블링의 결과로 화소들은 라벨을 가지게 되며 배경 화소는 라벨 0을 가질 수 있다.
일부 구현예에서, 프로세서(122)는 이진화된 영상에서 1) 백의 밝기로 표현되는 화소 값(예를 들어, 255 계조)이 있는 지점까지 탐색하고 2) 이미 레이블링된 화소인지 확인할 수 있고, 3) 이미 레이블링된 화소가 아닌 경우 메모리의 스택(stack) 공간에 현재 화소의 좌표를 저장할 수 있고, 4) 인접한 화소를 탐색하면서 화소가 255이면서 레이블링이 안된 지역을 탐색하여 위치 좌표를 모두 스택(stack) 공간에 저장할 수 있다. 그리고 5) 스택의 맨 위 좌표를 받아 전술한 4)의 과정을 반복할 수 있다. 또한 6) 더 이상의 그룹핑할 행렬이 없을 때, 즉 스택이 비었을 때까지 수행할 수 있고, 7) 이진화 영상의 다음 화소 값이 있는 곳까지 탐색하는 1)의 과정을 다시 수행할 수 있다.
일부 구현예에서, 프로세서(122)는 레이블링 과정에서 n번째 객체의 크기 Sn에 대해 미리 설정된 Smin 미만인 객체에 대해서는 잡음으로 판단하여 객체를 제거하여 처리할 수도 있다. 따라서, 잡음을 제거하고 정확한 객체 정보를 얻을 수 있다.
다음으로, 프로세서(122)는 레이블링 영상을 블록화하여 배경, 배경과 객체의 경계 그리고 객체 내부 영역으로 구분할 수 있다(S114).
객체의 얼굴 영역을 검출하는 단계(S120).
도 2c 및 도 4를 더 참조하면, 프로세서(122)는 현재 깊이 영상 내의 화소들의 깊이 값에 기초하여 얼굴 영역을 검출할 수 있다.
일부 구현예에서, 프로세서(122)는 객체 후보 검출 단계(S110)를 통해 검출된 객체들 중에서 운전자로 판명된 객체가 위치한 운전자 위치 추정 영역을 설정할 수 있다. 그리고 현재 깊이 영상 내에서 운전자 위치 추정 영역 내에서 운전자의 얼굴 영역을 검출할 수 있다.
일부 실시예에서, 프로세서(122)는 객체 내부 영역에 대응하는 블록 내에서 운전자의 얼굴 영역을 검출할 수 있다.
일부 구현예에서, 프로세서(122)는 얼굴에서 가장 특징점이 될 수 있는 코끝을 기준으로 사람의 얼굴 영역을 검출할 수 있다. 이는 사람의 얼굴에서 코끝이 가장 돌출된 부위이므로 현재 깊이 영상에서 깊이 값이 가장 작은 화소, 즉 영상 검출 장치(200)와 제일 가까이 있는 부분을 탐색할 수 있다. 상세하게, 프로세서(122)는 현재 깊이 영상에서 깊이 값이 가장 작은 화소의 위치인 최소 깊이 값 화소 위치를 검출할 수 있다(S121). 일부 실시예에서, 프로세서(122)는 객체 내부 영역에 대응하는 블록에 대응하는 현재 깊이 영상의 영역 내의 화소들 중 최소 깊이 값 화소 위치를 검출할 수도 있다. 그리고, 프로세서(122)는 최소 깊이 값 화소 위치를 중심으로 미리 설정된 w*(WxH) 크기의 영역인 얼굴 영역을 설정할 수 있다(S122). 여기서의, W, H는 각각 56의 고정된 크기가 될 수 있으나 이에 한정하는 것은 아니다. 또한, w는 깊이 값에 따라 영역이 커지고 작아지는 가중치로써 수학식 2를 통해 계산될 수 있다.
[수학식 2]
Figure 112018098222602-pat00002
수학식 2에서 dnose는 최소 깊이 값 화소의 깊이 값이며, α 및 β는 영상 검출 장치(200)에 따른 상수로 실험적으로 결정될 수 있다. 예시적으로 α 및 β는 2.83, 456이 될 수 있으나 이에 제한되는 것은 아니다.
아울러, 프로세서(122)는 전술한 얼굴 영역을 정규화하여 얼굴의 크기 정보를 유지시킬 수 있다.
일부 실시예에서, 프로세서(122)는 최소 깊이 값 화소 위치를 검출하고, 최소 깊이 값 화소 위치를 중심으로 인접 영역의 복수의 화소 값의 깊이 값을 검출할 수 있다. 그리고, 프로세서(122)는 검출된 깊이 값에 기초하여 최소 깊이 값 화소를 중심으로 인접 화소들의 깊이 값의 제1 분포 정보를 분석할 수 있다. 그리고, 프로세서(122)는 제1 분포 정보를 미리 저장된 얼굴의 영역별 깊이 값 분포 정보들인 제2 분포 정보들과 서로 비교할 수 있다. 그리고, 프로세서(122)는 제2 분포 정보들 중 제1 분포 정보와 기 설정치 이상의 유사도 또는 가장 높은 수치의 유사도를 보이는 제3 분포 정보를 추출할 수 있다. 제3 분포 정보가 코 영역의 분포 정보에 해당하는 경우 프로세서(122)는 최소 깊이 값 화소가 코 끝에 해당한다고 판단할 수 있다. 이와 달리, 제3 분포 정보가 코 영역의 깊이 값 분포 정보 매칭되는지를 판단하여 그렇지 않은 경우 프로세서(122)는 최소 깊이 값 화소 위치로부터 소정의 거리로 특정 방향으로 이격된 영역 내에서의 추가 최소 깊이 값 화소를 재 검출할 수 있다. 여기서의 소정의 거리 및 특정 방향은 제3 분포 정보에 따라 달라질 수 있다. 즉, 제3 분포 정보가 얼굴 영역 중 어느 영역에서의 깊이 값의 분포 정보인지에 따라 상기 소정의 거리 및 특정 방향이 결정될 수 있다. 예시적으로, 운전자가 모자를 착용한 경우, 최소 깊이 값 화소는 모자 끝에 대응하는 화소가 될 수 있다. 그리고, 프로세서(122)는 제1 분포 정보와 가장 유사한 제3 분포 정보로부터 최소 깊이 값 화소가 모자 끝에 대응하는 화소라고 판단할 수 있다. 그리고, 프로세서(122)는 최소 깊이 값 화소를 중심으로 하측 방향으로 소정의 거리로 이격된 영역 내에서 다시 최소 깊이 값 화소를 검출할 수 있다. 여기서의 하측 방향으로 소정의 거리로 이격된 영역 내에는 운전자의 코 영역이 포함될 것이므로 해당 영역 내에서 최소 깊이 값 화소를 다시 검출하면, 코 끝에 대응하는 화소를 검출할 수 있다. 따라서, 운전자가 두부에 모자를 착용하였거나, 기타 악세서리를 착용함으로써 최소 깊이 값의 화소가 코 끝이 되지 않는 상황에서도 코 끝에 대응하는 화소를 검출할 수 있다.
프로세서(122)는 현재 깊이 영상에서 설정된 얼굴 영역에 대응하는 영역을 추출할 수 있다. 그리고, 해당 얼굴 영역과 매칭되는 영역을 현재 적외선 영상으로부터 추출함으로써 얼굴 영역 깊이 영상과 얼굴 영역 적외선 영상을 모두 생성할 수 있다(S123). 또한, 프로세서(122)는 영상 검출 장치(200)로부터 계속해서 수신되는 깊이 영상 및 적외선 영상에서 미리 설정된 얼굴 영역에 대응하는 영역을 추출함으로써 얼굴 영역 깊이 영상과 얼굴 영역 적외선 영상을 생성할 수 있다.
얼굴 영역 내의 눈 영역을 검출하는 단계(S130).
도 5를 더 참조하면, 프로세서(122)는 얼굴 영역 깊이 영상의 얼굴 영역에 매칭되는 영역인 얼굴 영역에 대한 적외선 영상, 즉 얼굴 영역 적외선 영상을 검출할 수 있다. 그리고 얼굴 영역 적외선 영상에서 눈 영역 적외선 영상을 생성할 수 있다. 여기서의, 눈 영역은 전술한 최소 깊이 값 화소의 위치를 중심으로 상단으로 wN개의 픽셀까지의 거리를 상하 폭으로 하고, 얼굴 영역의 좌우 폭을 좌우 폭으로하는 영역이 될 수 있다. 그리고, N는 미리 설정된 값으로써 사람의 일반적인 코 끝에서 눈썹 부위까지의 수직 거리에 따라 달라질 수 있다. 그리고 w는 사람의 얼굴 형상에 따라 미리 결정될 수 있는 가중치이다.
눈동자 검출 단계(S140).
프로세서(122)는 눈 영역 적외선 영상에서의 영상의 밝기 값을 이용하여 눈동자를 미리 학습 및 인식할 수 있다. 그리고 생성된 눈 영역 적외선 영상에의 검정부분과 흰색부분에 해당하는 밝기 값을 차연산하고 차연산 결과값이 임계 값 이상인 영역을 검출할 수 있다. 일부 실시예에서, 프로세서(122)는 Haar cascade 방법을 이용하여 논동자 검출을 진행할 수도 있다.
눈동자를 찾기 위해 눈 뜬 상태의 눈 영역을 기계 학습시키는 방법을 도 6, 도 7 및 도 8을 참조하여 구체적으로 설명한다.
도 6에서 예시된 바와 같이, 프로세서(122)는 A, B(Two-rectangle feature), C(Three-rectangle feature), D(four-rectangle feature)를 이용하고, 눈 영역 적외선 영상에서 A, B, C, D와 같은 Sub-Window를 Sliding시켜 탐색함으로써 눈동자를 찾을 수 있다.
이때 Sub-Window내의 feature의 크기와 모양은 다양할 수 있다. 그리고, 검정부분과 흰색부분의 크기와 모양은 동일할 수 있다.
보다 상세하게, 여러개의 약분류기(weak classifier)들이 상호 보완하도록 단계적으로 학습시키고, 이들을 조합하여 강분류기(strong classifier)의 성능을 증폭시키는 AdaBoost(Adaptive + Boosting)를 적용할 수 있다. 이러한 방법을 통해 이전 분류기가 오분류한 샘플의 가중치를 바꿔가면서 잘못 분류되는 데이터에 더 집중하여 학습하고 분류할 수 있다. 최종 강분류기는 각각의 약분류기들에 가중치를 적용하고 조합하여 얻을 수 있다. 이렇게 Boosting된 강분류기를 눈 영역 적외선 영상에 Sliding 시켜 눈동자를 감지하는 Cascade method를 적용할 수 있다. 이는 눈동자의 특성은 유지하고, 우선 간단한 강분류기를 Sliding시키고 통과할 시, 객체가 아닐 확률이 더 낮은 조금 더 강한 강분류기를 Sliding시킬 수 있다. 통과를 하지 못할 시에 해당하는 부분을 다음 Sliding시 건너뛰는 방식으로 Object가 아닌 부분을 줄여 나가면서 최종적인 결과를 찾아갈 수 있다. 즉, 관심 대상 외의 영역들을 먼저 제외해서 찾고자 하는 대상과 유사한 영역에 대해 좀 더 집중할 수 있다. 이를 위해 분류기들을 직렬(cascade)로 배치하여 분류기를 거칠수록 검출에 쓰이는 영역이 작아지므로 계산량이 줄고 속도가 빨라질 수 있다.
미리 설정된 시간 동안 눈동자 미검출 여부를 판단하는 단계(S150).
프로세서(122)는 학습된 분류기를 통해 눈영역 적외선 영상으로부터 눈동자 검출을 시도하여, 미리 설정된 시간 동안 눈동자가 검출되지 않은지 여부를 판단할 수 있다.
미리 설정된 시간 동안의 눈동자 미검출 여부에 따라 운전자의 상태를 감지하는 단계(S160) 및 운전자 상태에 기초하여 피드백을 제공하는 단계(S170).
프로세서(122)는 미리 설정된 시간 동안 눈동자가 검출되지 않으면 운전자가 졸음 상태임을 인식하고 운전자에게 피드백을 제공함으로써 운전자에게 경고할 수 있다. 여기서의 피드백은, 시각적/청각적/물리적인 피드백을 모두 포함하는 개념이다.
도 9는 본 발명의 실시예에 따른 졸음 감지 장치가 적용된 차량에 대한 예시도이고, 도 10은 차량 운전 보조 장치에 대한 예시적인 블록 다이어그램이다. 그리고 도 11 및 도 12는 영상 검출 장치가 차량 내부의 촬영 영역을 개략적으로 나타낸 예시도이고, 도 13은 졸음 감지에 따라 운전자에게 피드백 경고를 출력하는 것에 대한 예시도이다.
도 9를 참조하면, 차량(10)에는 졸음 감지 장치(100)가 적용될 수 있다. 본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다. 이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다. 이하의 설명에서 별도로 언급되지 않는 한 LHD(Left Hand Drive) 차량을 중심으로 설명한다.
이하의 설명에서 차량 운전 보조장치는 차량에 구비되는 별도의 장치로서, 차량과 데이터 통신을 통해 필요 정보를 주고받으며 차량 운전 보조기능을 실행하는 것으로 설명한다. 다만, 차량의 유닛 중 일부의 집합을 차량 운전 보조장치로 정의할 수도 있다. 그리고, 차량 운전 보조장치는 전술한 졸음 감지 장치(100) 및 영상 검출 장치(200)와 통합된 장치가 될 수도 있다.
도 10을 참조하면, 차량 운전 보조장치(300)는 졸음 감지 장치(100), 영상 검출 장치(200)를 포함할 수 있다. 또한, 차량 운전 보조장치(300)는 입력부(310), 통신부(320), 인터페이스부(330), 메모리(340), 모니터링부(350), 프로세서(370), 디스플레이부(380), 오디오 출력부(385) 및 전원 공급부(390)를 포함할 수 있다. 그러나, 도 10에 도시된 차량 운전 보조장치(300)의 유닛들은 차량 운전 보조장치(300)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 차량 운전 보조장치(300)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
도 11을 참조하면, 영상 검출 장치(200)는 차량 내부의 전면에 설치될 수 있다. 일부 실시예에서, 영상 검출 장치(200)는 차량 내부의 룸미러 장치에 설치될 수 있다. 영상 검출 장치(200)의 촬영 영역은 LHD(Left Hand Drive) 차량에서는 좌측 운전석이되고, RHD(Right Hand Drive) 차량에서는 우측 운전석이 될 수 있다.
도 12를 참조하면, 영상 검출 장치(200)는 운전자의 상반신을 촬영하도록 차량(10) 내부에 설치될 수 있다.
도 13을 더 참조하면, 영상 검출 장치(200)는 운전자의 졸음을 감지하면, 시각적인 피드백을 통해 운전자의 졸음이 감지되었음을 출력할 수 있다. 예시적으로, 디스플레이부(380)는 차량(10)의 전면 윈도우를 향해 영상을 디스플레이하는 장치가 구성될 수 있다. 그리고, 차량 운전 보조장치(300)는 영상 검출 장치(200)로부터의 운전자 졸음 감지 신호를 수신하면, 디스플레이부(380)를 통해 시각적으로 경고 메시지를 출력할 수 있다. 다른 측면에서, 차량 운전 보조장치(300)는 영상 검출 장치(200)로부터의 운전자 졸음 감지 신호를 수신하면, 오디오 출력부(385)를 통해 청각적으로 경고 메시지를 출력할 수도 있다. 또한, 차량 운전 보조장치(300)는 오디오 출력부(385)를 통해 청각적으로 경고 메시지를 출력함과 동시에 오디오 출력부(385)를 통해 출력되는 다른 사운드(예를 들어, 음악 소리 등)의 출력을 중단할 수 있다.
도 14는 운전석 좌석의 위치 조정에 따른 영상 검출 장치의 촬영 위치의 조정 및 복수의 배경 깊이 영상을 이용하는 방법을 설명하기 위한 개념도이다.
도 14를 참조하면, 운전자는 운전의 편의를 위하여 운전석 좌석의 위치를 조절할 수 있다. 운전석 좌석의 위치 조절과 관련하여 기본적으로 좌석의 등받이 각도 조절, 운전석 좌석 전후방 위치 조정 및 운전석 좌석 높이 조절이 있을 수 있다.
차량 운전 보조장치(300)는 운전석의 위치 조절에 신호에 응답하여 촬영 각도 조절 신호를 생성하여 영상 검출 장치(200)로 전송할 수 있다. 영상 검출 장치(200)는 촬영 각도 조절 신호에 대응하여 촬영 각도를 조절할 수 있다. 예를 들어, 운전석 좌석의 등받이가 지면을 차량 후방으로 기울어지면 영상 검출 장치(200)의 촬영 영역은 차량 하측으로 이동할 수 있다. 다른 예로, 운전석 좌석의 높이가 상승하면 영상 검출 장치(200)의 촬영 영역은 차량 상부 방향으로 이동할 수 있다. 따라서, 영상 검출 장치(200)의 촬영 영역은 운전석 좌석의 위치에 따라 가변될 수 있어 촬영 영역 내에는 운전자의 얼굴 영역이 항상 포함되도록 할 수 있다.
또한, 영상 검출 장치(200)는 차량 내부에 운전자가 탑승하지 않은 상태에서 제1 깊이 영상을 검출하여 졸음 감지 장치(100)로 전송할 수 있다. 졸음 감지 장치(100)는 수신된 제1 깊이 영상을 저장하고 이를 객체 검출 시 제1 배경 깊이 영상으로 이용할 수 있다. 또한, 차량 운전 보조장치(300)는 운전석의 위치가 기 설정된 범위를 초과하여 조절된 경우, 운전석 좌석 위치 변경 신호를 영상 검출 장치(200)로 전송할 수 있다. 영상 검출 장치(200)는 수신된 운전석 좌석 위치 변경 신호에 응답하여 차량 내부에 운전자가 탑승하지 않은 상태에서 제2 깊이 영상을 검출하고 이를 졸음 감지 장치(100)로 전송할 수 있다. 졸음 감지 장치(100)는 수신된 제2 깊이 영상을 저장하고 이를 객체 검출 시 제2 배경 깊이 영상으로 이용할 수 있다. 즉, 실시예는, 운전석 좌석 위치가 기 설정된 범위를 초과하여 조절된 경우 운전석을 촬영한 배경 깊이 영상을 추가로 생성하도록 한다. 따라서, 운전석 좌석 위치 변경에 따라 복수의 배경 깊이 영상이 생성될 수 있다. 그리고 복수의 배경 깊이 영상 각각이 촬영될 때의 운전석 좌석 위치 정보와 함께 메모리(121)에 저장될 수 있다.
졸음 감지 장치(100)는 객체 후보를 검출하는 단계(S110)에서, 저장된 복수의 배경 깊이 영상 중 어느 하나와 현재 깊이 영상을 서로 차연산할 수 있다.
상세하게, 졸음 감지 장치(100)는 차량 운전 보조장치(300)로부터 현재의 운전석 좌석 위치 정보를 수신하고, 복수의 배경 깊이 영상 중 수신된 운전석 좌석 위치 정보에 매칭되는 배경 깊이 영상을 검출하여 이를 현재 깊이 영상과 차연산 할 수 있다.
운전석 좌석 위치가 변경될 수 있고 그에 따라 현재 깊이 영상 내의 배경 영역 상의 깊이 정보가 달라질 수 있으나, 현재 깊이 영상과 차연산될 배경 깊이 영상은 운전석 좌석의 위치에 매칭되는 배경 깊이 영상을 이용하게 되므로 객체 검줄의 정확도를 향상시킬 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 수학식 1 내지 수학식 9를 전술한 바와 같이 프로세서(122)가 연산하도록 프로세서(122)에 의해 수행되는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (7)

  1. 운전자가 탑승한 차량 내의 운전석을 촬영한 현재 깊이 영상과 상기 운전자가 탑승하지 않은 차량 내의 운전석을 촬영한 배경 깊이 영상으로부터 상기 현재 깊이 영상 내의 객체 영역을 검출하는 단계;
    상기 객체 영역 내의 화소들의 깊이 값에 기초하여 상기 운전자의 얼굴 영역을 검출하는 단계;
    현재 적외선 영상에서 상기 운전자의 얼굴 영역에 대응하는 얼굴 영역 적외선 영상을 생성하는 단계;
    상기 화소들의 깊이 값에 기초하여 상기 얼굴 영역 적외선 영상 내의 눈 영역 적외선 영상을 생성하는 단계;
    기계 학습에 따라 상기 눈 영역 적외선 영상에서 밝기 값을 이용하여 눈동자를 검출하는 단계; 및
    상기 눈동자의 미검출 시간에 기초하여 상기 운전자의 졸음 여부를 판단하는 단계;를 포함하고,
    상기 객체 영역을 검출하는 단계는,
    상기 현재 깊이 영상과 상기 배경 깊이 영상의 차영상을 생성하는 단계;
    상기 차영상으로부터 이진화 영상을 생성하는 단계;
    상기 이진화 영상으로부터 레이블링 영상을 생성하는 단계; 및
    상기 레이블링 영상을 블록화하여 배경, 상기 배경과 상기 객체의 경계 및 상기 객체 내부 영역을 구분하는 단계;를 포함하고,
    상기 운전자의 얼굴 영역을 검출하는 단계는,
    상기 객체 내부 영역에 대응하는 블록에 대응하는 상기 현재 깊이 영상의 영역 내의 화소들 중 최소 깊이 값 화소의 위치를 검출하는 단계;
    상기 최소 깊이 값 화소의 인접 화소들의 깊이 값의 제1 분포 정보를 미리 저장된 얼굴의 영역별 깊이 값의 제2 분포 정보들과 비교하는 단계;
    상기 제2 분포 정보들 중 상기 제1 분포 정보와 기 설정치 이상의 유사도를 보이는 제3 분포 정보를 추출하는 단계;
    상기 제3 분포 정보가 코 영역의 깊이 값 분포 정보에 매칭되는지 않는 경우, 상기 제3 분포 정보가 얼굴 영역 중 어느 영역에서의 깊이 값의 분포 정보인지 판단하여 소정의 거리 및 특정 방향을 결정하고, 상기 최소 깊이 값 화소의 위치로부터 상기 소정의 거리만큼 상기 특정 방향으로 이격된 영역 내에서 추가 최소 깊이 값 화소의 위치를 재검출하는 단계; 및
    상기 추가 최소 깊이 값 화소 위치를 중심으로 미리 설정된 크기의 영역인 상기 얼굴 영역을 검출하는 단계;를 포함하고,
    상기 얼굴 영역 적외선 영상에서 상기 얼굴 영역의 추가 최소 깊이 값 화소 위치로부터 상단으로 소정의 화소만큼 이격된 영역과 매칭되는 상기 눈 영역 적외선 영상을 생성하고,
    상기 운전석의 좌석 위치가 기 설정된 범위를 초과하여 조절된 경우 위치가 조절된 운전석을 촬영한 배경 깊이 영상을 추가로 생성하고,
    미리 저장된 배경 깊이 영상 중 현재 좌석의 위치에 대응하는 배경 깊이 영상과 상기 현재 깊이 영상으로부터 상기 객체 영역을 검출하는
    깊이 영상과 적외선 영상을 통한 졸음 감지 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 운전자의 얼굴 영역을 검출하는 단계는,
    상기 객체 내부 영역에 대응하는 블록에 대응하는 상기 현재 깊이 영상의 영역 내의 화소들 중 최소 깊이 값 화소의 위치를 검출하는 단계; 및
    상기 최소 깊이 값 화소의 위치를 중심으로 미리 설정된 크기의 영역인 상기 얼굴 영역을 검출하는 단계;를 포함하는
    깊이 영상과 적외선 영상을 통한 졸음 감지 방법.
  4. 삭제
  5. 제1 항에 있어서,
    상기 운전자의 졸음이 판단되면 시각적, 청각적 및 물리적 피드백 중 어느 하나를 상기 운전자에게 제공하는 단계;를 더 포함하는
    깊이 영상과 적외선 영상을 통한 졸음 감지 방법.
  6. 제1 항에 있어서,
    상기 운전석의 위치 조절에 대응하여 상기 운전석을 촬영하는 촬영 각도가 조절되는
    깊이 영상과 적외선 영상을 통한 졸음 감지 방법.
  7. 명령들을 저장하는 적어도 하나의 메모리; 및
    적어도 하나의 프로세서;를 포함하고,
    상기 명령들은 상기 프로세서로 하여금 동작들을 수행하게 하기 위해 상기 프로세서에 의해 실행가능하고,
    상기 동작들은:
    운전자가 탑승한 차량 내의 운전석을 촬영한 현재 깊이 영상과 상기 운전자가 탑승하지 않은 차량 내의 운전석을 촬영한 배경 깊이 영상으로부터 상기 현재 깊이 영상 내의 객체 영역을 검출하고,
    상기 객체 영역 내의 화소들의 깊이 값에 기초하여 상기 운전자의 얼굴 영역을 검출하고,
    현재 적외선 영상에서 상기 운전자의 얼굴 영역에 대응하는 얼굴 영역 적외선 영상을 생성하고,
    상기 화소들의 깊이 값에 기초하여 상기 얼굴 영역 적외선 영상 내의 눈 영역 적외선 영상을 생성하고,
    기계 학습에 따라 상기 눈 영역 적외선 영상에서 밝기 값을 이용하여 눈동자를 검출하며,
    상기 눈동자의 미검출 시간에 기초하여 상기 운전자의 졸음 여부를 판단하는 것을 포함하고,
    상기 객체 영역을 검출하는 것은,
    상기 현재 깊이 영상과 상기 배경 깊이 영상의 차영상을 생성하고,
    상기 차영상으로부터 이진화 영상을 생성하고,
    상기 이진화 영상으로부터 레이블링 영상을 생성하며,
    상기 레이블링 영상을 블록화하여 배경, 상기 배경과 상기 객체의 경계 및 상기 객체 내부 영역을 구분하는 것을 포함하고,
    상기 운전자의 얼굴 영역을 검출하는 것은,
    상기 객체 내부 영역에 대응하는 블록에 대응하는 상기 현재 깊이 영상의 영역 내의 화소들 중 최소 깊이 값 화소의 위치를 검출하고,
    상기 최소 깊이 값 화소의 인접 화소들의 깊이 값의 제1 분포 정보를 미리 저장된 얼굴의 영역별 깊이 값의 제2 분포 정보들과 비교하고,
    상기 제2 분포 정보들 중 상기 제1 분포 정보와 기 설정치 이상의 유사도를 보이는 제3 분포 정보를 추출하고,
    상기 제3 분포 정보가 코 영역의 깊이 값 분포 정보에 매칭되는지 않는 경우, 상기 제3 분포 정보가 얼굴 영역 중 어느 영역에서의 깊이 값의 분포 정보인지 판단하여 소정의 거리 및 특정 방향을 결정하고, 상기 최소 깊이 값 화소의 위치로부터 상기 소정의 거리만큼 상기 특정 방향으로 이격된 영역 내에서 추가 최소 깊이 값 화소의 위치를 재검출하며,
    상기 추가 최소 깊이 값 화소 위치를 중심으로 미리 설정된 크기의 영역인 상기 얼굴 영역을 검출하는 것을 포함하고,
    상기 얼굴 영역 적외선 영상에서 상기 얼굴 영역의 추가 최소 깊이 값 화소 위치로부터 상단으로 소정의 화소만큼 이격된 영역과 매칭되는 상기 눈 영역 적외선 영상을 생성하고,
    상기 운전석의 좌석 위치가 기 설정된 범위를 초과하여 조절된 경우 위치가 조절된 운전석을 촬영한 배경 깊이 영상을 추가로 생성하고,
    미리 저장된 배경 깊이 영상 중 현재 좌석의 위치에 대응하는 배경 깊이 영상과 상기 현재 깊이 영상으로부터 상기 객체 영역을 검출하는
    졸음 감지 장치.
KR1020180118666A 2018-10-05 2018-10-05 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 KR102074519B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180118666A KR102074519B1 (ko) 2018-10-05 2018-10-05 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180118666A KR102074519B1 (ko) 2018-10-05 2018-10-05 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
KR102074519B1 true KR102074519B1 (ko) 2020-02-06

Family

ID=69569294

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180118666A KR102074519B1 (ko) 2018-10-05 2018-10-05 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체

Country Status (1)

Country Link
KR (1) KR102074519B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135254B1 (ko) * 2019-08-20 2020-07-20 엘지전자 주식회사 차량 내 사용자 모니터링을 위한 배경 이미지 생성 방법 및 이를 위한 장치
WO2022257120A1 (zh) * 2021-06-11 2022-12-15 华为技术有限公司 瞳孔位置的确定方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108216A (ko) 2004-05-12 2005-11-16 삼성전자주식회사 카메라를 휴대단말기의 졸음운전방지 방법
KR20140025812A (ko) * 2012-08-22 2014-03-05 삼성전기주식회사 졸음 운전 감지 장치 및 방법
KR20170088315A (ko) * 2017-07-10 2017-08-01 동의대학교 산학협력단 깊이정보 기반의 안면인식 자동차제어방법
KR101846311B1 (ko) * 2016-12-30 2018-04-06 동의대학교 산학협력단 공간증강현실 기반의 샌드테이블 시스템
KR101853006B1 (ko) * 2016-12-19 2018-04-30 동의대학교 산학협력단 깊이영상에서 코 검출을 이용한 얼굴 인식

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108216A (ko) 2004-05-12 2005-11-16 삼성전자주식회사 카메라를 휴대단말기의 졸음운전방지 방법
KR20140025812A (ko) * 2012-08-22 2014-03-05 삼성전기주식회사 졸음 운전 감지 장치 및 방법
KR101853006B1 (ko) * 2016-12-19 2018-04-30 동의대학교 산학협력단 깊이영상에서 코 검출을 이용한 얼굴 인식
KR101846311B1 (ko) * 2016-12-30 2018-04-06 동의대학교 산학협력단 공간증강현실 기반의 샌드테이블 시스템
KR20170088315A (ko) * 2017-07-10 2017-08-01 동의대학교 산학협력단 깊이정보 기반의 안면인식 자동차제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135254B1 (ko) * 2019-08-20 2020-07-20 엘지전자 주식회사 차량 내 사용자 모니터링을 위한 배경 이미지 생성 방법 및 이를 위한 장치
WO2022257120A1 (zh) * 2021-06-11 2022-12-15 华为技术有限公司 瞳孔位置的确定方法、装置及系统

Similar Documents

Publication Publication Date Title
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
US20070230797A1 (en) Method, apparatus, and program for detecting sightlines
US8442339B2 (en) Method and device for selecting images in a sequence of iris images received in a stream
US7817848B2 (en) Apparatus, method, and computer product for discriminating object
US7869629B2 (en) Apparatus and method for detecting heads in input image
CN105404884B (zh) 图像分析方法
KR100809431B1 (ko) 가림 현상에 강인한 눈 검출 방법 및 장치
US10706502B2 (en) Monitoring system
KR20200095383A (ko) V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치
KR102429822B1 (ko) 운전자의 감정상태 인식 장치 및 방법
US20110026810A1 (en) Image analyzing apparatus, image analyzing method, and computer readable medium
US20060110030A1 (en) Method, medium, and apparatus for eye detection
US20070019863A1 (en) Method, apparatus, and program for detecting faces
US8155396B2 (en) Method, apparatus, and program for detecting faces
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
KR20100116178A (ko) 디지털 이미지들에서 얼굴 표정들을 검출
KR102074519B1 (ko) 깊이 영상과 적외선 영상을 통한 졸음 감지 방법 및 졸음 감지 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR102552968B1 (ko) 다중 객체 추적 방법 및 이를 위한 장치
US9349071B2 (en) Device for detecting pupil taking account of illuminance and method thereof
Yuen et al. On looking at faces in an automobile: Issues, algorithms and evaluation on naturalistic driving dataset
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
KR20210091966A (ko) 얼굴 및 스트레스 인식 장치 및 방법
US20200108773A1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
KR20060121503A (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant