KR20130025665A - 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법 - Google Patents

적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법 Download PDF

Info

Publication number
KR20130025665A
KR20130025665A KR1020110089104A KR20110089104A KR20130025665A KR 20130025665 A KR20130025665 A KR 20130025665A KR 1020110089104 A KR1020110089104 A KR 1020110089104A KR 20110089104 A KR20110089104 A KR 20110089104A KR 20130025665 A KR20130025665 A KR 20130025665A
Authority
KR
South Korea
Prior art keywords
driver
face
recognition error
infrared sensor
light signal
Prior art date
Application number
KR1020110089104A
Other languages
English (en)
Other versions
KR101251836B1 (ko
Inventor
김삼용
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020110089104A priority Critical patent/KR101251836B1/ko
Priority to US13/313,686 priority patent/US20130057668A1/en
Priority to JP2011268714A priority patent/JP2013054717A/ja
Priority to CN201210001656.6A priority patent/CN102975719B/zh
Priority to DE102012200096A priority patent/DE102012200096A1/de
Publication of KR20130025665A publication Critical patent/KR20130025665A/ko
Application granted granted Critical
Publication of KR101251836B1 publication Critical patent/KR101251836B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0266—Operational features for monitoring or limiting apparatus function
    • A61B2560/0276—Determining malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Hospice & Palliative Care (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법으로서, 빛 신호를 발광하는 발광부 및 상기 빛 신호를 수광하는 수광부를 포함하며, 상기 발광부로부터 발광되는 빛 신호 및 상기 수광부에 의해 수광되는 빛 신호의 위상차를 이용하여, 정면의 장애물까지의 거리를 측정하는 적외선 센서, 운전자 얼굴을 촬영하여, 촬영된 영상에서 운전자 얼굴을 검출하는 얼굴인식 카메라, 및 상기 적외선 센서 및 상기 얼굴인식 카메라를 통해 측정된 데이터를 이용하여 인식 오류가 발생하였는지 여부를 판별하고, 인식 오류가 발생한 경우, 발생한 인식 오류를 분석하는 전자제어부를 포함한다.

Description

적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법{Driver condition detecting device with IR sensor}
본 발명은 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법으로서, 보다 상세하게는 적외선 LED 및 카메라를 이용하는 운전자 상태감시 장치 및 그 방법이다.
일반적으로 운전자 상태감시 장치는 카메라를 이용하여 운전자 얼굴, 상태, 자세 등을 촬영하여 이를 분석함으로써, 운전자 상태를 확인하여, 운전자 부주의, 졸음 등을 확인할 수 있는 장치이다. 운전자 상태감시 장치에서, 야간 또는 어두운 환경에서도 카메라 촬영을 원활하게 하기 위해 주로 소정의 조명장치가 카메라와 함께 구비된다.
그러나, 카메라로 촬영된 영상만으로 운전자 상태를 확인하는 것은 주행 중 광환경 변화에 의한 열화현상, 카메라 렌즈의 이물질에 의한 영상불량, 운전자 얼굴의 일부 확인 불가능, 운전자 자세 변경에 따른 운전자 상태 미인식 등과 같은 오류에 적절하게 대응할 수 없고, 무조건적으로 인식 오류로 처리하는 문제점이 있다.
또한, 무조건적으로 인식 오류로 처리하는 경우, 어떤 문제점 때문에 인식 오류가 발생하는지도 사용자가 알 수 없어, 인식 오류에 대한 적절한 대응을 할 수 없다는 문제점이 있다.
따라서, 일반적인 운전자 상태감시 장치는 인식 오류 뿐 아니라 인식 오류를 수정할 방법도 알 수 없는 문제점이 있다.
본 발명은 적외선 LED 및 카메라를 이용하여 운전자 상태를 확인함으로써, 카메라 또는 운전자세에 따라 발생할 수 있는 인식 오류를 줄일 수 있는 운전자 상태감시 장치를 제공하는데 그 목적이 있다.
본 발명은, 빛 신호를 발광하는 발광부 및 상기 빛 신호를 수광하는 수광부를 포함하며, 상기 발광부로부터 발광되는 빛 신호 및 상기 수광부에 의해 수광되는 빛 신호의 위상차를 이용하여, 정면의 장애물까지의 거리를 측정하는 적외선 센서, 운전자 얼굴을 촬영하여, 촬영된 영상에서 운전자 얼굴을 검출하는 얼굴인식 카메라, 및 상기 적외선 센서 및 상기 얼굴인식 카메라를 통해 측정된 데이터를 이용하여 인식 오류가 발생하였는지 여부를 판별하고, 인식 오류가 발생한 경우, 발생한 인식 오류를 분석하는 전자제어부를 포함한다.
또한, 본 발명은 발광부로부터 발광되는 빛 신호 및 수광부에 의해 수광되는 빛 신호의 위상차를 이용하여, 적외선 센서를 통해 정면의 장애물까지의 거리를 측정하는 제1단계, 얼굴인식 카메라를 통해 운전자 얼굴을 촬영하여, 촬영된 영상에서 운전자 얼굴을 검출하는 제2단계, 및 전자제어부를 통해 상기 제1단계 및 상기 제2단계에서 측정된 데이터를 이용하여 인식 오류가 발생하였는지 여부를 판별하고, 인식 오류가 발생한 경우, 발생한 인식 오류를 분석하는 제3단계를 포함한다.
본 발명에 따르면, 운전자 상태감시 장치에서 주변환경 또는 운전자 자세에 따라 발생하는 인식 오류를 줄일 수 있다.
또한, 카메라 뿐 아니라 적외선 센서가 이용되므로, 인식 오류를 경우의 수에 따라 분류할 수 있으므로, 각 인식 오류의 원인을 파악할 수 있다.
또한, 사용자에게 오류 메시지를 제공함으로써, 사용자가 인식 오류를 수정할 수 있도록 유도할 수 있다.
도 1은 본 발명의 일실시예에 따른 운전자 상태감시 장치를 나타내는 구성도이다.
도2는 차량에 구비되는 본 발명의 일실시예에 따른 운전자 상태감시 장치를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 운전자 상태감시 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일실시예에 따른 운전자와의 거리 확인 방법을 나타내는 도면이다.
도 1은 본 발명의 일실시예에 따른 운전자 상태감시 장치를 나타내는 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 운전자 상태감시 장치는 적외선(IR, Infra Ray) 센서(100), 얼굴인식 카메라(110), 전자제어부(120), 표시부(130), 알람부(140)를 포함한다.
적외선 센서(100)는 정면의 장애물과 적외선 센서(100) 사이의 거리를 측정하기 위한 장치로서, 소정의 빛 신호를 발광하는 발광부(101) 및 주변의 빛 신호를 수광하는 수광부(103)를 포함한다.
발광부(101)는 소정의 빛 신호를 발광하여 얼굴인식 카메라(110)에 대해서는 조명장치로서의 역할을 수행하고, 상기 수광부(103)에 대해서는 수광 대상이 되는 빛을 발광하는 역할을 수행한다. 상기 발광부(101)로서, 가시광선 또는 원적외선 영역대의 LED(Light Emitting Diode)가 이용될 수도 있으나, 주로 적외선 LED(IR Light Emitting Diode)가 이용된다.
발광부(101)로부터 발광되는 빛 신호 및 수광부(103)에 의해 수광되는 빛 신호 사이의 위상차에 따라 상기 적외선 센서(100)와 정면의 장애물 사이의 거리가 측정될 수 있다. 여기서 정면의 장애물이란, 운전자의 얼굴, 운전자의 상체, 운전자 좌석 등, 발광부(101) 및 수광부(103)의 정면에 존재하는 것들을 의미한다. 적외선 센서(100)와 정면의 장애물 사이의 거리 측정 방법은 하기 도 4에서 상세하게 설명한다.
얼굴인식 카메라(110)는 운전자 얼굴을 촬영하는 장치이다. 얼굴인식 카메라(110)에 의해 촬영된 영상에서 운전자 얼굴이 검출된다. 얼굴인식 카메라(110)는 적외선 센서(100)와 나란히 배치되는 경우가 많아, 얼굴인식 카메라(110) 앞에 놓이는 물체는 적외선 센서(100) 정면의 장애물로 인식될 수 있다.
전자제어부(120)는 적외선 센서(100) 및 얼굴인식 카메라(110)에 의해 측정된 데이터를 기초로 인식 오류가 발생하였는지 여부를 판별하여, 인식 오류가 발생하지 않은 경우, 현재 운전자 상태를 확인하고, 인식 오류가 발생한 경우, 발생한 인식 오류를 분석하는 장치이다. 따라서, 인식 오류가 발생하지 않은 경우에만, 전자제어부(120)는 현재 운전자 상태를 확인하여, 정상 운전 상태인지, 운전 부주의 상태인지 판단할 수 있다.
또한, 전자제어부(120)는 분석된 인식 오류에 따라 표시부(130)를 통해 사용자에게 적절한 안내 메시지를 제공하여 운전자로 하여금 적절한 조치를 취할 수 있도록 한다.
전자제어부(120)는 적외선 센서(100) 및 얼굴인식 카메라(110)에 의해 측정된 데이터를 이용하여 각 경우에 수에 따라 인식 오류를 분석할 수 있다. 따라서, 전자제어부(120)는 적외선 센서(100)에 의해 측정된 거리에 따라 현재 정면의 장애물이 무엇인지, 운전자 자세가 정상인지 등을 판단할 수 있다. 예를 들어, 측정된 거리가 0cm에서 30cm인 경우, 얼굴인식 카메라(110) 앞에 물체 또는 운전자 얼굴이 매우 가까이 있다고 판단할 수 있고, 측정된 거리가 40cm에서 60cm인 경우, 운전자 자세가 정상 상태이고, 측정된 거리는 운전자 상체까지의 거리라고 판단할 수 있고, 측정된 거리가 80cm에서 90cm인 경우, 운전자 자세가 비정상이고, 측정된 거리는 운전자 시트까지의 거리라고 판단할 수 있다.
표시부(130)는 전자제어부(120)로부터 전송되는 신호에 따라 운전자 상태를 나타내는 운전자 상태 메시지, 발생한 인식 오류를 나타내는 인식 오류 메시지, 발생한 인식 오류를 분석한 인식 오류 분석 메시지 또는 인식 오류 분석 결과에 따라 인식 오류 수정을 위한 안내 메시지를 표시할 수 있다. 운전자 상태 메시지는 정상 운전 상태 또는 운전 부주의 상태에 따라 다르게 표시된다.
알람부(140)는 전자제어부(120)의 판단 결과, 운전 부주의 상태인 경우 경보 알람을 출력할 수 있다. 알람부(140)는 음성 출력 장치로서, 인식 오류가 발생한 경우, 인식 오류 메시지 또는 인식 오류 분석 메시지를 음성으로 출력할 수도 있다.
예를 들어, 일반적인 광환경 및 운전 자세의 경우, 적외선 센서(100)에 의해 측정된 운전자 상체까지 거리가 40cm에서 60cm 사이의 값으로 추정되고, 얼굴인식 카메라(110)에 의해 촬영된 영상에서 운전자 얼굴이 정상적으로 검출되는 경우, 전자제어장치(120)는 인식 오류가 발생하지 않는 경우로 판단하고, 현재 운전자 상태를 확인한다. 운전자 상태 확인 결과는 정상 운전 상태 또는 운전 부주의 상태로 구분될 수 있으며, 표시부(130) 또는 알람부(140)를 통해 메시지 또는 경보 알람이 출력될 수 있다.
또 다른 예로서, 운전자 얼굴이 카메라에 근접하는 경우, 적외선 센서(100)에 의해 측정된 운전자 얼굴까지 거리가 0cm에서 20cm 사이의 값으로 추정되고, 얼굴인식 카메라(110)에 의해 촬영된 영상에서 운전자 얼굴이 정상적으로 검출되지 않는 경우, 전자제어장치(120)는 인식 오류가 발생한 것으로 판단하고, 얼굴검출 불가 상태로 분석하여 인식 오류 메시지 및 운전자 상태감시를 위해 운전자 자세를 확인하라는 안내 메시지를 표시부(130) 또는 알람부(140)를 통해 출력할 수 있다.
또 다른 예로서, 얼굴인식 카메라(110) 앞에 물체가 존재하는 경우, 적외선 센서(100)에 의해 측정된 물체까지 거리가 15cm 의 고정된 값으로 추정되고, 얼굴인식 카메라(110)에 의해 촬영된 영상에서 운전자 얼굴이 정상적으로 검출되지 않는 경우, 전자제어장치(120)는 인식 오류가 발생한 것으로 판단하고, 얼굴검출 불가 상태로 분석하여 인식 오류 메시지 및 얼굴인식 카메라(110) 앞에 놓인 물체를 확인하라는 안내 메시지를 표시부(130) 또는 알람부(140)를 통해 출력할 수 있다.
또 다른 예로서, 역광 또는 측광에 의해 얼굴이 매우 어둡거나 밝은 상태인 경우, 적외선 센서(100)에 의해 측정된 운전자 상체까지 거리가 40cm에서 60cm 사이의 값으로 추정되고, 얼굴인식 카메라(110)에 의해 촬영된 영상에서 운전자 얼굴이 정상적으로 검출되지 않는 경우, 전자제어장치(120)는 인식 오류가 발생한 것으로 판단하고, 얼굴검출 불가 상태로 분석하여 인식 오류 메시지 및 광환경을 조절하라는 안내 메시지를 표시부(130) 또는 알람부(140)를 통해 출력할 수 있다.
또 다른 예로서, 운전자가 앉은 자세에서 운전자 얼굴이 검출되지 않는 경우, 적외선 센서(100)에 의해 측정된 운전자 시트까지 거리가 80cm에서 90cm 사이의 값으로 추정되고, 얼굴인식 카메라(110)에 의해 촬영된 영상에서 운전자 얼굴이 정상적으로 검출되지 않는 경우, 전자제어장치(120)는 인식 오류가 발생한 것으로 판단하고, 오검출 상태로 분석하여 상태 판단을 할 수 없다는 오류 인식 메시지를 표시부(130) 또는 알람부(140)를 통해 출력할 수 있다.
또 다른 예로서, 일반적인 광환경에서 운전자 얼굴이 검출되지 않는 경우, 적외선 센서(100)에 의해 측정된 운전자 상체까지 거리가 40cm에서 60cm 사이의 값으로 추정되고, 얼굴인식 카메라(110)에 의해 촬영된 영상에서 운전자 얼굴이 정상적으로 검출되지 않는 경우, 전자제어장치(120)는 인식 오류가 발생한 것으로 판단하고, 오검출 상태로 분석하여 상태 판단을 할 수 없다는 오류 인식 메시지를 표시부(130) 또는 알람부(140)를 통해 출력할 수 있다.
적외선 센서(100)에 의해 측정되는 거리에 대한 판단기준은, 상기 실시예에 기재된 cm 범위에 한정되는 것이 아니고, 실제 운전자 얼굴까지의 거리 또는 실제 운전자 상체까지의 거리는 운전자의 체형이나, 운전습관에 따라 변경될 수 있다. 따라서, 운전자별 프로파일을 등록하여 적외선 센서(100)에 의해 측정되는 거리에 대한 판단 기준을 차등적으로 적용할 수도 있다.
도2는 차량에 구비되는 본 발명의 일실시예에 따른 운전자 상태감시 장치를 나타내는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 운전자 상태감시 장치의 적외선 센서(100) 및 얼굴인식 카메라(110)는 동일 평면에 구비될 수 있다. 2개의 발광부(101) 사이에 1개의 수광부(103)를 배치하여 얼굴인식 카메라(110)의 양쪽에 각각 배치할 수 있다. 따라서, 정면의 장애물까지의 거리가 적외선 센서(100)에 의해 측정될 수 있고, 얼굴인식 카메라(110)에 의해 운전자 얼굴이 촬영된다.
도 3은 본 발명의 일실시예에 따른 운전자 상태감시 방법을 나타내는 흐름도이다.
도 3에 도시된 바와 같이, 운전자 얼굴에 대한 영상이 촬영된다(S200). 다음, 발광부(101)가 빛 신호를 발광하고, 수광부(103)가 상기 빛 신호를 수광한다(S210). S200 단계 및 S210단계는 동시에 일어날 수 있고, 선후 순서가 변경될 수도 있다.
다음, 발광부(101)로부터 발광된 빛 신호 및 수광부(103)에 의해 수관된 빛 신호의 위상차를 이용하여 적외선 센서(100)의 정면의 장애물까지의 거리가 추정된다(S220).
다음, S220 단계에서 추정된 장애물까지의 거리 및 S200 단계에서 촬영된 운전자 얼굴 영상이 전자제어부(120)에 의해 분석된다(S230).
다음, S230 단계에서 분석된 결과에 따라 소정의 메시지 또는 알람이 표시부(130) 또는 알람부(140)를 통해 출력된다(S240). 상기 소정의 메시지는 운전자 상태 메시지, 인식 오류 메시지, 인식 오류 분석 메시지 또는 안내 메시지일 수 있다.
도 4는 본 발명의 일실시예에 따른 운전자와의 거리 확인 방법을 나타내는 도면이다.
도 4에 도시된 바와 같이, 발광부(101)가
Figure pat00001
간격으로
Figure pat00002
시간동안 빛 신호를 발광하면, 수광부(103)는
Figure pat00003
만큼 지연된 시간 이후에 빛 신호를 수광한다.
이때, 발광부(101) 및 수광부(103)를 포함하는 적외선 센서(100)로부터 정면에 존재하는 장애물까지의 거리는 하기 수학식 1과 같이 산출될 수 있으며, 하기 수학식 1은, 장애물까지의 거리 1M 내외에서 cm 단위의 정밀도를 갖는다.
Figure pat00004
여기서, D는 장애물까지의 거리이고, c는 빛의 속도이다.
상기한 바와 같이, 본 발명에 따르면 적외선 센서(100)로부터 정면에 존재하는 장애물까지의 거리를 정밀하게 추정할 수 있으므로, 카메라 환경 또는 운전자 자세 등에 의해 변경될 수 있는 장애물까지의 거리가 확인될 수 있고, 동시에 운전자 얼굴도 얼굴인식 카메라(110)에 의해 인식될 수 있다.
따라서, 본 발명은 각각의 데이터를 이용하여 인식 오류를 확인할 수 있고, 인식 오류를 분석하여 원인을 찾아내어 인식 오류를 수정할 수 있는 방법을 제시한다.
본 발명은 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 본 발명은 상기 실시예에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시도 가능하며, 변형실시는 본 발명의 기술적 사상이나 해결 원리로부터 개별적으로 이해되어서는 안될 것이다.

Claims (12)

  1. 빛 신호를 발광하는 발광부 및 상기 빛 신호를 수광하는 수광부를 포함하며, 상기 발광부로부터 발광되는 빛 신호 및 상기 수광부에 의해 수광되는 빛 신호의 위상차를 이용하여, 정면의 장애물까지의 거리를 측정하는 적외선 센서;
    운전자 얼굴을 촬영하여, 촬영된 영상에서 운전자 얼굴을 검출하는 얼굴인식 카메라; 및
    상기 적외선 센서 및 상기 얼굴인식 카메라를 통해 측정된 데이터를 이용하여 인식 오류가 발생하였는지 여부를 판별하고, 인식 오류가 발생한 경우, 발생한 인식 오류를 분석하는 전자제어부를 포함하는 운전자 상태감시 장치.
  2. 제1항에 있어서,
    상기 인식 오류가 발생한 경우, 인식 오류 메시지, 인식 오류 분석 메시지 및 안내 메시지 중 적어도 하나를 표시하는 표시부를 더 포함하는 운전자 상태감시 장치.
  3. 제1항에 있어서,
    상기 정면의 장애물은 운전자의 얼굴, 운전자의 상체 및 운전자 좌석 중 어느 하나인 것을 특징으로 하는 운전자 상태감시 장치.
  4. 제1항에 있어서,
    상기 전자제어부는 상기 적외선 센서에 의해 측정된 거리에 따라 상기 정면의 장애물 또는 운전자 자세를 확인할 수 있는 것을 특징으로 하는 운전자 상태감시 장치.
  5. 제1항에 있어서,
    상기 적외선 센서는 상기 빛 신호가 상기 발광부에 의해 발광되어, 상기 수광부에 의해 수광될 때까지의 지연시간을 이용하여 상기 정면의 장애물까지의 거리를 측정하는 것을 특징으로 하는 운전자 상태감시 장치.
  6. 제1항에 있어서,
    상기 인식 오류가 발생하지 않은 경우, 상기 전자제어부는 상기 적외선 센서 및 상기 얼굴인식 카메라를 통해 측정된 데이터를 이용하여, 운전자 상태가 정상 운전 상태인지 또는 운전 부주의 상태인지 판단하는 것을 특징으로 하는 운전자 상태감시 장치.
  7. 제6항에 있어서,
    상기 전자제어부 판단 결과, 운전 부주의 상태인 경우, 경보 알람을 출력하는 알람부를 더 포함하는 운전자 상태감시 장치.
  8. 발광부로부터 발광되는 빛 신호 및 수광부에 의해 수광되는 빛 신호의 위상차를 이용하여, 적외선 센서를 통해 정면의 장애물까지의 거리를 측정하는 제1단계;
    얼굴인식 카메라를 통해 운전자 얼굴을 촬영하여, 촬영된 영상에서 운전자 얼굴을 검출하는 제2단계; 및
    전자제어부를 통해 상기 제1단계 및 상기 제2단계에서 측정된 데이터를 이용하여 인식 오류가 발생하였는지 여부를 판별하고, 인식 오류가 발생한 경우, 발생한 인식 오류를 분석하는 제3단계를 포함하는 운전자 상태감시 방법.
  9. 제8항에 있어서,
    상기 인식 오류가 발생한 경우, 인식 오류 메시지, 인식 오류 분석 메시지 및 안내 메시지 중 적어도 하나를 표시부를 통해 표시하는 제4단계를 더 포함하는 운전자 상태감시 방법.
  10. 제8항에 있어서,
    상기 정면의 장애물은 운전자의 얼굴, 운전자의 상체 및 운전자 좌석 중 어느 하나인 것을 특징으로 하는 운전자 상태감시 방법.
  11. 제8항에 있어서,
    상기 전자제어부는 상기 제1단계에서 측정된 거리에 따라 상기 정면의 장애물 또는 운전자 자세를 확인할 수 있는 것을 특징으로 하는 운전자 상태감시 방법.
  12. 제8항에 있어서,
    상기 제1단계는 상기 빛 신호가 상기 발광부에 의해 발광되어, 상기 수광부에 의해 수광될 때까지의 지연시간을 이용하여 상기 정면의 장애물까지의 거리를 측정하는 것을 특징으로 하는 운전자 상태감시 방법.
KR1020110089104A 2011-09-02 2011-09-02 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법 KR101251836B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110089104A KR101251836B1 (ko) 2011-09-02 2011-09-02 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법
US13/313,686 US20130057668A1 (en) 2011-09-02 2011-12-07 Device and method for detecting driver's condition using infrared ray sensor
JP2011268714A JP2013054717A (ja) 2011-09-02 2011-12-08 赤外線センサを用いた運転者状態監視装置及びその方法
CN201210001656.6A CN102975719B (zh) 2011-09-02 2012-01-05 使用红外线传感器检测驾驶者状况的装置和方法
DE102012200096A DE102012200096A1 (de) 2011-09-02 2012-01-05 Gerät und verfahren zum erkennen des zustands eines fahrers mittels infrarotstrahlungssenders

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110089104A KR101251836B1 (ko) 2011-09-02 2011-09-02 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130025665A true KR20130025665A (ko) 2013-03-12
KR101251836B1 KR101251836B1 (ko) 2013-04-09

Family

ID=47710902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110089104A KR101251836B1 (ko) 2011-09-02 2011-09-02 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법

Country Status (5)

Country Link
US (1) US20130057668A1 (ko)
JP (1) JP2013054717A (ko)
KR (1) KR101251836B1 (ko)
CN (1) CN102975719B (ko)
DE (1) DE102012200096A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277318A (zh) * 2017-06-26 2017-10-20 苏州佳世达电通有限公司 影像撷取装置及影像撷取方法
CN108688671A (zh) * 2017-03-30 2018-10-23 罗伯特·博世有限公司 用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法和驾驶员观测设备
CN110799089A (zh) * 2016-12-29 2020-02-14 阿诺·乔梅尔 与机器并且与配有医疗装置的人员相关的安全

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5821859B2 (ja) * 2013-01-18 2015-11-24 株式会社デンソー 表示システム
CN103297704A (zh) * 2013-06-21 2013-09-11 苏州鼎富软件科技有限公司 视频摄制方法以及视频尺寸自动调整方法
US10210761B2 (en) * 2013-09-30 2019-02-19 Sackett Solutions & Innovations, LLC Driving assistance systems and methods
US11243294B2 (en) * 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
JP6507015B2 (ja) * 2015-04-08 2019-04-24 日野自動車株式会社 運転者状態判定装置
CN105984378A (zh) * 2015-04-14 2016-10-05 智车优行科技（北京）有限公司 一种汽车语音提示系统
CN104820224B (zh) * 2015-05-08 2017-11-03 中国科学院南京地理与湖泊研究所 富营养化湖泊水体叶绿素a的MODIS卫星高精度监测方法
CN106327608B (zh) * 2015-07-01 2019-05-21 窦娟 一种通过无线信号判断车内驾驶人员状态的方法和系统
CN105357501A (zh) * 2015-12-16 2016-02-24 天津天地伟业数码科技有限公司 在嵌入式录像设备上扩展生命体征检测的方法
US20180313676A1 (en) * 2016-01-19 2018-11-01 Sony Corporation Information processing apparatus, information processing method, and program
US10290158B2 (en) * 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
US10691926B2 (en) * 2018-05-03 2020-06-23 Analog Devices, Inc. Single-pixel sensor
CN109278556B (zh) * 2018-11-19 2024-08-02 深圳和而泰智能控制股份有限公司 汽车安全装置
DE112021007131T8 (de) * 2021-04-30 2024-01-25 Mitsubishi Electric Corporation Insassenzustand-Beurteilungsvorrichtung und Insassenzustand-Beurteilungsverfahren
CN113671516B (zh) * 2021-08-05 2023-07-25 湖南大学 一种车灯测距装置及其方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948442B2 (en) * 1982-06-18 2015-02-03 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JPH05196859A (ja) * 1992-01-17 1993-08-06 Nikon Corp オートフォーカス装置
JPH08297019A (ja) * 1995-04-27 1996-11-12 Nissan Motor Co Ltd 車両用視線方向計測装置
DE19814691B4 (de) * 1997-04-01 2008-11-27 Fuji Electric Co., Ltd., Kawasaki Vorrichtung zur Erfassung der Haltung eines Insassen
JP3286219B2 (ja) 1997-09-11 2002-05-27 トヨタ自動車株式会社 座席の使用状況判定装置
JP3532772B2 (ja) * 1998-09-25 2004-05-31 本田技研工業株式会社 乗員の乗車状態検出装置
US6577936B2 (en) * 2001-07-10 2003-06-10 Eaton Corporation Image processing system for estimating the energy transfer of an occupant into an airbag
DE10149115A1 (de) * 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
US8560179B2 (en) * 2003-02-20 2013-10-15 Intelligent Mechatronic Systems Inc. Adaptive visual occupant detection and classification system
JP2005024792A (ja) 2003-06-30 2005-01-27 Nec Saitama Ltd カメラ付き携帯通信端末
JP4702598B2 (ja) * 2005-03-15 2011-06-15 オムロン株式会社 監視システム、監視装置および方法、記録媒体、並びにプログラム
EP2144789A4 (en) * 2007-04-03 2011-05-25 Autoliv Dev DEVICE AND METHOD FOR CONTROLLING AN INFLATABLE CUSHION
JP5233322B2 (ja) * 2008-02-28 2013-07-10 オムロン株式会社 情報処理装置および方法、並びに、プログラム
US20120050477A1 (en) * 2010-08-27 2012-03-01 Jeyhan Karaoguz Method and System for Utilizing Depth Information for Providing Security Monitoring

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110799089A (zh) * 2016-12-29 2020-02-14 阿诺·乔梅尔 与机器并且与配有医疗装置的人员相关的安全
CN108688671A (zh) * 2017-03-30 2018-10-23 罗伯特·博世有限公司 用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法和驾驶员观测设备
CN107277318A (zh) * 2017-06-26 2017-10-20 苏州佳世达电通有限公司 影像撷取装置及影像撷取方法

Also Published As

Publication number Publication date
KR101251836B1 (ko) 2013-04-09
US20130057668A1 (en) 2013-03-07
DE102012200096A1 (de) 2013-03-07
CN102975719A (zh) 2013-03-20
CN102975719B (zh) 2017-05-17
JP2013054717A (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
KR101251836B1 (ko) 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법
US9760784B2 (en) Device, method and program for measuring number of passengers
US11061121B2 (en) 3D-camera device including a dirt detection unit
US9514664B2 (en) Measuring latency in a test system using captured images
US10728537B2 (en) Photographing device and photographing method
CA3010922C (en) Passenger counting device, system, method and program
JP2013205368A (ja) 被測定物情報取得装置
KR20180104235A (ko) 운전자 상태 모니터링 방법 및 장치
US10384608B2 (en) Vehicle-mounted stereo camera device and method for correcting the same
US20190227168A1 (en) Object sensor assembly including stereoscopic cameras and range finders
KR102183583B1 (ko) 버스 정보 안내기
EP3348961A1 (en) In-vehicle stereo camera device and method for correcting same
CN105894761B (zh) 具有成像设备的投射光束探测器
JP2020087233A (ja) 認識処理装置、認識処理方法及びプログラム
KR20200042670A (ko) 사고 차량 감시 시스템
US9383474B1 (en) System and method for detecting film layer
WO2022185676A1 (ja) 情報処理装置
JP2024103484A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
KR20160006527A (ko) 주차 보조 시스템 및 방법
CN114184614A (zh) 光学检测装置及光学检测系统
KR20130026939A (ko) 운전자상태 감지 장치
KR20160145407A (ko) 운전자의 졸음을 측정하여 졸음운전을 방지하는 스마트폰 연동 바이오센서 측정 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 7