KR102351592B1 - 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출 - Google Patents

기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출 Download PDF

Info

Publication number
KR102351592B1
KR102351592B1 KR1020207024209A KR20207024209A KR102351592B1 KR 102351592 B1 KR102351592 B1 KR 102351592B1 KR 1020207024209 A KR1020207024209 A KR 1020207024209A KR 20207024209 A KR20207024209 A KR 20207024209A KR 102351592 B1 KR102351592 B1 KR 102351592B1
Authority
KR
South Korea
Prior art keywords
ppr
determining
driver
processors
attention level
Prior art date
Application number
KR1020207024209A
Other languages
English (en)
Other versions
KR20200110702A (ko
Inventor
하이 유
파티 포리클리
위주 우
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=67392234&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102351592(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20200110702A publication Critical patent/KR20200110702A/ko
Application granted granted Critical
Publication of KR102351592B1 publication Critical patent/KR102351592B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)

Abstract

주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법은, 하나 이상의 프로세서가 환경의 표현물에서 기본 미리 보기 영역(PPR)을 결정하는 단계; 상기 하나 이상의 프로세서가 운전자의 일련의 이미지에 기초하여 운전자에 대해 응시점을 결정하는 단계; 상기 하나 이상의 프로세서가 상기 응시점이 상기 PPR의 외부에 있는 것으로 결정하는 단계; 상기 PPR의 외부에 있는 결정된 응시점에 기초하여, 상기 하나 이상의 프로세서가 상기 PPR에 대한 주의 레벨을 감소시키는 단계; 및 상기 PPR의 주의 레벨에 기초하여, 상기 하나 이상의 프로세서가 경보를 생성하는 단계를 포함한다.

Description

기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출
관련 출원에 대한 상호 참조
본 출원은 2018년 1월 29일에 출원되고, "기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출(Primary Preview Region and Gaze Based Driver Distraction Detection)"이라는 명칭의 미국 출원 제15/882,581호에 대해 우선권을 주장하며, 그 전체 내용은 인용에 의해 본 출원에 포함된다.
본 개시는 시선 검출에 관한 것이고, 특정 일 실시예에서, 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출에 관한 것이다.
많은 사고는 도로와 장애물에 충분히 주의를 기울이지 않는 주의 산만한 운전자에 의해 발생한다. 이러한 주의 산만으로 인한 운전 사고는 상당한 인명 손실과 경제적 피해를 초래한다. 미국에서, 사고는 네 번째 주요 사망 원인이다.
이제, 아래의 상세한 설명에서 더 설명되는 단순화된 형태의 개념 선택을 도입하기 위해 다양한 예를 설명한다. 이 발명의 내용은 청구된 주제의 핵심 또는 본질적인 특징을 식별하는 것을 의도하지 않으며 청구된 주제의 범위를 한정하는 데 사용되는 것도 의도하지 않는다.
본 개시의 일 측면에 따르면, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법이 제공되며, 상기 방법은, 하나 이상의 프로세서가 환경의 표현물(representation)에서 기본 미리 보기 영역(primary preview region, PPR)을 결정하는 단계; 상기 하나 이상의 프로세서가 운전자의 일련의 이미지에 기초하여 운전자에 대해 응시점(gaze point)을 결정하는 단계; 상기 하나 이상의 프로세서가 상기 응시점이 상기 PPR의 외부에 있는 것으로 결정하는 단계; 상기 PPR의 외부에 있는 결정된 응시점에 기초하여, 상기 하나 이상의 프로세서가 상기 PPR에 대한 주의 레벨을 감소시키는 단계; 및 상기 PPR의 주의 레벨에 기초하여, 상기 하나 이상의 프로세서가 경보를 생성하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 방법은, 운전자의 제2 이미지 시퀀스에 기초하여 운전자에 대해 제2 응시점을 결정하는 단계; 및 상기 PPR의 내부에 있는 상기 제2 응시점에 기초하여, 상기 PPR에 대한 상기 주의 레벨을 증가시키는 단계를 더 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 PPR에 대한 상기 주의 레벨을 감소시키는 단계는, 로지스틱 감쇠 함수(logistic decay function)를 사용하여 상기 주의 레벨을 결정하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 PPR은 제1 PPR이고 복수의 PPR 중 하나이며, 상기 복수의 PPR의 각각의 PPR은 대응하는 주의 레벨을 갖고; 상기 경보를 생성하는 단계는 상기 복수의 PPR의 각각의 PPR에 대한 주의 레벨에 추가로 기초하고; 상기 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법은, 차량 및 도로 정보를 사용하여 미래 경로를 추정하는 단계; 상기 제1 PPR이 미래 경로를 따르지 않는다고 결정하는 단계; 및 상기 제1 PPR이 미래 경로를 따르지 않는다는 결정에 기초하여, 상기 복수의 PPR에서 상기 제1 PPR을 제거하는 단계를 더 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 방법은, 상기 복수의 PPR의 각각의 PPR에 대한 우선순위 점수(a priority score)를 결정하는 단계를 더 포함하고; 상기 복수의 PPR의 각각의 PPR에 대한 주의 레벨은 상기 PPR에 대한 우선순위 점수에 기초한다.
선택적으로, 임의의 선행 실시예에서, 상기 방법은, 상기 하나 이상의 프로세서가 상기 환경의 표현물에서 묘사된 객체를 식별하는 단계를 더 포함하고; 상기 PPR을 결정하는 단계는 상기 객체에 대한 상기 PPR을 결정하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 객체에 대한 상기 PPR을 결정하는 단계는 상기 객체의 속도를 결정하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 환경의 이미지에서 묘사된 객체를 식별하는 단계는, 훈련된 기계 학습 알고리즘(trained machine-learning algorithm)으로 상기 이미지를 분석하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 PPR을 결정하는 단계는, 기본 미리 보기 지점(primary preview point, PPP)를 결정하는 단계; 및 상기 PPP 및 미리 결정된 반경에 기초하여 상기 PPR을 결정하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 환경의 표현물은 적외선(infrared, IR) 카메라에 의해 생성된다.
선택적으로, 임의의 선행 실시예에서, 상기 환경의 표현물에서 PPR을 결정하는 단계는 도로의 차선을 식별하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 환경의 표현물은 레이저 스캐너에 의해 생성된다.
선택적으로, 임의의 선행 실시예에서, 상기 경보를 생성하는 단계는 오디오 경보를 생성하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 경보를 생성하는 단계는 햅틱 경보(haptic alert)를 생성하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 경보를 생성하는 단계는 차량의 브레이크를 활성화하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 경보를 생성하는 단계는 차량의 방향을 변경하는 단계를 포함한다.
선택적으로, 임의의 선행 실시예에서, 상기 PPR에 대한 주의 레벨을 결정하는 단계는 운전자의 프로파일에 기초한다.
선택적으로, 임의의 선행 실시예에서, 상기 경보를 생성하는 단계는 미리 결정된 임계 값에 추가로 기초한다.
본 개시의 일 측면에 따르면, 주의 산만한 운전을 검출하는 시스템이 제공되며, 상기 시스템은, 명령어를 포함하는 메모리 저장장치; 및 상기 메모리와 통신하는 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는 상기 명령어를 실행하여, 환경의 표현물에서 기본 미리 보기 영역(PPR)을 결정하는 단계; 운전자의 일련의 이미지에 기초하여 운전자에 대한 응시점을 결정하는 단계; 상기 응시점이 상기 PPR의 외부에 있는 것으로 결정하는 단계; 상기 PPR의 외부에 있는 결정된 응시점에 기초하여, 상기 PPR에 대한 주의 레벨을 감소시키는 단계; 및 상기 PPR의 주의 레벨에 기초하여, 경보를 생성하는 단계를 수행한다.
본 개시의 일 측면에 따르면, 주의 산만한 운전을 검출하기 위한 컴퓨터 명령어를 저장하는, 컴퓨터로 판독 가능한 비일시적인 매체가 제공되며, 상기 컴퓨터 명령어는 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금, 환경의 표현물에서 기본 미리 보기 영역(PPR)을 결정하는 단계; 운전자의 일련의 이미지에 기초하여 운전자에 대한 응시점을 결정하는 단계; 상기 응시점이 상기 PPR의 외부에 있는 것으로 결정하는 단계; 상기 PPR의 외부에 있는 결정된 응시점에 기초하여, 상기 PPR에 대한 주의 레벨을 감소시키는 단계; 및 상기 PPR의 주의 레벨에 기초하여, 경보를 생성하는 단계를 수행하게 한다.
전술한 예 중 어느 하나는 본 개시의 범위 내에서 새로운 실시예를 생성하기 위해 임의의 하나 이상의 다른 전술한 예와 조합될 수 있다.
도 1은 일부 예시적인 실시예에 따른 차량 내부의 예시이다.
도 2는 일부 예시적인 실시예에 따른 차량 외부의 예시이다.
도 3은 일부 예시적인 실시예에 따른, 앞유리를 통한 운전자의 시선의 예시적인 시선 검출 지점의 예시이다.
도 4는 일부 예시적인 실시예에 따른 일부 예시적인 기본 미리 보기 지점의 예시이다.
도 5는 일부 예시적인 실시예에 따른 일부 예시적인 기본 미리 보기 지점의 예시이다.
도 6은 일부 예시적인 실시예에 따른 일부 예시적인 기본 미리 보기 지점의 예시이다.
도 7은 일부 예시적인 실시예에 따른 주의 함수(attention function)의 그래프의 예시이다.
도 8은 일부 예시적인 실시예에 따른, 알고리즘을 구현하고 방법을 수행하는 기기에 대한 회로를 나타내는 블록도이다.
도 9는 일부 예시적인 실시예에 따른, 기본 미리 보기 영역을 사용하는 시선 기반 운전자 검출에 적합한 데이터베이스 스키마(database schema)를 예시하는 블록도이다.
도 10은 일부 예시적인 실시예에 따른, 기본 미리 보기 영역을 사용하는 시선 기반 운전자 검출 방법의 흐름도 예시이다.
도 11은 일부 예시적인 실시예에 따른, 기본 미리 보기 영역을 사용하는 시선 기반 운전자 검출 방법의 흐름도 예시이다.
도 12는 일부 예시적인 실시예에 따른, 기본 미리 보기 영역을 사용하는 시선 기반 운전자 검출 방법의 흐름도 예시이다.
도 13은 일부 예시적인 실시예에 따른, 자동 차량의 제어를 인간 운전자에게 전송하는 방법의 흐름도 예시이다.
이하의 설명에서는, 본 명세서의 일부를 형성하고 실시될 수 있는 구체적인 실시예가 예로서 도시된 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명의 주제를 실시할 수 있도록 충분히 상세하게 설명되며, 다른 실시예가 이용될 수 있고, 본 개시의 범위를 벗어나지 않으면서 구조적, 논리적 및 전기적 변경이 이루어질 수 있음을 이해해야 한다. 따라서, 예시적인 실시예에 대한 이하의 설명은 한정적인 의미로 받아들여서는 안 되며, 본 개시의 범위는 첨부된 청구 범위에 의해 정의된다.
여기서 설명되는 기능 또는 알고리즘은 하나의 실시예에서 소프트웨어로 구현될 수 있다. 소프트웨어는 컴퓨터로 판독 가능한 매체, 또는 하나 이상의 비일시적인 메모리 또는 로컬(local) 또는 네트워킹된(networked) 기타 유형의 하드웨어 기반 저장 기기와 같은, 컴퓨터로 판독 가능한 저장 기기로에 저장된 컴퓨터 실행 가능 명령어로 구성될 수 있다. 소프트웨어는 디지털 신호 프로세서, ASIC(Application-Specific Integrated Circuit), 프로그래머블 데이터 플레인 칩(programmable data plane chip), FPGA(Field-Programmable Gate Array), 마이크로프로세서, 또는 컴퓨터 시스템을 특수하게 프로그래밍된 기계로 변환시키는, 컴퓨터 시스템에서 작동하는 기타 유형의 프로세서에서 실행될 수 있다. 이 컴퓨터 시스템은 차량에 통합될 수 있다.
차량은 차량의 환경의 이미지를 캡처(capture)하는 하나 이상의 외부 카메라를 포함할 수 있다. 이 카메라는 가시광선 카메라, 적외선(infrared, IR) 카메라, 레이저 스캐너 또는 이들의 임의의 적절한 조합일 수 있다. 캡처된 이미지는 환경의 삼차원(three-dimensional, 3D) 표현물로 변환되거나 환경의 이차원(two-dimensional, 2D) 표현물로서 처리될 수 있다.
환경의 표현물은 하나 이상의 기본 미리 보기 지점(primary preview point, PPP) 또는 기본 미리 보기 영역(primary preview region, PPR)을 식별하기 위해 (예를 들어, 훈련된 기계 학습 알고리즘에 의해) 분석된다. PPP는 운전자가 주의를 기울여야 하는 특정 지점이다. PPR은 운전자가 주의를 기울여야 하는 영역이다. PPP는 대응하는 PPR 내에 위치할 수 있다. 여기서 PPR이라는 용어는 달리 명시되지 않는 한 PPP 및 PPR을 모두 논의하기 위해 사용된다. PPR은 운전자가 주의해야만 하는 임의의 객체(예: 차량, 동물, 보행자, 표지판, 구덩이, 도로의 요철 부분(bump), 원뿔형 교통 표지(cone) 또는 쓰러진 나무), 영역(예: 차선의 소멸점(vanishing point) 또는 도로의 곡선), 또는 상황(예: 사고, 산사태(mudslide), 또는 홍수)를 식별할 수 있다.
차량은 또한 운전자의 이미지를 캡처하는 운전자를 향한 카메라를 포함할 수 있다. 캡처된 운전자의 이미지와 캡처된 환경의 이미지를 사용하여, 시선 검출 시스템이 운전자의 초점을 결정한다. 운전자가 PPP 또는 PPR에 초점을 맞추고 있는지를 결정하기 위해 운전자의 초점이 각각의 PPR과 비교된다.
PPR에 주의를 기울이는 정도를 지시하는 주의 레벨이 각각의 PPR에 대해 생성될 수 있다. 운전자의 초점이 PPR에 맞춰져 있는 기간에는 PPR에 대한 주의 레벨이 증가된다. 운전자의 초점이 PPR에 맞춰져 있지 않은 기간에는 PPR에 대한 주의 레벨이 감소된다. PPR에 대한 주의 레벨이 미리 결정된 임계 값 아래로 떨어지면, 경보가 생성된다. 경보의 예로는 차량의 헤드업 디스플레이(heads-up display, HUD)상에 PPR을 강조 표시(highlighting), 번쩍이는 불빛 형태의 시각적 경보, 스티어링 휠을 통한 햅틱 피드백 제공, 오디오 경보 제공, 자동 브레이크 체결, 무시된 PPR을 피하기 위해 차량을 자동 조종, 차량 주차, 또는 이들의 적절한 조합을 포함한다..
여기에 설명된 시스템 및 방법을 사용함으로써, 차량은 주의 산만한 운전자에게 그렇지 않으면 운전자가 보고 반응하지 못했을 객체, 영역 또는 상황을 경보할 수 있다. 주의 산만한 운전자는 경보를 통해 객체, 영역 또는 상황에 반응하여 사고를 피할 수 있다. 따라서, 여기에 설명된 시스템 및 방법의 사용은 차량 안전성을 향상시킨다.
도 1은 일부 예시적인 실시예에 따른 차량 내부(100)의 예시이다. 차량 내부(100)에는 운전자(110), 좌석(120), 광원(130A, 130B) 및 카메라(140)가 도시되어 있다. 광원(130A∼130B) 및 카메라(140)는 도 8을 참조하여 아래에 설명되는 것과 같은 컴퓨터 시스템에 의해 제어될 수 있다.
광원(130A∼130B)은 근적외선(IR) 광원일 수 있다. 카메라(140)는 광원(130A∼130B)에 의해 제공되는 빛의 파장(예: 근적외선)을 수용하고 운전자(110)에 초점을 맞출 수 있다. 카메라(140)에 의해 캡처된 이미지는 운전자(110)의 눈의 표면에서 반사되는 광원(130A∼130B)에 의해 생성되는 빛에 의해 생성되는 반짝임에 기초하여 운전자(110)의 눈의 방향 및 초점 심도(focus depth)를 결정하는 데 사용될 수 있다. 운전자의 머리의 방향인 머리 자세(headpose)도 또한 카메라(140)에 의해 캡처되는 이미지로부터 결정되고 운전자의 시선의 초점 심도를 결정하는 데 사용될 수 있다. 게다가, 카메라(140)는 운전자(110)에 의한 손 제스처를 검출할 수 있다.
카메라(140)는 카메라로부터 객체의 거리를 결정하기 위해 입체 이미지(stereoscopic image)를 캡처하는 심도 카메라(depth camera)를 포함할 수 있다. 예를 들어, 두 개의 근 적외선 이미지 센서를 사용하여 삼차원 머리 자세를 결정하거나, 카메라(140)를 향해 또는 카메라(140)로부터 멀어지는 이동을 포함하는 제스처를 검출할 수 있다. 다른 예로서, 비행 시간 카메라(time-of-flight camera)는 광원(130A, 130B)으로 조정되어 광원으로부터의 빛의 방출과 비행 시간 카메라에서 빛(객체로부터의 반사 후)의 수광 사이의 시간량에 기초하여 심도를 결정할 수 있다.
도 2는 일부 예시적인 실시예에 따른 차량 외부의 예시(200)이다. 이 예시(200)는 차량(210)과 카메라(220)를 포함한다. 카메라(220)는 차량(210)의 지붕에 장착되고, 도 1의 카메라(140)인 제1 카메라를 제어하는 동일한 시스템에 의해 제어되는 제2 카메라일 수 있다. 카메라(220)는 광각 카메라, 360도 카메라, 회전 카메라, 또는 이들의 임의의 적절한 조합일 수 있다. 카메라(220)는 차량(210)에 통합되거나(예: 제조사에 의해 차량(210)의 일부로 판매되고 차량(210)의 나머지 부분에 영구적으로 부착됨), 차량(210)에 단단히 장착되거나(예: 볼트 또는 나사에 의해), 또는 일시적으로 차량(210)에 부착된다(예: 대시 보드 상의 홀더에 놓아둠으로써). 차량(210)은 자동차이지만, 본 발명은 이에 한정되지 않으며 항공기, 선박 또는 기차와 같은 다른 차량과 함께 사용될 수 있다.
도 3은 일부 예시적인 실시예에 따른, 앞 유리(310)를 통한 운전자의 시선의 예시적인 시선 검출 지점(330)의 예시이다. 또한, 도 3에는 운전자를 향한 카메라(driver-facing camera)(140)가 도시되어 있다.
운전자를 향한 카메라(140)는 차량 운전자의 하나 이상의 이미지를 캡처한다. 캡처된 각각의 이미지에 대해, 운전자의 눈이 식별되고 운전자의 시선의 초점이 결정된다. 초점은 삼차원 공간의 지점이다. 예를 들어, 동공의 위치와 눈의 중심선 사이의 각도가 각각의 눈에 대해 결정될 수 있다. 두 눈의 초점의 교차점을 결정하기 위해 동공을 통해 각각의 눈의 중심으로부터 광선을 추적할 수 있다. 차량의 환경의 표현물은 그 환경에서 시선 검출 지점(330)의 위치를 결정하기 위해 교차점과 비교될 수 있다.
환경의 표현물이 카메라(220)에 의해 촬영된 2D 이미지와 같은, 2D 표현물인 경우, 시선 검출 지점(330)은 카메라 교정에 기초하여 2D 이미지에 3D 시선 각도를 투영함으로써 결정될 수 있다. 카메라 교정은 운전자의 얼굴을 캡처하는 카메라(예: 카메라(140))의 좌표계를 환경을 캡처하는 카메라(예: 카메라(220))의 좌표계에 맞추어 조정한다. 카메라 교정은 운전자에게 알려진 지점에 초점을 맞추도록 요청하고 운전자의 시선 측정을 사용하여 교정 값을 갱신함으로써 수행될 수 있다. 예를 들어, 스티어링 휠의 중앙, 앞유리의 모서리, 및 백미러(rear-view mirror)가 알려진 지점으로 사용될 수 있다.
도 4는 일부 예시적인 실시예에 따른 일부 예시적인 기본 미리 보기 지점의 예시이다. 도 4에는 이미지(410, 420, 440) 및 PPP(430, 450)가 도시되어 있다. 이미지(410, 420, 440)는 운전자의 차량에 통합된 하나 이상의 카메라에 의해 캡처될 수 있다. 예를 들어, 이미지는 차량에 통합된 단일의 전방을 향한(forward-facing) 카메라, 차량 지붕에 장착된 회전 카메라, 차량에 통합된 레이저 스캐너, 또는 이들의 임의의 적절한 조합에 의해 캡처될 수 있다. 대안으로, 이미지(410, 420, 440)는 외부 카메라에 의해 캡처되어 차량에 송신될 수 있다(예: Wi-Fi 또는 셀룰러 네트워크를 통해). 예를 들어, 건물이나 가로등 기둥(light pole)에는 도로를 사용하는 모든 차량에 환경 이미지를 제공하기 위해 고정된 카메라가 장착되어 있을 수 있다. 다른 예로서, 위성 이미지가 사용될 수 있다.
각각의 이미지(410, 420, 440)는 차량의 환경의 2D 표현물이다. 일부 예시적인 실시예에서, 환경의 3D 표현물이 사용된다. 3D 표현물은 상이한 각도에서 장면을 캡처하는 복수의 2D 이미지로부터 생성될 수 있다. 대안으로, 3D 표현물은 심도 이미지와 결합하여 2D 이미지로부터 생성될 수 있다. 일부 예시적인 실시예에서, 차량은 가상 차량이고(예: 가상 현실(VR) 시뮬레이션에서), 환경의 3D 표현물은 가상 차량의 VR 환경으로부터 생성된다.
이미지(410)는 도로 가장자리와 네 개의 차선 구분선(lane divider)을 도시한다. 이미지(420)는 이미지(410)가 차량의 차선의 두 개의 차선 구분선이 수렴할 때까지 연장되도록 수정된 후의 도로 가장자리와 네 개의 차선 구분선을 보여준다. 차량의 차선의 경계가 만나는 지점은 PPP(430)로 표시된다. 이를 수렴 지점 PPP라고 한다. 수렴 지점 PPP는 운전자 시야의 1~2도 원호만큼 확장되어 대응하는 PPR을 생성할 수 있다.
이미지(440)는 이미지(410)가 도로 가장자리 및 차선 구분선이 수렴할 때까지 연장되도록 수정된 후의 도로 가장자리 및 네 개의 차선 구분선을 보여준다. 수렴 지점은 PPP(450)로 표시된다. PPP(450)은 PPP(430)과 동일할 수 있다. 대안으로, 생성된 다수의 차선은 단일 지점에서 만나지 않을 수 있으며, PPP(450)는 다수의 수렴 지점의 기하 평균으로 간주될 수 있다. PPP(430, 450)는 차량의 현재 경로에 대응한다.
이미지(410, 420, 440)의 도로 가장자리 및 차선 구분선은 이미지에서 선을 검출하는 합성곱 신경망(convolutional neural network, CNN)에 의해 식별될 수 있다. 도로 가장자리 및 차선 구분선에 기초하여, 운전자의 차량에 의해 점유되는 도로의 차선을 포함한, 도로의 하나 이상의 차선을 식별할 수 있다. PPP(430, 450)는 교차점을 결정하기 위해 선을 연장하는 기하학적 알고리즘을 사용하여 식별될 수 있다.
도 5는 일부 예시적인 실시예에 따른 일부 예시적인 기본 미리 보기 지점의 예시이다. 도 5에는 이미지(510, 540, 560) 및 PPP(520, 530, 550, 570)가 도시되어 있다.
이미지(510)는 PPP(520, 530)가 있는 곡선 도로를 보여준다. PPP(520, 530)는 운전자가 곡선 부분을 적절하게 조종할 수 있도록 주의를 기울여야 하는 도로상의 지점을 지시하는 곡선 지점 PPP이다. 곡선 지점 PPP는 곡선의 접선이 차량의 운동 방향과 평행한 지점에서 곡선 차선의 중심일 수 있다. 곡선 지점 PPP는 운전자 시야의 1∼2도만큼 확장되어 대응하는 PPR(예: 타원형 또는 원형 PPR)을 생성할 수 있다.
이미지(540)는 PPP(550)가 있는 곡선 도로를 보여준다. PPP(550)는 운전자가 차량과의 충돌을 피할 수 있도록 주의를 기울여야 하는 차량 앞의 차를 지시하는 객체 PPP이다. 객체 PPP는 객체의 중앙에 있을 수 있다. 객체 PPR는 객체 PPP(예 : 타원 또는 원)에서 확장되거나, 객체의 경계 상자(bounding box )(예: 직사각형 경계 상자)가 객체 PPR로 사용될 수 있다. 이미지(560)는 PPP(570)가 있는 곡선 도로를 보여준다. PPP(570)는 차량 앞의 코끼리를 지시하는 객체 PPP이다.
PPP(520, 530, 550, 570)는 훈련된 기계 학습 알고리즘(예: CNN을 사용하여 구현됨)을 사용하여 식별될 수 있다. 예를 들어, 상이한 유형의 객체의 이미지 및 그 라벨을 포함하는 훈련 데이터 세트가 기계 학습 알고리즘에 제공되어 객체와 이미지에서의 그 위치를 식별할 수 있도록 기계 학습 알고리즘을 훈련한다. 차량 환경의 이미지는 훈련된 기계 학습 알고리즘에 제공될 수 있으며, 이는 묘사된 객체의 유형과 그 위치를 식별할 수 있게 해주는 출력을 생성한다. PPP 선택 알고리즘은 유형과 위치에 기초하여 식별된 객체에 대한 PPP를 식별할 수 있다. 예를 들어, 자동차에 대한 PPP는 자동차 묘사의 중앙에 배치되고 당나귀에 대한 PPP는 당나귀의 머리 묘사에 배치될 수 있다.
도 6은 일부 예시적인 실시예에 따른 일부 예시적인 기본 미리 보기 지점의 예시이다. 도 6에는 이미지(610, 630) 및 PPP(620, 640)가 도시되어 있다. PPP(620, 640)는 훈련된 기계 학습 알고리즘을 사용하여 식별될 수 있다.
이미지(610)는 도로에 합류(merging)하거나 도로를 가로지르는 자동차가 추가된 이미지(410)의 도로를 보여준다. PPP(620)는 차량의 경로로 이동하고 있는 객체를 지시하는 합류 객체 PPP이다. 합류 객체 PPP는 객체의 중심, 차량의 경로에 가장 가까운 객체의 지점 또는 그 둘 사이의 위치(PPP(620)에 의해 표시됨)에 있을 수 있다. 합류 객체 PPR은 합류 객체 PPP에서 확장될 수 있거나(예: 운전자 시야의 원호의 1∼2도 만큼), 합류 객체의 경계 상자는 합류 대상 PPR로서 사용할 수 있다.
이미지(630)는 차량의 차선에 합류하거나 도로를 가로지르는 낙타가 추가된 이미지(410)의 도로를 보여준다. PPP(620)와 마찬가지로, PPP(640)는 합류 객체 PPP이다.
PPP(620, 640)는 차량의 환경에 대한 다수의 이미지에 기초하여 결정될 수 있다. 예를 들어, 개별 이미지는 한 위치에 있는 객체를 보여줄 수 있고, 객체의 속도는 일련의 이미지로부터 결정될 수 있다. 객체의 경계 상자 내에서 PPP의 위치는 객체의 속도에 기초하여 선택될 수 있다. 예를 들어, 고정된 객체에 대한 PPP는 경계 상자의 중앙에 위치할 수 있고, 빠르게 움직이는 객체에 대한 PPP는 이동 방향에서 경계 상자의 가장자리에 위치할 수 있다.
위의 각각의 PPR의 형상과 크기는 PPP의 유형(예: 곡선 지점 PPP, 수렴 PPP, 객체 PPP, 합류 객체 PPP), 객체의 크기, 거리에 따라 결정될 수 있다. 차량으로부터의 PPP의 거리, 차량의 현재 속도, 운전자 속성 또는 이들의 임의의 적절한 조합에 기초하여 결정될 수 있다. PPR은 PPP를 중심으로 배치되거나, 오프셋만큼 시프트될 수 있다. 예를 들어, PPR은 이웃 PPP로부터 멀어지도록 또는 가까워지도록 시프트될 수 있거나, 이웃 차선에 가까워지도록 또는 멀어지도록 시프트될 수 있거나, 또는 이들의 임의의 적절한 조합일 수 있다.
객체의 식별에 기초하여, PPP 또는 PPR 대신에 대응하는 보조 미리 보기 지점(secondary preview point, SPP) 또는 보조 미리 보기 영역(secondary preview region, SPR)이 식별될 수 있다. 예를 들어, 데이터베이스 표는 객체 유형을 우선순위 점수(예: 1∼10 범위)에 매핑할 수 있다. 우선순위 점수가 미리 결정된 임계 값(예: 7) 이상인 객체의 경우, 객체의 검출은 PPP 또는 PPR로 이어질 수 있다. 미리 결정된 임계 값 미만의 우선순위 점수를 갖는 객체의 경우, 객체의 검출은 SPP 또는 SPR로 이어질 수 있다. 임계 값 미만의 우선순위 점수와 연관될 수 있는 객체의 예로는 주변 교통, 도로변 객체 및 도로변의 교통 표지판이 있다. SPP 및 SPR은 진행중인 운전 과정에 즉각적인 영향을 주지 않을 수 있다. 이러한 SPP 및 SPR은 운전자가 이러한 객체에 주의를 기울일 필요가 없기 때문에 주의 산만 검출 절차에 포함되지 않는다.
일부 예시적인 실시예에서, SPP 및 SPR은 운전자의 주의 레벨의 평가에 사용된다. 운전자가 SPR 및 SPP에 충분히 주의를 기울이면 만족스러운 주의 레벨을 나타낸다. 예를 들어 지치고 피로한 운전자는 이러한 보조 객체에 주의를 덜 기울이는 반면, 완전히 세심한 운전자는 SPR 및 SPP를 포함한 모든 주변 객체에 대해 더 높은 레벨의 상황 인식을 유지한다. 따라서, SPP 및 SPR을 모니터링하지 못하는 것은 도 7과 관련하여 아래에서 논의되는 주의 함수(attention function)에 대한 운전자 특정 파라미터를 수정하는 데 사용될 수 있다.
도 7은 일부 예시적인 실시예에 따른, 주의 함수의 그래프(700, 750)의 예시이다. 그래프(700)는 시간의 함수로서 PPR에 대한 주의 레벨(740)을 보여준다. 일부 실시예에서, 위에서 논의된 바와 같이, PPP가 검출되는 경우에 PPR의 표현물이 생성될 수 있다. PPR의 표현물은 어느 시점에서든 PPR의 현재주의 레벨을 결정하기 위해 주의 함수 또는 다른 메커니즘과 연관될 수 있다. 주의 레벨은 일련의 응시점, 동적으로 변화하는 환경 인자(environmental factor), 또는 이들의 임의의 적절한 조합에 의존할 수 있다(또는 관련될 수 있다). 환경 인자는 주의 함수의 파라미터로 사용될 수 있다.
주의 레벨(710)은 최대주의 레벨이고 주의 레벨(720)은 주의 레벨(740)이 떨어지지 않아야 하는 미리 결정된 임계 값이다. 임의의 시간 t에서, 감쇠율(decaying rate)(730)로 도시된 바와 같이, 감쇠율은 시간 t에서의 주의 레벨(740) 함수의 미분이다. 그래프(750)는 시간의 함수로서 PPR에 대한 주의 레벨(760)을 보여준다. 그래프(750)는 운전자가 PPR에 주의를 기울이기 시작하는 시간(770)뿐만 아니라 주의 레벨(710, 720)을 포함한다.
그래프(700, 750)에서, 주의 레벨 함수는 비선형이며, 운전자가 계속해서 PPR에 주의를 기울이지 않으면 감쇠율이 증가한다. 일부 예시적인 실시예에서, 주의 레벨 함수는 로지스틱 감쇠 함수이다. 로지스틱 감쇠 함수의 예는 다음과 같다:
식 1:
Figure 112020088117674-pct00001
식 1에서, 초기 값 Sv(t0)는 운전자의 시선이 더 이상 PPR에 없는 경우의 주의 레벨이다. 일부 예시적인 실시예에서, Sv는 PPR이 생성될 때 1로 초기화되고, t0은 시선이 PPR을 떠난 시각(예: 두 시간 인스턴스 t-1 및 t0에서 PPR과 관련된 연속적인 검출에 따라, t-1에서 PPR 내부에 있고 t0에서 PPR 외부에 있는 것으로 식별된 시선), p는 PPR의 우선순위 점수이고, eg는 현재 시선 위치와 PPR 사이의 편차이고, k는 차선 편차 및 차량 안정성 여유(vehicle stability margin)에 대한 스케일링 인자이고, d0는 운전자와 관련된 인상 감쇠 인자(impression decaying factor)이고, d1은 환경 조건에 기초한 장면 복잡도 파라미터이며, tA는 미리 보기 시간 스케일링 변수이다. 일부 예시적인 실시예에서, k, d0 및 d1은 1과 같다.
미리 보기 시간 스케일링 변수는 tTTR , tTTC, tTTG, tp의 최소 값으로 정의될 수 있으며, 여기서 tTTR(time to reach, 도달 시간)은 차량과 PPP의 상대 위치 및 움직임에 기초한 미래의 PPP에 도달하는 시간이고, tTTC(time to cross)는 PPP가 차량의 차선에 도달하는 시간이고, tTTG(time to go)는 차량이 가속할 것으로 예상되는 시간(예: 정지 신호 또는 신호등을 위해 정지한 후), tp(time to preview)는 운전자의 특성에 기초한 미리 보기 시간 상수이다.
일부 예시적인 실시예에서, 경험이 없는 운전자는 경험이 있는 운전자보다 d0에 대해 더 큰 값을 갖는다. d1에 대한 값은 하나 이상의 고속(예: 시속 50마일을 초과하는 속도) 객체가 존재하거나 운전자가 SPP 및 SPR을 무시하는 것으로 확인되는 경우에 증가될 수 있다.
k의 값은 PPP에 할당된 우선순위에 기초한 객체 특정적일 수 있다. 예를 들어, 차량과의 거리에 따라 각각의 PPP에 우선순위가 할당되어, 차량에 더 가까운 PPP가 더 높은 우선순위를 갖도록 할 수 있다.
그래프(700)에서, 운전자가 PPR에 초점을 맞추지 않는 동안, 주의 레벨(740)은 0에 도달할 때까지 감쇠한다. 주의 레벨(740)이 주의 레벨(520)을 넘는 경우, 경보가 생성된다.
그래프(750)에서, 운전자가 PPR에 초점을 맞추지 않는 동안, 운전자의 주의가 돌아오는 시간(770)까지 주의 레벨(760)은 감쇠한다. 시간(770) 이후에, 주의 레벨(760)은 최대 주의 레벨(710)에 도달할 때까지 증가한다. 주의 레벨(760)은 주의 레벨(720)에 결코 도달하지 않기 때문에, 경보가 생성되지 않는다.
운전자의 시선이 PPR 내부로 가면, Sv는 회복 함수(recovering function)에 따라 다시 1로의 회복을 시작한다. 처음에는 회복 속도가 느리다. 그러나 Sv는 운전자의 시선이 최소한의 시간 동안 PPR에 머무르면 급격히 회복될 수 있다. 주의 레벨 회복율은 감쇠 함수와 유사하지만 양의 증가율을 갖는 회복 함수로 설계될 수 있다. 회복 함수의 예는 로지스틱 성장 함수이다:.
식 2:
Figure 112020088117674-pct00002
식 2는 식 1과 동일한 상수 및 변수를 사용하지만, 회복 함수의 t0는 운전자의 시선이 PPR로 돌아가는 시각이고, c는 회복 함수의 스케일링 인자이며, 감쇠 함수에 사용되는 스케일링 인자 k와 동일하거나 상이할 수 있고, p는 PPR의 우선순위 점수이다. 운전자의 주의가 PPR 사이에 나뉘어 있는 시간 동안, 각각의 PPR에 대한 주의 레벨은 감쇠 함수(운전자의 시선이 PPR을 외부에 있는 동안)와 회복 함수(운전자의 시선은 PPR 내에 있는 동안)를 번갈아 적용함으로써 조정될 수 있다.
위의 두 방정식은 k, 차선 이탈 및 차량 안정성 여유에 대한 스케일링 인자, d0, 운전자와 관련된 인상 감소 계수, d1, 환경 조건에 기초한 장면 복잡도 파라미터, 및 tA, 미리 보기 시간 스케일링 변수와 같은 파라미터를 포함한다. 일부 예시적인 실시예에서, 이들 파라미터 중 하나 이상은 경보를 생성하기 위한 동적 임계 값을 결정하는 데 사용된다. 예를 들어, 경보를 생성하기 위한 임계 값은 미숙한 운전자(d1로 측정됨) 또는 덜 안정적인 차량(k로 측정) 일수록 더 높을 수 있다.
도 8은 예시적인 실시예에 따른 알고리즘을 구현하고 방법을 수행하기 위한 회로를 나타낸 블록도이다. 모든 구성요소가 여러 실시예에서 사용될 필요는 없다. 예를 들어 클라이언트, 서버, 자율 시스템(autonomous system), 네트워크 기기 및 클라우드 기반 네트워크 자원은 각각 상이한 구성요소의 세트를 사용하거나, 서버의 경우 더 큰 저장 기기를 사용할 수 있다.
네트워크 기기(800)(컴퓨터(800), 컴퓨팅 기기(800) 및 컴퓨터 시스템(800)이라고도 함) 형태의 한 예시적인 컴퓨팅 기기는 프로세서(805), 메모리 저장장치(810), 탈착 가능한 저장장치(815) 및 탈착 불가능한 저장장치(820)를 포함할 수 있으며, 이들 모두는 버스(840)에 의해 연결된다. 예시적인 컴퓨팅 기기가 컴퓨터(800)로 예시되고 설명되었지만, 컴퓨팅 기기는 다른 실시예에서 다른 형태일 수 있다. 예를 들어, 컴퓨팅 기기는 대신에 스마트폰, 태블릿, 스마트 워치, 또는 도 8과 관련하여 예시되고 설명된 것과 동일하거나 유사한 요소를 포함하는 다른 컴퓨팅 기기일 수 있다. 스마트폰, 태블릿 및 스마트 워치와 같은 기기는 일반적으로 "이동 기기" 또는 "사용자 장비"로 통칭한다. 또한, 다양한 데이터 저장 요소가 컴퓨터(800)의 일부로서 예시되어 있지만, 저장장치는 또한 또는 대안으로 인터넷과 같은, 네트워크를 통해 액세스 가능한 클라우드 기반 저장장치, 또는 서버 기반 저장장치를 포함할 수 있다.
메모리 저장장치(810)는 휘발성 메모리(845) 및 비휘발성 메모리(850)를 포함할 수 있고, 프로그램(855)을 저장할 수 있다. 컴퓨터(800)는 휘발성 메모리(845), 비휘발성 메모리(850), 탈착 가능한 저장장치(815) 및 탈착 불가능한 저장장치(820)와 같은, 다양한 컴퓨터로 판독 가능한 매체를 포함하는 컴퓨팅 환경을 포함하거나 이에 액세스할 수 있다. 컴퓨터 저장장치는 랜덤 액세스 메모리(random-access memory, RAM), 판독 전용 메모리(read-only memory, ROM), 소거 가능/프로그램 가능한 판독 전용 메모리(erasable programmable read-only memory, EPROM) 및 전기적으로 소거 가능/프로그램 가능한 판독 전용 메모리(electrically erasable programmable read-only memory, EEPROM), 플래시 메모리(flash memory) 또는 기타 메모리 기술, 컴팩트 디스크 판독 전용 메모리(compact disc read-only memory, CD ROM), 디지털 다목적 디스크(digital versatile disk, DVD) 또는 기타 광학 광학 디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장 기기치, 또는 컴퓨터로 판독 가능한 명령러를 저장할 수 있은 임의의 다른 매체를 포함한다.
컴퓨터(800)는 입력 인터페이스(825), 출력 인터페이스(830) 및 통신 인터페이스(835)를 포함하는 컴퓨팅 환경을 포함하거나 이에 액세스할 수 있다. 출력 인터페이스(830)는 입력 기기의 역할도 할 수 있는 터치 스크린과 같은 디스플레이 기기를 인터페이싱하거나 이를 포함할 수 있다. 입력 인터페이스(825)는 터치 스크린, 터치 패드, 마우스, 키보드, 카메라, 하나 이상의 기기 특정 버튼(device-specific button), 컴퓨터(800) 내에 통합되거나 유선 또는 무선 데이터 연결을 통해 컴퓨터(800)에 결합되는 하나 이상의 센서 및 기타 입력 기기 중 하나 이상을 인터페이싱하거나 포함할 수 있다.
컴퓨터(800)는 데이터베이스 서버와 같은 하나 이상의 원격 컴퓨터에 연결하기 위해 통신 인터페이스(835)를 사용하는 네트워킹된 환경에서 작동할 수 있다. 원격 컴퓨터는 개인용 컴퓨터(personal computer, PC), 서버, 라우터, 교환기(switch), 네트워크 PC, 피어 기기(peer device ) 또는 기타 일반적인 네트워크 노드(common network node) 등을 포함할 수 있다. 통신 인터페이스(835)는 근거리 네트워크(local-area network, LAN), 광역 네트워크(wide-area network, WAN), 셀룰러 네트워크(cellular network), WiFi 네트워크, 블루투스(Bluetooth) 네트워크, 또는 다른 네트워크에 연결될 수 있다.
컴퓨터(800)가 각각의 요소(805∼865) 중 하나를 갖는 것으로 도시되었지만, 각각의 요소가 복수 존재할 수 있다. 예를 들어, 복수의 프로세서(805), 복수의 입력 인터페이스(825), 복수의 출력 인터페이스(830) 및 복수의 통신 인터페이스(835)가 존재할 수 있다. 일부 예시적인 실시예에서, 상이한 통신 인터페이스(835)가 상이한 네트워크에 연결된다.
컴퓨터로 판독 가능한 매체(예: 메모리 저장장치(810)에 저장된 프로그램(855))에 저장된 컴퓨터로 판독 가능한 명령어는 컴퓨터(800)의 프로세서(805)에 의해 실행 가능하다. 하드 드라이브, CD-ROM 및 RAM은 저장 기기와 같은, 컴퓨터로 판독 가능한 비일시적인 매체를 포함하는 물품의 일부 예다. 용어 "컴퓨터로 판독 가능한 매체" 및 "저장 기기"는 반송파가 너무 일시적인 것으로 간주되는 정도까지 반송파를 포함하지 않는다. "컴퓨터로 판독 가능한 비일시적 매체"에는 자기 저장 매체, 광학 저장 매체, 플래시 매체 및 솔리드 스테이트 저장 매체를 포함한 모든 유형의 컴퓨터로 판독 가능한 매체가 포함된다. 소프트웨어는 컴퓨터에 설치 및 판매될 수 있음을 이해해야 한다. 대안으로, 소프트웨어 창작자가 소유한 서버 또는 소프트웨어 창작자가 소유하지 않지만 사용하는 서버를 포함한, 물리 매체 또는 배포 시스템을 통해 소프트웨어를 획득하는 것을 포함하여, 소프트웨어는 획득하여 컴퓨터에 로드될 수 있다. 예를 들어, 소프트웨어는 인터넷을 통해 배포하기 위해 서버에 저장될 수 있다.
프로그램(855)은 시선 검출 모듈(gaze detection module)(860), PPR 검출 모듈(865), 주의 분석 모듈(attention analysis module)(870) 및 제어 전송 모듈(control transfer module)(875)을 포함하는 것으로 도시되어 있다. 여기에서 설명되는 모듈 중 어느 하나 이상은 하드웨어(예: 기계의 프로세서, ASIC, FPGA 또는 이들의 적절한 조합)를 사용하여 구현될 수 있다. 더욱이, 이들 모듈 중 어느 둘 이상이 단일 모듈로 결합될 수 있으며, 단일 모듈에 대해 여기에서 설명되는 기능은 여러 모듈로 세분될 수 있다. 또한, 다양한 예시적인 실시예에 따르면, 단일 기계, 데이터베이스 또는 기기 내에 구현되는 것으로 여기에서 설명되는 모듈은 여러 기계, 데이터베이스 또는 기기에 걸쳐 분산될 수 있다.
시선 검출 모듈(860)은 운전자의 시선을 결정하기 위해 차량 운전자의 얼굴의 하나 이상의 이미지를 처리한다. 운전자 얼굴의 이미지는 운전자를 향한 카메라(120)로부터 입력 인터페이스(825)를 통해 수신될 수 있다. 이차원 또는 삼차원 공간에서 시선 추정 지점을 결정하는 기존의 방법이 운전자의 시선을 결정하는 데 사용될 수 있다. 예를 들어, 눈의 중심에 원점을 갖고 눈의 동공을 통과하는 광선이 각각의 눈에 대해 결정될 수 있다. 광선이 교차하는 지점이 운전자의 삼차원 응시점이다. 이차원 응시점을 결정하기 위해, 두 눈 사이의 중간점을 원점으로 하고 삼차원 응시점에서 끝나는 광선이 생성된다. 이 광선과 환경의 이미지의 이차원 투영의 교차점이 운전자의 이차원 응시점이다.
PPR 검출 모듈(865)은 차량 환경의 하나 이상의 표현물을 처리하여 PPR을 식별한다. 예를 들어, 환경의 이미지는 하나 이상의 외부를 향한 카메라로부터 입력 인터페이스(825)를 통해 수신될 수 있거나, 환경의 3D 표현물은 외부를 향한 카메라로부터 수신된 이미지에 기초하여 생성될 수 있다. 환경의 표현물에서 객체는 때때로 나타나고 사라질 수 있다. 객체는 외관(예: 크기 및 위치)이 달라질 수도 있다. 환경의 현재 표현물에서의 객체가 환경의 이전 표현물에서의 객체와 동일한지를 결정하기 위해, 객체 추적이 사용된다. 첫째, 환경의 각각의 표현물에서 객체가 검출된다. 둘째, 위치 및 움직임 연속성 조건을 통해, 환경의 현재 표현물에서 검출된 객체를 동일한 객체의 이전 인스턴스와 연관짓기 위해 객체가 시간 영역에서 추적된다. 칼만(Kalman) 필터 및 (DSST 같은) 객체 추적 알고리즘이 일반적으로 사용된다. 또한 온라인 학습을 통해 대상을 연관시키고 인식하는 데 특징이 사용될 수 있다. 예를 들어, 새로운 객체는 장면 경계 또는 특정 가려진 이미지 영역에서만 나타날 수 있으므로, 경계 또는 가려진 이미지 영역에 인접하지 않은 인식된 객체는 환경의 이전 표현물에서 대응하는 객체를 가져야 한다. 새로운 객체는 이전에 관찰된 어떠한 객체와도 연관될 수 없으며 분류되어 주의 산만 검출 알고리즘에 등록될 것이다. 마찬가지로 기존 PPP 연관 객체는 장면 경계 또는 폐색(occlusion)을 통해서만 사라질 수 있다. 일정한 미리 결정된 시간(예 : 30초)이 지나면, 사라진 객체가 객체 등록 목록에서 제거될 것이다. 따라서 객체의 연관된 PPR이 있는 경우, 삭제될 것이다.
주의 분석 모듈(870)은, 운전자가 각각의 PPR에 충분한 주의를 기울이고 있는지를 결정하기 위해 운전자의 검출된 시선을 PPR과 비교한다. 하나 이상의 PPR에 대한 주의 레벨이 미리 결정된 임계 값 아래로 떨어지면, 주의 분석 모듈(870)은 경보를 생성되게 한다. 예를 들어, 출력 인터페이스(830)는 차량의 스피커를 트리거하여 가청 경보를 만들거나 스티어링 휠의 햅틱 피드백 기기가 진동하도록 할 수 있다.
제어 전송 모듈(875)은 컴퓨터와 인간 제어 사이에 자동 차량의 제어를 전송한다. 제어 전송 모듈(875)은 주의 분석 모듈(870)을 통해, 제어를 넘기기 전에 인간 운전자가 모든 PPR에 충분한 주의를 기울이고 있는지 확인할 수 있다.
도 9는 일부 예시적인 실시예에 따른, 기본 미리 보기 영역을 사용하는 시선 기반 운전자 검출에 적합한 데이터베이스 스키마(900)를 나타낸 블록도이다. 데이터베이스 스키마(900)는 PPP 표(905), PPR 표(920), 주의 레벨 표(935) 및 운전자 표(950)를 포함한다. PPP 표(905)는 표 정의(910)를 사용하고 행(915A, 915B, 915C)을 포함한다. PPR 표(920)는 표 정의(925)를 사용하고 행(930A, 930B, 930C)을 포함한다. 주의 레벨 표(935)는 표 정의(940)를 사용하고 행(945A, 945B, 945C)을 포함한다. 운전자 표(950)는 표 정의(955)를 사용하고 행(960A, 960B)을 포함한다.
PPP 표(905)의 각각의 행(915A∼915C)은 PPP에 대한 정보를 저장한다. 표 정의(910)에 따르면, 각각의 행(915A∼915C)은 식별자, 위치 및 유형을 포함한다. 식별자는 PPP에 대한 유일한 식별자일 수 있으며, 다른 표에 저장된 정보를 관련시키는 데 사용될 수 있다. 위치는 상대 또는 절대 위치(예: 위도, 경도 및 고도)를 사용하여 저장된 2D 또는 3D 위치일 수 있다. 예시적인 PPP 표(905)에서, 위치는 미터 단위로 측정된, 차량의 전방 중앙으로부터의 상대적 위치를 사용하여 3D 위치로 저장된다. 유형은 PPP가 차량, 곡선, 표지판, 소실점, 동물, 보행자 또는 운전자가주의를 기울여야 하는 기타 유형의 지점을 나타내는지를 지시한다.
PPR 표(920)의 각각의 행(930A∼930C)은 PPR에 대한 정보를 저장한다. 표 정의(925)에 따르면, 각각의 행(930A∼930C)은 식별자, 상대 PPP 위치 및 크기를 포함한다. 일부 예시적인 실시예에서, 각각의 PPR은 정확히 하나의 PPP에 대응하여, 동일한 식별자가 PPR 및 그에 대응하는 PPP에 사용될 수 있도록 한다. 상대 PPP 위치는 PPR 내에서 PPP의 위치를 지시한다. 상대 PPP 위치는 예시적인 PPR 표(920)에 표시된 바와 같이 유형 지시자로서 저장될 수 있으며, PPP가 중앙 또는 가장자리(예: 운전자의 차량에 가장 가까운 가장자리 또는 PPP의 움직임 방향의 전방의 가장자리)에 있는지를 지시한다). 대안으로, 상대 PPP 위치는 PPR의 중심으로부터 2D 또는 3D 오프셋으로 저장될 수 있다. 크기는 예를 들어 구 또는 원의 반경을 제공함으로써, PPR의 크기를 저장한다. 대안으로, 크기는 PPR에 대한 경계 상자 또는 경계 정육면체(bounding cube)를 저장할 수 있다.
주의 레벨 표(935)는 각각 식별자, 주의 레벨, 시선 상태(gaze status), 최후의 주의 변경 시각 및 천이 주의 레벨(transition attention level)을 포함하는 행(945A∼945C)을 저장한다. 식별자는 행의 주의 레벨 데이터가 적용되는 PPR의 식별자를 지시한다. 주의 레벨은 대응하는 PPR에 대한 현재 주의 레벨을 지시한다. 시선 상태는 운전자의 응시점이 현재 PPR에 있는지를 지시한다. 최후의 주의 변경 시각은 운전자의 응시점이 마지막으로 PPR에 진입하였거나 떠난 시각을 지시한다. 천이 주의 레벨은 최후의 주의 변경 시각에 PPR에 대한 천이 레벨을 지시한다. 식 1 및 2를 사용하여 운전자의 주의 레벨을 결정하는 예시적인 실시예에서, 시선 상태에 따라 사용할 식이 선택될 수 있고, 최후의 주의 변경 시각이 t0에 대한 값으로 사용될 수 있으며, 천이 주의 레벨이 Sv(t0)의 값으로 사용될 수 있다.
운전자 표(950)는 행(960A∼960B)을 저장하는데, 그 각각은 현재 운전자에 대한 데이터를 저장하면 참(True)으로 설정되고 그렇지 않으면 거짓(False)으로 설정되는, 운전자가 현재 활성 상태인지를 지시하는 부울 값, 및 운전자에 대한 반응 계수(reaction coefficient)를 포함한다. 추가 데이터가 운전자 표(950)에 저장될 수 있다. 예를 들어, 운전자를 향한 카메라(140)에 의해 캡처된 하나 이상의 이미지에 기초한 이미지 인식에 의해 운전자를 식별할 수 있도록, 운전자의 사진이 저장될 수 있다. 식 1 및 2를 사용하여 운전자의 주의 레벨을 결정하는 예시적인 실시예에서, 운전자의 반응 계수는 k의 값으로 사용될 수 있다.
도 10은 일부 예시적인 실시예에 따른, 기본 미리 보기 영역을 사용하는 시선 기반 운전자 검출의 방법(1000)의 흐름도 예시이다. 방법(1000)은 작업(operation) 1010, 1020, 1030 및 1040을 포함한다. 한정이 아닌 예로서, 방법(1000)은 도 8과 관련하여 위에서 설명된, 차량(예: 도 1의 앞 유리(110) 및 운전자를 향한 카메라(120)을 포함하는 차량)에 통합된 컴퓨터(800)의 요소에 의해 수행되는 것으로 설명된다. 도 8에 도시된 바와 같이, .
작업 1010에서, PPR 검출 모듈(865)은 환경의 표현물에서 PPR을 결정한다. 예를 들어, 객체 식별 알고리즘은 환경의 이미지에 묘사된 객체를 식별하고 그 객체에 대한 PPP를 결정할 수 있다. PPP 및 객체의 분류에 기초하여, 환경의 표현물에서 PPR이 결정될 수 있다. 일부 예시적인 실시예에서, 객체에 대한 PPR은 객체에 대한 경계 상자이다. 다른 예시적인 실시예에서, PPR은 객체를 중심으로 하는 정육면체 또는 구이다.
작업 1020에서, 시선 검출 모듈(860)은 운전자의 이미지에 기초하여 운전자의 응시점을 결정한다. 예를 들어, 운전자의 이미지는 운전자의 눈동자와 운전자의 머리를 묘사할 수 있다. 교정 데이터 또는 통계 데이터를 사용하여, 운전자의 눈의 중심을 추정하고 각각의 눈에 대해 눈의 중심을 원점으로 하고 눈의 동공을 통과하는 광선을 결정할 수 있다. 광선이 교차하는 지점이 운전자의 삼차원 응시점이다. 이차원 응시점을 결정하기 위해, 두 눈 사이의 중간점을 원점으로 하고 삼차원 응시점에서 끝나는 광선이 생성된다. 이 광선과 환경의 이미지의 이차원 투영의 교차점이 운전자의 이차원 응시점이다.
작업 1030에서, 주의 분석 모듈(870)은 응시점이 PPR 외부에 있는 것으로 결정한다. 예를 들어, 응시점이 PPR 내부 또는 외부에 있는지를 결정하기 위해 3D 응시점이 3D PPR의 체적(volume)과 비교될 수 있다. 다른 예로서, 응시점이 2D PPR의 내부 또는 외부에 있는지를 결정하기 위해 2D 응시점이 2D PPR의 면적(area)과 비교될 수 있다.
작업 1040에서, 주의 분석 모듈(870)이 PPR 외부에 있는 결정된 응시점에 기초하여, PPR에 대한 주의 레벨을 감소시킨다. 예를 들어, 운전자의 시선이 PPR 내에 있는지가 도 5에 도시된 바와 같이 PPR에 대한 주의 레벨을 조정하는 데 사용될 수 있다.
작업 1050에서, 주의 분석 모듈(870)이 PPR에 대한 주의 레벨 및 미리 결정된 임계 값에 기초하여 경보를 생성한다. 예를 들어, 0∼1 범위의 정규화된 주의 레벨을 사용하면, 미리 결정된 임계 값은 0.2일 수 있다. PPR의 주의 레벨이 미리 결정된 임계 값 아래로 떨어지면, 경보가 생성된다.
방법(1000)을 사용하면, 감지된 객체에 대한 주의 레벨이 충분하지 않는 경우에 운전자는 경보를 받는다. 감지된 모든 객체에 대해 작업 1020∼1040을 반복함으로써, 어떤 객체라도 충분한 주의를 기울이지 않으면 운전자는 경보를 받는다. 예를 들어, 복수의 차량, 동물, 표지판 및 곡선이 포함된 복잡한 상황에서, 운전자는 주의가 필요한 PPR의 하위세트에 부주의로 초점을 맞출 수 있다. 이 상황에서, 방법(1000)은 무시되는 PPR에 관한 경보를 제공하여, 아마도 사고를 예방할 것이다.
도 11은 일부 예시적인 실시예에 따른, 기본 미리 보기 영역을 사용하는 시선 기반 운전자 검출의 방법(1100)의 흐름도 예시이다. 방법(1100)은 작업 1110, 1120, 1130, 1140, 1150, 1160 및 1170을 포함한다. 한정이 아닌 예로서, 방법(1100)은 도 8과 관련하여 위에서 설명된, 차량(예: 도 1∼도 3에 도시된 바와 같이 앞 유리(310) 및 운전자를 향한 카메라(140)를 포함하는 차량(200))에 통합된, 컴퓨터(800)의 요소에 의해 수행되는 것으로 설명된다.
작업 1110에서, PPR 검출 모듈(865)은 환경의 이미지(예: 전방을 향한 카메라에 의해 캡처된 이미지)로부터 PPP를 식별한다. 예를 들어, 훈련된 기계 학습 알고리즘은 그 이미지를 입력 이미지로 취하여 이미지에 묘사된 객체의 위치와 클래스를 식별할 수 있다.
작업 1120에서, PPR 검출 모듈(865)은 모든 PPP에 대해 그들의 특성 파라미터에 기초하여 이미지상에 PPR을 구축한다. 특성 파라미터는 PPP와 연관된 객체의 클래스에 기초하여 데이터베이스로부터 액세스될 수 있다. 예를 들어, 대형 차량 클래스와 연관된 PPP로부터 생성된 PPR은 소형 동물 클래스와 연관된 PPP로부터 생성된 PPR보다 클 수 있다.
작업 1130에서, PPR 검출 모듈(865)은 추적 프로세스를 사용하여 PPR을갱신하고 사라진 PPR을 제거한다. 추적 프로세스는 한 이미지에서 다른 이미지로 객체를 추적하므로 객체가 이미지를 캡처하는 카메라에 대해 상대적으로 이동할 때, 그 객체가 각각의 이미지에서 별개의 개체로 취급되지 않고 단일 개체로 유지된다. 따라서 움직이는 객체에 대한 PPR이 유지되고, 더 이상 보이지 않는 객체에 대한 이전에 저장된 모든 PPR이 제거된다.
일부 예시적인 실시예에서, PPR 검출 모듈(865)은 차량 및 도로 정보를 사용하여 미래 경로를 추정한다. 예를 들어, 차량 속도, 현재 방향, 차선, 방향 지시등 및 스티어링 휠의 각도는 차량에 대해 추정된 미래 경로를 결정하는 데 사용될 수 있다. PPR 검출 모듈(865)은 PPR이 미래 경로를 따르지 않는 것으로 결정하고, 제1 PPR이 미래 경로를 따르지 않는다는 결정에 기초하여 제1 PPR을 제거할 수 있다. 예를 들어, 차량에서 멀어지는 차량의 좌측에 있는 자전거에 대한 PPR은 차량이 우회전 신호가 활성화된 우회전 차선에 있을 때 차량의 경로에 있지 않은 것으로 결정될 수 있다. 결과적으로 자전거에 대한 PPR이 삭제되어, 운전자가 자전거에 집중하지 않더라도 경보가 생성되지 않을 것이다.
작업 1140에서, 시선 검출 모듈(860)은 운전자의 응시점을 추정하고, 그 응시점을 환경의 표현물(예: 환경의 이미지 또는 환경의 이미지 및 다른 데이터로부터 생성된 환경의 3D 표현물)에 중첩한다. 이러한 중첩은 작업 1150에서, 주의 분석 모듈(870)이 운전자가 현재 어떤 PPR에 초점을 맞추고 있는지를 결정할 수 있게 한다. 작업 1150에서, 주의 분석 모듈(870)은 운전자의 초점 결정에 기초하여 각 PPR에 대한 주의 레벨을 갱신한다(예: 운전자가 초점을 맞추고 있는 PPR에 대한 주의 레벨을 증가시키고 다른 모든 PPR에 대한 주의 레벨을 감소시킴).
일부 예시적인 실시예에서, 응시점 대신 응시 영역이 사용된다. 응시 영역은 응시점 추정에 대한 평균 오차에 기초하여 결정된 반경을 갖는 응시점을 중심으로하는 원 또는 구로서 정의될 수 있다. 일부 예시적인 실시예에서, 시선 영역은 응시점 추정에 대한 방향성 평균 오차(예: 요(yaw) 및 피치(pitch) 평균 오차)에 기초하여 결정된 주 및 부 반경을 갖는 응시점을 중심으로 하는 타원으로서 정의된다.
작업 1160에서, 주의 분석 모듈(870)은 PPR이 미리 결정된 임계 값 아래로 떨어진 주의 레벨을 갖는지를 결정한다. 주의 레벨이 미리 결정된 임계 값 아래로 떨어진 각각의 PPR에 대해, 주의 분석 모듈(870)은 작업 1170에서, 주의 산만 상태를 트리거하고 주의 산만 상태에 따른 조치를 취한다. 예를 들어, 경보가 생성될 수 있다. 작업 1170이 수행된 후(또는 미리 결정된 임계 값 미만의 주의 레벨을 갖는 PPR이 없으면 건너뜀), 방법(1100)은 작업 1110으로 돌아가서 갱신된 이미지 데이터를 사용하여 방법(1100)을 반복함으로써 계속된다. 예를 들어, 방법(1100)은 운전자의 주의 레벨을 모니터링하기 위해 200ms마다 수행될 수 있다.
도 12는 일부 예시적인 실시예에 따른, 기본 미리 보기 영역을 사용하는 시선 기반 운전자 검출의 방법(1200)의 흐름도 예시이다. 방법(1200)은 작업 1210, 1220, 1230, 1240, 1250, 1260, 1270 및 1280을 포함한다.
한정이 아닌 예로서, 방법(1200)은 도 8과 관련하여 위에서 설명된, 차량(예: 도 1∼도 3에 도시된 바와 같이 앞유리(310) 및 운전자를 향한 카메라(140)를 포함하는 차량(200))에 통합된, 컴퓨터(800)의 요소에 의해 수행되는 것으로 설명된다. 방법(1200)은 방법(1100)의 작업 1150의 예시적인 구현이다. 추가로 또는 대안으로, 방법(1200)은 주기적으로(예: 100ms마다) 실행될 수 있다.
작업 1210에서, 주의 분석 모듈(870)은 루프 변수 i를 0으로 초기화한다. 작업 1220에서, 주의 분석 모듈(870)은 루프 변수를 증분한다.
작업 1230에서, 주의 분석 모듈(870)은 현재 PPR(루프 변수 i에 대응함)이 운전자의 응시점을 포함하는지 판단한다. 현재 PPR이 운전자의 응시점을 포함하면, 방법(1200)은 작업 1240으로 계속된다. 그렇지 않으면, 방법(1200)은 작업 1260으로 계속된다.
작업 1240에서, 주의 분석 모듈(870)은 현재 PPR에 대한 회복 함수 파라미터를 갱신한다. 예를 들어, 회복 함수로서 (도 5와 관련하여 전술한) 식 2를 사용하여, 운전자가 PPR을 지속적으로 응시한 시간의 길이인 (t-t0)의 값을 갱신할 수 있다. 작업 1250에서, 주의 분석 모듈(870)은 회복 함수를 재평가하여 PPR에 대한 주의 레벨을 증가시킨다.
작업 1260에서, 운전자의 응시점이 현재 PPR 내에 있지 않으면, 주의 분석 모듈(870)은 현재 PPR에 대한 감쇠 함수 파라미터를 갱신한다. 일부 예시적인 실시예에서, 감쇠 함수 파라미터는 회복 함수 파라미터와 동일하다. 대안으로, 회복 함수와 감쇠 함수는 별개의 파라미터를 갖는 별개의 식일 수 있다. 작업 1270에서, 주의 분석 모듈(870)은 현재 PPR에 대한 주의 감쇠를 실행한다. 따라서 PPR에 대한 주의 레벨이 감소된다.
작업 1250 또는 작업 1270을 수행한 후, 주의 분석 모듈은 모든 PPR이 평가되었는지 판단한다(작업 1280). 일부 PPR이 남아 있으면, 제어가 1220 단계로 돌아간다. 따라서 모든 PPR에 대한 주의 레벨은 방법(1200)의 실행으로 갱신된다. 모든 PPR이 처리되면, 방법(1200)이 완료되어 모든 PPR에 대한 주의 레벨이 갱신되었다.
도 13은 일부 예시적인 실시예에 따른 자동 차량의 제어를 인간 운전자에게 전송하는 방법(1300)의 흐름도 예시이다. 방법(1300)은 작업 1310, 1320 및 1330을 포함한다. 한정이 아닌 예로서, 방법(1300)은 도 8과 관련하여 위에서 설명된, 차량(예: 도 1∼도 3에 도시된 바와 같이 앞유리(310) 및 운전자를 향한 카메라(140)를 포함하는 차량(200))에 통합된, 컴퓨터(800)의 요소에 의해 수행되는 것으로 설명된다.
작업 1310에서, 제어 전송 모듈(875)은 자동 차량의 제어를 인간 운전자에게 전송하라는 요청을 수신한다. 예를 들어, 운전자는 스티어링 휠의 버튼을 누르거나, 음성 명령을 내리거나, 브레이크 페달을 두드리거나, 그렇지 않으면 운전자가 제어하기를 원한다는 것을 자동 차량에 지시할 수 있다.
작업 1320에서, 제어 전송 모듈(875)은 운전자가 모든 PPR에 주의를 기울이고 있음을 확인한다. 확인은 주의 분석 모듈(870)과의 통신을 통해 실현될 수 있다. 예를 들어, 모든 PPR에 대한 운전자의 주의 레벨은 미리 결정된 시간(예: 15 초) 동안 결정될 수 있다. 미리 결정된 시간 동안에, 주의 레벨이 경보가 생성되는 임계 값 아래로 떨어지지 않도록 허용하면, 방법(1300)은 작업 1330을 계속한다. 그렇지 않으면 미리 결정된 시간이 다시 시작되고 운전자의 주의 레벨의 모니터링이 모든 PPR에 대해 재개된다. 일부 예시적인 실시예에서, 임의의 PPR에 대한 운전자의 주의 레벨이 불충분하면 방법(1300)이 종료된다.
작업 1330에서, 제어 전송 모듈(875)은 요청에 응답하고 확인에 기초하여 차량의 제어를 운전자에게 전송한다. 제어의 전송은 차량의 자동 제어를 해제하는 것, 수동 제어가 시작되었음을 지시하는 경보를 운전자에게 제공하는 것, 또는 이들의 임의의 적절한 조합을 포함할 수 있다.
방법(1300)의 사용은 운전자가 도로 및 임의의 장애물 또는 위험에 대해 적절한 주의를 기울이고 있음을 보장함으로써 자동 차량의 제어를 인간 운전자에게 전송하는 안전성을 향상시킬 수 있다. 추가로, 돌발적인 요청이 운전자로부터 충분한 주의를 수반할 가능성이 없기 때문에, 방법(1300)의 사용은 제어의 돌발적인 전송(예: 운전자가 잘못하여 버튼을 누르거나 그렇지 않으면 제어 전송 요청을 제공함으로써)을 회피할 수 있다.
이상에서는 몇 가지 실시예를 상세히 설명하였지만, 다른 변형도 가능하다. 예를 들어, 도면에 묘사된 논리 흐름은 바람직한 결과를 얻기 위해, 표시된 특정 순서 또는 순차적인 순서를 요구하지 않는다. 설명된 흐름에 다른 단계가 제공될 수 있거나, 그로부터 단계가 제거될 수 있으며, 설명된 시스템에 다른 구성 요소가 추가되거나 그로부터 구성요소가 제거될 수 있다. 기타 실시예가 이하의 청구항의 범위 내에 속할 수 있다.

Claims (20)

  1. 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법으로서,
    하나 이상의 프로세서가 환경의 표현물(representation)에서 제1 기본 미리 보기 영역(primary preview region, PPR)을 결정하는 단계 - 상기 제1 PPR은 복수의 PPR 중 하나임 - ;
    상기 하나 이상의 프로세서가 운전자의 일련의 이미지에 기초하여 운전자에 대해 응시점을 결정하는 단계;
    상기 하나 이상의 프로세서가 상기 응시점이 상기 제1 PPR의 외부에 있는 것으로 결정하는 단계;
    상기 제1 PPR의 외부에 있는 결정된 응시점에 기초하여, 상기 하나 이상의 프로세서가 상기 제1 PPR에 대한 주의 레벨을 감소시키는 단계; 및
    상기 제1 PPR의 주의 레벨에 기초하여, 상기 하나 이상의 프로세서가 경보를 생성하는 단계
    를 포함하고,
    상기 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법은,
    차량 및 도로 정보를 사용하여 미래 경로를 추정하는 단계;
    상기 제1 PPR이 미래 경로를 따르지 않는다고 결정하는 단계; 및
    상기 제1 PPR이 미래 경로를 따르지 않는다는 결정에 기초하여, 상기 복수의 PPR에서 상기 제1 PPR을 제거하는 단계
    를 더 포함하는,
    주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  2. 제1항에 있어서,
    운전자의 제2 이미지 시퀀스에 기초하여 운전자에 대해 제2 응시점을 결정하는 단계; 및
    상기 제1 PPR의 내부에 있는 상기 제2 응시점에 기초하여, 상기 제1 PPR에 대한 상기 주의 레벨을 증가시키는 단계를 더 포함하는 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  3. 제1항에 있어서,
    상기 제1 PPR에 대한 상기 주의 레벨을 감소시키는 단계는, 로지스틱 감쇠 함수(logistic decay function)를 사용하여 상기 주의 레벨을 결정하는 단계를 포함하는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  4. 제3항에 있어서,
    상기 복수의 PPR의 각각의 PPR은 대응하는 주의 레벨을 갖고;
    상기 경보를 생성하는 단계는 상기 복수의 PPR의 각각의 PPR에 대한 주의 레벨에 추가로 기초하는,
    주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  5. 제4항에 있어서,
    상기 복수의 PPR의 각각의 PPR에 대한 우선순위 점수를 결정하는 단계를 더 포함하고;
    상기 복수의 PPR의 각각의 PPR에 대한 주의 레벨은 상기 PPR에 대한 우선순위 점수에 기초하는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  6. 제1항에 있어서,
    상기 하나 이상의 프로세서가 상기 환경의 표현물에서 묘사된 객체를 식별하는 단계를 더 포함하고;
    상기 제1 PPR을 결정하는 단계는 상기 객체에 대한 상기 제1 PPR을 결정하는 단계를 포함하는,
    주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  7. 제6항에 있어서,
    상기 객체에 대한 상기 제1 PPR을 결정하는 단계는 상기 객체의 속도를 결정하는 단계를 포함하는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  8. 제1항에 있어서,
    상기 환경의 이미지에서 묘사된 객체를 식별하는 단계는,
    훈련된 기계 학습 알고리즘(trained machine-learning algorithm)으로 상기 이미지를 분석하는 단계를 포함하는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  9. 제1항에 있어서,
    상기 제1 PPR을 결정하는 단계는,
    기본 미리 보기 지점(primary preview point, PPP)를 결정하는 단계; 및
    상기 PPP 및 미리 결정된 반경에 기초하여 상기 제1 PPR을 결정하는 단계를 포함하는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  10. 제1항에 있어서,
    상기 환경의 표현물은 적외선(infrared, IR) 카메라에 의해 생성되는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  11. 제1항에 있어서,
    상기 환경의 표현물에서 제1 PPR을 결정하는 단계는 도로의 차선을 식별하는 단계를 포함하는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  12. 제1항에 있어서,
    상기 환경의 표현물은 레이저 스캐너에 의해 생성되는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  13. 제1항에 있어서,
    상기 경보를 생성하는 단계는,
    오디오 경보를 생성하는 단계, 햅틱 경보(haptic alert)를 생성하는 단계, 차량의 브레이크를 활성화하는 단계, 또는 차량의 방향을 변경하는 단계를 포함하는,
    주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  14. 제1항에 있어서,
    운전자의 프로파일에 기초하여 상기 제1 PPR에 대한 주의 레벨을 결정하는 단계를 더 포함하는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  15. 제1항에 있어서,
    상기 경보를 생성하는 단계는 미리 결정된 임계 값에 추가로 기초하는, 주의 산만한 운전을 검출하는, 컴퓨터로 구현된 방법.
  16. 주의 산만한 운전을 검출하는 시스템으로서,
    명령어를 포함하는 메모리 저장장치; 및
    상기 메모리와 통신하는 하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는 상기 명령어를 실행하여,
    환경의 표현물에서 제1 기본 미리 보기 영역(PPR)을 결정하는 단계 - 상기 제1 PPR은 복수의 PPR 중 하나임 - ;
    운전자의 일련의 이미지에 기초하여 운전자에 대한 응시점을 결정하는 단계;
    상기 응시점이 상기 제1 PPR의 외부에 있는 것으로 결정하는 단계;
    상기 제1 PPR의 외부에 있는 결정된 응시점에 기초하여, 상기 제1 PPR에 대한 주의 레벨을 감소시키는 단계; 및
    상기 제1 PPR의 주의 레벨에 기초하여, 경보를 생성하는 단계
    를 수행하고,
    상기 하나 이상의 프로세서는 상기 명령어를 실행하여,
    차량 및 도로 정보를 사용하여 미래 경로를 추정하는 단계;
    상기 제1 PPR이 미래 경로를 따르지 않는다고 결정하는 단계; 및
    상기 제1 PPR이 미래 경로를 따르지 않는다는 결정에 기초하여, 상기 복수의 PPR에서 상기 제1 PPR을 제거하는 단계
    를 추가로 수행하는,
    주의 산만한 운전을 검출하는 시스템.
  17. 제16항에 있어서,
    상기 하나 이상의 프로세서는 상기 명령어를 실행하여,
    운전자의 제2 이미지 시퀀스에 기초하여 운전자에 대해 제2 응시점을 결정하는 단계; 및
    상기 제1 PPR의 내부에 있는 상기 제2 응시점에 기초하여, 상기 제1 PPR에 대한 상기 주의 레벨을 증가시키는 단계를 추가로 수행하는,
    주의 산만한 운전을 검출하는 시스템.
  18. 제16항에 있어서,
    상기 제1 PPR을 결정하는 단계는,
    기본 미리 보기 지점(primary preview point, PPP)를 결정하는 단계; 및
    상기 PPP 및 미리 결정된 반경에 기초하여 상기 제1 PPR을 결정하는 단계를 포함하는, 주의 산만한 운전을 검출하는 시스템.
  19. 제16항에 있어서,
    상기 하나 이상의 프로세서는 상기 명령어를 실행하여,
    운전자의 프로파일에 기초하여 상기 제1 PPR에 대한 주의 레벨을 결정하는 단계를 추가로 수행하는, 주의 산만한 운전을 검출하는 시스템.
  20. 주의 산만한 운전을 검출하기 위한 컴퓨터 명령어를 저장하는, 컴퓨터로 판독 가능한 매체로서,
    상기 컴퓨터 명령어는 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금,
    환경의 표현물에서 제1 기본 미리 보기 영역(PPR)을 결정하는 단계 - 상기 제1 PPR은 복수의 PPR 중 하나임 - ;
    운전자의 일련의 이미지에 기초하여 운전자에 대한 응시점을 결정하는 단계;
    상기 응시점이 상기 제1 PPR의 외부에 있는 것으로 결정하는 단계;
    상기 제1 PPR의 외부에 있는 결정된 응시점에 기초하여, 상기 제1 PPR에 대한 주의 레벨을 감소시키는 단계; 및
    상기 제1 PPR의 주의 레벨에 기초하여, 경보를 생성하는 단계를 수행하게 하고,
    상기 컴퓨터 명령어는 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금,
    차량 및 도로 정보를 사용하여 미래 경로를 추정하는 단계;
    상기 제1 PPR이 미래 경로를 따르지 않는다고 결정하는 단계; 및
    상기 제1 PPR이 미래 경로를 따르지 않는다는 결정에 기초하여, 상기 복수의 PPR에서 상기 제1 PPR을 제거하는 단계
    를 추가로 수행하게 하는,
    컴퓨터로 판독 가능한 매체.
KR1020207024209A 2018-01-29 2019-01-23 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출 KR102351592B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/882,581 US11017249B2 (en) 2018-01-29 2018-01-29 Primary preview region and gaze based driver distraction detection
US15/882,581 2018-01-29
PCT/CN2019/072809 WO2019144880A1 (en) 2018-01-29 2019-01-23 Primary preview region and gaze based driver distraction detection

Publications (2)

Publication Number Publication Date
KR20200110702A KR20200110702A (ko) 2020-09-24
KR102351592B1 true KR102351592B1 (ko) 2022-01-14

Family

ID=67392234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024209A KR102351592B1 (ko) 2018-01-29 2019-01-23 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출

Country Status (6)

Country Link
US (3) US11017249B2 (ko)
EP (1) EP3735365B1 (ko)
JP (1) JP7140450B2 (ko)
KR (1) KR102351592B1 (ko)
CN (1) CN111565978B (ko)
WO (1) WO2019144880A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150051508A1 (en) 2013-08-13 2015-02-19 Sync-Think, Inc. System and Method for Cognition and Oculomotor Impairment Diagnosis Using Binocular Coordination Analysis
US9958939B2 (en) * 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
FR3038770B1 (fr) * 2015-07-10 2021-03-19 Innov Plus Systeme de surveillance de l'etat de vigilance d'un operateur
US11017249B2 (en) 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
JP6744374B2 (ja) * 2018-09-27 2020-08-19 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
TWI690440B (zh) * 2018-10-17 2020-04-11 財團法人車輛研究測試中心 基於支持向量機之路口智慧駕駛方法及其系統
KR102612925B1 (ko) * 2018-10-18 2023-12-13 주식회사 에이치엘클레무브 차량 긴급 제어 장치
US12080081B2 (en) * 2018-12-27 2024-09-03 Nec Corporation Inattentiveness determination device, inattentiveness determination system, inattentiveness determination method, and storage medium for storing program
EP3702866B1 (en) * 2019-02-11 2022-04-06 Tusimple, Inc. Vehicle-based rotating camera methods and systems
US10972649B2 (en) * 2019-02-27 2021-04-06 X Development Llc Infrared and visible imaging system for device identification and tracking
US11093767B1 (en) * 2019-03-25 2021-08-17 Amazon Technologies, Inc. Selecting interactive options based on dynamically determined spare attention capacity
US10893010B1 (en) * 2019-03-25 2021-01-12 Amazon Technologies, Inc. Message filtering in a vehicle based on dynamically determining spare attention capacity from an overall attention capacity of an occupant and estimated amount of attention required given current vehicle operating conditions
WO2021124140A1 (en) * 2019-12-17 2021-06-24 Indian Institute Of Science System and method for monitoring cognitive load of a driver of a vehicle
CN113002550A (zh) * 2019-12-20 2021-06-22 成都鼎桥通信技术有限公司 车辆智能控制装置、方法和计算机可读存储介质
JP7331728B2 (ja) * 2020-02-19 2023-08-23 マツダ株式会社 運転者状態推定装置
JP7331729B2 (ja) * 2020-02-19 2023-08-23 マツダ株式会社 運転者状態推定装置
US11039771B1 (en) 2020-03-03 2021-06-22 At&T Intellectual Property I, L.P. Apparatuses and methods for managing tasks in accordance with alertness levels and thresholds
SE544806C2 (en) * 2020-04-09 2022-11-22 Tobii Ab Driver alertness detection method, device and system
CN113815623B (zh) * 2020-06-11 2023-08-08 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置
CN111797809B (zh) * 2020-07-20 2022-11-04 吉林大学 一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法
CN112401887B (zh) * 2020-11-10 2023-12-12 恒大新能源汽车投资控股集团有限公司 一种驾驶员注意力监测方法、装置及电子设备
US11999356B2 (en) 2020-11-13 2024-06-04 Toyota Research Institute, Inc. Cognitive heat map: a model for driver situational awareness
CN112836669B (zh) * 2021-02-22 2023-12-12 宁波大学 一种司机分心驾驶检测方法
JP2022155703A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 脇見判定装置
FR3121347B1 (fr) 2021-04-01 2023-06-02 Faurecia Interieur Ind Dispositif électronique et procédé de surveillance du comportement d’un conducteur lors de la conduite d’un véhicule, système électronique de supervision et programme d’ordinateur associés
US12061738B2 (en) * 2022-06-02 2024-08-13 Google Llc Attention redirection of a user of a wearable device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005135A1 (en) * 2009-03-11 2012-01-05 Nec Corporation Recognition dictionary training method, system, and program
WO2018006019A1 (en) 2016-07-01 2018-01-04 Itay Katz System and method for driver monitoring
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
JP2018152034A (ja) 2017-03-14 2018-09-27 オムロン株式会社 運転者監視装置、運転者監視方法、学習装置及び学習方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3983324B2 (ja) * 1997-01-09 2007-09-26 富士重工業株式会社 車両の走行レーン逸脱防止装置
US6246880B1 (en) * 1998-11-13 2001-06-12 Telefonaktiebolaget Lm Ericsson (Publ) Determining subscriber demands on a communications system
CN100398065C (zh) 2002-10-15 2008-07-02 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
JP2004178367A (ja) 2002-11-28 2004-06-24 Toyota Central Res & Dev Lab Inc 注意配分制御装置
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
JP4722777B2 (ja) 2006-06-21 2011-07-13 本田技研工業株式会社 障害物認識判定装置
JP5171629B2 (ja) * 2006-09-04 2013-03-27 パナソニック株式会社 走行情報提供装置
JP2009018625A (ja) 2007-07-10 2009-01-29 Toyota Motor Corp 走行制御装置
US8503318B2 (en) * 2008-02-11 2013-08-06 Microsoft Corporation Estimating endpoint performance in unified communication systems
WO2010016244A1 (ja) * 2008-08-05 2010-02-11 パナソニック株式会社 運転注意量判定装置、方法およびプログラム
JP2010097335A (ja) 2008-10-15 2010-04-30 Toyota Motor Corp 運転意思推定装置
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
TW201330827A (zh) 2012-01-19 2013-08-01 Utechzone Co Ltd 依據駕駛反射動作之注意力偵測裝置及其方法
US8847771B2 (en) 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
WO2015015919A1 (ja) 2013-08-01 2015-02-05 本田技研工業株式会社 車両周辺監視装置
CN103500331B (zh) * 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
EP3316231B1 (en) 2014-01-06 2021-11-10 iOnRoad Technologies, Limited Alert generation correlating between head mounted imaging data and external device
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US9189692B2 (en) * 2014-02-14 2015-11-17 GM Global Technology Operations LLC Methods and systems for detecting driver attention to objects
US20160063761A1 (en) 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of spatial information based on driver attention assessment
JP6446925B2 (ja) * 2014-09-05 2019-01-09 アイシン精機株式会社 画像表示制御装置および画像表示システム
US20160098735A1 (en) * 2014-10-07 2016-04-07 Adobe Systems Incorporated Marketing channel attribution
US10338383B2 (en) * 2014-12-25 2019-07-02 Mitsubishi Electric Corporation Display control device
US20160267335A1 (en) * 2015-03-13 2016-09-15 Harman International Industries, Incorporated Driver distraction detection system
KR101657900B1 (ko) * 2015-06-03 2016-09-19 성균관대학교산학협력단 운전 중 위험 정보를 결정하는 방법 및 운전 중 위험 정보를 전달하는 방법
KR101745140B1 (ko) 2015-09-21 2017-06-08 현대자동차주식회사 시선 추적 장치 및 방법
US10166001B2 (en) * 2015-10-27 2019-01-01 Cardiac Pacemakers, Inc. Trending S1 heart sounds amplitudes in ambulatory patients for worsening HF detection
US10703204B2 (en) * 2016-03-23 2020-07-07 Magna Electronics Inc. Vehicle driver monitoring system
DE112016006737T5 (de) * 2016-04-15 2019-01-10 Honda Motor Co., Ltd. Fahrzeugsteuersystem, fahrzeugsteuerverfahren und fahrzeugsteuerprogramm
KR101816415B1 (ko) * 2016-06-21 2018-02-21 현대자동차주식회사 시선 추적을 이용한 운전자 집중도 감시 장치 및 방법
US10095937B2 (en) * 2016-06-21 2018-10-09 GM Global Technology Operations LLC Apparatus and method for predicting targets of visual attention
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
DE102016220549A1 (de) * 2016-10-20 2018-04-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Fahrers beim Deaktivieren eines hochautomatisierten Fahrmodus eines Fahrzeugs
US10445559B2 (en) 2017-02-28 2019-10-15 Wipro Limited Methods and systems for warning driver of vehicle using mobile device
JP2018151763A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 報知装置、報知システム、報知方法、および報知制御プログラム
JP7080598B2 (ja) * 2017-07-21 2022-06-06 ソニーセミコンダクタソリューションズ株式会社 車両制御装置および車両制御方法
US10706191B2 (en) * 2017-08-31 2020-07-07 Google Llc Systems and methods for generating a geo-level hierarchical Bayesian model
US11017249B2 (en) 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005135A1 (en) * 2009-03-11 2012-01-05 Nec Corporation Recognition dictionary training method, system, and program
WO2018006019A1 (en) 2016-07-01 2018-01-04 Itay Katz System and method for driver monitoring
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
JP2018152034A (ja) 2017-03-14 2018-09-27 オムロン株式会社 運転者監視装置、運転者監視方法、学習装置及び学習方法

Also Published As

Publication number Publication date
KR20200110702A (ko) 2020-09-24
US11017249B2 (en) 2021-05-25
US20240329734A1 (en) 2024-10-03
US20210295073A1 (en) 2021-09-23
US20190236386A1 (en) 2019-08-01
US11977675B2 (en) 2024-05-07
WO2019144880A1 (en) 2019-08-01
CN111565978B (zh) 2022-08-26
EP3735365A1 (en) 2020-11-11
EP3735365B1 (en) 2022-06-22
EP3735365A4 (en) 2021-03-17
JP2021513144A (ja) 2021-05-20
CN111565978A (zh) 2020-08-21
JP7140450B2 (ja) 2022-09-21

Similar Documents

Publication Publication Date Title
KR102351592B1 (ko) 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출
Nidamanuri et al. A progressive review: Emerging technologies for ADAS driven solutions
US11182629B2 (en) Machine learning based driver assistance
US11945435B2 (en) Devices and methods for predicting collisions and/or intersection violations
JP6648411B2 (ja) 処理装置、処理システム、処理プログラム及び処理方法
JP2021192303A (ja) ライダー支援システム及び方法
US10849543B2 (en) Focus-based tagging of sensor data
CN111133448A (zh) 使用安全到达时间控制自动驾驶车辆
US20180067487A1 (en) Perceiving Roadway Conditions from Fused Sensor Data
CN114450724A (zh) 用于自主机器应用的多活动者环境中的未来轨迹预测
JP2018142309A (ja) 仮想車路生成装置及び方法
JP5966640B2 (ja) 漫然運転検出装置及びプログラム
JP2016001464A (ja) 処理装置、処理システム、処理プログラム、及び、処理方法
JP2016001170A (ja) 処理装置、処理プログラム、及び、処理方法
US10861336B2 (en) Monitoring drivers and external environment for vehicles
US20230166743A1 (en) Devices and methods for assisting operation of vehicles based on situational assessment fusing expoential risks (safer)
US20160297433A1 (en) Long Term Driving Danger Prediction System
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
US20210312193A1 (en) Devices and methods for predicting intersection violations and/or collisions
CN110461679A (zh) 确保车辆中乘员意识
JP2017129973A (ja) 運転支援装置および運転支援方法
CN117068150A (zh) 基于车道位置无意识的车道保持
US20210309221A1 (en) Devices and methods for determining region of interest for object detection in camera images
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant