KR102457262B1 - Apparatus for providing attention information of driver - Google Patents

Apparatus for providing attention information of driver Download PDF

Info

Publication number
KR102457262B1
KR102457262B1 KR1020150136870A KR20150136870A KR102457262B1 KR 102457262 B1 KR102457262 B1 KR 102457262B1 KR 1020150136870 A KR1020150136870 A KR 1020150136870A KR 20150136870 A KR20150136870 A KR 20150136870A KR 102457262 B1 KR102457262 B1 KR 102457262B1
Authority
KR
South Korea
Prior art keywords
driver
information
interest
interest information
vehicle
Prior art date
Application number
KR1020150136870A
Other languages
Korean (ko)
Other versions
KR20170037369A (en
Inventor
이원오
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020150136870A priority Critical patent/KR102457262B1/en
Publication of KR20170037369A publication Critical patent/KR20170037369A/en
Application granted granted Critical
Publication of KR102457262B1 publication Critical patent/KR102457262B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량의 전방 영상 및 후방 영상 중 적어도 하나의 영상을 출력하는 카메라부, 상기 영상의 가시성을 고려하여 외란으로 추정되는 영상을 출력하는 외란추정부, 상기 외란 추정 영상에서 화소의 휘도를 고려하여 외란 발생 원인을 출력하는 외란분류부, 상기 외란 발생 원인의 누적에 따라 상기 영상의 외란 여부를 판단하는 외란결과판단부 및 상기 영상에 외란이 발생할 때 영상 인식이 불가능함을 운전자에게 알려주는 영상인식부를 포함하는 영상 인식 장치에 관한 것이다.The present invention provides a camera unit for outputting at least one image of a front image and a rear image of a vehicle, a disturbance estimating unit for outputting an image estimated as disturbance in consideration of the visibility of the image, and considering the luminance of pixels in the disturbance estimated image A disturbance classifying unit that outputs the cause of disturbance, a disturbance result determining unit that determines whether the image is disturbed according to the accumulation of the disturbance causes, and an image informing the driver that image recognition is impossible when disturbance occurs in the image It relates to an image recognition apparatus including a recognition unit.

Description

운전자의 관심 정보 제공 장치{Apparatus for providing attention information of driver}Apparatus for providing attention information of driver

본 발명은 운전자의 관심 정보 제공 장치에 관한 것으로, 보다 상세하게는 운전자의 관심 정보를 파악하여 이를 차량 디스플레이에 출력하는 운전자의 관심 정보 제공 장치에 관한 것이다.The present invention relates to a driver's interest information providing apparatus, and more particularly, to a driver's interest information providing apparatus for detecting driver's interest information and outputting it on a vehicle display.

일반적으로 DSM(Driver State Monitoring System) 카메라는 운전자의 얼굴 회전 정도 및 눈 감김 상태를 인식하여 운전자 졸음 상태 및 부주의 상태를 파악해 경고를 출력한다. 이러한 기존 DSM기술은 졸음 등과 같은 운전자의 주의 분산을 감지하고 경고해 주는데 그 목적을 가지고 있다.In general, a DSM (Driver State Monitoring System) camera recognizes the driver's face rotation degree and eye closed state, detects the driver's drowsiness state and careless state, and outputs a warning. This existing DSM technology aims to detect and warn the driver's distraction, such as drowsiness.

하지만 기존 기술은 이미 주의 분산이 발생하였을 경우에 경고음을 발하는 형태로 구성되어 있어, 운전자의 시선이탈을 미리 예방하지 못하는 문제점이 있다.However, the existing technology has a problem in that it is not possible to prevent the driver's gaze deviation in advance because it is configured to emit a warning sound when distraction has already occurred.

상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 일실시례에 따른 운전자의 관심 정보 제공 장치는, 차량 운행시 운전자가 시선을 전방으로부터 일탈하지 않고 관심정보를 파악할 수 있도록 하여 운전자의 안전 및 편의성을 향상시키는 운전자의 관심 정보 제공 장치를 제공하는데 그 목적이 있다.In order to solve the problems of the prior art as described above, the present invention provides an apparatus for providing information of interest to a driver according to an embodiment of the present invention, the driver's safety And an object of the present invention is to provide a driver's interest information providing device that improves convenience.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 실시례에 의해 보다 명확하게 이행될 수 있을 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned may be more clearly implemented by the examples below. It will also be readily apparent that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the appended claims.

상기 목적을 달성하기 위하여, 본 발명의 실시례에 따른 운전자의 관심 정보 제공 장치는 운전자의 영상을 출력하는 DSM, 상기 DSM에서 출력된 영상에서 관심정보를 출력하는 영상인식 처리부, 차량 외부의 정보를 파악하는 외부 상황 감시부, 관심정보와 필수정보를 화면과 음향으로 출력하는 출력부, DSM과 영상인식 처리부, 외부상황 감시부, 출력부를 제어하는 ECU(Electronic Control Unit)를 포함한다.In order to achieve the above object, an apparatus for providing driver's interest information according to an embodiment of the present invention includes a DSM for outputting an image of the driver, an image recognition processing unit for outputting interest information from the image output from the DSM, and information outside the vehicle. It includes an external situation monitoring unit that grasps, an output unit that outputs interest information and essential information through screen and sound, a DSM and image recognition processing unit, an external situation monitoring unit, and an ECU (Electronic Control Unit) that controls the output unit.

본 발명의 실시례에 따른 운전자의 관심 정보 제공 방법은 운전자의 응시좌표를 파악하는 단계, 상기 응시좌표를 파악하여 운전자의 관심정보를 파악하는 단계, 상기 운전자의 관심정보를 디스플레이하는 단계를 포함한다. A method for providing driver's interest information according to an embodiment of the present invention includes the steps of identifying the driver's gaze coordinates, identifying the driver's interest information by identifying the gaze coordinates, and displaying the driver's interest information. .

기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The specific details of other embodiments are included in the detailed description and drawings.

본 발명의 운전자의 관심 정보 제공 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.According to the driver's interest information providing apparatus of the present invention, there are one or more of the following effects.

첫째, 정보 확인을 위한 전방 시선 이탈 시간이 감소함으로써, 주의 분산 방지를 통한 주행 안정성 증대되는 장점이 있다. First, there is an advantage of increasing driving stability by preventing distraction by reducing the forward gaze departure time for information confirmation.

둘째, 능동적인 정보 제공에 따른 운전자 편의를 제공으로써, 정보 확인 편의성 및 인지성 향상으로 상품성 향상을 가져오는 장점이 있다. Second, by providing driver convenience according to the active information provision, there is an advantage of improving the product quality by improving information confirmation convenience and recognition.

셋째, 기존 DSM 카메라 모듈 및 외부 센서를 그대로 사용함으로써 추가적인 원가가 발생 하지 않는 장점이 있다.Third, it has the advantage of not incurring additional costs by using the existing DSM camera module and external sensor as it is.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시례에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned can be understood by the following description, and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the appended claims.

도 1는 본 발명의 일 실시례에 따른 운전자의 관심 정보 제공 장치의 구성을 나타내는 구성도.
도 2는 본 발명의 일 실시례에 따른 외부 상황 감지부를 통한 운전자의 관심정보를 파악하는 시스템의 구성도.
도 3는 본 발명의 일 실시례에 따른 영상인식 처리부의 운전자의 응시좌표를 파악하는 단계의 흐름도.
도 4는 본 발명의 일 실시례에 따른 DSM과 AVN을 이용한 정보 제공 시스템의 흐름도.
도 5는 본 발명의 일 실시례에 따른 DSM과 클러스터를 이용한 정보 제공 시스템의 흐름도.
도 6는 본 발명의 일 실시례에 따른 DSM과 LKAS를 이용한 정보 제공 시스템의 흐름도.
도 7는 본 발명의 일 실시례에 따른 DSM과 카메라 및 센서를 이용한 신호등 정보 제공 시스템의 흐름도.
도 8는 본 발명의 일 실시례에 따른 DSM과 카메라 및 센서를 이용한 A필러 사각지대 정보 제공 시스템의 흐름도.
도 9는 본 발명의 일 실시례에 따른 DSM과 AVM을 이용한 충돌방지 정보 제공 시스템의 흐름도.1 is a configuration diagram illustrating a configuration of a driver's interest information providing apparatus according to an embodiment of the present invention;
2 is a configuration diagram of a system for identifying information of interest of a driver through an external situation detection unit according to an embodiment of the present invention;
3 is a flowchart of a step of determining the gaze coordinates of the driver of the image recognition processing unit according to an embodiment of the present invention.
4 is a flowchart of an information providing system using DSM and AVN according to an embodiment of the present invention.
5 is a flowchart of an information providing system using a DSM and a cluster according to an embodiment of the present invention.
6 is a flowchart of an information providing system using DSM and LKAS according to an embodiment of the present invention.
7 is a flowchart of a system for providing traffic light information using a DSM, a camera, and a sensor according to an embodiment of the present invention.
8 is a flowchart of an A-pillar blind spot information providing system using a DSM, a camera, and a sensor according to an embodiment of the present invention.
9 is a flowchart of a system for providing anti-collision information using DSM and AVM according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시례를 설명한다.Hereinafter, an embodiment according to the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시례에 따른 운전자의 관심 정보 제공 장치의 구성을 나타내는 구성도이다. 도 1을 참조하면, 운전자의 관심 정보 제공 장치는 DSM(100), 영상인식 처리부(200), 외부 상황 감시부(300), ECU(400), 출력부(500)를 포함한다. 1 is a configuration diagram illustrating a configuration of a driver's interest information providing apparatus according to an embodiment of the present invention. Referring to FIG. 1 , the driver's interest information providing apparatus includes a DSM 100 , an image recognition processing unit 200 , an external situation monitoring unit 300 , an ECU 400 , and an output unit 500 .

DSM(100)은 차량에 설치되어있는 DSM(100) 카메라로 운전자의 영상을 생성하여 영상인식 처리부(200)로 출력한다. 이때 DSM(100)카메라는 800~900nm의 파장대를 갖는 고해상도 적외선 카메라이다. The DSM 100 generates an image of the driver with the DSM 100 camera installed in the vehicle and outputs it to the image recognition processing unit 200 . In this case, the DSM (100) camera is a high-resolution infrared camera having a wavelength band of 800 to 900 nm.

영상인식 처리부(200)는 운전자의 영상을 분석하여 관심정보를 파악한다. 영상인식 처리부(200)는 운전자의 얼굴 회전 및 운전자의 동공을 분석하여 운전자의 응시좌표를 파악한다. 운전의 응시좌표 분석하여 관심정보를 출력한다. The image recognition processing unit 200 analyzes the driver's image to determine interest information. The image recognition processing unit 200 analyzes the driver's face rotation and the driver's pupil to determine the driver's gaze coordinates. The information of interest is output by analyzing the gaze coordinates of driving.

외부 상황 감시부(300)는 차량에 설치되어 있는 카메라 및 센서에 의해 계측되는 외부 상황 정보들을 출력한다.The external situation monitoring unit 300 outputs external situation information measured by a camera and a sensor installed in the vehicle.

ECU(400)는 DSM(100)와 영상인식 처리부(200)로부터 관심정보를, 외부 상황 감시부(300)에서 차량 외부의 정보를 제공받아, 이를 분석하여 관심정보와 필수정보를 출력한다.The ECU 400 receives information of interest from the DSM 100 and the image recognition processing unit 200 and information outside the vehicle from the external situation monitoring unit 300, analyzes it, and outputs interest information and essential information.

출력부(500)는 상기 관심정보와 필수정보를 화면 및 알람등을 통해 운전자에게 제공한다. The output unit 500 outputs the interest information and essential information. It is provided to the driver through screens and alarms.

도 2는 본 발명의 일 실시례에 따른 외부 상황 감지부를 통한 운전자의 관심정보를 파악하는 시스템의 구성도이다. 외부 상황 감지부(300)는 차량 구비된 카메라 및 센서(310)에 의해 계측되는 외부 상황 정보들을 감지한다. 아울러, 상기 외부 상황 감지부(300)는 AVN(Audio Video Navigation)(320), 클러스터(330), LKAS(Lane Keeping Assistance System)(340), AVM(Around View Monitoring)(350)등을 포함할 수 있다.2 is a configuration diagram of a system for identifying information of interest of a driver through an external situation detection unit according to an embodiment of the present invention. The external context detection unit 300 detects external context information measured by the vehicle-equipped camera and the sensor 310 . In addition, the external context detection unit 300 may include an Audio Video Navigation (AVN) 320, a cluster 330, a Lane Keeping Assistance System (LKAS) 340, an Around View Monitoring (AVM) 350, and the like. can

ECU(400)는 상기 운전자의 관심정보와 상기 차량의 외부 상황 정보를 분석하여 필수정보를 파악한다. ECU(400)는 상기 운전자의 시선 위치 및 외부 상황 정보를 고려하여 차량의 운전자에게 차량 일방의 영상을 출력한다. ECU(400)는 영상인식 처리부(200)가 출력한 차량 운전자의 시선 위치를 수신한다. ECU(400)는 영상인식 처리부(200)가 실시간으로 연속적으로 출력하는 운전자의 눈의 시선 위치를 수신한다. ECU(400)는 차량 운전자의 눈의 시선 위치에 따른 영상 좌표를 이용하여 차량 일방 영상의 외부 상황 정보를 분석한다.The ECU 400 analyzes the driver's interest information and external context information of the vehicle to identify essential information. The ECU 400 outputs an image of one side of the vehicle to the driver of the vehicle in consideration of the driver's gaze position and external context information. The ECU 400 receives the gaze position of the vehicle driver output by the image recognition processing unit 200 . The ECU 400 receives the gaze position of the driver's eyes continuously output by the image recognition processing unit 200 in real time. The ECU 400 analyzes external context information of an image of one side of the vehicle by using image coordinates according to the gaze position of the vehicle driver's eyes.

ECU(400)는 연속적인 관심영역의 영상을 출력할 수 있고, 인지하지 못한 필수정보를 출력할 수도 있다. 운전자의 시선 위치가 빠르게 변화할 수 있으므로 운전자의 시선으로 인지하지 못하는 필수 정보를 차량 운전자에게 제공한다.The ECU 400 may output continuous images of the region of interest or may output unrecognized essential information. Since the driver's gaze position can change rapidly, essential information that cannot be recognized by the driver's gaze is provided to the vehicle driver.

출력부(500)는 자동차의 전면 유리에 각종 차량 정보 및 외부 정보를 투사하여 표시하는 HUD(Head Up Display) 디스플레이 방식, 안경형태의 디스플레이에 표시하는 스마트 글라스 방식, 자동차의 내부 유리에 설치된 투명디스플레이 방식 중 적어도 하나를 포함하여 제공한다.The output unit 500 is a HUD (Head Up Display) display method for projecting and displaying various vehicle information and external information on the front glass of the vehicle, a smart glass method for displaying on a display in the form of glasses, and a transparent display installed on the inner glass of the vehicle It provides at least one of the methods.

도 3은 본 발명의 일 실시례에 따른 영상인식 처리부의 운전자의 응시좌표를 파악하는 단계의 흐름도이다. 도 2를 참조하면, DSM(100) 차량 안에 설치되어 운전자의 영상을 출력한다(S210). 영상인식 처리부(200)는 수신한 영상에서 상기 운전자의 눈, 코, 입 등의 얼굴 기관을 파악하여 기관 사이의 거리를 통해 얼굴 회전 각을 파악한다(S220). 영상인식 처리부(200)는 상기 운전자의 얼굴 회전각을 고려하여 상기 운전자의 얼굴 방향을 파악한다(S230). 영상인식 처리부(200)는 상기 운전자의 동공의 움직임을 고려하여 상기 운전자가 바라보는 시선 방향을 파악한다(S240). 영상인식 처리부(200)는 동공의 움직임과 얼굴 회전각 정보를 결합하여, 운전자의 응시좌표를 파악한다(S250). 영상인식 처리부(200)는 상기 운전자의 동공을 움직임을 카운트하여 빈도를 계산한다. 상기 운전자의 응시좌표와 빈도를 계산하여 상기 운전자 관심정보를 파악한다(S260).3 is a flowchart of a step of identifying a driver's gaze coordinates of an image recognition processing unit according to an embodiment of the present invention. Referring to FIG. 2 , the DSM 100 is installed in the vehicle to output an image of the driver ( S210 ). The image recognition processing unit 200 recognizes facial organs, such as eyes, nose, and mouth, of the driver from the received image, and determines the face rotation angle through the distance between the organs (S220). The image recognition processing unit 200 determines the direction of the driver's face in consideration of the driver's face rotation angle (S230). The image recognition processing unit 200 recognizes a gaze direction in which the driver looks in consideration of the driver's pupil movement ( S240 ). The image recognition processing unit 200 combines the pupil movement and face rotation angle information to determine the driver's gaze coordinates (S250). The image recognition processing unit 200 calculates the frequency by counting the movement of the driver's pupil. The driver's interest information is identified by calculating the driver's gaze coordinates and frequency (S260).

도 4는 본 발명의 일 실시례에 따른 DSM과 AVN을 이용한 정보 제공 시스템의 흐름도이다. DSM(100) 카메라로 운전자의 얼굴을 영상으로 입력 받아 얼굴을 검출한다(S410). 상기 운전자의 응시 좌표를 계산하여 상기 운전자 관심정보를 파악한다(S420). 상기 운전자의 관심정보가 AVN(320)인지 판단한다(S430). 상기 운전자의 관심정보가 상기 AVN(320)인 경우, 상기 운전자에게 상기 AVM(320)의 상태 정보 및 조작 인터페이스를 전방 디스플레이에 출력하여 화면으로 제공한다(S440). 4 is a flowchart of an information providing system using DSM and AVN according to an embodiment of the present invention. The DSM 100 camera receives the driver's face as an image and detects the face (S410). The driver's interest information is determined by calculating the driver's gaze coordinates (S420). It is determined whether the driver's interest information is the AVN 320 (S430). When the driver's interest information is the AVN 320, the driver's state information and the manipulation interface of the AVM 320 are outputted to the front display and provided to the driver on a screen (S440).

도 5는 본 발명의 일 실시례에 따른 DSM과 클러스터를 이용한 정보 제공 시스템의 흐름도이다. DSM(100) 카메라로 운전자의 얼굴을 영상으로 입력 받아 얼굴을 검출한다 (S510). 상기 운전자의 응시 좌표를 계산하여 상기 운전자 관심정보를 파악한다(S520). 상기 운전자의 관심정보가 상기 클러스터(330)인지 판단한다(S530). 상기 운전자의 관심정보가 상기 클러스터(330)인 경우, RPM, 순간 연비, 속도, 연료량 등의 차량 주행정보와 상대적으로 고속 주행 중이거나 등의 특이상항을 전방 디스플레이에 출력하여 화면으로 제공한다(S540).5 is a flowchart of an information providing system using a DSM and a cluster according to an embodiment of the present invention. The DSM 100 camera receives the driver's face as an image and detects the face (S510). The driver's interest information is determined by calculating the driver's gaze coordinates (S520). It is determined whether the driver's interest information is the cluster 330 (S530). When the driver's interest information is the cluster 330, vehicle driving information, such as RPM, instantaneous fuel efficiency, speed, and fuel amount, and a specific condition, such as driving at a relatively high speed, are output to the front display and provided on the screen (S540). ).

도 6은 본 발명의 일 실시례에 따른 DSM과 LKAS를 이용한 정보 제공 시스템의 흐름도이다. DSM(100) 카메라로 운전자의 얼굴을 영상으로 입력 받아 얼굴을 검출한다 (S610). 상기 운전자의 응시 좌표를 계산하여 상기 운전자 관심정보를 파악한다(S620). 차량에 구비된 카메라 및 센서(310)에 의해 계측되는 외부 상황 정보들을 파악한다(S630). 외부 상황 정보에서 LKAS(340)를 이용하여 차선 정보를 검출 한다(S640). 상기 운전자의 관심정보가 차선인지 판단한다(S650). 상기 운전자의 관심정보가 차선인 경우, 상기 LKAS(340)를 이용하여 전방 디스플레이를 통해 차선을 하이라이트 하고, 왼쪽/오른쪽 차선과 차와의 거리를 제공한다(S660)6 is a flowchart of an information providing system using DSM and LKAS according to an embodiment of the present invention. The DSM 100 camera receives the driver's face as an image and detects the face (S610). The driver's interest information is determined by calculating the driver's gaze coordinates (S620). The external context information measured by the camera and sensor 310 provided in the vehicle is identified (S630). Lane information is detected using the LKAS 340 from the external context information (S640). It is determined whether the driver's interest information is a lane (S650). When the driver's interest information is a lane, the lane is highlighted through the front display using the LKAS 340 and the distance between the left/right lane and the vehicle is provided (S660)

도 7은 본 발명의 일 실시례에 따른 DSM과 카메라 및 센서를 이용한 신호등 정보 제공 시스템의 흐름도이다. DSM(100) 카메라로 운전자의 얼굴을 영상으로 입력 받아 얼굴을 검출한다 (S710). 상기 운전자의 응시 좌표를 계산하여 상기 운전자 관심정보를 파악한다(S720). 차량 구비된 카메라 및 센서(310)에 의해 계측되는 외부 상황 정보들을 파악한다(S730). 외부 상황 정보에서 Boosting 알고리즘을 이용하여 신호등 정보를 검출 한다(S740). 상기 운전자의 관심정보가 신호등인지 판단한다(S750). 상기 운전자의 관심정보가 신호등이 아닌 경우, 출발 신호를 카메라로 인식하여 운전자에게 알람 등을 통해 알려준다. 만약 클러스터(330) 혹은 스마트폰 등 다른 디스플레이를 보고 있을 경우, 신호등 정보를 응시하고 있는 디스플레이에 출력한다(S760). 7 is a flowchart of a system for providing traffic light information using a DSM, a camera, and a sensor according to an embodiment of the present invention. The DSM 100 camera receives the driver's face as an image and detects the face (S710). The driver's gaze coordinates are calculated to determine the driver's interest information (S720). External context information measured by the vehicle-equipped camera and sensor 310 is identified (S730). Traffic light information is detected using the boosting algorithm from the external context information (S740). It is determined whether the driver's interest information is a traffic light (S750). When the driver's interest information is not a traffic light, a departure signal is recognized by a camera and informs the driver through an alarm or the like. If the cluster 330 or other display such as a smart phone is being viewed, the traffic light information is output to the gazing display (S760).

도 8은 본 발명의 일 실시례에 따른 DSM과 카메라 및 센서를 이용한 A필러 사각지대 정보 제공 시스템의 흐름도이다. DSM(100) 카메라로 운전자의 얼굴을 영상으로 입력 받아 얼굴을 검출한다(S810). 상기 운전자의 응시 좌표를 계산하여 상기 운전자 관심정보를 파악한다(S820). 차량에 구비된 카메라 및 센서(310)에 의해 계측되는 외부 상황 정보들을 파악한다(S830). 외부 상황 정보에서 DSM(100) 정보를 이용하여 A필러로 인한 사각지대를 검출 한다(S840). 상기 운전자의 관심정보가 A필러로 인한 사각지대인지 판단한다(S850). 상기 운전자의 관심정보가 A필러로 인한 사각지대인 경우, A필러로 인한 사각지대가 있는 영역을 카메라가 촬영한 영상을 상기 운전자 시선 정보와 결합하여 디스플레이에 출력한다(S860).8 is a flowchart of an A-pillar blind spot information providing system using a DSM, a camera, and a sensor according to an embodiment of the present invention. The DSM 100 camera receives the driver's face as an image and detects the face (S810). The driver's interest information is determined by calculating the driver's gaze coordinates (S820). External context information measured by the camera and sensor 310 provided in the vehicle is identified (S830). A blind spot due to the A-pillar is detected by using the DSM 100 information in the external context information (S840). It is determined whether the driver's interest information is a blind spot due to the A-pillar (S850). When the driver's interest information is the blind spot due to the A-pillar, the image captured by the camera in the area having the blind spot due to the A-pillar is combined with the driver's gaze information and outputted to the display (S860).

도 9는 본 발명의 일 실시례에 따른 DSM과 AVM을 이용한 충돌방지 정보 제공 시스템의 흐름도이다. DSM(100) 카메라로 운전자의 얼굴을 영상으로 입력 받아 얼굴을 검출한다(S910). 상기 운전자의 응시 좌표를 계산하여 상기 운전자 관심정보를 파악한다(S920). 차량에 구비된 카메라 및 센서(310)에 의해 계측되는 외부 상황 정보들을 파악한다(S930). 외부 상황 정보에서 AVM(350) 정보를 이용하여 이동 물체와의 충돌을 예상 한다(S940). 상기 운전자의 관심정보가 AVM(350)인지 판단한다(S950). 상기 운전자의 관심정보가 AVM(350)이 아닌 경우, 충돌 예상 정보를 알람 및 소리로 경고하여 제공한다(S960). 9 is a flowchart of a system for providing anti-collision information using DSM and AVM according to an embodiment of the present invention. The DSM 100 camera receives the driver's face as an image and detects the face (S910). The driver's interest information is determined by calculating the driver's gaze coordinates (S920). External context information measured by the camera and sensor 310 provided in the vehicle is identified (S930). A collision with a moving object is predicted using the AVM 350 information in the external context information (S940). It is determined whether the driver's interest information is the AVM 350 (S950). When the driver's interest information is not the AVM 350, the collision prediction information is provided by warning with an alarm and sound (S960).

이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

100 : DSM
200 : 영상인식 처리부
300 : 외부 상황 감지부
310 : 카메라 및 센서
320 : AVN
330 : 클러스터
340 : LKAS
350 : AVM
400 : ECU
500 : 출력부100 : DSM
200: image recognition processing unit
300: external situation detection unit
310: camera and sensor
320 : AVN
330 : cluster
340 : LKAS
350 : AVM
400 : ECU
500: output unit

Claims (12)

차량 내부 운전자의 영상을 출력하는 DSM;
상기 DSM에서 출력된 영상에서 운전자의 응시좌표 파악하여 운전자의 관심정보를 파악하는 영상인식 처리부;
차량에 설치되어 있는 카메라 및 센서에 의해 계측되는 외부 상황 정보들을 출력하는 외부 상황 감시부;
상기 관심정보와 외부 상황 정보를 분석하여 운전자의 필수정보를 출력하는 ECU;
상기 관심정보와 필수정보를 화면 및 알람으로 운전자에게 제공하는 출력부;를 포함하되,
상기 ECU는,
상기 운전자의 응시좌표와 차량의 외부 상황 정보를 분석하여 운전자의 관심정보를 파악하고,
상기 운전자가 차량의 외부 상황 정보를 바라보는 시선 위치에 따라 차량의 외부 상황 정보에서 관심정보를 파악하고,
파악된 상기 운전자의 관심정보에 대응되는 정보를 차량 내부에 설치되어 있는 전방 디스플레이에 출력하되,
외부 상황 정보에서 Boosting 알고리즘을 이용하여 신호등 정보를 검출한 후 운전자의 관심정보가 신호등인지 판단하여 신호등인 경우 신호등을 응시하지 않을 경우 신호등 경고 알림을 제공하는 것을 특징으로 하는 운전자의 관심 정보 제공 장치.DSM for outputting an image of a driver inside the vehicle;
an image recognition processing unit for grasping driver's interest information by identifying the driver's gaze coordinates from the image output from the DSM;
an external situation monitoring unit that outputs external situation information measured by a camera and a sensor installed in the vehicle;
an ECU that analyzes the interest information and external context information and outputs essential information of the driver;
Including; an output unit that provides the interest information and essential information to the driver through a screen and an alarm
The ECU is
By analyzing the driver's gaze coordinates and external situation information of the vehicle, the driver's interest information is identified,
The driver grasps the information of interest from the external context information of the vehicle according to the gaze position at which the driver looks at the external context information of the vehicle,
The information corresponding to the identified driver's interest information is output to the front display installed inside the vehicle,
Driver's interest information providing device, characterized in that after detecting traffic light information using a boosting algorithm from external context information, determining whether the driver's interest information is a traffic light, and providing a traffic light warning notification if the driver does not stare at the traffic light. 제 1항에 있어서
상기 영상인식 처리부는 상기 DSM으로부터 출력된 영상으로부터 운전자의 얼굴 방향과 동공의 움직임을 분석하여 응시좌표를 파악하는 운전자의 관심 정보 제공 장치.2. The method of claim 1
The image recognition processing unit analyzes the driver's face direction and the movement of the pupil from the image output from the DSM to determine the gaze coordinates of the driver's interest information providing device. 제 2항에 있어서
상기 영상인식 처리부는 상기 운전자의 동공 움직임을 카운트 하여 운전자의 관심정보를 파악하는 운전자의 관심 정보 제공 장치.3. The method of claim 2
The image recognition processing unit is a driver's interest information providing device for counting the driver's pupil movement to determine the driver's interest information. 운전자의 응시좌표를 파악하는 단계;
상기 응시좌표를 파악하여 운전자의 관심정보를 파악하는 단계;
상기 운전자의 관심정보를 디스플레이하는 단계;를 포함하되,
ECU는,
상기 운전자의 응시좌표와 차량의 외부 상황 정보를 분석하여 운전자의 관심정보를 파악하고,
상기 운전자가 차량의 외부 상황 정보를 바라보는 시선 위치에 따라 차량의 외부 상황 정보에서 관심정보를 파악하고,
파악된 상기 운전자의 관심정보에 대응되는 정보를 차량 내부에 설치되어 있는 전방 디스플레이에 출력하되,
외부 상황 정보에서 Boosting 알고리즘을 이용하여 신호등 정보를 검출한 후 운전자의 관심정보가 신호등인지 판단하여 신호등인 경우 신호등을 응시하지 않을 경우 신호등 경 알림을 제공하는 것을 특징으로 하는
운전자의 관심 정보 제공 방법.identifying the driver's gaze coordinates;
determining the driver's interest information by identifying the gaze coordinates;
Displaying the driver's interest information; including,
ECU,
By analyzing the driver's gaze coordinates and external situation information of the vehicle, the driver's interest information is identified,
The driver grasps the information of interest from the external context information of the vehicle according to the gaze position at which the driver looks at the external context information of the vehicle,
The information corresponding to the identified driver's interest information is output to the front display installed inside the vehicle,
After detecting traffic light information using a boosting algorithm from external context information, it is determined whether the driver's interest information is a traffic light, and in the case of a traffic light, a traffic light warning notification is provided if the driver does not stare at the traffic light.
How to provide information of interest to drivers. 청구항 4 에 있어서,
상기 운전자의 응시좌표를 파악하는 단계는
상기 운전자의 얼굴과 얼굴기관을 파악하여 응시좌표를 파악하는 것을 특징으로 하는 운전자의 관심 정보 제공 방법.5. The method according to claim 4,
The step of determining the driver's gaze coordinates
The driver's interest information providing method, characterized in that by identifying the driver's face and facial organs to determine the gaze coordinates. 청구항 4 에 있어서,
상기 운전자의 응시좌표를 파악하는 단계는
상기 운전자의 얼굴 방향을 고려하여 상기 운전자의 시선 방향을 파악하는 것을 특징으로 하는 운전자의 관심 정보 제공 방법.5. The method according to claim 4,
The step of determining the driver's gaze coordinates
The driver's interest information providing method, characterized in that the driver's gaze direction is recognized in consideration of the driver's face direction. 청구항 4 에 있어서,
상기 운전자의 응시좌표를 파악하는 단계는
상기 운전자의 동공의 움직임을 고려하여 상기 운전자의 시선의 위치를 파악하는 것을 특징으로 하는 운전자의 관심 정보 제공 방법.5. The method according to claim 4,
The step of determining the driver's gaze coordinates
The driver's interest information providing method, characterized in that the position of the driver's gaze is determined in consideration of the driver's pupil movement. 청구항 4 에 있어서,
상기 운전자의 응시좌표를 파악하는 단계는
상기 운전자의 동공 움직임 중 가장 높은 빈도의 시선을 고려하여 상기 운전자의 응시좌표를 파악하는 것을 특징으로 하는 운전자의 관심 정보 제공 방법.
5. The method according to claim 4,
The step of determining the driver's gaze coordinates
The driver's interest information providing method, characterized in that the driver's gaze coordinates are determined in consideration of the highest frequency of gaze among the driver's pupil movements.
 삭제delete 삭제delete 청구항 4 에 있어서,
상기 응시좌표를 파악하여 운전자의 관심정보를 파악하는 단계는
상기 운전자의 관심정보와 차량의 외부 상황 정보를 분석하여 실시간으로 보정하는 것을 특징으로 하는 운전자의 관심 정보 제공 방법. 5. The method according to claim 4,
The step of identifying the driver's interest information by identifying the gaze coordinates
The driver's interest information providing method, characterized in that the driver's interest information and the external situation information of the vehicle are analyzed and corrected in real time. 삭제delete
KR1020150136870A 2015-09-25 2015-09-25 Apparatus for providing attention information of driver KR102457262B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150136870A KR102457262B1 (en) 2015-09-25 2015-09-25 Apparatus for providing attention information of driver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150136870A KR102457262B1 (en) 2015-09-25 2015-09-25 Apparatus for providing attention information of driver

Publications (2)

Publication Number Publication Date
KR20170037369A KR20170037369A (en) 2017-04-04
KR102457262B1 true KR102457262B1 (en) 2022-10-20

Family

ID=58588466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150136870A KR102457262B1 (en) 2015-09-25 2015-09-25 Apparatus for providing attention information of driver

Country Status (1)

Country Link
KR (1) KR102457262B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243432B1 (en) * 2019-11-20 2021-04-21 한국산업기술대학교산학협력단 A method and system for controlling vehicle based on facial expression information of driver

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015048741A1 (en) 2013-09-30 2015-04-02 Sackett Solutions & Innovations Driving assistance systems and methods

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130054830A (en) * 2011-11-17 2013-05-27 현대자동차주식회사 Method and system for alarming dangerous situation at road with driver state monitoring and traffic report
JP5630518B2 (en) * 2012-03-14 2014-11-26 株式会社デンソー Driving assistance device
KR20140036722A (en) * 2012-09-18 2014-03-26 (주)휴맥스 Method, apparatus and system for alert approaching vehicular considering driver's eyes
KR102118438B1 (en) * 2013-01-28 2020-06-04 한국전자통신연구원 Head up display apparatus for vehicle and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015048741A1 (en) 2013-09-30 2015-04-02 Sackett Solutions & Innovations Driving assistance systems and methods

Also Published As

Publication number Publication date
KR20170037369A (en) 2017-04-04

Similar Documents

Publication Publication Date Title
US7847678B2 (en) Vehicle surroundings information output system and method for outputting vehicle surroundings information
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP6369487B2 (en) Display device
US8085140B2 (en) Travel information providing device
US11269420B1 (en) Techniques for detecting acknowledgment from a driver of a vehicle
EP2908726B1 (en) Method and device for detecting decreased attentiveness of vehicle driver
JP2007087337A (en) Vehicle peripheral information display device
JP5601930B2 (en) Vehicle display device
JP2020024532A (en) Inattentive driving detection device
JP2013041483A (en) On-vehicle camera control unit, on-vehicle camera control system and on-vehicle camera system
TWI522257B (en) Vehicle safety system and operating method thereof
JP2013041489A (en) On-vehicle camera control unit, on-vehicle camera control system and on-vehicle camera system
JP2007207274A (en) Start annunciation device
KR102457262B1 (en) Apparatus for providing attention information of driver
KR20180112336A (en) Electronic device and method for recognizing object by using a plurality of senses
KR20110062651A (en) Lane departure warning system
WO2016058449A1 (en) Smart glasses and control method for smart glasses
US11881054B2 (en) Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
JP4534788B2 (en) Vehicle driving support device
JP3984863B2 (en) Start notification device
JP2008162550A (en) External environment display device
JP7043795B2 (en) Driving support device, driving status information acquisition system, driving support method and program
KR101543119B1 (en) Method for providing drive composite image
JP4396604B2 (en) Car alarm system
JP2011180394A (en) Drive grading system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant