KR20170059224A - 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법 - Google Patents

운전자 시선 기반 안전운전 정보 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20170059224A
KR20170059224A KR1020150163304A KR20150163304A KR20170059224A KR 20170059224 A KR20170059224 A KR 20170059224A KR 1020150163304 A KR1020150163304 A KR 1020150163304A KR 20150163304 A KR20150163304 A KR 20150163304A KR 20170059224 A KR20170059224 A KR 20170059224A
Authority
KR
South Korea
Prior art keywords
information
vehicle
driver
gaze
driving
Prior art date
Application number
KR1020150163304A
Other languages
English (en)
Inventor
구본욱
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020150163304A priority Critical patent/KR20170059224A/ko
Publication of KR20170059224A publication Critical patent/KR20170059224A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identical check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B60W2050/0078—
    • B60W2550/22—
    • B60W2550/402—

Abstract

본 발명은 운전자의 시선을 인식하기 위한 운전자 인식 카메라, 상기 카메라로부터 영상을 입력받아 운전자의 얼굴방향 및 시선방향을 판단하는 영상처리부, 차량 주변의 상황을 인지하는 차량센서, 차량의 위치 정보를 제공하는 GPS, 차량의 맵 정보를 제공하는 네비게이션, 상기 차량센서로부터 감지한 주변 요소들의 추돌 위험을 판단하는 주행 상황 판단부, 노변기지국과 무선 통신을 하기 위한 무선 통신 모듈, 상기 시선 위치를 기준으로 사각지대 및 주행상황 판단 결과에 적합한 정보를 제공하는 제공 정보 추출부, 상기 운전자의 시선 방향 및 사각에 위치한 디스플레이에 정보를 출력하는 출력부, 장치 전반을 제어하는 제어부 포함하는 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법에 관한 것이다.

Description

운전자 시선 기반 안전운전 정보 제공 시스템 및 방법{System and method for providing a safe driving based on the driver attention information}
본 발명은 운전자 시선 기반 안전운전 정보 제공 시스템에 관한 것으로, 보다 상세하게는 운전자의 시선 정보를 파악하고, 차량의 주행 정보를 분석하여 안전운전 정보를 차량 디스플레이에 출력하는 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법에 관한 것이다.
종래기술은 운전자의 시선 방향을 기준으로 해당 방향의 주요 정보를 전방 디스플레이에 출력한다. 이러한 기존 운전자 시선 기반 정보제공은 운전자의 주의 분산을 감지하고 안전운전 정보를 제공하는 것에 그 목적을 가지고 있다.
하지만, 기존 기술은 사각지대에 위험요소 정보를 제공하지 못하는 형태로 구성되어 있어, 운전의 시선이탈 시 위험요소 정보를 인지하지 못하는 문제점이 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 일실시례에 따른 운전자 시선 기반 안전운전 정보 제공 시스템은, 차량 운행시 운전자가 시선을 기준으로 사고위험 요소를 파악하고, 세 방향의 디스플레이를 기반으로 하여 사각지대 위험요소 정보를 제공하고, 운전자의 시선 정보를 제공하여 교통시스템이 신호상황 등 교통상황에 따라 운전자의 시선 분산을 방지하도록 하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 실시례에 의해 보다 명확하게 이행될 수 있을 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시례에 따른 운전자 시선 기반 안전운전 정보 제공 시스템은 운전자의 영상을 촬영하는 운전자 인식 카메라, 상기 카메라로부터 영상을 입력받아 운전자의 얼굴방향 및 시선 방향을 판단하는 영상처리부, 차량 주변의 상황을 인지하는 차량센서, 차량의 위치 정보를 제공하는 GPS, 차량의 맵 정보를 제공하는 네비게이션, 상기 차량센서로부터 감지한 주변 요소들의 추돌 위험을 판단하는 주행 상황 판단부, 노변기지국과 무선 통신을 하기 위한 무선 통신 모듈, 상기 시선 위치를 기준으로 사각지대 및 주행상황 판단 결과에 적합한 정보를 제공하는 제공 정보 추출부, 상기 운전자의 시선 방향 및 사각에 위치한 디스플레이에 정보를 출력하는 출력부, 장치 전반을 제어하는 제어부를 포함한다.
기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 운전자 시선 기반 안전운전 정보 제공 시스템에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 운전자의 시야가 미치지 않는 부분의 정보를 제공함으로써, 주의 분산 방지를 통한 주행 안정성이 증대되는 장점이 있다.
둘째, 능동적인 정보 제공에 따른 운전자 편의를 제공으로써, 정보 확인 편의성 및 인지성 향상으로 상품성 향상을 가져오는 장점이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시례에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
도 1은 본 발명의 일 실시례에 따른 운전자 시선 기반 안전운전 정보 제공 시스템의 구성을 나타내는 구성도.
도 2는 본 발명의 일 실시례에 따른 운전자 시선 기반 안전운전 정보 제공 시스템의 흐름을 나타내는 구성도.
도 3은 본 발명의 일 실시례에 따른 차량의 자율주행 가능 여부에 따른 정보제공을 나타내는 흐름도.
도 4는 본 발명의 일 실시례에 따른 운전자 시선 기반 안전운전 정보 제공 방법의 예시도.
도 5는 본 발명의 일 실시례에 따른 무선 통신 모듈의 시선 정보 송신 방법의 흐름도.
도 6은 본 발명의 일 실시례에 무선 통신 모듈의 정보 수신 방법의 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시례를 설명한다.
도 1은 본 발명의 일 실시례에 따른 운전자 시선 기반 안전운전 정보 제공 시스템의 구성을 나타내는 구성도이다. 도 1을 참조하면, 운전자 시선 기반 안전운전 정보 제공 시스템은 운전자 인식 카메라(110), 차량센서(120), 네비게이션(130), GPS (Global Positioning System)(140), 영상처리부(150), 제공 정보 추출부(160), 주행 무선 통신 모듈(170), 상황 판단부(180), 및 출력부(190)를 포함한다.
운전자 인식 카메라(110)는 차량 내부에 설치되어 운전자의 시선을 추적하고, 상기 운전자를 촬영한다.
차량센서(120)는 차량에 설치되어 있는 카메라 및 센서에 의해 측정되는 차량 주변의 정보를 출력한다. 상기 차량센서(120)는 레이더, 레이저스캐너, 전방 카메라 등과 같이 ADAS(Advanced Driver Assistance Systems) 서비스를 목적으로 장착한다.
GPS(140)는 차량의 위치 정보를 제공한다. 네비게이션(130)은 상기 차량 위치에 해당하는 맵 정보를 제공한다.
영상처리부(150)는 상기 운전자 인식 카메라의 영상을 분석하여 운전자의 시선 위치를 판단한다. 상기 영상처리부(150)는 운전자의 얼굴 회전 및 운전자의 동공을 분석하여 운전자의 시선을 판단한다.
제공 정보 추출부(160)는 상기 운전자의 시선을 기준으로 출력부(190)를 설정하고, 상기 시선 위치 판단을 기준으로 사각지대 및 주행 상황 판단 결과에 따라 설정된 디스플레이에 적합한 정보를 전송한다.
무선 통신 모듈(170)은 운전자 시선 정보와 차량의 주행 상황 정보를 노변기지국에 송신하고, 상기 노변기지국으로부터 해당 차량의 관한 교통시스템 상황을 수신할 수 있다.
주행 상황 판단부(180)는 상기 차량센서(120)들로부터의 주행 차량의 주변 정보 및 차량 CAN (Control Area Network) 정보를 기반으로 차량의 사고 위험을 판단한다. 상기 주행상황 판단부(180)는 상기 차량의 주행 상태에 따라 자율주행 모드 또는 수행주행 모드인지 판단할 수 있다.
출력부(190)는 운전자의 시선 방향 및 사각에 위치한 디스플레이에 정보를 출력한다. 상기 출력부(190)는 운전자의 전방 및 좌측. 우측 디스플레이 중 적어도 하나 이상을 포함한다. 상기 전방 디스플레이는 헤드업 디스플레이가 될 수 있으며, 좌/우측에 위치하는 디스플레이는 좌/우 윈도우 투명디스플레이, 사이드미러 LED/LEC 디스플레이, A필러 적용 디스플레이, 사이드미러를 대체하는 실내 LCD 디스플레이 방식 중 적어도 하나를 포함하여 제공한다
도 2는 본 발명의 일 실시례에 따른 운전자 시선 기반 안전운전 정보 제공 시스템의 흐름을 나타내는 흐름도이다.
운전자 인식 카메라(110)는 운전자를 촬영하여 영상처리부(150)에 제공한다.
상기 영상처리부(150)는 운전자의 영상을 분석하여 상기 운전자의 시선을 파악한다. 상기 영상처리부(150)는 상기 운전자의 얼굴 회전각을 고려하여 상기 운전자의 얼굴 방향을 파악한다. 상기 영상처리부(150)는 상기 운전자의 동공의 움직임을 고려하여 상기 운전자가 바라보는 시점 방향을 파악한다.
상기 영상처리부(150)는 무선 통신 모듈(170)로부터 노변 기지국(200)이 출력하는 교통시스템 정보를 수신할 수 있다. 상기 영상처리부(150)는 상기 운전자의 시선 정보와 상기 교통시스템 정보를 제공 정보 추출부(160)에 출력한다.
차량센서(120)는 주행 시 주변 상황을 감지하여 측정되는 차량 주변정보를 주행 상황 판단부(180)에 제공한다.
상기 주행 상황 판단부(180)는 상기 주행 차량의 주변 정보 및 차량 CAN 정보를 분석하여 사고 위험을 판단한다. 또한, 상기 주행 상황 판단부(180)는 주행상황을 판단하여 자동주행 모드와 수동 주행 모드를 판단 할 수 있다.
GPS(140)는 주행 차량의 위치 정보를 네비게이션(130)과 상기 무선 통신 모듈(170)에 제공한다. 상기 네비게이션(130)은 주행 차량이 위치한 맵 정보를 제공 정보 추출부(160)에 제공한다.
상기 무선 통신 모듈(170)은 상기 운전자의 시선 정보, 상기 차량의 위치정보, 상기차량의 주행 정보를 노변기지국에 송신한다. 상기 노변기지국으로부터 상기 교통시스템 정보를 수신한다. 상기 무선 통신 모듈(170)은 차량과 인프라 간 통신(Vehicle to Infrastructure, V2I)으로 이루어진다.
상기 노변기지국(200)은 상기 모선 통신 모듈(170)에서 출력한 상기 차량 운전자의 시점 정보와 상기 차량의 주행정보를 수신한다. 상기 노변기지국(200)은 상기 차량 운전자의 시선 위치에 따른 영상 좌표를 이용하여 교통 시스템을 분석한다.
상기 제공 정보 추출부(160)는 상기 운전자의 시선 위치를 기반으로 출력부(190)를 설정한다. 상기 제공 정보 추출부(160)는 상기 시선 정보, 상기 위치 정보와 교통 시스템 정보를 분석하여, 주행 상황에 적합한 정보를 출력한다.
출력부(190)는 자동차의 디스플레이에 각종 차량 정보 및 차량 외부 정보를 운전자에게 제공한다.
도 3은 본 발명의 일 실시례에 따른 차량의 자율주행 가능 여부에 따른 정보제공을 나태내는 흐름도이다.
운전자 인식 카메라(110)는 운전자를 촬영하고, 운전자의 시선 방향을 추적한다(S310).
영상처리부(150)는 상기 운전자 영상에서 운전자의 얼굴 방향을 파악하고, 동공의 움직임을 판단하여 운전자의 시선 방향이 전방, 좌측, 우측인지 판단한다(S315).
상기 영상처리부가 판단한 운전자의 시선 방향에 해당하는 디스플레이를 출력부(190)로 설정한다(S320).
주행 차량이 자율 주행 활성화가 가능한지 판단한다(S325). 상기 주행 차량의 레이더, 레이저스캐너, 전방카메라 등의 차량센서(120) 데이터를 활용하여 자율주행의 기능을 수행할 수 있다. 상기 자율주행이 가능한 차량의 경우 주행 모드에 따라 정보제공의 내용을 달리할 수 있다.
자율 주행 모드가 불가능하다고 판단되면, 수동 주행 모드의 주행상황 판단 기반 위험 정보 여부를 판단한다(S330).
상기 위험정보가 없다고 판단되면, 각 디스플레이에 기본 정보를 제공한다(S340). 상기 기본 정보는 상기 운전자의 시선 방향에 따라 다음 주행에 도움이 되는 정보를 제공한다. 상기 기본 정보는 차량의 속도, 목표까지의 거리, 주유량 등의 정보가 될수 있다.
상기 위험정보가 있다고 판단되면, 현재 시선 방향 기준 사각지대의 위험정보를 제공한다(S345). 상기 위험 정보는 충돌이 예상되는 위험요소의 정보를 제공한다. 상기 위험요소 정보는 보행자, 바이크와 같은 이동물체, 정차하고 있는 차량 등의 정보가 될수 있다.
자율 주행 모드가 가능하다고 판단되면, 자동 주행 모드의 사용자 맞춤형 정보를 제공한다(S335). 상기 맞춤형 정보는 시선 방향의 외부 지역, 지형, 건물 등의 여행 및 편의 등의 정보가 포함 될수 있다.
상기 맞춤형 정보가 없다고 판단되면, 각 디스플레이에 기본 정보를 제공한다(S340). 상기 기본 정보는 상기 운전자의 시선 방향에 따라 다음 주행에 도움이 되는 정보를 제공한다.
상기 맞춤형 정보가 있다고 판단되면, 시선 방향 디스플레이에 정보를 제공한다(S350).
도 4는 본 발명의 일 실시례에 따른 운전자 시선 기반 안전운전 정보 제공 방법의 예시도이다.
도 4를 참조하면, 주행차량(410)이 우회전을 하는 경우 좌측 방향에서 주행해오는 차들과의 충돌을 피하기 위해 주로 좌측 방향을 주시하면서 우회전하여 진행하게 될 때, 횡단보도 보행 신호에 따른 보행자 여부, 바이크와 같은 이동 물체, 정차하고 있는 차량 등 차로 상의 위험 요소(420)를 파악하는 것이 필요하다.
수동주행 모드인 경우는 좌측 방향을 주시하고 있을 때 좌측에 설치된 디스플레이에 우측 방향의 충돌이 예상되는 위험 요소(420)의 유무에 대한 정보를 제공함으로써 운전자의 주행 인지에 도움을 줄 수 있다. 반대로 우측 방향을 관찰하고 있는 경우 우측 디스플레이에 좌측 방향에서 주행해오는 차량의 존재 정보 제공과 같이 운전자의 시선 방향에 따라 다음 주행에 도움이 되는 정보를 제공할 수 있다. 각 디스플레이의 정보는 디스플레이의 종류에 따라 아이콘 형태, 이미지 형태, 텍스트 형태 등 다양한 방법을 통해 제공될 수 있다.
자율주행 모드인 경우는 사용자 맞춤형 정보를 판단한 시선 방향의 디스플레이에 제공하며, 해당 주행위치/상황에서 사용자 맞춤형 정보가 없는 경우는 해당 디스플레이들은 기본 기능을 수행할 수 있다.
상기 맞춤형 정보는 차량 내 인포테인먼트 시스템의 멀티미디어 데이터 중 운전자 선호 등의 정보, 시선 방향의 외부 지역, 지형, 건물 등의 여행 및 편의 등의 정보, 차량시스템과 연동하여 스마트기기로부터의 메시지, 전화 등의 알림 정보 등의 정보들을 포함할 수 있다.
도 5는 본 발명의 일 실시례에 따른 무선 통신 모듈을 이용한 시선 정보 송신 시스템의 흐름도이다.
영상처리부(150)는 운전자의 시선이 주행 방향이 아닌 차량 외부를 향한 시선 방향인지 감지한다. 상기 시선이 일정시간 이상 유지되는지 감지한다(S510). 상기 영상처리부(150)는 상기 운전자의 동공의 움직임을 카운트하여 빈도를 계산한다. 상기 카운트가 소정의 임계값 이상이면 운전자의 시선이 유지되는 것으로 판단할 수 있다.
해당 시선 방향 정보를 무선 통신 모듈(170)로 전송한다(S520). 상기 무선 통신 모듈(170)은 노변기지국(200)에 해당 정보를 포함하여 전송한다(S530).
도 6은 본 발명의 일 실시례에 따른 무선 통신 모듈을 이용한 정보 송신 시스템의 흐름도이다.
노변기지국(200)은 통신 영역 내 여러 차량으로부터 운전자 시선 방향 정보를 수신한다(S610). 상기 운전자 시선 방향 정보들을 분석하여 주행 시 운전자들의 주위를 분산시키는 시스템을 판단한다(S620).
상기 시스템을 해당 차량의 현재 교통 시스템 상황에 적용 여부를 판단한다(S630). 상기 교통 시스템 상황을 적용하면 판단 결과 데이터 누적 및 시선 분산 원인이 되는 시스템의 비활성화 제어를 적용한다(S640). 차량이 주행 중인 상태에서 운전자가 노변의 디지털 기반 시스템에 시선 분산이 과다한 경우 해당 디지털 시스템을 비활성화 제어할 수 있다.
차량이 신호대기 상태이고 운전자가 노변의 디지털 기반 시스템에 시선 분산이 과다한 경우 데이터만 수집하다가 주행 신호로 변경 후 차량이 이동 이후에도 시선 분산이 과다하면 해당 시선 분산 원인이 되는 시스템의 비활성화를 제어할 수 있다.
상기 교통 시스템 상황을 적용하지 않는다면 판단 결과 데이터를 누적한다(S650). 누적된 데이터는 주요 시선 분산 지점 파악에 활용된다.
이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 제어부
110 : 운전자 인식 카메라
120 : 차량 센서
130 : 네비게이션
140 : GPS
150: 영상처리부
160 : 제공 정보 추출부
170 : 무선 통신 모듈
180 : 주행 상황 판단부
190 : 출력부

Claims (9)

  1. 운전자를 촬영하는 운전자 인식 카메라;
    차량 주변의 상황을 인지하는 차량센서;
    차량의 위치 정보를 제공하는 GPS;
    상기 GPS의 위치 정보에 해당하는 맵 정보를 출력하는 네비게이션;
    상기 운전자 촬영 영상에서 얼굴방향 및 시선방향을 판단하여 시선 정보를 출력하는 영상처리부;
    상기 차량센서로부터 감지한 차량 주변 정보들과 차량 CAN 정보를 기반으로 위험 요소를 판단하는 주행 상황 판단부;
    상기 시선 정보 판단을 기준으로 적어도 하나 이상의 디스플레이에 대해 정보를 제공할 디스플레이로 설정하고, 상기 주행 상황 판단부로부터 상기 시선 방향 이외의 적어도 어느 하나의 방향과 관련한 위험 요소를 출력하는 제공 정보 추출부; 및
    상기 설정된 디스플레이를 통하여 상기 제공 정보 추출부로부터의 정보를 출력하는 출력부;
    를 포함하는 운전자 시선 기반 안전운전 정보 제공 시스템.
  2. 제1항에 있어서
    상기 출력부는 전방 디스플레이, 좌측 디스플레이 및 우측 디스플레이를 포함하며, 상기 디스플레이들 중 적어도 하나 이상의 디스플레이에서 정보를 출력하는 운전자 시선 기반 안전운전 정보 제공 시스템.
  3. 제1항에 있어서,
    상기 시선 정보를 노변 기지국에 송신하고, 상기 노변 기지국으로부터 교통 시스템 정보를 수신하는 무선 통신 모듈을 더 포함하는 운전자 시선 기반 안전운전 정보 제공 시스템.
  4. 제1항에 있어서
    상기 시선 정보를 수신하여, 주행에 방해가 되는 시선 분산 요인을 판단하여 교통시스템의 정보를 제공하는 노변 기지국을 더 포함하는 운전자 시선 기반 안전운전 정보 제공 시스템.
  5. 제1항에 있어서
    상기 주행상황 판단부는 차량의 주행 상태에 따라 자율주행 모드 또는 수동 주행 모드인지 판단하는 운전자 시선 기반 안전운전 정보 제공 시스템.
  6. 운전자의 시선 방향을 추적하는 단계;
    상기 시선 방향 정보를 기반으로 시선 정보를 출력하는 단계;
    상기 시선 정보를 기반으로 적어도 하나 이상의 디스플레이에 대하여 정보를 제공할 출력부로 설정하는 단계;
    차량 센서로부터의 데이터 및 차량 CAN 데이터 중 적어도 어느 하나의 데이터로부터 상기 시선 방향 이외의 적어도 어느 하나의 방향과 관련한 차량의 위험 요소를 판단하는 단계;
    상기 위험 요소 판단 결과에 적합한 정보를 상기 설정한 출력부로 출력하는 단계;
    를 포함하는 운전자 시선 기반 안전운전 정보 제공 방법.
  7. 상기 시선 방향에서 차량 외부를 향한 시선 방향 정보를 노변기지국으로 전송하는 단계를 더 포함하는 운전자 시선 기반 안전운전 정보 제공 방법.
  8. 제7항에 있어서,
    상기 노변 기지국에서 수신된 각 차량의 운전자 시선 방향 정보를 기반으로 주행에 방해가 되는 시선 분산 요인을 판단하여 교통시스템의 정보를 제어하는 운전자 시선 기반 안전운전 정보 제공 방법.
  9. 제6항에 있어서,
    상기 차량의 주행상태를 판단하여, 자율주행 모드 또는 수행주행 모드에 따라 상기 출력부에 제공하는 정보의 내용을 달리하는 단계를 더 포함하는 운전자 시선 기반 안전운전 정보 제공 방법.
KR1020150163304A 2015-11-20 2015-11-20 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법 KR20170059224A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163304A KR20170059224A (ko) 2015-11-20 2015-11-20 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163304A KR20170059224A (ko) 2015-11-20 2015-11-20 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20170059224A true KR20170059224A (ko) 2017-05-30

Family

ID=59053111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163304A KR20170059224A (ko) 2015-11-20 2015-11-20 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20170059224A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108275156A (zh) * 2018-03-27 2018-07-13 斑马网络技术有限公司 驾驶行为检测方法、存储介质、设备及车辆
KR20190002191A (ko) * 2017-06-29 2019-01-08 현대자동차주식회사 디스플레이 시스템이 구비된 차량 및 그 제어방법
KR20190004606A (ko) * 2017-07-04 2019-01-14 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20200075930A (ko) * 2018-12-11 2020-06-29 만도헬라일렉트로닉스(주) 사각지대 감지 시스템
US20200210691A1 (en) * 2017-09-21 2020-07-02 Volkswagen Aktiengesellschaft Method and device for transmitting information from a first road user to a second road user and for receiving information that has been transmitted from a first road user to a second road user
WO2021002505A1 (ko) * 2019-07-03 2021-01-07 엘지전자 주식회사 자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법
KR20210062774A (ko) * 2019-11-21 2021-06-01 주식회사 이에스피 스마트카의 시스루 디스플레이 제어 시스템 및 방법
KR20220080582A (ko) * 2020-12-07 2022-06-14 한국자동차연구원 Hud 제어 시스템 및 그 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190002191A (ko) * 2017-06-29 2019-01-08 현대자동차주식회사 디스플레이 시스템이 구비된 차량 및 그 제어방법
KR20190004606A (ko) * 2017-07-04 2019-01-14 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US20200210691A1 (en) * 2017-09-21 2020-07-02 Volkswagen Aktiengesellschaft Method and device for transmitting information from a first road user to a second road user and for receiving information that has been transmitted from a first road user to a second road user
CN108275156A (zh) * 2018-03-27 2018-07-13 斑马网络技术有限公司 驾驶行为检测方法、存储介质、设备及车辆
KR20200075930A (ko) * 2018-12-11 2020-06-29 만도헬라일렉트로닉스(주) 사각지대 감지 시스템
WO2021002505A1 (ko) * 2019-07-03 2021-01-07 엘지전자 주식회사 자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법
KR20210062774A (ko) * 2019-11-21 2021-06-01 주식회사 이에스피 스마트카의 시스루 디스플레이 제어 시스템 및 방법
KR20220080582A (ko) * 2020-12-07 2022-06-14 한국자동차연구원 Hud 제어 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR20170059224A (ko) 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법
US9836967B2 (en) Method and traffic monitoring device for detecting a wrong-way driving incident of a motor vehicle
US9230441B2 (en) Apparatus for gathering surroundings information of vehicle
US9620009B2 (en) Vehicle surroundings monitoring device
US20130049988A1 (en) Device and method for traffic sign recognition
CN108749813B (zh) 一种自动泊车系统及泊车方法
JP2018203169A (ja) 運転意識推定装置
KR20170101758A (ko) 증강현실 헤드 업 디스플레이 내비게이션
CN105398379B (zh) 驾驶辅助影像显示方法
JP2015108926A (ja) 車両用運転支援装置
KR101442702B1 (ko) 차선 변경 차량과 충돌 사고 방지 시스템 및 그 방법
JP2015087891A (ja) 情報提供システム、情報提供装置、及び情報提供方法
KR20200036351A (ko) 차량 제어 장치, 그를 포함한 시스템 및 그 방법
KR20200044194A (ko) 속도 제어 장치 및 그 방법
US20200294432A1 (en) Advertisement display device, vehicle, and advertisement display method
WO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
KR101947473B1 (ko) 후방 차량을 고려한 안전 운전 지원 장치 및 방법
KR20170007001A (ko) 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체
KR20200081570A (ko) 교통 상황 제공 장치, 시스템 및 방법
JP2008186281A (ja) 車両用警報表示装置
JP4766058B2 (ja) 情報提供装置、情報提供システム、車両及び情報提供方法
JP2014085900A (ja) 車載装置
JP5887915B2 (ja) 車両用運転支援装置及び車両用運転支援方法
JP2019144971A (ja) 移動体の制御システムおよび制御方法
KR101458387B1 (ko) 음주운전 방지 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
X601 Decision of rejection after re-examination