KR102228385B1 - 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체 - Google Patents

단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체 Download PDF

Info

Publication number
KR102228385B1
KR102228385B1 KR1020150098552A KR20150098552A KR102228385B1 KR 102228385 B1 KR102228385 B1 KR 102228385B1 KR 1020150098552 A KR1020150098552 A KR 1020150098552A KR 20150098552 A KR20150098552 A KR 20150098552A KR 102228385 B1 KR102228385 B1 KR 102228385B1
Authority
KR
South Korea
Prior art keywords
terminal
vehicle
gaze
driving
state
Prior art date
Application number
KR1020150098552A
Other languages
English (en)
Other versions
KR20170007001A (ko
Inventor
김남준
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150098552A priority Critical patent/KR102228385B1/ko
Publication of KR20170007001A publication Critical patent/KR20170007001A/ko
Application granted granted Critical
Publication of KR102228385B1 publication Critical patent/KR102228385B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G06K9/00604—
    • B60K2350/357—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone

Abstract

본 발명은 단말을 이용한 눈동자 인식 기반 안전 운전 제어 방법, 장치 및 기록매체에 관한 것이다. 본 발명의 일 실시예에 따른 눈동자 인식 기반 안전 운행 방법에 있어서, 단말이, 차량 주행 상태 여부를 판단하는 단계; 차량이 주행 상태임이 판단된 경우, 상기 단말이, 사용자의 단말 주시 상태를 측정하는 단계; 상기 단말 주시 상태를 측정한 결과를 바탕으로 단말 사용 조건을 만족하는지 여부를 판단하는 단계; 및 상기 단말 사용 조건을 만족하는 경우, 단말이 상기 차량으로 경고 신호를 전송하는 단계; 를 포함하는 것을 특징으로 한다. 따라서 본 발명에 의한 눈동자 인식 기반 안전 운행 방법에 따라 운전자가 주행에 집중할 수 있도록 유도할 수 있고 결과적으로 안전 운전함으로써 교통 사고를 예방할 수 있다.

Description

단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체{Safety driving control method using the eye-recognition function of the terminal, apparatus and a recording medium}
본 발명은 단말을 이용하여, 운전자의 시선 이탈을 방지하기 하기 위한 경고 및 안전 운전에 필요한 기능을 자동으로 활성화하는, 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체에 관한 것이다.
보다 상세하게, 단말의 눈동자 인식(Eye Tracker, Eye Detecting, Eye-recognition) 기술을 이용하여 운전자가 실제 단말을 사용하는지 판단하여 경고를 제공하고, 더 나아가 안전 운전에 필요한 기능을 자동 활성화하는 안전 운전 제어 방법, 장치 및 기록매체에 관한 것이다.
최근, 주행 중 차량에서 운전자가 스마트폰 등 휴대용 기기(Portable device)를 사용하면서 발생하는 교통 사고가 해마다 증가하고 있다. 운전자가 해당 기기를 주행 중 사용하려고 하다 보니 차량의 전방을 향해야 하는 시선이 이탈하여 기기로 향하게 되고 그 빈도가 증가함에 따라 전방 상황에 대한 대응이 늦어지는 것이 그 원인이다.
이에 대해, 차량 내 눈동자 인식(Eye Tracker, Eye Detecting, Eye-recognition) 장치 또는 웨어러블 기기(Wearable device)를 활용하여 전방 시선 이탈에 대한 경고를 제공하는 기술이 고려되고 있다.
상세하게, 차량 내 카메라 또는 웨어러블 기기 내 카메라를 이용한 눈동자 인식(Eye Tracker, Eye Detecting, Eye-recognition)을 진행하고, 눈동자 인식 결과로 인지된 시선방향을 주행방향과 비교하여 시선방향이 주행방향과 불일치하고 그 빈도가 높은 경우, 경고 소리 또는 경고 진동 등을 통해 주의 분산에 대한 경고를 운전자에게 제공하여 운전자가 주행에 집중하도록 유도하는 기술이다.
다시 말해서 주행방향과 비교하여 주행에 필요한 시선이 분산된다고 판단될 경우 안전 운전을 위한 경고를 제공하고 있다.
그러나 이 경우 스마트폰 등 휴대용 기기를 운전대(Steering Wheel)에 올리는 등, 주행 방향에서 기기를 사용하는 경우는 시선 이탈로 인지하기 어려운 점이 있으며, 시선방향과 주행방향을 비교함에 있어, 방향 불일치 범위 설정에 모호한 점이 있고, 또한 사용자에게 단순한 경고 소리 또는 경고 진동 등 수동적인 방법만을 제공하는 한계가 있다.
이 문제를 해결하기 위해서 단말에 자체 장착된 눈동자 인식(Eye Tracker, Eye Detecting, Eye-recognition) 기술을 활용하여 운전자가 주행 중에 실제 단말을 사용하는지 판단할 필요가 있고, 실제 운전자가 주행 중에 단말을 사용하는 것으로 판단될 경우, 경고음 또는 경고 진동 발생의 수동적인 방어 방법뿐만 아니라 차량의 안전 주행에 필요한 기능을 활성화하는 능동적인 방어 방법을 제공할 필요가 있다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위해 고안된 것으로, 본 발명의 목적은 단말 등에 자체 장착된 눈동자 인식(Eye Tracker, Eye Detecting, Eye-recognition) 기능을 활용하여 운전자가 실제 기기를 사용하는지를 판단하여 경고를 제공하고 더 나아가 이 경우 시선 이탈로 간주하여 안전운전에 필요한 기능(전방 감지 등)을 자동 활성화 하는, 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법을 지원하는 어플리케이션이 기록된 컴퓨터로 실행 가능한 기록 매체를 제공하는 것이다.
본 발명의 다른 목적은 눈동자 인식을 기반한 안전 운전 제어 장치로서 차량 및 단말을 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체를 제공한다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 눈동자 인식 기반 안전 운행 방법은, 단말이, 차량 주행 상태 여부를 판단하는 단계; 차량의 주행 상태임이 판단된 경우, 상기 단말이, 사용자의 단말 주시 상태를 측정하는 단계; 단말의 주시 상태를 측정한 결과를 바탕으로, 단말 사용 조건을 만족하는지 여부를 판단하는 단계; 및 상기 단말 사용 조건을 만족하는 경우, 단말이 상기 차량으로 경고 신호를 전송하는 단계;를 포함할 수 있다.
실시예에 따라, 상기 차량 주행 상태 여부는 주행 속도, 주행 방향 정보, 기어 상태 정보 및 내비게이션 이용여부 중 적어도 하나를 이용하여 판단할 수 있다.
실시예에 따라, 상기 단말 주시 상태는 사용자의 단말 응시 시간 및 응시 빈도일 수 있다.
실시예에 따라, 상기 단말이 사용자의 단말 주시 상태를 측정하는 단계는 단말의 눈동자 인식 모듈(EYE DETECTING MODULE)를 활성화하는 단계를 포함할 수 있다.
실시예에 따라, 상기 단말 주시 상태 측정 결과를 바탕으로 단말 사용 사용 조건을 만족하는지 여부는 상기 단말 주시 상태가 임계 시간 또는 임계 빈도를 초과 하는지 여부를 기준으로 판단할 수 있다.
실시예에 따라, 상기 경고 신호를 수신한 차량이 수동적 또는 능동적 방어하는 단계;를 더 포함할 수 있다.
실시예에 따라, 상기 수동적 방어는 경고음 또는 경고 진동을 발생할 수 있다.
실시예에 따라, 상기 능동적 방어는 안전 주행 모드로 자동 전환시킬 수 있다.
실시예에 따라, 상기 경고음 또는 경고 진동은 응시 시간 또는 응시 빈도가 임계 시간 또는 임계 빈도를 초과하는 정도에 상응하여 소리의 크기와 진동의 세기가 커질 수 있다.
실시예에 따라, 상기 경고음 또는 경고 진동은 차량 운전대 또는 차량의자에서 활성화 될 수 있다.
실시예에 따라, 상기 안전 주행 모드는 ADAS(Advanced Driver Assistance System) 모드일 수 있고, 상기 ADAS는 ACC(Adaptive Cruise Control) 모듈 또는 HDA(Highway Driving Assist) 모듈을 활성화 시킬 수 있다.
실시예에 따라, 상기 단말은 스마트폰, 태블릿피씨(Tablet PC), PDA 및 기타 이동 통신 단말 중 어느 하나일 수 있다.
실시예에 따라, 상기 단말과 차량간 통신을 유선 또는 무선에 의해 연결하는 단계를 더 포함하며, 무선 통신에 의해 연결되는 경우, WIFI(Wireless Fidelity) 또는 BlueTooth 중에서 어느 하나를 이용할 수 있으며, 유선 통신에 의해 연결되는 경우, USB 또는 MHL(Mobile High-Definition Link) 중에서 어느 하나를 이용할 수 있다.
또한 본 발명의 일 실시예에 따른 단말은 차량과 통신을 연결하기 위한 단말 인터페이스부; 상기 단말 인터페이스에 의해 차량과 연결된 후, 상기 차량과 신호를 송수신하는 단말 통신부; 상기 단말 통신부를 통해 상기 차량으로부터 수신한 정보를 이용해 차량 주행 상태 여부를 판단하는 주행 상태 판단부; 상기 주행 상태 판단부에 의해 차량이 주행 상태로 판단된 경우, 사용자의 단말 주시 상태를 측정하는 주시 상태 측정부; 및 상기 단말 주시 상태를 측정 결과를 바탕으로, 사용자의 단말 사용 조건을 만족하는지 여부를 판단하는 사용 여부 판단부; 를 포함하며, 상기 단말 통신부는 상기 단말 사용 조건을 만족한 경우, 차량으로 경고 신호를 전송할 수 있다.
실시예에 따라, 상기 단말 통신부가 경고 신호를 차량으로 송신함과 동시에 단말에서 경고음 또는 경고 진동을 발생시키는 단말 방어 제어 모듈을 더 포함할 수 있다.
실시예에 따라, 상기 주행 상태 판단부는 상기 차량으로부터 주행 속도, 주행 방향 정보, 기어 상태 정보 및 내비게이션 이용여부 중 적어도 하나를 이용를 이용하여 판단할 수 있다.
실시예에 따라, 상기 단말 주시 상태는 사용자의 단말 응시 시작 시점, 응시 종료 시점, 응시 시간 및 응시 빈도일 수 있다.
실시예에 따라, 상기 주시 상태 측정부는 단말의 눈동자 인식 모듈(EYE DETECTING MODULE)를 활성화할 수 있다.
실시예에 따라, 상기 사용 여부 판단부는 상기 단말 주시 상태가 임계 시간 또는 임계 빈도를 초과 하는지 여부를 기준으로 판단할 수 있다.
실시예에 따라, 상기 단말은 스마트폰, 태블릿피씨(Tablet PC), PDA 및 기타 이동 통신 단말 중 어느 하나일 수 있다.
실시예에 따라, 상기 단말 인터페이스부는 유선 또는 무선에 의해 연결될 수 있으며, 무선 통신에 의해 연결되는 경우, WIFI(Wireless Fidelity) 또는 BlueTooth 중에서 어느 하나를 이용할 수 있으며, 유선 통신에 의해 연결되는 경우, USB 또는 MHL(Mobile High-Definition Link) 중에서 어느 하나를 이용할 수 있다.
실시예에 따라, 상기 경고음 또는 경고 진동은 응시 시간이 임계 시간을 초과하거나 응시 빈도가 임계 빈도를 초과하는 정도에 상응하여 소리의 크기와 진동의 세기가 커질 수 있다.
또한 본 발명의 일 실시예에 따른 차량은, 단말과 통신을 연결하기 위한 차량 인터페이스부; 상기 차량 인터페이스에 의해 단말과 연결된 후, 상기 단말과 신호를 송수신하는 차량 통신부; 상기 차량 통신부를 통해 상기 단말로부터 차량의 주행 상태 정보와 단말의 주시 상태 정보를 수신하여, 이를 바탕으로 사용자의 단말 사용 조건을 만족하는지 판단하는 사용 여부 판단부; 상기 단말 사용 조건을 만족하는 경우, 수동적 또는 능동적 방어하는 차량 방어 제어 모듈; 를 포함할 수 있다.
실시예에 따라, 상기 주행 상태 정보를 측정함에 있어 주행 속도, 주행 방향 정보, 기어 상태 정보 및 내비게이션 이용여부 중 적어도 하나를 이용하여 측정할 수 있다.
실시예에 따라, 상기 단말의 주시 상태 정보를 측정함에 있어 사용자의 단말 응시 시작 시점, 응시 종료 시점, 응시 시간 및 응시 빈도를 측정할 수 있다.
실시예에 따라, 상기 단말이 사용자의 단말 주시 상태 정보를 측정함에 있어, 단말의 눈동자 인식 모듈(EYE DETECTING MODULE)를 활성화할 수 있다.
실시예에 따라, 상기 단말이 주시 조건 측정 결과를 바탕으로 단말 사용 조건을 만족하는지 여부를 판단함에 있어, 상기 단말 주시 상태가 임계 시간 또는 임계 빈도를 초과 하는지 여부를 기준으로 판단할 수 있다.
실시예에 따라, 상기 수동적 방어는 경고음 또는 경고 진동을 발생할 수 있다.
실시예에 따라, 상기 능동적 방어는 안전 주행 모드로 자동 전환시킬 수 있다.
실시예에 따라, 상기 경고음 또는 경고 진동은 응시 시간이 임계 시간을 초과하거나 응시 빈도가 임계 빈도를 초과하는 정도에 상응하여 소리의 크기와 진동의 세기가 커질 수 있다.
실시예에 따라, 상기 경고음 또는 경고 진동은 차량 운전대 또는 차량의자에서 활성화 될 수 있다.
실시예에 따라, 상기 안전 주행 모드는 ADAS(Advanced Driver Assistance System)모드일 수 있고, 상기 ADAS는 ACC(Adaptive Cruise Control) 모듈 또는 HDA(Highway Driving Assist) 모듈을 활성화 시킬 수 있다.
실시예에 따라, 상기 단말은 스마트폰, 태블릿피씨(Tablet PC), PDA 및 기타 이동 통신 단말 중 어느 하나일 수 있다.
실시예에 따라, 상기 차량 인터페이스부는 유선 또는 무선에 의해 연결될 수 있으며, 무선 통신에 의해 연결되는 경우, WIFI(Wireless Fidelity) 또는 BlueTooth 중에서 어느 하나를 이용할 수 있으며, 유선 통신에 의해 연결되는 경우, USB 또는 MHL(Mobile High-Definition Link) 중에서 어느 하나를 이용할 수 있다.
또한 본 발명의 일 실시예는 상기 안전 운전 제어 방법을 실행시키기 위한 애플리케이션을 기록한 컴퓨터로 읽을 수 있는 기록매체일 수 있다.
본 발명에 따른 단말을 이용하여 눈동자 인식을 기반한 안전 운전 제어 방법, 장치 및 기록매체에 대한 효과를 설명하면 다음과 같다.
첫째, 본 발명은 단말의 눈동자 인식(Eye detection) 센서를 이용하여 추가적인 차량 내 센서 장착이 불필요하므로, 비용 측면에서 부담이 없다는 효과가 있다.
둘째, 주행방향과 동일선상에서 단말을 응시할 경우, 기존 방법으로는 단말의 사용 여부를 인지하기 어려웠으나, 실제 단말의 사용 여부를 판단함으로써 상기 한계를 극복할 수 있는 효과가 있다.
셋째, 운전자에게 경고 주는 것을 뛰어넘어 차량 내 안전장치를 자동으로 활성화하여 적극적인 안전 운전을 지원하는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 눈동자 인식을 기반한 안전 운전 제어 시스템에 대한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 단말을 이용하여 눈동자 인식을 기반한 안전 운전 제어 방법을 설명하기 위한 순서도이다.
도 3은 도 2을 더욱 상세하게 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 단말을 이용하여 눈동자 인식을 기반한 안전 운전 제어 장치의 구성도이다.
도 5는 본 발명의 다른 실시예에 따른 단말을 이용하여 눈동자 인식을 기반한 안전 운전 제어 장치의 구성도이다.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
그리고 본 발명을 설명함에 있어서 관련된 공지기술에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 눈동자 인식을 기반한 안전 운전 제어 시스템에 대한 구성도이다.
단말(100)의 눈동자 인식 기능을 이용한 안전 운전 제어 방법은 단말(100) 자체에 장착된 눈동자 인식 기능을 활용한다.
일 예로, 눈동자 인식 기능을 구현하기 위해서는 영상처리 프로세스를 이용하는데, 카메라로부터 전달된 얼굴 영상을 디지털 영상으로 받았을 때, 통상의 마이크로프로세서, 디지털 신호 프로세서 또는 컴퓨터 등을 사용하여 2차원 디지털 영상 내에서 얼굴과 눈 위치를 검출하고, 이를 수치 데이터로 나타낸다. 이어서 2차원 디지털 영상 또는 이 영상에 대해 저해상도로 샘플링된(sampled) 화소들로부터 에지 신호를 검출하고, 그 에지 영상에서 얼굴내에 발생되는 에지 신호를 T형태로 구성된 탐색 영역에서 소정의 기하학적 관계를 적용하여 조사함으로써 얼굴 위치를 검출하고, 이후에 적당한 처리를 통해 수평 방향의 에지 신호의 극성을 사용하여 눈 위치를 검출하는 것이다.
이와 같이, T형 탐색 영역을 이용하여 에지 영상에서 얼굴 위치를 검출하는데, 이 T형 탐색 영역은 T자 형태로 구성된 탐색 영역으로서 검출하고자 하는 얼굴 위치에 정확히 위치시켰을 때, 두 눈, 두 눈 사이, 콧등, 인증 및 입술을 포함한 영역에 매치된다. 이러한 조건들을 만족하는 T형 탐색 영역내에 에지 신호의 총량이 최대가 되는 영역을 얼굴 위치로 검출한다.
한편, 눈은 검출된 얼굴 위치를 토대로 눈 위치를 검출하는데, 검출된 얼굴 위치에 T형 탐색 영역을 위치시키고, T형 탐색 영역내에 수평 방향의 에지 신호의 극성을 이용하여 눈 위치를 검출한다. T형 탐색 영역내에서 극성이 양인 에지 신호들이 수평선의 형태로 밀집되어 있는 영역을 검출할 수 있는데, 이때의 영역은 위 눈꺼풀 선 영역을 의미한다. 간단히 위 눈꺼풀 선 영역을 눈 위치로 검출할 수 있다. 그리고, 상기한 바와 같이 눈이 검출되면 눈에 포함되는 눈동자의 추적이 이루어진다. 통상, 과거 영상과 현재 영상간의 비교를 통해 그 차이를 확인함으로써 움직임 방향을 추정하게 된다. 이에 사용되는 영상 처리 알고리즘에서 움직임 추정 방법으로 블록정합 알고리즘(BMA: Block Matching Algorithm)을 주로 이용한다.
다른 예로 단말로부터 발광되는 적외선 신호를 사용자가 두 눈으로 감지하고, 단말의 카메라 렌즈를 통해 두 눈으로부터 반사되는 빛의 이미지를 검출하여, 빛의 이미지에 대응하는 전기신호에 따라 눈 관련 정보를 이용하여 눈동자 인식 기능을 구현할 수 있다.
또 다른 일 예로, 사용자의 얼굴 영상을 취득하고, 얼굴 영상으로부터 사용자의 눈꼬리 위치를 추출하여 얼굴의 움직임을 계산하여 눈동자 인식 기능을 구현할 수 있다.
단말(100)의 영상 처리 기술을 이용하여 눈동자 인식하는 기술은 이외에도 다양하며, 눈동자 인식 기능을 이용하는 본 발명은 이에 한정되지 않는다.
본 발명은 차량(200)에 추가적으로 카메라 기타 장비를 설치하지 않고, 단말(100)의 눈동자 인식 기능을 이용한다.
눈동자 인식 기능으로부터 얻은 정보는 운전자의 시선 이탈이 생기는지 여부를 판단하기 위함이고, 운전자가 단말(100)을 사용한다고 판단될 경우, 시선 이탈로 간주하고, 차량(200)에 경고 신호를 전달함으로써, 안전 운전을 제어할 수 있다.
단말(100)로부터 경고 신호를 받은 차량(200)은 수동적 방어로서 운전자에게 경보를 하거나, 또는 능동적 방어로서 자동으로 안전 주행 모드를 수행함으로써 안전 운전을 유도할 수 있다.
도 2는 본 발명의 일 실시예에 따른 단말(100)을 이용하여 눈동자 인식을 기반한 안전 운전 제어 방법을 설명하기 위한 순서도이다.
운전자가 차량(200)에 탑승하고, 운전자의 휴대용 기기 즉, 단말(100)은 차량(200)과 무선 또는 유선으로 통신을 연결할 수 있다[S101].
무선 또는 유선으로 연결된 단말(100)은 차량(200)이 주행 중인지 여부를 판단하여, 주행 중이라고 판단되면 눈동자 인식 모듈을 활성화시켜 운전자의 눈동자 즉 시선이 단말(100)에 향하는 경우, 운전자의 시선을 감지한다[S102].
운전자가 단말(100)을 사용하는지 여부에 대한 판단에 있어, 응시 시간이 임계 시간보다 길거나 응시 빈도가 임계 빈도를 넘어가는 경우, 단말(100) 또는 차량(200)은 운전자가 단말(100)을 사용하고 있다는 판단을 하게 된다[S103].
주행 중에 운전자가 단말(100)을 사용하고 있다는 판단을 하면, 차량(200)은 수동적 방어 기작으로, 경고음 및/또는 경고 진동을 발생시켜 운전자에게 안전 운전을 위한 경고를 하게 된다[S105].
차량(200)은 수동적 방어 기작과 함께 능동적 방어 기작을 수행하는데, 구체적으로 안전 주행 모드가 수행되는데 안전 주행 모드는 ADAS(Advanced Driver Assistance System) 모드일 수 있다.
ADAS(Advanced Driver Assistance System)는 첨단 운전자 보조 시스템으로 운전자의 운전에 도움을 주는 시스템이다.
ADAS는 차량 전방에 장착된 레이다를 사용하여 앞 차와의 간격을 적절하게 자동 유지하는ACC(Adaptive Cruise Control) 모듈, 고속도로에서 부분 자율 주행이 가능한 고속도로 주행지원 시스템인HDA(Highway Driving Assist) 모듈, 긴급제동을 위한Emergency Braking 모듈, 보행자 추돌방지를 위한Pedestrian Detection 모듈, 충돌 예방을 위한Collision Avoidance 모듈, 교통 표지판 인지를 위한Traffic Sign Recognition 모듈, 측후면 접근차량 경고를 위한Cross Traffic Alert 모듈, 사각지대에 위치한 자동차에 대한 정보를 제공하는Blind Spot Detection 모듈, 후면 충돌 예방을 위한Rear Collision Warning 모듈, 전후방 외의 모든 시야에서 사각지대를 위한Surround View 모듈, 방향지시등을 켜지 않고 차선을 변경하는 경우를 감지하여 운전자에게 알려주는Lane Departure Warning 모듈, 주차를 보조하는Park Assist 모듈 등을 포함할 수 있다. 다만 ADAS는 상기 모듈들에 한하지 않는다.
도 3은 도 2를 더욱 상세하게 설명하기 위한 순서도이다.
운전자가 차량(200)에 탑승하면, 운전자의 단말(100)은 유선 또는 무선으로 차량(200)과 통신을 연결하게 된다[S201].
무선 통신에 의해 연결되는 경우, WIFI(Wireless Fidelity) 또는 BlueTooth 통신 방식을 이용할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
또한 유선 통신에 의해 연결되는 경우, USB 또는 MHL(Mobile High-Definition Link) 통신 방식을 이용할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
단말(100)은 차량(200)으로부터 주행 속도, 주행 방향 정보, 기어 상태 정보 및 내비게이션 이용여부에 대한 정보를 수신하여, 이들 정보 중 적어도 하나를 이용함으로써, 차량(200)이 주행 상태인지 여부를 판단하는 단계를 거친다[S202]. 차량(200)이 주행하는 상태가 아닌 경우에는 안전 운전을 위한 제어 방법을 수행할 필요성이 없기 때문이다.
예를 들어, 차량(200)이 자동 변속 기어인 경우, 주행 상태 인지 여부를 판단함에 있어, 기어 상태가 P단에 있는 경우가 아니라면 주행상태로 판단할 수 있고, 또는 주행 속도가 0km/h가 아니라면 주행상태로 판단할 수 있다.
예를 들어, 차량(200)의 주행 속도가 0km/h 보다 클 때 단말은 차량이 주행 상태로 판단할 것이다. 다만 주행 속도 정보만으로 차량(200)의 주행여부를 판단하는 것 보다는 내비게이션 이용 여부에 대한 정보 즉, 주행 방향 정보, 내비게이션 이용여부에 대한 정보까지 고려해야 차량(200)의 주행여부를 더 정확하게 판단할 수 있다. 또 다른 예를 들어, 운전자가 내비게이션을 이용하여 주행 경로를 설정하고, 40km/h 의 속도로 운행하다가 정지 신호를 인지하고 정지하여 주행 속도가 0km/h 이더라도 단말(100)은 내비게이션 이용여부에 대한 정보를 통해 주행 중임을 판단할 수 있다.이후, 차량(200)으로부터 수신한 정보를 이용하여 차량(200)이 주행 중임을 판단한 경우 단말(100)은 사용자가 단말(100)을 응시하는지 감지한다. 이 때 단말(100)의 눈동자 감지를 위해 눈동자 인식 모듈(EYE DETECTING MODULE)를 활성화하고, 단말(100)의 눈동자 인식 모듈을 이용하여 운전자가 단말(100)을 응시하는 시간 또는 응시하는 빈도를 측정한다[S203].
응시 시간은 상기 단말(100)이 사용자의 눈동자 인식 시작 시점부터 눈동자 인식 종료 시점까지의 시간이며, 응시 빈도는 미리 설정된 시간 동안 상기 단말(100)이 사용자 눈동자 인식한 횟수이다.
단말(100)은 측정한 응시 시간이 미리 설정된 임계 시간을 초과하는지 또는 응시 빈도가 미리 설정된 임계 빈도를 초과하는지 여부를 판단한다[S204].
임계 시간 및 임계 빈도는 차량(200)으로부터 전송 받은 차량(200)의 주행 속도 정보를 이용하여 주행 속도 정보에 따라 달리 설정될 수 있는데, 차량(200)의 주행 속도가 빠른 경우에는 주행 속도가 느린 경우보다 임계 시간이 짧게 설정될 수 있다.
또한 주행 속도가 빨라짐에 따라 임계 시간이 짧게 설정함으로써 운전자에게 보다 신속하게 긴급 상황에 대한 대응할 시간을 확보할 수 있다. 임계 빈도 역시 마찬가지로 주행 속도 정보에 따라 달리 설정될 수 있다.
응시 시간이 미리 설정된 임계 시간을 초과하거나 또는 응시 빈도가 임계 빈도를 초과하는 경우[S204의 YES 경로], 경고 신호를 차량(200)에 전송하고[S205], 초과하지 않는 경우[S204의 NO 경로], 다시 운전자가 단말(100)을 응시하는지 여부에 대한 감시를 시작한다.
경고 신호를 수신한 차량(200)은 수동적 방어로서 운전자에게 경보를 하거나 능동적 방어로서 자동으로 안전 주행 모드를 수행함으로써, 운전자에게 위급 상황에 대해서 대응할 시간을 확보함으로써 교통 사고를 예방하기 위한 기능을 수행한다[S206].
예컨데, 수동적 방어로서 경보는 운전자의 오감에 의한 자극을 이용할 수 있다. 오감 중에서도 시각, 청각 또는 촉각 중 적어도 어느 하나에 대한 자극을 이용할 수 있고, 운전자에게 경보로서 적절한 방안으로 경고음 또는 경고 진동을 생각할 수 있다.
경고음과 경고 진동은 단말(100) 또는 차량(200)에서 활성화될 수 있고, 특히 차량 운전대 또는 차량의자에서 경고 진동을 발생시킴으로써, 운전자에게 주의 분산에 대한 경보를 줄 수 있다.
도 4는 본 발명의 일 실시예에 따른 단말을 이용하여 눈동자 인식을 기반한 안전 운전 제어 장치의 구성도이다.
도 4를 참조하면, 눈동자 인식을 기반한 안전 운전 제어 방법을 수행하기 위한 단말(100a)은 단말 인터페이스부(110), 단말 통신부(120), 주행 상태 판단부(130), 주시 상태 측정부(140), 눈동자 인식 모듈(150), 사용 여부 판단부(160), 단말 방어 제어 모듈(170), 단말 제어부(180)을 포함할 수 있다.
이와 유선 또는 무선으로 연결되는 차량(200a)는 차량 인터페이스부(210), 차량 통신부(220), 차량 방어 제어 모듈(230), 차량 제어부(240)을 포함할 수 있다.
도 4에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성 요소들을 갖는 홈 게이트웨이 기기가 구현될 수도 있다.
이하, 상기 구성 요소들에 대해 상세히 살펴보기로 한다.
단말 인터페이스부(110)는 운전자가 차량(200a)에 탑승한 후, 유선 통신으로 차량(200a)과 연결하기 위한 입출력 단자, 또는 무선 통신으로 차량(200a)와 연결하기 위한 무선 어댑터(adapter)를 포함할 수 있고, Bluetooth 연결을 위한 송수신부를 포함할 수 있다.
단말 인터페이스부(110)는 유선 또는 무선에 의해 연결될 수 있으며, 무선 통신에 의해 연결되는 경우, WIFI(Wireless Fidelity) 또는 BlueTooth 통신 방식을 이용할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
또한 유선 통신에 의해 연결되는 경우, USB 또는 MHL(Mobile High-Definition Link) 통신 방식을 이용할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
단말 통신부(120)는 단말 인터페이스부(110)에 의해 차량(200a)과 통신이 연결된 후, 안전 운전 제어에 있어서 필요한 신호를 주고 받을 수 있다.
단말 통신부(120)는 차량(200a)로부터 주행 속도, 주행 방향 정보, 기어 상태 정보 및 내비게이션 이용여부에 관한 정보를 수신할 수 있고, 주행 상태 판단부(130)는 단말 통신부(120)가 수신한 정보를 이용하여 차량(200a)이 주행 중인지 여부를 판단한다. 운전자가 차량(200a)을 주행하지 않고 단순히 탑승하고 있는 경우에는 안전 운전 제어를 수행할 필요가 없기 때문이다.
주시 상태 측정부(140)는 눈동자 인식 모듈(150)을 활성화시켜, 운전자가 단말(100a)을 주시하는지 여부를 측정한다. 눈동자 인식 모듈(150)이 수행하는 눈동자 인식 기능은 도 1을 참고하여 설명된 바와 동일하다.
눈동자 인식 모듈(150)로부터 운전자가 단말(100a)를 주시하는 시작 시간, 주시 종료 시간 및 주시 횟수에 관한 정보는 주시 상태 측정부(140)에 의해 측정된다.
눈동자 인식 모듈(150)은 도 1에서 설명된 단말(100a)의 눈동자 인식 기능을 수행할 수 있다.사용 여부 판단부(160)는 단말 주시 상태 측정 결과를 바탕으로 단말 사용 사용 조건을 만족하는지 여부를 판단하는데, 단말 주시 상태가 임계 시간 또는 임계 빈도를 초과 하는지 여부를 기준으로 판단한다.
응시 시간은 상기 단말(100a)이 사용자의 눈동자 인식 시작 시점부터 눈동자 인식 종료 시점까지의 시간이며, 응시 빈도는 미리 설정된 시간 동안(예, 30초) 상기 단말(100a)이 사용자 눈동자를 인식한 횟수이다. 임계 시간과 임계 빈도는 미리 설정될 수 있다.
사용 여부 판단부(160)는 운전자가 단말(100a)을 사용하고 있다고 판단할 경우, 단말 통신부(120)는 차량(200a)로 경고 신호를 전송하여, 차량(200a)으로 하여금 수동적 또는 능동적 방어를 수행하게 하고, 운전자가 단말(100a)을 사용하지 않고 있다고 판단될 경우, 다시 주시 상태 판단부(140)는 운전자의 단말 주시 여부를 측정한다.
단말 방어 제어 모듈(170)은 차량(200a)으로 경고 신호를 전송될 때, 단말(100a) 자체의 경고음 또는 경고 진동을 발생시킬 수 있다. 경고음 또는 경고 진동은 응시 시간이 임계 시간보다 길어지는 정도 또는 응시 빈도가 임계 빈도를 초과하는 크기에 상응하여 소리에 크기와 진동의 세기가 커질 수 있다.
단말 제어부(180)는 통상적으로 단말(100a)의 전반적인 동작을 제어한다. 단말(100a)의 각 모듈간의 신호를 전달함으로써 기능을 활성화시킨다. 예를 들어, 단말 인터페이스부(110)에 의해 차량(200a)과 연결되면 이를 단말 통신부(120)에게 신호를 전달하여, 차량(200a)로부터 주행 상태 여부 판단에 필요한 주행 속도, 주행 방향 정보, 기어 상태 정보 및 내비게이션 이용여부에 대한 정보를 수신할 수 있도록 한다. 또한 주행 상태 판단부(130)의 판단 결과에 따라 주시 상태 측정부(140)의 활성화 여부를 결정하며, 눈동자 인식 모듈(150)의 동작 여부 역시 단말 제어부가 제어할 수 있다.
차량 인터페이스부(210)는 운전자가 차량(200a)에 탑승한 후, 유선 또는 무선 통신으로 단말(100a)와 연결하기 위한 단자, 포트, 어댑터(adapter)를 포함할 수 있다.
차량 통신부(220)는 차량 인터페이스부(210)에 의해 단말(100a)과 통신이 연결된 후, 안전 운전 제어에 있어서 필요한 신호를 주고 받을 수 있다.
차량 방어 제어 모듈(230)은 단말(100a)로부터 경고 신호를 수신하면, 수동적 또는 능동적 방어를 수행한다. 수동적 방어는 경고음 또는 경고 진동을 발생하게 하여, 운전자에게 경보 하기 위함이다. 경고음 또는 경고 진동은 응시 시간 또는 응시 빈도가 임계 시간 또는 임계 빈도를 초과하는 정도에 상응하여 소리의 크기와 진동의 세기가 커질 수 있다. 경고음 또는 경고 진동은 차량 운전대 또는 차량의자에서 활성화 될 수 있다.
능동적 방어는 안전 주행 모드로 자동 전환을 수행하는 것으로, 안전 주행 모드는 ADAS(Advanced Driver Assistance System) 모드일 수 있고, 상기 ADAS는 ACC(Adaptive Cruise Control) 모듈 또는 HDA(Highway Driving Assist) 모듈을 활성화 시킬 수 있다.
ADAS(Advanced Driver Assistance System)는 첨단 운전자 보조 시스템으로 운전자의 운전에 도움을 주는 시스템이다.
ADAS는 차량 전방에 장착된 레이다를 사용하여 앞 차와의 간격을 적절하게 자동 유지하는ACC(Adaptive Cruise Control) 모듈, 고속도로에서 부분 자율 주행이 가능한 고속도로 주행지원 시스템인HDA(Highway Driving Assist) 모듈, 긴급제동을 위한Emergency Braking 모듈, 보행자 추돌방지를 위한Pedestrian Detection 모듈, 충돌 예방을 위한Collision Avoidance 모듈, 교통 표지판 인지를 위한Traffic Sign Recognition 모듈, 측후면 접근차량 경고를 위한Cross Traffic Alert 모듈, 사각지대에 위치한 자동차에 대한 정보를 제공하는Blind Spot Detection 모듈, 후면 충돌 예방을 위한Rear Collision Warning 모듈, 전후방 외의 모든 시야에서 사각지대를 위한Surround View 모듈, 방향지시등을 켜지 않고 차선을 변경하는 경우를 감지하여 운전자에게 알려주는Lane Departure Warning 모듈, 주차를 보조하는Park Assist 모듈 등을 포함할 수 있다. 다만 ADAS는 상기 모듈들에 한하지 않는다.
차량 제어부(240)는 통상적으로 차량(200a)의 전반적인 동작을 제어한다. 일반적으로 차량(200a)의 헤드 유닛(Head Unit)이 차량 제어부(240)일 수 있으며, 외부의 제어 신호를 처리하는 기능을 수행한다.
도 5는 본 발명의 다른 실시예에 따른 단말을 이용하여 눈동자 인식을 기반한 안전 운전 제어 장치의 구성도이다.
도 5를 참조하면, 도 5에 도시된 안전 운전 제어 장치는 도 4의 실시예와 몇몇 특징을 제외하고는 실질적으로 동일한 구성 및 기능을 가진다. 구별되는 특징은 도 4의 실시예에서는 단말(100a)이 사용자의 단말 사용 여부에 대한 판단을 하지만, 도 5의 실시예에서는 차량(200b)이 사용자의 단말 사용 여부에 대한 판단을 한다는 점이다.
이하, 상기 도 4의 실시예와의 구별되는 특징에 대해 상세히 살펴보기로 한다.
도 4에서는, 단말(100a)의 주시 상태 측정부(140)에서 측정한 정보를 이용해 단말(100a)의 사용 여부 판단부(160)에서 사용자가 단말을 사용하고 있는지 판단하지만, 도 5에서, 주시 상태 측정부(140)가 단말 응시 시작 시점, 단말 응시 종료 시점 및 단말 응시 빈도에 대한 측정 정보를 차량(200b)로 전달하고, 차량(200b)내부의 사용 여부 판단부(250)에서 상기의 정보들 중 적어도 하나를 이용하여 운전자가 단말(100b)을 사용하는지 여부를 판단한다.
이후, 사용 여부 판단부(250)가 운전자가 주행 중 단말(100b)를 사용하고 있다는 판단을 한 경우, 차량(200b)에서 수동적 또는 능동적 방어를 수행하는 과정은 도 4와 차이가 없다.
도 5에서 처럼 차량(200b)내부에 사용 여부 판단부(250)를 두는 것은, 스마트폰의 경우 과도한 연산을 수행함으로써 통화를 위한 데이터 연산에 무리가 가지 않을 수 있게 한다는 점, 베터리 용량이 적은 휴대용 단말의 전력 소모량을 줄일 수 있다는 점에서 그 효과가 있다.
100 : 단말
200 : 차량
100a, 100b : 단말
200a, 200b : 차량
110 : 단말 인터페이스부
120 : 단말 통신부
130 : 주행 상태 판단부
140 : 주시 상태 측정부
150 : 눈동자 인식 모듈
160 : 사용 여부 판단부
170 : 단말 방어 제어 모듈
180 : 단말 제어부
210 : 차량 인터페이스부
220 : 차량 통신부
230 : 차량 방어 제어 모듈
240 : 차량 제어부
250 : 사용 여부 판단부

Claims (27)

  1. 단말이, 차량 주행 상태 여부를 판단하는 단계;
    차량의 주행 상태임이 판단된 경우, 상기 단말이, 사용자의 단말 주시 상태를 측정하는 단계;
    단말의 주시 상태를 측정한 결과를 바탕으로, 단말 사용 조건을 만족하는지 여부를 판단하는 단계; 및
    상기 단말 사용 조건을 만족하는 경우, 단말이 상기 차량으로 경고 신호를 전송하는 단계;
    를 포함하되,
    상기 단말이 사용자의 단말 주시 상태를 측정하는 단계는
    단말의 눈동자 인식 모듈(EYE DETECTING MODULE)을 활성화하는 단계를 포함하고,
    상기 눈동자 인식 모듈은 상기 단말 자체에 장착된 카메라 렌즈를 포함하는 눈동자 인식 기반 안전 운행 방법.
  2. 제1항에 있어서,
    상기 차량 주행 상태 여부는
    주행 속도, 주행 방향 정보, 기어 상태 정보 및 내비게이션 이용여부 중 적어도 하나를 이용하여 판단하는 눈동자 인식 기반 안전 운행 방법.
  3. 제1항에 있어서,
    상기 단말 주시 상태는
    사용자의 단말 응시 시간 및 응시 빈도인 눈동자 인식 기반 안전 운행 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 단말 주시 상태 측정 결과를 바탕으로 단말 사용 조건을 만족하는지 여부는
    상기 단말 주시 상태가 임계 시간 또는 임계 빈도를 초과 하는지 여부를 기준으로 판단하는
    눈동자 인식 기반 안전 운행 방법.
  6. 제1항에 있어서,
    상기 경고 신호를 수신한 차량이 수동적 또는 능동적 방어하는 단계;
    를 더 포함하는 눈동자 인식 기반 안전 운행 방법.
  7. 제6항에 있어서,
    상기 수동적 방어는 경고음 또는 경고 진동을 발생하는 눈동자 인식 기반 안전 운행 방법.
  8. 제6항에 있어서,
    상기 능동적 방어는 안전 주행 모드로 자동 전환시키는 눈동자 인식 기반 안전 운행 방법.
  9. 제7항에 있어서,
    상기 경고음 또는 경고 진동은 응시 시간이 임계 시간을 초과하거나 응시 빈도가 임계 빈도를 초과하는 정도에 상응하여 소리의 크기와 진동의 세기가 커지는 눈동자 인식 기반 안전 운행 방법.
  10. 제7항에 있어서,
    상기 경고음 또는 경고 진동은 차량 운전대 또는 차량의자에서 활성화 되는 눈동자 인식 기반 안전 운행 방법.
  11. 제8항에 있어서,
    상기 안전 주행 모드는 ADAS(Advanced Driver Assistance System) 모드일 수 있고, 상기 ADAS는 ACC(Adaptive Cruise Control) 모듈 또는 HDA(Highway Driving Assist) 모듈을 활성화 시키는 눈동자 인식 기반 안전 운행 방법.
  12. 제1항에 있어서,
    상기 단말은 스마트폰, 태블릿피씨(Tablet PC), PDA 및 기타 이동 통신 단말 중 어느 하나인 눈동자 인식 기반 안전 운행 방법.
  13. 제1항에 있어서,
    상기 단말과 차량간 통신을 유선 또는 무선에 의해 연결하는 단계를 더 포함하며,
    무선 통신에 의해 연결되는 경우, WIFI(Wireless Fidelity) 또는 BlueTooth 중에서 어느 하나를 이용할 수 있으며,
    유선 통신에 의해 연결되는 경우, USB 또는 MHL(Mobile High-Definition Link) 중에서 어느 하나를 이용하는 눈동자 인식 기반 안전 운행 방법.
  14. 차량과 통신을 연결하기 위한 단말 인터페이스부;
    상기 단말 인터페이스에 의해 차량과 연결된 후, 상기 차량과 신호를 송수신하는 단말 통신부;
    상기 단말 통신부를 통해 상기 차량으로부터 수신한 정보를 이용해 차량 주행 상태 여부를 판단하는 주행 상태 판단부;
    상기 주행 상태 판단부에 의해 차량이 주행 상태로 판단된 경우, 사용자의 단말 주시 상태를 측정하는 주시 상태 측정부; 및
    상기 단말 주시 상태를 측정 결과를 바탕으로, 사용자의 단말 사용 조건을 만족하는지 여부를 판단하는 사용 여부 판단부;
    를 포함하며,
    상기 단말 통신부는 상기 단말 사용 조건을 만족한 경우, 상기 차량으로 경고 신호를 전송하되,
    상기 주시 상태 측정부는 단말의 눈동자 인식 모듈(EYE DETECTING MODULE)을 활성화하고,
    상기 눈동자 인식 모듈은 상기 단말 자체에 장착된 카메라 렌즈를 포함하는
    단말.
  15. 제14항에 있어서,
    상기 단말 통신부가 경고 신호를 차량으로 송신함과 동시에 단말에서 경고음 또는 경고 진동을 발생시키는 단말 방어 제어 모듈을 더 포함하는 단말.
  16. 제14항에 있어서,
    상기 주행 상태 판단부는 상기 차량으로부터 주행 속도, 주행 방향 정보, 기어 상태 정보 및 내비게이션 이용여부 중 적어도 하나를 이용하여 판단하는 단말.
  17. 제14항에 있어서,
    상기 단말 주시 상태는
    사용자의 단말 응시 시간 및 응시 빈도인 단말.
  18. 삭제
  19. 제14항에 있어서,
    상기 사용 여부 판단부는 상기 단말 주시 상태가 임계 시간 또는 임계 빈도를 초과 하는지 여부를 기준으로 판단하는 단말.
  20. 단말과 통신을 연결하기 위한 차량 인터페이스부;
    상기 차량 인터페이스에 의해 단말과 연결된 후, 상기 단말과 신호를 송수신하는 차량 통신부;
    상기 차량 통신부를 통해 상기 단말로부터 차량의 주행 상태 정보와 단말의 주시 상태 정보를 수신하여, 이를 바탕으로 사용자의 단말 사용 조건을 만족하는지 판단하는 사용 여부 판단부;
    상기 단말 사용 조건을 만족하는 경우, 수동적 또는 능동적 방어하는 차량 방어 제어 모듈;
    을 포함하되,
    상기 단말이 사용자의 단말 주시 상태 정보를 측정함에 있어, 단말의 눈동자 인식 모듈(EYE DETECTING MODULE)을 활성화하고,
    상기 눈동자 인식 모듈은 상기 단말 자체에 장착된 카메라 렌즈를 포함하는 차량.
  21. 제20항에 있어서,
    상기 주행 상태 정보를 측정함에 있어 주행 속도, 주행 방향 정보, 기어 상태 정보 및 내비게이션 이용여부 중 적어도 하나를 이용하여 측정하는 차량.
  22. 제21항에 있어서,
    상기 단말의 주시 상태 정보를 측정함에 있어 사용자의 단말 응시 시작 시점, 응시 종료 시점, 응시 시간 및 응시 빈도를 측정하는 차량.
  23. 삭제
  24. 제21항에 있어서,
    상기 단말이 주시 조건 측정 결과를 바탕으로 단말 사용 조건을 만족하는지 여부를 판단함에 있어,
    상기 단말 주시 상태가 임계 시간 또는 임계 빈도를 초과 하는지 여부를 기준으로 판단하는 차량.
  25. 제21항에 있어서,
    상기 수동적 방어는 경고음 또는 경고 진동을 발생하는 차량.
  26. 제21항에 있어서,
    상기 능동적 방어는 안전 주행 모드로 자동 전환시키는 차량.
  27. 제1항 내지 제3항 및 제5항 내지 제13항 중 어느 한 항에 기재된 방법을 실행시키기 위한 애플리케이션을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150098552A 2015-07-10 2015-07-10 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체 KR102228385B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150098552A KR102228385B1 (ko) 2015-07-10 2015-07-10 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150098552A KR102228385B1 (ko) 2015-07-10 2015-07-10 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체

Publications (2)

Publication Number Publication Date
KR20170007001A KR20170007001A (ko) 2017-01-18
KR102228385B1 true KR102228385B1 (ko) 2021-03-16

Family

ID=57991926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150098552A KR102228385B1 (ko) 2015-07-10 2015-07-10 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체

Country Status (1)

Country Link
KR (1) KR102228385B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101967232B1 (ko) * 2017-11-24 2019-04-09 오한선 차량 운전중 휴대단말의 사용 방지 시스템
KR20190067302A (ko) 2017-12-07 2019-06-17 전혜연 운전자 상태 모니터링 시스템
KR102016356B1 (ko) 2018-03-20 2019-10-21 주식회사 만도 스마트 기기와 차량 간 통신을 이용한 안전 주행 시스템 및 방법
US10967855B2 (en) * 2018-08-10 2021-04-06 Hyundai Motor Company Vehicle and method for controlling the same
WO2020166736A1 (ko) * 2019-02-13 2020-08-20 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007045169A (ja) * 2005-08-05 2007-02-22 Aisin Aw Co Ltd 車両用情報処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630163B1 (ko) * 2004-05-12 2006-09-29 삼성전자주식회사 카메라를 구비한 휴대단말기의 졸음운전방지 방법
KR20120136721A (ko) * 2011-06-09 2012-12-20 현대자동차주식회사 운전중 휴대폰 사용 경보 장치 및 그 방법
KR20130054830A (ko) * 2011-11-17 2013-05-27 현대자동차주식회사 운전자 시선추적과 교통정보를 이용한 도로상황 경보시스템 및 방법
KR20150006938A (ko) * 2013-07-09 2015-01-20 주식회사 엘지유플러스 차량 내 장치를 이용한 운전 확인 및 보상 모바일 장치, 시스템 및 이를 이용한 서비스 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007045169A (ja) * 2005-08-05 2007-02-22 Aisin Aw Co Ltd 車両用情報処理装置

Also Published As

Publication number Publication date
KR20170007001A (ko) 2017-01-18

Similar Documents

Publication Publication Date Title
US11794788B2 (en) Automatic driving system
US11148669B2 (en) Method and device for supporting a lane change for a vehicle
KR102228385B1 (ko) 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체
US10604155B2 (en) Driving assistance device
KR101996418B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US9797734B2 (en) Object recognition apparatus
KR102005253B1 (ko) 극도로 빠르게 접근하는 차량들에 응답하는 차선 보조 시스템
MX2014014194A (es) Identificacion de vehiculo autonomo.
US10600323B2 (en) Vehicle external notification device
KR20120037253A (ko) 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
WO2018150676A1 (ja) 運転切替支援装置、及び運転切替支援方法
KR102316654B1 (ko) 운전 안내 장치 및 그 제어 방법
JP2018134962A (ja) 車両用制御装置
JP5939170B2 (ja) 物体接近報知システム
JP6193177B2 (ja) 動作支援システム及び物体認識装置
CN104309529A (zh) 一种预警提示方法、系统以及相关设备
US20190084559A1 (en) Vehicle control device and method therefor
US20190143893A1 (en) Alert control apparatus, alert control method, and recording medium
JP2010198205A (ja) 衝突回避支援装置
JP5261045B2 (ja) 車両の運転支援装置
KR20130110300A (ko) 차량의 충돌 방지 장치
JP2016197312A (ja) 運転支援表示装置
JP2019144971A (ja) 移動体の制御システムおよび制御方法
KR20150086912A (ko) 차량의 사고위험 경고장치 및 그의 제어방법
US11643012B2 (en) Driving assistance device, driving situation information acquisition system, driving assistance method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant