KR20170016579A - 운전중 통화 검출 및 경보 방법과 그 시스템 - Google Patents

운전중 통화 검출 및 경보 방법과 그 시스템 Download PDF

Info

Publication number
KR20170016579A
KR20170016579A KR1020150109835A KR20150109835A KR20170016579A KR 20170016579 A KR20170016579 A KR 20170016579A KR 1020150109835 A KR1020150109835 A KR 1020150109835A KR 20150109835 A KR20150109835 A KR 20150109835A KR 20170016579 A KR20170016579 A KR 20170016579A
Authority
KR
South Korea
Prior art keywords
driver
vehicle
face
detecting
detected
Prior art date
Application number
KR1020150109835A
Other languages
English (en)
Other versions
KR101773382B1 (ko
Inventor
심상현
Original Assignee
(주) 이즈테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 이즈테크놀로지 filed Critical (주) 이즈테크놀로지
Priority to KR1020150109835A priority Critical patent/KR101773382B1/ko
Publication of KR20170016579A publication Critical patent/KR20170016579A/ko
Application granted granted Critical
Publication of KR101773382B1 publication Critical patent/KR101773382B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Abstract

본 발명은 운전중 통화 검출 및 경보 방법과 그 시스템에 관한 것으로, 본 발명에 따른 방법은 카메라로 촬영된 영상에서 차량에 승차한 운전자의 좌우 얼굴 볼 영역을 검출하는 단계, 검출된 좌우 얼굴 볼 영역의 비대칭량을 계산하는 단계, 좌우 얼굴 볼 영역의 비대칭량이 미리 정해진 기준 이상인 경우, 좌우 볼 영역에서 휴대 단말에 대응하는 직선 성분을 검출하는 단계, 그리고 직선 성분 및 차량의 속도를 이용하여 운전자의 운전중 통화 여부를 판정하는 단계를 포함한다. 본 발명에 의하면, 카메라로 운전자 얼굴을 촬영하여 영상 기반으로 운전중 통화 여부를 검출하고, 운전자가 운전중 통화를 하는 것으로 판단된 경우 적절한 경보 및 차량 제어를 할 수 있다. 또한 차량 외부에서 운전자의 통화 여부를 검출할 수 있게 됨으로써, 고속도로와 같이 고속 주행 중에 운전자가 운전중에 통화를 하는 것을 실질적으로 단속할 수 있고, 이에 따라 안전한 차량 운행 문화를 정착시킬 수 있다.

Description

운전중 통화 검출 및 경보 방법과 그 시스템{MONITORING AND WARNING METHOD FOR USING PHONE DURING DRIVING, AND SYSTEM THEREOF}
본 발명은 운전중 통화 검출 및 경보 방법과 그 시스템에 관한 것으로, 보다 자세하게는 카메라로 운전자 얼굴을 촬영하여 영상 기반으로 운전중 통화 여부를 검출하고, 운전자가 운전중 통화를 하는 것으로 판단된 경우 적절한 경보 및 차량 제어를 할 수 있는 방법 및 시스템에 관한 것이다.
휴대 단말의 보급이 국민 1인당 1대 정도로 늘어남에 따라, 휴대단말의 사용자들은 장소와 시간에 구애받지 않고, 전화통화를 하고 있다. 그런데 운전자가 운전중에 휴대 단말을 이용하여 통화를 할 경우 교통사고 발생 가능성이 매우 높아 지기 때문에 운전중에 통화를 할 경우 핸드 프리셋을 이용하도록 하고 있으며, 휴대 단말에 운전중 통화를 방지할 수 있도록 하는 프로그램을 내장하여 운전중 휴대단말 통화로 인한 사고를 줄이려는 노력이 계속되고 있다.
한국특허공개공보 제2002-0019695호(차량의 고속 이동중 휴대폰의 통화 제어방법)에서 차량의 고속 이동중 휴대단말을 통한 통화를 차단시키는 기술을 제안하고 있다. 상기한 특허는 사용자가 휴대단말에 운전 모드를 설정해 놓은 상태에서 이동속도가 기준속도를 초과하는 경우, 통화연결을 차단하는 것으로, 운전중 휴대단말을 이용한 통화를 제어하는 효과가 있다.
한국특허공개공보 제2002-0019695호 외에도 차량 운행 중에 휴대 단말을 제어하여 통화 기능을 차단하는 기술이 다수 특허 출원되었으나, 이러한 기술은 사용자가 운전 중 통화 차단 기능을 설정해놓지 않으면 운전중 통화를 차단하거나 경보를 할 수 있는 방법이 없었다.
또한 운전중 통화 기능을 차단하는 기술은 운전자가 해당 기능을 제공하는 휴대 단말을 사용하고 있을 때만 적용이 가능하고, 차량 외부에서 운전자의 통화 여부를 검출하고 경고하는 방법은 없었다.
한편 한국공개특허 제2015-0005130호 등에서 차량 내에 장착된 카메라를 이용하여 운전자의 눈을 촬영하고 졸음 여부를 판단하여, 졸음 상태로 판단된 경우 차량 내 부속 장치를 이용하여 경보하는 기술이 개시되어 있으나, 운전중 통화 여부를 검출하는 방법에 대해서는 제시하고 있지 못하였다.
따라서 본 발명이 해결하고자 하는 기술적 과제는 차량에 장착되거나 또는 차량이 주행하는 도로 상에 설치된 카메라로 운전자 얼굴을 촬영하여 영상 기반으로 운전중 통화 여부를 검출하고, 운전자가 운전중 통화를 하는 것으로 판단된 경우 적절한 경보 및 차량 제어를 할 수 있는 방법 및 시스템에 관한 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 운전중 통화 검출 및 경보 방법은 카메라로 촬영된 영상에서 차량에 승차한 운전자의 좌우 얼굴 볼 영역을 검출하는 단계, 상기 검출된 좌우 얼굴 볼 영역의 비대칭량을 계산하는 단계, 상기 좌우 얼굴 볼 영역의 비대칭량이 미리 정해진 기준 이상인 경우, 상기 좌우 볼 영역에서 휴대 단말에 대응하는 직선 성분을 검출하는 단계, 그리고 상기 직선 성분 및 상기 차량의 속도를 이용하여 상기 운전자의 운전중 통화 여부를 판정하는 단계를 포함한다.
상기 카메라로 촬영된 영상에서 차량에 승차한 운전자의 좌우 얼굴 볼 영역을 검출하는 단계는, 상기 카메라에서 촬영된 영상으로부터 차량에 승차한 운전자의 얼굴 영역을 검출하는 단계, 상기 검출된 운전자의 얼굴 영역에서 좌우 눈 영역을 검출하는 단계, 상기 검출된 운전자의 좌우 눈 영역을 이용하여 얼굴 좌우 대칭축을 산출하는 단계, 상기 검출된 운전자의 얼굴 영역에 대한 피라미드 기반 입 영역을 검출하는 단계, 상기 얼굴 좌우 대칭축 및 상기 입 영역을 이용하여 피라미드 기반 얼굴 볼 영역을 검출하는 단계를 포함할 수 있다.
상기 휴대 단말에 대응하는 직선 성분이 검출되고, 상기 차량의 속도가 미리 정해진 기준 속도 이상이며, 상기 검출된 입 영역에서 입 움직임이 검출되는 경우, 상기 운전자가 운전중 통화하는 것으로 판정할 수 있다.
상기 카메라는 상기 운전자의 얼굴을 촬영할 수 있는 상기 차량의 소정 위치에 장착되거나 상기 차량이 주행하는 도로에 설치되어 상기 운전자의 얼굴을 촬영할 수 있다.
상기 차량의 속도는 상기 차량에 장착된 속도 측정 장치 또는 상기 차량이 주행하는 도로에 설치된 속도 측정 장치에 의해 측정될 수 있다.
상기 운전자가 운전중 통화한 것으로 판정된 경우, 소정의 경보를 출력하거나 상기 차량이 소정의 동작을 하도록 제어할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 운전중 통화 검출 및 경보 시스템은, 카메라로 촬영된 영상에서 차량에 승차한 운전자의 좌우 얼굴 볼 영역을 검출하고, 상기 검출된 좌우 얼굴 볼 영역의 비대칭량을 계산하며, 상기 좌우 얼굴 볼 영역의 비대칭량이 미리 정해진 기준 이상인 경우, 상기 좌우 볼 영역에서 휴대 단말에 대응하는 직선 성분을 검출하는 영상 처리부, 그리고 상기 직선 성분 및 상기 차량의 속도를 이용하여 상기 운전자의 운전중 통화 여부를 판정하는 통화 판정부를 포함한다.
상기 영상 처리부는, 상기 카메라에서 촬영된 영상으로부터 차량에 승차한 운전자의 얼굴 영역을 검출하고, 상기 검출된 운전자의 얼굴 영역에서 좌우 눈 영역을 검출하며, 상기 검출된 운전자의 좌우 눈 영역을 이용하여 얼굴 좌우 대칭축을 산출하고, 상기 검출된 운전자의 얼굴 영역에 대한 피라미드 기반 입 영역을 검출하며, 상기 얼굴 좌우 대칭축 및 상기 입 영역을 이용하여 피라미드 기반 얼굴 볼 영역을 검출할 수 있다.
상기 통화 판정부는, 상기 휴대 단말에 대응하는 직선 성분이 검출되고, 상기 차량의 속도가 미리 정해진 기준 속도 이상이며, 상기 검출된 입 영역에서 입 움직임이 검출되는 경우, 상기 운전자가 운전중 통화하는 것으로 판정할 수 있다.
상기 카메라는 상기 운전자의 얼굴을 촬영할 수 있는 상기 차량의 소정 위치에 장착되거나 상기 차량이 주행하는 도로에 설치되어 상기 운전자의 얼굴을 촬영할 수 있다.
상기 시스템은 상기 차량의 속도를 측정하는 속도 측정 장치를 더 포함할 수 있다.
상기 속도 측정 장치는 상기 차량에 장착되거나 상기 차량이 주행하는 도로에 설치될 수 있다.
상기 시스템은 상기 운전자가 운전중 통화한 것으로 판정된 경우, 소정의 경보를 출력하거나 상기 차량이 소정의 동작을 하도록 제어할 수 있다.
본 발명에 의하면, 카메라로 운전자 얼굴을 촬영하여 영상 기반으로 운전중 통화 여부를 검출하고, 운전자가 운전중 통화를 하는 것으로 판단된 경우 적절한 경보 및 차량 제어를 할 수 있다.
또한 차량 외부에서 운전자의 통화 여부를 검출할 수 있게 됨으로써, 고속도로와 같이 고속 주행 중에 운전자가 운전중에 통화를 하는 것을 실질적으로 단속할 수 있고, 이에 따라 안전한 차량 운행 문화를 정착시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전중 통화 검출 및 경보 시스템의 구성을 설명하기 위해 제공되는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 운전중 통화 검출 및 경보 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 운전중 통화 검출을 위한 영상 처리를 설명하기 위해 제공되는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 운전중 통화 검출 및 경보 시스템의 구성을 설명하기 위해 제공되는 블록도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 운전중 통화 검출 및 경보 시스템의 구성을 설명하기 위해 제공되는 블록도이다.
도 1을 참고하면, 본 발명에 따른 운전중 통화 검출 및 경보 시스템은 카메라(110), 영상 처리부(120), 속도 측정 장치(130), 통화 판정부(140), 제어부(150), 경보 장치(160), 안전 벨트 장치(170), 차량 주행 장치(180) 및 통신부(190)를 포함할 수 있다.
카메라(110)는 차량에 장착되어 차량에 승차한 운전자를 촬영할 수 있다. 이를 위해 카메라(110)는 차량의 실내에 적절한 위치에 설치될 수 있으며, 실시예에 따라서는 차량 외부에 설치되어 차량 내부의 운전자를 촬영하도록 하는 것도 가능하다.
카메라(110)는 RGB 카메라 또는 적외선 카메라 등이 사용될 수 있으며, 그 외에도 운전자의 얼굴을 촬영한 영상에서 아래에서 설명하는 얼굴의 세부 영역, 휴대 단말의 직선 성분 등을 검출할 수 있는 영상을 획득할 수 있으면 어느 카메라를 사용하여도 무방하다.
영상 처리부(120)는 카메라(110)에서 촬영된 영상을 제공받아 차량에 승차한 운전자의 얼굴 영역, 좌우 눈 영역, 입 영역, 좌우 얼굴 볼 영역, 휴대 단말 대응 직선 성분 등을 검출할 수 있다. 또한 영상 처리부(120)는 얼굴 좌우 대칭축을 산출하고, 좌우 얼굴 볼 영역의 비대칭량을 계산하는 기능도 수행할 수 있다.
속도 측정 장치(130)는 차량의 속도를 측정하여 통화 판정부(140)에 제공하는 기능을 수행한다. 속도 측정 장치(130)는 차량에 제조시에 기본 장착된 차량 속도 센서로 구현될 수 있다. 물론 속도 측정 장치(130)는 차량에 기본 장착된 차량 속도 센서 외에도 G-센서 또는 GPS 수신 모듈 등을 구비한 장치, 예컨대 휴대 단말이나 네비게이션 장치로 구현되는 것도 가능하다.
통화 판정부(140)는 영상 처리부(120)에서 제공되는 운전자의 얼굴 영역을 처리한 결과(운전자의 좌우 얼굴 볼 영역 비대칭량, 휴대 단말에 대응하는 직선 성분, 운전자의 입 영역에서 검출된 입 움직임 등) 및 속도 측정 장치(130)에서 제공되는 차량 속도 정보를 이용하여 운전자가 운전중 통화하는지 여부를 판정할 수 있다.
제어부(150)는, 통화 판정부(140)에서 운전자가 운전중 통화한 것으로 판정한 경우, 안전을 위해 차량에 소정의 경보를 출력되게 하거나 차량이 소정의 동작을 하도록 제어하는 기능을 수행한다.
구체적으로 제어부(150)는 경보 장치(160)를 통해 운전자에게 경보를 할 수 있다. 경보 장치(160)는 스피커, 경고등, 디스플레이 장치, 진동 출력 장치 등으로 구현될 수 있다. 예컨대 차량에 장착된 스피커(도시하지 않음)를 통해 경고음이 출력되게 하거나, 차량에 장착된 디스플레이 장치(도시하지 않음)를 통해 경고 메시지 등이 출력되게 할 수 있다. 물론 제어부(150)는 차량에 설치된 경고등이 있는 경우 발광을 시켜서 운전자에게 경고하도록 구현할 수도 있다. 또한 운전대나 운전석에 진동을 출력할 수 있는 모터 등이 장착된 경우, 제어부(150)는 진동을 발생시켜 운전자에게 경고할 수도 있다.
한편 실시예에 따라 제어부(150)는 안전 벨트 장치(170)의 안전 벨트를 당기거나 또는 당기고 풀어지는 동작을 반복하는 방식으로 운전자에게 경고할 수도 있다.
한편 제어부(150)는 차량 주행 장치(180)를 제어하여 차량의 속도를 감속시킬 수도 있다. 여기서 차량 주행 장치(180)는 차량의 주행과 관련된 장치로서 액셀레이터 또는 브레이크 등을 포함할 수 있다.
통신부(190)는 2G/3G/4G 이동 통신망, 와이브로(Wibro), 위성 통신망 등의 무선 통신망을 통해, 제어부(150)가 원격지에 위치한 외부 장치와 데이터 교환을 할 수 있도록 지원하는 기능을 제공한다.
통신부(190)는 제어부(150)의 제어에 따라 해당 차량의 운전자가 운전중 통화 여부를 검출한 정보를 외부에 위치한 서버로 전송할 수 있다. 예컨대 운전중 통화를 단속하는 시스템에 적용할 경우, 경찰청에서 운영하는 단속 서버(도시하지 않음)로 운전중 통화를 촬영한 영상과 단속 정보를 전송하도록 구현할 수도 있다. 물론 그 외에도 차량이 렌터카, 택배용 차량, 화물 차량 등으로 기업에서 관리하는 차량인 경우, 운전중 통화 검출 정보를 해당 기업에서 운영하는 관리 서버(도시하지 않음)에 통지하게 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 운전중 통화 검출 및 경보 시스템의 동작을 설명하기 위해 제공되는 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 운전중 통화 검출을 위한 영상 처리를 설명하기 위해 제공되는 도면이다.
도 2 및 도 3을 참고하면, 먼저 영상 처리부(120)는 카메라(110)에서 촬영된 영상에서 차량에 승차한 운전자의 좌우 얼굴 볼 영역(50L, 50R)을 검출한다(S310).
단계(S310)를 보다 자세히 설명하면, 먼저 영상 처리부(120)는 카메라(110)에서 촬영된 영상에서 차량에 승차한 운전자의 얼굴 영역(10)을 검출할 수 있다(311).
다음으로 영상 처리부(120)는 단계(S311)에서 검출된 운전자의 얼굴 영역에서 좌우 눈 영역(20L, 20R)을 검출할 수 있다(S313).
그리고 영상 처리부(120)는 검출된 운전자의 좌우 눈 영역(20L, 20R)을 이용하여 얼굴 좌우 대칭축(30)을 산출할 수 있다(S315).
이후 영상 처리부(120)는 검출된 운전자의 얼굴 영역(10)에 대해서 피라미드 영상 처리 기법을 적용하여 입 영역(40)을 검출할 수 있다(S317).
다음으로 영상 처리부(120)는 얼굴 좌우 대칭축(30) 및 입 영역(40)을 이용하여 피라미드 영상 처리 기법을 적용하면 좌우 얼굴 볼 영역(50L, 50R)을 검출할 수 있다(S319).
영상 처리부(120)는 위에서 설명한 방법 외에도 다양한 방법으로 차량에 승차한 운전자의 좌우 얼굴 볼 영역(50L, 50R)을 검출하는 것도 가능하다.
다음으로 영상 처리부(120)는 운전자의 좌우 얼굴 볼 영역(50L, 50R)을 검출한 후, 좌우 얼굴 볼 영역(50L, 50R)의 비대칭량을 계산할 수 있다(S320). 예컨대 좌측 얼굴 볼 영역(50L)을 세로축을 기준으로 180도 회전시킨 영상과 우측 얼굴 볼 영역(50R)의 차영상을 구하는 방식으로 좌우 얼굴 볼 영역(50L, 50R)의 비대칭량을 계산할 수 있다. 물론 그 외에도 다양한 방식으로 좌우 얼굴 볼 영역(50L, 50R)의 비대칭량을 계산하여도 무방하다.
영상 처리부(120)는 단계(S320)에서 계산된 좌우 얼굴 볼 영역(50L, 50R)의 비대칭량이 미리 정해진 기준 이상인 경우(S330-Y), 좌우 얼굴 볼 영역(50L, 50R)에서 휴대 단말에 대응하는 직선 성분을 검출하는 동작을 수행할 수 있다(S340).
일반적으로 사람의 얼굴은 어느 정도는 좌우 대칭이므로 휴대 단말로 통화를 하지 않는 상황에서는 좌우 얼굴 볼 영역(50L, 50R)의 비대칭량이 미리 정해진 기준 이하가 된다. 그러나 운전자가 통화를 위해서 휴대 단말을 손에 쥐고 얼굴에다 가져다 되면, 좌우 얼굴 볼 영역(50L, 50R)의 비대칭량은 미리 정해진 기준을 넘어서게 된다. 다만 통화를 위해서 휴대 단말을 가져다가 되는 경우 외에도, 얼굴에 손을 가져다가 될 수 있는 다양한 상황이 존재할 수 있으므로, 본 발명에서는 보다 정확한 판단을 위해서 휴대 단말에 대응하는 직선 성분을 좌우 얼굴 볼 영역(50L, 50R)에서 검출하게 된다.
다음으로 통화 판정부(140)는 단계(S340)에서 좌우 얼굴 볼 영역(50L, 50R)의 비대칭량이 기준치 이상이고, 좌우 얼굴 볼 영역(50L, 50R) 중 어느 한 영역에서 휴대 단말에 대응하는 직선 성분이 검출된 경우 운전자가 통화하는 것으로 판단할 수 있다(S350). 다만 차량이 정차 또는 주차된 상태에서 통화하는 경우도 있으므로 통화 판정부(140)는 속도 측정 장치(130)로부터 차량의 속도 정보를 제공받아 미리 정해진 속도 이상으로 차량이 운행중인 경우에만 운전중 통화로 판단하도록 구현하는 것이 바람직하다.
이후 제어부(150)는, 운전자가 운전중 통화하는 것으로 판정된 경우, 경보 장치(160), 안전 벨트 장치(170) 또는 차량 주행 장치(180) 등을 제어하여 운전자에게 경보하거나 차량의 속도를 감속하는 등의 조치를 취할 수 있다(S370).
한편 실시예에 따라서 제어부(150)는 단계(S370)를 수행하는 것 외에 통신부(190)를 통해 외부 장치로 운전중 통화 검출 정보를 전송할 수도 있다.
도 4는 본 발명의 다른 실시예에 따른 운전중 통화 검출 및 경보 시스템의 구성을 설명하기 위해 제공되는 블록도이다.
도 4를 참고하면, 본 발명의 다른 실시예에 따른 운전중 통화 검출 및 경보 시스템은 카메라(210), 영상 처리부(220), 속도 측정 장치(230), 통화 판정부(240), 제어부(250), 차량 번호 인식부(270), 데이터베이스(280) 및 통신부(290)를 포함할 수 있다.
카메라(210)는 차량이 주행하는 도로에 설치되어, 차량에 승차한 운전자를 촬영할 수 있다. 예컨대 차량의 교통 법규 위반 등을 단속하기 위한 목적으로 도로 상에 설치되는 속도 위반 감시 카메라, 주정차 위반 감시 카메라, 신호 위반 감시 카메라 등과 같은 방법으로 도로 상에 설치될 수 있다. 필요한 경우 운전자를 보다 정면으로 촬영하기 위해서 카메라(210)의 설치 위치는 종래 단속 카메라보다는 낮은 위치에 별도로 설치되는 것도 가능하다.
카메라(210)는 RGB 카메라 또는 적외선 카메라 등이 사용될 수 있으며, 그 외에도 운전자의 얼굴을 촬영한 영상에서 아래에서 설명하는 얼굴의 세부 영역, 휴대 단말의 직선 성분 등을 검출할 수 있는 영상을 획득할 수 있으면 어느 카메라를 사용하여도 무방하다.
영상 처리부(220)는 도 1에서의 영상 처리부(120)와 마찬가지로 카메라(210)에서 촬영된 영상을 제공받아 차량에 승차한 운전자의 얼굴 영역, 좌우 눈 영역, 입 영역, 좌우 얼굴 볼 영역, 휴대 단말 대응 직선 성분 등을 검출할 수 있다. 또한 영상 처리부(220)는 얼굴 좌우 대칭축을 산출하고, 좌우 얼굴 볼 영역의 비대칭량을 계산하는 기능도 수행할 수 있다.
속도 측정 장치(230)는 도로 상에 설치되어 운행중인 차량의 속도를 측정하여 통화 판정부(240)에 제공하는 기능을 수행한다. 속도 측정 장치(230)는 기존에 알려진 전파를 이용하여 차량의 속도를 측정하는 레이더식, 빛의 반사에 따라 측정하는 레이저식 또는 감지선에 의해 측정하는 루프 센서식 등이 이용될 수 있다.
통화 판정부(240)는 도 1에서의 통화 판정부(140)와 마찬가지로 영상 처리부(220)에서 제공되는 운전자의 얼굴 영역을 처리한 결과(운전자의 좌우 얼굴 볼 영역 비대칭량, 휴대 단말에 대응하는 직선 성분, 운전자의 입 영역에서 검출된 입 움직임 등) 및 속도 측정 장치(230)에서 제공되는 차량 속도 정보를 이용하여 운전자가 운전중 통화하는지 여부를 판정할 수 있다.
차량 번호 인식부(270)는 영상 처리부(200)에서 제공된 영상에서 차량 번호 인식 알고리즘을 적용하여 차량 번호를 인식할 수 있다.
제어부(250)는, 통화 판정부(240)에서 운전자가 운전중 통화한 것으로 판정한 경우 인식된 차량 번호와 운전중 통화 영상을 데이터베이스(280)에 저장할 수 있다. 데이터베이스(280)에 저장된 차량 번호와 운전중 통화 영상은 운전중 통화 단속에 따른 범칙금이나 과태료 부과 자료로 활용될 수 있다.
또한 실시예에 따라서 제어부(250)는 인식된 차량 번호 및 단속 위치 정보(단속 카메라 설치 위치 정보)를 통신부(290)를 통해 경찰관이 휴대하는 휴대 단말(도시하지 않음)에 전송할 수도 있다. 이를 위해 통신부(290)는 2G/3G/4G 이동 통신망, 와이브로(Wibro), 위성 통신망 등의 무선 통신망을 통해, 제어부(250)가 원격지에 위치한 휴대 단말과 데이터를 교환할 수 있도록 지원한다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 운전중 통화 검출 및 경보 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

  1. 카메라로 촬영된 영상에서 차량에 승차한 운전자의 좌우 얼굴 볼 영역을 검출하는 단계,
    상기 검출된 좌우 얼굴 볼 영역의 비대칭량을 계산하는 단계,
    상기 좌우 얼굴 볼 영역의 비대칭량이 미리 정해진 기준 이상인 경우, 상기 좌우 볼 영역에서 휴대 단말에 대응하는 직선 성분을 검출하는 단계, 그리고
    상기 직선 성분 및 상기 차량의 속도를 이용하여 상기 운전자의 운전중 통화 여부를 판정하는 단계
    를 포함하는 운전중 통화 검출 및 경보 방법.
  2. 제 1 항에서,
    상기 카메라로 촬영된 영상에서 차량에 승차한 운전자의 좌우 얼굴 볼 영역을 검출하는 단계는,
    상기 카메라에서 촬영된 영상으로부터 차량에 승차한 운전자의 얼굴 영역을 검출하는 단계,
    상기 검출된 운전자의 얼굴 영역에서 좌우 눈 영역을 검출하는 단계,
    상기 검출된 운전자의 좌우 눈 영역을 이용하여 얼굴 좌우 대칭축을 산출하는 단계,
    상기 검출된 운전자의 얼굴 영역에 대한 피라미드 기반 입 영역을 검출하는 단계,
    상기 얼굴 좌우 대칭축 및 상기 입 영역을 이용하여 피라미드 기반 얼굴 볼 영역을 검출하는 단계
    를 포함하는 운전중 통화 검출 및 경보 방법.
  3. 제 2 항에서,
    상기 휴대 단말에 대응하는 직선 성분이 검출되고, 상기 차량의 속도가 미리 정해진 기준 속도 이상이며, 상기 검출된 입 영역에서 입 움직임이 검출되는 경우, 상기 운전자가 운전중 통화하는 것으로 판정하는 운전중 통화 검출 및 경보 방법.
  4. 제 1 항에서,
    상기 카메라는 상기 운전자의 얼굴을 촬영할 수 있는 상기 차량의 소정 위치에 장착되거나 상기 차량이 주행하는 도로에 설치되어 상기 운전자의 얼굴을 촬영하는 운전중 통화 검출 및 경보 방법.
  5. 제 1 항에서,
    상기 차량의 속도는 상기 차량에 장착된 속도 측정 장치 또는 상기 차량이 주행하는 도로에 설치된 속도 측정 장치에 의해 측정되는 운전중 통화 검출 및 경보 방법.
  6. 제 1 항에서,
    상기 운전자가 운전중 통화한 것으로 판정된 경우, 소정의 경보를 출력하거나 상기 차량이 소정의 동작을 하도록 제어하는 운전중 통화 검출 및 경보 방법.
  7. 카메라로 촬영된 영상에서 차량에 승차한 운전자의 좌우 얼굴 볼 영역을 검출하고, 상기 검출된 좌우 얼굴 볼 영역의 비대칭량을 계산하며, 상기 좌우 얼굴 볼 영역의 비대칭량이 미리 정해진 기준 이상인 경우, 상기 좌우 볼 영역에서 휴대 단말에 대응하는 직선 성분을 검출하는 영상 처리부, 그리고
    상기 직선 성분 및 상기 차량의 속도를 이용하여 상기 운전자의 운전중 통화 여부를 판정하는 통화 판정부
    를 포함하는 운전중 통화 검출 및 경보 시스템.
  8. 제 7 항에서,
    상기 영상 처리부는,
    상기 카메라에서 촬영된 영상으로부터 차량에 승차한 운전자의 얼굴 영역을 검출하고, 상기 검출된 운전자의 얼굴 영역에서 좌우 눈 영역을 검출하며, 상기 검출된 운전자의 좌우 눈 영역을 이용하여 얼굴 좌우 대칭축을 산출하고, 상기 검출된 운전자의 얼굴 영역에 대한 피라미드 기반 입 영역을 검출하며, 상기 얼굴 좌우 대칭축 및 상기 입 영역을 이용하여 피라미드 기반 얼굴 볼 영역을 검출하는 운전중 통화 검출 및 경보 시스템.
  9. 제 8 항에서,
    상기 통화 판정부는,
    상기 휴대 단말에 대응하는 직선 성분이 검출되고, 상기 차량의 속도가 미리 정해진 기준 속도 이상이며, 상기 검출된 입 영역에서 입 움직임이 검출되는 경우, 상기 운전자가 운전중 통화하는 것으로 판정하는 운전중 통화 검출 및 경보 시스템.
  10. 제 7 항에서,
    상기 카메라는 상기 운전자의 얼굴을 촬영할 수 있는 상기 차량의 소정 위치에 장착되거나 상기 차량이 주행하는 도로에 설치되어 상기 운전자의 얼굴을 촬영하는 운전중 통화 검출 및 경보 시스템.
  11. 제 7 항에서,
    상기 차량의 속도를 측정하는 속도 측정 장치
    를 더 포함하고,
    상기 속도 측정 장치는 상기 차량에 장착되거나 상기 차량이 주행하는 도로에 설치되는 운전중 통화 검출 및 경보 시스템.
  12. 제 7 항에서,
    상기 운전자가 운전중 통화한 것으로 판정된 경우, 소정의 경보를 출력하거나 상기 차량이 소정의 동작을 하도록 제어하는 제어부
    를 더 포함하는 운전중 통화 검출 및 경보 시스템.
KR1020150109835A 2015-08-04 2015-08-04 운전중 통화 검출 및 경보 방법과 그 시스템 KR101773382B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150109835A KR101773382B1 (ko) 2015-08-04 2015-08-04 운전중 통화 검출 및 경보 방법과 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150109835A KR101773382B1 (ko) 2015-08-04 2015-08-04 운전중 통화 검출 및 경보 방법과 그 시스템

Publications (2)

Publication Number Publication Date
KR20170016579A true KR20170016579A (ko) 2017-02-14
KR101773382B1 KR101773382B1 (ko) 2017-08-31

Family

ID=58121288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150109835A KR101773382B1 (ko) 2015-08-04 2015-08-04 운전중 통화 검출 및 경보 방법과 그 시스템

Country Status (1)

Country Link
KR (1) KR101773382B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109398084A (zh) * 2017-08-18 2019-03-01 江苏斯诺物联科技有限公司 一种基于驾驶员生理参数的疲劳驾驶检测系统
KR20190023362A (ko) 2017-08-28 2019-03-08 박영준 핸드폰을 이용한 차량운전 중 휴대폰 사용 경고장치 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109398084A (zh) * 2017-08-18 2019-03-01 江苏斯诺物联科技有限公司 一种基于驾驶员生理参数的疲劳驾驶检测系统
KR20190023362A (ko) 2017-08-28 2019-03-08 박영준 핸드폰을 이용한 차량운전 중 휴대폰 사용 경고장치 및 그 제어방법

Also Published As

Publication number Publication date
KR101773382B1 (ko) 2017-08-31

Similar Documents

Publication Publication Date Title
WO2022062659A1 (zh) 智能驾驶控制方法及装置、车辆、电子设备和存储介质
KR20180051503A (ko) 운전 보조를 제공하는 시스템 및 방법
JP6690666B2 (ja) 警報装置、警報システム及び携帯端末
WO2013051306A1 (ja) 脇見検出装置
AU2017286887A1 (en) Enhanced safety through augmented reality and shared data
CN110979318B (zh) 车道信息获取方法、装置、自动驾驶车辆及存储介质
WO2016127386A1 (en) System and method for prompting vehicle driving conditions
KR20160147580A (ko) 후방 차량의 과속 접근을 경고하는 장치
CN106960602A (zh) 在车辆行驶过程中进行驾驶预警的方法、车载设备及装置
KR20190025165A (ko) 3d 교통단속장치를 이용한 주정차 단속 방법 및 주정차 단속 시스템
CN106297407A (zh) 基于智能终端的行车安全提示方法及装置
WO2016154777A1 (en) Intelligent voice assistant system, apparatus, and method for vehicle
KR101773382B1 (ko) 운전중 통화 검출 및 경보 방법과 그 시스템
JP2007122472A (ja) 運転支援システムおよびプログラム
KR101947473B1 (ko) 후방 차량을 고려한 안전 운전 지원 장치 및 방법
CN107599965B (zh) 用于车辆的电子控制装置及方法
CN111028531B (zh) 提示方法、装置、自动驾驶车辆及存储介质
KR102319383B1 (ko) 블랙박스 영상을 이용하여 교통 법규 위반 차량을 자동으로 신고하는 장치 및 방법
JP2006254055A (ja) 車載電話システム
JP2008225815A (ja) 渋滞防止装置および渋滞防止方法
JP5104242B2 (ja) 情報提供装置、情報提供システム、コンピュータプログラム及び情報提供方法
JP6927787B2 (ja) 車載器および運転支援装置
JP2016139192A (ja) 運転支援装置、コンピュータプログラム及び運転支援方法
JP6443255B2 (ja) 信号通過支援装置
CN111098864B (zh) 提示方法、装置、自动驾驶车辆及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant