KR20120136721A - Apparatus and method for alarming use of mobile phone on driving - Google Patents

Apparatus and method for alarming use of mobile phone on driving Download PDF

Info

Publication number
KR20120136721A
KR20120136721A KR1020110055830A KR20110055830A KR20120136721A KR 20120136721 A KR20120136721 A KR 20120136721A KR 1020110055830 A KR1020110055830 A KR 1020110055830A KR 20110055830 A KR20110055830 A KR 20110055830A KR 20120136721 A KR20120136721 A KR 20120136721A
Authority
KR
South Korea
Prior art keywords
mobile phone
driver
vehicle
alarm
driving
Prior art date
Application number
KR1020110055830A
Other languages
Korean (ko)
Inventor
정의윤
정호철
이병준
김삼용
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020110055830A priority Critical patent/KR20120136721A/en
Publication of KR20120136721A publication Critical patent/KR20120136721A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Abstract

PURPOSE: An apparatus and a method for alarming use of a mobile phone during driving are provided to induce safe driving and prevent malfunction of a vehicle by sensing a driver using a mobile phone. CONSTITUTION: An apparatus for alarming use of a mobile phone during driving comprises a camera unit(10) which photographs driver's face, a mobile phone use sensing unit(20) which detects a driver using a mobile phone from the face image, an ECU(Electronic Control Unit) interlock unit(30) which interlocks with an ECU in a vehicle to detect traveling of the vehicle, a control unit(40) which transmits an alarm signal when the mobile phone use sensing unit senses the traveling of the vehicle and the driver using the mobile phone, and an alarm unit(50) which outputs alarm sounds according to the alarm signal from the control unit. [Reference numerals] (10) Camera unit; (20) Mobile phone use sensing unit; (30) ECU interlock unit; (40) Control unit; (50) Alarm unit

Description

운전중 휴대폰 사용 경보 장치 및 그 방법{APPARATUS AND METHOD FOR ALARMING USE OF MOBILE PHONE ON DRIVING}Alarm device and method for using mobile phone while driving {APPARATUS AND METHOD FOR ALARMING USE OF MOBILE PHONE ON DRIVING}

본 발명은 운전중 휴대폰 사용 경보 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 운전중인 운전자의 영상을 분석하여 휴대폰 사용을 인지하면 경보를 울려 안전운전을 유도하는 운전중 휴대폰 사용 경보 장치 및 그 방법에 관한 것이다.
The present invention relates to a mobile phone use alarm device and method thereof, and more particularly, to analyze the image of the driver while driving mobile phone use alarm device and method for driving to drive a safe operation by recognizing the use of the mobile phone alarm It is about.

교통사고 발생률이 매우 높은 국내 실정상, 운전중의 휴대폰 통화는 교통사고 발생 확률을 대단히 높게 하며, 실제로 교통사고 경험이 있는 운전자들 중에는 상당수가 휴대폰 통화중에 사고를 경험한 적이 있다는 사실이 언론매체의 보도 등을 통해 알려진 바 있다.In Korea, where the incidence of traffic accidents is very high, mobile phone calls while driving can greatly increase the probability of traffic accidents.In fact, many drivers who have experienced traffic accidents have experienced accidents while talking on mobile phones. It is known through the sidewalk.

따라서, 전화 발신자는 통화를 수신하는 상대방의 운전 여부를 확인하여 통화 상대방이 운전중인 경우에는 가급적 통화를 자제토록 하는 것이 바람직한 통화예절이다.Therefore, it is preferable that the caller checks whether the other party receiving the call is driving, and if the other party is driving, avoiding the call as much as possible.

현재, 교통사고 발생률을 낮추기 위해 운전중 휴대폰 사용금지 및 핸즈프리 통화장치의 차량 장착을 규정화해 정착시켜가고 있는 실정이나, 핸즈프리 통화장치를 이용한 전화통화 역시도 운전자의 정신집중을 분산시켜 안전운전을 도모하기 어렵게 하는 문제점이 있다.Currently, in order to reduce the incidence of traffic accidents, the use of mobile phones and hands-free call devices while driving are regulated and settled.However, telephone calls using hands-free call devices can also be distributed to the driver to promote safe driving. There is a problem that makes it difficult.

이를 해결하기 위해, 통화 전파를 차단하여 운전중 휴대폰 사용을 원천적으로 차단하는 방안이 제안되었으나, 이는 긴급통화를 차단하는 것은 물론 동승자의 휴대폰 통화마저 차단하는 부작용이 있으며, 아울러 휴대폰에서의 메시지 확인/전송 및 웹서핑(검색)을 검출해 내지 못하는 문제점이 있다.
In order to solve this problem, it has been proposed to block call propagation to block the use of mobile phones while driving, but this has the side effect of not only blocking emergency calls but also blocking mobile phone calls of passengers. There is a problem in that it does not detect transmission and web surfing (search).

상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 운전중인 운전자의 영상을 분석하여 통화는 물론 메시지 확인/전송 및 웹서핑과 관련된 휴대폰 사용을 인지하면 경보를 울려 운전자의 안전운전을 유도하는 운전중 휴대폰 사용 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.In order to solve the problems of the prior art as described above, the present invention analyzes the image of the driver while driving to recognize the use of the mobile phone associated with the call as well as message confirmation / transmission and web surfing to alert the driver to drive the safe driving An object of the present invention is to provide a mobile phone use alarm device and a method thereof while driving.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.

상기 목적을 달성하기 위한 본 발명의 장치는, 운전중 휴대폰 사용 경보 장치에 있어서, 차량 내 운전자의 얼굴 영상을 촬영하는 영상 촬영수단; 상기 운전자의 얼굴 영상에서 상기 운전자의 휴대폰 사용을 감지하는 휴대폰 사용 감지수단; 상기 차량 내 ECU(Electronic Control Units)와 연동하여 상기 차량의 주행을 감지하는 ECU 연동수단; 상기 ECU 연동수단을 통해 상기 차량이 주행중임을 감지한 상태에서 상기 휴대폰 사용 감지수단이 상기 운전자의 휴대폰 사용을 감지한 경우 경보수단으로 경보신호를 전달하는 제어수단; 및 상기 제어수단으로부터의 경보신호에 따라 경보음을 울리는 상기 경보수단을 포함한다.An apparatus of the present invention for achieving the above object, the mobile phone using alarm device while driving, the image taking means for photographing the face image of the driver in the vehicle; Mobile phone use detection means for detecting a mobile phone use of the driver in the face image of the driver; ECU interlocking means for detecting driving of the vehicle in cooperation with the ECU (Electronic Control Units) in the vehicle; Control means for transmitting an alarm signal to an alarm means when the mobile phone use detection means detects the use of the mobile phone by the driver while detecting that the vehicle is driving through the ECU interlocking means; And the alarm means for sounding an alarm sound in accordance with the alarm signal from the control means.

또한 상기 목적을 달성하기 위한 본 발명의 방법은, 운전중 휴대폰 사용 경보 방법에 있어서, 차량 내 운전자의 얼굴 영상을 촬영하는 단계; 상기 운전자의 얼굴 영상에서 상기 운전자의 휴대폰 사용을 감지하는 휴대폰 사용 감지단계; 상기 차량 내 ECU(Electronic Control Units)와 연동하여 상기 차량의 주행을 감지하는 단계; 및 상기 차량이 주행중에 상기 운전자의 휴대폰 사용을 감지함에 따라 경보음을 울리는 단계를 포함한다.In addition, the method of the present invention for achieving the above object, in the mobile phone use alert method while driving, comprising the steps of: photographing a face image of a driver in a vehicle; Detecting a use of a mobile phone by a mobile phone in the face image of the driver; Detecting driving of the vehicle in association with an ECU in the vehicle; And sounding an alarm when the vehicle senses the use of the mobile phone while the vehicle is driving.

본 발명에서 휴대폰은 통화가 가능한 모든 휴대 단말기를 포함하며, 특히 최근에 출시된 스마트폰을 포함한다.
In the present invention, the mobile phone includes all mobile terminals capable of making a call, and particularly includes a recently released smart phone.

상기와 같은 본 발명은, 운전중인 운전자의 영상을 분석하여 통화는 물론 메시지 확인/전송 및 웹서핑과 관련된 휴대폰 사용을 인지하면 경보를 울려 운전자의 안전운전을 유도할 수 있는 효과가 있다.The present invention as described above, by analyzing the image of the driver while driving and recognizes the use of the mobile phone associated with the call as well as message confirmation / transmission and web surfing has the effect of inducing the driver to drive the safe driving.

또한, 본 발명은 차량 내 각종 전자 기기에 악영향을 미치는 전파 차단 방식에서 벗어나, 영상 처리를 통해 운전자의 휴대폰 사용을 감지함으로써, 차량의 오작동을 방지할 수 있는 효과가 있다.
In addition, the present invention has the effect of preventing the malfunction of the vehicle by detecting the use of the mobile phone of the driver through the image processing from the radio wave blocking method that adversely affects various electronic devices in the vehicle.

도 1 은 본 발명에 따른 운전중 휴대폰 사용 경보 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 운전자의 얼굴 영상에 대한 일예시도,
도 3 은 본 발명에 따른 휴대폰 사용 감지부의 일실시예 상세 구성도,
도 4 는 본 발명에 따른 운전자의 시선 검출 과정에 대한 일예시도,
도 5 는 본 발명에 따른 운전중 휴대폰 사용 경보 방법에 대한 일실시예 흐름도이다.1 is a configuration diagram of an embodiment of an alarm device for using a mobile phone according to the present invention;
2 is an exemplary view of a face image of a driver according to the present invention;
3 is a detailed configuration diagram of an embodiment of a mobile phone use detection unit according to the present invention;
4 is an exemplary view illustrating a gaze detection process of a driver according to the present invention;
5 is a flowchart illustrating an embodiment of a method for alerting the use of a mobile phone while driving according to the present invention.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It can be easily carried out. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명에 따른 운전중 휴대폰 사용 경보 장치의 일실시예 구성도이다.1 is a configuration diagram of an embodiment of a mobile phone use warning device while driving according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 운전중 휴대폰 사용 경보 장치는, 영상 촬영부(10), 휴대폰 사용 감지부(20), ECU(Electronic Control Units) 연동부(30), 제어부(40), 및 경보부(50)를 포함한다. 여기서, 제어부(40)는 차량에 구비되어 있는 ECU로 대체되어, ECU가 제어부(40)의 기능을 수행할 수도 있다. 이때 ECU 연동부(30)는 구비하지 않아도 된다.As shown in FIG. 1, the mobile phone use warning device according to the present invention includes an image photographing unit 10, a mobile phone use detecting unit 20, an ECU (Electronic Control Units) interlocking unit 30, and a control unit 40. ), And an alarm unit 50. Here, the controller 40 may be replaced with an ECU provided in the vehicle, and the ECU may perform a function of the controller 40. At this time, the ECU linkage unit 30 does not have to be provided.

상기 각 구성요소들에 대해 상세히 살펴보면, 먼저 영상 촬영부(10)는 야간 촬영이 가능한 적외선 카메라를 포함하며, 차량의 운전석에 앉아 있는 운전자의 얼굴 영상을 촬영한다. 이렇게 촬영된 운전자의 얼굴 영상은 일예로 도 2에 도시된 바와 같다.Looking at the respective components in detail, first, the image capturing unit 10 includes an infrared camera capable of night photographing, and photographs the face image of the driver sitting in the driver's seat of the vehicle. The face image of the driver photographed as described above is illustrated in FIG. 2 as an example.

다음으로, 휴대폰 사용 감지부(20)는 영상 촬영부(10)에서 촬영된 운전자의 얼굴 영상에서 운전자의 휴대폰 사용을 감지한다.Next, the mobile phone use detection unit 20 detects the use of the mobile phone of the driver in the face image of the driver photographed by the image capturing unit 10.

다음으로, ECU 연동부(30)는 차량에 구비되어 있는 ECU와 연동하여 차량의 주행을 감지하고, 제어부(40)로부터의 시트 진동신호 또는 차량속도 제어신호를 ECU로 전달하여 시트를 진동시키거나 차량의 속도를 제어하게 한다.Next, the ECU linking unit 30 detects the driving of the vehicle in cooperation with the ECU provided in the vehicle, and transmits the seat vibration signal or the vehicle speed control signal from the controller 40 to the ECU to vibrate the seat. Allows you to control the speed of the vehicle.

다음으로, 제어부(40)는 ECU 연동부(30)를 통해 차량이 주행중임을 감지한 상태에서 휴대폰 사용 감지부(20)가 운전자의 휴대폰 사용을 감지한 경우 경보부(50)로 경보신호를 전달한다.Next, the controller 40 transmits an alarm signal to the alarm unit 50 when the mobile phone use detection unit 20 detects the driver's mobile phone use while detecting that the vehicle is driving through the ECU interlocking unit 30. .

이때 제어부(40)는 위험수준에 따라 ECU 연동부(30)를 통해 ECU로 시트 진동신호 또는 속도 제어신호를 전달하여 시트를 진동시키거나 차량의 속도를 제어한다. 이는 일예로 하기의 [표 1]과 같다.At this time, the control unit 40 transmits the seat vibration signal or the speed control signal to the ECU through the ECU interlocking unit 30 according to the risk level to vibrate the seat or control the speed of the vehicle. This is shown in Table 1 below as an example.

Figure pat00001
Figure pat00001

즉, 운전자가 시선은 정면을 향하고 있으나 휴대폰을 귀에 대고 통화하고 있는 경우, 위험수준은 제1단계로서 제어부(40)는 경보음의 세기를 1~3으로 설정한다.That is, when the driver looks at the front face but is talking on the cell phone with his ear, the risk level is the first step, and the control unit 40 sets the intensity of the alarm sound to 1 to 3.

운전자가 시선은 정면을 향하고 있으나 휴대폰으로 메시지를 확인/전송하거나 웹서핑(검색)을 하고 있는 경우, 위험수준은 제2단계로서 제어부(40)는 경보음의 세기를 4~6으로 설정한다.When the driver gazes toward the front but checks / transmits a message or performs web surfing (search) with a mobile phone, the risk level is a second step, and the controller 40 sets the intensity of the alarm sound to 4-6.

운전자가 시선을 정면이 아닌 다른 곳을 응시하는 시선 부주의 상태에서 휴대폰을 귀에 대고 통화하고 있는 경우, 위험수준은 제3단계로서 제어부(40)는 경보음의 세기를 7~9로 설정하고, 아울러 ECU 연동부(30)를 통해 ECU로 시트 진동신호를 전달하여 보다 강하게 운전자의 안전운전을 유도한다.When the driver is talking with his cell phone in his ear in a state of inattention while gazing at a place other than the front line of sight, the risk level is the third step, and the control unit 40 sets the intensity of the alarm sound to 7 to 9, and By transmitting the seat vibration signal to the ECU through the ECU linkage unit 30 to induce the driver's safe driving.

운전자가 시선을 정면이 아닌 다른 곳을 응시하는 시선 부주의 상태(일예로, 휴대폰을 응시하고 있는 상태)에서 휴대폰으로 메시지를 확인/전송하거나 웹서핑(검색)을 하고 있는 경우, 위험수준은 제4단계로서 제어부(40)는 경보음의 세기를 최강인 10으로 설정하고, 아울러 ECU 연동부(30)를 통해 ECU로 속도 제어신호를 전달하여 차량의 속도를 줄이도록 한다.If the driver is checking / transmitting messages or surfing the web (searching) on his mobile phone while he is gazing at the other side of the line, for example, while staring at his mobile phone, the risk level is 4th. As a step, the control unit 40 sets the intensity of the alarm sound to the strongest 10, and also transmits a speed control signal to the ECU through the ECU interlocking unit 30 to reduce the speed of the vehicle.

다음으로, 경보부(50)는 제어부(40)로부터의 경보신호에 따라 경보음을 울린다. 이때 경보부(50)는 1~10까지의 세기로 경보음을 울릴 수 있으며 이는 제어부(40)의 제어에 의해 설정된다.Next, the alarm unit 50 sounds an alarm in accordance with the alarm signal from the control unit 40. In this case, the alarm unit 50 may sound an alarm sound with an intensity of 1 to 10, which is set by the control of the controller 40.

이하, 도 3을 참조하여 휴대폰 사용 감지부(20)에 대해 좀 더 상세히 살펴보기로 한다.Hereinafter, the mobile phone use detection unit 20 will be described in more detail with reference to FIG. 3.

도 3에 도시된 바와 같이, 휴대폰 사용 감지부(20)는 시선 검출기(21), 통화 검출기(22), 휴대폰 검출기(23), 및 판단기(24)를 포함한다.As shown in FIG. 3, the mobile phone use detection unit 20 includes a gaze detector 21, a call detector 22, a mobile phone detector 23, and a determiner 24.

먼저, 시선 검출기(21)는 운전자의 시선을 검출하는 역할을 수행하며, 도 4에 도시된 바와 같이 운전자의 눈 위치 및 눈동자의 방향을 파악하여 시선을 검출한다.First, the line of sight detector 21 detects the line of sight of the driver, and detects the line of sight by grasping the driver's eye position and the direction of the pupil as shown in FIG. 4.

즉, 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 얼굴이 갖는 대칭 부위, 즉 눈썹 부위인 제1대칭점영역(a)과 눈 부위인 제2대칭점영역(b) 및 콧구멍 부위인 제3대칭점영역(c)을 집중 검사해 모양과 크기 및 거리와 명암등을 고려하여 판단 기준이 되는 대칭점을 판단한다.That is, in the face image of the driver photographed by the image capturing unit 10, the first symmetrical point area (a), which is the eyebrow area, the second symmetrical point area (b), and the nostril area, which the face has, Intensive inspection of the 3 symmetrical point areas (c) determines the symmetry point that is the criterion by considering the shape, size, distance and contrast.

이때, 얼굴 영상에서 나타나는 대칭점 중 콧구멍에 가장 적합한 부위를 판단 기준이 되는 대칭점인 제3대칭점영역(c)을 기준점으로 설정하게 되는데, 이는 통상 콧구멍 부위는 다른 부위에 비해 빛에 의한 명암 변화가 없고 가장 낮은 위치에 있으면서 짧은 간격의 대칭 부위를 형성함을 이용하는 것이다.In this case, the third symmetric point region (c), which is a symmetry point which is a criterion for determining the most suitable portion of the symmetry point appearing in the face image, is set as a reference point, which is a change in contrast due to light compared to other parts of the nostril part. To form the shortest intervals of symmetry while remaining at the lowest position.

이어, 얼굴 영상에서 콧구멍이 있는 제3대칭점영역(c)을 판단 기준이 되는 대칭점으로 설정한 후, 제3대칭점영역(c)의 윗부분을 눈위치후보영역(d, 즉 제1ㆍ2대칭점영역(a,b)임)으로 설정한다.Subsequently, after setting the third symmetrical point region c having nostrils as a symmetry point as a criterion in the face image, the upper portion of the third symmetrical point region c is the eye position candidate region d, that is, the first and second symmetrical points. Area (a, b)).

이와 같이, 얼굴 영상에서 눈위치후보영역(d)이 설정된 후 필터(소벨필터를 사용함)를 사용하여 눈위치후보영역(d)에서 눈의 위치를 집중 검사하게 되는데, 이는 필터(소벨필터) 사용시 로드(Load)가 많이 걸리면서 윤곽 라인을 집중적으로 표현할 수 있기 때문이다.As such, after the eye position candidate region d is set in the face image, the eye position candidate region d is examined by using a filter (using a Sobel filter), which is used when the filter (Sobel filter) is used. This is because the contour line can be expressed intensively due to the heavy load.

이어, 눈위치후보영역(d)에 대한 필터 영상을 통해 눈위치확정영역(e)을 선택하게 되는데, 이는 통상적으로 감기지 않은 눈은 타원형상이므로 이를 판단기준으로 하여 눈위치후보영역(d)에서 눈의 윤곽 라인이 타원 형상을 갖는 제1눈형상(A)을 검출한다. 즉, 눈 위치를 검출한다.Subsequently, the eye position determining region (e) is selected through the filter image for the eye position candidate region (d), which is normally elliptical, and thus the eye position candidate region (d) is used as a criterion. Detects the first eye shape A in which the contour line of the eye has an elliptical shape. That is, the eye position is detected.

이어, 눈동자의 방향을 파악하여 시선을 검출한다.Next, the direction of the pupil is detected to detect the gaze.

통화 검출기(22)는 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 콧구멍 부위인 제3대칭점영역(c)의 아래 영역을 입으로 검출한 후 해당 영역이 움직이는 경우 운전자가 통화하고 있는 것으로 판단한다.The call detector 22 detects a lower area of the third symmetric point area c, which is a nostril area, by the mouth in the image of the driver's face taken by the image photographing unit 10 and then moves the call when the corresponding area is moved. I think that.

휴대폰 검출기(23)는 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 휴대폰을 검출한다. 이때 휴대폰 검출기(23)는 일반적인 "Haar Like Feature" 추출 기반의 "Adaboost' 분류기(도면에는 도시되어 있지 않음)를 이용하여 사각 모양의 휴대폰을 인식한다.The mobile phone detector 23 detects the mobile phone from the driver's face image captured by the image capturing unit 10. At this time, the mobile phone detector 23 recognizes a rectangular mobile phone by using an "Adaboost" classifier (not shown) based on a general "Haar Like Feature" extraction.

판단기(24)는 도 2의 (a)에 도시된 바와 같이 전화가 걸려왔을 때 휴대폰으로 운전자의 시선이 가는 영상의 변화, 이어서 도 2의 (b) 및 (c)에 도시된 바와 같이 휴대폰이 운전자의 얼굴 오른쪽/왼쪽으로 이동하는 영상의 변화, 및 도 2의 (d)에 도시된 바와 같이 운전자의 입의 움직임이 발생하는 영상의 변화를 통해 최종적으로 운전자의 통화를 검출할 수도 있다.The determiner 24 changes the image of the driver's gaze to the mobile phone when the call is received as shown in (a) of FIG. 2, followed by the mobile phone as shown in (b) and (c) of FIG. 2. The driver's call can be finally detected through the change in the image moving to the right / left of the driver's face and the change in the image in which the movement of the driver's mouth occurs as shown in FIG.

또한, 판단기(24)는 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 변화된 모션을 감지하여 휴대폰 후보를 추출하고, 휴대폰의 특징(사각 모양)을 이용하여 "Haar Like Feature" 추출을 수행하며, 특징 추출로부터 "Adaboost' 분류기를 학습하여 휴대폰을 검출한다.In addition, the determiner 24 detects the changed motion in the driver's face image captured by the image capturing unit 10, extracts a mobile phone candidate, and extracts a "Haar Like Feature" by using a feature (square) of the mobile phone. And detect the mobile phone by learning the "Adaboost" classifier from feature extraction.

이에 따라 제어부(40)는 시선 검출기(21)에서 검출된 운전자의 시선과 통화 검출기(22)에서 검출된 운전자의 통화 여부 및 휴대폰 검출기(23)에서의 휴대폰 검출 결과를 기반으로 위험수준을 판단하고, 해당 위험수준에 상응하는 제어를 수행한다.Accordingly, the controller 40 determines a risk level based on the driver's gaze detected by the gaze detector 21, whether the driver is detected by the call detector 22, and the cell phone detection result by the cellular phone detector 23. In this case, control is carried out corresponding to the level of risk.

도 5 는 본 발명에 따른 운전중 휴대폰 사용 경보 방법에 대한 일실시예 흐름도이다.5 is a flowchart illustrating an embodiment of a method for alerting the use of a mobile phone while driving according to the present invention.

먼저, 영상 촬영부(10)는 차량 내 운전자의 얼굴 영상을 촬영한다(501).First, the image capturing unit 10 captures an image of a face of a driver in a vehicle (501).

이후, 휴대폰 사용 감지부(20)는 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 운전자의 휴대폰 사용을 감지한다(502).Then, the mobile phone use detection unit 20 detects the driver's mobile phone use in the driver's face image captured by the image capturing unit 10 (502).

이후, ECU 연동부(30)는 차량 내 ECU(Electronic Control Units)와 연동하여 차량의 주행을 감지한다(503).Subsequently, the ECU linkage unit 30 detects the driving of the vehicle in cooperation with electronic control units (ECUs) in the vehicle (503).

이후, 제어부(40)는 차량이 주행중인 상태에서 운전자의 휴대폰 사용을 감지함에 따라 경보음을 울리도록 경보부(50)를 제어한다(504).Subsequently, the controller 40 controls the alarm unit 50 to sound an alarm when the driver detects the use of the mobile phone while the vehicle is driving (504).

한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.Meanwhile, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily deduced by a computer programmer in the field. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. The recording medium may include any type of computer readable recording medium.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. The present invention is not limited to the drawings.

10 : 영상 촬영부 20 : 휴대폰 사용 감지부
30 : ECU 연동부 40 : 제어부
50 : 경보부10: video recording unit 20: mobile phone use detection unit
30: ECU interlocking unit 40: control unit
50: alarm unit

Claims (5)

차량 내 운전자의 얼굴 영상을 촬영하는 영상 촬영수단;
상기 운전자의 얼굴 영상에서 상기 운전자의 휴대폰 사용을 감지하는 휴대폰 사용 감지수단;
상기 차량 내 ECU(Electronic Control Units)와 연동하여 상기 차량의 주행을 감지하는 ECU 연동수단;
상기 ECU 연동수단을 통해 상기 차량이 주행중임을 감지한 상태에서 상기 휴대폰 사용 감지수단이 상기 운전자의 휴대폰 사용을 감지한 경우 경보수단으로 경보신호를 전달하는 제어수단; 및
상기 제어수단으로부터의 경보신호에 따라 경보음을 울리는 상기 경보수단
을 포함하는 운전중 휴대폰 사용 경보 장치.
Image capturing means for capturing a face image of a driver in a vehicle;
Mobile phone use detection means for detecting a mobile phone use of the driver in the face image of the driver;
ECU interlocking means for detecting driving of the vehicle in cooperation with the ECU (Electronic Control Units) in the vehicle;
Control means for transmitting an alarm signal to an alarm means when the mobile phone use detection means detects the use of the mobile phone by the driver while detecting that the vehicle is driving through the ECU interlocking means; And
The alarm means for sounding an alarm in accordance with an alarm signal from the control means
Cell phone use alarm device while driving.
제 1 항에 있어서,
상기 제어수단은,
상기 휴대폰 사용 감지수단으로부터의 감지 결과에 따라 상기 ECU 연동수단을 통해 상기 차량 내 ECU로 시트 진동신호 또는 차량속도 제어신호를 전달하는 것을 특징으로 하는 운전중 휴대폰 사용 경보 장치.
The method of claim 1,
Wherein,
And a seat vibration signal or a vehicle speed control signal to the ECU in the vehicle through the ECU interlocking means according to the detection result from the mobile phone usage detecting means.
제 1 항 또는 제 2 항에 있어서,
상기 휴대폰 사용 감지수단은,
상기 영상 촬영수단이 촬영한 운전자의 얼굴 영상에서 상기 운전자의 시선을 검출하는 시선 검출기;
상기 영상 촬영수단이 촬영한 운전자의 얼굴 영상에서 입의 움직임을 통해 운전자의 통화를 검출하는 통화 검출기; 및
상기 영상 촬영수단이 촬영한 운전자의 얼굴 영상에서 휴대폰을 검출하는 휴대폰 검출기
를 포함하는 운전중 휴대폰 사용 경보 장치.
3. The method according to claim 1 or 2,
The mobile phone use detection means,
A gaze detector for detecting a gaze of the driver in a face image of the driver photographed by the image capturing means;
A call detector for detecting a call of the driver through the movement of the mouth in the face image of the driver photographed by the image capturing means; And
Mobile phone detector for detecting a mobile phone from the face image of the driver taken by the image capturing means
Cell phone use alarm device while driving.
차량 내 운전자의 얼굴 영상을 촬영하는 단계;
상기 운전자의 얼굴 영상에서 상기 운전자의 휴대폰 사용을 감지하는 휴대폰 사용 감지단계;
상기 차량 내 ECU(Electronic Control Units)와 연동하여 상기 차량의 주행을 감지하는 단계; 및
상기 차량이 주행중에 상기 운전자의 휴대폰 사용을 감지함에 따라 경보음을 울리는 단계
를 포함하는 운전중 휴대폰 사용 경보 방법.
Photographing a face image of a driver in a vehicle;
Detecting a use of a mobile phone by a mobile phone in the face image of the driver;
Detecting driving of the vehicle in association with an ECU in the vehicle; And
Sounding an alarm when the vehicle senses the use of the mobile phone while driving the vehicle
Mobile phone use alarm method including driving.
제 4 항에 있어서,
상기 휴대폰 사용 감지단계는,
상기 촬영한 운전자의 얼굴 영상에서 상기 운전자의 시선을 검출하는 단계;
상기 촬영한 운전자의 얼굴 영상에서 입의 움직임을 통해 운전자의 통화를 검출하는 단계; 및
상기 촬영한 운전자의 얼굴 영상에서 휴대폰을 검출하는 단계
를 포함하는 운전중 휴대폰 사용 경보 방법.The method of claim 4, wherein
The mobile phone use detection step,
Detecting the driver's gaze from the captured face image of the driver;
Detecting a call of the driver through a movement of the mouth in the captured face image of the driver; And
Detecting a mobile phone from the captured face image of the driver
Mobile phone use alarm method including driving.
KR1020110055830A 2011-06-09 2011-06-09 Apparatus and method for alarming use of mobile phone on driving KR20120136721A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110055830A KR20120136721A (en) 2011-06-09 2011-06-09 Apparatus and method for alarming use of mobile phone on driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110055830A KR20120136721A (en) 2011-06-09 2011-06-09 Apparatus and method for alarming use of mobile phone on driving

Publications (1)

Publication Number Publication Date
KR20120136721A true KR20120136721A (en) 2012-12-20

Family

ID=47904022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110055830A KR20120136721A (en) 2011-06-09 2011-06-09 Apparatus and method for alarming use of mobile phone on driving

Country Status (1)

Country Link
KR (1) KR20120136721A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014176478A1 (en) * 2013-04-25 2014-10-30 GM Global Technology Operations LLC Scene awareness system for a vehicle
KR20150006938A (en) * 2013-07-09 2015-01-20 주식회사 엘지유플러스 Mobile And System For to Check Driving And to Compensate Using In the Vehicle Device, And Service Method Using The Same
CN106022242A (en) * 2016-05-13 2016-10-12 哈尔滨工业大学（威海） Driver call making identification method in intelligent transportation system
KR20170007001A (en) * 2015-07-10 2017-01-18 현대자동차주식회사 Safety driving control method using the eye-recognition function of the terminal, apparatus and a recording medium
KR102016356B1 (en) 2018-03-20 2019-10-21 주식회사 만도 Safe driving system and method using communication between smart phone and vehicle
KR20230022388A (en) * 2021-08-06 2023-02-15 국민대학교산학협력단 Method and apparatus for classifying action based on face tracking

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014176478A1 (en) * 2013-04-25 2014-10-30 GM Global Technology Operations LLC Scene awareness system for a vehicle
KR20150006938A (en) * 2013-07-09 2015-01-20 주식회사 엘지유플러스 Mobile And System For to Check Driving And to Compensate Using In the Vehicle Device, And Service Method Using The Same
KR20170007001A (en) * 2015-07-10 2017-01-18 현대자동차주식회사 Safety driving control method using the eye-recognition function of the terminal, apparatus and a recording medium
CN106022242A (en) * 2016-05-13 2016-10-12 哈尔滨工业大学（威海） Driver call making identification method in intelligent transportation system
CN106022242B (en) * 2016-05-13 2019-05-03 哈尔滨工业大学（威海） Driver's making and receiving calls recognition methods in intelligent transportation system
KR102016356B1 (en) 2018-03-20 2019-10-21 주식회사 만도 Safe driving system and method using communication between smart phone and vehicle
KR20230022388A (en) * 2021-08-06 2023-02-15 국민대학교산학협력단 Method and apparatus for classifying action based on face tracking

Similar Documents

Publication Publication Date Title
KR102023601B1 (en) Terminal device and method for preventing accident
JP6163017B2 (en) Portable terminal and danger notification system
KR20120136721A (en) Apparatus and method for alarming use of mobile phone on driving
KR101330810B1 (en) User device for recognizing gesture and method thereof
JP7295936B2 (en) Motion recognition method, electronic device and storage medium
JP2023542992A (en) Intelligent drive control method and device, vehicle, electronic equipment and storage medium
US20170309149A1 (en) A portable alerting system and a method thereof
JP6455866B2 (en) Monitoring device, monitoring method, and program
EP2720459A1 (en) Distributed image processing system
CN205720871U (en) A kind of intelligence head-up-display system
WO2007074842A1 (en) Image processing apparatus
EP3157233A1 (en) Handheld device, method for operating the handheld device and computer program
KR20160037326A (en) Mobile communication terminal for warning dangerous situation and operation method thereof
JP2015001979A (en) Vehicle drive warning method and electronic system for vehicle
Chang et al. An implementation of smartphone-based driver assistance system using front and rear camera
JP6169747B2 (en) Mobile device
KR20150061668A (en) An apparatus for warning drowsy driving and the method thereof
KR20160015142A (en) Method and program for emergency reporting by wearable glass device
CN105989328A (en) Method and device for detecting use of handheld device by person
KR102494530B1 (en) Camera Apparatus Installing at a Car for Detecting Drowsy Driving and Careless Driving and Method thereof
JP6120444B2 (en) Wearable device
KR20220005297A (en) In-Cabin Security Sensor Installed at a Car and Platform Service Method therefor
WO2019021973A1 (en) Terminal device, risk prediction method, and recording medium
CN105989348A (en) Detection method and system for using handheld device by person
JP2015138325A (en) Portable electronic device and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application