KR101705007B1 - Methods and systems for recognizing a driver using face and footstep - Google Patents

Methods and systems for recognizing a driver using face and footstep Download PDF

Info

Publication number
KR101705007B1
KR101705007B1 KR1020140167680A KR20140167680A KR101705007B1 KR 101705007 B1 KR101705007 B1 KR 101705007B1 KR 1020140167680 A KR1020140167680 A KR 1020140167680A KR 20140167680 A KR20140167680 A KR 20140167680A KR 101705007 B1 KR101705007 B1 KR 101705007B1
Authority
KR
South Korea
Prior art keywords
driver
recognition rate
face
weight
footprint
Prior art date
Application number
KR1020140167680A
Other languages
Korean (ko)
Other versions
KR20160063870A (en
Inventor
양지혁
이준묵
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020140167680A priority Critical patent/KR101705007B1/en
Publication of KR20160063870A publication Critical patent/KR20160063870A/en
Application granted granted Critical
Publication of KR101705007B1 publication Critical patent/KR101705007B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Abstract

본 발명의 일 실시예에 따른 운전자 인식 장치는 차량 외부에서 운전자의 얼굴을 촬영하는 촬영부, 차량 외부에서 운전자의 발자국 소리를 받아서 전기신호로 변환하는 마이크, 촬영부에서 촬영한 운전자의 얼굴을 기존의 저장된 얼굴과 비교하여, 얼굴인식률을 연산하는 얼굴인식률 연산부, 마이크로부터 얻어진 전기신호를 분석하여, 전기신호의 특성을 획득하는 전기신호분석부, 분석된 전기신호의 특성을 기존의 저장된 특성값과 비교하여, 발자국소리인식률을 연산하는 발자국소리인식률 연산부, 차량에 부착되어, 차량 주변의 조도를 측정하는 조도계측부, 조도계측부에서 측정된 조도에 따라, 얼굴인식률 가중치 및 발자국소리인식률 가중치를 결정하는 가중치결정부, 얼굴인식률 가중치, 발자국소리인식률 가중치, 얼굴인식률, 발자국소리인식률을 이용하여, 운전자일 확률을 연산하는 운전자여부확률 연산부 및 상기 연산된 운전자여부확률을 이용하여 운전자 인지 여부를 판단하는 운전자여부 판단부를 포함한다.A driver recognizing apparatus according to an embodiment of the present invention includes a photographing unit for photographing a face of a driver outside a vehicle, a microphone for receiving a driver's footstep sound outside the vehicle and converting the sound into an electric signal, A facial recognition rate calculator for calculating facial recognition rate in comparison with the stored face of the microphones, an electric signal analyzer for analyzing the electric signals obtained from the microphones and acquiring characteristics of the electric signals, A footprint sound recognition rate calculator for calculating a footprint sound recognition rate, an illuminometer side portion attached to the vehicle for measuring the illuminance around the vehicle, and a weight determining unit for determining a face recognition rate weight and a footprint sound recognition rate weight according to the illuminance measured at the illuminometer side, Decision part, face recognition rate weight, footprint sound recognition rate weight, face recognition rate, footprint sound By using a ratio, by using the driver whether or not the probability calculation unit and the calculated probability of the operator whether the operator for calculating the probabilities comprises determining whether the parts of the driver to determine whether the driver.

Description

얼굴 및 발자국 소리 패턴을 이용한 운전자 인식 장치 및 방법{Methods and systems for recognizing a driver using face and footstep}BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates to a method and apparatus for recognizing a driver using face and footprint patterns,

본 발명은 얼굴 및 발자국 소리 패턴을 이용한 운전자 인식 장치에 관한 것으로서, 보다 상세하게는 지정된 운전자 얼굴 인식 기능에 발자국 소리 패턴 인식 기능을 더하여, 어두운 곳에서도 정확하게 지정된 운전자를 인식할 수 있는 장치에 관한 것이다.
The present invention relates to a driver recognition apparatus using face and footprint sound patterns, and more particularly, to an apparatus capable of recognizing a driver accurately specified even in a dark place by adding a footprint sound pattern recognition function to a designated driver face recognition function .

최근, 첨단 기능을 선호하는 자동차 사용자의 수요에 따라 다양한 기능을 제공하는 장치를 차량에 추가하고 있다.Recently, vehicles are adding devices that provide various functions according to the demand of automobile users who prefer advanced functions.

그 중, 운전자 인증 장치는 운전자의 얼굴을 인식하여 기존의 저장된 운전자가 아닌 경우, 시동이 걸리는 것을 방지함으로써, 차량이 도난되는 것을 방지할 수 있다. 또한, 운전자 인증 장치는 운전자의 얼굴을 인식하여 운전자 별로 차량 설정을 자동 설정해 줄 수 있어, 하나의 차량을 복수의 운전자가 이용할 경우에 특히 편리하게 사용될 수 있다.Among them, the driver authentication device recognizes the face of the driver and prevents the vehicle from being stolen by preventing startup when the driver is not an existing stored driver. In addition, the driver authentication apparatus recognizes the face of the driver and automatically sets the vehicle setting for each driver, so that it can be used particularly conveniently when a plurality of drivers use one vehicle.

종래의 적외선 카메라를 이용하는 운전자 인증 장치는 운전자에 반사되어 돌아오는 적외선 신호를 이용하여 운전자의 얼굴 영상을 획득하고, 운전자의 얼굴 영상을 해석함에 따라 각 운전자를 인증하였다.The driver authentication apparatus using the conventional infrared camera acquires the face image of the driver using the infrared signal reflected back to the driver and authenticates each driver by analyzing the face image of the driver.

그런데, 종래의 운전자 인증 장치의 적외선 카메라는 차량 내 핸들 후방에 설치되어, 운전자가 차량 내 좌석에 착석한 후에만 촬영이 가능하다는 문제가 있다.Incidentally, the infrared camera of the conventional driver authentication device is installed behind the steering wheel in the vehicle, and there is a problem that the driver can take a picture only after sitting on the seat in the vehicle.

또한, 주차장과 같은 조도가 낮은 곳에서는 얼굴 인식 기능만을 이용하여 운전자를 인식하면, 그 정확도가 현저히 떨어진다는 문제가 있다.Further, in a place such as a parking lot where the illuminance is low, there is a problem in that the accuracy is significantly lowered when the driver is recognized using only the face recognition function.

한국공개특허공보 제2008-0042357호Korean Patent Publication No. 2008-0042357

본 발명의 일 실시예에 따른 운전자 인식 장치는 사이드미러의 카메라를 이용하여, 차량 외부에 있는 운전자의 얼굴을 인식함으로써, 운전자가 외부에 있더라도 운전자 인식이 가능하게 한다.The driver recognition apparatus according to an embodiment of the present invention recognizes the face of the driver outside the vehicle using the camera of the side mirror so that the driver can recognize the driver even when the driver is outside.

본 발명의 일 실시예에 따른 운전자 인식 장치는 얼굴 인식 기능 외에 발자국 인식 기능을 추가하여, 조도가 낮은 환경에서도 운전자 인식 정확도를 높이고자 한다.
The driver recognition apparatus according to an embodiment of the present invention adds a footprint recognition function in addition to the face recognition function to improve driver recognition accuracy even in a low illumination environment.

본 발명의 일 실시예에 따른 운전자 인식 장치는 차량 외부에서 운전자의 얼굴을 촬영하는 촬영부; 차량 외부에서 운전자의 발자국 소리를 받아서 전기신호로 변환하는 마이크; 상기 촬영부에서 촬영한 운전자의 얼굴을 기존의 저장된 얼굴과 비교하여, 얼굴인식률을 연산하는 얼굴인식률 연산부; 상기 마이크로부터 얻어진 전기신호를 분석하여, 전기신호의 특성을 획득하는 전기신호분석부;및 상기 분석된 전기신호의 특성을 기존의 저장된 특정인의 발자국 소리 패턴과 비교하여, 발자국소리인식률을 연산하는 발자국소리인식률 연산부; 차량에 부착되어, 차량 주변의 조도를 측정하는 조도계측부; 상기 조도계측부에서 측정된 조도가 낮은 경우 얼굴인식률 가중치를 낮추되 발자국소리인식률 가중치는 높이며, 측정된 조도가 높은 경우 얼굴인식률 가중치를 높이되 발자국소리인식률 가중치는 낮춤으로써 얼굴인식률 가중치 및 발자국소리인식률 가중치를 결정하는 가중치결정부; 및 상기 얼굴인식률 가중치, 발자국소리인식률 가중치, 얼굴인식률, 발자국소리인식률을 이용하여, 운전자일 확률을 연산하는 운전자여부확률 연산부;를 포함하며, 상기 연산된 운전자여부확률을 이용하여, 상기 운전자가 지정된 운전자인지 여부를 판단하는 운전자여부 판단부;를 포함한다.According to an aspect of the present invention, there is provided a driver recognition apparatus comprising: a photographing unit photographing a face of a driver outside a vehicle; A microphone for receiving a driver's footstep outside the vehicle and converting the sound into an electrical signal; A face recognition rate calculation unit for calculating a face recognition rate by comparing the face of the driver photographed by the photographing unit with an existing stored face; An electric signal analyzer for analyzing an electric signal obtained from the microphones to acquire a characteristic of an electric signal and a footprint detector for comparing a characteristic of the analyzed electric signal with a sound pattern of a footprint of a specific person stored in the foot controller, A sound recognition rate calculation unit; An illuminance measurement unit attached to the vehicle and measuring illuminance around the vehicle; When the illuminance measured by the illuminometer is low, the face recognition rate weight is lowered, the footprint sound recognition rate weight is increased, and when the measured illuminance is high, the face recognition rate weight is increased while the footprint sound recognition rate weight is decreased. A weight determining unit for determining a weighting factor; And a driver probability calculating unit for calculating a driver probability using the face recognition rate weight, the footprint sound recognition rate weight, the face recognition rate, and the footprint sound recognition rate, and using the calculated driver presence probability, And determining whether or not the driver is a driver.

또한, 촬영부는 사이드미러 하단에 위치하고, 회전 가능하여 사이드미러가 펴지거나 접혔을 때, 같은 방향을 향하고 있어 걸어오는 운전자를 촬영할 수 있다.Further, the photographing unit is located at the lower end of the side mirror, and when the side mirror is expanded or folded, it can be photographed by the driver who is walking in the same direction.

그리고, 전기신호분석부에서는 전기신호를 이산푸리에변환(discrete Fourier transform, DFT) 또는 웨이블릿 변환(wavelet transforms)하여 전기신호의 특성을 획득한다.The electric signal analysis unit acquires characteristics of the electric signal by discrete Fourier transform (DFT) or wavelet transforms of the electric signal.

바람직하게는, 운전자여부 판단부에서는 상기 운전자여부확률이 소정의 기준치 이상인 경우에는 운전자로 판단하고, 상기 기준치 미만인 경우 운전자로 판단하지 않는다.Preferably, the driver presence determination unit determines that the driver presence probability is equal to or greater than a predetermined reference value, and does not determine that the driver is a driver if the probability is less than the reference value.

본 발명의 일 실시예에 따른 운전자 인식 방법은 차량 외부에서 운전자의 얼굴을 촬영하는 촬영단계; 차량 외부에서 운전자의 발자국 소리를 받아서 전기신호로 변환하는 소리인식단계; 상기 촬영단계에서 촬영한 운전자의 얼굴을 기존의 저장된 얼굴과 비교하여, 얼굴인식률을 연산하는 얼굴인식률 연산단계; 마이크로부터 얻어진 전기신호를 분석하여, 전기신호의 특성을 획득하는 전기신호 분석단계; 상기 분석된 전기신호의 특성을 기존의 저장된 특정인의 발자국 소리 패턴과 비교하여, 발자국소리인식률을 연산하는 발자국소리인식률 연산단계; 차량 주변의 조도를 측정하는 조도계측단계; 상기 조도계측단계에서 측정된 조도가 낮은 경우 얼굴인식률 가중치를 낮추되 발자국소리인식률 가중치는 높이며, 측정된 조도가 높은 경우 얼굴인식률 가중치를 높이되 발자국소리인식률 가중치는 낮춤으로써 얼굴인식률 가중치 및 발자국소리인식률 가중치를 결정하는 가중치결정단계; 상기 얼굴인식률 가중치, 발자국소리인식률 가중치, 얼굴인식률, 발자국소리인식률을 이용하여, 운전자일 확률을 연산하는 운전자여부확률 연산단계; 및 상기 연산된 운전자여부확률을 이용하여 운전자인지 여부를 판단하는 운전자여부 판단단계를 포함한다.According to an embodiment of the present invention, there is provided a driver recognition method comprising: a photographing step of photographing a face of a driver outside a vehicle; A sound recognition step of receiving a driver's footstep sound from the outside of the vehicle and converting the sound into an electric signal; A facial recognition rate calculating step of comparing the face of the driver photographed in the photographing step with an existing stored face to calculate a face recognition rate; Analyzing an electrical signal obtained from the micro to obtain characteristics of the electrical signal; Calculating a footprint sound recognition rate by comparing a characteristic of the analyzed electric signal with a footprint sound pattern of an existing stored person; An illuminance measuring step of measuring illuminance around the vehicle; When the illuminance measured in the illuminance measurement step is low, the face recognition rate weight is lowered and the footprint sound recognition rate weight is increased. When the measured illuminance is high, the face recognition rate weight is increased while the footprint sound recognition rate weight is lowered. A weight determining step of determining a weight; A driver probability calculation step of calculating a driver probability using the face recognition rate weight, the footprint sound recognition rate weight, the face recognition rate, and the footprint sound recognition rate; And determining whether or not the driver is a driver based on the calculated driver presence probability.

본 발명의 일 실시예에 따른 운전자 인식 장치는 사이드미러의 카메라를 이용하여, 차량 외부에 있는 운전자의 얼굴을 인식함으로써, 운전자가 외부에 있더라도 운전자 인식이 가능하다.The driver recognition apparatus according to the embodiment of the present invention recognizes the driver's face on the outside of the vehicle by using the camera of the side mirror so that the driver can be recognized even if the driver is outside.

본 발명의 일 실시예에 따른 운전자 인식 장치는 얼굴 인식 기능 외에 발자국 인식 기능을 추가하여, 조도가 낮은 환경에서도 운전자 인식 정확도를 높일 수 있다.
The driver recognition apparatus according to an embodiment of the present invention can add a footprint recognition function in addition to the face recognition function to improve driver recognition accuracy even in a low illuminance environment.

도 1은 본 발명의 일 실시예에 따른 운전자 인식 장치의 구성도이다.
도 2는 본 발명에 따른 운전자 인식 장치의 촬영부의 모습을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 운전자 인식 장치의 가중치결정부에서 얼굴인식률 가중치를 결정하는 판단 기준의 예시를 도시한 그래프이다.
도 4는 본 발명의 일 실시예에 따른 운전자 인식 방법의 순서도이다.1 is a block diagram of a driver recognition apparatus according to an embodiment of the present invention.
2 shows a photographing unit of the driver recognition apparatus according to the present invention.
3 is a graph illustrating an example of a determination criterion for determining a face recognition rate weight in a weight determination unit of the driver recognition apparatus according to an embodiment of the present invention.
4 is a flowchart of a driver recognition method according to an embodiment of the present invention.

이하 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. Prior to the description, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary meanings and should be construed in accordance with the technical concept of the present invention.

본 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout this specification, when an element is referred to as "including" an element, it is understood that it may include other elements as well, without departing from the other elements unless specifically stated otherwise.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 실시될 수도 있고 실질적으로 동시하게 실시될 수도 있으며 반대의 순서대로 실시될 수도 있다.In each step, the identification code is used for convenience of explanation, and the identification code does not describe the order of the steps, and each step may be performed differently from the stated order unless clearly specified in the context. have. That is, each of the steps may be performed in the same order as the specified order, substantially simultaneously or in the reverse order.

도 1은 본 발명의 일 실시예에 따른 운전자 인식 장치의 구성도이다.1 is a block diagram of a driver recognition apparatus according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 운전자 인식 장치는 차량 외부에서 운전자의 얼굴을 촬영하는 촬영부(110), 차량 외부에서 운전자의 발자국 소리를 받아서 전기신호로 변환하는 마이크(210), 촬영부(110)에서 촬영한 운전자의 얼굴을 기존의 저장된 얼굴과 비교하여, 얼굴인식률을 연산하는 얼굴인식률 연산부(120), 마이크(210)로부터 얻어진 전기신호를 분석하여, 전기신호의 특성을 획득하는 전기신호 분석부(220), 분석된 전기신호의 특성을 기존의 저장된 특성값과 비교하여, 발자국소리인식률을 연산하는 발자국소리인식률 연산부(230), 차량에 부착되어, 차량 주변의 조도를 측정하는 조도계측부(310), 조도계측부(310)에서 측정된 조도에 따라, 얼굴인식률 가중치 및 발자국소리인식률 가중치를 결정하는 가중치결정부(320), 얼굴인식률 가중치, 발자국소리인식률 가중치, 얼굴인식률, 발자국소리인식률을 이용하여, 운전자일 확률을 연산하는 운전자여부확률 연산부(410) 및 상기 연산된 운전자여부확률을 이용하여 운전자 인지 여부를 판단하는 운전자여부 판단부(420)를 포함한다.The driver recognition apparatus according to an embodiment of the present invention includes a photographing unit 110 for photographing a face of a driver outside the vehicle, a microphone 210 for receiving a driver's footstep sound outside the vehicle and converting the sound into an electric signal, The facial recognition rate calculating unit 120 compares the face of the driver photographed by the microphone 110 with the stored face to calculate the facial recognition rate. An electric signal obtained from the microphone 210 is analyzed to obtain an electric signal analysis A footprint sound recognition rate calculator 230 for comparing the characteristics of the analyzed electric signal with existing stored characteristic values to calculate a footprint sound recognition rate, an illuminometer side portion attached to the vehicle for measuring the illuminance around the vehicle 310, a weight determination unit 320 for determining a face recognition rate weight and a footprint sound recognition rate weight according to the illuminance measured by the illuminance system side unit 310, a face recognition rate weighting, A driver's presence probability calculation unit 410 for calculating a driver's probability using a weight, a face recognition rate, and a footprint recognition rate, and a driver's presence determination unit 420 for determining whether the driver is a driver using the calculated driver's presence probability do.

촬영부(110)는 사이드미러 하단에 장착된다. 사이드미러 하단에 운전자 인식용 카메라를 별도로 설치하여 사용할 수 있고, 기존의 어라운드 뷰 모니터용으로 장착된 카메라를 회전이 가능하도록 장착하여 사용할 수도 있다. The photographing unit 110 is mounted at the lower end of the side mirror. A driver recognition camera can be installed separately at the bottom of the side mirror, and a camera mounted for an existing surround view monitor can be mounted to be rotatable.

도 2는 본 발명에 따른 운전자 인식 장치의 촬영부(110)의 모습을 도시한 것이다.FIG. 2 illustrates a photographing unit 110 of the driver recognition apparatus according to the present invention.

촬영부(110)는 다가오는 운전자를 향할 수 있도록 회전 가능한 구성을 갖는다. 도 2(b)에서 도시한 바와 같이, 주차 시에는 사이드 미러가 접혀있는 경우가 많으며, 사이드 미러가 접힐 때 다가오는 운전자를 향하도록 촬영부(110)가 회전하여 바깥을 향하는 것이 바람직하다.The photographing unit 110 is rotatable so as to face an approaching driver. As shown in Fig. 2 (b), in many cases, the side mirror is folded at the time of parking, and when the side mirror is folded, it is preferable that the photographing unit 110 rotates toward the outside so as to face the approaching driver.

마이크(210)는 차량 외부에 장착되어, 운전자의 발자국 소리를 받아서 전기신호로 변환한다. 마이크(210)는 차량의 어느 위치에 장착되어도 무방하나, 바람직하게는 좌, 우측 한 쌍으로 구비되는 것이 바람직하다.The microphone 210 is mounted outside the vehicle to receive the driver's footstep sound and convert it into an electrical signal. The microphone 210 may be mounted at any position of the vehicle, but is preferably provided as a pair of left and right sides.

얼굴인식률 연산부(120)에서는 촬영부(110)에서 촬영한 운전자의 얼굴을 기존의 저장된 k번째 얼굴과 비교하여, 얼굴인식률

Figure 112014115388713-pat00001
을 연산한다. 하나의 차량을 복수의 운전자가 이용할 경우에는 복수 개의 얼굴을 저장해둘 수 있다. 촬영부(110)에서 촬영한 운전자의 얼굴이 복수개의 저장된 얼굴과 차례로 비교된다. 따라서, k는 1 이상 n 이하의 값을 갖는 자연수이다.The face recognition rate calculation unit 120 compares the face of the driver photographed by the photographing unit 110 with the existing stored kth face,
Figure 112014115388713-pat00001
. When a plurality of drivers use one vehicle, a plurality of faces can be stored. The face of the driver photographed by the photographing unit 110 is sequentially compared with a plurality of stored faces. Therefore, k is a natural number having a value of 1 or more and n or less.

얼굴인식률

Figure 112014115388713-pat00002
는 0 이상 1 이하의 값을 가지며, 얼굴인식률은 다양한 영상처리 알고리즘을 이용하여 연산될 수 있다. 예를 들면, 얼굴의 눈과 눈 사이의 거리, 눈과 코 사이의 거리, 미간과 코 사이의 거리, 인중과 턱 사이의 거리 등을 파라미터 화하여, 기존의 저장된 얼굴의 상기 파라미터들과 비교하여 얼굴인식률을 결정한다.Face recognition rate
Figure 112014115388713-pat00002
Has a value between 0 and 1, and the face recognition rate can be calculated using various image processing algorithms. For example, parameters such as the distance between the eye and the eye of the face, the distance between the eye and the nose, the distance between the eye and the nose, and the distance between the eye and the jaw are parameterized and compared with the parameters of the existing stored face The face recognition rate is determined.

전기신호 분석부(220)에서는 마이크(210)로부터 얻어진 전기신호를 분석하여, 전기신호의 특성을 획득한다. 구체적으로, 전기신호 분석부(220)에서는 전기신호를 이산푸리에 변환 또는 웨이블릿 변환하여 전기신호의 특성을 획득한다.The electrical signal analyzer 220 analyzes the electrical signal obtained from the microphone 210 to acquire characteristics of the electrical signal. Specifically, the electrical signal analyzer 220 performs discrete Fourier transform or wavelet transform of the electrical signal to obtain characteristics of the electrical signal.

마이크(210)로부터 1차적으로 획득한 전기신호는 시간에 따른 진폭 측정치이며, 상기 전기신호를 웨이블릿 변환 또는 이산푸리에 변환을 거치면 시간에 따른 진폭 측정치를 각각의 주파수 성분으로 분류하여 각각의 주파수 성분의 상대적인 양에 관한 전기신호로 변환할 수 있다. 사람에 따라 발자국 소리는 다른 주파수 성분을 가지며, 주파수 성분이 비슷하다고 해도, 각각의 주파수 성분이 차지하는 비율이 다르므로, 사람마다 독특한 발자국 소리 패턴을 형성한다.The electrical signal obtained primarily from the microphone 210 is a measurement value of amplitude over time. When the electrical signal is subjected to wavelet transform or discrete Fourier transform, time-based amplitude measurements are classified into respective frequency components, It can be converted into an electric signal related to a relative amount. Depending on the person, the footstep sound has different frequency components, and even if the frequency components are similar, the proportions of the respective frequency components are different, so that a unique footprint sound pattern is formed for each person.

발자국소리인식률 연산부(230)에서는 분석된 전기신호의 특성을 기존의 저장된 특성값과 비교하여, 발자국소리인식률

Figure 112014115388713-pat00003
(k는 1 이상 n 이하의 값을 갖는 자연수)을 연산한다. 발자국소리인식률은
Figure 112014115388713-pat00004
는 0 이상 1 이하의 값을 갖는다. 하나의 차량을 복수의 운전자가 이용할 경우에는 복수 개(n개)의 특성값을 저장해둘 수 있다. 따라서, 분석된 전기신호의 특성이 복수 개의 특성값과 차례로 비교된다.The footprint sound recognition rate calculation unit 230 compares the analyzed characteristic of the electric signal with the existing stored characteristic value,
Figure 112014115388713-pat00003
(k is a natural number having a value of 1 or more and n or less). The footprint recognition rate
Figure 112014115388713-pat00004
Has a value of 0 or more and 1 or less. When a plurality of drivers use one vehicle, a plurality of (n) characteristic values can be stored. Thus, the characteristics of the analyzed electrical signal are compared sequentially with the plurality of characteristic values.

조도계측부(310)는 차량에 부착되어, 차량 주변의 조도를 측정한다. The illuminance system side portion 310 is attached to the vehicle, and measures illuminance around the vehicle.

가중치결정부(320)에서는 조도계측부(310)에서 측정된 조도에 따라, 얼굴인식률 가중치 a 및 발자국소리인식률 가중치 b를 결정한다. 얼굴인식률 가중치 a와 발자국소리인식률 가중치 b는 각각 0 이상이고 1 이하이며, 합했을 때 1을 넘지 않는다. 예를 들면, 측정된 조도가 낮을 경우에는 얼굴인식률의 정확성이 감소되므로, 얼굴인식률 가중치 a를 낮게 결정하고 발자국소리인식률 가중치 b를 높게 결정한다. 반대로, 측정되 조도가 높을 경우에는 얼굴인식률의 정확성이 향상되므로, 얼굴인식률 가중치 a를 높게 결정하고 발자국소리인식률 가중치 b를 낮게 결정한다. 즉, 측정된 조도에 따른 얼굴인식률 가중치 a의 관계를 설정하면, 측정된 조도에 따라 얼굴인식률 가중치를 결정할 수 있고, 1에서 상기 결정된 얼굴인식률 가중치를 차감하여, 발자국소리인식률 가중치 b 역시 결정할 수 있다.The weight determining unit 320 determines the face recognition rate weight a and the footprint sound recognition rate weight b according to the illuminance measured by the illuminometer side 310. The face recognition rate weight a and the footprint speech recognition rate weight b are 0 or more and 1 or less, respectively, and do not exceed 1 when combined. For example, when the measured illuminance is low, the accuracy of the face recognition rate is reduced. Therefore, the face recognition rate weight a is determined to be low and the footprint sound recognition rate weight b is determined to be high. On the contrary, when the measured illuminance is high, the accuracy of the face recognition rate is improved. Therefore, the face recognition rate weight a is determined to be high and the footprint sound recognition rate weight b is determined to be low. That is, if the relation of the face recognition rate weight a according to the measured illuminance is set, the face recognition rate weight can be determined according to the measured illuminance, and the determined face recognition rate weighting value can be subtracted from 1 to determine the footprint sound recognition rate weighting value b .

도 3은 본 발명의 일 실시예에 따른 운전자 인식 장치의 가중치결정부(320)에서 얼굴인식률 가중치를 결정하는 판단 기준의 예시를 도시한 그래프이다.3 is a graph illustrating an example of a determination criterion for determining a face recognition rate weight in the weight determination unit 320 of the driver recognition apparatus according to an embodiment of the present invention.

도 3(a)에서 도시하듯이, 조도와 얼굴인식률 가중치 a의 관계를 선형 관계로 설정할 수 있다. 최대 조도를 lm이라 할 때, 최대 조도 내의 조도가 측정된 경우, 선형관계에 따라 얼굴인식률 가중치 a를 결정할 수 있다. 선형 관계 외에도, 도 3(b)에 도시한 바와 같이 가우스 함수 관계로 설정 가능하다.As shown in Fig. 3 (a), the relationship between the illuminance and the face recognition rate weight a can be set to a linear relationship. When the maximum illuminance is lm and the illuminance within the maximum illuminance is measured, the face recognition rate weight a can be determined according to the linear relationship. In addition to the linear relationship, it is possible to set the Gauss function relation as shown in Fig. 3 (b).

운전자여부확률 연산부(410)는 얼굴인식률 가중치 a, 발자국소리인식률 가중치 b, 얼굴인식률

Figure 112014115388713-pat00005
, 발자국소리인식률
Figure 112014115388713-pat00006
을 이용하여, 하기 식에 따라 운전자여부확률 p를 연산한다.The driver presence probability calculation unit 410 calculates a face recognition rate weight a, a footprint sound recognition rate weight b,
Figure 112014115388713-pat00005
, Footprint recognition rate
Figure 112014115388713-pat00006
To calculate the driver probability p according to the following equation.

Figure 112014115388713-pat00007
Figure 112014115388713-pat00007

운전자여부 판단부(420)에서는 연산된 운전자여부확률을 이용하여 소정의 기준치를 이용하여 운전자 인지 여부를 판단한다. 즉, 상기 운전자여부확률이 소정의 기준치 이상인 경우에는 운전자로 판단하고, 기준치 미만인 경우 운전자로 판단하지 않는다. 상기 소정의 기준치는 사용자가 설정할 수 있다.The driver's presence determination unit 420 determines whether the driver is a driver by using a predetermined reference value by using the computed driver's presence probability. That is, if the probability of the driver is greater than or equal to the predetermined reference value, the driver is determined to be the driver, and if the probability is less than the reference value, the driver is not determined. The predetermined reference value can be set by the user.

운전자여부 판단부(420)에서 등록된 운전자로 판단된 경우에는, 도어가 열리며 미리 지정해둔 차량의 환경으로 차량이 설정된다. 만약, 운전자여부 판단부(420)에서 등록된 운전자가 아닌 것으로 판단된 경우에는, 비밀번호 입력부에 비밀번호를 입력하는 단계를 거친다. 비밀번호 입력부에 기 저장된 비밀번호가 제대로 입력되면, 도어가 열리게 된다. 비밀번호 입력부에 기 저장된 비밀번호가 입력되지 않는 경우, 도어는 잠긴 상태를 유지하게 된다. 비밀번호 입력부는 얼굴 및 발자국 소리 패턴 인식이 확률에 의존한 방식이라는 것을 보조해 주는 역할을 한다. When it is determined that the driver is the registered driver in the driver presence determination unit 420, the door is opened and the vehicle is set to the environment of the vehicle designated in advance. If it is determined that the driver is not a driver registered in the driver's condition determination unit 420, the password input unit is operated to input a password. If the pre-stored password is correctly entered in the password entry area, the door will open. If the pre-stored password is not entered in the password input unit, the door remains locked. The password input part assists the recognition of face and footprint sound patterns in a manner dependent on the probability.

도 4는 본 발명의 일 실시예에 따른 운전자 인식 방법의 순서도이다.4 is a flowchart of a driver recognition method according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 운전자 인식 방법은 차량 외부에서 운전자의 얼굴을 촬영하는 촬영단계(S110), 차량 외부에서 운전자의 발자국 소리를 받아서 전기신호로 변환하는 소리인식단계(S210), 촬영부(110)에서 촬영한 운전자의 얼굴을 기존의 저장된 얼굴과 비교하여, 얼굴인식률을 연산하는 얼굴인식률 연산단계,마이크(210)로부터 얻어진 전기신호를 분석하여, 전기신호의 특성을 획득하는 전기신호 분석단계(S220), 분석된 전기신호의 특성을 기존의 저장된 특성값과 비교하여, 발자국소리인식률을 연산하는 발자국소리인식률 연산단계(S230), 차량 주변의 조도를 측정하는 조도계측단계(S310), 조도계측부(310)에서 측정된 조도에 따라, 얼굴인식률 가중치 및 발자국소리인식률 가중치를 결정하는 가중치결정단계(S320), 상기 얼굴인식률 가중치, 발자국소리인식률 가중치, 얼굴인식률, 발자국소리인식률을 이용하여, 운전자일 확률을 연산하는 운전자여부확률 연산단계(S410) 및 연산된 운전자여부확률을 이용하여 운전자 인지 여부를 판단하는 운전자여부 판단단계(S420)를 포함한다.A driver recognition method according to an embodiment of the present invention includes a photographing step S110 of photographing a face of a driver outside a vehicle, a sound recognition step S210 of receiving a driver's footstep sound outside the vehicle and converting the sound into an electric signal, A facial recognition rate calculation step for calculating the face recognition rate by comparing the face of the driver photographed by the microphone 110 with the existing stored face, an electric signal analysis for analyzing the electric signal obtained from the microphone 210, A step S230 of calculating a footprint sound recognition rate to compute a footprint sound recognition rate by comparing the analyzed characteristic of the electric signal with an existing stored characteristic value, an illuminance measurement step S310 of measuring the illuminance around the vehicle, A weight determination step (S320) of determining a face recognition rate weight and a footprint sound recognition rate weighting value according to the illuminance measured by the illuminance system side part (310), a face recognition rate weighting step (S410) for calculating a driver's probability by using the recognition rate weight, the face recognition rate, and the footprint recognition rate (S410), and a driver's presence decision step S420 for determining whether the driver is the driver based on the calculated driver's presence probability. .

각 단계의 구체적인 기재는 이미 위에서 기재하였으므로 생략한다.Detailed description of each step is omitted because it is already described above.

본 발명에 따른 운전자 인식 장치 및 방법은 사이드미러의 카메라를 이용하여, 차량 외부에 있는 운전자의 얼굴을 인식함으로써, 운전자가 외부에 있더라도 운전자 인식이 가능하다. 또한, 얼굴 인식 기능 외에 발자국 인식 기능을 추가하여, 조도가 낮은 환경에서도 운전자 인식 정확도를 높일 수 있다.The driver recognition apparatus and method according to the present invention recognize the driver's face on the outside of the vehicle by using the camera of the side mirror so that the driver can be recognized even if the driver is outside. In addition to the face recognition function, the footprint recognition function can be added to improve driver recognition accuracy even in a low illumination environment.

발명은 상술한 특정의 실시예 및 설명에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능하며, 그와 같은 변형은 본 발명의 보호 범위 내에 있게 된다.
It is to be understood that the invention is not limited to the particular embodiments and descriptions described herein, and that various modifications may be made by those skilled in the art without departing from the spirit and scope of the invention as defined in the appended claims. , Such variations are within the scope of protection of the present invention.

촬영부 : 110 얼굴인식률 연산부 : 120
마이크 : 210 전기신호 분석부 : 220
발자국소리 인식률 연산부 : 230 조도계측부 : 310
가중치 결정부 : 320 운전자여부 확률 연산부 : 410
운전자여부 판단부 : 420Shooting section: 110 Face recognition rate calculation section: 120
Mike: 210 Electrical Signal Analysis Department: 220
Footprint recognition rate calculation unit: 230 illuminometer side: 310
Weight determining unit: 320 driver probability calculation unit: 410
Driver's judgment unit: 420

Claims (6)

차량 외부에서 운전자의 얼굴을 촬영하는 촬영부;
차량 외부에서 운전자의 발자국 소리를 받아서 전기신호로 변환하는 마이크;
상기 촬영부에서 촬영한 운전자의 얼굴을 기존의 저장된 얼굴과 비교하여, 얼굴인식률을 연산하는 얼굴인식률 연산부;
상기 마이크로부터 얻어진 전기신호를 분석하여, 전기신호의 특성을 획득하는 전기신호분석부;및
상기 분석된 전기신호의 특성을 기존의 저장된 특정인의 발자국 소리 패턴과 비교하여, 발자국소리인식률을 연산하는 발자국소리인식률 연산부;
차량에 부착되어, 차량 주변의 조도를 측정하는 조도계측부;
상기 조도계측부에서 측정된 조도가 낮은 경우 얼굴인식률 가중치를 낮추되 발자국소리인식률 가중치는 높이며, 측정된 조도가 높은 경우 얼굴인식률 가중치를 높이되 발자국소리인식률 가중치는 낮춤으로써 얼굴인식률 가중치 및 발자국소리인식률 가중치를 결정하는 가중치결정부; 및
상기 얼굴인식률 가중치, 발자국소리인식률 가중치, 얼굴인식률, 발자국소리인식률을 이용하여, 운전자일 확률을 연산하는 운전자여부확률 연산부;를 포함하며,
상기 연산된 운전자여부확률을 이용하여, 상기 운전자가 지정된 운전자인지 여부를 판단하는 운전자여부 판단부;를 더 포함하는 것을 특징으로 하는 운전자 인식 장치.
A photographing unit for photographing the driver's face from outside the vehicle;
A microphone for receiving a driver's footstep outside the vehicle and converting the sound into an electrical signal;
A face recognition rate calculation unit for calculating a face recognition rate by comparing the face of the driver photographed by the photographing unit with an existing stored face;
An electric signal analyzing unit for analyzing an electric signal obtained from the micro to acquire characteristics of the electric signal;
A footprint sound recognition rate calculator for comparing a characteristic of the analyzed electric signal with a footprint sound pattern of an existing stored person to calculate a footprint sound recognition rate;
An illuminance measurement unit attached to the vehicle and measuring illuminance around the vehicle;
When the illuminance measured by the illuminometer is low, the face recognition rate weight is lowered, the footprint sound recognition rate weight is increased, and when the measured illuminance is high, the face recognition rate weight is increased while the footprint sound recognition rate weight is decreased. A weight determining unit for determining a weighting factor; And
And a driver probability calculation unit for calculating a driver probability using the face recognition rate weight, the footprint sound recognition rate weight, the face recognition rate, and the footprint sound recognition rate,
And determining whether the driver is a designated driver by using the calculated probability of whether or not the driver is present.
삭제delete 제1항에 있어서,
상기 촬영부는 사이드미러 하단에 위치하고, 회전 가능하여 사이드미러가 펴지거나 접혔을 때, 같은 방향을 향하고 있어 걸어오는 운전자를 촬영할 수 있는 운전자 인식 장치.
The method according to claim 1,
Wherein the photographing unit is located at the lower end of the side mirror and is rotatable so that when the side mirror is expanded or collapsed, the photographing unit can photograph a driver who is walking in the same direction and can walk.
제1항에 있어서,
상기 전기신호분석부에서는 전기신호를 이산푸리에변환 또는 웨이블릿 변환하여 전기신호의 특성을 획득하는 운전자 인식 장치.
The method according to claim 1,
Wherein the electric signal analysis unit performs discrete Fourier transform or wavelet transform of the electric signal to obtain characteristics of the electric signal.
제1항에 있어서,
운전자여부 판단부에서는 상기 운전자여부확률이 소정의 기준치 이상인 경우에는 운전자로 판단하고, 상기 기준치 미만인 경우 운전자로 판단하지 않는 운전자 인식 장치.
The method according to claim 1,
The driver's presence determination unit determines the driver as a driver if the probability of the driver is greater than or equal to a predetermined reference value and does not determine the driver as a driver if the probability is less than the reference value.
차량 외부에서 운전자의 얼굴을 촬영하는 촬영단계;
차량 외부에서 운전자의 발자국 소리를 받아서 전기신호로 변환하는 소리인식단계;
상기 촬영단계에서 촬영한 운전자의 얼굴을 기존의 저장된 얼굴과 비교하여, 얼굴인식률을 연산하는 얼굴인식률 연산단계;
마이크로부터 얻어진 전기신호를 분석하여, 전기신호의 특성을 획득하는 전기신호 분석단계;
상기 분석된 전기신호의 특성을 기존의 저장된 특정인의 발자국 소리 패턴과 비교하여, 발자국소리인식률을 연산하는 발자국소리인식률 연산단계;
차량 주변의 조도를 측정하는 조도계측단계;
상기 조도계측단계에서 측정된 조도가 낮은 경우 얼굴인식률 가중치를 낮추되 발자국소리인식률 가중치는 높이며, 측정된 조도가 높은 경우 얼굴인식률 가중치를 높이되 발자국소리인식률 가중치는 낮춤으로써 얼굴인식률 가중치 및 발자국소리인식률 가중치를 결정하는 가중치결정단계;
상기 얼굴인식률 가중치, 발자국소리인식률 가중치, 얼굴인식률, 발자국소리인식률을 이용하여, 운전자일 확률을 연산하는 운전자여부확률 연산단계; 및
상기 연산된 운전자여부확률을 이용하여 운전자인지 여부를 판단하는 운전자여부 판단단계;를 포함하는 운전자 인식 방법.A photographing step of photographing the driver's face from outside the vehicle;
A sound recognition step of receiving a driver's footstep sound from the outside of the vehicle and converting the sound into an electric signal;
A facial recognition rate calculating step of comparing the face of the driver photographed in the photographing step with an existing stored face to calculate a face recognition rate;
Analyzing an electrical signal obtained from the micro to obtain characteristics of the electrical signal;
Calculating a footprint sound recognition rate by comparing a characteristic of the analyzed electric signal with a footprint sound pattern of an existing stored person;
An illuminance measuring step of measuring illuminance around the vehicle;
When the illuminance measured in the illuminance measurement step is low, the face recognition rate weight is lowered and the footprint sound recognition rate weight is increased. When the measured illuminance is high, the face recognition rate weight is increased while the footprint sound recognition rate weight is lowered. A weight determining step of determining a weight;
A driver probability calculation step of calculating a driver probability using the face recognition rate weight, the footprint sound recognition rate weight, the face recognition rate, and the footprint sound recognition rate; And
And determining whether the driver is a driver based on the computed probability of whether or not the driver is present.
KR1020140167680A 2014-11-27 2014-11-27 Methods and systems for recognizing a driver using face and footstep KR101705007B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140167680A KR101705007B1 (en) 2014-11-27 2014-11-27 Methods and systems for recognizing a driver using face and footstep

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140167680A KR101705007B1 (en) 2014-11-27 2014-11-27 Methods and systems for recognizing a driver using face and footstep

Publications (2)

Publication Number Publication Date
KR20160063870A KR20160063870A (en) 2016-06-07
KR101705007B1 true KR101705007B1 (en) 2017-02-09

Family

ID=56192933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140167680A KR101705007B1 (en) 2014-11-27 2014-11-27 Methods and systems for recognizing a driver using face and footstep

Country Status (1)

Country Link
KR (1) KR101705007B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102361038B1 (en) * 2019-06-29 2022-02-09 주식회사 큐버 smart mirror chatbot system of high-level context awareness by use of adaptive multiple biometrics

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093204A (en) * 2012-11-05 2014-05-19 Sony Corp Acoustic illumination device and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101165106B1 (en) 2006-11-09 2012-07-12 현대자동차주식회사 Driver certification device and method that do fetters in face realization
KR20120031328A (en) * 2010-09-24 2012-04-03 옥은호 Sound recognition sensor
KR20120115644A (en) * 2011-04-11 2012-10-19 현대자동차주식회사 Device and method for driver recognition using smart key

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093204A (en) * 2012-11-05 2014-05-19 Sony Corp Acoustic illumination device and program

Also Published As

Publication number Publication date
KR20160063870A (en) 2016-06-07

Similar Documents

Publication Publication Date Title
JP5211797B2 (en) Authentication system, authentication method, and authentication program
JP6354585B2 (en) Passenger counting system, passenger counting method and passenger counting program
JP5502837B2 (en) Electronic device, method including operation of electronic device, and program
WO2014064898A1 (en) Device, method and program for measuring number of passengers
JP6146078B2 (en) Biological detection device, face authentication device, imaging device, biological detection method, and biological detection program
JP6607308B2 (en) Passenger counting device, system, method and program
EP2913799A2 (en) System and method having biometric identification intrusion and access control
KR101276345B1 (en) Multiple biometrics apparatus and method thereof
US20130129164A1 (en) Identity recognition system and method based on hybrid biometrics
CN105599724B (en) Control device and control method
JPWO2015052896A1 (en) Passenger number measuring device, passenger number measuring method, and passenger number measuring program
KR102009000B1 (en) Anti-spoofing method and system of a device having a fingerprint sensor
US8965068B2 (en) Apparatus and method for discriminating disguised face
CA2794659A1 (en) Apparatus and method for iris recognition using multiple iris templates
US20140286546A1 (en) Apparatus and method for processing fingerprint image
CN109460697B (en) Auxiliary filtering device for face recognition and starting method of electronic device
US20110002511A1 (en) Mole identifying device, and personal authentication device, method, and program
JP2019523478A5 (en)
US9349071B2 (en) Device for detecting pupil taking account of illuminance and method thereof
KR101620774B1 (en) Biometric authentication device, biometric authentication method, and storage medium
KR101705007B1 (en) Methods and systems for recognizing a driver using face and footstep
JP2019016268A (en) Image processing apparatus, image processing method and image processing program
KR20170070754A (en) Security system using uwb radar and method for providing security service thereof
JP6478221B2 (en) Person identification device and program
US7912293B2 (en) Image processing system and image judgment method and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4