KR100899660B1

KR100899660B1 - Apparatus and method for warning to driving concentration

Info

Publication number: KR100899660B1
Application number: KR1020070120908A
Authority: KR
Inventors: 최종우; 윤대섭; 김현숙; 김주완
Original assignee: 한국전자통신연구원
Priority date: 2007-11-26
Filing date: 2007-11-26
Publication date: 2009-05-27

Abstract

본 발명은 운전 집중도 알림 방법에 관한 것으로, 자동차 운행 중 차량 내에 발생하는 오디오 신호를 입력받아 구간별로 저장하고, 오디오 신호에서 검출된 구간별 음성 에너지를 이용하여 대화가 발생하였음을 판단한 후, 대화가 발생한 구간이 연속적으로 기준 구간 횟수 이상이 되는 경우 운전 집중도 저하를 알린다. 이와 같이 함으로써, 자동차의 운행 중에 운전자 또는 동승자의 대화 여부를 판단하여 운전자의 주의가 분산되는 상황을 판단할 수 있다. 또한, 자동차 운행 중 대화가 일정 시간 이상 지속 되는 경우 운전 집중도 저하를 알림으로써 편리하게 운전자의 주의 분산을 방지할 수 있는 효과가 있다. The present invention relates to a method of notifying an operation concentration, in which an audio signal generated in a vehicle during a vehicle operation is received and stored for each section, and after determining that a conversation has occurred using the speech energy of each section detected in the audio signal, And notifies the decrease in operation concentration when the generated section continuously exceeds the reference section number. By doing so, it is possible to judge whether or not the driver or the passenger is in conversation while the vehicle is in operation, thereby determining the situation in which the driver's attention is dispersed. In addition, when the conversation lasts for a certain period of time during driving of the vehicle, it is possible to conveniently prevent the distraction of the driver by notifying the driver of the decrease in the concentration of driving.

자동차 운행, 운전 집중도, 음성 신호 Automobile operation, driving concentration, voice signal

Description

Technical Field [0001] The present invention relates to an apparatus and method for driving concentration,

본 발명은 자동차에 적용되는 운전 집중도 알림 장치에 관한 것으로, 더욱 상세하게는 운전 중에 발생하는 대화의 지속 여부를 판단하여 운전자의 운전 집중도 저하를 알리기 위한 장치 및 그 방법에 관한 것이다.More particularly, the present invention relates to an apparatus and method for informing a driver of a decrease in driving concentration by determining whether a conversation that occurs during driving is continued or not.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-025-01, 과제명: VDMS(Vehicle & Driver Management System) 기술 개발].The present invention was derived from a research carried out as part of the IT growth engine technology development project of the Ministry of Information and Communication and the Korea IT Industry Promotion Agency. [Assignment number: 2007-S-025-01, Title: VDMS (Vehicle & Driver Management System Technology development].

운전 중인 운전자의 주의를 분산 시키는 행위는 교통사고 유발에 큰 영향을 주게 된다. 특히, 장시간 운전을 할 경우에 졸음 운전이나 라디오 등의 장치 조작 및 운전자의 대화 등으로 인한 운전 부주의 등은 운전자의 주의를 분산시키는 행위이다. 따라서, 운전 중인 운전자의 주의를 분산시키는 상황을 경고하여 운전자가 운전에 집중할 수 있도록 해야할 필요가 있다.The act of dispersing the attention of the driver in driving has a great influence on the traffic accidents. In particular, in the case of driving for a long period of time, careless driving due to drowsy driving, operation of a device such as a radio, and conversation of a driver is an act of dispersing the driver's attention. Therefore, it is necessary to warn the situation that the driver's attention is dispersed so that the driver can concentrate on driving.

종래의 운전 집중도 저하를 알리는 방법으로는 졸음 운전을 하는 운전자에게 졸음 운전 중임을 경고하는 방법이 있었다. 이와 같은 방법은, 운전자의 뇌파를 실 시간으로 감지하거나 운전자의 동공 모양을 실시간으로 감지하여 운전자의 졸음 운전 여부를 판단하고, 운전자에게 졸음 운전 중임을 경고하였다.In a conventional method of notifying a driver of a drowsy driving, the driver is warned that he / she is in a drowsy driving state. In such a method, a driver's eardrum is sensed in real time or a pupil shape of a driver is sensed in real time to determine whether the driver is sleepy or not, and the driver is warned that the driver is sleepy.

그런데, 이와 같은 방법은 운전자의 뇌파나 신체 일부의 상태를 지속적으로 감지하기 위한 고성능 감지 장치가 필요하여 비용 및 편의성 측면에서 현실적으로 적용에 어려움이 있었다. 또한, 운전자의 주의를 분산시키는 행위 중 큰 요인이 되는 운전자의 대화로 인한 운전 부주의를 경고하는 방법은 없었다.However, such a method requires a high-performance sensing device for continuously sensing the state of the brain waves or the body of the driver, which is difficult to apply in real terms in terms of cost and convenience. In addition, there was no way to warn driver negligence due to the driver's conversation, which is a major factor in distributing the driver's attention.

즉, 종래의 차량 내 음성을 인식하는 기술은 운전자의 음성 인식을 하여 운행 보조 장치(텔레매틱스 장치 등)를 제어하거나 운전에 필요한 정보를 검색하기 위한 명령을 입력하는 방법으로 사용되었을 뿐이다.That is, the conventional technology for recognizing in-vehicle voice is only used as a method of controlling the driving assistance device (telematics device or the like) by voice recognition of the driver or inputting a command for searching information necessary for driving.

따라서, 운전자의 차량 운행 중 발생하는 대화 여부를 판단하여 운전자의 주의를 환기시킬 수 있는 운전 집중도 알림 방법이 필요한 실정이다.Accordingly, there is a need for a driving concentration notification method that can determine whether or not a driver has a conversation that occurs while the vehicle is running and call attention to the driver.

본 발명이 이루고자 하는 기술적 과제는 차량 운행 중 발생하는 음성 신호를 검출하여, 검출된 음성 신호로 판단되는 대화 여부에 따라 운전자에게 운전 부주의를 알릴 수 있는 운전 집중도 알림 장치 및 방법을 제공하는 것이다.An object of the present invention is to provide an apparatus and method for notifying an operator of a driver's attention to driving in accordance with whether or not a voice signal generated during a vehicle operation is detected and determined as a detected voice signal.

위에서 기술한 바와 같은 과제를 이루기 위하여, 본 발명의 특징에 따른 운전 집중도 알림 장치는, 자동차 운행 중 차량 내에 발생하는 오디오 신호를 수신하여 구간별로 저장하는 녹음부, 상기 녹음부에 의해 저장된 오디오 신호를 분석하여 검출되는 음성 에너지를 이용하여 대화 지속 여부를 판단하는 분석부 및 상기 분석부의 판단 결과에 따라 대화가 지속 되는 경우 운전 집중도 알림을 출력하는 알림부를 포함한다.According to an aspect of the present invention, there is provided an operation concentration notification apparatus comprising: a recording unit that receives an audio signal generated in a vehicle during driving of a vehicle and stores the audio signal for each section; An analysis unit for determining whether the conversation is continued using the speech energy analyzed and the notification unit for outputting an operation concentration notification when the conversation continues according to the determination result of the analysis unit.

또한, 본 발명의 다른 특징에 따른 자동차 운행 중 운전 집중도를 알리는 방법은, 상기 자동차 운행 중 차량 내에 발생하는 오디오 신호를 입력받아 구간별로 저장하는 단계, 상기 오디오 신호에서 검출된 구간별 음성 에너지를 이용하여 대화가 발생하였음을 판단하는 단계 및 상기 대화가 발생한 구간이 연속적으로 기준 구간 횟수 이상이 되는 경우 운전 집중도 저하를 알리는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of informing an operator of driving concentration during driving, the method comprising: receiving an audio signal generated in a vehicle during driving of the vehicle and storing the audio signal for each section; Determining whether a conversation has occurred, and informing the user of a decrease in driving concentration when the interval in which the conversation has occurred continuously exceeds the reference interval number.

이와 같은 본 발명의 실시예에 따르면, 자동차의 운행 중에 운전자 또는 동승자의 대화 여부를 판단하여 운전자의 주의가 분산되는 상황을 판단할 수 있다. According to the embodiment of the present invention, it is possible to judge whether or not the driver or the passenger is in conversation during the operation of the automobile, thereby determining the situation in which the driver's attention is dispersed.

또한, 자동차 운행 중 대화가 일정 시간 이상 지속 되는 경우 운전 집중도 저하를 알림으로써 편리하게 운전자의 주의 분산을 방지할 수 있는 효과가 있다. In addition, when the conversation lasts for a certain period of time during driving of the vehicle, it is possible to conveniently prevent the distraction of the driver by notifying the driver of the decrease in the concentration of driving.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

이하, 첨부된 도면을 참조하여 본 발명에 대해서 상세히 설명하도록 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 운전 집중도 알림 장치의 구성도이다.1 is a block diagram of an operation concentration notification apparatus according to an embodiment of the present invention.

도 1에서 나타낸 바와 같이, 운전 집중도 알림 장치(100)는 녹음부(110), 저장부(120), 분석부(130) 및 알림부(140)를 포함한다.1, the operation concentration notification device 100 includes a recording unit 110, a storage unit 120, an analysis unit 130, and a notification unit 140.

녹음부(110)는 차량 내에서 발생하는 오디오 신호를 구간별로 녹음한다. 즉, 녹음부(110)는 마이크로 폰 등의 오디오 입력 장치를 통해 입력되는 오디오 신호를 연속적으로 입력받아 녹음한다. 이때, 입력되는 오디오 신호는 차량의 운행 중 발생하는 오디오 신호로서, 운전자의 음성 신호와 차량 운행 중 발생하는 잡음이 함께 녹음될 수 있다. The recording unit 110 records audio signals generated in the vehicle in each section. That is, the recording unit 110 continuously receives and records an audio signal input through an audio input device such as a microphone. At this time, the input audio signal is an audio signal generated during the driving of the vehicle, and the audio signal of the driver and the noise occurring while the vehicle is running can be recorded together.

그리고 녹음부(110)는 녹음되는 오디오 신호를 구간별로 나누어 저장부(120)에 저장한다. 즉, 녹음부(110)는 지속적으로 녹음되는 오디오 신호를 일정 주기마다 저장부(120)에 저장한다. The recording unit 110 divides audio signals to be recorded by intervals and stores the audio signals in the storage unit 120. That is, the recording unit 110 stores the continuously recorded audio signals in the storage unit 120 at regular intervals.

저장부(120)에는 녹음부(110)를 통해 녹음된 구간별 오디오 신호가 순차적으로 저장된다. 이때, 저장부(120)는 분석부(130)의 요청에 따라 녹음된 구간별 오디오 신호를 순차적으로 출력한다. The storage unit 120 sequentially stores the audio signals of the sections recorded through the recording unit 110. [ At this time, the storage unit 120 sequentially outputs the recorded audio signal of each section according to the request of the analysis unit 130. [

분석부(130)는 저장부(120)에 저장된 구간별 오디오 신호를 분석하여 사용자가 현재 대화 중인지 여부를 판단한다. 이때, 분석부(130)는 구간별 오디오 신호에서 구간별 음성 에너지를 검출 및 분석하여 사용자의 대화 여부 및 대화 지속 여부를 판단한다.The analysis unit 130 analyzes the audio signal of each section stored in the storage unit 120 to determine whether the user is currently in conversation. At this time, the analyzer 130 detects and analyzes the speech energy of each section in the audio signal of each section to determine whether the user is talking or not.

이때, 분석부(130)는 사용자의 대화 지속 시간이 기준 시간을 초과하면 운전자의 운전 집중도가 낮아지는 것으로 판단하여 알림부(140)를 통해 운전자 측에 알림 메시지를 출력한다.At this time, the analysis unit 130 determines that the driving concentration of the driver is lowered when the user's conversation duration exceeds the reference time, and outputs a notification message to the driver through the notification unit 140.

알림부(140)는 분석부(130)로부터 알림 메시지 출력 요청을 받아 설정된 알림 메시지를 출력한다. 이때, 알림 메시지는 장착된 알림 출력 장치(미도시)의 종류에 따라 출력될 수 있다. The notification unit 140 receives the notification message output request from the analysis unit 130 and outputs a notification message. At this time, the notification message may be output according to the type of the attached notification output device (not shown).

여기서, 알림 출력 장치는 시청각 또는 감각을 이용한 장치일 수 있다. 즉, 알림 출력 장치는 스피커, 시각적 표시 장치, 핸들에 장착되는 진동 모터 등을 이용하여 구성될 수 있다. 예를 들어, 알림 출력 장치가 스피커인 경우 알림부(140)는 출력할 알림 메시지를 음성 데이터로 출력한다. 이때, 알림부(140)는 출력할 알림 메시지의 음성 데이터가 저장된 저장 장치(미도시)를 포함할 수 있다. Here, the notification output device may be an audiovisual device or a sensory device. That is, the notification output device may be configured using a speaker, a visual display device, a vibration motor mounted on the handle, or the like. For example, when the notification output apparatus is a speaker, the notification unit 140 outputs a notification message to be output as voice data. At this time, the notification unit 140 may include a storage device (not shown) storing voice data of a notification message to be output.

이와 같은 방식으로 알림 출력 장치의 특징에 따른 알림 메시지를 출력하여 대화 중인 운전자에게 운전 집중도 경고를 할 수 있다.In this manner, a notification message according to the characteristics of the notification output device can be output to warn the driver in charge of the operation.

아래에서는, 도 2 내지 도 3을 참조하여 본 발명의 실시예에 따른 운전 집중도 알림 방법에 대해서 상세히 설명하도록 한다.Hereinafter, an operation concentration notification method according to an embodiment of the present invention will be described in detail with reference to FIG. 2 to FIG.

도 2는 도 1에서 나타낸 분석부의 구성도 이다.2 is a configuration diagram of the analysis unit shown in FIG.

도 2에서 나타낸 바와 같이 분석부(130)는 고속푸리에변환(FFT: Fast Fourier Transformation, 이하 'FFT'라 함)모듈(131), 음성 에너지 검출모듈(132), 대화 판단모듈(133), 운전 집중도 판단모듈(134)을 포함한다.2, the analyzer 130 includes a Fast Fourier Transform (FFT) module 131, a speech energy detection module 132, a dialogue determination module 133, And a concentration determination module 134.

먼저, FFT모듈(131)은 저장부(120)에 저장되어 있는 구간별 오디오 신호를 푸리에 변환하여 주파수 도메인(영역)에서 분석할 수 있도록 한다. 이때, FFT 모듈(131)은 저장부(120)로 구간별 오디오 데이터를 획득하고, 구간별 오디오 데이터를 푸리에 변환하여 음성 에너지 검출모듈(132)에 전달한다.First, the FFT module 131 performs Fourier transform on the audio signal of each section stored in the storage unit 120, and analyzes it in the frequency domain (region). At this time, the FFT module 131 acquires audio data for each section to the storage unit 120, and Fourier-transforms the audio data for each section to transmit the audio data to the audio energy detection module 132.

음성 에너지 검출모듈(132)은 푸리에 변환된 구간별 오디오 데이터에서 설정된 주파수 대역의 음성 에너지를 분석한다. 그리고 음성 에너지 검출모듈(132)은 각 대역별 오디오 데이터에서 검출된 음성 에너지의 값을 대화 판단모듈(133)로 전 달한다.The speech energy detection module 132 analyzes the speech energy of the set frequency band in the Fourier-transformed section-based audio data. The speech energy detection module 132 transmits the value of the speech energy detected in the audio data of each band to the dialog determination module 133.

이때, 음성 에너지 검출모듈(132)은 구간별 오디오 데이터에서 음성 신호와 잡음 신호를 구별하기 위하여 음성 신호와 잡음 신호의 에너지 차이가 큰 주파수 대역을 미리 설정할 수 있다. In this case, the speech energy detection module 132 may set a frequency band having a large energy difference between the speech signal and the noise signal so as to distinguish the speech signal from the noise signal in the audio data of each section.

예를 들어, 음성 에너지를 분석하기 위한 주파수 대역은 차량 운행 전 잡음이 최소화된 상태에서 음성 신호만을 획득하여 검출되는 음성 에너지와 차량 운행 시 음성 신호가 발생 되지않는 상태에서 잡음 신호만을 획득하여 검출되는 잡음 에너지를 같은 주파수 대역에서 비교하여 그 차이가 큰 주파수 대역으로 설정될 수 있다.For example, the frequency band for analyzing voice energy is obtained by acquiring only a voice signal in a state where the noise before the vehicle operation is minimized, and acquiring only a noise signal in a state where no voice signal is generated during the vehicle operation The noise energy may be compared in the same frequency band so that the difference can be set to a frequency band having a large difference.

이때, 음성 신호와 잡음 신호의 각 에너지 차이가 큰 주파수 대역은 미리 다양한 운전 환경에서 음성 신호를 검출하기에 유리한 대역으로 설정할 수 있다. In this case, the frequency band in which the energy difference between the voice signal and the noise signal is large can be set to a band advantageous for detecting a voice signal in various operating environments in advance.

대화 판단모듈(133)은 검출된 대역별 음성 에너지를 기준 음성 에너지와 비교하여 대화 여부를 판단한다. 즉, 대화 판단모듈(133)은 검출된 음성 에너지가 기준 음성 에너지보다 큰 경우 대화가 발생하였음을 판단한다. 그리고 대화 판단모듈(133)은 현재 구간에서 대화가 발생하였음을 운전 집중도 판단모듈(134)로 전달한다.The conversation determination module 133 compares the detected speech energy of each band with the reference speech energy to determine whether or not the conversation is conversational. That is, the dialog determination module 133 determines that a conversation has occurred when the detected speech energy is greater than the reference speech energy. The conversation determination module 133 transmits to the operation concentration determination module 134 that a conversation has occurred in the current section.

운전 집중도 판단모듈(134)은 대화가 기준 시간 이상 지속 되는지를 판단하여 운전자의 운전 집중도에 영향을 미치는지 판단한다. 구체적으로, 운전 집중도 판단모듈(134)은 대화가 발생한 구간이 기준 구간 횟수 이상 지속 되는 경우 운전 집중도가 저하되었음을 알리는 알림 메시지를 알림부(140)를 통해 출력한다.The driving concentration determining module 134 determines whether the conversation lasts longer than the reference time and determines whether the conversation affects the driving concentration of the driver. Specifically, the operation concentration determination module 134 outputs a notification message to the notification unit 140 indicating that the concentration of the operation has decreased when the interval in which the conversation has occurred continues more than the reference interval number.

이와 같은 운전 집중도 판단모듈(134)은 대화가 발생한 구간의 횟수를 체크하여 대화가 발생하는 구간이 설정된 구간 횟수 이상이 되는지 판단한다. 이때, 운전 집중도 판단모듈(134)은 대화가 발생한 구간이 연속적으로 기준 구간 횟수를 충족하지 않는 경우에는 다시 구간 횟수를 체크하게 된다. The operation concentration determination module 134 checks the number of times the conversation has occurred and determines whether the interval where the conversation occurs is equal to or greater than the preset number of intervals. At this time, the operation concentration determination module 134 checks the number of intervals again if the interval in which the conversation has occurred does not continuously satisfy the number of reference intervals.

즉, 운전 집중도 판단모듈(134)은 기준 구간 횟수 이하의 구간 횟수가 발생한 상태에서 대화가 발생하지 않는 구간이 검출되는 경우 다시 처음부터 대화 발생 구간의 횟수를 누적하여 판단한다. That is, the operation concentration determining module 134 accumulates the number of times of occurrence of the conversation occurrence section from the beginning when a section in which conversation does not occur is detected in a state where a number of sections equal to or less than the number of reference sections occurs.

또한, 운전 집중도 판단모듈(134)은 운전 집중도 저하 알림 메시지가 출력되면 그 이후의 구간부터 다시 기준 구간 횟수를 충족하는 구간에서 대화가 발생되는지 여부를 판단할 수 있다.In addition, the operation concentration determination module 134 can determine whether a conversation occurs in a section that satisfies the reference section count from the subsequent section when the operation concentration decrease notice message is output.

도 3은 본 발명의 실시예에 따른 운전 집중도 알림 방법을 설명하기 위한 순서도 이다. 3 is a flowchart illustrating an operation concentration notification method according to an embodiment of the present invention.

먼저, 운전 집중도 알림 장치(100)는 입력되는 오디오 신호를 구간별로 녹음 및 저장한다(S400). 이때, 저장되는 오디오 신호는 차량 운행 시 발생되는 잡음 신호와 차량에 탑승한 운전자 및 동승자의 음성 신호를 포함한다. 이와 같은 오디오 신호는 구간별로 나뉘어 저장된다.First, the operation concentration notification device 100 records and stores the inputted audio signal in each interval (S400). At this time, the audio signal to be stored includes a noise signal generated when the vehicle is traveling and a voice signal of the driver and the passenger boarding the vehicle. Such an audio signal is divided and stored for each section.

그런 다음, 운전 집중도 알림 장치(100)는 저장된 구간별 오디오 신호에서 구간별 음성 에너지를 검출한다(S410). 이때, 운전 집중도 알림 장치(100)는 저장된 구간별 오디오 데이터를 푸리에 변환하여 주파수 도메인 상의 데이터를 이용하여 설정된 주파수 대역의 음성 에너지를 검출한다. 이때, 설정된 주파수 대역은 음 성 신호의 음성 에너지를 검출하기 유리한 대역으로 미리 설정될 수 있다. Then, the operation concentration notification device 100 detects the speech energy of each section in the audio signal of each section (S410). At this time, the operation concentration notification device 100 performs Fourier transform on the audio data per stored section and detects the speech energy of the set frequency band using the data in the frequency domain. At this time, the set frequency band may be preset to a band which is advantageous for detecting the speech energy of the speech signal.

그러면, 운전 집중도 알림 장치(100)는 검출된 음성 에너지와 기준 음성 에너지를 비교하여 구간별 음성 에너지가 기준 음성 에너지를 초과하는지 여부를 판단한다(S420). 즉, 구간별 음성 에너지가 기준 음성 에너지를 초과하는 경우 차량 내에 대화가 발생한 것으로 판단한다. 이때, 기준 음성 에너지는 사전에 차량 운행 중 대화가 발생하는 경우의 음성 에너지를 검출하여 획득한 실험값으로 설정될 수 있다.Then, the operation concentration notification device 100 compares the detected speech energy with the reference speech energy, and determines whether the speech energy per section exceeds the reference speech energy (S420). That is, when the speech energy per section exceeds the reference speech energy, it is determined that a conversation has occurred in the vehicle. In this case, the reference speech energy may be set to an experimental value obtained by detecting speech energy in the case where a conversation occurs in advance during vehicle operation.

이때, 단계 S420에서 검출된 구간별 음성 에너지가 기준 음성 에너지 이하인 경우 운전 집중도 알림 장치(100)는 다음 구간의 음성 에너지를 검출하는 단계 S410을 수행한다.At this time, if the speech energy per section detected in step S420 is equal to or lower than the reference speech energy, the operation concentration notification apparatus 100 performs step S410 of detecting speech energy of the next section.

반면, 단계 S420에서 검출된 구간별 음성 에너지가 기준 음성 에너지를 초과하는 경우, 운전 집중도 알림 장치(100)는 대화가 발생한 구간이 일정 구간 횟수 이상 연속 발생하는지 여부를 판단한다(S430).On the other hand, if the speech energy per section detected in step S420 exceeds the reference speech energy, the operation concentration notification apparatus 100 determines whether the section where the conversation occurs occurs continuously for a predetermined number of intervals or more (S430).

이때, 단계 S430에서 대화가 발생한 구간이 일정 구간 횟수 이상 연속 발생하는 경우 운전 집중도 알림 장치(100)는 운전자의 운전 집중도가 저하됨을 알리는 알림 메시지를 출력한다(S440). At this time, if the interval in which the conversation occurs continuously occurs more than the predetermined number of intervals in step S430, the operation concentration notification device 100 outputs a notification message informing that the driver's concentration of the driver is degraded (S440).

반면, 단계 S430에서 대화가 발생한 구간이 일정 구간 횟수 미만인 경우 운전 집중도 알림 장치(100)는 다음 구간의 음성 에너지를 검출하는 단계 S420을 수행한다. 이때, 운전 집중도 알림 장치(100)는 대화가 발생한 구간의 횟수를 체크하여 일정 구간 횟수가 되는지 여부를 판단한다.On the other hand, if the interval in which the conversation occurred in step S430 is less than the predetermined number of intervals, the operation concentration notification apparatus 100 performs step S420 of detecting the speech energy of the next interval. At this time, the operation concentration notification device 100 checks the number of times the conversation has occurred, and determines whether the number of consecutive intervals is reached.

한편, 본 발명의 실시예에서는 운전 집중도 알림 장치(100)가 차량 운행 중 발생하는 운전자 또는 동승자의 전체 대화 여부를 판단하였으나, 운전자의 음성을 미리 샘플링하여 운전자가 대화에 참여하는 경우에만 대화가 지속적으로 발생하는 경우에 알림 메시지를 출력하는 것도 가능하다. On the other hand, in the embodiment of the present invention, although the driving concentration notification device 100 determines whether the driver or the passenger is in conversation during the driving of the vehicle, the conversation continues only when the driver participates in the conversation It is also possible to output a notification message.

즉, 본 발명의 다른 실시예에 따른 운전 집중도 알림 장치는 사전에 운전자의 음성을 녹음한 후 음역 특징을 검출하고, 운전자의 음성 신호를 검출하기 유리한 주파수 대역을 설정하여 음성 에너지를 검출할 수 있다. That is, the operation concentration notification apparatus according to another embodiment of the present invention can detect the voice energy by detecting the voice characteristic of the driver after recording the voice of the driver in advance and setting a frequency band that is advantageous for detecting the voice signal of the driver .

아래에서는 도 4 내지 도 5를 참조하여 본 발명의 다른 실시예에 따른 운전 집중도 알림 방법에 대해서 설명하도록 한다.Hereinafter, an operation concentration notification method according to another embodiment of the present invention will be described with reference to FIG. 4 to FIG.

도 4는 본 발명의 다른 실시예에 따른 운전 집중도 알림 장치의 구성도이다.4 is a block diagram of an operation concentration notification apparatus according to another embodiment of the present invention.

도 4에서 나타낸 바와 같이, 본 발명의 다른 실시예에 따른 운전 집중도 알림 장치(200)는 앞서 도 1에서 설명한 운전 집중도 알림 장치(100)의 각 구성에 대응하는 녹음부(210), 저장부(220), 분석부(230), 알림부(240)를 비롯하여 사용자 입력부(250), 제어부(260) 및 운전자 저장부(270)를 더 포함하는 것을 나타내었다.4, the operation concentration notification apparatus 200 according to another embodiment of the present invention includes a recording unit 210, a storage unit (not shown) corresponding to each configuration of the operation concentration notification apparatus 100 described with reference to FIG. 1, The control unit 260 and the driver storage unit 270 as well as the input unit 220, the analysis unit 230, and the notification unit 240.

이때, 본 발명의 다른 실시예에 따른 운전 집중도 알림 장치(200) 중 도 1에서 나타낸 녹음부(110), 저장부(120), 분석부(130) 및 알림부(140)과 동일한 명칭의 각 부는 그 동작 및 구동 방법이 동일하므로, 설명의 편의상 운전자별 대화 여부를 판단하기 위한 나머지 구성 요소들에 대한 설명만 하도록 한다.In the operation concentration notification device 200 according to another embodiment of the present invention, the same name as that of the recording unit 110, the storage unit 120, the analysis unit 130, and the notification unit 140 shown in FIG. The operation and the driving method are the same. Therefore, for the sake of convenience of explanation, only the remaining constituent elements for judging whether or not to talk by driver are explained.

먼저, 사용자 입력부(250)는 사용자로부터 운전 집중도 알림 방법 선택을 받아 제어부(260)로 전달한다. 즉, 사용자 입력부(250)는 사용자가 운전자를 선택하 여 대화 여부 판단을 원하는 경우와 전체 대화 여부 판단을 원하는 경우를 입력 받는다. 그리고 사용자 입력부(250)는 사용자가 운전 집중도 알림 서비스의 대상이 되는 운전자를 선택하면, 선택된 운전자 정보를 제어부(260)로 전달한다.First, the user input unit 250 receives a selection of the operation concentration notification method from the user, and transfers the selection to the control unit 260. That is, the user input unit 250 receives a user requesting a driver to determine whether or not to conduct a conversation, and a user who desires to determine whether to conduct a conversation. The user input unit 250 transmits the selected driver information to the control unit 260 when the user selects a driver to be a target of the operation concentration notification service.

또한, 사용자 입력부(250)는 사용자가 운전자를 선택하여 대화 여부 판단을원하는 경우의 운전 집중도 알림 서비스를 위해서 사전에 사용자로부터 운전자 정보 및 운전자의 음성 신호 저장 및 분석을 위한 입력을 받아 제어부(260)로 전달한다.In addition, the user input unit 250 receives the driver information and the input for storing and analyzing the driver's voice signal from the user in advance for the operation concentration notification service when the user selects the driver and desires to determine whether to communicate, .

구체적으로, 사용자 입력부(250)는 사용자로부터 운전자 등록 요청을 받아 제어부(260)로 전달한다. 이때, 사용자 입력부(250)는 키패드(Key Pad) 또는 마이크로폰 등을 통해 사용자의 선택을 입력받을 수 있다. Specifically, the user input unit 250 receives the driver registration request from the user, and transmits the received driver registration request to the controller 260. At this time, the user input unit 250 can receive a user's selection through a keypad or a microphone.

예를 들어, 사용자가 키패드를 통해 운전자 등록 및 녹음 선택을 하는 경우 사용자 입력부(250)는 입력되는 운전자 식별 정보 및 녹음 시작 및 완료 데이터를 제어부(260)로 전달한다. 이때, 운전자 식별 정보는 적어도 한 명의 운전자를 순번으로 나타낼 수 있으며, 운전 집중도 알림 장치가 디스플레이부(미도시)를 더 포함하는 경우 운전자의 이름 정보를 입력받은 정보일 수 있다. 또한, 운전자 식별 정보는 음성 정보일 수 있다.For example, when the user selects the driver registration and the recording through the keypad, the user input unit 250 transmits the input driver identification information and the recording start and completion data to the controller 260. At this time, the driver identification information may indicate at least one driver in order, and may be the information on which the driver's name information is input if the operation concentration notification device further includes a display unit (not shown). Further, the driver identification information may be voice information.

그리고 사용자 입력부(250)는 마이크로폰 등의 입력 장치를 통해 운전자 식별 정보에 매칭되는 음성 신호를 입력받고, 제어부(260)의 제어에 따라 운전자 저장부(270)에 저장한다. 이때, 사용자 입력부(250)를 통해 입력되는 운전자의 음성 신호 데이터는 차량 운행 전 잡음이 최소화된 상태에서 녹음되는 것이 바람직하다.The user input unit 250 receives a voice signal matching the driver identification information through an input device such as a microphone and stores the voice signal in the driver storage unit 270 under the control of the controller 260. At this time, it is preferable that the voice signal data of the driver inputted through the user input unit 250 is recorded in a state in which noise before the vehicle is minimized.

제어부(260)는 사용자 입력부(250)로부터 전달되는 운전자 식별 정보에 대응되어 녹음되는 운전자의 음성 신호를 운전자 저장부(270)에 매칭하여 저장한다. 이때, 제어부(260)는 키 입력에 따라 발생하는 데이터와 대응되는 문자 테이블(미도시) 또는 입력되는 음성 신호를 분석하여 운전자 식별 정보를 검출하는 음성 인식 모듈(미도시)을 포함할 수 있다. The control unit 260 matches the driver's voice signal recorded in correspondence with the driver identification information transmitted from the user input unit 250 to the driver storage unit 270 and stores the same. The control unit 260 may include a speech recognition module (not shown) for analyzing the character table (not shown) or the input speech signal corresponding to the data generated according to the key input and detecting the driver identification information.

예를 들어, 이와 같은 운전자 식별 정보는 운전자의 이름 정보이거나 운전자가 입력되는 순차에 따른 숫자 정보일 수 있다. 이때, 제어부(260)는 사용자 입력부(250)로부터 전달된 운전자 식별 정보가 키 입력에 따른 데이터인 경우 그에 대응하는 문자를 이용하여 생성되는 운전자 식별 정보를 운전자 저장부(270)에 저장한다. 또한, 제어부(260)는 사용자 입력부(250)를 통해 전달된 운전자 식별 정보가 마이크로폰을 통해 입력되는 음성 신호인 경우 음성 신호를 분석하여 생성되는 운전자 식별 정보를 운전자 저장부(270)에 저장한다. For example, such driver identification information may be name information of the driver or numerical information according to the sequence in which the driver is input. At this time, if the driver identification information transmitted from the user input unit 250 is data corresponding to the key input, the controller 260 stores the driver identification information generated using the corresponding character in the driver storage unit 270. If the driver identification information transmitted through the user input unit 250 is a voice signal input through the microphone, the control unit 260 stores the driver identification information generated by analyzing the voice signal in the driver storage unit 270.

이와 같이, 본 발명의 실시예에서는 사용자로부터 키 입력 또는 음성 입력을 통해 운전자 식별 정보를 입력받아 저장하는 방법을 나타내었으나, 이외에도 다양한 방법이 사용될 수 있음은 당연하다. As described above, in the embodiment of the present invention, the method of receiving and storing the driver identification information through the key input or the voice input from the user has been described, but it is needless to say that various other methods can also be used.

그런 다음, 제어부(260)는 운전자 저장부(270)에 저장된 운전자의 음성 신호를 분석부(130)의 FFT모듈(131)을 이용하여 주파수 도메인 상에서 분석하여 운전자의 음역을 검출한다. 이때, 제어부(260)는 검출된 운전자의 음역 정보를 운전자 식별 정보와 매칭하여 운전자 저장부(270)에 저장한다.The control unit 260 analyzes the driver's voice signal stored in the driver storage unit 270 in the frequency domain using the FFT module 131 of the analysis unit 130 to detect the driver's voice range. At this time, the control unit 260 matches the detected driver's transliteration information with the driver identification information, and stores the matched information in the driver storage unit 270.

한편, 제어부(260)는 사용자 입력부(250)를 통해 사용자가 운전자 선택을 통 한 운전 집중도 알림 서비스를 선택하는 경우 사용자로부터 운전 집중도 알림 서비스의 대상이 되는 운전자를 선택받을 수 있다. Meanwhile, when the user selects the operation concentration notification service via the user input unit 250, the control unit 260 may select the driver who is the target of the operation concentration notification service from the user.

이때, 제어부(260)는 등록된 적어도 한 명의 운전자 중 서비스 대상이 되는 운전자가 선택되면 분석부(130)에서 음성 에너지를 검출하기 위한 주파수 대역을 선택된 운전자의 음역 정보를 이용하여 설정한다.At this time, the control unit 260 sets the frequency band for detecting the speech energy in the analysis unit 130 by using the translucency information of the selected driver if at least one registered driver is selected as the service target driver.

운전자 저장부(270)에는 제어부(260)의 제어에 따라 다수의 운전자의 식별 정보 및 음역 정보가 저장된다. In the driver storage unit 270, identification information and sound range information of a plurality of drivers are stored under the control of the controller 260.

도 5는 본 발명의 다른 실시예에 따른 운전 집중도 알림 방법을 설명하기 위한 순서도 이다.5 is a flowchart illustrating an operation concentration notification method according to another embodiment of the present invention.

도 5에서는 사용자가 운전자 선택을 통한 운전 집중도 알림 서비스를 요청한 경우를 설명하였다. 이때, 도 5에서는 설명의 편의상 앞서 도 3에서 수행되는 단계들과 동일한 과정에 대한 설명은 생략하도록 한다.FIG. 5 illustrates a case where a user requests a service concentration notification service through a driver selection. 5, description of the same steps as those performed in FIG. 3 will be omitted for the sake of convenience.

먼저, 운전 집중도 알림 장치(200)는 사용자로부터 운전자의 대화여부 판단을 통한 운전 집중도 알림 서비스 요청을 입력받는다(S600). 이때, 운전 집중도 알림 장치(200)에는 사전에 사용자가 입력한 운전자 및 운전자 음역 정보(음역에 따른 주파수)가 등록되어 있다. 즉, 운전 집중도 알림 장치(200)는 운전 집중도 알림 서비스 이전에 적어도 한명의 운전자 식별정보와 그 운전자의 음성 신호를 입력받고, 입력된 운전자의 음역 정보를 검출하여 저장한 상태이다. First, the operation concentration notification device 200 receives the operation concentration notification service request from the user through the determination of whether or not the driver is talking (S600). At this time, the driving concentration notification device 200 registers the driver's and operator's driving range information (frequency according to the transliteration range) inputted by the user in advance. That is, the operation concentration notification device 200 receives at least one driver identification information and a voice signal of the driver before the operation concentration notification service, and detects and stores the voice range information of the input driver.

그런 다음, 운전 집중도 알림 장치(200)는 사용자로부터 운전자 정보를 입력을 받는다(S610). 이때, 운전 집중도 알림 장치(200)는 디스플레이부(미도시) 등을 통해 사전에 등록된 운전자 목록을 표시하여 사용자가 운전자를 선택할 수 있도록 할 수 있다. 또한, 운전 집중도 알림 장치(200)는 마이크로폰 등의 입력 장치를 통해 음성 신호를 이용하여 운전자 식별 정보를 입력 받을 수 있다.Then, the operation concentration notification device 200 receives the driver information from the user (S610). At this time, the operation concentration notification device 200 may display a driver list registered in advance through a display unit (not shown) or the like so that the user can select a driver. In addition, the operation concentration notification device 200 can receive driver identification information using an audio signal through an input device such as a microphone.

그런 다음, 운전 집중도 알림 장치(200)는 입력된 운전자 정보를 이용하여 사전에 등록된 운전자인지 여부를 판단한다(S620). 운전 집중도 알림 장치(200)는 사전에 등록된 운전자 목록과 입력된 운전자 식별 정보를 비교하여 입력된 운전자의 등록 여부를 판단한다. Then, the operation concentration notification device 200 determines whether it is a driver registered in advance using the input driver information (S620). The operation concentration notification device 200 compares the previously registered driver list with the inputted driver identification information and determines whether or not the inputted driver is registered.

이때, 단계 S620의 판단 결과 사용자가 입력한 운전자가 등록된 운전자인 경우 운전 집중도 알림 장치(200)는 운전 집중도 알림 서비스를 수행한다(S630). 이때, 수행되는 운전 집중도 알림 서비스는 앞서 도 3에서 설명한 단계(단계 S400 내지 S440)들을 수행하여 제공된다. 다만, 앞서 도 3에서 나타낸 단계 S410에서 음성 에너지를 검출하는 주파수 대역은 선택된 운전자의 음역 정보에 따른 주파수 대역으로 설정된다.If it is determined in operation S620 that the driver entered by the user is a registered driver, the operation concentration notification device 200 performs an operation concentration notification service in operation S630. At this time, the operation concentration notification service to be performed is provided by performing the steps (S400 to S440) described above with reference to FIG. However, in step S410 shown in FIG. 3, the frequency band for detecting the voice energy is set to a frequency band corresponding to the range information of the selected driver.

반면, 단계 S620의 판단 결과 사용자가 입력한 운전자가 등록되지 않은 운전자인 경우 운전 집중도 알림 장치(200)는 운전자를 등록할 수 있는 알고리즘을 수행한다(S640). 즉, 운전 집중도 알림 장치(200)는 마이크로폰 또는 키패드 등을 통해 새로운 운전자를 등록받는다. 그리고나서, 운전 집중도 알림 장치(200)는 새로운 운전자를 등록한 상태에서 단계 S600를 수행한다.On the other hand, if it is determined in step S620 that the driver entered by the user is not registered, the operation concentration notification device 200 performs an algorithm for registering the driver (S640). That is, the operation concentration notification device 200 registers a new driver through a microphone or a keypad. Then, the operation concentration notification device 200 performs step S600 with the new driver registered.

이와 같은 경우, 사용자는 사전에 다수의 운전자의 음성 신호를 녹음하여 이후 운전자별 운전 집중도 알림 서비스를 사용할 수 있다. 또한, 운행 직전 운전자 지정도 가능하여 편리하게 운전 집중도 알림 서비스를 사용할 수 있다.In such a case, the user may record voice signals of a plurality of drivers in advance and use a driver concentration notification service for each driver. In addition, it is possible to designate the driver immediately before the operation and conveniently use the operation concentration notification service.

한편, 사용자 입력부(250)를 통해 사용자가 전체 대화여부 판단을 요청하는 경우에는, 앞서 도 3을 통해 설명한 각 단계(단계 S400 내지 S440)를 수행하여 운전 집중도 알림 서비스를 제공할 수 있다.Meanwhile, when the user requests to determine whether the entire conversation is to be performed through the user input unit 250, the operation concentration notification service may be provided by performing the steps (S400 to S440) described above with reference to FIG.

또한, 본 발명의 실시예들에서는 차량 운행 중 대화 여부를 판단하기 위해서음성 인식 방법 중 주파수 대역별 음성 에너지를 검출하는 방법을 나타내었다. 그런데, 이외에도 운전자 및 동승자의 대화 여부를 판단하기 위한 음성 인식 방법은 여러 방법이 사용될 수 있음은 당연하다. Further, in the embodiments of the present invention, a method of detecting voice energy for each frequency band in the voice recognition method to determine whether or not the vehicle is in a conversation state is shown. However, it is needless to say that various methods can be used for the speech recognition method for determining whether or not the driver and the passenger are conversant.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims

A user input unit for receiving the driver identification information and the voice signal;

A controller for analyzing a voice signal of the input driver to detect a frequency corresponding to the driver's voice range and for matching and storing the frequency corresponding to the driver's voice range and the driver identification information;

A driver storage unit for storing the driver identification information and a frequency corresponding thereto;

A recording unit for receiving audio signals generated in the vehicle during vehicle operation and recording the audio signals for each section;

A storage unit for storing the audio signal recorded by the recording unit by intervals;

An analysis unit for analyzing the audio signal stored in the storage unit based on a frequency band corresponding to the driver's range and determining whether to continue the conversation using the detected speech energy; And

When the conversation continues according to the determination result of the analysis unit,

Wherein the operating concentration indicator comprises an operating concentration indicator.

delete

The method according to claim 1,

The analyzing unit,

A fast Fourier transform module for obtaining an audio signal stored for each section and converting the audio signal into a frequency domain signal;

An audio energy detection module for detecting audio energy per section in the audio signal converted into the frequency domain signal;

A dialog determination module that determines that a conversation has occurred in the current section when the speech energy per section exceeds the reference speech energy; And

A driving concentration determining module for determining that the driving concentration is decreased when the interval in which the conversation has occurred is continued more than the reference interval number of times,

Wherein the operating concentration notification device comprises:

The method of claim 3,

Wherein the speech energy detection module comprises:

Detecting an energy of a voice signal in a specific frequency band of the audio signal converted into the frequency domain signal,

The specific frequency band is set according to the driver's range

Operating concentration notification device.

delete

In a method for informing driving concentration during driving of a vehicle,

Recording the driver identification information of the automobile and the voice signal of the driver;

Analyzing the recorded voice signal and detecting a frequency corresponding to the driver's range;

Matching the driver identification information with a frequency corresponding to the driver's voice range and storing the same;

Receiving audio signals generated in the vehicle during the vehicle operation and storing the audio signals for each section;

Detecting speech energy of each of the audio signals based on a frequency band of the driver in the range;

Determining that a conversation has occurred using the speech energy per section detected in the audio signal; And

If the interval in which the conversation has occurred continuously exceeds the reference interval number,

The method comprising the steps of:

The method according to claim 6,

Wherein the step of determining that the conversation has occurred comprises:

Converting the audio signal into a frequency domain signal;

Detecting speech energy for each section from the audio signal converted into the frequency domain signal; And

Determining whether a conversation has occurred when the speech energy of each section exceeds the reference speech energy

The method comprising the steps of:

8. The method of claim 7,

Wherein the step of detecting the speech energy of each section comprises:

Detecting an audio energy of a specific frequency band from the audio signal converted into the frequency domain signal,

The specific frequency band is set according to the range of the driver of the automobile

How to remind driving concentration.

delete

The method according to claim 6,

After the step of notifying the lowering of the driving concentration,

A step of accumulating a dialog occurrence period after the point in time when the operation concentration concentration is noticed;

Further comprising the steps of: