KR102339578B1 - Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof - Google Patents

Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof Download PDF

Info

Publication number
KR102339578B1
KR102339578B1 KR1020200071244A KR20200071244A KR102339578B1 KR 102339578 B1 KR102339578 B1 KR 102339578B1 KR 1020200071244 A KR1020200071244 A KR 1020200071244A KR 20200071244 A KR20200071244 A KR 20200071244A KR 102339578 B1 KR102339578 B1 KR 102339578B1
Authority
KR
South Korea
Prior art keywords
snow removal
voice recognition
driving
vehicle
removal vehicle
Prior art date
Application number
KR1020200071244A
Other languages
Korean (ko)
Inventor
이계석
Original Assignee
주식회사 자동기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 자동기 filed Critical 주식회사 자동기
Priority to KR1020200071244A priority Critical patent/KR102339578B1/en
Application granted granted Critical
Publication of KR102339578B1 publication Critical patent/KR102339578B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a snow-removing device provided in a snow-removing vehicle through voice recognition and a driving method thereof, wherein the present invention characterized in that a user can conveniently control a control of various equipment mounted on the snow-removing vehicle by voice. The method comprises: a step of receiving sound; a step of receiving a voice recognition initiation trigger; a step of initiating a voice recognition process; and a step of performing an operation of the snow-removing device.

Description

음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치 및 이의 구동 방법 {Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof}Driving apparatus for snow removal equipment provided in a snow removal vehicle through voice recognition and driving method thereof {Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof}

본 발명은 운전자가 음성으로 제설 차량에 구비되는 각종 장치를 컨트롤(control) 할 수 있는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치 및 이의 구동 방법에 관한 것이다.The present invention relates to a driving device for a snow removal device provided in a snow removal vehicle through voice recognition that enables a driver to control various devices provided in the snow removal vehicle by voice, and a driving method thereof.

도로는 사람과 화물의 이동을 보장하기 위한 국가의 기간시설로서 국가 경제와 국민의 삶의 질 향상에 중요한 역할을 하고 있다. 따라서, 각 국가에서는 사람과 화물의 원활한 통행을 위하여 많은 도로를 새로 건설할 뿐 아니라, 효율적으로 도로를 유지 및 관리하기 위한 다양한 노력을 하고 있다.Roads play an important role in improving the national economy and people's quality of life as the national infrastructure to ensure the movement of people and cargo. Accordingly, each country is making various efforts to efficiently maintain and manage roads as well as constructing new roads for the smooth passage of people and cargo.

이러한 도로의 상태는 기상 조건에 따라 다양하게 변화한다. 특히, 강우나 폭설 등은 도로가 사람이나 화물의 원활한 이동을 제공하지 못하게 하는 원인을 제공한한다. 그리고, 이러한 도로의 상태는 설해와 한파가 지속되는 겨울철에 더 악화된다. The condition of these roads varies according to weather conditions. In particular, rainfall or heavy snow provides a cause that prevents the road from providing smooth movement of people or cargo. And, the condition of these roads is worse in winter when snowstorms and cold waves continue.

따라서, 설해와 한파가 지속되는 겨울철에 있어서, 도로 관리의 중요성은 더욱 강조된다. 그리고, 이러한 중요성으로 인하여 제설 작업에 사용되는 장비의 확보와 선진화가 다양한 방면으로 이루어지고 있다.Therefore, the importance of road management is further emphasized in winter, when snow storms and cold waves continue. And, due to such importance, securing and advancing equipment used for snow removal is being made in various fields.

도면 1도는 제설 작업에 사용되는 일반적인 차량의 모습을 보여주는 도면이고, 도면 2도는 제설 차량의 운전석 내부의 모습을 보여주는 도면이다.FIG. 1 is a view showing the appearance of a general vehicle used for snow removal, and FIG. 2 is a view showing the interior of a driver's seat of the snow removal vehicle.

도로에 쌓이는 눈 등을 제거하기 위하여 제설 차량(20)에는 다양한 장비가 구비될 수 있다. 대표적으로는 제설 차량(20)의 전면에 부착되는 제설 삽(10)과 제설 차량(20)의 후면에 부착되어 도로에 염화 칼슘(Calcium chloride) 등의 제설제를 살포하는 스프레더(60, spreader) 등이 있다. 이렇게 제설 차량(20)에 구비되는 제설 삽(10), 스프레더(60) 등을 작동시키기 위하여 제설 차량(20)을 운전하는 운전자(30)는 차량에 구비되는 다양한 조작 장치(50)를 제어하여야 한다. 따라서, 운전자(30)는 한손으로는 운전대(40)를 잡고서 제설 차량(20)을 운전하는 동시에, 조작 장치(50)의 버튼(button) 등을 눌러서 스프레더(60) 등의 작동, 정지, 속도 조절 등의 다양한 조작을 수행해야 하는 상황이 발생하기도 한다. 이처럼 운전자(30)가 차량의 운전에 집중하지 못하고 주의가 분산되게 되면 사고의 위험도 증가하게 되며, 그 피해는 제설 차량(20)과 같이 육중한 차량의 경우에 더 심각할 수 밖에 없다. 그러므로, 제설 차량(20)을 모는 운전자(30)가 안전하게 제설 차량(20)을 운전하면서, 제설 차량(20)에 구비된 각종 제설 장비를 안전하게 작동시킬 수 있는 인터페이스(interface)가 필요한 시점이다.In order to remove snow accumulated on the road, the snow removal vehicle 20 may be equipped with various equipment. Representatively, a snow removal shovel 10 attached to the front of the snow removal vehicle 20 and a spreader 60 attached to the rear of the snow removal vehicle 20 to spray a snow removal agent such as calcium chloride on the road (60, spreader) etc. In order to operate the snow removal shovel 10, the spreader 60, etc. provided in the snow removal vehicle 20 in this way, the driver 30 driving the snow removal vehicle 20 must control the various operating devices 50 provided in the vehicle. do. Accordingly, the driver 30 drives the snow removal vehicle 20 while holding the steering wheel 40 with one hand, and at the same time presses a button of the operation device 50 to operate, stop, and speed the spreader 60, etc. In some cases, it is necessary to perform various operations such as adjustment. As such, when the driver 30 fails to concentrate on driving the vehicle and is distracted, the risk of an accident also increases, and the damage is inevitably more serious in the case of a heavy vehicle such as the snow removal vehicle 20 . Therefore, it is a time when the driver 30 driving the snow removal vehicle 20 safely operates the snow removal vehicle 20 and an interface capable of safely operating various snow removal equipment provided in the snow removal vehicle 20 is required.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 운전자 등이 음성을 통하여 각종 제설 장비를 작동시킬 수 있는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치 및 이의 구동 방법을 제공하고자 한다.The present invention has been devised to solve the above problems, and to provide a driving device for a snow removal device provided in a snow removal vehicle through voice recognition that enables a driver, etc. to operate various snow removal equipment through voice, and a driving method thereof do.

또한, 제설 차량 내부에 각종 소음에도 불구하고 강인하게 음성을 인식할 수 있는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치 및 이의 구동 방법을 제공하고자 한다.Another object of the present invention is to provide a driving device for a snow removal device provided in a snow removal vehicle through voice recognition capable of recognizing a strong voice despite various noises inside the snow removal vehicle, and a driving method thereof.

상기한 목적을 달성하기 위해, 본 발명에서는 음성 인식 개시 트리거(trigger)가 수신되는 단계; 상기 음성 인식 트리거가 수신됨에 따라 음성 인식 과정이 개시되는 단계; 상기 음성 인식 과정의 결과가 기설정된 명령어와 매칭(matching)되는 경우, 상기 명령어에 따른 제설 장치의 작동이 수행되는 단계;가 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In order to achieve the above object, the present invention comprises the steps of receiving a voice recognition initiation trigger (trigger); initiating a voice recognition process as the voice recognition trigger is received; When the result of the voice recognition process matches a preset command, the operation of the snow removal device according to the command is performed; provides a driving method.

또한, 음성 인식 개시 트리거(trigger)가 수신되는 단계 이전에 마이크(mike)를 통하여 사운드(sound)가 수신되는 단계;가 더 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the step of receiving a sound (sound) through a microphone (mike) before the step of receiving a voice recognition start trigger (trigger); provides a driving method.

또한, 음성 인식 개시 트리거(trigger)가 수신되는 단계 이후에, 마이크(mike)를 통하여 사운드(sound)가 수신되는 단계;가 더 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, after the step of receiving a voice recognition start trigger (trigger), the step of receiving a sound (sound) through a microphone (mike); Snow removal apparatus provided in the snow removal vehicle through voice recognition, characterized in that it further comprises provides a driving method for

또한, 상기 음성 인식 개시 트리거는 스위치(switch)가 눌러짐에 의하여 발생되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the voice recognition start trigger provides a method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that generated when a switch is pressed.

또한, 상기 스위치는 기계식 스위치인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the switch provides a method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the switch is a mechanical switch.

또한, 상기 음성 인식 개시 트리거는 마이크를 통하여 수신된 음성 신호인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, there is provided a method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that the voice recognition start trigger is a voice signal received through a microphone.

또한, 마이크(mike)를 통하여 사운드가 수신되는 단계 이후에, 수신된 사운드에서 잡음이 제거되는 단계;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, after the step of receiving the sound through a microphone (mike), the step of removing noise from the received sound; provides a method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that it further comprises a do.

또한, 상기 마이크는 빔포밍(beam forming) 마이크인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the microphone provides a method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the microphone is a beam forming (beam forming) microphone.

또한, 상기 음성 인식 과정은 수신되는 사운드에서 음성 인식 구간이 설정되는 단계; 상기 음성 인식 구간에서의 입력 특징 벡터(vector)가 추출되는 단계; 상기 입력 특징 벡터를 참조 특징 벡터와 유사도를 비교하여 음성의 텍스트(text) 변환이 수행되는 단계;를 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the voice recognition process includes the steps of setting a voice recognition section in the received sound; extracting an input feature vector in the speech recognition section; There is provided a method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that the input feature vector is compared with a reference feature vector to perform text-to-text conversion.

또한, 수신되는 사운드에서 음성 인식 구간이 설정되는 단계 이전에, 고주파 성분을 강조하기 위한 프리엠퍼시스(pre-amphersis)가 수행되는 단계;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, prior to the step of setting the voice recognition section in the received sound, a step of pre-emphasis for emphasizing a high-frequency component is performed; It provides a driving method of the provided snow removal apparatus.

또한, 수신되는 사운드에서 음성 인식 구간이 설정되는 단계는 수신되는 사운드 전체의 기본 에너지(energy) 값이 계산되어 임계 에너지 레벨로 설정되는 단계; 수신되는 사운드에서 상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 전단이 상기 음성 인식 구간의 시작점으로 설정되는 단계; 수신되는 사운드에서 상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 후단이 상기 음성 인식 구간의 끝점으로 설정되는 단계;를 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the step of setting the voice recognition section in the received sound may include calculating a basic energy value of the entire received sound and setting it as a threshold energy level; setting a front end of a region in which a sound exceeding the threshold energy level in the received sound exists as a starting point of the voice recognition section; Driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that through the step of setting the rear end of the region in which the sound exceeding the threshold energy level exists as the end point of the voice recognition section in the received sound provide a way

또한, 상기 음성 인식 구간에서의 입력 특징 벡터를 추출되는 단계는 엘피씨(LPC, Linear Predictive Coding), 피엘피(PLP, Perceptual Linear Prediction), 델타(delta) 켑스트럼(cepstrum), 델타-델타 켑스트럼, 엠에프씨씨(MFCC, Mel Frequency Cepstral Coefficient), 신경망(neural network), 디티더블유(DTW, Dynamic Time Warping), 에이치엠엠(HMM, Hidden Markov Model), 씨에이치엠엠(CHMM, Continuous HMM) 또는 에스씨에이치엠엠(SCHMM, Semi-Continuous HMM)을 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the step of extracting the input feature vector in the speech recognition section LPC (Linear Predictive Coding), PLP (Perceptual Linear Prediction), delta (delta) cepstrum (cepstrum), delta-delta Cepstrum, MFCC (Mel Frequency Cepstral Coefficient), neural network, DTW (Dynamic Time Warping), HMM (Hidden Markov Model), CHMM (Continuous HMM) ) or SCHMM (Semi-Continuous HMM) provides a driving method of a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that.

또한, 음성 인식 개시 트리거(trigger)가 수신되는 단계 이전 또는 이후에, 카메라(camera)를 통하여 입술 영상이 획득되는 단계; 상기 입술 영상의 분석을 통하여 상기 음성 인식 과정이 보강되는 단계;가 더 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, before or after the step of receiving a voice recognition start trigger (trigger), the step of acquiring a lip image through a camera (camera); Reinforcing the voice recognition process through the analysis of the lip image provides a driving method of a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it further comprises.

또한, 상기 입술 영상의 분석을 통하여 상기 음성 인식 과정이 보강되는 단계는 수신되는 사운드와 동기화된 상기 입술 영상에서 주성분 변화를 참조하여 상기 음식 인식 과정의 결과가 보강됨으로써 이루어지는 것을 특징으로 하는 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the step of reinforcing the voice recognition process through the analysis of the lip image is performed by reinforcing the result of the food recognition process with reference to the change in main component in the lip image synchronized with the received sound. It provides a driving method of the provided snow removal apparatus.

또한, 상기 주성분 변화에는 입이 열리고 닫히는 속도, 아랫 입술의 돌출, 윗 입술의 돌출, 아랫 입술 아래의 그림자, 치아 확인 중 어느 하나 이상이 변화가 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, in the snow removal vehicle through voice recognition, characterized in that the change in the main component includes a change in at least one of mouth opening and closing speed, lower lip protrusion, upper lip protrusion, lower lip shadow, and tooth confirmation. It provides a driving method of the provided snow removal apparatus.

또한, 수신된 사운드에서 잡음이 제거되는 단계는 위너(wiener) 필터(filter) 또는 칼만(kalman) 필터를 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, there is provided a method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the step of removing noise from the received sound is performed through a wiener filter or a Kalman filter. .

또한, 수신된 사운드에서 잡음이 제거되는 단계는 적응 필터를 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, there is provided a method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that the step of removing noise from the received sound is performed through an adaptive filter.

또한, 상기 적응 필터의 최적 계수는 엘엠에스(LMS, Least Mean Square), 엘에스(LS, Least Square), 알엘에스(RLS, Recursive Least Square) 중의 어느 하나를 통하여 산출되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the optimal coefficient of the adaptive filter is LMS (Least Mean Square), LS (Least Square), RLS (Recursive Least Square) speech recognition, characterized in that calculated through any one It provides a method of driving a snow removal device provided in a snow removal vehicle through the

또한, 수신된 사운드에서 잡음이 제거되는 단계는 주파수 차감법, 켑스트럼 평균 차감법, 폴 필터드 켑스트럼 민 서브스트랙션(Pole-Filtered Cepstral Mean Substraction), 라스타(RASTA, Relative Spectral) 중 어느 하나의 방식을 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the step of removing noise from the received sound is one of frequency subtraction, cepstrum mean subtraction, pole-filtered cepstral mean subtraction, and RASTA (Relative Spectral). It provides a method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the operation is performed through any one method.

또한, 상기 주파수 차감법으로는 프레임(frame) 평균 주파수 차감법, 확률적 주파수 차감법, 가중치 주파수 차감법 중 어느 하나가 선택되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, as the frequency subtraction method, any one of a frame average frequency subtraction method, a stochastic frequency subtraction method, and a weighted frequency subtraction method is selected. provide a way

또한, 수신된 사운드에서 잡음이 제거되는 단계는 대역 통과 필터에 이루어지는 것을 특징으로 하는 음성 인식을 통한 차량 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the step of removing noise from the received sound provides a method of driving a snow removal apparatus provided in a vehicle snow removal vehicle through voice recognition, characterized in that the band-pass filter is performed.

또한, 상기 대역 통과 필터의 중심 주파수는 제설 차량의 속도가 증가함에 따라 증가되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, there is provided a method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that the center frequency of the band pass filter increases as the speed of the snow removal vehicle increases.

또한, 상기 명령어에는 제설제 살포 시작, 제설제 살포 정지, 스프레더(spreader) 회전 속도 증가, 스프레더 회전 속도 감소, 스프레더 높이 상승, 스프레더 높이 하강 중의 어느 하나 이상의 명령 신호가 포함되는 것을 특징으로 하는 제설 장치의 구동 방법을 제공한다.In addition, the command includes any one or more command signals of start of snow removal spraying, stop spraying of snow removal agent, increase in spreader rotation speed, decrease in spreader rotation speed, increase in spreader height, and decrease in spreader height Snow removal apparatus, characterized in that it includes provides a driving method for

또한, 본 발명은 마이크; 제설 장치 작동에 대한 기설정된 명령어를 저장하고 있는 메모리; 상기 마이크를 통하여 수신되는 사운드에서 음성을 인식하는 음성 인식부; 상기 음성 인식부의 음성 인식 결과와 상기 메모리에 저장된 상기 기설정된 명령어를 비교하여 매칭되는 경우, 상기 명령어에 따라 제설 장치를 작동시키는 제설 장치 구동부;를 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the present invention is a microphone; a memory for storing preset instructions for operating the snow removal device; a voice recognition unit for recognizing a voice from the sound received through the microphone; When the voice recognition result of the voice recognition unit compares and matches the preset command stored in the memory, the snow removal device driving unit operates the snow removal device according to the command; A driving device for an equipped snow removal device is provided.

또한, 스피커; 디스플레이;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치을 제공한다.Also, speakers; It provides a driving device for the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that it further comprises a display.

또한, 상기 음성 인식부를 작동시키는 음성 인식 트리거는 상기 마이크를 통하여 수신되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the voice recognition trigger for operating the voice recognition unit provides a driving device of the snow removal apparatus provided in the snow removal vehicle through voice recognition, characterized in that received through the microphone.

또한, 상기 음성 인식부를 작동시키는 음성 인식 트리거는 스위치가 눌러짐에 의하여 발생되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the voice recognition trigger for operating the voice recognition unit provides a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the switch is pressed.

또한, 상기 스위치는 기계식 스위치인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the switch provides a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the mechanical switch.

또한, 데이터를 송수신하는 송수신부;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, there is provided a driving device of the snow removal apparatus provided in the snow removal vehicle through voice recognition, characterized in that it further comprises a transceiver for transmitting and receiving data.

또한, 입술 영상을 획득하는 카메라; 상기 카메라가 획득한 입술 영상을 통하여 상기 음성 인식부의 음성 인식 과정을 보강하는 음성 인식 보강부; 마이크로부터 수신되는 사운드에서 잡음을 제거하는 잡음 제거부;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, a camera for acquiring a lip image; a voice recognition reinforcement unit for reinforcing the voice recognition process of the voice recognition unit through the lip image acquired by the camera; It provides a driving device for the snow removal apparatus provided in the snow removal vehicle through voice recognition, characterized in that it further comprises; a noise removing unit for removing noise from the sound received from the microphone.

또한, 상기 마이크는 빔포밍 마이크인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the microphone provides a driving device of the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that the beam forming microphone.

또한, 상기 마이크, 상기 메모리, 상기 음성 인식부, 상기 제설 장치 구동부, 상기 스피커, 상기 디스플레이, 상기 송수신부, 상기 잡음 제거부, 상기 카메라, 상기 음성 인식 보강부 사이의 데이터(data) 교환 또는 작동을 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, data exchange or operation between the microphone, the memory, the voice recognition unit, the snow removal device driving unit, the speaker, the display, the transceiver, the noise canceling unit, the camera, and the voice recognition reinforcement unit It provides a driving device of the snow removal apparatus provided in the snow removal vehicle through voice recognition, characterized in that it further comprises a control unit for controlling the.

또한, 상기 제어부는 3단 기계식 스위치에서 1단이 눌러지면 음성 지시 제어 신호로 인식하고, 2단이 눌러지면 원격 지시 제어 신호로 인식하고, 3단이 눌러지면 공중 통신망 접속 지시 신호로 인식하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the control unit recognizes as a voice instruction control signal when the first stage is pressed in the three-stage mechanical switch, as a remote instruction control signal when the second stage is pressed, and as a public network connection instruction signal when the third stage is pressed It provides a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that.

또한, 상기 음성 인식부는 고주파 성분을 강조하는 프리엠퍼시스 모듈; 수신되는 사운드에서 음성 인식 구간을 설정하는 음성 인식 구간 설정 모듈; 상기 음성 인식 구간 모듈이 설정한 상기 음성 인식 구간내의 입력 특징 벡터를 추출하는 입력 특징 벡터 추출 모듈; 상기 메모리에 저장된 기설정된 명령어에 대한 참초 특징 벡터와 상기 입력 특징 벡터 추출 모듈 사이에서 추출한 상기 입력 특징 벡터 사이의 유사도를 비교하여 텍스트 변환을 수행하는 텍스트 변환 모듈;을 포함하여 구성되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the voice recognition unit includes a pre-emphasis module for emphasizing a high-frequency component; a voice recognition section setting module for setting a voice recognition section in the received sound; an input feature vector extraction module for extracting an input feature vector within the speech recognition section set by the speech recognition section module; A text conversion module for performing text conversion by comparing the similarity between the reference feature vector for the preset command stored in the memory and the input feature vector extracted between the input feature vector extraction module; To provide a driving device for a snow removal device provided in a snow removal vehicle through voice recognition.

또한, 상기 음성 인식 구간 설정 모듈은 수신되는 사운드 전체의 기본 에너지를 계산하여 임계 에너지 레벨로 설정하는 임계 에너지 설정 섹션(section); 상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 전단을 상기 음성 인식 구간의 시작점으로 설정하고, 상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 후단을 상기 음성 인식 구간의 끝점으로 설정하는 구건 설정 섹션;을 포함하여 구성되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the voice recognition section setting module includes a threshold energy setting section for calculating the basic energy of the entire received sound and setting it as a threshold energy level; A phrase for setting the front end of an area in which a sound exceeding the threshold energy level exists as the start point of the voice recognition section, and setting the rear end of an area in which a sound exceeding the threshold energy level exists as an end point of the speech recognition section It provides a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it comprises a setting section.

또한, 상기 입력 특징 벡터 추출 모듈은 엘피씨, 피엘피, 델타 켑스트럼, 델타-델타 켑스트럼, 엠에프씨시, 신경망, 디티더블유, 에이치엠엠, 씨에이치엠엠 또는 에스씨에이치엠엠을 통하여 상기 입력 특징 벡터를 추출하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the input feature vector extraction module is configured to extract the input feature vector through the LPC, PLP, delta cepstrum, delta-delta cepstrum, MFCC, neural network, DTW, HMM, CHMM, or SCHMM. There is provided a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the input feature vector is extracted.

또한, 상기 음성 인식 보강부는 수신되는 사운드와 입술 영상 사이의 동기화를 진행하는 동기화 모듈; 입술 영상의 주성분 변화에 대한 정보를 상기 음성 인식부에 제공하는 입술 변화 정보 제공 모듈;을 포함하여 구성되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the voice recognition reinforcement unit synchronization module for performing synchronization between the received sound and the lip image; It provides a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it comprises;

또한, 입술 영상의 주성분 변화에는 입이 열리고 닫히는 속도, 아랫 입술의 돌출, 윗 입술의 돌출, 아랫 입술 아래의 그림자, 치아 확인 중 어느 하나 이상이 변화가 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the change in the main component of the lip image includes a change in any one or more of the mouth opening and closing speed, the protrusion of the lower lip, the protrusion of the upper lip, the shadow under the lower lip, and the confirmation of teeth. A driving device for a snow removal device provided in a vehicle is provided.

또한, 상기 잡음 제거부는 위너 필터, 칼만 필터, 대역 통과 필터 또는 적응 필터 중의 어느 하나 이상을 포함하여 구성되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the noise removing unit provides a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it includes any one or more of a Wiener filter, a Kalman filter, a band pass filter, and an adaptive filter.

또한, 상기 적응 필터의 최적 계수는 엘엠에스, 엘에스, 알엘에스 중의 어느 하나를 통하여 산출되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, there is provided a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the optimum coefficient of the adaptive filter is calculated through any one of LMS, LS, and RS.

또한, 상기 잡음 제거부는 주파수 차감법, 켑스트럼 평균 차감법, 폴 필터드 켑스트럼 민 서브스트랙션, 라스타 중 어느 하나의 방식을 통하여 잡음을 제거하는 것을 특징으로 하는 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the noise removing unit is provided in a snow removal vehicle, characterized in that the noise is removed through any one of a frequency subtraction method, a cepstrum average subtraction method, a pole-filtered cepstrum min subtraction, and a lasta method. A device driving device is provided.

또한, 상기 주파수 차감법으로는 프레임 평균 주파수 차감법, 확률적 주파수 차감법, 가중치 주파수 차감법 중 어느 하나가 선택되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, as the frequency subtraction method, any one of a frame average frequency subtraction method, a stochastic frequency subtraction method, and a weighted frequency subtraction method is selected. do.

또한, 상기 대역 통과 필터의 중심 주파수는 제설 차량의 속도가 증가함에 따라 증가되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, there is provided a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the center frequency of the band pass filter increases as the speed of the snow removal vehicle increases.

또한, 상기 명령어에는 제설제 살포 시작, 제설제 살포 정지, 스프레더(spreader) 회전 속도 증가, 스프레더 회전 속도 감소, 스프레더 높이 상승, 스프레더 높이 하강 중의 어느 하나 이상의 명령 신호가 포함되는 것을 특징으로 하는 제설 장치의 구동 장치를 제공한다.In addition, the command includes any one or more command signals of start of snow removal spraying, stop spraying of snow removal agent, increase in spreader rotation speed, decrease in spreader rotation speed, increase in spreader height, and decrease in spreader height Snow removal apparatus, characterized in that it includes of the driving device is provided.

또한, 본 발명은 음성 인식 개시 트리거(trigger)가 수신되는 단계; 상기 음성 인식 트리거가 수신됨에 따라 음성 인식 과정이 개시되는 단계; 상기 음성 인식 과정의 결과가 기설정된 명령어와 매칭(matching)되는 경우, 상기 명령어에 따른 제설 장치의 작동이 수행되는 단계; 상기 제설 장치의 작동 상황이 스피커(speaker) 또는 디스플레이(display)를 통하여 출력되는 단계;가 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the present invention comprises the steps of receiving a voice recognition start trigger (trigger); initiating a voice recognition process as the voice recognition trigger is received; when the result of the voice recognition process matches a preset command, operating the snow removal device according to the command; It provides a method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it includes; outputting the operation status of the snow removal apparatus through a speaker or a display (display).

또한, 상기 음성 인식 개시 트리거는 스위치(switch)가 눌러짐에 의하여 발생되는 것을 특징으로 하는 음성 인식을 통한 제설 장치의 구동 방법을 제공한다.In addition, the voice recognition start trigger provides a method of driving a snow removal apparatus through voice recognition, characterized in that generated by a switch (switch) is pressed.

또한, 상기 스위치는 기계식 스위치인 것을 특징으로 하는 음성 인식을 통한 제설 장치의 구동 방법을 제공한다.In addition, the switch provides a method of driving a snow removal device through voice recognition, characterized in that the mechanical switch.

또한, 상기 스위치는 3단 스위치인 것을 특징으로 하는 음성 인식을 통한 제설 장치의 구동 방법을 제공한다.In addition, the switch provides a method of driving a snow removal device through voice recognition, characterized in that the three-stage switch.

또한, 상기 3단 스위치에서 1단은 음성 지시 제어 신호가, 2단은 원격 지시 제어 신호가, 3단은 공중 통신망 접속 지시 신호가 제설 장치에 인가되도록 하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, in the three-stage switch, the first stage is a voice command control signal, the second stage is a remote instruction control signal, and the third stage is a public communication network connection instruction signal. It provides a method of driving a snow removal device provided in the.

또한, 음성 인식 개시 트리거(trigger)가 수신되는 단계 이전 또는 이후에, 카메라(camera)를 통하여 입술 영상이 획득되는 단계; 상기 입술 영상의 분석을 통하여 상기 음성 인식 과정이 보강되는 단계;가 더 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, before or after the step of receiving a voice recognition start trigger (trigger), the step of acquiring a lip image through a camera (camera); Reinforcing the voice recognition process through the analysis of the lip image provides a driving method of a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it further comprises.

또한, 상기 카메라는 적외선 카메라인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 제공한다.In addition, the camera provides a method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the infrared camera.

또한, 본 발명은 마이크; 스피커; 디스플레이; 제설 장치 작동에 대한 기설정된 명령어를 저장하고 있는 메모리; 상기 마이크를 통하여 수신되는 사운드에서 음성을 인식하는 음성 인식부; 상기 음성 인식부의 음성 인식 결과와 상기 메모리에 저장된 상기 기설정된 명령어를 비교하여 매칭되는 경우, 상기 명령어에 따라 제설 장치를 작동시키는 제설 장치 구동부;를 포함하며, 상기 스피커 및/또는 상기 디스플레이를 통하여는 상기 제설 장치 구동부에 의하여 작동하는 상기 제설 장치의 작동 상황이 출력되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the present invention is a microphone; speaker; display; a memory for storing preset instructions for operating the snow removal device; a voice recognition unit for recognizing a voice from the sound received through the microphone; and a snow removal device driver operating the snow removal device according to the command when the voice recognition result of the voice recognition unit is compared and matched with the preset command stored in the memory; and, through the speaker and/or the display It provides a driving device for the snow removal apparatus provided in the snow removal vehicle through voice recognition, characterized in that the output of the operation status of the snow removal apparatus operated by the snow removal apparatus driving unit.

또한, 상기 디스플레이는 터치(touch) 스크린(screen)인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the display provides a driving device of the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that the touch (touch) screen (screen).

또한, 상기 음성 인식부를 작동시키는 음성 인식 트리거는 스위치가 눌러짐에 의하여 발생되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the voice recognition trigger for operating the voice recognition unit provides a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the switch is pressed.

또한, 상기 스위치는 기계식 스위치인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the switch provides a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the mechanical switch.

또한, 상기 기계식 스위치는 3단 스위치인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the mechanical switch provides a driving device of the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that the three-stage switch.

또한, 상기 카메라는 적외선 카메라인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치를 제공한다.In addition, the camera provides a driving device of the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that the infrared camera.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치 및 이의 구동 방법에 따르면 다음과 같은 효과가 있다.According to the driving apparatus of a snow removal apparatus provided in a snow removal vehicle through voice recognition and a driving method thereof according to the present invention, the following effects are obtained.

첫째, 제설 차량에 구비되는 각종 제설 장비를 운전자의 음성을 통하여 간단히 제어할 수 있는 효과가 있다. 이를 통하여, 운전자의 주의력 분산으로 인한 사고 발생의 위험을 현저히 감소시킬 수 있는 효과가 있다.First, it is possible to simply control various snow removal equipment provided in the snow removal vehicle through the driver's voice. Through this, there is an effect that can significantly reduce the risk of an accident caused by the driver's distraction.

둘째, 차량 엔진(engine) 소리, 노면 소음 등의 각종 잡음에도 불구하고 음성을 통한 지시를 정확하게 인식할 수 있는 효과가 있다. Second, there is an effect of accurately recognizing instructions through voice in spite of various noises such as vehicle engine sound and road noise.

셋째, 스위치(switch)를 이용하여 음성 인식 과정이 개시되도록 하는 실시 예의 경우에는 잡음 등의 소음에 더 강인한 음성 인식을 보장할 수 있으며, 음성 인식 트리거(trigger)의 미인식으로 인한 불편함을 보다 줄일 수 있는 효과가 있다. 즉, 음성 인식 트리거 부분은 스위치의 작동에 따라 인식되도록 하고, 제설 장비의 구동에 필요한 명령어 부분만 음성 인식을 통하여 처리되도록 함으로써 보다 강인한 음성 인식을 제공할 수 있다. 그리고, 스위치를 누름에 따라 곧바로 음성 인식 과정에 진입하게 되므로 장치 구동에 있어 보다 빠른 반응성을 달성할 수 있다.Third, in the case of an embodiment in which the voice recognition process is started using a switch, it is possible to ensure a stronger voice recognition against noise such as noise, and to reduce the inconvenience caused by not recognizing a voice recognition trigger. has the effect of reducing it. That is, the voice recognition trigger part is recognized according to the operation of the switch, and only the command part necessary for driving the snow removal equipment is processed through voice recognition, thereby providing more robust voice recognition. And, as the switch is pressed, the voice recognition process is immediately entered, so that faster responsiveness can be achieved in driving the device.

넷째, 3단 스위치 등을 이용하여 모드 변경이 가능한 실시 예를 통하여서는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치의 사용 확장성을 넓힐 수 있는 효과가 있다.Fourth, through the embodiment in which the mode can be changed using a three-stage switch, etc., there is an effect that can expand the use of the driving device of the snow removal device provided in the snow removal vehicle through voice recognition.

다섯째, 빔포밍 마이크, 적외선 카메라의 구비를 통하여 제설 차량에서 발생하는 많은 소음 속에서도 음성 지시 명령을 또렷하게 수신할 수 있다. 또한, 수신되는 입술 영상을 이용하여 음성 인식의 정확도를 한층 더 높일 수 있는 효과도 있다.Fifth, through the provision of a beamforming microphone and an infrared camera, it is possible to clearly receive a voice instruction command even in the presence of a lot of noise generated by the snow removal vehicle. In addition, there is an effect of further increasing the accuracy of voice recognition by using the received lip image.

도면 1도는 제설 작업에 사용되는 일반적인 차량의 모습을 보여주는 도면이다.
도면 2도는 제설 차량의 운전석 내부의 모습을 보여주는 도면이다.
도면 3도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치가 구비된 운전석의 내부를 간략히 보여주는 도면이다.
도면 4도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 변형된 실시 예가 구비된 운전석의 내부를 간략히 보여주는 도면이다.
도면 5도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치에 사용되는 기계식 스위치의 모습을 확대하여 보여주는 도면이다.
도면 6도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치가 장착된 제설 차량의 후면에 구비된 스프레더를 보여주는 도면이다.
도면 7도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치가 인식한 음성 명령에 따라 스프레더의 높낮이가 조절되는 모습을 보여주는 도면이다.
도면 8도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 보여주는 순서도이다.
도면 9도는 본 발명에서 음성 인식 과정이 수행되는 단계를 보여주는 순서도이다.
도면 10도는 본 발명에서 음성 인식 구간이 설정되는 과정을 보여주는 순서도이다.
도면 11도는 본 발명에서 음성 인식 구간이 설정되는 과정을 그래프로 보여주는 도면이다.
도면 12도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치의 내부 구성을 개략적으로 보여주는 블럭도이다.
도면 13도는 본 발명을 구성하는 음성 인식부의 내부 구성을 간략하게 보여주는 블럭도이다.
도면 14도는 본 발명을 구성하는 음성 인식부의 음성 인식 구간 설정 모듈의 내부 구성을 보여주는 블럭도이다.
도면 15도는 본 발명을 구성하는 음성 인식 보강부의 내부 구성을 간략하게 보여주는 블럭도이다.1 is a view showing the appearance of a general vehicle used for snow removal work.
FIG. 2 is a view showing the inside of a driver's seat of a snow removal vehicle.
3 is a diagram schematically showing the inside of a driver's seat equipped with a driving device of a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention.
4 is a diagram schematically showing the inside of a driver's seat equipped with a modified embodiment of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention.
5 is an enlarged view showing a mechanical switch used in a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention.
6 is a view showing a spreader provided at the rear of a snow removal vehicle equipped with a driving device of a snow removal device provided in the snow removal vehicle through voice recognition according to the present invention.
7 is a view showing a state in which the height of the spreader is adjusted according to the voice command recognized by the driving device of the snow removal device provided in the snow removal vehicle through voice recognition according to the present invention.
8 is a flowchart illustrating a method of driving a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention.
9 is a flowchart illustrating a step in which a voice recognition process is performed in the present invention.
10 is a flowchart illustrating a process in which a voice recognition section is set in the present invention.
11 is a graph showing a process of setting a voice recognition section in the present invention.
12 is a block diagram schematically showing an internal configuration of a driving device of a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention.
13 is a block diagram schematically showing the internal configuration of a voice recognition unit constituting the present invention.
14 is a block diagram showing the internal configuration of the voice recognition section setting module of the voice recognition unit constituting the present invention.
15 is a block diagram schematically illustrating an internal configuration of a voice recognition reinforcement unit constituting the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 실시예들에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들은 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

또한, 본 발명의 설명에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되는 것이며,어떠한 의미를 한정하기 위하여 사용되는 것이 아니다. 그리고, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함하며,"포함 하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, in the description of the present invention, terms such as "first" and "second" are used only for the purpose of distinguishing one component from other components, and are not used to limit any meaning. And, unless the context clearly dictates otherwise, the singular expression includes the plural expression, and terms such as "comprises" or "have" refer to features, numbers, steps, operations, components, parts or It is to be understood that this is intended to indicate the existence of any combination thereof, and does not preclude the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

도면 3도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치가 구비된 운전석의 내부를 간략히 보여주는 도면이다.3 is a diagram schematically showing the inside of a driver's seat equipped with a driving device of a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)는 이에 한정되는 것은 아니나, 도면과 같이 태블릿(tablet)의 형태로 제공될 수도 있다. 그리고, 제설 차량(20)에 구비되는 스프레더(60), 제설 삽(10) 등의 각종 제설 장치 또는 장비들은 커넥터(connector) 등을 이용하여 이러한 태블릿 형태의 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)에 연결될 수 있다. 따라서, 제설 차량(20)을 운전하는 운전자(30)가 음성으로 "제설제 살포 시작", "제설제 살포 정지", "스프레더 회전 속도 증가" 등의 명령을 내리면, 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)는 내부 또는 외부에 구비된 마이크(100)를 이용하여 이러한 음성 지시를 수신하고 인식하고, 제설 차량(20)에 구비된 각종 제설 장비를 작동시킬 수 있다. 그리고, 이러한 제설 장비의 작동 상황은 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)에 구비되는 디스플레이(900, display)나 스피커(500, speaker)를 통하여 운전자(30)에게 제공될 수 있다. 그러므로, 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)가 장착된 제설 차량(20)에서는, 제설 장비를 작동하는 과정에서 운전자(30)의 주의가 분산되지 않으므로, 주의력 분산으로 인한 사고 발생의 위험을 현저하게 감소시킬 수 있는 효과를 달성할 수 있다.The driving apparatus 1000 of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention is not limited thereto, but may be provided in the form of a tablet as shown in the drawings. In addition, various snow removal devices or equipment such as the spreader 60 and the snow shovel 10 provided in the snow removal vehicle 20 are provided in the snow removal vehicle through the tablet-type voice recognition using a connector or the like. It may be connected to the driving device 1000 of the device. Therefore, when the driver 30 driving the snow removal vehicle 20 gives commands such as "start spraying of snow removal", "stop spraying of snow removal", "increase rotation speed of spreader" by voice, the snow removal vehicle through voice recognition The provided driving apparatus 1000 of the snow removal apparatus may receive and recognize such a voice instruction using the microphone 100 provided inside or outside, and may operate various snow removal equipment provided in the snow removal vehicle 20 . In addition, the operation status of the snow removal equipment is provided to the driver 30 through the display 900 or speaker 500 provided in the driving device 1000 of the snow removal apparatus provided in the snow removal vehicle through voice recognition. can be Therefore, in the snow removal vehicle 20 equipped with the driving device 1000 of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention, the driver 30's attention is not dispersed in the process of operating the snow removal equipment. , an effect that can significantly reduce the risk of accidents caused by distraction can be achieved.

도면 4도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 변형된 실시 예가 구비된 운전석의 내부를 간략히 보여주는 도면이다.4 is a diagram schematically showing the inside of a driver's seat equipped with a modified embodiment of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)는 음성 인식 과정을 개시하는 음성 인식 트리거(trigger)로서 마이크(100)에서 수신되는 사운드(sound)에서 기설정된 어떠한 단어나 문장 등을 사용할 수도 있으나, 변형 실시 예로서 스위치(800)가 눌러짐에 의하여 인식되는 신호를 음성 인식 트리거로서 사용할 수도 있다. 그리고, 이러한 스위치(800)는 운전자(30)가 손쉽게 컨트롤할 수 있도록 제설 차량(20)의 운전대(40)에 부착되어 있을 수 있다. The driving device 1000 of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention is a voice recognition trigger for starting the voice recognition process, and any preset sound received from the microphone 100 is used. Words or sentences may be used, but as a modified embodiment, a signal recognized when the switch 800 is pressed may be used as a voice recognition trigger. In addition, the switch 800 may be attached to the steering wheel 40 of the snow removal vehicle 20 so that the driver 30 can easily control it.

변형 실시 예의 장점을 앞선 도면 3도의 실시 예와 비교하면 다음과 같다.Advantages of the modified embodiment are as follows when compared with the embodiment of FIG. 3 above.

도면 3도의 실시 예의 경우에는 운전자(30)가 음성으로 음성 인식 트리거(예를 들면, "헤이(hey), 자동기" 등)를 발음한 뒤, 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)가 이를 인식하여 음성 인식 과정이 개시된 이후에 "제설제 살포", "스프레더 회전 속도 증가" 등의 명령어를 발음하여야 이를 인식하고 제설 차량(20)에 구비된 제설 장치가 작동하게 된다. 이에 반하여, 도면 4도의 변형 실시 예는 스위치(800)를 누르면 곧바로 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)가 음성 인식 준비 단계로 돌입하게 되므로, 운전자(30)는 차량에 탑재된 제설 장비를 작동하기 위한 각종 명령어를 곧바로 발음하여 수행하게 할 수 있다. 따라서, 제설 차량(20)에 탑재된 제설 장비의 구동면에서 보다 빠른 반응성을 달성할 수 있다. 더 나아가, 제설 차량(20)의 구동시에는 엔진 소음, 도로 소음, 각종 장치의 구동음 등으로 인한 다양한 잡음이 발생하게 되는데, 음성 인식 트리거 부분은 스위치(800)의 작동에 따라 인식되도록 하고 직접적인 명령어 부분만 음성 인식을 통하여 처리되도록 함으로써 보다 강인한 음성 인식을 보장할 수 있는 효과가 있다. 또한, 스위치(800)가 운전대(40)에 부착되는 경우에는, 운전자(30)의 주의를 흐트리지 않고도 운전자(30)가 간편하게 음성 인식을 통한 제설 장치 또는 장비의 제어를 수행할 수 있다.In the case of the embodiment of FIG. 3 , the driver 30 pronounces a voice recognition trigger (eg, "hey, automatic machine", etc.) with a voice, and then the snow removal device provided in the snow removal vehicle through voice recognition. After the driving device 1000 recognizes this and the voice recognition process is started, commands such as “spray snow removal” and “increase spreader rotation speed” must be pronounced to recognize this and operate the snow removal device provided in the snow removal vehicle 20 . do. In contrast, in the modified embodiment of FIG. 4 , as soon as the switch 800 is pressed, the driving device 1000 of the snow removal device provided in the snow removal vehicle according to the present invention through voice recognition enters the voice recognition preparation stage, so the driver ( 30) can be performed by immediately pronouncing various commands for operating the snow removal equipment mounted on the vehicle. Accordingly, it is possible to achieve faster responsiveness in the driving surface of the snow removal equipment mounted on the snow removal vehicle 20 . Furthermore, when the snow removal vehicle 20 is driven, various noises are generated due to engine noise, road noise, driving sounds of various devices, etc., and the voice recognition trigger part is recognized according to the operation of the switch 800 and is directly By allowing only the command part to be processed through voice recognition, there is an effect of ensuring more robust voice recognition. In addition, when the switch 800 is attached to the steering wheel 40 , the driver 30 may conveniently control the snow removal apparatus or equipment through voice recognition without distracting the driver 30 .

참고로, 이러한 스위치(800)는 기계식 스위치로서 구현될 수도 있으나, 디스플레이(900)가 터치(touch) 스크린(screen)으로 구현된 경우 터치 스크린 상에 표시되는 그래픽(graphic) 버튼(button)으로서 구현될 수도 있다. 그리고, 스위치(800)와 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000) 사이의 연결은 물리적 와이어(wire)를 통하여 이루어질 수도 있으나, 블루투스(bluetooth)와 같은 무선 접속을 통하여서도 이루어질 수도 있다.For reference, this switch 800 may be implemented as a mechanical switch, but when the display 900 is implemented as a touch screen, it is implemented as a graphic button displayed on the touch screen. it might be In addition, the connection between the switch 800 and the driving device 1000 of the snow removal device provided in the snow removal vehicle through voice recognition may be made through a physical wire, but also through a wireless connection such as Bluetooth. may be done

도면 5도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치에 사용되는 기계식 스위치의 모습을 확대하여 보여주는 도면이다.5 is an enlarged view showing a mechanical switch used in a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention.

앞서 살펴본 스위치(800)는 음성 인식 과정이 개시되기 위한 음성 인식 트리거를 발생할 수 있으면 그 종류가 상관없이 채용될 수 있으나, 일 예로 기계식 스위치가 채택되어 사용될 수 있다. 보다 구체적으로는 3가지 신호의 인가가 가능한 3단 기계식 스위치가 사용될 수 있으며, 도면 5도의 (A)는 3단 기계식 스위치를 위에서 바라보는 모습을, (B)는 측면에서 바라본 모습을 보여주는 도면이다.As long as the switch 800 described above can generate a voice recognition trigger for initiating the voice recognition process, any type may be employed. For example, a mechanical switch may be adopted and used. More specifically, a three-stage mechanical switch capable of applying three signals may be used, and (A) of FIG. .

이러한 3단 스위치를 이용하여 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)가 3가지의 개별적 모드(mode)로 동작하도록 제어할 수 있는데, 예를 들어 'X'면이 눌러진 상태를 1단, 'Y'면이 눌러진 상태가 2단, 'Z'면이 눌러진 상태가 3단이라고 하면, 1단에서는 음성 지시 제어 신호가 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)에 인가되도록 하고, 2단에서는 원격 지시 제어 신호가, 3단에서는 공중 통신망 접속 지시 신호가 인가되도록 할 수 있다. 즉, 운전자(30)는 제설 차량(20)의 운행 중에 음성으로 지시할 사항이 있으면, 스위치(800)를 1단에다 두고 "제설제 살포", "제설제 살포 정지" 등의 음성 명령을 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)에 지시할 수 있다. 그리고, 스위치(800)가 2단에 있는 경우에는 외부에서 원격으로 제설 차량(20)에 구비된 각종 제설 장비를 제어할 수 있는 상태가 되도록 모드를 변경하며, 이 상태에서는 중앙 제어 단말 또는 서버(server)에서 각 차량에 장착되는 제설 장비를 원격 제어할 수 있다. 또한, 스위치(800)가 3단에 있는 경우에는 제설 차량(20)을 운행하는 운전자(30)들 사이에 음성으로 정보를 공유하는 공중 통신망에 접속되도록 상태를 변경할 수 있다. 이를 통하여 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)의 사용 확장성을 넓힐 수 있는 효과가 있다.By using such a three-step switch, it is possible to control the driving device 1000 of the snow removal device provided in the snow removal vehicle through voice recognition according to the present invention to operate in three individual modes, for example, 'X' Assuming that the 'side pressed state is 1st stage, the 'Y' side is pressed 2nd stage, and the 'Z' side is pressed 3rd stage, the voice command control signal is sent to the snow removal vehicle through voice recognition in the 1st stage. may be applied to the driving device 1000 of the snow removal apparatus provided in the , a remote instruction control signal is applied in the second stage, and a public communication network connection instruction signal is applied in the third stage. That is, if there is a matter to be instructed by voice while the snow removal vehicle 20 is being driven, the driver 30 puts the switch 800 in the first stage and gives voice commands such as "spraying snow" and "stop spraying of snow". Through recognition, it is possible to instruct the driving device 1000 of the snow removal device provided in the snow removal vehicle. And, when the switch 800 is in the second stage, the mode is changed so that various snow removal equipment provided in the snow removal vehicle 20 can be controlled remotely from the outside, and in this state, the central control terminal or server ( server) can remotely control the snow removal equipment installed in each vehicle. In addition, when the switch 800 is in the third stage, the state may be changed so as to be connected to a public communication network that shares information by voice between the drivers 30 who operate the snow removal vehicle 20 . Through this, there is an effect that can expand the use of the driving device 1000 of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention.

도면 6도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치가 장착된 제설 차량의 후면에 구비된 스프레더를 보여주는 도면이고,도면 7도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치가 인식한 음성 명령에 따라 스프레더의 높낮이가 조절되는 모습을 보여주는 도면이다.6 is a view showing a spreader provided at the rear of a snow removal vehicle equipped with a driving device of a snow removal device provided in the snow removal vehicle through voice recognition according to the present invention, and FIG. 7 is a snow removal vehicle through voice recognition according to the present invention. It is a view showing the state that the height of the spreader is adjusted according to the voice command recognized by the driving device of the snow removal device provided in the .

앞서 설명한 바와 같이, 제설 차량(20)에는 다양한 제설 장치 또는 장비가 설치될 수 있는데, 대표적으로 제설 차량(20)의 후면에는 염화칼슘과 같은 제설제를 도로에 넓게 살포하도록 하는 스프레더(60)가 구비되어 있을 수 있다. 그리고, 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)가 장착 또는 구비된 제설 차량(20)에서는 이러한 스프레더(60)의 작동을 음성명령을 통하여 제어할 수 있다. 예를 들어, "제설제 살포"라는 음성 명령을 내리면 스프레더(60)의 회전이 시작하게 되며, "스프레더 회전 속도 증가"라는 명령을 내리면 스프레더(60)의 회전 속도가 증가하게 된다. 또한, "스프레더 높이 상승", "스프레더 높이 하강" 등의 음성 명령을 내리면 도면 7도와 같이 스프레더(60)의 높이가 제어되어 살포 반경이 조절되게 된다.As described above, various snow removal devices or equipment may be installed in the snow removal vehicle 20. Typically, a spreader 60 for widely spraying a snow removal agent such as calcium chloride on the road is provided on the rear side of the snow removal vehicle 20. may have been And, in the snow removal vehicle 20 equipped with or equipped with the driving device 1000 of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention, the operation of the spreader 60 can be controlled through a voice command. . For example, when a voice command "spreading snow remover" is given, rotation of the spreader 60 starts, and when a command "increase spreader rotation speed" is given, the rotation speed of the spreader 60 is increased. In addition, when a voice command such as "spreader height rise" or "spreader height fall" is given, the height of the spreader 60 is controlled as shown in FIG. 7 to adjust the spray radius.

이와 같이, 본 발명에 의하면 제설 차량(20)에 구비되는 각종 제설 장비를 운전자(30)의 음성으로 간단히 제어할 수 있는 효과가 있다.As described above, according to the present invention, there is an effect that various snow removal equipment provided in the snow removal vehicle 20 can be easily controlled by the driver 30's voice.

도면 8도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법을 보여주는 순서도이다.8 is a flowchart illustrating a method of driving a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법은 먼저, 마이크(100)를 통하여 음성을 포함한 사운드가 수신되고(S8-1), 이렇게 수신된 사운드에서 잡음이 잡음 제거부(110)를 통하여 제거되는 과정부터 수행될 수 있다. 다음으로, 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법은 음성 인식 트리거가 수신되는지 여부를 확인할 수 있다.(S8-3) 여기서 음성 인식 트리거는 마이크(100)를 통하여 수신되는 음성 신호일 수도 있고, 또는 스위치(800)가 눌러짐에 의하여 발생하는 것일 수 있다. 그리고, 음성 인식 트리거가 마이크(100)를 통하여 수신되는 음성 신호인 경우, 이는 "헤이, 자동기", "자동기" 등의 기설정된 일정한 음성 신호일 수 있다. In the method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition according to the present invention, first, a sound including a voice is received through the microphone 100 (S8-1), and noise in the received sound is removed by a noise removing unit It can be performed from the process of being removed through (110). Next, in the method of driving the snow removal device provided in the snow removal vehicle through voice recognition according to the present invention, it is possible to check whether a voice recognition trigger is received. (S8-3) Here, the voice recognition trigger is performed through the microphone 100 It may be a received voice signal, or it may be generated when the switch 800 is pressed. And, when the voice recognition trigger is a voice signal received through the microphone 100 , it may be a predetermined constant voice signal such as “Hey, automatic device” and “automatic device”.

이러한 음성 인식 트리거가 인식되면, 음성 인식부(300)를 통하여 수신되는 사운드에서 음성 인식 과정이 개시되고(S8-4), 이렇게 인식된 결과가 메모리(200, memory)에 저장된 기설정된 명령어와 매칭(matching)되는지 비교하고(S8-5), 매칭이 되는 경우 제설 장치 구동부(400)를 통하여 제설 차량(20)에 구비된 제설 장치의 작동이 수행되는 과정이 진행될 수 있다.(S8-6) 그 다음으로, 제설 장치의 작동 상황을 수신하여 이를 스피커(500), 디스플레이(900) 등으로 출력하여 운전자(30) 등에게 알려주는 과정이 수행될 수 있다.When such a voice recognition trigger is recognized, a voice recognition process is started in the sound received through the voice recognition unit 300 (S8-4), and the recognized result matches a preset command stored in the memory 200 (memory) (matching) is compared (S8-5), and if matching, the operation of the snow removal device provided in the snow removal vehicle 20 through the snow removal device driving unit 400 may be performed (S8-6). Next, a process of notifying the driver 30 or the like by receiving the operation status of the snow removal apparatus and outputting it to the speaker 500 or the display 900 may be performed.

앞서 살펴본 바와 같이, 눈 등을 치우는 제설 차량(20)은 엔진 진동음, 도로 노면에서 발생하는 소음 등의 많은 잡음에 둘러싸여 있다. 그리고, 대형 트럭을 이용하여 제작되는 제설 차량(20)의 사정상 일반 승용차와 같이 정숙성이 뛰어나지도 않다. 따라서, 제설 차량(20)에서의 음성 인식은 일반 승용차 내부에서의 음성 인식에 비하여 더 열악한 과정에서 수행되게 된다. 이를 보강하기 위하여, 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000) 및 이의 구동 방법은 앞서 살펴본 바와 같이 음성 인식 트리거를 스위치(800)를 이용하여 입력하기도 하였다. 더 나아가, 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000) 및 이의 구동 방법은 카메라(610, camera)를 통하여 입술 영상을 획득하고(S8-8), 이렇게 획득한 입술 영상을 이용하여 음성 인식부(300)의 음성 인식 과정을 보강할 수 있다. 보다 구체적으로, 입술 영상과 마이크(100)로부터 수신되는 입술 영상이 동기화되고 이러한 입술 영상을 분석하여 수신되는 음성의 정확하게 인식되도록 할 수 있다. 예를 들어, 음성 인식부(300) 단독으로 수신되는 음성이 '가'인지 '거'인지 불명확한 경우, 입술 영상을 참조하여 정확하게 '가'로 인식할 수 있다. 이를 통하여, 보다 정확한 음성 인식이 가능하고, 잡음에 보다 강인해지는 특성을 달성할 수 있다.As described above, the snow removal vehicle 20 for removing snow and the like is surrounded by many noises, such as engine vibration and road noise. In addition, for the convenience of the snow removal vehicle 20 manufactured using a large truck, quietness is not excellent like that of a general passenger car. Accordingly, voice recognition in the snow removal vehicle 20 is performed in a more inferior process than voice recognition in a general passenger car. In order to reinforce this, in the driving apparatus 1000 of the snow removal apparatus provided in the snow removal vehicle through voice recognition and the driving method thereof according to the present invention, a voice recognition trigger was input using the switch 800 as described above. Furthermore, the driving apparatus 1000 and the driving method thereof of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention acquires a lip image through a camera 610 (camera) (S8-8), and thus acquired The voice recognition process of the voice recognition unit 300 may be reinforced by using a single lip image. More specifically, the lip image and the lip image received from the microphone 100 may be synchronized, and the received voice may be accurately recognized by analyzing the lip image. For example, when it is unclear whether the voice received by the voice recognition unit 300 alone is 'a' or 'a', it may be accurately recognized as 'a' with reference to the lip image. Through this, more accurate voice recognition is possible, and a characteristic of being more robust to noise can be achieved.

도면 9도는 본 발명에서 음성 인식 과정이 수행되는 단계를 보여주는 순서도이다.9 is a flowchart illustrating a step in which a voice recognition process is performed in the present invention.

도면 8도의 음성 인식 과정(S8-4)는 다음의 세부 단계를 통하여 이루어질 수 있다. 먼저, 수신되는 사운드에서 잡음이 아닌 음성 부분이 명확하게 인식되도록 고주파 부분이 강조되는 프리엠퍼시스(pre-emphasis) 과정이 프리엠퍼시스 모듈(module)(310)을 통하여 수행될 수 있다.(S9-1) 이렇게 프리엠퍼시스 과정이 수행된 다음에는 음성 인식 구간 설정 모듈(320)을 통하여 음성 인식이 수행될 음성 인식 구간이 설정되는 과정이 진행될 수 있으며(S9-2), 음성 인식 트리거를 수신한 이후에 명령어 처리가 수행될 음성 인식 구간을 설정하는 과정은 이후 도면을 통하여 더 자세히 살펴보도록 하겠다. The voice recognition process (S8-4) of FIG. 8 may be performed through the following detailed steps. First, a pre-emphasis process in which a high-frequency part is emphasized so that a voice part, not a noise, is clearly recognized in a received sound may be performed through the pre-emphasis module 310 (S9). -1) After the pre-emphasis process is performed in this way, a process of setting a voice recognition section in which voice recognition is to be performed through the voice recognition section setting module 320 may be set (S9-2), and a voice recognition trigger is received The process of setting the voice recognition section in which command processing is to be performed will be described in more detail later with reference to the drawings.

이렇게 음성 인식 구간이 설정된 다음에는 해당 구간 음성의 특징을 파악하는 입력 특징 벡터(vector)가 입력 특징 벡터 추출 모듈(330)을 통하여 추출되고(S9-3), 텍스트(text) 변환 모듈(340)은 이렇게 추출된 입력 특징 벡터를 기저장되어 있는 참조 특징 벡터와 유사도를 비교하여 최종적으로 음성을 텍스트로 변환하게 된다.(S9-4)After the speech recognition section is set in this way, an input feature vector for identifying the features of the speech in the section is extracted through the input feature vector extraction module 330 (S9-3), and the text conversion module 340 compares the extracted input feature vector with the pre-stored reference feature vector for similarity, and finally converts speech into text (S9-4).

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법은 이러한 과정을 거쳐서 음성 인식을 진행하므로 많은 잡음이 상존하는 제설 차량(20)의 운전 환경에서도 보다 명료한 음성 인식이 가능해지는 효과가 있다. 참고로, 차량의 주행시에는 다양한 노이즈가 발생하게 되고, 이는 조음기관에 영향을 미쳐 운전자(30)의 발음, 성량, 음성 등도 평소의 발음 등과는 달라지게 되는 현상이 발생하게 되는데, 이를 전문용어로 롬바드(Lombard) 효과라고 한다. 그리고, 본 발명을 구성하는 음성 인식부(300)는 각 모듈의 셋팅 값, 민감도 등은 이런 롬바드 효과를 고려하여 적절히 조절될 수 있다.The method of driving the snow removal device provided in the snow removal vehicle through voice recognition according to the present invention performs voice recognition through this process, so that clearer voice recognition is possible even in the driving environment of the snow removal vehicle 20 in which a lot of noise exists. It works. For reference, various noises are generated while the vehicle is driving, which affects the articulation organ, so that the driver's 30's pronunciation, volume, and voice are also different from the usual pronunciation. This is called the Lombard effect. In addition, in the voice recognition unit 300 constituting the present invention, setting values, sensitivity, etc. of each module may be appropriately adjusted in consideration of the Lombard effect.

도면 10도는 본 발명에서 음성 인식 구간이 설정되는 과정을 보여주는 순서도이다.10 is a flowchart illustrating a process in which a voice recognition section is set in the present invention.

음성 인식 장치에서는 마이크로 수신되는 모든 신호를 변환하여 인식하기에는 메모리 등의 자원의 소모가 많고 원하는 지시를 명확히 구별할 수도 없기 때문에, 음성 인식이 시작될 일종의 방아쇠 신호를 인식한 다음부터 일정 구간의 음성을 인식하게 된다. 여기서, 이러한 방아쇠 또는 트리거 신호는 마이크(100)로 수신되는 기설정된 음성 신호일 수도 있고, 또는 스위치(800) 등을 이용하여 입력되는 신호일 수도 있다. Since the voice recognition device consumes a lot of resources, such as memory, to convert and recognize all signals received with the microphone, and it is impossible to clearly distinguish a desired instruction, a voice of a certain section is recognized after recognizing a kind of trigger signal to start voice recognition. will do Here, the trigger or trigger signal may be a preset voice signal received by the microphone 100 or a signal input using the switch 800 or the like.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법은 명확한 음성 인식이 필요한 도면 9도의 음성 인식 구간을 설정(S9-2)을 다음의 과정을 거쳐서 완료할 수 있다.In the method of driving a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention, the voice recognition section of FIG. 9 requiring clear voice recognition (S9-2) can be completed through the following process.

먼저, 마이크(100)를 통하여 수신되는 사운드의 전체 에너지의 에너지(energy) 레벨을 측정하여 이를 임계 에너지 레벨(level)(ME, Margin Energy)로 설정하는 과정을 수행할 수 있다.(S10-1), 여기서, 임계 에너지 레벨을 설정하는데 이용하는 사운드 구간은 반드시 음성 인식 트리거가 인식된 이후의 구간일 필요는 없으며, 그 이전부터 수신되는 사운드를 이용하여 계산된 에너지 레벨일 수도 있다. 이렇게 임계 에너지 레벨이 설정된 다음에는 음성 인식 트리거 이후에 수신되는 사운드에서 임계 에너지 레벨 이상 또는 초과되는 에너지 값을 가지는 구간이 검색되게 된다. 다시 말해서는 임계 에너지 레벨 그래프와 사운드 그래프가 영교차하는 부분을 확인하여 초과 에너지 값을 가지는 구간이 검색되게 된다. 그리고, 이러한 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 전단을 음성 인식 구간의 시작점으로 설정하고(S10-2), 후단을 음성 인식 구간의 끝점으로 설정하여(S10-3), 음성 인식 과정이 수행될 음성 인식 구간으로 결정하게 된다.First, the process of measuring the energy level of the total energy of the sound received through the microphone 100 and setting it as a threshold energy level (ME, Margin Energy) may be performed (S10-1). ), here, the sound section used to set the threshold energy level does not necessarily have to be the section after the voice recognition trigger is recognized, and may be an energy level calculated using sound received from before. After the threshold energy level is set in this way, a section having an energy value above or exceeding the threshold energy level is searched for in the sound received after the voice recognition trigger. In other words, a section having an excess energy value is searched for by checking a portion where the threshold energy level graph and the sound graph cross zero. Then, the front end of the region in which the sound exceeding the threshold energy level exists is set as the starting point of the voice recognition section (S10-2), and the rear end is set as the end point of the voice recognition section (S10-3), the voice recognition process It is determined as the speech recognition section to be performed.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법은 이러한 방식을 통하여 음성 인식이 진행되어야 할 부분을 명확히 인식할 수 있으므로, 그 음성 인식의 정확도가 보다 향상되는 효과가 있다.The method of driving a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention can clearly recognize a part to be subjected to voice recognition through this method, so that the accuracy of the voice recognition is further improved.

도면 11도는 본 발명에서 음성 인식 구간이 설정되는 과정을 그래프로 보여주는 도면이다.11 is a graph showing a process of setting a voice recognition section in the present invention.

앞서 살펴본 음성 인식 구간이 설정되는 과정을 그래프(graph)로 살펴보면 다음과 같다. The process of setting the speech recognition section discussed above in a graph is as follows.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000) 및 이의 구동 방법은 음성 인식 트리거가 수신된 이후에 음성 인식 과정이 수행될 음성 인식 구간을 설정하는데, 이를 위하여 먼저, 수신되는 전체 사운드의 기본 에너지를 계산하고 이를 임계 에너지 레벨(ME)로 설정하게 된다. 여기서, 이러한 임계 에너지 레벨을 구하기 위한 전체 사운드의 구간은 반드시 음성 이식 트리거가 수신된 다음으로부터의 구간일 필요는 없으며, 그 이전에 마이크(100)로부터 수신되는 사운드를 이용하여 계산할 수도 있다. 다음으로, 음성 인식 트리거가 인식되면 그 이후에 사운드에서 임계 에너지 레벨을 초과하는 영역을 검색하게 되고, 그 검색된 구간보다 조금 전단을 음성 인식 구간의 시작점(SP, Start Point)으로, 약간 후단을 음성 인식 구간의 끝점(EP, End Point)로 설정하게 된다. 이렇게, 시작점과 끝점을 임계 에너지 레벨을 초과하는 에너지를 구비하는 영역의 바깥에 설정하는 이유는 음성 명령 중에서 중간에 손실되는 부분이 없도록 하기 위함이며, 이를 통하여는 안전한 음성 명령의 인식이 가능하게 된다.The driving apparatus 1000 and the driving method of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention sets a voice recognition section in which a voice recognition process is to be performed after a voice recognition trigger is received. , calculates the basic energy of the total sound received and sets it as the critical energy level (ME). Here, the period of the entire sound for obtaining the threshold energy level does not necessarily have to be the period after the voice transplant trigger is received, and may be calculated using the sound received from the microphone 100 before that. Next, when the voice recognition trigger is recognized, a region exceeding the threshold energy level is searched for in the sound after that, and the front end of the searched section is the start point (SP, Start Point) of the voice recognition section, and the slightly rear end is the voice It is set as the end point (EP, End Point) of the recognition section. In this way, the reason for setting the start point and the end point outside the region having the energy exceeding the threshold energy level is to ensure that there is no part lost in the middle of the voice command, and through this, it is possible to safely recognize the voice command. .

도면 12도는 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치의 내부 구성을 개략적으로 보여주는 블럭도이다.12 is a block diagram schematically showing an internal configuration of a driving device of a snow removal device provided in a snow removal vehicle through voice recognition according to the present invention.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)는 크게 사운드를 수신하는 마이크(100), 제설 차량(20)에 구비되는 제설 장치의 작동에 필요한 기설정된 명령어를 저장하고 있는 메모리(200), 마이크(100)에서 수신되는 사운드에서 음성을 인식하는 음성 인식부(300), 음성 인식부(300)의 음성 인식 결과와 메모리(200)에 저장된 기설정된 명령어가 매칭되는 경우, 해당 명령어에 따라 제설 장치 또는 장비를 작동시키는 제설 장치 구동부(400)를 포함하여 구성될 수 있다. 더 나아가, 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)는 제설 장치 또는 장비의 작동 상황 등을 운전자(30) 등에게 안내하기 위한 스피커(500), 디스플레이(900) 등을 더 구비할 수 있으며, 외부의 단말 또는 서버 등과 데이터(data)를 주고 받을 수 있도록 송수신부(600) 및 음성 인식 트리거를 제공하는 스위치(800)를 더 구비할 수 있다. 또한, 마이크(100)로부터 수신되는 사운드에서 잡음을 제거하는 잡음 제거부(110), 카메라(610), 카메라(610)가 촬영한 입술 영상을 이용하여 음성 인식부(300)의 음성 인식 과정을 보강하는 정보를 제공하는 음성 인식 보강부(620), 본 발명을 구성하는 각 구성요소 사이의 데이터 교환 및/또는 작동을 제어하는 제어부(700)을 포함하여 구성될 수 있다. The driving device 1000 of the snow removal device provided in the snow removal vehicle through voice recognition according to the present invention receives a microphone 100 that receives a loud sound, and a preset command required for the operation of the snow removal device provided in the snow removal vehicle 20 The stored memory 200, the voice recognition unit 300 for recognizing a voice from the sound received from the microphone 100, and the voice recognition result of the voice recognition unit 300 match a preset command stored in the memory 200 In this case, it may be configured to include a snow removal device driving unit 400 for operating the snow removal device or equipment according to the corresponding command. Furthermore, the driving device 1000 of the snow removal device provided in the snow removal vehicle through voice recognition according to the present invention includes a speaker 500, a display ( 900) and the like, and may further include a transceiver 600 and a switch 800 providing a voice recognition trigger so that data can be exchanged with an external terminal or server. In addition, the voice recognition process of the voice recognition unit 300 is performed using the lip image captured by the noise removing unit 110 , the camera 610 , and the camera 610 that removes noise from the sound received from the microphone 100 . It may be configured to include a voice recognition reinforcement unit 620 that provides reinforcement information, and a control unit 700 that controls data exchange and/or operation between each component constituting the present invention.

본 발명의 음성 인식부(300)를 구성하는 잡음 제거부(110)는 수신되는 사운드에 인식되어야 할 음성 외에 엔진음, 도로 노면음 등의 잡음을 제거하는 역할을 수행하는 구성으로서, 다양한 잡음 제거 방식을 선택하여 채용할 수 있다. 구체적으로, 위너(wiener) 필터(filter) 또는 칼만(kalman) 필터를 통하여 수신되는 사운드에서 잡음을 제거할 수 있으며, 다른 방식으로는 엘엠에스(LMS, Least Mean Square), 엘에스(LS, Least Square), 알엘에스(RLS, Recursive Least Square) 중의 어느 하나를 통하여 산출된 최적 계수를 가지는 적응 필터를 통하여 잡음을 제거할 수도 있다. 또한, 주파수 차감법, 켑스트럼 평균 차감법, 폴 필터드 켑스트럼 민 서브스트랙션(Pole-Filtered Cepstral Mean Substraction), 라스타(RASTA, Relative Spectral) 중 어느 하나의 방식을 통하여 잡음이 제거될 수 있다. 그리고, 주파수 차감법으로는 프레임(frame) 평균 주파수 차감법, 확률적 주파수 차감법, 가중치 주파수 차감법 중 어느 하나가 선택될 수 있다.The noise removing unit 110 constituting the voice recognition unit 300 of the present invention is a component that performs a role of removing noise such as engine sound and road noise in addition to the voice to be recognized in the received sound, and removes various noises. You can choose the method to be hired. Specifically, noise can be removed from a sound received through a wiener filter or a kalman filter, and in other ways, LMS (Least Mean Square), LS (Least Square) ) and RLS (Recursive Least Square), noise may be removed through an adaptive filter having an optimal coefficient calculated through any one of. In addition, the noise can be removed through any one of frequency subtraction method, cepstrum mean subtraction method, pole-filtered cepstral mean subtraction, and RASTA (Relative Spectral) method. can In addition, as the frequency subtraction method, any one of a frame average frequency subtraction method, a stochastic frequency subtraction method, and a weighted frequency subtraction method may be selected.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)는 이러한 구성을 통하여 제설 차량(20)에 구비되는 각종 제설 장치 또는 장비를 운전자(30)가 간단히 음성으로 제어할 수 있도록 하는 효과가 있다. 참고로, 본 발명을 구성하는 마이크(100)는 제설 차량(20) 내부의 운전자(30)의 음성을 명확하고 더 또렷하게 수신할 수 있도록 복수의 마이크로 구성되는 빔포밍(beamforming) 마이크일 수 있다. 빔포밍 마이크가 채택함으로써, 본 발명은 마이크가 음성 명령을 내리는 운전자(30)에게 지향되도록 조절할 수 있으며, 많은 잡음 속에서도 음성 지시 명령을 더 또렷하게 수신할 수 있다. 그리고, 카메라(610)는 어두운 공간에서도 입술 영상을 보다 선명히 포착하기 위하여 적외선 카메라가 선택되어 사용될 수 있다.The driving device 1000 of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention allows the driver 30 to simply control various snow removal apparatuses or equipment provided in the snow removal vehicle 20 by voice through this configuration. has the effect of making it possible. For reference, the microphone 100 constituting the present invention may be a beamforming microphone configured with a plurality of microphones to clearly and more clearly receive the voice of the driver 30 inside the snow removal vehicle 20 . By adopting the beamforming microphone, the present invention can adjust the microphone to be directed to the driver 30 who gives the voice command, and it is possible to receive the voice command command more clearly even in a lot of noise. In addition, as the camera 610, an infrared camera may be selected and used to more clearly capture a lip image even in a dark space.

도면 13도는 본 발명을 구성하는 음성 인식부의 내부 구성을 간략하게 보여주는 블럭도이다.13 is a block diagram schematically showing the internal configuration of a voice recognition unit constituting the present invention.

본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000)에서 핵심 역할을 수행하는 음성 인식부(300)는 프리엠퍼시스 모듈(310), 음성 인식 구간 설정 모듈(320), 입력 특징 벡터 추출 모듈(330), 텍스트 변환 모듈(340)을 포함하여 구성될 수 있다. 보다 구체적으로, 프리엠퍼시스 모듈(310)은 고주파 성분을 강조하여 잡음 대비 운전자(30) 등이 발성하는 음성을 더 강조하는 역할을 수행하며, 음성 인식 구간 설정 모듈(320)은 음성 인식 트리거가 인식된 이후에 명령어로서 인식될 음성 인식 구간을 결정하는 역할을 수행하는 부분이며, 입력 특징 벡터 추출 모듈(330)은 음성 신호로부터 인식에 유효한 특징 파라미터(parameter)를 추출하는 역할을 수행하는 구성이고, 텍스트 변환 모듈(340)은 입력 특징 벡터 추출 모듈(330)로부터 전달받은 입력 특징 벡터와 기설정된 명령어에 대한 참조 특징 벡터 사이의 유사도를 비교하여 수신된 음성을 텍스트로 변환하는 역할을 수행하는 부분이다. 일 예로, 기설정된 명령어에 대한 참조 특징 벡터와 입력 특징 벡터 사이의 유사도가 80% 이상이면 음성 인식 구간의 음성은 기설정된 명령어라고 판단할 수 있다. The voice recognition unit 300 that plays a key role in the driving device 1000 of the snow removal device provided in the snow removal vehicle through voice recognition according to the present invention includes a pre-emphasis module 310 and a voice recognition section setting module 320 . , an input feature vector extraction module 330 and a text conversion module 340 may be included. More specifically, the pre-emphasis module 310 performs a role of further emphasizing the voice uttered by the driver 30 and the like compared to the noise by emphasizing the high-frequency component, and the voice recognition section setting module 320 sets the voice recognition trigger After being recognized, it is a part that determines a speech recognition section to be recognized as a command, and the input feature vector extraction module 330 is configured to extract a feature parameter effective for recognition from a speech signal. , the text conversion module 340 compares the similarity between the input feature vector received from the input feature vector extraction module 330 and the reference feature vector for a preset command to convert the received voice into text to be. For example, if the similarity between the reference feature vector and the input feature vector for the preset command is 80% or more, it may be determined that the voice in the voice recognition section is the preset command.

참고로, 입력 특징 벡터 추출 모듈(330)은 동일한 사람이 동일한 단어를 발음하여 음성 파형은 동일하지 않으므로, 인간의 발성기관을 모델링(modeling)하여 의미 정보를 나타내어주는 특징을 추출하는 역할을 수행하는 부분으로서, 엘피씨(LPC, Linear Predictive Coding), 피엘피(PLP, Perceptual Linear Prediction), 델타(delta) 켑스트럼(cepstrum), 델타-델타 켑스트럼, 엠에프씨씨(MFCC, Mel Frequency Cepstral Coefficient), 신경망(neural network), 디티더블유(DTW, Dynamic Time Warping), 에이치엠엠(HMM, Hidden Markov Model), 씨에이치엠엠(CHMM, Continuous HMM), 에스씨에이치엠엠(SCHMM, Semi-Continuous HMM) 등의 다양한 방법을 사용할 수 있다.For reference, the input feature vector extraction module 330 performs a role of extracting features representing semantic information by modeling a human vocal organ because the same person pronounces the same word and the voice waveform is not the same. As a part, LPC (Linear Predictive Coding), PLP (Perceptual Linear Prediction), delta cepstrum, delta-delta cepstrum, MFCC (mel frequency cepstral) Coefficient), neural network, DTW (Dynamic Time Warping), HMM (Hidden Markov Model), CHMM (Continuous HMM), SCHMM (Semi-Continuous HMM) ) can be used in various ways.

도면 14도는 본 발명을 구성하는 음성 인식부의 음성 인식 구간 설정 모듈의 내부 구성을 보여주는 블럭도이다.14 is a block diagram showing the internal configuration of the voice recognition section setting module of the voice recognition unit constituting the present invention.

앞서 살펴본 바와 같이, 정확한 음성 인식을 위하여 명령어로 인식될 구간의 설정은 매우 중요하다. 이를 위하여, 음성 인식부(300)를 구성하는 음성 인식 구간 설정 모듈(320)은 임계 에너지 설정 섹션(section)(321), 구간 설정 섹션(322)을 포함하여 이루어질 수 있는데, 임계 에너지 설정 섹션(321)은 수신되는 사운드 전체의 기본 에너지를 계산하여 임계 에너지 레벨로 설정하는 역할을 수행하며, 구간 설정 섹션(322)은 임계 에너지 설정 섹션(321)로부터 전달받은 임계 에너지 레벨을 기초로, 이 레벨을 초과하는 사운드가 존재하는 영역의 전단을 음성 인식 구간의 시작점으로, 하단을 음성 인식 구간의 끝점으로 설정하는 역할을 수행할 수 있다. 이러한 구성을 통하여, 음성 인식 구간 설정 모듈(320)은 마이크(100)로 수신되는 사운드 중에서 명령어로 처리해서 인식하여야 할 부분을 좀 더 명확하게 인식할 수 있다.As described above, it is very important to set a section to be recognized as a command for accurate voice recognition. To this end, the voice recognition section setting module 320 constituting the voice recognition unit 300 may include a threshold energy setting section 321 and a section setting section 322, and the critical energy setting section ( 321) calculates the basic energy of the entire received sound and sets it as a threshold energy level, and the interval setting section 322 is based on the threshold energy level received from the threshold energy setting section 321, this level It may serve to set the front end of the region in which the sound exceeding . Through this configuration, the voice recognition section setting module 320 can more clearly recognize a part to be recognized by processing it as a command among the sounds received through the microphone 100 .

도면 15도는 본 발명을 구성하는 음성 인식 보강부의 내부 구성을 간략하게 보여주는 블럭도이다.15 is a block diagram schematically illustrating an internal configuration of a voice recognition reinforcement unit constituting the present invention.

앞서 살펴본 바와 같이, 대형 트럭으로 설계되는 제설 차량(20)의 내부에는 상당한 소음이 존재하기 때문에, 음성 인식에 있어서도 상당히 강인한 음성 인식이 제공되어야 한다. 이를 위하여, 본 발명은 카메라(610)를 통하여 획득되는 입술 영상을 이용하여 음성 인식 과정을 보강할 수 있는데, 이는 음성 인식 보강부(620)를 통하여 이루어질 수 있다. 음성 인식 보강부(620)는 동기화 모듈(621), 입술 변화 정보 제공 모듈(622)을 포함하여 구성될 수 있으며, 구체적으로 동기화 모듈(621)은 수신되는 영상과 사운드 사이에 동기를 일치시키는 역할을 수행하고, 입술 변화 정보 제공 모듈(622)은 입술 영상에서 입이 열리고 닫히는 속도, 아랫 입술의 돌출, 잇 입술의 돌출, 아랫 입술 아래의 그림자, 치아 여부 등의 주성분 변화를 참조하여 그에 대한 정보를 음성 인식부(300)로 제공하는 역할을 수행할 수 있다. As described above, since considerable noise is present inside the snow removal vehicle 20 designed as a heavy truck, very robust voice recognition should be provided in voice recognition as well. To this end, in the present invention, the voice recognition process can be reinforced by using the lip image obtained through the camera 610 , which can be achieved through the voice recognition reinforcement unit 620 . The voice recognition reinforcement unit 620 may include a synchronization module 621 and a lip change information providing module 622 . Specifically, the synchronization module 621 serves to match synchronization between the received image and sound. In the lip image, the lip change information providing module 622 refers to changes in main components, such as mouth opening and closing speed, lower lip protrusion, protrusion of the gum lip, shadow under the lower lip, and whether or not teeth, and provides information on it may serve to provide the voice recognition unit 300 .

이를 통하여, 본 발명에 따른 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치(1000) 및 이의 구동 방법은 음성 인식부(300)의 음성 인식 과정의 결과가 실제 발음한 것과 다소 다르더라도 입술 영상을 이용하여 바르게 보정할 수 있다.Through this, the driving device 1000 and the driving method of the snow removal apparatus provided in the snow removal vehicle through voice recognition according to the present invention, even if the result of the voice recognition process of the voice recognition unit 300 is slightly different from the actual pronunciation, You can correct it correctly using an image.

마지막으로, 본 발명을 이루는 부, 모듈, 섹션 등의 용어로 표현된 각 구성들은 물리적인 구성요소일 수도 있으나, 함수, 클래스(class) 등으로 이루어진 소프트웨어(software)적으로 이루어진 구성요소일 수도 있음을 유념할 필요가 있다.Finally, each component expressed in terms such as part, module, section, etc. constituting the present invention may be a physical component, but may also be a component composed of software composed of functions, classes, etc. need to keep in mind.

상술한 바와 같이, 본 발명의 바람직한 실시예들을 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.As described above, although described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. and may be changed.

10 : 제설 삽
20 : 제설 차량
30 : 운전자
40 : 운전대
50 : 조작 장치
60 : 스프레더
100 : 마이크
110 : 잡음 제거부
200 : 메모리
300 : 음성 인식부
310 : 프리엠퍼시스 모듈
320 : 음성 인식 구간 설정 모듈
321 : 임계 에너지 설정 섹션
322 : 구간 설정 섹션
330 : 입력 특징 벡터 추출 모듈
340 : 텍스트 변환 모듈
400 : 제설 장치 구동부
500 : 스피커
600 : 송수신부
610 : 카메라
620 : 음성 인식 보강부
621 : 동기화 모듈
622 : 입술 변화 정보 제공 모듈
700 : 제어부
800 : 스위치
900 : 디스플레이
1000 : 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치10 : snow shovel
20: snow removal vehicle
30: driver
40: steering wheel
50: operation device
60 : spreader
100: microphone
110: noise canceling unit
200 : memory
300: voice recognition unit
310: pre-emphasis module
320: voice recognition section setting module
321: critical energy setting section
322: section setting section
330: input feature vector extraction module
340: text conversion module
400: snow removal device driving unit
500 : speaker
600: transceiver
610: camera
620: voice recognition reinforcement unit
621: synchronization module
622: lip change information providing module
700: control unit
800 : switch
900: display
1000: Driving device of the snow removal device provided in the snow removal vehicle through voice recognition

Claims (44)

마이크(mike)를 통하여 사운드(sound)가 수신되는 단계;
음성 인식 개시 트리거(trigger)가 수신되는 단계;
상기 음성 인식 트리거가 수신됨에 따라 음성 인식 과정이 개시되는 단계;
상기 음성 인식 과정의 결과가 기설정된 명령어와 매칭(matching)되는 경우, 상기 명령어에 따른 제설 장치의 작동이 수행되는 단계;를 포함하며,
상기 음성 인식 과정은
수신되는 사운드에서 음성 인식 구간이 설정되는 단계;
상기 음성 인식 구간에서의 입력 특징 벡터(vector)가 추출되는 단계;
상기 입력 특징 벡터를 참조 특징 벡터와 유사도를 비교하여 음성의 텍스트(text) 변환이 수행되는 단계;가 포함되어 이루어지고,
상기 음성 인식 구간의 설정은
수신되는 사운드 전체의 기본 에너지(energy) 값이 계산되어 임계 에너지 레벨로 설정되는 단계;
수신되는 사운드에서 상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 전단이 상기 음성 인식 구간의 시작점으로 설정되는 단계;
수신되는 사운드에서 상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 후단이 상기 음성 인식 구간의 끝점으로 설정되는 단계;가 포함되어 이루어지며,
상기 마이크는 빔포밍(beam forming) 마이크인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
receiving sound through a microphone;
Receiving a voice recognition start trigger (trigger);
initiating a voice recognition process as the voice recognition trigger is received;
When the result of the voice recognition process matches a preset command, the operation of the snow removal apparatus according to the command is performed; includes,
The voice recognition process
setting a voice recognition section in the received sound;
extracting an input feature vector in the speech recognition section;
Comparing the input feature vector with a reference feature vector for similarity, performing text-to-text conversion of speech;
The setting of the voice recognition section is
calculating a basic energy value of the entire received sound and setting it as a threshold energy level;
setting a front end of a region in which a sound exceeding the threshold energy level in the received sound exists as a starting point of the voice recognition section;
Setting the rear end of the region where the sound exceeding the threshold energy level exists in the received sound as the end point of the voice recognition section;
The microphone is a method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the beam forming (beam forming) microphone.
 음성 인식 개시 트리거(trigger)가 수신되는 단계;
마이크(mike)를 통하여 사운드(sound)가 수신되는 단계;
상기 음성 인식 트리거가 수신됨에 따라 음성 인식 과정이 개시되는 단계;
상기 음성 인식 과정의 결과가 기설정된 명령어와 매칭(matching)되는 경우, 상기 명령어에 따른 제설 장치의 작동이 수행되는 단계;를 포함하며,
상기 음성 인식 과정은
수신되는 사운드에서 음성 인식 구간이 설정되는 단계;
상기 음성 인식 구간에서의 입력 특징 벡터(vector)가 추출되는 단계;
상기 입력 특징 벡터를 참조 특징 벡터와 유사도를 비교하여 음성의 텍스트(text) 변환이 수행되는 단계;가 포함되어 이루어지고,
상기 음성 인식 구간의 설정은
수신되는 사운드 전체의 기본 에너지(energy) 값이 계산되어 임계 에너지 레벨로 설정되는 단계;
수신되는 사운드에서 상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 전단이 상기 음성 인식 구간의 시작점으로 설정되는 단계;
수신되는 사운드에서 상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 후단이 상기 음성 인식 구간의 끝점으로 설정되는 단계;가 포함되어 이루어지며,
상기 마이크는 빔포밍(beam forming) 마이크인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
Receiving a voice recognition start trigger (trigger);
receiving sound through a microphone;
initiating a voice recognition process as the voice recognition trigger is received;
When the result of the voice recognition process matches a preset command, the operation of the snow removal apparatus according to the command is performed; includes,
The voice recognition process
setting a voice recognition section in the received sound;
extracting an input feature vector in the speech recognition section;
Comparing the input feature vector with a reference feature vector for similarity, performing text-to-text conversion of speech;
The setting of the voice recognition section is
calculating a basic energy value of the entire received sound and setting it as a threshold energy level;
setting a front end of a region in which a sound exceeding the threshold energy level in the received sound exists as a starting point of the voice recognition section;
Setting the rear end of the region where the sound exceeding the threshold energy level exists in the received sound as the end point of the voice recognition section;
The microphone is a method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the beam forming (beam forming) microphone.
 제1항 또는 제2항에 있어서,
상기 음성 인식 개시 트리거는 스위치(switch)가 눌러짐에 의하여 발생되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
3. The method of claim 1 or 2,
The voice recognition start trigger is a method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that generated when a switch is pressed.
 제3항에 있어서,
상기 스위치는 기계식 스위치인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
4. The method of claim 3,
The method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the switch is a mechanical switch.
 제1항 또는 제2항에 있어서,
상기 음성 인식 개시 트리거는 마이크를 통하여 수신된 음성 신호인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
3. The method of claim 1 or 2,
The method of driving the snow removal apparatus provided in the snow removal vehicle through voice recognition, characterized in that the voice recognition start trigger is a voice signal received through a microphone.
 제1항 또는 제2항에 있어서,
마이크(mike)를 통하여 사운드가 수신되는 단계 이후에,
수신된 사운드에서 잡음이 제거되는 단계;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
3. The method of claim 1 or 2,
After the step of receiving sound through a microphone,
A method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that it further comprises; removing noise from the received sound.
 제1항 또는 제2항에 있어서,
수신되는 사운드에서 음성 인식 구간이 설정되는 단계 이전에,
고주파 성분을 강조하기 위한 프리엠퍼시스(pre-amphersis)가 수행되는 단계;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
3. The method of claim 1 or 2,
Before the step of setting the voice recognition section in the received sound,
A method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it further comprises; performing pre-emphasis for emphasizing a high frequency component.
 제1항 또는 제2항에 있어서,
상기 음성 인식 구간에서의 입력 특징 벡터를 추출되는 단계는
엘피씨(LPC, Linear Predictive Coding), 피엘피(PLP, Perceptual Linear Prediction), 델타(delta) 켑스트럼(cepstrum), 델타-델타 켑스트럼, 엠에프씨씨(MFCC, Mel Frequency Cepstral Coefficient), 신경망(neural network), 디티더블유(DTW, Dynamic Time Warping), 에이치엠엠(HMM, Hidden Markov Model), 씨에이치엠엠(CHMM, Continuous HMM) 또는 에스씨에이치엠엠(SCHMM, Semi-Continuous HMM)을 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
3. The method of claim 1 or 2,
The step of extracting the input feature vector in the speech recognition section is
LPC (Linear Predictive Coding), PLP (Perceptual Linear Prediction), delta cepstrum, delta-delta cepstrum, MFCC (Mel Frequency Cepstral Coefficient), Through a neural network, DTW (Dynamic Time Warping), HMM (Hidden Markov Model), CHMM (Continuous HMM) or SCHMM (Semi-Continuous HMM) A method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it is made.
 제1항 또는 제2항에 있어서,
음성 인식 개시 트리거(trigger)가 수신되는 단계 이전 또는 이후에,
카메라(camera)를 통하여 입술 영상이 획득되는 단계;
상기 입술 영상의 분석을 통하여 상기 음성 인식 과정이 보강되는 단계;가 더 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
3. The method of claim 1 or 2,
Before or after the step of receiving a voice recognition initiation trigger (trigger),
obtaining a lip image through a camera;
Reinforcing the voice recognition process through the analysis of the lip image; A method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that it further comprises.
 제9항에 있어서,
상기 입술 영상의 분석을 통하여 상기 음성 인식 과정이 보강되는 단계는
수신되는 사운드와 동기화된 상기 입술 영상에서 주성분 변화를 참조하여 상기 음성 인식 과정의 결과가 보강됨으로써 이루어지는 것을 특징으로 하는 제설 차량에 구비된 제설 장치의 구동 방법.
10. The method of claim 9,
The step of reinforcing the speech recognition process through the analysis of the lip image
The method of driving a snow removal device provided in a snow removal vehicle, characterized in that the result of the voice recognition process is reinforced by referring to the change in the principal component in the lip image synchronized with the received sound.
 제10항에 있어서,
상기 주성분 변화에는
입이 열리고 닫히는 속도, 아랫 입술의 돌출, 윗 입술의 돌출, 아랫 입술 아래의 그림자, 치아 확인 중 어느 하나 이상이 변화가 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
11. The method of claim 10,
The change in the principal component
Driving the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that any one or more of the mouth opening and closing speed, the protrusion of the lower lip, the protrusion of the upper lip, the shadow under the lower lip, and the confirmation of teeth are included Way.
 제6항에 있어서,
수신된 사운드에서 잡음이 제거되는 단계는
위너(wiener) 필터(filter) 또는 칼만(kalman) 필터를 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
7. The method of claim 6,
The noise is removed from the received sound.
A method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it is performed through a wiener filter or a kalman filter.
 제6항에 있어서,
수신된 사운드에서 잡음이 제거되는 단계는
적응 필터를 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
7. The method of claim 6,
The noise is removed from the received sound.
A method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the operation is performed through an adaptive filter.
 제13항에 있어서,
상기 적응 필터의 최적 계수는
엘엠에스(LMS, Least Mean Square), 엘에스(LS, Least Square), 알엘에스(RLS, Recursive Least Square) 중의 어느 하나를 통하여 산출되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
14. The method of claim 13,
The optimal coefficient of the adaptive filter is
LMS (Least Mean Square), LS (LS, Least Square), RLS (Recursive Least Square) of the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that calculated through any one of How to drive.
 제6항에 있어서,
수신된 사운드에서 잡음이 제거되는 단계는
주파수 차감법, 켑스트럼 평균 차감법, 폴 필터드 켑스트럼 민 서브스트랙션(Pole-Filtered Cepstral Mean Substraction), 라스타(RASTA, Relative Spectral) 중 어느 하나의 방식을 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
7. The method of claim 6,
The noise is removed from the received sound.
Speech characterized in that it is performed through any one of frequency subtraction method, cepstrum mean subtraction method, pole-filtered cepstral mean subtraction, and RASTA (Relative Spectral) method A method of driving a snow removal device provided in a snow removal vehicle through recognition.
 제15항에 있어서,
상기 주파수 차감법으로는 프레임(frame) 평균 주파수 차감법, 확률적 주파수 차감법, 가중치 주파수 차감법 중 어느 하나가 선택되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
16. The method of claim 15,
The method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that any one of a frame average frequency subtraction method, a stochastic frequency subtraction method, and a weighted frequency subtraction method is selected as the frequency subtraction method.
 제6항에 있어서,
수신된 사운드에서 잡음이 제거되는 단계는
대역 통과 필터를 통하여 이루어지는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
7. The method of claim 6,
The noise is removed from the received sound.
A method of driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it is performed through a band pass filter.
 제17항에 있어서,
상기 대역 통과 필터의 중심 주파수는 제설 차량의 속도가 증가함에 따라 증가되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 방법.
18. The method of claim 17,
A method of driving a snow removal apparatus provided in a snow removal vehicle through voice recognition, characterized in that the center frequency of the band pass filter increases as the speed of the snow removal vehicle increases.
 제1항에 있어서,
상기 명령어에는
제설제 살포 시작, 제설제 살포 정지, 스프레더(spreader) 회전 속도 증가, 스프레더 회전 속도 감소, 스프레더 높이 상승, 스프레더 높이 하강 중의 어느 하나 이상의 명령 신호가 포함되는 것을 특징으로 하는 제설 장치의 구동 방법.
According to claim 1,
In the command
A method of driving a snow removal device, characterized in that it includes any one or more command signals of starting snow removal spraying, stopping snow spray spraying, increasing the spreader rotation speed, decreasing the spreader rotation speed, raising the spreader height, and lowering the spreader height.
 마이크;
제설 장치 작동에 대한 기설정된 명령어를 저장하고 있는 메모리;
상기 마이크를 통하여 수신되는 사운드에서 음성을 인식하는 음성 인식부;
상기 음성 인식부의 음성 인식 결과와 상기 메모리에 저장된 상기 기설정된 명령어를 비교하여 매칭되는 경우, 상기 명령어에 따라 제설 장치를 작동시키는 제설 장치 구동부;를 포함하며,
상기 음성 인식부는
고주파 성분을 강조하는 프리엠퍼시스 모듈;
수신되는 사운드에서 음성 인식 구간을 설정하는 음성 인식 구간 설정 모듈;
상기 음성 인식 구간 모듈이 설정한 상기 음성 인식 구간내의 입력 특징 벡터를 추출하는 입력 특징 벡터 추출 모듈;
상기 메모리에 저장된 기설정된 명령어에 대한 참초 특징 벡터와 상기 입력 특징 벡터 추출 모듈 사이에서 추출한 상기 입력 특징 벡터 사이의 유사도를 비교하여 텍스트 변환을 수행하는 텍스트 변환 모듈;을 포함하여 구성되고,
상기 음성 인식 구간 설정 모듈은
수신되는 사운드 전체의 기본 에너지를 계산하여 임계 에너지 레벨로 설정하는 임계 에너지 설정 섹션(section);
상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 전단을 상기 음성 인식 구간의 시작점으로 설정하고, 상기 임계 에너지 레벨을 초과하는 사운드가 존재하는 영역의 후단을 상기 음성 인식 구간의 끝점으로 설정하는 구건 설정 섹션;을 포함하여 구성되며,
상기 마이크는 빔포밍 마이크인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
MIC;
a memory for storing preset instructions for operating the snow removal device;
a voice recognition unit for recognizing a voice from the sound received through the microphone;
and a snow removal device driver operating the snow removal device according to the command when the voice recognition result of the voice recognition unit is compared and matched with the preset command stored in the memory; and
The voice recognition unit
a pre-emphasis module that emphasizes high-frequency components;
a voice recognition section setting module for setting a voice recognition section in the received sound;
an input feature vector extraction module for extracting an input feature vector within the speech recognition section set by the speech recognition section module;
A text conversion module for performing text conversion by comparing the similarity between the reference feature vector for the preset command stored in the memory and the input feature vector extracted between the input feature vector extraction module;
The voice recognition section setting module is
a threshold energy setting section for calculating the basic energy of the entire received sound and setting it as a threshold energy level;
A phrase for setting the front end of an area in which a sound exceeding the threshold energy level exists as the start point of the voice recognition section, and setting the rear end of an area in which a sound exceeding the threshold energy level exists as an end point of the speech recognition section It consists of a settings section;
The microphone is a driving device of the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that the beam forming microphone.
 제20항에 있어서,
스피커;
디스플레이;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
21. The method of claim 20,
speaker;
Display; driving device of the snow removal apparatus provided in the snow removal vehicle through voice recognition, characterized in that it further comprises.
 제20항에 있어서,
상기 음성 인식부를 작동시키는 음성 인식 트리거는 상기 마이크를 통하여 수신되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
21. The method of claim 20,
The voice recognition trigger for operating the voice recognition unit is a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it is received through the microphone.
 제20항에 있어서,
상기 음성 인식부를 작동시키는 음성 인식 트리거는 스위치가 눌러짐에 의하여 발생되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
21. The method of claim 20,
The voice recognition trigger for operating the voice recognition unit is a driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the switch is pressed.
 제23항에 있어서,
상기 스위치는 기계식 스위치인 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
24. The method of claim 23,
The switch is a driving device of the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that the mechanical switch.
 제21항에 있어서,
데이터를 송수신하는 송수신부;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
22. The method of claim 21,
A driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it further comprises a transceiver unit for transmitting and receiving data.
 제25항에 있어서,
입술 영상을 획득하는 카메라;
상기 카메라가 획득한 입술 영상을 통하여 상기 음성 인식부의 음성 인식 과정을 보강하는 음성 인식 보강부;
마이크로부터 수신되는 사운드에서 잡음을 제거하는 잡음 제거부;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
26. The method of claim 25,
a camera for acquiring a lip image;
a voice recognition reinforcement unit for reinforcing the voice recognition process of the voice recognition unit through the lip image acquired by the camera;
The driving device of the snow removal apparatus provided in the snow removal vehicle through voice recognition, characterized in that it further comprises; a noise removing unit for removing noise from the sound received from the microphone.
 제26항에 있어서,
상기 마이크, 상기 메모리, 상기 음성 인식부, 상기 제설 장치 구동부, 상기 스피커, 상기 디스플레이, 상기 송수신부, 상기 잡음 제거부, 상기 카메라, 상기 음성 인식 보강부 사이의 데이터(data) 교환 또는 작동을 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
27. The method of claim 26,
Controlling data exchange or operation between the microphone, the memory, the voice recognition unit, the snow removal device driving unit, the speaker, the display, the transceiver, the noise canceling unit, the camera, and the voice recognition reinforcement unit A control unit for driving a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it further comprises.
 제27항에 있어서,
상기 제어부는 3단 기계식 스위치에서 1단이 눌러지면 음성 지시 제어 신호로 인식하고, 2단이 눌러지면 원격 지시 제어 신호로 인식하고, 3단이 눌러지면 공중 통신망 접속 지시 신호로 인식하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
28. The method of claim 27,
The control unit recognizes as a voice instruction control signal when the first stage is pressed in the three-stage mechanical switch, as a remote instruction control signal when the second stage is pressed, and as a public network connection instruction signal when the third stage is pressed, characterized in that A driving device of a snow removal device provided in a snow removal vehicle through voice recognition.
 제20항에 있어서,
상기 입력 특징 벡터 추출 모듈은
엘피씨, 피엘피, 델타 켑스트럼, 델타-델타 켑스트럼, 엠에프씨시, 신경망, 디티더블유, 에이치엠엠, 씨에이치엠엠 또는 에스씨에이치엠엠을 통하여 상기 입력 특징 벡터를 추출하는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
21. The method of claim 20,
The input feature vector extraction module is
Characterized in extracting the input feature vector through LPC, PLP, delta cepstrum, delta-delta cepstrum, EMC, neural network, DTW, HMM, HCMM, or SCHMM A driving device of a snow removal device provided in a snow removal vehicle through voice recognition.
 제26항에 있어서,
상기 음성 인식 보강부는
수신되는 사운드와 입술 영상 사이의 동기화를 진행하는 동기화 모듈;
입술 영상의 주성분 변화에 대한 정보를 상기 음성 인식부에 제공하는 입술 변화 정보 제공 모듈;을 포함하여 구성되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
27. The method of claim 26,
The voice recognition reinforcement unit
a synchronization module for synchronizing the received sound and the lip image;
and a lip change information providing module that provides information on a change in a main component of a lip image to the voice recognition unit.
 제30항에 있어서,
입술 영상의 주성분 변화에는
입이 열리고 닫히는 속도, 아랫 입술의 돌출, 윗 입술의 돌출, 아랫 입술 아래의 그림자, 치아 확인 중 어느 하나 이상이 변화가 포함되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
31. The method of claim 30,
Changes in the main components of lip images
Driving the snow removal device provided in the snow removal vehicle through voice recognition, characterized in that any one or more of the mouth opening and closing speed, the protrusion of the lower lip, the protrusion of the upper lip, the shadow under the lower lip, and the confirmation of teeth are included Device.
 제26항에 있어서,
상기 잡음 제거부는
위너 필터, 칼만 필터, 대역 통과 필터 또는 적응 필터 중의 어느 하나 이상을 포함하여 구성되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
27. The method of claim 26,
The noise canceling unit
A driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that it includes any one or more of a Wiener filter, a Kalman filter, a band pass filter, and an adaptive filter.
 제32항에 있어서,
상기 적응 필터의 최적 계수는
엘엠에스, 엘에스, 알엘에스 중의 어느 하나를 통하여 산출되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
33. The method of claim 32,
The optimal coefficient of the adaptive filter is
A driving device for a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that calculated through any one of LMS, LS, and RS.
 제26항에 있어서,
상기 잡음 제거부는
주파수 차감법, 켑스트럼 평균 차감법, 폴 필터드 켑스트럼 민 서브스트랙션, 라스타 중 어느 하나의 방식을 통하여 잡음을 제거하는 것을 특징으로 하는 제설 차량에 구비된 제설 장치의 구동 장치.
27. The method of claim 26,
The noise canceling unit
A driving device for a snow removal device provided in a snow removal vehicle, characterized in that the noise is removed through any one of a frequency subtraction method, a cepstrum average subtraction method, a pole-filtered cepstrum min subtraction, and a lasta method.
 제34항에 있어서,
상기 주파수 차감법으로는 프레임 평균 주파수 차감법, 확률적 주파수 차감법, 가중치 주파수 차감법 중 어느 하나가 선택되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
35. The method of claim 34,
As the frequency subtraction method, any one of a frame average frequency subtraction method, a stochastic frequency subtraction method, and a weighted frequency subtraction method is selected.
 제32항에 있어서,
상기 대역 통과 필터의 중심 주파수는 제설 차량의 속도가 증가함에 따라 증가되는 것을 특징으로 하는 음성 인식을 통한 제설 차량에 구비된 제설 장치의 구동 장치.
33. The method of claim 32,
The center frequency of the band-pass filter is a driving device of a snow removal device provided in a snow removal vehicle through voice recognition, characterized in that the increase as the speed of the snow removal vehicle increases.
 제20항에 있어서,
상기 명령어에는
제설제 살포 시작, 제설제 살포 정지, 스프레더(spreader) 회전 속도 증가, 스프레더 회전 속도 감소, 스프레더 높이 상승, 스프레더 높이 하강 중의 어느 하나 이상의 명령 신호가 포함되는 것을 특징으로 하는 제설 장치의 구동 장치.
21. The method of claim 20,
In the command
A driving device for a snow removal apparatus, characterized in that it includes any one or more command signals of starting snow removal spraying, stopping snow spray spraying, increasing the spreader rotation speed, decreasing the spreader rotation speed, raising the spreader height, and lowering the spreader height.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020200071244A 2020-06-12 2020-06-12 Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof KR102339578B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200071244A KR102339578B1 (en) 2020-06-12 2020-06-12 Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200071244A KR102339578B1 (en) 2020-06-12 2020-06-12 Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof

Publications (1)

Publication Number Publication Date
KR102339578B1 true KR102339578B1 (en) 2021-12-16

Family

ID=79033021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200071244A KR102339578B1 (en) 2020-06-12 2020-06-12 Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof

Country Status (1)

Country Link
KR (1) KR102339578B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS627417U (en) * 1985-06-27 1987-01-17
KR19990054490A (en) * 1997-12-26 1999-07-15 정몽규 Feature Vector Extraction Method by Normalizing Signal-to-Noise Ratio
KR100820141B1 (en) * 2005-12-08 2008-04-08 한국전자통신연구원 Apparatus and Method for detecting of speech block and system for speech recognition
KR20120130371A (en) * 2011-05-23 2012-12-03 수원대학교산학협력단 Method for recogning emergency speech using gmm
KR101889465B1 (en) * 2017-02-02 2018-08-17 인성 엔프라 주식회사 voice recognition device and lighting device therewith and lighting system therewith
KR20180119929A (en) * 2017-04-26 2018-11-05 현대자동차주식회사 A voice detection apparatus, a method thereof and a vehicle including the same
JP2019197964A (en) * 2018-05-08 2019-11-14 トヨタ自動車株式会社 Microphone control device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS627417U (en) * 1985-06-27 1987-01-17
KR19990054490A (en) * 1997-12-26 1999-07-15 정몽규 Feature Vector Extraction Method by Normalizing Signal-to-Noise Ratio
KR100820141B1 (en) * 2005-12-08 2008-04-08 한국전자통신연구원 Apparatus and Method for detecting of speech block and system for speech recognition
KR20120130371A (en) * 2011-05-23 2012-12-03 수원대학교산학협력단 Method for recogning emergency speech using gmm
KR101889465B1 (en) * 2017-02-02 2018-08-17 인성 엔프라 주식회사 voice recognition device and lighting device therewith and lighting system therewith
KR20180119929A (en) * 2017-04-26 2018-11-05 현대자동차주식회사 A voice detection apparatus, a method thereof and a vehicle including the same
JP2019197964A (en) * 2018-05-08 2019-11-14 トヨタ自動車株式会社 Microphone control device

Similar Documents

Publication Publication Date Title
US5228087A (en) Speech recognition apparatus and methods
JP5331784B2 (en) Speech end pointer
US7676363B2 (en) Automated speech recognition using normalized in-vehicle speech
JP4166153B2 (en) Apparatus and method for discriminating emotion of dog based on analysis of voice characteristics
US10540979B2 (en) User interface for secure access to a device using speaker verification
US7725315B2 (en) Minimization of transient noises in a voice signal
EP0789296B1 (en) Voice controlled image manipulation
DE60024236T2 (en) LANGUAGE FINAL POINT DETERMINATION IN A NOISE SIGNAL
DE10134908B4 (en) Speech recognition apparatus and methods using two opposite words
CN111033611A (en) System and method for associating mouth images with input instructions
JPH10288996A (en) Speech recognition method and speech signal processor
DE112004000187T5 (en) Method and apparatus of prosodic simulation synthesis
JPH09230888A (en) Method and device for pattern matching
EP0233718B1 (en) Speech processing apparatus and methods
GB2230370A (en) Speech recognition
KR102339578B1 (en) Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof
US20140337029A1 (en) Speech recognition with a plurality of microphones
KR20210154340A (en) Driving apparatus for snow removal equipment provided in snow removal vehicle and the driving method thereof
KR20060066483A (en) Method for extracting feature vectors for voice recognition
KR102306108B1 (en) Driving apparatus with voice recognition for snow removal equipment provided in snow removal vehicle and the driving method thereof
JP4411590B2 (en) Voice visualization method and recording medium storing the method
US20080228477A1 (en) Method and Device For Processing a Voice Signal For Robust Speech Recognition
CN114155882A (en) Method and device for judging road rage emotion based on voice recognition
KR20220148701A (en) Driving apparatus with voice recognition for snow removal equipment provided in snow removal vehicle and the driving method thereof
JP2001042887A (en) Method for training automatic speech recognizing device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant