KR100549214B1

KR100549214B1 - Ubiquitous Home-network System and the control Method

Info

Publication number: KR100549214B1
Application number: KR1020030083760A
Authority: KR
Inventors: 김갑기; 이영직
Original assignee: 한국전자통신연구원
Priority date: 2003-11-24
Filing date: 2003-11-24
Publication date: 2006-02-03
Also published as: KR20050049977A

Abstract

본 발명은 비정형으로 분산된 마이크들을 통해 들어오는 사용자의 음성 명령어를 인식하여 각종 가전장비들을 제어하는 유비쿼터스 홈네트워크 시스템 및 그 제어 방법에 관한 것이다. The present invention relates to a ubiquitous home network system for controlling various home appliances by recognizing a voice command of a user coming through atypically distributed microphones and a control method thereof.

본 발명은 각종 가전장비에 비정형으로 분산 배치된 마이크들의 위치를 파악하는 단계와, 각 마이크들에 대해 그 잡음을 보정하여 사용자의 음성이 들어오기 전의 환경에 적응시키는 단계와, 잡음 보정된 입력신호들 중 소정 레벨 이상의 신호들에 대해 각 마이크의 위치정보를 이용하여 시간적 딜레이를 보정하고 이들을 합하여 사용자 음성을 증폭 강화하는 단계와, 증폭된 음성신호에서 특징을 추출하여 음성을 인식하고 그 인식결과에서 핵심어들을 추출하는 단계와, 핵심어들을 조합하여 사용자의 명령의도를 판단하고 그에 따라 가전장비의 동작을 제어하는 단계로 이루어진다. The present invention is to determine the location of the microphones irregularly distributed in various home appliances, to correct the noise for each of the microphones to adapt to the environment before the user's voice, and the noise-corrected input signal Correcting the temporal delay using the position information of each microphone with respect to signals of a predetermined level or more and amplifying and reinforcing the user's voice, extracting a feature from the amplified voice signal, and recognizing the voice. Extracting the key words, and combining the key words to determine the user's command intention and to control the operation of the home appliance accordingly.

비정형 분산 마이크, 유비퀴터스, 홈네트워크, 홈오토메이션, 음성인식, 잡음보정, HMM Atypical Distributed Microphone, Ubiquitous, Home Network, Home Automation, Speech Recognition, Noise Compensation, HMM

Description

Ubiquitous Home-network System and the Control Method

도 1은 본 발명에 따른 유비쿼터스 홈네트워크 시스템에 대한 개념도. 1 is a conceptual diagram of a ubiquitous home network system according to the present invention.

도 2는 본 발명에 따른 홈네트워크 서버에 대한 블록 구성도. 2 is a block diagram of a home network server according to the present invention;

도 3은 본 발명에 따른 유비쿼터스 홈네트워크 제어 과정에 대한 흐름도. 3 is a flowchart illustrating a ubiquitous home network control process according to the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

110: 위치추적 센서 115: 마이크110: location tracking sensor 115: microphone

120: 홈네트워크 서버 121: 통신 인터페이스120: home network server 121: communication interface

123: 잡음보정 모듈 124: 음성강화 모듈123: noise correction module 124: speech enhancement module

125: 음성인식 모듈 126: 핵심어 추출 모듈125: speech recognition module 126: keyword extraction module

127: 제어 모듈127: control module

본 발명은 유비쿼터스 홈네트워크 시스템 및 그 제어 방법에 관한 것이며, 보다 상세히는 비정형 분산 마이크 어레이를 통해 들어오는 음성 명령어를 인식하여 각종 가전장비들을 제어하는 유비쿼터스 홈네트워크 제어 시스템 및 그 방법에 관한 것이다. The present invention relates to a ubiquitous home network system and a control method thereof, and more particularly, to a ubiquitous home network control system and method for controlling various home appliances by recognizing a voice command received through an atypical distributed microphone array.

유비쿼터스(Ubiquitous)란 라틴어로 '보편적으로 존재하다'라는 의미로서, 유비쿼터스 컴퓨팅 또는 네트워킹은 PC가 아닌 모든 비 PC 기기들이 상호 네트워크화 되어 사용자의 편의성 뿐만 아니라 시간 및 장소 등에 구애받지 않고 이들과 커뮤니케이션 또는 제어할 수 있도록 한다. Ubiquitous is a Latin term meaning 'universally present'. Ubiquitous computing or networking means that all non-PC devices, not PCs, are networked to communicate or control with them regardless of time and place. Do it.

이러한 유비쿼터스 관련 기술은 정보통신 분야에서 엄청난 파급효과를 가져올 것으로 인식되고 있으며, 주요 선진 국가의 정부 및 연구소들은 유비쿼터스 네트워킹 및 그 응용 기술에 대해 경쟁적으로 개발하고 있다. These ubiquitous technologies are recognized to have tremendous ripple effects in the field of information and communication, and governments and research institutes in major developed countries are competitively developing ubiquitous networking and its applied technologies.

한편, 가정 방범시스템, 전기·가스의 조절, 조명장치, 냉난방 장비, 냉장고, TV, 오디오 등과 같은 각종 가전장비들을 자동화함에 있어 이와 같은 유비쿼터스 네트워킹을 적용할 경우, 사용자의 편의를 극대화시킬 수 있을 것이다. 특히 사용자의 음성 명령을 인식하여 각종 가전장비들을 자동 제어하게 된다면, 전자장비의 복잡한 기능을 잘 알지 못하는 노약자나 어린이들로서도 쉽게 제어할 수 있을 것이다. On the other hand, when applying such ubiquitous networking in automating various home appliances such as home security system, electric / gas control, lighting device, air conditioning equipment, refrigerator, TV, audio, etc., user convenience will be maximized. . In particular, if the user's voice command to automatically control the various home appliances, it can be easily controlled even for the elderly and children who do not know the complex functions of the electronic equipment.

이를 위해, 음성 인터페이스를 통해 네트워크상의 장비들을 제어하는 방법과 각종 홈오토메이션 방법들이 제안된 바 있지만, 비정형으로 분산된 마이크들을 이용한 음성 명령 기술은 아직까지 세계적으로 개발된 사례가 없다. 또한, 종래의 경우 주변 잡음 등으로 인해 인식 정확성이 현저하게 낮으며 이로 인해 장비의 오동작이 빈번하게 발생되는 등의 문제점이 있다. To this end, a method of controlling devices on a network through a voice interface and various home automation methods have been proposed, but voice command technology using atypically distributed microphones has not been developed worldwide. In addition, in the conventional case, the recognition accuracy is remarkably low due to ambient noise, and thus there is a problem such that frequent malfunction of the equipment occurs.

따라서, 본 발명은 상술한 종래의 문제점 및 필요성에 따라 제안된 것으로서, 본 발명의 목적은 비정형 분산 마이크 어레이를 통해 들어오는 음성 명령어에 대해 잡음 적응 기술, 위치 추적에 의한 시간적 딜레이 보정 기술, 음성강화 및 음성 인식 기술 등을 적용함으로써, 사용자의 편의와 유비쿼터스 음성제어의 효율성 및 정확성을 향상시킬 수 있는 유비쿼터스 홈네트워크 시스템 및 그 제어 방법을 제공하는데 있다. Accordingly, the present invention has been proposed in accordance with the above-mentioned problems and needs of the prior art, and an object of the present invention is to provide a noise adaptation technique, a temporal delay correction technique by position tracking, a voice enhancement, The present invention provides a ubiquitous home network system and a method of controlling the same, which can improve user convenience and efficiency and accuracy of ubiquitous voice control.

상기 본 발명의 목적을 달성하기 위한 유비쿼터스 홈네트워크 시스템 은, 각 가전장비들 및 댁내의 주요 위치에 다수개 배치되어 사용자의 음성을 수집하는 마이크들과, 상기 각 마이크들의 공간상 위치를 감지하는 위치추적 센서와, 상기 감지된 각 마이크의 위치정보를 통해 각 마이크의 입력신호간 시간 딜레이를 보정하고, 사용자의 음성신호를 추출하여 소정의 신호레벨로 강화한 후 음성인식을 통해 사용자의 명령의도를 판단하여 해당 가전장비의 동작을 제어하는 홈네트워크 서버로 구성된다.The ubiquitous home network system for achieving the object of the present invention, a plurality of microphones for collecting the user's voice is arranged in a plurality of home appliances and the main location of the home, and the position to sense the spatial location of each microphone Based on the tracking sensor and the detected position information of each microphone, time delay between input signals of each microphone is corrected, the user's command intention is made through voice recognition after extracting and reinforcing the user's voice signal to a predetermined signal level. It is composed of a home network server to determine and control the operation of the home appliance.

또한, 상기 본 발명의 목적을 달성하기 위한 유비쿼터스 홈네트워크 제어 방법은, 각 가전장비 및 댁내의 주요 위치에 비정형으로 분산 배치되는 각 마이크들의 위치를 파악하는 단계; 각 마이크들에 대한 잡음레벨을 파악하고, 각 마이크를 통해 수집되는 입력신호에서 그 잡음을 제거하여 사용자의 음성이 들어오기 전의 환경에 적응시키는 단계; 상기 잡음 보정된 입력신호들 중 소정 레벨 이상의 신호들에 대해 상기 각 마이크의 위치정보를 이용하여 시간적 딜레이를 보정하고 이들을 합하여 사용자 음성을 증폭 강화하는 단계; 상기 증폭된 음성신호에 대한 주파 수 분석을 통해 그 음성의 특징을 추출하여 사용자 음성을 인식하고, 그 음성인식 결과에서 가전장비의 제어와 관련된 핵심어들을 추출하는 단계; 및 상기 추출된 핵심어들을 조합하여 사용자의 명령의도를 판단하고 그에 따라 해당 가전장비의 동작을 제어하는 단계;로 이루어진다. In addition, the ubiquitous home network control method for achieving the object of the present invention, the step of identifying the location of each microphone irregularly distributed in each home appliance and the main location of the home; Identifying noise levels for each of the microphones, and removing the noise from the input signal collected through each microphone to adapt the environment to the user's voice; Correcting the temporal delay by using the position information of each microphone with respect to signals of a predetermined level or more among the noise corrected input signals, and amplifying and reinforcing a user voice by adding them up; Extracting a feature of the voice through frequency analysis of the amplified voice signal, recognizing a user voice, and extracting key words related to control of the home appliance from the voice recognition result; And determining the user's command intention by combining the extracted key words and controlling the operation of the corresponding home appliance according to the extracted key words.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 유비쿼터스 홈네트워크 시스템에 대한 개략적인 구성도이다. 1 is a schematic configuration diagram of a ubiquitous home network system according to the present invention.

도 1에 도시된 바와 같이, 유비쿼터스 홈네트워크 시스템은, 위치추적 센서(110)와, 전화기(131), 보일러(132), 냉장고(133), TV(134) 등과 같은 가전장비, 마이크 시스템(115), 및 홈네트워크 서버(120) 등으로 구성된다. As shown in FIG. 1, the ubiquitous home network system includes a location tracking sensor 110, a home appliance such as a telephone 131, a boiler 132, a refrigerator 133, a TV 134, and a microphone system 115. ), And the home network server 120 and the like.

여기에서, 상기 가전장비들은 홈네트워크를 통해 상기 홈네트워크 서버(120)와 연결되어 그 동작 및 기능들이 제어되며, 이를 위하여 서버와의 통신 인터페이스와 서버로부터의 제어신호를 해석하여 해당 기능을 동작시키는 제어모듈 등을 포함하여야 한다. Here, the home appliances are connected to the home network server 120 through a home network to control their operation and functions. For this purpose, the home appliance is operated by interpreting a communication interface with the server and a control signal from the server. Control module, etc. should be included.

또한, 상기 각 가전장비들에는 각각 하나 이상의 마이크 시스템(115)이 내장 또는 외장형으로 장착되거나 부착되게 되는데, 이러한 마이크 시스템(115)은 가전장비들뿐만 아니라 쇼파, 현관, 베란다, 벽, 천정 등과 같은 가정내의 적정 장소에 비정형으로 배열된다. 또한 각 마이크(115)들은 상기 위치추적 센서(110)에 의해 그 위치가 감지될 수 있도록 RF 송신 수단 등을 구비하여 그 식별자를 소정의 주기로 송출한다. In addition, at least one microphone system 115 may be mounted or attached to each of the household appliances, and the microphone system 115 may include not only the household appliances but also a sofa, a porch, a porch, a wall, a ceiling, and the like. Arranged atypically in appropriate places in the home. In addition, each of the microphones 115 is provided with an RF transmitting means or the like so that the position can be detected by the position tracking sensor 110 and transmits the identifier at a predetermined period.

상기 위치추적 센서(110)는 각 마이크(115)들로부터의 RF 신호를 수신하여 그 위치들을 감지하고 이를 홈네트워크 서버(120)로 전달한다. 이러한 위치추적 센서(110)는 천정에 부착되는 것이 바람직하며 각 마이크(115)들을 감지할 수 있도록 적정의 위치에 다수개 설치된다. The position tracking sensor 110 receives the RF signals from the microphones 115, detects the positions, and transmits the positions to the home network server 120. The location tracking sensor 110 is preferably attached to the ceiling, and a plurality of location sensors 110 are installed at appropriate positions to detect the microphones 115.

이와 같이 각 마이크의 위치를 확인하는 것은 냉장고, TV 등의 위치가 변경되는 경우에도 각각에 대한 3차원 공간상의 위치를 정확히 파악해 둠으로써 각 마이크를 통해 입력되는 음성신호의 시간적 딜레이를 보정하여 일치시키기 위한 것이다. As such, checking the position of each microphone corrects and matches the time delay of the audio signal input through each microphone by accurately identifying the position of each microphone in three-dimensional space even when the positions of the refrigerator and TV are changed. It is for.

또한, 상기 홈네트워크 서버(120)는 각 마이크(115)를 통해 수집되는 사용자 음성데이터에 대해 잡음 보정 및 딜레이 보정을 수행하고, 음성 강화 및 음성 인식 기술 등을 적용하여 해당 장비를 그 명령어에 따라 제어하게 된다. In addition, the home network server 120 performs noise correction and delay correction on user voice data collected through the microphones 115, and applies a voice reinforcement and voice recognition technique to the corresponding equipment according to the command. Control.

도 2는 이러한 상기 홈네트워크 서버(120)에 대한 보다 상세한 블록 구성도이다. 2 is a more detailed block diagram of the home network server 120.

도 2에 도시된 바와 같이, 상기 홈네트워크 서버(120)는 통신 인터페이스(121), 데이터 저장부(122), 잡음보정 모듈(123), 음성강화 모듈(124), 음성인식 모듈(125), 핵심어 추출 모듈(126), 제어 모듈(127), 및 CPU(128) 등으로 구성된다. As shown in FIG. 2, the home network server 120 includes a communication interface 121, a data storage unit 122, a noise correction module 123, a voice enhancement module 124, a voice recognition module 125, The keyword extraction module 126, the control module 127, the CPU 128, and the like.

여기에서, 상기 통신 인터페이스(121)는 홈네트워크를 통해 각종 가전장비 및 상기 위치추적 센서(110)와의 데이터 송수신 기능을 제공하고 이를 위한 통신 프로토콜의 변환 등을 수행한다. Here, the communication interface 121 provides a data transmission / reception function with various home appliances and the location tracking sensor 110 through a home network, and performs a conversion of a communication protocol for this.

상기 데이터 저장부(122)는 키워드 데이터와 제어신호 데이터 등을 포함하며, 키워드 데이터는 각 가전 장비들의 동작을 제어하기 위해 필요한 핵심 명령어들로서 '냉장고', 'TV', '보일러' 등의 가전장비명과 '채널', '숫자', '열기', '닫기', '온도' 등과 같은 핵심 기능어 등이 된다. 또한, 제어신호 데이터는 각 가전장비의 동작 기능별 제어신호 데이터로서 해당 가전장비가 그 제어신호를 인식할 수 있도록 상호 미리 약속된다. The data storage unit 122 includes keyword data and control signal data, and the keyword data is key commands necessary for controlling the operation of each home appliance, and the home appliance such as a refrigerator, a TV, a boiler, and the like. Names and key functions such as 'channel', 'number', 'open', 'close', and 'temperature'. In addition, the control signal data is the control signal data for each operation function of each home appliance is mutually promised so that the home appliance can recognize the control signal.

상기 잡음보정 모듈(123)은 사용자의 음성을 인식하기 위해 주변 환경에 적응시키는 모듈로서, 각 마이크(115)를 통해 입력되는 평상시의 장비음 데이터(TV 소리, 보일러 구동음 등), 외부 고주파 잡음 등을 각 마이크에 대한 잡음으로 지정한다. 그리고 사용자의 명령어가 입력되면 그 입력신호로부터 잡음레벨을 제거함으로써 사용자의 명령음 데이터만을 추출할 수 있게 된다. 이로써, 상기 잡음보정 모듈(123)은 각 마이크별로 그 주변 잡음을 기반으로 음성이 들어오기 전의 환경에 자동 적응시키게 된다. The noise correction module 123 is a module adapted to the surrounding environment in order to recognize the user's voice, the usual equipment sound data (TV sound, boiler driving sound, etc.) input through each microphone 115, external high frequency noise Specify the back as the noise for each microphone. When the user's command is input, only the command sound data of the user can be extracted by removing the noise level from the input signal. Thus, the noise correction module 123 automatically adapts to the environment before the voice comes in based on the ambient noise of each microphone.

이러한 잡음보정 모듈(123)은, 도 2에 도시된 바와 같이, 홈네트워크 서버(120)의 일 구성요소로서 구현될 수 있지만, 다른 실시예로서 당업자는 각 마이크(115)에 이러한 잡음보정 모듈을 하드웨어적으로 포함시킬 수 있다. 이 경우, 각 마이크(115)는 자체적으로 그 평상시 주변 잡음을 인식하게 되고 유입되는 신호에서 그 잡음 레벨을 제거함으로써 사용자의 명령음 신호만을 상기 홈네트워크 서 버(120)로 전달할 수 있게 된다. 물론, 이러한 실시 형태의 경우, 상기 홈네트워크 서버(120)에는 잡음보정 모듈(123)을 별도로 구비할 필요가 없다. Such a noise correction module 123 may be implemented as one component of the home network server 120, as shown in FIG. 2, but in another embodiment, a person skilled in the art may apply such a noise correction module to each microphone 115. It can be included in hardware. In this case, each microphone 115 recognizes its usual ambient noise by itself and removes the noise level from the incoming signal so that only the user's command tone signal is transmitted to the home network server 120. Of course, in this embodiment, the home network server 120 does not need to be provided with a noise correction module 123 separately.

상기 음성강화 모듈(124)은 상기와 같이 잡음 보정된 각 마이크(115)로부터의 음성 신호들 중에서 음원에서 음성 진행방향으로 가장 가까운 마이크를 찾고 그 찾은 마이크 주변의 마이크들로부터 얻어진 음성을 거리와 시간적 딜레이를 보정하여 증폭함으로써 사용자의 음성을 강화시킨다. The voice reinforcement module 124 finds the closest microphone in the direction of voice progression from the sound source among the voice signals from each of the noise-compensated microphones 115 as described above, and compares the voice obtained from the microphones around the found microphone with distance and time. By correcting and amplifying the delay, the user's voice is enhanced.

즉, 잡음 보정된 각 음성신호들 중에서 그 신호레벨이 가장 큰 것을 찾고, 그 최대레벨의 음성신호 및 그 주변 마이크(115)들로부터 얻어진 음성신호들에 대해 시간적 딜레이를 보정한 후 이들을 합함으로써 그 음성신호를 증폭하게 된다. 물론, 이들을 합한 후 별도의 음성신호 증폭과정을 수행할 수 도 있다. That is, the signal level among the noise-compensated speech signals is found to be the largest, the temporal delay is added to the speech signal obtained from the speech signal of the maximum level and the peripheral microphones 115, and the sum is added. Amplify the voice signal. Of course, after combining them, a separate voice signal amplification process may be performed.

이때, 각 마이크들과 음원(사용자)간의 거리는 동일하지 않으므로 각 마이크를 통해 수집되는 음성신호간에는 약간의 시간적 차이가 발생하게 되는데, 상기 위치추적 센서(110)로부터 입수된 각 마이크(115)의 위치정보를 통해 이러한 시간적 딜레이를 보정함으로써 각 음성신호들을 시간적으로 일치시킬 수 있고 이들을 합할 경우 증폭된 음성신호를 얻을 수 있다. At this time, since the distance between each microphone and the sound source (user) is not the same, there is a slight time difference between the voice signals collected through each microphone, the position of each microphone 115 obtained from the position tracking sensor 110 By correcting this temporal delay through the information, the individual speech signals can be matched in time, and when they are summed, an amplified speech signal can be obtained.

상기 음성인식 모듈(125)은 상기 증폭된 음성신호에 대해 음성인식을 수행한다. 이러한 음성인식 기술은 음성신호의 주파수를 분석하여 음성의 특징을 추출하고 그 음성의 음소, 음절, 단어 등을 인식하는 것으로서, 당업자로서는 이미 개발되거나 개발 가능한 음성인식 기법들을 적용할 수 있다. The speech recognition module 125 performs speech recognition on the amplified speech signal. The speech recognition technology extracts the features of speech by analyzing the frequency of the speech signal and recognizes the phonemes, syllables, words, etc. of the speech, and those skilled in the art can apply the speech recognition techniques already developed or developable.

바람직하게는 최근 주로 사용되고 있는 은닉 마코프 모델(hidden Markov model, HMM)과 같은 통계적 모델을 방법을 사용한다. Preferably, a statistical model such as a hidden Markov model (HMM), which is mainly used recently, is used.

또한, 상기 핵심어 추출 모듈(126)은 상기 음성인식 결과에서 10~50개 정도의 핵심어 즉, 키워드를 검출한다. 이를 위하여 상기 핵심어 추출 모듈(126)은 음성인식 결과와 상기 저장부(122)의 키워드 데이터를 상호 비교하여 'TV', '채널', '9' 등과 같은 핵심어를 추출한다. 이때, 인식결과와 키워드 데이터간의 유사도 또는 거리값을 적용할 수 있다. In addition, the keyword extraction module 126 detects about 10-50 keywords, that is, keywords, from the speech recognition result. To this end, the keyword extraction module 126 compares the voice recognition result with the keyword data of the storage unit 122 and extracts keywords such as 'TV', 'channel', and '9'. In this case, the similarity or distance value between the recognition result and the keyword data may be applied.

상기 제어 모듈(127)은 상기 추출된 핵심어를 조합하여 사용자의 명령 의도를 확인하고, 상기 데이터 저장부(122)로부터 해당 제어신호를 독출하여 홈네트워크로 전송함으로써 그 가전장비를 사용자 명령에 따라 제어하게 된다. 또한, 상기 CPU(128)는 상기 각 모듈 및 구성요소들의 동작과 그들간의 연계를 제어한다. The control module 127 checks the command intention of the user by combining the extracted key words, reads the control signal from the data storage unit 122 and transmits the control signal to the home network to control the home appliance according to the user command. Done. In addition, the CPU 128 controls the operation of the respective modules and components and their associations.

이와 같이 이뤄지는 홈네트워크 서버(120)는 PC 등의 컴퓨터 시스템으로 구현되는 것이 바람직하며, 상기 잡음보정 모듈(123), 음성강화 모듈(124), 음성인식 모듈(125), 핵심어 추출 모듈(126), 제어 모듈(127) 등은 소프트웨어적으로 구현될 수 있다. The home network server 120 may be implemented as a computer system such as a PC. The noise correction module 123, the voice reinforcement module 124, the voice recognition module 125, and the keyword extraction module 126 may be implemented. The control module 127 may be implemented in software.

한편, 도 3은 본 발명에 따른 유비쿼터스 홈네트워크 제어 과정에 대한 흐름도이다. 3 is a flowchart illustrating a ubiquitous home network control process according to the present invention.

먼저, 각 가전장비 및 가구 등 댁내 주요 위치에 마이크(115)들이 비정형으로 분산 배치되고, 각 가전장비 및 위치추적 센서(110)와 홈네트워크 서버(120)간에 네트워크가 구성되어 있다. 그리고, 상기 홈네트워크 서버(120)는 위치추적 센서(110)를 통해 각 마이크(115)들의 3차원 공간상의 위치를 소정의 주기로 파악한 다. First, microphones 115 are irregularly distributed at major locations in the home such as home appliances and furniture, and a network is configured between each home appliance and the location tracking sensor 110 and the home network server 120. In addition, the home network server 120 recognizes the positions of the microphones 115 in a three-dimensional space through a position tracking sensor 110 at predetermined intervals.

또한, 상기 홈네트워크 서버(120)는 각 마이크에 대해 그 잡음레벨을 파악하고, 각 마이크들로부터의 입력신호에서 그 잡음을 제거함으로써 사용자의 음성이 들어오기 전의 환경에 적응시킨다.(S301) In addition, the home network server 120 recognizes the noise level of each microphone and removes the noise from the input signals from the microphones to adapt to the environment before the user's voice comes in (S301).

이와 같은 잡음보정을 한 후 사용자의 음성신호가 있게 되면, 최대 레벨의 신호가 입력되는 마이크를 찾고 그 최대 음성신호 및 주변 마이크들로부터의 음성신호를 합성하여 증폭 강화한다.(S302) 이때, 각 마이크들의 위치정보를 통해 음성신호들간의 시간적 딜레이를 보정한다. After such noise correction, if a user's voice signal is present, the microphone of which the maximum level signal is input is found, and the maximum voice signal and voice signals from the surrounding microphones are synthesized and amplified and strengthened (S302). The temporal delay between voice signals is corrected through the location information of the microphones.

그리고, 은닉 마코프 모델 HMM(Hidden Makov Model)과 같은 통계적 모델을 이용하여 사용자의 음성신호를 인식한다.(S303) 이때, 소정 이하의 인식값을 갖는 것은 제외시킨다. Then, the user's voice signal is recognized using a statistical model such as a hidden Markov model HMM (Sidden Makov Model) (S303).

또한, 상기 저장부(122)의 키워드 데이터와의 유사도 비교를 통해 상기 음성인식 결과에서 핵심어들을 추출하고, 이들 핵심어를 조합하여 사용자의 명령의도를 판단한다.(S304) Further, key words are extracted from the speech recognition result by comparing similarity with keyword data of the storage unit 122, and the key words are combined to determine a user's command intention (S304).

상기 홈네트워크 서버(120)는 해당 제어신호를 홈네트워크를 통해 전송하고, 해당 가전장비의 제어모듈은 그 제어신호를 해석하여 사용자의 명령에 따른 동작을 수행하게 된다.(S305) The home network server 120 transmits the control signal through the home network, and the control module of the home appliance interprets the control signal to perform an operation according to a user's command.

한편, 지능형 가전장비가 없는 홈네트워크 내부 공간의 경우에는 휴대 가능한 마이크를 사용할 수 있다. Meanwhile, a portable microphone may be used in a space inside a home network without intelligent home appliances.

상기와 같은 본 발명의 유비쿼터스 홈네트워크 제어 방법은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다. 이러한 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk)-Rom, DVD(Digital Video Disk)-Rom, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한, 이러한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. The ubiquitous home network control method of the present invention as described above may be stored in a computer-readable recording medium. Such recording media includes all types of recording media on which programs and data are stored so that they can be read by a computer system. Examples include ROM (Read Only Memory), Random Access Memory (RAM), Compact Disk (CD) -Rom, Digital Video Disk (DVD) -Rom, magnetic tape, floppy disk, optical data storage device, and the like. Such recording media may be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

상술한 바와 같이 본 발명에 따른 유비쿼터스 홈네트워크 시스템 및 그 제어 방법은, 노약자 및 어린이를 포함하는 모든 사용자가 가정내의 임의 장소에서 각종 가전제품의 동작 및 기능을 용이하게 제어할 수 있는 인터페이스를 제공한다. As described above, the ubiquitous home network system and the control method thereof according to the present invention provide an interface that can easily control the operation and function of various home appliances at any place in the home by all users including the elderly and children. .

또한, 비정형 분산 마이크 배열에 대해 잡음 적응 및 자동 보정, 음성 강화 및 인식 기술 등을 적용함으로써, 유비쿼터스 음성 제어의 효율성 및 정확성을 향상시킬 수 있다. In addition, by applying noise adaptation and automatic correction, speech enhancement and recognition techniques to the unstructured distributed microphone arrangement, the efficiency and accuracy of ubiquitous speech control can be improved.

이상에서 설명한 것은 본 발명에 따른 유비쿼터스 홈네트워크 시스템 및 그 제어 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다. What has been described above is only one embodiment for implementing a ubiquitous home network system and a method of controlling the same according to the present invention, and the present invention is not limited to the above-described embodiment, but the present invention claims in the following claims. Without departing from the gist of the invention, anyone of ordinary skill in the art to which the present invention will have the technical spirit of the present invention to the extent that various modifications can be made.

Claims

In a ubiquitous home network system in which each home appliance and a server are interconnected through a home network and the operation of each home appliance is controlled by a server,

Microphones for collecting a user's voice and arranged in a plurality of home appliances and major locations in the home,

A position tracking sensor for detecting a spatial position of the microphones;

Correct the time delay between the input signals of each microphone through the detected position information of each microphone, extract the user's voice signal, enhance it to a predetermined signal level, and determine the user's command intention through voice recognition. It consists of a home network server that controls the operation of the equipment,

The microphones, the ubiquitous home network system, characterized in that the position tracking sensor is provided with an RF transmitting means so as to detect the position to transmit the identifier at a predetermined period.

delete

The method of claim 1, wherein the microphones, each having a noise correction module,

A ubiquitous home network system, characterized by determining the usual noise level around the signal, and transmitting only a user command sound signal to the home network server by removing noise from an incoming input signal.

The method of claim 3, wherein the home network server,

A voice reinforcement module that corrects temporal delays for noise correction signals received through each microphone and adds and amplifies and enhances a user's voice;

A voice recognition module extracting a feature of the voice through frequency analysis of the amplified voice signal and recognizing a user voice;

A key word extraction module for extracting key words related to control of home appliances from the voice recognition result;

Ubiquitous home network system comprising a control module for combining the extracted key words to determine the user's command intention and control the operation of the home appliance accordingly.

The method of claim 1, wherein the home network server,

A noise correction module for identifying the noise level of each microphone and removing the noise from the input signal collected through each microphone to adapt to the environment before the user's voice comes in;

A voice reinforcement module for correcting temporal delay with respect to signals of a predetermined level or higher among the noise corrected input signals, and amplifying and reinforcing a user voice;

A voice recognition module for extracting a feature of the voice through frequency analysis of the amplified voice signal and recognizing a user voice;

The method of claim 5, wherein the voice enhancement module,

Find a microphone having the maximum level of the noise-compensated voice signal, correct the temporal delay between voice signals collected through the peripheral microphones including the same using the respective microphone position information, and then add these signals to add a user voice signal. Ubiquitous home network system, characterized in that to enhance amplification.

The method of claim 5, wherein the voice recognition module,

Ubiquitous home network system characterized in that the user's voice is recognized by applying the statistical model HMM (Hidden Markov Model).

The method of claim 5, wherein the keyword extraction module,

And storing keyword data related to the control of each household appliance in advance, and comparing the voice recognition result with the keyword data to extract key words according to the similarity of the ubiquitous home network system.

In the ubiquitous home network control method in which the home network server controls the operation of each home appliance according to the user's voice command,

(a) determining the location of each microphone which is irregularly distributed in each home appliance and a main location of the home;

(b) identifying noise levels for each of the microphones, and removing the noise from the input signal collected through each microphone to adapt to the environment before the user's voice comes in;

(c) correcting a temporal delay using position information of each microphone with respect to signals of a predetermined level or more among the noise corrected input signals, and amplifying and reinforcing a user's voice by combining them;

(d) extracting a feature of the voice through frequency analysis of the amplified voice signal, recognizing a user voice, and extracting key words related to control of the home appliance from the voice recognition result; And

(e) determining the user's command intention by combining the extracted key words and controlling the operation of the home appliance accordingly;

Step (c) is,

Find a microphone having the maximum level of the noise-compensated voice signal, correct the temporal delay between voice signals collected through the peripheral microphones including the same using the respective microphone position information, and then add these signals to add a user voice signal. Ubiquitous home network control method characterized in that for enhancing amplification.

delete

The method of claim 9, wherein step (d)

And storing keyword data related to the control of each home appliance in advance, and comparing the voice recognition result with the keyword data and extracting key words according to the similarity of the ubiquitous home network.