KR20040075646A - 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의제어방법 - Google Patents

자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의제어방법 Download PDF

Info

Publication number
KR20040075646A
KR20040075646A KR1020030011235A KR20030011235A KR20040075646A KR 20040075646 A KR20040075646 A KR 20040075646A KR 1020030011235 A KR1020030011235 A KR 1020030011235A KR 20030011235 A KR20030011235 A KR 20030011235A KR 20040075646 A KR20040075646 A KR 20040075646A
Authority
KR
South Korea
Prior art keywords
command
voice
software
user
control
Prior art date
Application number
KR1020030011235A
Other languages
English (en)
Inventor
천두배
이현우
Original Assignee
천두배
이현우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 천두배, 이현우 filed Critical 천두배
Priority to KR1020030011235A priority Critical patent/KR20040075646A/ko
Publication of KR20040075646A publication Critical patent/KR20040075646A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 자연어 음성명령 인식기술을 이용하여 유무선 전화기, 휴대폰뿐만 아니라 무선 PDA를 이용하여 실내의 전기제품을 편리하게 제어할 수 있으며, 특히 음성화자인증 과정을 도입하여 불법 사용자의 전기제품 제어를 방지할 수 있고, 아울러 실내의 화재 및 도난 등의 위급상황을 감지하여 동영상으로 확인할 수 있도록 하는 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의 제어방법에 관한 것이다. 본 발명은 음성인식을 이용하여 각종 전기제품을 원격 제어하는 홈오토메이션 시스템의 제어방법에 있어서, 사용자로부터 입력된 자연어 음성명령을 분석하여 "명령개시신호", "장소"," 제어대상물", "동작상태"에 해당하는 일련의 구분 저장된 단어군의 유무에 따라 명령을 판단·인식하는 자연어 음성명령 입력 및 해석 단계; 음성명령의 특징점과 패턴을 분석하고, DB에 입력되어 있는 적법한 사용자들의 음성 특징점과 패턴을 비교하여 적법한 사용자의 명령인지를 판단하는 음성화자 인증단계; 및 적법 사용자이고 외출모드 또는 부재모드인 경우, 전달받은 문자명령을 PLC 제어코드로 변환하여 전기제품을 제어하는 전기제품 제어단계를 포함하는 것을 특징으로 한다.

Description

자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의 제어방법{CONTROL METHOD OF VOICE INDICATION HOME AUTOMATION SYSTEM}
본 발명은 음성인식을 이용하여 각종 전기제품을 원격 제어하는 방법에 관한 것으로서, 보다 상세하게는 자연어 음성명령 인식기술을 이용하여 휴대폰뿐만 아니라 무선 PDA를 이용하여 실내의 전기제품을 편리하게 제어할 수 있으며, 특히 음성화자인증 과정을 도입하여 불법 사용자의 전기제품 제어를 방지할 수 있고, 아울러 실내의 화재 및 도난 등의 위급상황을 감지하여 동영상으로 확인할 수 있도록 하는 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의 제어방법에 관한 것이다.
종래에는 음성명령을 입력하기 위해 사용자가 미리 예약 또는 지정된 음성명령을 기억하고 있어야 하므로, 그 명령어가 많아질 경우 이를 일일이 기억하기 어려운 문제점이 있었다.
또한, 종래에는 음성인식 기술을 이용하여 전기제품을 제어할 수 있었으나, 적법 사용자의 구별은 전화기의 숫자 키를 이용한 비밀번호 입력 방법을 사용하여 비밀번호 누출 시 보안에 심각한 문제를 가지고 있었다.
또한, 실내의 화재 및 도난 등의 위급상황을 감지하고 이를 즉시 동영상으로 확인할 수 없는 문제점이 있었다.
따라서, 본 발명은 상기한 종래의 제반 문제점을 해결하기 위한 것으로, 자연어 음성명령 인식기술을 이용하여 휴대폰뿐만 아니라 무선 PDA를 이용하여 실내의 전기제품을 편리하게 제어할 수 있으며, 특히 음성화자인증 과정을 도입하여 불법 사용자의 전기제품 제어를 방지할 수 있고, 아울러 실내의 화재 및 도난 등의 위급상황을 감지하여 동영상으로 확인할 수 있도록 하는 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의 제어방법을 제공함에 그 목적이 있다.
도 1은 본 발명의 다수 전기제품을 음성화자인증 및 음성인식을 이용하여 제어하는 홈오토메이션 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 전화기 시스템을 사용한 음성화자인증 및 자연어 음성명령에 의한 전기제품 제어를 도시한 흐름도이다.
도 3은 본 발명의 무선 PDA를 사용한 음성화자인증 과정을 도시한 흐름도이다.
도 4는 본 발명의 무선 PDA를 사용한 음성명령 전기제품 제어를 도시한 흐름도이다.
도 5는 본 발명의 무선 PDA를 사용한 문자명령 전기제품 제어를 도시한 흐름도이다.
도 6 내지 도 13은 본 발명의 무선 PDA 전기제품 제어 화면을 도시한 것이다.
도 14 및 15는 본 발명의 휴대폰 자동 SMS 송신과 휴대폰 동영상 전송을 이용한 보안을 도시한 블록도 및 흐름도이다.
<도면의 주요부분에 대한 부호의 설명>
H100 : 홈 오토메이션 서버 H200 : 전화기 시스템
H300 : 무선 PDA H500 : 전기제품군
상기한 목적을 달성하기 위한 본 발명에 따른 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의 제어방법은, 음성인식을 이용하여 각종 전기제품을 원격 제어하는 홈 오토메이션 시스템의 제어방법에 있어서, 사용자로부터 입력된 자연어 음성명령을 분석하여 "명령개시신호", "장소"," 제어대상물", "동작상태"에 해당하는 일련의 구분 저장된 단어군의 유무에 따라 명령을 판단·인식하는 자연어 음성명령 입력 및 해석 단계; 음성명령의 특징점과 패턴을 분석하고, DB에 입력되어 있는 적법한 사용자들의 음성 특징점과 패턴을 비교하여 적법한 사용자의 명령인지를 판단하는 음성화자 인증단계; 및 적법 사용자이고 외출모드 또는 부재모드인 경우, 전달받은 문자명령을 PLC 제어코드로 변환하여 전기제품을 제어하는 전기제품 제어단계를 포함하는 것을 특징으로 한다.
또한, 상기 사용자는 무선 PDA를 통하여 음성명령 또는 문자명령을 입력하도록 하며, 외출 모드시 실내의 화재 및 도난 등의 위급상황을 감지하여 휴대폰 SMS로 알려 주고, 이를 동영상으로 전송하여 확인할 수 있게 하는 보안감지 및 동영상 전송단계를 더 포함하는 것이 바람직하다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 다수 전기제품을 음성화자인증 및 음성인식을 이용하여 제어하는 홈 오토메이션, 오피스오토메이션 시스템의 구성을 도시한 블록도이다.
도시하는 바와 같이 본 발명은, 시스템 동작에 필요한 소프트웨어 및 장비를 탑재한 홈 오토메이션 서버(H100); 실내외에서 실내의 전기제품을 전화망을 이용하여 제어할 수 있도록 구성된 전화기 시스템(H200); 사용자로부터 음성명령을 받아 무선으로 전기제품 제어할 수 있는 무선 PDA(H300); 전기 제품을 제어하기 위한 PLC 컨트롤러(H400); PLC 컨트롤러(H400)에 의해 제어되는 전기제품군(H500); 무선 PDA(H300)와 서버를 인터넷으로 연결시켜 주는 액세스 포인트(H700); 홈 오토메이션 서버(H100) 및 액세스 포인트를 인터넷으로 연결시켜 주기 위한 허브(H800), 인터넷 연결 모뎀(H900)으로 구성된다.
홈 오토메이션 서버(H100)는 서버(H100)는 외부에서 걸려 온 전화를 자동으로 받아 주거나 전화를 걸어 주거나 메모리된 음성 데이터에 의하여 자동 응답하는 CTI보드(H101), 모뎀(H102); CTI보드(H101), 모뎀(H102)으로부터 입력된 음성명령을 필요 소프트웨어에 전달하거나 결과를 CTI보드(H101), 모뎀(H102)에게 전달하는 CTI/모뎀 처리 소프트웨어(S113); 무선 PDA(H300)과 음성 명령, 문자 명령의 통신을 담당하는 무선 PDA 소프트웨어(S114); 전기제품 제어에 필요한 음성명령과 제어코드를 저장하고 있는 음성명령 DB(D101); 입력된 음성명령을 이용하여 합법적인사용자인가를 판단하는 음성화자인증 소프트웨어(S112); 합법적인 사용자의 음성 특징점을 저장하고 있는 음성화자인증 DB(D102); 음성명령의 특징점을 추출하고, 이미 설정되어 학습된 음소모델로부터 음소를 추출하여 이들 음소를 조합한 전송 문자 및 문자명령으로 변환하는 음성인식 소프트웨어(S111); 변환된 문자명령을 PLC 제어코드로 변환하는 PLC제어코드변환 소프트웨어(S115); PLC 제어코드를 전달받아 PLC 제어 명령을 수행하는 PLC 제어 소프트웨어(S116); PLC 제어 소프트웨어의 명령을 PLC 컨트롤러(H400)에게 전달하는 직렬통신포트(H106); 직렬통신포트(H106)로부터 출력된 PLC 제어 코드를 이용하여 전기제품들을 제어하는 PLC 컨트롤러(H400); PLC제어의 대상이 되는 전기제품군(H500); PLC 제어 결과를 사용자에게 음성으로 출력하여 주는 사운드카드(H107), 스피커(H108); 음성화자인증, 음성인식을 이용한 PLC 제어에 관계하는 소프트웨어들을 저장하는 하드디스크(H103); 하드디스크(H103)에 저장된 소프트웨어를 탑재하는 메모리(H104); 메모리에 탑재된 소프트웨어를 실행하는 중앙처리장치(H105); 홈 오토메이션 서버(H100)를 인터넷과 연결하여 주는 랜카드(H109)로 구성된다.
전화기 시스템(H200)은 국선을 통하여 사용자의 음성명령을 입력받거나 전기제품 제어결과를 음성으로 출력하여 주는 외부 전화기(H201); 내선을 통하여 사용자의 음성명령을 입력받거나 전기제품 결과를 음성으로 출력하여 주는 내부 전화기(H202); 국선과 내선을 연결하여 주는 키폰(H203), 전화교환기(H204); 무선으로 사용자의 음성명령을 입력받거나 전기제품 결과를 출력하여 주는 휴대폰(H600)으로 구성된다.
무선 PDA(H300)은 사용자의 음성명령을 입력받는 마이크(H301); 음성명령 요청이나 전기제품 제어결과를 음성으로 출력하는 스피커(H302); 음성명령의 입력이나 음성명령 요청, 전기제품 제어결과를 입출력하기 위한 음성입출력 소프트웨어(S311); 문자 명령을 입력받거나 음성명령 결과를 화면으로 출력하는 터치패널 모니터(H303); 터치패널 모니터(H303)에 문자 명령 화면을 구성하거나 음성 또는 문자 명령 제어결과를 화면으로 출력하도록 하는 화면제어 소프트웨어(302); 문자명령을 입력받기 위한 키보드(H304), 마우스(H305); 문자 명령을 PLC 제어코드로 변환하는 PLC 제어코드 변환 소프트웨어(S313); 홈 오토메이션 서버(H100)와 통신을 담당하는 통신처리 소프트웨어(S314); 액세스 포인트(H700)와 무선 PDA를 연결하여 인터넷 통신을 가능하게 하는 무선 랜카드(H306)로 구성된다.
본 발명에서 구현하고자 하는 음성화자인증, 음성인식 기술을 이용한 전기제품 제어를 도 1에서 도시한 블록도와 도 2부터 도 5까지에서 도시한 흐름도를 참조하여 상세히 설명한다.
도 2는 전화기 시스템(H200)을 사용하여 음성화자인증 및 자연어 음성명령을 통한 음성 전기제품 제어를 수행하는 흐름도를 도시한 것이다.
사용자는 전화기 시스템(H200)에 연결된 유무선 전화기(H201, H202), 휴대폰(H600)을 이용하여 홈 오토메이션 서버(H100)가 설치된 가정이나 사무실에 전화를 건다. 홈 오토메이션 서버(H100)에 장착된 CTI보드(H101) 또는 모뎀(H102)은 가정이나 사무실로 걸려 온 전화를 주인을 대신하여 받는다. 전화 신호에 따라 CTI/모뎀 처리 소프트웨어(S113)는 "홍길동이네 집입니다. 어느 분과의 연결을 원하십니까? SMS 전송을 원하시면 SMS 전송이라고 말씀해 주십시오." 등의 음성 안내 메시지를 CTI보드(H101), 모뎀(H102)을 통하여 송신자 전화기(H201, H202, H600)로 출력한다. 이때, 직접 "전기 제품 제어 명령을 말씀해 주십시오."와 같은 음성 안내 메시지를 사용하지 않는 이유는 가정이나 사무실에 아무도 없음을 사용자에게 알리지 않아 불법적인 피해를 막기 위함이다.
이후, 사용자는 안내 메시지에 대한 응답으로 "홍길동님을 부탁합니다."라는 전화교환 음성 명령 대신에 "지금 안방 불 상태는?", "안방 불 꺼" 등과 같은 전기제품 제어 음성명령을 입력한다. 또한 "안방과 작은방, 애기방 불 꺼"등과 같이 여러 대상을 연속적으로 입력해도 된다. 각 제어 대상 전기제품이 동시에 작동된다.
또한, 음성화자인증에 사용되는 명령은 지정된 명령에 구애받지 않고 어떤 음성이라도 인식하는 단어 독립형 음성화자인증 방법을 사용한다. 웃음소리를 통해서도 음성화자인증을 수행할 수 있다.
입력된 음성명령을 음성인식 소프트웨어(S111)에게 전기제품 제어명령인지, 전화교환 명령인지, SMS 송신 명령인지에 대한 판단 및 문자명령 변환을 요청한다. 음성인식 소프트웨어(S111)는 음성명령을 음성명령 DB(D101)와 비교하여 전기제품 제어명령 유무 및 음성명령을 문자명령으로 변환한 결과를 CTI/모뎀 처리 소프트웨어(S113)에게 전달한다.
상기에서 입력되는 음성명령은 미리 예약 또는 지정된 명령어가 아닌 자연어로서 처리된다. 예로서, 사용자가 " 똘똘아, 안방에 불을 꺼주겠니?" 라고 음성명령을 입력하면 음성인식 소프트웨어(S111)는 상기 입력된 단어를 분석하여, 명령개시신호-"똘똘아", 장소-"안방", 제어대상물-"불", 동작상태-"꺼"에 해당하는 용어를 인식하고 이에 따른 전기제품의 제어 동작을 수행한다.
따라서, 음성인식 소프트웨어(S111)는 상기 각각의 필드에 대응되는 적절한 단어군 예로서, 안방 및 큰방 등을 하나의 장소 구분자로 인식하고, 불, 형광등 및 조명 등의 단어를 하나의 제어대상물로 인식하도록 구분한 단어군을 저장하고, 자연어 명령 문장내에 상기 단어의 유무를 비교·판단하여 제어 명령을 해석하는 것이다.
한편, CTI/모뎀 처리 소프트웨어(S113)는 음성인식 소프트웨어(S111)의 판단 결과가 전기제품 제어 명령인 경우 CTI/모뎀 처리 소프트웨어(S113)는 음성화자인증 소프트웨어(S112)에게 적법한 사용자인가에 대한 인증을 요청한다.
음성화자인증 소프트웨어(S112)는 요청된 음성명령의 특징점과 패턴을 분석하고, 음성화자인증DB(D102)에 입력되어 있는 적법한 사용자들의 음성 특징점과 패턴을 비교하여 적법한 사용자의 명령인지를 판단하여 CTI/모뎀 처리 소프트웨어(S113)에게 결과를 알려 준다.
CTI/모뎀 처리 소프트웨어(S113)는 음성화자인증 소프트웨어(S112)의 결과가 불법 사용자인 경우 "홍길동이네 집입니다. 어느 분과 연결을 원하십니까?"와 같은 음성 안내 메시지를 사용자에게 전달한다.
CTI/모뎀 처리 소프트웨어(S113)는 음성화자인증 소프트웨어(S112)의 결과가 적법 사용자인 경우 현재 가정이나 사무실에 아무도 없는 외출모드 또는 부재모드인가를 판단하여 외출모드나 부재모드가 아닌 경우에는 "죄송합니다. 지금은 전기제품을 제어할 수 없습니다."와 같은 음성 안내 메시지를 사용자에게 전달한다.
CTI/모뎀 처리 소프트웨어(S113)는 적법 사용자이고 외출모드 또는 부재모드인 경우 음성인식 소프트웨어(S111)가 변환하여 준 문자명령을 PLC 제어코드 변환 소프트웨어(S115)에게 전달한다.
PLC 제어코드 변환 소프트웨어(S115)는 전달받은 문자명령을 PLC 제어코드로 변환하여 PLC 제어 소프트웨어(S116)에게 전기제품 제어를 요청한다.
만약 음성화자인증용 음성명령이 전기제품 제어 명령이 아니고, 전화교환 명령도 아니고, SMS 전송명령도 아니고, 적법한 사용자라면 CTI/모뎀 처리 소프트웨어(S113)는 "지금은 외출모드입니다. 전기제품 제어 명령을 입력하여 주십시오." 등과 같은 음성 안내 메시지를 출력한다.
PLC 제어 소프트웨어(S116)는 제어코드를 PLC 컨트롤러(H400)에게 전달하고, PLC컨트롤러(H400)는 전기제품을 제어한 결과를 PLC 제어 소프트웨어(S116)에게 전달하고, PLC 제어 소프트웨어는 이를 CTI/모뎀 처리 소프트웨어(S113)에게 다시 전달한다.
CTI/모뎀 처리 소프트웨어(S113)는 처리 결과에 대하여 "지금 안방 불이 켜져 있습니다.", "안방불이 꺼졌습니다." 등과 같은 음성 안내 메시지를 CTI보드(H101), 모뎀(H102)을 통하여 사용자에게 전달한다.
CTI/모뎀 처리 소프트웨어(S113)는 전기제품 처리 결과 등을 홈 오토메이션 서버(H100)에 장착된 사운드카드(H107), 스피커(H108)에도 동시에 출력한다.
도 3은 무선 PDA(H300)를 사용하여 음성화자인증을 수행하는 흐름도를 도시한 것이다.
사용자는 무선 PDA(H300)를 사용하여 홈 오토메이션 제어 소프트웨어(H310)를 구동한다.
화면제어 소프트웨어(S312)는 구동되면서 음성으로 전기제품 제어 권한을 가진 적법한 사용자인가를 판단하기 위하여 "귀하의 권한을 확인하기 위한 음성을 입력하여 주십시오." 등과 같은 음성 안내 메시지를 음성입출력 소프트웨어(S311)와 스피커(H302)를 통하여 출력함과 동시에 화면제어 소프트웨어(S312)를 통하여 모니터(H303)에 출력한다.
사용자는 마이크(H301)를 통하여 "나 홍길동이다." 등과 음성화자인증용 음성 데이터를 입력한다. 음성화자인증에 사용되는 명령은 지정된 명령에 구애받지 않고 어떤 음성이라도 인식하는 단어 독립형 음성화자인증 방법을 사용한다. 웃음소리를 통해서도 음성화자인증을 수행할 수 있다.
음성입출력 소프트웨어(S311)는 입력된 화자인증용 음성데이터를 통신처리 소프트웨어(S314)를 통하여 홈 오토메이션 서버(H100)의 무선 PDA 처리 소프트웨어(S114)에게 전달한다.
무선 PDA 처리 소프트웨어(S114)는 입력된 음성데이터를 음성화자인증 소프트웨어(S112)에게 전달하여 적법한 사용자인지에 대한 판단을 요청한다.
음성화자인증 소프트웨어(S114)는 입력된 음성 데이터의 특징점과 패턴을 분석하고 음성화자인증DB(D102)에 입력되어 있는 적법한 사용자들의 음성 특징점과 패턴을 비교하여 적법한 사용자인지를 판단하여 무선 PDA 처리 소프트웨어(S114)에게 전달한다.
무선 PDA 처리 소프트웨어(S114)는 인증결과를 무선 PDA(H300)의 통신 처리 소프트웨어(S314)에게 전달하고, 통신처리 소프트웨어(S314)는 이를 다시 화면 제어 소프트웨어(S312)에 전달한다.
화면 제어 소프트웨어(S312)는 인증 결과가 맞는 경우 음성입출력 소프트웨어(S311)와 스피커(H302)를 통하여 "귀하는 전기제품을 제어할 수 있는 권한을 가지고 있습니다. 음성 제어 명령을 입력하여 주십시오." 등과 같은 음성 안내 메시지를 출력함과 동시에 모니터(H303)에도 동일한 문자 메시지를 출력하며, 사용자의 음성 명령이나 터치패널모니터(H303), 키보드(H304), 마우스(H305)로부터의 문자명령 입력을 대기한다.
화면 제어 소프트웨어(S312)는 인증 결과가 맞지 않는 경우 "귀하는 권한이 없습니다. 권한을 확인하기 위한 음성을 입력하여 주십시오." 등과 같은 음성 안내 메시지를 음성입출력 소프트웨어(S311)와 스피커(H302)를 통하여 출력함과 동시에 모니터(H303)에도 동일한 문자 메시지를 출력한다.
도 4는 음성화자인증이 완료된 사용자가 무선 PDA(H300)의 음성명령을 통하여 전기제품을 제어하는 흐름도를 도시한 것이다.
사용자는 마이크(H301)를 통하여 "안방 불 꺼" 등과 같은 음성명령을 입력한다.
음성입출력 소프트웨어(S311)는 입력된 음성명령을 통신처리 소프트웨어(S314)를 통하여 홈 오토메이션 서버의 무선 PDA 처리 소프트웨어(S114)에게 전달한다.
무선 PDA 처리 소프트웨어(S114)는 입력된 음성명령을 음성인식 소프트웨어(S111)에게 문자명령 변환을 요청한다.
음성인식 소프트웨어(S111)는 음성명령을 음성명령 DB와 비교하여 음성명령을 문자명령으로 변환한 결과를 무선 PDA 처리 소프트웨어(S114)에게 전달한다.
무선 PDA 처리 소프트웨어(S114)는 음성인식 소프트웨어(S111)가 변환하여 준 문자명령을 PLC 제어코드 변환 소프트웨어(S115)에게 전달한다.
PLC 제어코드 변환 소프트웨어(S115)는 전달받은 문자명령을 PLC 제어코드로 변환하여 PLC 제어 소프트웨어(S116)에게 전기제품 제어를 요청한다.
PLC 제어 소프트웨어(S116)는 제어코드를 PLC 컨트롤러(H400)에게 전달하고, PLC컨트롤러(H400)는 전기제품을 제어한 결과를 PLC 제어 소프트웨어(S116)에게 전달하고, PLC 제어 소프트웨어는 이를 무선 PDA 처리 소프트웨어(S114)에게 다시 전달한다.
무선 PDA 처리 소프트웨어(S114)는 처리 결과를 무선 PDA(H300)의 통신처리 소프트웨어(S314)에게 전달하고, 통신처리 소프트웨어(S314)는 이를 다시 화면제어 소프트웨어(S312)에게 전달한다.
화면제어 소프트웨어(S312)는 전기제품 처리 결과를 이용하여 "안방불이 켜졌습니다." 등과 같은 음성 안내 메시지를 음성입출력(S311)과 스피커(H302)를 통하여 출력함과 동시에 모니터(H303)에도 동일한 문자 메시지를 출력한다.
도 5는 음성화자인증이 완료된 사용자가 무선 PDA(H303)의터치패널모니터(H303), 키보드(H304), 마우스(H305) 입력을 통하여 문자명령 전기제품 제어를 수행하는 흐름도를 도시한 것이다.
사용자는 터치패널모니터(H303), 키보드(H304), 마우스(H305)를 사용하여 문자명령을 입력한다.
화면제어 소프트웨어(S312)는 입력된 문자명령을 PLC 제어 코드 변환 소프트웨어(S313)에게 전달한다.
PLC 제어 코드 변환 소프트웨어(S313)는 문자 명령을 PLC 제어코드를 변환한 뒤 통신처리 소프트웨어(S314)를 통하여 홈 오토메이션 서버(H100)의 무선 PDA 처리 소프트웨어(S114)에게 전달한다.
무선 PDA 처리 소프트웨어(S314)는 입력된 제어코드를 PLC 제어 소프트웨어(S116)에게 전달하여 전기제품 제어를 요청한다.
PLC 제어 소프트웨어(S116)는 제어코드를 PLC 컨트롤러(H400)에게 전달하고, PLC컨트롤러(H400)는 전기제품을 제어한 결과를 PLC 제어 소프트웨어(S116)에게 전달하고, PLC 제어 소프트웨어는 이를 무선 PDA 처리 소프트웨어(S114)에게 다시 전달한다.
무선 PDA 처리 소프트웨어(S114)는 처리 결과를 무선 PDA(H300)의 통신처리 소프트웨어(S314)에게 전달하고, 통신처리 소프트웨어(S314)는 이를 다시 화면제어 소프트웨어(S312)에게 전달한다.
화면제어 소프트웨어(S312)는 전기제품 처리 결과를 이용하여 "안방불이 켜졌습니다." 등과 같은 음성 안내 메시지를 음성입출력(S311)과 스피커(H302)를 통하여 출력함과 동시에 모니터(H303)에도 동일한 문자 메시지를 출력한다.
도 6부터 도 13까지는 이를 위한 제어 화면을 예시한 것이다.
도 6에서 도시한 바와 같이 무선 PDA를 사용하여 원격에서 음성명령 또는 문자명령으로 전기제품을 온/오프할 수 있으며, 현재 온/오프 상태를 확인할 수 있으며, 모든 전기제품의 온/오프 명령을 단 한번에 수행할 수 있다.
도 7에서 도 10까지 도시한 바와 같이 무선 PDA를 사용하여 원격에서 음성명령 또는 문자명령으로 PLC가 내장된 다기능 전기제품 및 리모콘 전기 제품에 대하여 다양한 명령(볼륨 조절, 채널 조절, 온도 조절 등)을 수행할 수 있으며, 상태를 파악할 수 있다.
도 11에서 도시한 바와 같이 무선 PDA를 사용하여 원격에서 음성명령 또는 문자명령으로 전기제품에 대한 알람을 설정할 수 있다. 알람기능을 수행하는 음성명령은 "XXXX년 XX월 XX일 XX시에 안방 불 켜", "XXXX년 XX월 XX일 XX시에 안방 불 꺼" 등의 날짜 지정 명령과 "매일 오후 1시에 작은방 불 켜", "매일 오후 5시에 작은방 불 꺼" 등의 매일 지정 명령, "오후 1시에 아기방 불 켜", "오후 5시에 아기방 불 커" 등의 1회 지정명령을 수행할 수 있으며, "지금부터 1시간 뒤에 보일러 켜", "XXXX년 ◎X월 XX일 XX시에 보일러 켜고, XXXX년 XX월 XX일 XX시에 보일러 꺼", "XXXX년 XX월 XX일 XX에 거실 불 켜고, 3시간 뒤에 불 꺼", "매일 오후 1시에 서재 불 켜고, 3시간 뒤에 불 꺼" 등과 같은 복합 명령을 수행할 수 있다.
도 12에서 도시한 바와 같이 전기제품을 음성명령/문자명령으로 연결시키기 위해 홈 오토메이션 서버의 모니터를 사용하지 않고 무선 PDA를 사용할 수 있다.
도 13에서 도시한 바와 같이 전기제품 무선 PDA를 사용하여 음성명령 또는 음성화자인증이 필요한 사용자의 음성을 녹음하여 홈 오토메이션(H100) 서버의 음성명령 DB(D101), 음성화자인증 DB(D102)에 저장할 수 있다.
도 14 및 15는 본 발명의 휴대폰 자동 SMS 송신과 휴대폰 동영상 전송을 이용한 보안을 도시한 블록도 및 흐름도이다.
시스템 동작에 필요한 소프트웨어 및 장비를 탑재한 홈 오토메이션 서버(H100); 불법침입을 감지하기 위한 감지기 시스템(H1700); 감지기 시스템(H1700)의 입력을 홈 오토메이션 서버(H100)로 전달하는 PLC 컨트롤러(H400); 실내를 동영상으로 입력받는 감시 카메라군(H1800); 홈 오토메이션 서버(H100)를 인터넷으로 연결시켜 주기 위한 허브(H800); 인터넷 연결 모뎀(H900); 휴대폰으로 SMS를 송신하고, 홈 오토메이션 서버(H100)에서 입력된 동영상을 저장한 뒤 휴대폰으로 송신하는 SMS/동영상 서버(H1900); SMS 및 동영상을 사용자에게 보여주는 단말 역할을 하는 수신 휴대폰(H1600)으로 구성된다.
홈 오토메이션 서버(H100)는 PLC 컨트롤러(H400)와의 통신을 가능하게 하는 직렬통신포트(H106); 감지기 시스템(H1700)의 입력을 받아 처리하는 감시 처리 소프트웨어(S122); 감시 카메라(H1800)의 동영상 입력을 받는 USB포트(H111) 또는 비디오캡처보드(H110); 감지기 시스템에서 이상 신호를 받아 SMS로 송신하고, 감시 카메라(H1800)를 통해 입력된 동영상을 SMS/동영상 서버로 전송하는 SMS/동영상 처리 소프트웨어(S121); 휴대폰을 이용한 SMS/동영상 보안에 관계하는 소프트웨어들을 저장하는 하드디스크(H103); 하드디스크(H103)에 저장된 소프트웨어를 탑재하는메모리(H104); 메모리에 탑재된 소프트웨어를 실행하는 중앙처리장치(H105); 홈 오토메이션 서버(H100)를 인터넷과 연결하여 주는 랜카드(H109)로 구성된다.
감지기 시스템(H1700)은 열선 감지기(H1701), 자석 감지기(H1702), 유리파손 감지기(H1703), 셔터 감지기(H1704), 적외선 감지기(H1705), 카드 리더(H1706) 및 금고 감지기(H1707) 등으로 구성된다.
감시 카메라(H1800)는 CCTV(H1801), DVR(H1802), PC카메라(H1803)등을 사용할 수 있다.
이와 같이 구성된 본 발명의 시스템은 가정이나 사무실에 아무도 없는 외출 모드 또는 부재모드일 때 동작한다.
외부의 불법 침입자가 감지 시스템(H1700)의 감지기들에게 포착되었을 때 감지기 시스템(H1700)의 감지기들은 PLC 컨트롤러(H400)를 통해서 홈 오토메이션 서버(H100)의 감시 처리 소프트웨어(S122)에게 침입자가 감지되었음을 알리는 신호를 보낸다.
감시 처리 소프트웨어(S122)는 외부의 불법 침입자 신호가 입력되었을 때 동 신호를 SMS/동영상 처리 소프트웨어(S121)에게 SMS 송신을 요청한다.
SMS/동영상 처리 소프트웨어(S121)는 동 신호를 "귀하의 가정에 외부 침입자가 감지되었습니다. 확인하시기를 원하시면 '확인'을 눌러 주시기 바랍니다." 등과 같은 SMS 문자 메시지로 변환하고, 감시 수신자 DB(D108)를 참조하여 감지 수신자 전원에게 SMS 발송할 것을 SMS 서버(H1900)에 전달한다.
이와 동시에 SMS/동영상 처리 소프트웨어(S121)는 감시 카메라(H1800)를 가동 시켜서 감시 카메라에서 들어오는 동영상을 파일로 저장하며, 저장된 파일을 SMS/동영상 서버(H1900)에게 전달을 시작한다.
SMS서버는 홈 오토메이션 서버(H100)에서 전달된 문자메시지를 문자메시지와 같이 전달된 감시 수신자들에게 전송하고, 홈 오토메이션 서버(H100)에서 입력되는 동영상을 이미지 DB(D1901)에 저장한다. 동영상 이미지를 홈 오토메이션 서버에만 저장하지 않고, SMS/동영상 서버(H1900)에 저장하는 이유는 불법 침입자가 홈 오토메이션 서버(H100)를 파손하였을 경우에도 파손 직전까지의 동영상을 감시 수신자들에게 보여 주고, 이후 증거자료로 사용하기 위함이다.
감시 수신자들이 SMS 문자 메시지를 수신하고, 휴대폰의 확인 버튼을 누르면 휴대폰은 SMS/동영상 서버(H1900)와 접속하여 홈 오토메이션 서버(H100)가 SMS/동영상 서버(H1900)에게 전달한 동영상 이미지들을 수신하여 감시 수신자에게 보여준다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 기재된 청구 범위 내에 있게 된다.
이상에서 설명한 바와 같이 본 발명에 따른 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의 제어방법에 의하면, 다음과 같은 효과가 있다.
1. 외부 전화기, 실내 유무선 전화기, 휴대폰, 무선 PDA를 사용하여 실내뿐만 아니라 실외에서도 장소에 구애받지 않고 실내의 전기제품을 제어할 수 있고, 전기제품의 상태를 확인할 수 있다.
2. 음성화자인증 기능을 사용함으로써 적법한 사용자들만 전기제품을 제어할 수 있고, 외출 모드 시에만 동작할 수 있게 하였다.
3. 무선 PDA를 사용하게 되면 PDA의 모니터를 통하여 원격에서 실내의 전기제품 상태를 한번에 확인할 수 있기 때문에 전화기 시스템에 의한 개별 음성데이터의 송수신으로 인한 명령 시간 및 상태 청취 시간을 줄일 수 있다.
4. 전기제품 제어 명령에 고정된 명령 단어만을 사용하지 않고 자연스러운 자연어 형식의 문장명령이 가능하며, 타인이 자동응답 음성 메시지를 들어도 사용자의 가정이나 사무실의 실내에 아무도 없음을 인지하지 못하도록 한다.
5. 여러 제어 대상 전기제품을 연속적인 자연어 음성으로 입력함으로써 한 단어를 여러 번 반복하여 명령을 수행하는 번거로움과 시간을 줄일 수 있다.
6. 무선 PDA를 사용하여 홈 오토메이션 모니터로 이동하지 않고 무선으로 원격에서 전기제품과 음성명령/문자명령을 연결시킬 수 있다.
7. 무선 PDA를 사용하여 동일 전기제품에 대하여 사용자 고유의 음성명령/문자명령으로 변형할 수 있다.
8. 외출 모드시 자동으로 외부 침입자를 감지하여 휴대폰 SMS로 알려 주고, 이를 동영상으로 확인할 수 있게 함으로써, 외부 침입자 발생시 대처 시간을 단축시킬 수 있고, 감지기 오동작이 발생하거나 적법 사용자가 외출모드를 해제하지 않고 귀가 또는 복귀하더라도 동영상으로 확인하여 불필요한 대응을 방지할 수 있는 효과가 있다.

Claims (3)

  1. 음성인식을 이용하여 각종 전기제품을 원격 제어하는 홈 오토메이션 시스템의 제어방법에 있어서,
    사용자로부터 입력된 자연어 음성명령을 분석하여 "명령개시신호", "장소"," 제어대상물", "동작상태"에 해당하는 일련의 구분 저장된 단어군의 유무에 따라 명령을 판단·인식하는 자연어 음성명령 입력 및 해석 단계;
    음성명령의 특징점과 패턴을 분석하고, DB에 입력되어 있는 적법한 사용자들의 음성 특징점과 패턴을 비교하여 적법한 사용자의 명령인지를 판단하는 음성화자 인증단계; 및
    적법 사용자이고 외출모드 또는 부재모드인 경우, 전달받은 문자명령을 PLC 제어코드로 변환하여 전기제품을 제어하는 전기제품 제어단계를 포함하는 것을 특징으로 하는 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의 제어방법.
  2. 제 1항에 있어서,
    상기 사용자는 무선 PDA를 통하여 음성명령 또는 문자명령을 입력하도록 하는 것을 특징으로 하는 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의 제어방법.
  3. 제 1항에 있어서,
    외출 모드시 실내의 화재 및 도난 등의 위급상황을 감지하여 휴대폰 SMS로 알려 주고, 이를 동영상으로 전송하여 확인할 수 있게 하는 보안감지 및 동영상 전송단계를 더 포함하는 것을 특징으로 하는 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의 제어방법.
KR1020030011235A 2003-02-22 2003-02-22 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의제어방법 KR20040075646A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030011235A KR20040075646A (ko) 2003-02-22 2003-02-22 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030011235A KR20040075646A (ko) 2003-02-22 2003-02-22 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의제어방법

Publications (1)

Publication Number Publication Date
KR20040075646A true KR20040075646A (ko) 2004-08-30

Family

ID=37361897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030011235A KR20040075646A (ko) 2003-02-22 2003-02-22 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의제어방법

Country Status (1)

Country Link
KR (1) KR20040075646A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048118A1 (en) * 2016-09-07 2018-03-15 Samsung Electronics Co., Ltd. Server and method for controlling external device
WO2019054681A1 (ko) * 2017-09-13 2019-03-21 (주)파워보이스 인공 지능 비서 서비스 제공 방법, 및 이에 사용되는 음성 인식 장비

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10173644A (ja) * 1996-12-11 1998-06-26 Nippon Telegr & Teleph Corp <Ntt> 本人認証方法
KR20010104252A (ko) * 2000-05-11 2001-11-24 이마이 기요스케 가정용 전기 기기를 조작하기 위한 음성 제어 시스템
KR20020088693A (ko) * 2001-05-19 2002-11-29 홍승철 음성인식 기능이 부가된 인터넷 ｔｖ용 셋톱박스
KR20030024383A (ko) * 2001-09-18 2003-03-26 (주)웹콜월드 음성인식과 브이오아이피 통합기술을 이용한 홈오토메이션시스템
KR20040044257A (ko) * 2002-11-20 2004-05-28 (주)지에스텔레텍 화자인식을 이용한 통신단말기용 보안방법 및 그 장치
KR20040066328A (ko) * 2003-01-17 2004-07-27 엘지전자 주식회사 휴대폰을 이용한 홈 네트워크 제어 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10173644A (ja) * 1996-12-11 1998-06-26 Nippon Telegr & Teleph Corp <Ntt> 本人認証方法
KR20010104252A (ko) * 2000-05-11 2001-11-24 이마이 기요스케 가정용 전기 기기를 조작하기 위한 음성 제어 시스템
KR20020088693A (ko) * 2001-05-19 2002-11-29 홍승철 음성인식 기능이 부가된 인터넷 ｔｖ용 셋톱박스
KR20030024383A (ko) * 2001-09-18 2003-03-26 (주)웹콜월드 음성인식과 브이오아이피 통합기술을 이용한 홈오토메이션시스템
KR20040044257A (ko) * 2002-11-20 2004-05-28 (주)지에스텔레텍 화자인식을 이용한 통신단말기용 보안방법 및 그 장치
KR20040066328A (ko) * 2003-01-17 2004-07-27 엘지전자 주식회사 휴대폰을 이용한 홈 네트워크 제어 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048118A1 (en) * 2016-09-07 2018-03-15 Samsung Electronics Co., Ltd. Server and method for controlling external device
US10650822B2 (en) 2016-09-07 2020-05-12 Samsung Electronics Co., Ltd. Server and method for controlling external device
US11482227B2 (en) 2016-09-07 2022-10-25 Samsung Electronics Co., Ltd. Server and method for controlling external device
WO2019054681A1 (ko) * 2017-09-13 2019-03-21 (주)파워보이스 인공 지능 비서 서비스 제공 방법, 및 이에 사용되는 음성 인식 장비

Similar Documents

Publication Publication Date Title
US7464035B2 (en) Voice control of home automation systems via telephone
US7030752B2 (en) Universal gateway module for interfacing a security system control to external peripheral devices
US8730029B2 (en) Tablet computer as user interface of security system
EP2506548B1 (en) Controller for a door entry system
US10171261B2 (en) Remote talk down to panel, camera and speaker
US11393306B2 (en) Intruder detection method and apparatus
KR20190016398A (ko) 로비폰과 ｐｃ를 사용한 경비실 인터폰 착신 지정이 가능한 인터폰 서비스 시스템 및 방법
KR100452031B1 (ko) 무선 데이터 통신을 위한 무선 홈 게이트웨이 시스템
KR20040075646A (ko) 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의제어방법
KR101736563B1 (ko) 출입 기기를 이용한 세대 상황 알림 장치
EP3160107B1 (en) Intercom system, server apparatus, and communication method
KR100813162B1 (ko) 공동 주택의 개별 세대 보안 시스템
WO2005088576A1 (en) Unmanned guard system using mobile phone
KR100582144B1 (ko) 근거리 무선 통신 망을 이용한 방범방재 시스템
EP2975584A1 (en) Alarm system
KR100824261B1 (ko) 일반전화기의 문자메시지를 이용한 전자제품 제어 및상태감시 시스템
KR20150107456A (ko) 상황등급을 이용한 관제 시스템 및 이들의 제어방법
EP4152288A1 (en) Smart doorbell system and method with chime listener
KR20060084546A (ko) 원격 음성인식 제어 시스템
KR20050100299A (ko) 이동 통신 단말기의 화상 정보를 이용한 방문자 인식 및알람 장치와 방법
NL1021198C2 (nl) Systeem voor toegangsbewaking op afstand en inrichting voor een dergelijk systeem.
JP2006515487A (ja) セキュリティ・システム制御部と外部周辺デバイスのインターフェースをとるユニバーサル・ゲートウェイ・モジュール
KR20230089288A (ko) 로비 현관문 자동 제어 시스템
KR19990081246A (ko) 음성 인식 기능을 내장한 가정 자동화 장치제어 방법
JP2007171699A (ja) 音声案内装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application