KR102242961B1 - Smart home network service control device and the control method - Google Patents

Smart home network service control device and the control method Download PDF

Info

Publication number
KR102242961B1
KR102242961B1 KR1020140158810A KR20140158810A KR102242961B1 KR 102242961 B1 KR102242961 B1 KR 102242961B1 KR 1020140158810 A KR1020140158810 A KR 1020140158810A KR 20140158810 A KR20140158810 A KR 20140158810A KR 102242961 B1 KR102242961 B1 KR 102242961B1
Authority
KR
South Korea
Prior art keywords
sound
home network
house
smart home
communication terminal
Prior art date
Application number
KR1020140158810A
Other languages
Korean (ko)
Other versions
KR20160057774A (en
Inventor
정인권
안사무엘
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020140158810A priority Critical patent/KR102242961B1/en
Priority to CN201510772508.8A priority patent/CN105608880B/en
Publication of KR20160057774A publication Critical patent/KR20160057774A/en
Application granted granted Critical
Publication of KR102242961B1 publication Critical patent/KR102242961B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/02—Non-electrical signal transmission systems, e.g. optical systems using infrasonic, sonic or ultrasonic waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the network communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

본 발명은 스마트 홈 네트워크 서비스 제어방법을 개시한 것으로, 이러한 본 발명은 스마트 홈 네트워크의 네트워크 에러가 발생된 시점에, 홈 포털 어플리케이션이 설치된 통신단말기에서 스마트 홈 네트워크 서비스를 요청시 네트워크 에러를 인지하고 그 인지된 네트워크 에러에 따라 음성인식 제어모드(예; 사운드 QR)의 자동 구동을 통해 스마트 홈 네트워크에 연결된 각종 댁내 장치를 원격 제어하는 것이며, 이에 따라 스마트 홈 네트워크 서비스가 네트워크 에러에 의해 정지되는 것을 방지할 수 있도록 하고, 스마트 홈 네트워크 서비스의 정지에 따른 사용자 불편을 개선하도록 한 것이다.The present invention discloses a method for controlling a smart home network service. The present invention recognizes a network error when a smart home network service is requested from a communication terminal in which a home portal application is installed at a time when a network error of the smart home network occurs. It is to remotely control various in-house devices connected to the smart home network through automatic operation of the voice recognition control mode (e.g., sound QR) according to the recognized network error, thereby preventing the smart home network service from being stopped due to a network error. This is to prevent and improve user discomfort caused by the suspension of smart home network services.

Description

스마트 홈 네트워크 서비스 제어 장치 및 그 제어방법{Smart home network service control device and the control method}Smart home network service control device and the control method

본 발명은 스마트 홈 네트워크 서비스의 제어기술에 관한 것으로, 보다 상세하게는 스마트 홈 네트워크 서비스를 받고 있는 상태에서 네트워크 에러가 발생시, 사운드 제어모드(예; 사운드 QR)를 통해 스마트 홈 네트워크에 연결된 각종 댁내 장치(예; 에어콘, TV, 전등, 도어록, 가스밸브, 스마트 콘센트, 기울기 감지기, 문열림 감지기, 움직임 감지기, 이동형 감지기 등)를 원격 제어할 수 있도록 하는 스마트 홈 네트워크 서비스 제어장치 및 그 제어방법에 관한 것이다.The present invention relates to a control technology for a smart home network service, and more particularly, when a network error occurs while receiving a smart home network service, various types of homes connected to the smart home network through a sound control mode (eg, sound QR). Smart home network service control devices and control methods that allow remote control of devices (e.g., air conditioners, TVs, lights, door locks, gas valves, smart outlets, tilt detectors, door open detectors, motion detectors, mobile detectors, etc.) About.

일반적으로, 스마트 홈 네트워크에는 댁내에 설치되는 각종 댁내 장치(예; 에어콘, TV, 전등, 도어록, 가스밸브, 스마트 콘센트, 기울기 감지기, 문열림 감지기, 움직임 감지기, 이동형 감지기 등)이 연결되고, 이러한 각종 댁내 장치는 네트워크로 연결된 댁내 단말기(IHD)를 통해 제어하거나, 또는 클라우드 기반의 홈 포털 어플리케이션을 설치한 단말기(예; 스마트폰, 스마트패드 등)를 통해 시간 및 공간 제약없이 원격 제어할 수 있도록 한 것이며, 그 원격 제어를 위해 댁내에는 게이트웨이가 설치되도록 하였다.In general, a smart home network is connected to various in-house devices (e.g., air conditioners, TVs, lights, door locks, gas valves, smart outlets, tilt detectors, door open detectors, motion detectors, mobile detectors, etc.) installed in the home. Various in-house devices can be remotely controlled without time and space constraints through a network-connected in-house terminal (IHD) or through a terminal (e.g., smartphone, smart pad, etc.) installed with a cloud-based home portal application. For the remote control, a gateway was installed in the premises.

그러나, 종래 스마트 홈 네트워크에서 네트워크 에러가 발생시, 스마트 홈 네트워크에 연결된 댁내의 각종 댁내 장치에 대한 제어는 불가능하게 되었다.However, when a network error occurs in a conventional smart home network, it is impossible to control various in-house devices connected to the smart home network.

이에 종래에는 공개특허공보 제 10-2009-0035152 호(공개일 2009.04.09)에서와 같이, 네트워크 오류 발생시 이의 인지를 통해 오류 유형을 해석하고, 이를 기반으로 오류를 처리하는 기술이 개시되었다.Accordingly, conventionally, as in Unexamined Patent Publication No. 10-2009-0035152 (published on April 9, 2009), when a network error occurs, a technology for interpreting an error type through recognition of the network error and processing the error based on the network error has been disclosed.

그러나, 상기와 같은 선행기술은 네트워크 오류 발생시 그 오류를 인식하여 오류를 해소하도록 하였지만, 오류가 해소되기까지 스마트 홈 네트워크 서비스는 정지될 수 밖에 없으며, 오류 처리에 상당한 시간이 소요되는 경우에는 댁내의 각종 댁내장치에 대한 제어는 불가능할 수 밖에 없는 것이다.However, in the prior art as described above, when a network error occurs, the error is recognized and the error is resolved. However, the smart home network service must be stopped until the error is resolved. Control of various in-house devices is inevitably impossible.

따라서, 본 발명은 상기와 같은 종래의 문제점을 개선하기 위한 것으로, 스마트 홈 네트워크의 네트워크 에러가 발생된 시점에, 홈 포털 어플리케이션이 설치된 통신단말기에서 스마트 홈 네트워크 서비스를 요청시 네트워크 에러를 인지하고 그 인지된 네트워크 에러에 따라 사운드 제어모드(예; 사운드 QR)의 자동 구동을 통해 스마트 홈 네트워크에 연결된 각종 댁내장치를 원격 제어하도록 구성함으로써, 스마트 홈 네트워크 서비스가 네트워크 에러에 의해 정지되는 것을 방지할 수 있도록 하고, 스마트 홈 네트워크 서비스의 정지에 따른 사용자 불편을 개선할 수 있도록 하는 스마트 홈 네트워크 서비스 제어장치 및 그 제어방법을 제공함에 그 목적이 있는 것이다.Accordingly, the present invention is to improve the conventional problems as described above, when a network error of a smart home network occurs, when a communication terminal in which a home portal application is installed requests a smart home network service, the network error is recognized and By configuring to remotely control various home devices connected to the smart home network through automatic operation of a sound control mode (e.g., sound QR) according to a recognized network error, it is possible to prevent the smart home network service from being stopped due to a network error. It is an object of the present invention to provide a smart home network service control apparatus and a method for controlling the same so that user inconvenience caused by the suspension of smart home network service can be improved.

상기 목적 달성을 위한 본 발명 스마트 홈 네트워크 서비스 제어장치는, 각종 댁내 장치가 로컬 네트워크(Local Network)로 댁내 단말기(IHD)와 연결되고, 상기 댁내 단말기와 공중의 네트워크(Public Network)로 통신단말기를 연결 구성하되, 상기 통신단말기에는 공중의 네트워크에 대한 연결성을 체크하는 네트워크 드라이버와, 상기 네트워크 드라이버의 체크결과에 따라 통신단말기와 댁내 단말기의 네트워크 연결이 이루어지지 않을 때 사운드 제어모드(Sound QR)로 동작하는 사운드모드 동작부 및, 상기 사운드모드 동작부를 제어하는 제어부를 포함하여 구성하고, 상기 댁내 단말기에는 상기 사운드모드 동작부가 사운드 제어모드로 동작하여 사용자의 음성 제어명령을 전송시 이를 수신하는 수신부와, 상기 수신부로부터 수신된 사용자의 음성 제어명령을 분석하는 음성인식엔진과, 상기 댁내 장치는 물론 상기 통신단말기와의 네트워크 연결이 이루어지지 않을 때 사운드 제어(Sound QR)의 서버모드로 동작하여 상기 통신단말기에 의한 스마트 홈 네트워크 서비스가 정지없이 계속 이루어지도록 상기 수신부와 음성인식엔진을 제어하는 홈 네트워크 컨트롤러를 포함하여 구성한 것이다.In the smart home network service control apparatus of the present invention for achieving the above object, various in-house devices are connected to an in-house terminal (IHD) through a local network, and the communication terminal is connected to the in-house terminal through a public network. Connection configuration, but the communication terminal has a network driver that checks the connectivity to the public network, and the sound control mode (Sound QR) when the network connection between the communication terminal and the in-house terminal is not established according to the check result of the network driver. A sound mode operation unit that operates and a control unit that controls the sound mode operation unit, wherein the sound mode operation unit operates in a sound control mode in the in-house terminal, and a receiving unit that receives it when transmitting a user's voice control command. , A voice recognition engine that analyzes the user's voice control command received from the receiver, and the communication by operating in a server mode of sound control (Sound QR) when a network connection with the in-house device as well as the communication terminal is not established. It is configured to include a home network controller that controls the receiver and the voice recognition engine so that the smart home network service by the terminal continues without stopping.

또한, 상기 제어부는 네트워크 드라이버를 통해 브로드캐스트하는 네트워크 상태를 모니터링하고, 통신단말기와 댁내 단말기의 네트워크 연결시 상기 사운드모드 동작부의 사운드 제어모드를 해제하는 제어프로그램을 탑재 구성한 것이다.In addition, the control unit is configured with a control program that monitors a network state broadcast through a network driver and releases the sound control mode of the sound mode operation unit when the communication terminal and the in-house terminal are connected to the network.

또한, 상기 홈 네트워크 컨트롤러는 최초 스마트 홈 네트워크 서비스의 시작 시점을 알리는 신호를 발생시킨 후 이를 통신단말기로 전송하되, 상기 통신단말기의 제어부는 최초 스마트 홈 네트워크 서비스의 시작 시점을 알리는 신호를 수신시, 사운드 제어(Sound QR)의 서버모드를 해제하는 제어프로그램을 탑재 구성한 것이다.In addition, the home network controller generates a signal indicating the start time of the first smart home network service and then transmits the signal to the communication terminal, and the control unit of the communication terminal receives the signal indicating the start time of the first smart home network service, It is equipped with a control program that cancels the server mode of Sound QR.

다른 일면에 따라, 상기 스마트 홈 네트워크 서비스 제어장치에 의해 구현되는 스마트 홈 네트워크 서비스 제어방법은, 통신단말기와 댁내 단말기에 대한 네트워크 연결상태를 체크하는 제 1 단계; 상기 제 1 단계의 체크결과 네트워크 에러에 의해 통신단말기와 댁내 단말기의 네트워크 연결이 이루어지지 않으면, 통신단말기는 사운드 제어모드(Sound QR)를 시작하고, 댁내 단말기는 사운드 제어(Sound QR)의 서버모드를 시작하는 제 2 단계; 상기 제 2 단계로부터 통신단말기와 댁내 단말기가 각각 사운드 제어모드와 사운드제어의 서버모드를 시작시, 통신단말기 또는 댁내 단말기는 할당받은 아이피 게이트웨이로 댁내 단말기 또는 통신단말기에 핑(Ping)을 요청하는 제 3 단계; 상기 제 3 단계로부터 핑 요청이 성공하지 못하면, 통신단말기 또는 댁내 단말기는 네트워크 이상으로 판단하고, 상기 제 2 단계의 사운드 제어모드에 따라 스마트 홈 네트워크에 연결되는 댁내 장치에 대한 사용자의 음성 제어명령을 사운드 QR로 매칭한 웨이브 파일(WAV file)을 댁내 단말기로 전송하는 제 4 단계; 및, 상기 제 4 단계로부터 통신단말기에서 전송하는 사운드 QR로 매칭한 웨이브 파일을 댁내 단말기가 수신한 후 음성인식모드로 동작하여 상기 웨이브 파일에 매칭되는 제어명령을 수행하면서 스마트 홈 네트워크의 해당 댁내 장치를 제어하는 제 5 단계; 를 포함하여 진행하는 것이다.According to another aspect, a smart home network service control method implemented by the smart home network service control device includes: a first step of checking a network connection state between a communication terminal and an in-house terminal; If the network connection between the communication terminal and the in-house terminal is not established due to a network error as a result of the check in the first step, the communication terminal starts the sound control mode (Sound QR), and the in-house terminal starts the sound control (Sound QR) server mode. A second step of starting; From the second step, when the communication terminal and the in-house terminal start the sound control mode and the server mode of sound control, respectively, the communication terminal or the in-house terminal requests a ping to the in-house terminal or the communication terminal through the assigned IP gateway. Step 3; If the ping request from the third step is not successful, the communication terminal or the in-house terminal determines that there is a network abnormality, and according to the sound control mode in the second step, the user's voice control command for the in-house device connected to the smart home network is issued. A fourth step of transmitting a wave file matched with sound QR to an in-house terminal; And, after the in-house terminal receives the wave file matched with the sound QR transmitted from the communication terminal from the fourth step, the in-house device operates in a voice recognition mode to perform a control command matched with the wave file while performing a control command matching the wave file. A fifth step of controlling; It is to proceed including.

또한, 상기 제 2 단계에는, 상기 제 1 단계의 체크결과 통신단말기와 댁내 단말기가 스마트 홈 네트워크 서비스를 위한 네트워크 연결시, 통신단말기에서 전송하는 댁내 장치의 제어명령을 댁내 단말기가 정상적으로 수신하였는지를 판단하는 단계; 및, 상기 단계의 판단결과 댁내 단말기가 제어명령을 정상적으로 수신시, 스마트 홈 네트워크 서비스를 진행하고, 댁내 단말기가 제어명령을 정상적으로 수신하지 않으면 통신단말기가 사운드 제어모드(Sound QR)를 시작하는 단계; 를 더 포함하여 진행하는 것이다.In addition, in the second step, when the communication terminal and the in-house terminal are connected to a network for a smart home network service as a result of the check in the first step, it is determined whether the in-house terminal has normally received a control command of the in-house device transmitted from the communication terminal. step; And, when the in-house terminal normally receives the control command as a result of the determination in the above step, the smart home network service is performed, and when the in-house terminal does not normally receive the control command, the communication terminal starts a sound control mode (Sound QR). It is to proceed including more.

또한, 상기 제 2 단계에는, 네트워크 에러 발생시 통신단말기 또는 댁내 단말기는 사운드 QR 프로세스가 활성화되어 있는지를 확인하는 단계; 상기 단계의 사운드 QR 프로세스가 활성화되어 있지 않으면, 통신단말기는 사운드 QR 프로세스를 활성화시킨 후 스마트 홈 네트워크 서비스를 위한 사용자의 음성 제어명령을 전송하는 리스너 프로세스(Listener Process)를 시작하는 단계; 및,In addition, in the second step, when a network error occurs, the communication terminal or the in-house terminal checks whether the sound QR process is activated; If the sound QR process in the above step is not activated, the communication terminal activates the sound QR process and then starts a listener process for transmitting a user's voice control command for a smart home network service; And,

상기 단계의 사운드 QR 프로세스가 활성화되어 있지 않으면, 댁내 단말기는 사운드 QR 프로세스를 활성화시킨 후 스마트 홈 네트워크 서비스를 위한 사용자의 음성 제어명령을 수신할 수 있는 파싱(Parsing)과 리스너(Listener)를 등록하는 단계; 를 더 포함하여 진행하는 것이다.If the sound QR process in the above step is not activated, the in-house terminal activates the sound QR process and registers a parsing and a listener capable of receiving a user's voice control command for a smart home network service. step; It is to proceed including more.

또한, 상기 제 4 단계에는, 상기 제 3 단계로부터 핑 요청이 성공시, 공중의 네트워크 에러 또는 로컬 네트워크 에러인지를 확인하는 단계; 및, 상기 단계로부터 확인된 에러가 공중의 네트워크 에러이고 로컬 네트워크는 정상이면 댁내 단말기가 스마트 홈 네트워크의 댁내 장치를 리부팅(Rebooting)시키는 단계; 를 더 포함하여 진행하는 것이다.Further, in the fourth step, when the ping request from the third step is successful, checking whether a public network error or a local network error is made; And, if the error identified from the step is a public network error and the local network is normal, the in-house terminal rebooting the in-house device of the smart home network. It is to proceed including more.

또한, 상기 제 5 단계에는, 댁내 단말기가 웨이브 파일을 수신시 음성인식엔진을 가동하여 수신된 웨이브 파일이 비가청 주파수로 수신되는지를 감지하는 단계; 상기 단계로부터 수신되는 웨이브 파일이 비가청 주파수이면 그 웨이브 파일이 비상상황 음성 또는 댁내 장치에 대한 음성 제어명령인지를 분석하는 단계; 상기 단계의 분석결과 비상상황 음성이면 비상관제센터에 비상상황을 전달하는 스마트 홈 네트워크 서비스를 진행하고, 댁내 장치에 대한 음성 제어명령이면 스마트 홈 네트워크의 해당 댁내 장치를 제어하는 단계; 를 더 포함하여 진행하는 것이다.Further, the fifth step includes the steps of detecting whether the received wave file is received at an inaudible frequency by operating a voice recognition engine when the in-house terminal receives the wave file; If the wave file received from the step is an inaudible frequency, analyzing whether the wave file is an emergency voice or a voice control command for an in-house device; A step of performing a smart home network service that transmits the emergency situation to the emergency control center if the analysis result of the above step is an emergency voice, and controlling a corresponding in-house device of the smart home network if the voice control command is a voice control command for the in-house device; It is to proceed including more.

또한, 상기 제 5 단계에는, 상기 비상관제센터로의 비상상황 전달 또는 댁내 장치에 대한 제어 서비스가 이루어지지 않으면, 댁내 단말기가 비상상황 전달 또는 댁내 장치에 대한 제어 서비스를 재시도(re-Try)하는 단계; 를 더 포함하여 진행하는 것이다.In addition, in the fifth step, if the emergency situation is not transmitted to the emergency control center or the control service for the in-house device is not performed, the in-house terminal re-try the emergency situation delivery or the control service for the in-house device. The step of doing; It is to proceed including more.

또한, 상기 통신단말기는 네트워크 드라이버에서 브로드캐스트하는 네트워크 연결 상태를 모니터링하여 연결 메세지를 수신시, 상기 제 2 단계로부터 시작되는 사운드 제어모드를 해제하는 제 6 단계; 를 더 포함하여 진행하는 것이다.In addition, the communication terminal monitors the network connection state broadcast by the network driver, and when receiving a connection message, a sixth step of releasing the sound control mode starting from the second step; It is to proceed including more.

또한, 상기 댁내 단말기는 최초 스마트 홈 네트워크 서비스의 시작 시점을 알리는 신호를 발생시킨 후 이를 통신단말기로 전송하고, 상기 통신단말기에서 상기 서비스의 시작 시점을 알리는 신호를 수신시, 상기 제 2 단계로부터 시작되는 사운드 제어(Sound QR)의 서버모드를 해제하는 제 7 단계; 를 더 포함하여 진행하는 것이다.In addition, the in-house terminal generates a signal indicating the start time of the first smart home network service, and then transmits the signal to the communication terminal, and when the communication terminal receives the signal indicating the start time of the service, it starts from the second step. A seventh step of releasing the server mode of sound control (Sound QR); It is to proceed including more.

이와 같이, 본 발명은 스마트 홈 네트워크의 네트워크 에러가 발생된 시점에, 홈 포털 어플리케이션이 설치된 통신단말기에서 스마트 홈 네트워크 서비스를 요청시 네트워크 에러를 인지하고 그 인지된 네트워크 에러에 따라 음성인식 제어모드(예; 사운드 QR)의 자동 구동을 통해 스마트 홈 네트워크에 연결된 각종 댁내 장치를 원격 제어하는 것으로, 이를 통해 스마트 홈 네트워크 서비스가 네트워크 에러에 의해 정지되는 것을 방지할 수 있도록 하고, 스마트 홈 네트워크 서비스의 정지에 따른 사용자 불편을 개선하는 효과를 기대할 수 있는 것이다.As described above, the present invention recognizes a network error when requesting a smart home network service from a communication terminal on which a home portal application is installed at a time when a network error of the smart home network occurs, and according to the recognized network error, the voice recognition control mode ( Ex.; Sound QR) remote control of various in-house devices connected to the smart home network through automatic operation, thereby preventing the smart home network service from being stopped due to network errors, and stopping the smart home network service. The effect of improving user discomfort can be expected.

도 1은 본 발명의 실시예로 네트워크 에러시의 스마트 홈 네트워크 서비스 제어 장치에 대한 개략적인 블럭 구성도.
도 2는 본 발명의 실시예로 네트워크 에러시의 스마트 홈 네트워크 서비스 제어 방법을 보인 전체 흐름도.
도 3은 본 발명의 실시예로 통신단말기에서의 사운드 제어모드에 대한 동작 흐름도.
도 4는 본 발명의 실시예로 댁내 단말기에서의 사운드 제어모드에 대한 동작 흐름도.
도 5는 본 발명의 실시예로 댁내 단말기의 음성인식 엔진에 대한 동작 흐름도.1 is a schematic block diagram of an apparatus for controlling a smart home network service in case of a network error according to an embodiment of the present invention.
2 is an overall flowchart showing a method of controlling a smart home network service in case of a network error according to an embodiment of the present invention.
3 is an operation flowchart of a sound control mode in a communication terminal according to an embodiment of the present invention.
4 is a flowchart illustrating an operation of a sound control mode in an in-house terminal according to an embodiment of the present invention.
5 is a flowchart illustrating an operation of a voice recognition engine of an in-house terminal according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하기로 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예로 네트워크 에러시의 스마트 홈 네트워크 서비스 제어 장치에 대한 개략적인 블럭 구성도를 도시한 것이다.1 is a schematic block diagram of an apparatus for controlling a smart home network service in case of a network error according to an embodiment of the present invention.

첨부된 도 1을 참조하면, 본 발명의 실시예에 따른 네트워크 에러시의 스마트 홈 네트워크 서비스 제어장치는, 댁내 장치(D1,D2,…,Dn)와 로컬 네트워크(Local Network)로 댁내 단말기(IHD)(200)를 연결하고, 상기 댁내 단말기(200)와 공중의 네트워크(Public Network)로 통신단말기(100)를 연결 구성하는 것에 있어서, 상기 통신단말기(100)에는 네트워크 드라이버(Wi-Fi/Network Driver)(11), 사운드모드 동작부(Sound QR Client)(12), 그리고 제어부(Devices Control Sender/Listener)(13)를 구성하여둔 것이다.1, a smart home network service control apparatus in case of a network error according to an embodiment of the present invention includes in-house devices (D1, D2, ..., Dn) and a local network. ) 200, and in configuring the communication terminal 100 to be connected to the in-house terminal 200 and a public network, the communication terminal 100 includes a network driver (Wi-Fi/Network Driver) (11), a sound mode operation unit (Sound QR Client) 12, and a control unit (Devices Control Sender/Listener) 13 is configured.

상기 네트워크 드라이버(11)는 공중의 네트워크에 대한 연결성을 체크한 후 이를 상기 제어부(13)에 제공하도록 구성하여둔 것이다.The network driver 11 is configured to provide it to the control unit 13 after checking the connectivity to the public network.

상기 사운드모드 동작부(12)는 상기 네트워크 드라이버(11)의 체크결과에 따라 통신단말기(100)와 댁내 단말기(200)의 네트워크 연결이 이루어지지 않을 때, 통신단말기(100)를 통해 스마트 홈 네트워크 서비스가 정지없이 지속적으로 이루어질 수 있도록 하는 사운드 제어모드(Sound QR)로 동작하도록 구성하여둔 것이다.When the network connection between the communication terminal 100 and the in-house terminal 200 is not established according to the check result of the network driver 11, the sound mode operation unit 12 provides a smart home network through the communication terminal 100. It is configured to operate in a sound control mode (Sound QR) that enables the service to be continuously performed without stopping.

상기 제어부(13)는 상기 네트워크 드라이버(11)의 체크결과로부터 통신단말기(100)와 댁내 단말기(200)의 네트워크 연결이 이루어지지 않을 때 상기 사운드모드 동작부(12)를 제어하도록 구성하여둔 것이다.The control unit 13 is configured to control the sound mode operation unit 12 when a network connection between the communication terminal 100 and the in-house terminal 200 is not established from the check result of the network driver 11. .

이때, 상기 제어부(13)는 상기 네트워크 드라이버(11)를 통해 브로드캐스트하는 네트워크 상태를 모니터링하고, 그 모니터링 결과에 따라 통신단말기(100)와 댁내 단말기(200)의 네트워크 연결이 이루어지면 상기 사운드모드 동작부(12)의 사운드 제어모드를 해제하는 제어프로그램을 탑재 구성하여둔 것이지만, 상기 제어프로그램은 스마트 홈 네트워크 서비스 제어방법을 구현하기 위해 저장매체에 저장되는 컴퓨터 프로그램일 수도 있는 것이다.At this time, the control unit 13 monitors the network status broadcast through the network driver 11, and when a network connection between the communication terminal 100 and the in-house terminal 200 is established according to the monitoring result, the sound mode Although a control program for canceling the sound control mode of the operation unit 12 is mounted and configured, the control program may be a computer program stored in a storage medium to implement a method for controlling a smart home network service.

상기 댁내 단말기(200)에는 수신부(Sound QR Server Process)(21)와, 음성인식 엔진(QR Sound Parser)(22), 그리고 홈 네트워크 컨트롤러(23)를 구성하여둔 것이다.The in-house terminal 200 includes a sound QR Server Process (21), a voice recognition engine (QR Sound Parser) 22, and a home network controller 23.

상기 수신부(21)는 상기 사운드모드 동작부(12)가 사운드 제어모드로 동작하여 사용자의 음성 제어명령을 전송시 이를 수신하도록 구성하여둔 것이다.The receiving unit 21 is configured to receive the sound mode operation unit 12 when it operates in a sound control mode and transmits a user's voice control command.

상기 음성인식엔진(22)은 상기 수신부(21)로부터 수신된 사용자의 음성 제어명령을 분석하도록 구성하여둔 것이다.The voice recognition engine 22 is configured to analyze the user's voice control command received from the receiver 21.

상기 홈 네트워크 컨트롤러(23)는 상기 댁내 장치(D1,D2,…,Dn)는 물론 상기 수신부(21)와 음성인식엔진(22)을 제어하도록 구성하여둔 것이다.The home network controller 23 is configured to control the reception unit 21 and the voice recognition engine 22 as well as the in-house devices D1, D2, ..., Dn.

이때, 상기 홈 네트워크 컨트롤러(23)는 최초 스마트 홈 네트워크 서비스의 시작 시점을 알리는 신호(Coldstart)를 발생시킨 후 이를 통신단말기(100)로 전송하되, 상기 통신단말기(200)의 제어부(13)는 최초 스마트 홈 네트워크 서비스의 시작 시점을 알리는 신호(Coldstart)을 수신하게 되면, 사운드 제어(Sound QR)의 서버모드(Server Mode)를 해제하는 제어프로그램을 탑재 구성하여둔 것이지만, 상기 제어프로그램은 스마트 홈 네트워크 서비스 제어방법을 구현하기 위해 저장매체에 저장되는 컴퓨터 프로그램일 수도 있는 것이다.At this time, the home network controller 23 generates a signal (Coldstart) indicating the start point of the first smart home network service and then transmits the signal to the communication terminal 100, but the control unit 13 of the communication terminal 200 When receiving a signal (Coldstart) indicating the start point of the smart home network service for the first time, a control program for releasing the server mode of the sound control (Sound QR) is mounted and configured, but the control program is a smart home network. It may be a computer program stored in a storage medium to implement the network service control method.

이와 같이, 본 발명의 실시예에 따른 네트워크 에러시의 스마트 홈 네트워크 서비스 제어는 네트워크 에러 상태에서도 통신단말기(100)에 탑재된 어플리케이션을 통해 스마트 홈 네트워크 서비스를 제어할 수 있도록 한 것으로, 그 제어는 제 1 내지 제 7 단계를 포함하여 진행하는 것이다.As described above, the smart home network service control in case of a network error according to an embodiment of the present invention allows the smart home network service to be controlled through an application mounted on the communication terminal 100 even in a network error state. It proceeds including the first to seventh steps.

상기 제 1 단계는, 통신단말기(100)와 댁내 단말기(200)에 대한 네트워크 연결상태를 체크하도록 한 것이다.The first step is to check the network connection status between the communication terminal 100 and the in-house terminal 200.

즉, 상기 통신단말기(100)에 구성되는 네트워크 드라이버(11), 그리고 상기 댁내 단말기(200)내의 홈 네트워크 컨트롤러(23)는 각각 네트워크 연결상태를 체크하게 되는 것이다.That is, the network driver 11 configured in the communication terminal 100 and the home network controller 23 in the in-house terminal 200 check the network connection status, respectively.

다음의 제 2 단계로서, 상기와 같은 체크결과로부터 네트워크 에러에 의해 통신단말기(100)와 댁내 단말기(200)의 네트워크 연결이 이루어지지 않을 때, 상기 통신단말기(100)의 제어부(13)는 사운드모드 동작부(12)를 제어하여 사운드 제어모드(Sound QR)를 시작하고, 상기 댁내 단말기(200)는 사운드 제어(Sound QR)의 서버모드(Server Mode)를 시작하도록 한 것이다.As a next second step, when the network connection between the communication terminal 100 and the in-house terminal 200 is not established due to a network error from the above check result, the control unit 13 of the communication terminal 100 The mode operation unit 12 is controlled to start the sound control mode (Sound QR), and the in-house terminal 200 starts the server mode of sound control (Sound QR).

즉, 상기 통신단말기(100)와 댁내 단말기(200)가 네트워크 에러로 서로 네트워크 연결이 이루어지지 않을 때, 통신단말기(100) 또는 댁내 단말기(200)는 사운드 QR 프로세스가 활성화되어 있는지를 우선 확인하게 된다.That is, when the communication terminal 100 and the in-house terminal 200 are not connected to each other due to a network error, the communication terminal 100 or the in-house terminal 200 first checks whether the sound QR process is activated. do.

다음으로, 통신단말기(100)의 제어부(13)는 상기 사운드 QR 프로세스가 활성화되어 있지 않으면, 사운드 QR 프로세스를 활성화시킨 후 스마트 홈 네트워크 서비스를 위한 사용자의 음성 제어명령을 전송하는 리스너 프로세스(Listener Process)를 시작하게 된다.Next, if the sound QR process is not activated, the control unit 13 of the communication terminal 100 activates the sound QR process and then transmits the user's voice control command for the smart home network service. ).

또한, 댁내 단말기(200)의 홈 네트워크 컨트롤러(23)는 상기 사운드 QR 프로세스가 활성화되어 있지 않으면, 사운드 QR 프로세스를 활성화시킨 후 스마트 홈 네트워크 서비스를 위한 사용자의 음성 제어명령을 수신할 수 있는 파싱(Parsing)과 리스너(Listener)를 등록하게 되는 것이다.In addition, if the sound QR process is not activated, the home network controller 23 of the in-house terminal 200 activates the sound QR process and then parses ( Parsing) and listener are registered.

여기서, 통신단말기(100)와 댁내 단말기(200)가 스마트 홈 네트워크 서비스를 위한 네트워크로 연결되어 있는 경우, 상기 통신단말기(100)에서 전송하는 댁내 장치(D1,D2,…,Dn)의 제어명령을 댁내 단말기(200)가 정상적으로 수신하였는지를 판단하게 되는데, 그 판단결과 댁내 단말기(200)가 제어명령을 정상적으로 수신시, 상기 댁내 단말기(200)의 홈 네트워크 컨트롤러(23)는 스마트 홈 네트워크 서비스를 진행하게 되지만, 댁내 단말기(20)가 제어명령을 정상적으로 수신하지 않을 경우, 상기 통신단말기(100)의 제어부(13)는 사운드모드 동작부(12)를 제어하여 사운드 제어모드(Sound QR)를 시작하도록 하였다.Here, when the communication terminal 100 and the in-house terminal 200 are connected to a network for a smart home network service, a control command of the in-house devices (D1, D2, ..., Dn) transmitted from the communication terminal 100 It is determined whether or not the in-house terminal 200 has normally received. As a result of the determination, when the in-house terminal 200 normally receives a control command, the home network controller 23 of the in-house terminal 200 proceeds with a smart home network service. However, when the in-house terminal 20 does not normally receive the control command, the control unit 13 of the communication terminal 100 controls the sound mode operation unit 12 to start the sound control mode (Sound QR). I did.

다음의 제 3 단계로서, 상기 통신단말기(100)와 댁내 단말기(200)가 각각 사운드 제어모드와 사운드제어의 서버모드를 시작하게 되면, 상기 통신단말기(100)의 제어부(13)는 할당받은 아이피 게이트웨이(IP Gateway)로 댁내 단말기(200)에 핑(Ping)을 요청하고, 상기 댁내 단말기(200)의 홈 네트워크 컨트롤러(23)는 할당받은 아이피 게이트웨이(IP Gateway)로 통신단말기(100)에 핑(Ping)을 요청하게 되는 것이다.As a next third step, when the communication terminal 100 and the in-house terminal 200 start the sound control mode and the server mode of sound control, respectively, the controller 13 of the communication terminal 100 is assigned an IP address. A ping request is made to the in-house terminal 200 through a gateway, and the home network controller 23 of the in-house terminal 200 pings the communication terminal 100 through an assigned IP gateway. You will be asked for (Ping).

다음의 제 4 단계로서, 상기 통신단말기(100) 또는 상기 댁내 단말기(200)의 핑 요청이 성공하지 못할 경우, 상기 통신단말기(100)의 제어부(13) 또는 상기 댁내 단말기(200)의 홈 네트워크 컨트롤러(23)는 네트워크 이상으로 판단하면서, 상기 통신단말기(100)의 사운드모드 동작부(12)에서는 시작된 사운드 제어모드에 따라 스마트 홈 네트워크에 연결되는 댁내 장치(D1,D2,…,Dn)에 대한 사용자의 음성 제어명령을 사운드 QR로 매칭한 웨이브 파일(WAV file)을 댁내 단말기(200)의 수신부(21)에 전송처리하게 되는 것이다.As a next fourth step, when the ping request of the communication terminal 100 or the in-house terminal 200 is not successful, the controller 13 of the communication terminal 100 or the home network of the in-house terminal 200 The controller 23 determines that there is a network abnormality, and the sound mode operation unit 12 of the communication terminal 100 sends the in-house devices D1, D2, ..., Dn connected to the smart home network according to the started sound control mode. A wave file in which a user's voice control command is matched with sound QR is transmitted to the receiving unit 21 of the in-house terminal 200.

여기서, 상기 통신단말기(100) 또는 상기 댁내 단말기(200)의 핑 요청이 성공한 경우, 상기 통신단말기(100)의 제어부(13) 또는 댁내 단말기(200)의 홈 네트워크 컨트롤러(23)는 공중의 네트워크 에러 또는 로컬 네트워크 에러인지를 확인하게 되고, 그 에러가 공중의 네트워크 에러이고 로컬 네트워크는 정상이라고 확인되는 경우, 상기 댁내 단말기(200)의 홈 네트워크 컨트롤러(23)는 스마트 홈 네트워크의 댁내 장치(D1,D2,…,Dn)를 리부팅(Rebooting)시키도록 하였다.Here, when the ping request of the communication terminal 100 or the in-house terminal 200 is successful, the controller 13 of the communication terminal 100 or the home network controller 23 of the in-house terminal 200 is a public network It is checked whether it is an error or a local network error, and when it is determined that the error is a public network error and that the local network is normal, the home network controller 23 of the home terminal 200 is the home device D1 of the smart home network. ,D2,...,Dn) was to be rebooted.

다음의 제 5 단계로서, 상기 통신단말기(100)에서 전송하는 사운드 QR로 매칭한 웨이브 파일을 댁내 단말기(200)의 수신부(21)가 수신한 후 이를 음성인식엔진(22)에 전달하게 되면, 상기 음성인식엔진(22)은 음성인식모드로 동작하면서 상기 웨이브 파일에 매칭되는 제어명령을 홈 네트워크 컨트롤러(23)에 전달하고, 이에따라 상기 홈 네트워크 컨트롤러(23)가 스마트 홈 네트워크의 해당 댁내 장치(D1,D2,…,Dn)를 제어하는 동작을 수행하게 되는 것이다.As a next fifth step, when the wave file matched with the sound QR transmitted from the communication terminal 100 is received by the receiving unit 21 of the in-house terminal 200 and transmitted to the voice recognition engine 22, The voice recognition engine 22 transmits a control command matching the wave file to the home network controller 23 while operating in the voice recognition mode, and accordingly, the home network controller 23 transmits a corresponding in-house device of the smart home network ( D1, D2,..., Dn) is to be controlled.

즉, 상기 댁내 단말기(200)의 수신부(21)가 웨이브 파일을 수신시 음성인식엔진(22)이 가동되는데, 이때 상기 음성인식엔진(22)은 수신된 웨이브 파일이 비가청 주파수로 수신되는지를 감지하고 그 감지결과 웨이브 파일이 비가청 주파수인 경우, 상기 웨이브 파일이 비상상황 음성(예; 비상 알람, SOS, 긴급 음성멘트 등) 또는 댁내 장치(D1,D2,…,Dn)에 대한 음성 제어명령의 사운드 QR을 파싱(Parsing)하여 그 음성 제어명령을 분석한 후 그 결과를 홈 네트워크 컨트롤러(23)에 전달하게 된다.That is, when the reception unit 21 of the in-house terminal 200 receives a wave file, the voice recognition engine 22 is operated, and at this time, the voice recognition engine 22 determines whether the received wave file is received at an inaudible frequency. When the wave file is detected and the result of the detection is an inaudible frequency, the wave file is used for emergency voice (eg, emergency alarm, SOS, emergency voice message, etc.) or voice control for in-house devices (D1, D2, ..., Dn). After parsing the sound QR of the command and analyzing the voice control command, the result is transmitted to the home network controller 23.

그러면, 상기 홈 네트워크 컨트롤러(23)는 비상상황 음성으로 분석되면 비상관제센터에 비상상황을 전달하는 스마트 홈 네트워크 서비스를 진행하고, 댁내 장치(D1,D2,…,Dn)에 대한 음성 제어명령이면 스마트 홈 네트워크의 해당 댁내 장치(D1,D2,…,Dn)를 제어하게 되는 것이다.Then, the home network controller 23 proceeds with a smart home network service that transmits the emergency situation to the emergency control center when it is analyzed as an emergency voice, and if it is a voice control command for the in-house devices (D1, D2, ..., Dn) This is to control the corresponding in-house devices (D1, D2, ..., Dn) of the smart home network.

일예로, 수신부(11)에 의해 수신된 제어명령이 "가스밸브를 잠금" 이라는 음성 제어명령이고, 이를 음성인식엔진(22)에서 분석하여 홈 네트워크 컨트롤러(23)에 전달하는 경우, 상기 홈 네트워크 컨트롤러(23)는 댁내 장치인 가스밸브를 잠그는 스마트 홈 네트워크 서비스를 수행하게 되는 것이다.As an example, when the control command received by the receiving unit 11 is a voice control command “locking the gas valve”, which is analyzed by the voice recognition engine 22 and transmitted to the home network controller 23, the home network The controller 23 performs a smart home network service that locks a gas valve that is an in-house device.

또한, 수신부(11)에 의해 수신된 제어명령이 "사람살려" 라는 비상상황의 음성이고, 이를 음성인식엔진(22)에서 분석하여 홈 네트워크 컨트롤러(23)에 전달하는 경우, 상기 홈 네트워크 컨트롤러(23)는 등록된 비상관제센터로 비상신고를 수행하는 스마트 홈 네트워크 서비스를 진행하게 되는 것이다.In addition, when the control command received by the receiving unit 11 is the voice of an emergency situation of “saving people”, and the voice recognition engine 22 analyzes it and transmits it to the home network controller 23, the home network controller ( 23) is a smart home network service that performs emergency reporting to the registered emergency control center.

한편, 상기 비상관제센터로의 비상상황 전달 또는 댁내 장치(D1,D2,…,Dn)에 대한 제어 서비스가 이루어지지 않을 경우, 댁내 단말기(200)의 홈 네트워크 컨트롤러(23)는 비상상황 전달 또는 댁내 장치(D1,D2,…,Dn)에 대한 제어 서비스를 재시도(re-Try)를 반복하도록 하였다.On the other hand, when emergency transmission to the emergency control center or control service for the in-house devices (D1, D2, ..., Dn) is not performed, the home network controller 23 of the in-house terminal 200 transmits the emergency situation or The control service for the in-house devices (D1, D2,..., Dn) was repeatedly retried.

다음의 제 6 단계로서, 상기 통신단말기(100)의 제어부(13)는 네트워크 드라이버(11)에서 브로드캐스트하는 네트워크 연결 상태를 모니터링하고 있으므로, 상기 네트워크의 연결로부터 메세지 수신이 이루어지는 경우, 상기 사운드모드 동작부(12)의 사운드 제어모드를 해제하면서 스마트 홈 네트워크 서비스를 정상적인 상태로 제어할 수 있게 되는 것이다.As a next sixth step, since the control unit 13 of the communication terminal 100 is monitoring the network connection status broadcast by the network driver 11, when a message is received from the network connection, the sound mode It is possible to control the smart home network service in a normal state while releasing the sound control mode of the operation unit 12.

다음의 제 7 단계로서, 상기와 같이 통신단말기(100)의 사운드모드 동작부(12)에 대한 사운드 제어모드가 해제될 때, 상기 댁내 단말기(200)의 홈 네트워크 컨트롤러(23)는 최초 스마트 홈 네트워크 서비스의 시작 시점을 알리는 신호(Coldstart)를 발생시킨 후 이를 상기 통신단말기(100)의 제어부(13)에 전송하고, 이에 상기 제어부(13)에서 서비스의 시작 시점을 알리는 신호를 수신하게 되는 경우, 상기 홈 네트워크 컨트롤러(23)는 사운드제어의 서버모드를 해제하면서, 상기 통신단말기(100)와 댁내 단말기(200)는 정상적인 네트워크 연결로 스마트 홈 네트워크 서비스를 진행할 수 있게 되는 것이다.As a next seventh step, when the sound control mode for the sound mode operation unit 12 of the communication terminal 100 is released as described above, the home network controller 23 of the in-house terminal 200 is the first smart home. When a signal (Coldstart) informing the start time of the network service is generated and then transmitted to the control unit 13 of the communication terminal 100, and the control unit 13 receives a signal indicating the start time of the service. , While the home network controller 23 releases the server mode of sound control, the communication terminal 100 and the in-house terminal 200 can perform a smart home network service through a normal network connection.

여기서, 상기 제 1 내지 제 7 단계로 이루어지는 스마트 홈 네트워크 서비스 제어 방법은 저장매체에 저장되는 컴퓨터 프로그램으로, 하드웨어와 결합되어 실행되며, 상기 하드웨어는 첨부된 도 1의 구성요소들을 포함하지만, 반드시 이러한 것에 한정하는 것은 아니다.Here, the smart home network service control method comprising the first to seventh steps is a computer program stored in a storage medium, and is executed in combination with hardware, and the hardware includes the components of FIG. It is not limited to things.

이상에서 본 발명의 스마트 홈 네트워크 서비스 제어 장치 및 그 제어방법에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다.In the above, the technical idea of the apparatus for controlling a smart home network service and a method for controlling the same of the present invention has been described together with the accompanying drawings, but this is an exemplary description of the preferred embodiment of the present invention, but does not limit the present invention.

따라서, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와같은 변경은 청구범위 기재의 범위내에 있게 된다.Therefore, the present invention is not limited to the specific preferred embodiments described above, and anyone with ordinary knowledge in the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims can implement various modifications. Of course, such modifications are intended to be within the scope of the description of the claims.

100; 통신단말기 11; 네트워크 드라이버
12; 사운드모드 동작부 13; 제어부
200; 댁내 단말기(IHD) 21; 수신부
22; 음성인식엔진 23; 홈 네트워크 컨트롤러100; Communication terminal 11; Network driver
12; Sound mode operation unit 13; Control unit
200; IHD 21; Receiver
22; Voice recognition engine 23; Home network controller

Claims (12)

공중의 네트워크에 대한 연결성을 체크하는 네트워크 드라이버와, 상기 네트워크 드라이버의 체크결과에 따라 통신단말기와 댁내 단말기의 네트워크 연결이 이루어지지 않을 때 사운드 제어모드(Sound QR)로 동작하는 사운드모드 동작부 및, 상기 사운드모드 동작부를 제어하는 제어부를 포함하는 통신단말기; 를 구성하고,
상기 댁내 단말기에는 상기 사운드모드 동작부가 사운드 제어모드로 동작하여 사용자의 음성 제어명령을 전송시 이를 수신하는 수신부와, 상기 수신부로부터 수신된 사용자의 음성 제어명령을 분석하는 음성인식엔진과, 상기 통신단말기와의 네트워크 연결이 이루어지지 않을 때 사운드 제어(Sound QR)의 서버모드로 동작하여 상기 통신단말기에 의한 스마트 홈 네트워크 서비스가 정지없이 계속 이루어지도록 상기 수신부와 음성인식엔진을 제어하는 홈 네트워크 컨트롤러를 포함하여 구성하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어장치.A network driver that checks connectivity to a public network, and a sound mode operation unit that operates in a sound control mode (Sound QR) when a network connection between a communication terminal and an in-house terminal is not established according to the check result of the network driver, and A communication terminal including a control unit for controlling the sound mode operation unit; To configure,
In the in-house terminal, the sound mode operation unit operates in a sound control mode and receives a user's voice control command when it is transmitted, a voice recognition engine that analyzes the user's voice control command received from the receiving unit, and the communication terminal Including a home network controller that controls the receiver and the voice recognition engine so that the smart home network service by the communication terminal continues without stopping by operating in the server mode of sound control (Sound QR) when a network connection with the network is not established. Smart home network service control device, characterized in that the configuration. 제 1 항에 있어서,
상기 제어부는 네트워크 드라이버를 통해 브로드캐스트하는 네트워크 상태를 모니터링하고, 통신단말기와 댁내 단말기의 네트워크 연결시 상기 사운드모드 동작부의 사운드 제어모드를 해제하는 제어프로그램을 탑재 구성하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어장치.The method of claim 1,
The control unit monitors a network state broadcast through a network driver, and mounts a control program for releasing the sound control mode of the sound mode operation unit when the communication terminal and the in-house terminal are connected to the network. Control device. 제 1 항에 있어서,
상기 홈 네트워크 컨트롤러는 최초 스마트 홈 네트워크 서비스의 시작 시점을 알리는 신호를 발생시킨 후 이를 통신단말기로 전송하되, 상기 통신단말기의 제어부는 최초 스마트 홈 네트워크 서비스의 시작 시점을 알리는 신호를 수신시, 사운드 제어(Sound QR)의 서버모드를 해제하는 제어프로그램을 탑재 구성하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어장치.The method of claim 1,
The home network controller generates a signal indicating the start time of the first smart home network service and then transmits the signal to the communication terminal, and the control unit of the communication terminal controls the sound upon receiving the signal indicating the start time of the first smart home network service. Smart home network service control device, characterized in that it is equipped with a control program for releasing the server mode of (Sound QR). 통신단말기와 댁내 단말기에 대한 네트워크 연결상태를 체크하는 제 1 단계;
상기 제 1 단계의 체크결과 네트워크 에러에 의해 통신단말기와 댁내 단말기의 네트워크 연결이 이루어지지 않으면, 통신단말기는 사운드 제어모드(Sound QR)를 시작하고, 댁내 단말기는 사운드 제어(Sound QR)의 서버모드를 시작하는 제 2 단계;
상기 제 2 단계로부터 통신단말기와 댁내 단말기가 각각 사운드 제어모드와 사운드제어의 서버모드를 시작시, 통신단말기 또는 댁내 단말기는 할당받은 아이피 게이트웨이로 댁내 단말기 또는 통신단말기에 핑(Ping)을 요청하는 제 3 단계;
상기 제 3 단계로부터 핑 요청이 성공하지 못하면, 통신단말기 또는 댁내 단말기는 네트워크 이상으로 판단하고, 상기 제 2 단계의 사운드 제어모드에 따라 스마트 홈 네트워크에 연결되는 댁내 장치에 대한 사용자의 음성 제어명령을 사운드 QR로 매칭한 웨이브 파일(WAV file)을 댁내 단말기로 전송하는 제 4 단계; 및,
상기 제 4 단계로부터 통신단말기에서 전송하는 사운드 QR로 매칭한 웨이브 파일을 댁내 단말기가 수신한 후 음성인식모드로 동작하여 상기 웨이브 파일에 매칭되는 제어명령을 수행하면서 스마트 홈 네트워크의 해당 댁내 장치를 제어하는 제 5 단계; 를 포함하여 진행하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어방법.A first step of checking a network connection state between the communication terminal and the in-house terminal;
If the network connection between the communication terminal and the in-house terminal is not established due to a network error as a result of the check in the first step, the communication terminal starts the sound control mode (Sound QR), and the in-house terminal starts the sound control (Sound QR) server mode. A second step of starting;
From the second step, when the communication terminal and the in-house terminal start the sound control mode and the server mode of sound control, respectively, the communication terminal or the in-house terminal requests a ping to the in-house terminal or the communication terminal through the assigned IP gateway. Step 3;
If the ping request from the third step is not successful, the communication terminal or the in-house terminal determines that there is a network error, and according to the sound control mode in the second step, the user's voice control command for the in-house device connected to the smart home network is issued. A fourth step of transmitting a wave file matched with sound QR to an in-house terminal; And,
After the in-house terminal receives the wave file matched with the sound QR transmitted from the communication terminal from the fourth step, the in-house terminal operates in a voice recognition mode to control the corresponding in-house device of the smart home network while executing a control command matching the wave file. The fifth step; Smart home network service control method, characterized in that in progress, including. 제 4 항에 있어서, 상기 제 2 단계에는,
상기 제 1 단계의 체크결과 통신단말기와 댁내 단말기가 스마트 홈 네트워크 서비스를 위한 네트워크 연결시, 통신단말기에서 전송하는 댁내 장치의 제어명령을 댁내 단말기가 정상적으로 수신하였는지를 판단하는 단계; 및,
상기 단계의 판단결과 댁내 단말기가 제어명령을 정상적으로 수신시, 스마트 홈 네트워크 서비스를 진행하고, 댁내 단말기가 제어명령을 정상적으로 수신하지 않으면 통신단말기가 사운드 제어모드(Sound QR)를 시작하는 단계; 를 더 포함하여 진행하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어방법.The method of claim 4, wherein in the second step,
Determining whether the in-house terminal normally receives a control command of the in-house device transmitted from the communication terminal when the communication terminal and the in-house terminal are connected to a network for a smart home network service as a result of the check in the first step; And,
A step of performing a smart home network service when the in-house terminal normally receives the control command as a result of the determination in the above step, and starting a sound control mode (Sound QR) when the in-house terminal does not normally receive the control command; A method for controlling a smart home network service, characterized in that the proceeding further comprises a. 제 5 항에 있어서, 상기 제 2 단계에는,
네트워크 에러 발생시 통신단말기 또는 댁내 단말기는 사운드 QR 프로세스가 활성화되어 있는지를 확인하는 단계;
상기 단계의 사운드 QR 프로세스가 활성화되어 있지 않으면, 통신단말기는 사운드 QR 프로세스를 활성화시킨 후 스마트 홈 네트워크 서비스를 위한 사용자의 음성 제어명령을 전송하는 리스너 프로세스(Listener Process)를 시작하는 단계; 및,
상기 단계의 사운드 QR 프로세스가 활성화되어 있지 않으면, 댁내 단말기는 사운드 QR 프로세스를 활성화시킨 후 스마트 홈 네트워크 서비스를 위한 사용자의 음성 제어명령을 수신할 수 있는 파싱(Parsing)과 리스너(Listener)를 등록하는 단계; 를 더 포함하여 진행하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어방법.The method of claim 5, wherein in the second step,
Checking whether a sound QR process is activated by the communication terminal or the in-house terminal when a network error occurs;
If the sound QR process in the above step is not activated, the communication terminal activates the sound QR process and then starts a listener process for transmitting a user's voice control command for a smart home network service; And,
If the sound QR process in the above step is not activated, the in-house terminal activates the sound QR process and registers a parsing and a listener capable of receiving a user's voice control command for a smart home network service. step; A method for controlling a smart home network service, characterized in that the proceeding further comprises a. 제 4 항에 있어서, 상기 제 4 단계에는,
상기 제 3 단계로부터 핑(Ping) 요청이 성공시, 공중의 네트워크 에러 또는 로컬 네트워크 에러인지를 확인하는 단계; 및,
상기 단계로부터 확인된 에러가 공중의 네트워크 에러이고 로컬 네트워크는 정상이면 댁내 단말기가 스마트 홈 네트워크의 댁내 장치를 리부팅(Rebooting)시키는 단계; 를 더 포함하여 진행하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어방법.The method of claim 4, wherein in the fourth step,
If the ping request from the third step is successful, confirming whether a public network error or a local network error is made; And,
If the error identified from the above step is a public network error and the local network is normal, the in-house terminal rebooting the in-house device of the smart home network; A method for controlling a smart home network service, characterized in that the proceeding further comprises a. 제 4 항에 있어서, 상기 제 5 단계에는,
댁내 단말기가 웨이브 파일을 수신시 음성인식엔진을 가동하여 수신된 웨이브 파일이 비가청 주파수로 수신되는지를 감지하는 단계;
상기 단계로부터 수신되는 웨이브 파일이 비가청 주파수이면 그 웨이브 파일이 비상상황 음성 또는 댁내 장치에 대한 음성 제어명령인지를 분석하는 단계;
상기 단계의 분석결과 비상상황 음성이면 비상관제센터에 비상상황을 전달하는 스마트 홈 네트워크 서비스를 진행하고, 댁내 장치에 대한 음성 제어명령이면 스마트 홈 네트워크의 해당 댁내 장치를 제어하는 단계; 를 더 포함하여 진행하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어방법.The method of claim 4, wherein in the fifth step,
Detecting whether the received wave file is received at an inaudible frequency by operating a voice recognition engine when the in-house terminal receives the wave file;
If the wave file received from the step is an inaudible frequency, analyzing whether the wave file is an emergency voice or a voice control command for an in-house device;
A step of performing a smart home network service that transmits the emergency situation to the emergency control center if the analysis result of the above step is an emergency voice, and controlling a corresponding in-house device of the smart home network if the voice control command is a voice control command for the in-house device; A method for controlling a smart home network service, characterized in that the proceeding further comprises a. 제 8 항에 있어서, 상기 제 5 단계에는,
상기 비상관제센터로의 비상상황 전달 또는 댁내 장치에 대한 제어 서비스가 이루어지지 않으면, 댁내 단말기가 비상상황 전달 또는 댁내 장치에 대한 제어 서비스를 재시도(re-Try)하는 단계; 를 더 포함하여 진행하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어방법.The method of claim 8, wherein in the fifth step,
If the emergency situation transmission to the emergency control center or the control service for the in-house device is not performed, the in-house terminal re-trying the emergency situation transmission or the control service for the in-house device; A method for controlling a smart home network service, characterized in that the proceeding further comprises a. 제 4 항에 있어서,
상기 통신단말기는 네트워크 드라이버에서 브로드캐스트하는 네트워크 연결 상태를 모니터링하여 연결 메세지를 수신시, 상기 제 2 단계로부터 시작되는 사운드 제어모드를 해제하는 제 6 단계; 를 더 포함하여 진행하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어방법.The method of claim 4,
A sixth step of releasing a sound control mode starting from the second step when the communication terminal monitors a network connection state broadcast by a network driver and receives a connection message; A method for controlling a smart home network service, characterized in that the proceeding further comprises a. 제 4 항에 있어서,
상기 댁내 단말기는 최초 스마트 홈 네트워크 서비스의 시작 시점을 알리는 신호를 발생시킨 후 이를 통신단말기로 전송하고, 상기 통신단말기에서 상기 서비스의 시작 시점을 알리는 신호를 수신시, 상기 제 2 단계로부터 시작되는 사운드 제어(Sound QR)의 서버모드를 해제하는 제 7 단계; 를 더 포함하여 진행하는 것을 특징으로 하는 스마트 홈 네트워크 서비스 제어방법.The method of claim 4,
The in-house terminal generates a signal indicating the start time of the first smart home network service and then transmits the signal to the communication terminal, and when the communication terminal receives the signal indicating the start time of the service, the sound starting from the second step A seventh step of releasing the server mode of the control (Sound QR); A method for controlling a smart home network service, characterized in that the proceeding further comprises a. 하드웨어와 결합되어 청구항 제 4 항 내지 제 11 항 중 어느 한 항에 기재된 방법을 실행시키기 위하여 저장매체에 저장된 컴퓨터 프로그램.A computer program stored in a storage medium in combination with hardware to execute the method according to any one of claims 4 to 11.
KR1020140158810A 2014-11-14 2014-11-14 Smart home network service control device and the control method KR102242961B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140158810A KR102242961B1 (en) 2014-11-14 2014-11-14 Smart home network service control device and the control method
CN201510772508.8A CN105608880B (en) 2014-11-14 2015-11-12 Intelligent home network service control device and its control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140158810A KR102242961B1 (en) 2014-11-14 2014-11-14 Smart home network service control device and the control method

Publications (2)

Publication Number Publication Date
KR20160057774A KR20160057774A (en) 2016-05-24
KR102242961B1 true KR102242961B1 (en) 2021-04-22

Family

ID=55988784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140158810A KR102242961B1 (en) 2014-11-14 2014-11-14 Smart home network service control device and the control method

Country Status (2)

Country Link
KR (1) KR102242961B1 (en)
CN (1) CN105608880B (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106054644B (en) * 2016-06-30 2017-12-22 慧锐通智能科技股份有限公司 A kind of intelligent home furnishing control method and system
CN106803813B (en) * 2017-03-02 2020-05-26 重庆邮电大学 Method for identifying control command field of intelligent household equipment
CN108831453A (en) * 2018-05-02 2018-11-16 四川斐讯信息技术有限公司 Intelligent terminal based on the intelligent sound equipment method and system that compatibility controls entirely
CN109884937A (en) * 2019-01-10 2019-06-14 北京市燃气集团有限责任公司 For the indoor intelligent safety control device and method of non intelligent gas meter, flow meter
KR20200102678A (en) 2019-02-22 2020-09-01 삼성전자주식회사 Apparatus and method for controlling signal related to external device
CN110501916A (en) * 2019-08-15 2019-11-26 珠海格力电器股份有限公司 A kind of intelligent electrical appliance control, equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009012330A2 (en) 2007-07-19 2009-01-22 Apple Inc. Dashboard surfaces
KR101062089B1 (en) 2003-01-10 2011-09-02 톰슨 라이센싱 Method for controlling a device in a network by a dedicated remote control and apparatus for performing the method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903867A (en) * 1993-11-30 1999-05-11 Sony Corporation Information access system and recording system
KR100898339B1 (en) * 2007-10-05 2009-05-20 한국전자통신연구원 Autonomous fault processing system in home network environments and operation method thereof
CN101552995A (en) * 2009-05-15 2009-10-07 长沙中富通信技术有限公司 Mobile communication wireless network detection system
CN102448194A (en) * 2011-11-15 2012-05-09 邓超 Multimedia intelligent home network based on Zigbee
CN103474071A (en) * 2013-09-16 2013-12-25 重庆邮电大学 Embedded portable voice controller and intelligent housing system with voice recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101062089B1 (en) 2003-01-10 2011-09-02 톰슨 라이센싱 Method for controlling a device in a network by a dedicated remote control and apparatus for performing the method
WO2009012330A2 (en) 2007-07-19 2009-01-22 Apple Inc. Dashboard surfaces
US20090021486A1 (en) 2007-07-19 2009-01-22 Apple Inc. Dashboard Surfaces

Also Published As

Publication number Publication date
CN105608880B (en) 2019-03-08
KR20160057774A (en) 2016-05-24
CN105608880A (en) 2016-05-25

Similar Documents

Publication Publication Date Title
KR102242961B1 (en) Smart home network service control device and the control method
US11816980B2 (en) Method of pairing a remote control
US10432419B1 (en) Voice control using multi-media rooms
JP2020502690A5 (en)
US10523763B2 (en) Communication device, communication method, controlled device, and non-transitory computer readable medium
US10062395B2 (en) Spectral recognition of percussive sounds
KR102393290B1 (en) Remote control, electronic apparatus and pairing method thereof
US10506204B2 (en) State detection and voice guided setup for a video doorbell unit
CN107787579B (en) System and method for data exchange with a laser or machine tool
WO2017152875A1 (en) Secure communication method and apparatus for vehicle, vehicle multimedia system, and vehicle
US20170076585A1 (en) Live paging system and methods of using the same
US10244122B2 (en) Panel control over broadband
WO2018000570A1 (en) Bluetooth pairing method, apparatus and system
CN104869611A (en) WLAN access method and device
US10511671B2 (en) Communication device, communication method, controlled device, and non-transitory computer readable medium
KR20060114660A (en) System and method for scheduling device management
JP2017536710A (en) SPECIFIC OPERATION STARTING METHOD, SPECIFIC OPERATION STARTING DEVICE, COMPUTER PROGRAM, COMPUTER-READABLE STORAGE MEDIUM, AND SPECIAL OPERATION STARTING SYSTEM
US8897179B2 (en) Method and apparatus for detecting an offline radio resource in an interoperability system
JP2016158150A (en) Remote operation system
KR101702583B1 (en) A system for monitoring a network performance using xmpp and method thereof
JP2006293993A (en) Security system, abnormality detection system and method for monitoring the same
JP7065314B2 (en) Control system and control method
US8995919B2 (en) Interference management using out-of-band signaling
CN109240843B (en) Application processing method and device
WO2019202852A1 (en) Information processing system, client device, information processing method, and information processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right