KR102089593B1 - Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof - Google Patents

Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof Download PDF

Info

Publication number
KR102089593B1
KR102089593B1 KR1020190143802A KR20190143802A KR102089593B1 KR 102089593 B1 KR102089593 B1 KR 102089593B1 KR 1020190143802 A KR1020190143802 A KR 1020190143802A KR 20190143802 A KR20190143802 A KR 20190143802A KR 102089593 B1 KR102089593 B1 KR 102089593B1
Authority
KR
South Korea
Prior art keywords
display device
user voice
command
stored
interactive server
Prior art date
Application number
KR1020190143802A
Other languages
Korean (ko)
Other versions
KR20190128615A (en
Inventor
박은희
한상진
김재권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190143802A priority Critical patent/KR102089593B1/en
Publication of KR20190128615A publication Critical patent/KR20190128615A/en
Application granted granted Critical
Publication of KR102089593B1 publication Critical patent/KR102089593B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Abstract

디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 제어 방법이 제공된다. 본 디스플레이 장치의 제어 방법은 디스플레이 장치를 제어하기 위한 사용자 음성이 입력되면, 사용자 음성이 디스플레이 장치에 기 저장된 명령어인지 여부를 판단하면서 사용자 음성을 대화형 서버로 전송하고, 사용자 음성이 디스플레이 장치에 기 저장된 명령어가 아닌 경우, 대화형 서버로부터 사용자 음성에 대응되는 제어 정보 및 사용자 음성과 동일한 기능을 수행할 수 있는 기 저장된 명령어를 안내하는 제1 가이드 정보가 전송되면, 대화형 서버로부터 전송된 제어 정보에 따라 디스플레이 장치의 기능을 수행하고, 제1 가이드 정보를 디스플레이한다.A display device, a control method thereof, and a control method of a speech recognition system are provided. In the control method of the display device, when a user voice for controlling the display device is input, the user voice is transmitted to the interactive server while determining whether the user voice is a command pre-stored in the display device, and the user voice is stored in the display device If it is not a stored command, when control information corresponding to the user's voice and first guide information guiding a pre-stored command capable of performing the same function as the user's voice are transmitted from the interactive server, the control information transmitted from the interactive server According to this, the function of the display device is performed, and the first guide information is displayed.

Description

디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법 {Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof}A display device, a control method thereof, and a display device control method of a voice recognition system {Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof}

본 발명은 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법에 관한 것으로서, 더욱 상세하게는 입력되는 사용자 음성에 따라 디스플레이 장치의 기능을 제어할 수 있는 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법에 관한 것이다.The present invention relates to a display device, a control method thereof, and a display device control method of a speech recognition system, and more particularly, a display device capable of controlling functions of a display device according to input user voices, and a control method thereof And a method for controlling a display device of a speech recognition system.

일반적으로, 음성 인식이 가능한 디스플레이 장치는 크게 임베디드(Embedded) 방식과 대화형 방식이 있다. 2. Description of the Related Art In general, a display device capable of speech recognition includes an embedded method and an interactive method.

임베디드 방식의 디스플레이 장치는 한정된 사용자 음성만을 인식할 수 있다. 즉, 임베디드 방식의 디스플레이 장치는 기저장된 명령어에 대응되는 사용자 음성이 입력된 경우에만 사용자 음성에 대응되는 기능을 수행할 수 있다. 이와 같은 임베디드 방식의 디스플레이 장치는 입력된 사용자 음성에 대응되는 기능을 빠르게 수행한다는 점에서 장점이 있으나, 기 저장된 명령어에 대응되는 사용자 음성만을 인식한다는 점에서 사용자 음성을 인식하는데 매우 한정적이다.The embedded display device can recognize only a limited user voice. That is, the embedded display device may perform a function corresponding to the user voice only when a user voice corresponding to a pre-stored command is input. Such an embedded display device has an advantage in that it quickly performs a function corresponding to an input user voice, but is very limited in recognizing a user voice in that it recognizes only the user voice corresponding to a pre-stored command.

대화형 방식의 디스플레이 장치는 외부의 대화형 서버를 통해 다양한 사용자 음성을 인식하여 사용자 의도를 파악하고, 그 파악된 사용자 의도에 적합한 동작을 수행한다. 이 같은 대화형 방식의 디스플레이 장치는 사용자 음성이 입력되면, 대화형 서버로부터 사용자 음성에 대응되는 제어 정보 또는 응답 정보(예를 들어, 컨텐츠 검색 정보)를 수신하고, 제어 정보 또는 응답 정보에 기초하여 사용자 음성에 대응되는 기능을 수행한다. 이 같은 대화형 방식의 디스플레이 장치는 임베디드 방식의 디스플레이 장치에 비해 다양한 사용자 발화를 인식하고, 인식한 사용자 발화에 대응되는 동작을 수행한다는 점에서 장점이 있으나, 대화형 서버를 이용하여 사용자 음성에 대응되는 기능을 수행하기 때문에 임베디드 방식의 디스플레이 장치에 비해 응답 속도가 느린 문제가 있다.The interactive display device recognizes a user intention by recognizing various user voices through an external interactive server, and performs an operation suitable for the identified user intention. When the user's voice is input, the interactive display device receives control information or response information (for example, content search information) corresponding to the user's voice from the interactive server, and based on the control information or the response information. Performs a function corresponding to the user's voice. Such an interactive display device has an advantage in that it recognizes various user utterances and performs an operation corresponding to the recognized user utterance, compared to an embedded display device, but responds to a user's voice using an interactive server. Because it performs the function, there is a problem that the response speed is slower than that of the embedded display device.

특히, 근래에는 상술한 두 가지 방식을 모두 이용하는 디스플레이 장치가 개발되고 있다. 그러나, 두 가지 방식을 모두 이용하더라도 사용자가 디스플레이 장치에 임베디드된 명령어를 발화하지 않고, 임베디드된 명령어와 유사한 명령어를 발화하는 경우, 디스플레이 장치는 대화형 방식을 이용하여 사용자 음성을 인식하고 사용자 음성에 대응되는 기능을 수행하게 된다. 예를 들어, 디스플레이 장치의 볼륨 업 기능을 수행하기 위해 임베디드된 명령어가 "볼륨 키워"이나, 사용자가 "볼륨을 높여주세요"라고 발화한 경우, 디스플레이 장치는 응답 속도가 빠른 임베디드 방식이 아닌 응답 속도가 느린 대화형 방식을 이용해야 볼륨 레벨을 증가시키는 기능을 수행해야 하는 문제점이 발생하였다.In particular, in recent years, display devices using both of the above-described methods have been developed. However, even if both methods are used, if the user does not utter a command embedded in the display device and utters a command similar to the embedded command, the display device recognizes the user voice using an interactive method and recognizes the user voice. It will perform the corresponding function. For example, if the embedded command to perform the volume up function of the display device is "volume up" or the user utters "Please increase the volume", the display device has a response speed that is not a fast embedded method. The problem of having to perform the function of increasing the volume level occurs when the slow interactive method is used.

즉, 사용자가 두 가지 음성 인식 방법 중 어느 방법을 이용해야 더욱 신속하게 음성 인식을 수행할 수 있을지 모르는 경우, 디스플레이 장치의 작업량이 불필요하게 증가하며, 사용자 음성에 대한 응답이 늦어지는 문제점이 발생하게 된다.That is, if the user does not know which of the two methods of speech recognition can be used to perform speech recognition more quickly, a workload of the display device is unnecessarily increased, and a response to the user's voice is delayed. do.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자 음성을 신속하게 응답하여 디스플레이 장치의 기능을 제어할 수 있도록 사용자에게 음성 가이드 정보를 제공하는 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 제어 방법을 제공함에 있다.The present invention has been devised to solve the above-described problems, and an object of the present invention is to display a device for providing voice guide information to a user so as to control the function of the display device by quickly responding to the user's voice, and a control method thereof And, to provide a control method of the speech recognition system.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치의 제어 방법은, 상기 디스플레이 장치를 제어하기 위한 사용자 음성을 입력받는 단계; 상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인지 여부를 판단하면서 상기 사용자 음성을 대화형 서버로 전송하는 단계; 및 상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어가 아닌 경우, 상기 대화형 서버로부터 상기 사용자 음성에 대응되는 제어 정보 및 상기 사용자 음성과 동일한 기능을 수행할 수 있는 기 저장된 명령어를 안내하는 제1 가이드 정보가 전송되면, 상기 대화형 서버로부터 전송된 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하고, 상기 제1 가이드 정보를 디스플레이하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a control method of a display device, comprising: receiving a user's voice for controlling the display device; Transmitting the user voice to an interactive server while determining whether the user voice is a command pre-stored in the display device; And a first guide for guiding control information corresponding to the user voice and pre-stored commands capable of performing the same function as the user voice, when the user voice is not a pre-stored command in the display device. And when information is transmitted, performing a function of the display device according to control information transmitted from the interactive server and displaying the first guide information.

그리고, 상기 대화형 서버는, 상기 사용자 음성에 대응되는 제어 정보를 검색하고, 상기 사용자 음성에 대응되는 제어 정보를 검색하는 동안 상기 제어 정보와 동일한 기능을 수행할 수 있는 상기 디스플레이 장치에 기저장된 명령어가 있는지 여부를 판단하며, 상기 제어 정보와 동일한 기능을 수행할 수 있는 상기 디스플레이 장치에 기저장된 명령어가 있는 경우, 상기 기 저장된 명령어를 안내하는 제1 가이드 정보를 생성하여 상기 제어 정보와 함께 상기 디스플레이 장치에 전송할 수 있다.And, the interactive server, while searching for control information corresponding to the user's voice, while searching for control information corresponding to the user's voice, commands previously stored in the display device capable of performing the same function as the control information If there is a pre-stored command in the display device capable of performing the same function as the control information, it is determined whether or not there is generated first guide information for guiding the pre-stored command to display the control information together. Device.

또한, 상기 사용자 음성이 기 저장된 명령어인 경우, 상기 기 저장된 명령어와 대응되는 제어 정보를 검색하는 단계; 및 상기 검색된 제어 정보에 따라 상기 디스플레이 장치의 기능을 우선적으로 수행하는 단계;를 더 포함할 수 있다.In addition, when the user voice is a pre-stored command, retrieving control information corresponding to the pre-stored command; And first performing a function of the display device according to the searched control information.

*그리고, 상기 사용자 음성이 기 저장된 명령어이며, 상기 사용자 음성이 복수의 계층구조를 가지는 디스플레이 장치의 기능을 제어하기 위한 명령어인 경우, 상기 사용자 음성과 동일한 기능을 수행할 수 있는 대화형 명령어를 안내하는 제2 가이드 정보를 디스플레이하는 단계;를 포함할 수 있다.In addition, when the user voice is a pre-stored command and the user voice is a command for controlling a function of a display device having a plurality of hierarchical structures, an interactive command capable of performing the same function as the user voice is guided. And displaying the second guide information.

또한, 상기 대화형 서버는, 상기 사용자 음성을 텍스트 정보로 변환하는 제1 대화형 서버 및 상기 텍스트 정보에 따라 제어 정보 및 제1 가이드 정보를 생성하는 제2 대화형 서버를 포함할 수 있다.In addition, the interactive server may include a first interactive server that converts the user's voice into text information, and a second interactive server that generates control information and first guide information according to the text information.

한편, 상기 목적을 달성하기 위해 안출된 본 발명의 일 실시예에 따른, 디스플레이 장치는, 상기 디스플레이 장치를 제어하기 위한 사용자 음성을 입력받는 음성 입력부; 대화형 서버와 통신을 수행하는 통신부; 명령어와 제어 정보를 매칭하여 저장하는 저장부; 디스플레이부; 및 상기 음성 입력부를 통해 입력된 사용자 음성이 상기 저장부에 기 저장된 명령어인지 여부를 판단하면서 상기 사용자 음성을 상기 통신부를 통해 상기 대화형 서버로 전송하고, 상기 사용자 음성이 상기 저장부에 기 저장된 명령어가 아닌 경우, 상기 대화형 서버로부터 상기 사용자 음성에 대응되는 제어 정보 및 상기 사용자 음성과 동일한 기능을 수행할 수 있는 기 저장된 명령어를 안내하는 제1 가이드 정보가 전송되면, 상기 대화형 서버로부터 전송된 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하고, 상기 제1 가이드 정보를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.On the other hand, according to an embodiment of the present invention devised to achieve the above object, the display device, a voice input unit for receiving a user voice for controlling the display device; A communication unit performing communication with an interactive server; A storage unit matching and storing command and control information; Display unit; And transmitting the user voice to the interactive server through the communication unit while determining whether the user voice input through the voice input unit is a command pre-stored in the storage unit, and the user voice pre-stored in the storage unit. If not, when control information corresponding to the user voice and first guide information guiding a pre-stored command capable of performing the same function as the user voice are transmitted from the interactive server, the transmitted from the interactive server And a control unit that performs a function of the display device according to control information and controls the display unit to display the first guide information.

그리고, 상기 대화형 서버는, 상기 사용자 음성에 대응되는 제어 정보를 검색하고, 상기 사용자 음성에 대응되는 제어 정보를 검색하는 동안 상기 제어 정보와 동일한 기능을 수행할 수 있는 상기 디스플레이 장치에 기저장된 명령어가 있는지 여부를 판단하며, 상기 제어 정보와 동일한 기능을 수행할 수 있는 상기 디스플레이 장치에 기저장된 명령어가 있는 경우, 상기 기 저장된 명령어를 안내하는 제1 가이드 정보를 생성하여 상기 제어 정보와 함께 상기 디스플레이 장치에 전송할 수 있다.And, the interactive server, while searching for control information corresponding to the user's voice, while searching for control information corresponding to the user's voice, commands previously stored in the display device capable of performing the same function as the control information If there is a pre-stored command in the display device capable of performing the same function as the control information, it is determined whether or not there is generated first guide information for guiding the pre-stored command to display the control information together. Device.

또한, 상기 제어부는, 상기 사용자 음성이 상기 저장부에 기 저장된 명령어인 경우, 상기 저장부에 저장된 상기 사용자 음성에 대응되는 제어 정보를 검색하고, 상기 검색된 제어 정보에 따라 상기 디스플레이 장치의 기능을 우선적으로 수행할 수 있다.In addition, when the user voice is a command pre-stored in the storage unit, the control unit searches for control information corresponding to the user voice stored in the storage unit, and prioritizes functions of the display device according to the searched control information. Can be done with

그리고, 상기 제어부는, 상기 사용자 음성이 기 저장된 명령어이며, 상기 사용자 음성이 복수의 계층구조를 가지는 디스플레이 장치의 기능을 제어하기 위한 명령어인 경우, 상기 사용자 음성과 동일한 기능을 수행할 수 있는 대화형 명령어를 안내하는 제2 가이드 정보를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.In addition, when the user voice is a pre-stored command and the user voice is a command for controlling a function of a display device having a plurality of hierarchical structures, the controller may perform an interactive function capable of performing the same function as the user voice. The display unit may be controlled to display second guide information for guiding a command.

또한, 상기 대화형 서버는, 상기 입력된 사용자 음성을 텍스트 정보로 변환하는 제1 대화형 서버 및 상기 텍스트 정보에 따라 제어 정보 및 제1 가이드 정보를 생성하는 제2 대화형 서버를 포함하며, 상기 제어부는, 상기 입력된 사용자 음성을 상기 제1 대화형 서버로 전송하며, 상기 제1 대화형 서버로부터 전송된 텍스트 정보를 상기 제2 대화형 서버로 전송하도록 상기 통신부를 제어할 수 있다.In addition, the interactive server includes a first interactive server that converts the input user voice into text information, and a second interactive server that generates control information and first guide information according to the text information, wherein The control unit may control the communication unit to transmit the input user voice to the first interactive server, and to transmit text information transmitted from the first interactive server to the second interactive server.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 대화형 서버 및 디스플레이 장치를 포함하는 음성 인식 시스템의 제어 방법은, 상기 디스플레이 장치가, 사용자 음성을 입력받는 단계; 상기 디스플레이 장치가, 상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인지 여부를 판단하면서 상기 사용자 음성을 상기 대화형 서버로 전송하는 제1 전송 단계; 상기 대화형 서버가, 상기 사용자 음성에 대응되는 제어 정보 및 상기 제어 정보와 동일한 기능을 수행할 수 있는 상기 디스플레이 장치에 기 저장된 명령어를 안내하는 제1 가이드 정보 중 적어도 하나를 생성하여 상기 디스플레이 장치로 전송하는 제2 전송 단계; 및 상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어가 아닌 경우, 상기 디스플레이 장치가, 상기 대화형 서버로부터 전송된 제어 정보에 따라 디스플레이 장치의 기능을 수행하고 상기 제1 가이드 정보를 디스플레이하는 단계;를 포함한다.On the other hand, according to an embodiment of the present invention for achieving the above object, a control method of a speech recognition system including an interactive server and a display device, the display device comprising: receiving a user voice; A first transmission step of the display device transmitting the user voice to the interactive server while determining whether the user voice is a command previously stored in the display device; The interactive server generates at least one of control information corresponding to the user voice and first guide information for guiding a pre-stored command in the display device capable of performing the same function as the control information to the display device A second transmission step of transmitting; And when the user voice is not a command previously stored in the display device, the display device performing a function of the display device according to control information transmitted from the interactive server and displaying the first guide information. Includes.

그리고, 상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인 경우, 상기 디스플레이 장치가, 상기 사용자 음성에 대응되는 제어 정보를 검색하고, 상기 검색된 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하는 단계;를 더 포함할 수 있다.And, when the user voice is a pre-stored command in the display device, the display device, searching for control information corresponding to the user voice, and performing the function of the display device according to the searched control information; It may further include.

또한, 상기 사용자 음성이 기 저장된 명령어이며, 상기 사용자 음성이 복수의 계층구조를 가지는 디스플레이 장치의 기능을 제어하기 위한 명령어인 경우, 상기 디스플레이 장치가, 상기 사용자 음성과 동일한 기능을 수행할 수 있는 대화형 명령어를 안내하는 제2 가이드 정보를 디스플레이하는 단계;를 더 포함할 수 있다.In addition, when the user voice is a pre-stored command, and the user voice is a command for controlling a function of a display device having a plurality of hierarchies, the display device may perform a function that is the same as the user voice. And displaying second guide information for guiding the type command.

그리고, 상기 대화형 서버는, 상기 입력된 사용자 음성을 텍스트 정보로 변환하는 제1 대화형 서버 및 상기 텍스트 정보에 따라 제어 정보 및 제1 가이드 정보를 생성하는 제2 대화형 서버를 포함하며, 상기 제1 전송 단계는, 상기 디스플레이 장치가, 상기 사용자 음성을 디지털 신호로 변환하는 단계; 상기 디스플레이 장치가, 상기 디지털 신호를 제1 대화형 서버로 전송하는 단계; 상기 제1 대화형 서버가, 상기 디지털 신호에 대응되는 텍스트 정보를 생성하여 상기 디스플레이 장치로 전송하는 단계; 및 상기 디스플레이 장치가, 상기 텍스트 정보를 상기 제2 대화형 서버로 전송하는 단계;를 포함할 수 있다.Further, the interactive server includes a first interactive server that converts the input user voice into text information, and a second interactive server that generates control information and first guide information according to the text information, wherein The first transmission step may include: converting the user voice into a digital signal by the display device; Transmitting, by the display device, the digital signal to a first interactive server; Generating, by the first interactive server, text information corresponding to the digital signal and transmitting it to the display device; And transmitting, by the display device, the text information to the second interactive server.

*또한, 상기 제2 전송 단계는, 상기 사용자 음성이 상기 대화형 서버에 저장된 대화 패턴이 아닌 경우, 상기 대화형 서버가, 상기 사용자 음성과 동일한 기능을 수행하면서 상기 대화형 서버에 저장된 대화 패턴에 따르는 사용자 음성을 안내하는 제3 가이드 정보를 생성하여 상기 디스플레이 장치로 전송하는 단계;를 더 포함하며, 상기 디스플레이 장치가 상기 제3 가이드 정보를 디스플레이하는 단계;를 더 포함할 수 있다.* In addition, in the second transmission step, when the user voice is not a conversation pattern stored in the interactive server, the interactive server performs the same function as the user voice, and the conversation pattern stored in the interactive server is performed. And generating and transmitting third guide information for guiding a user voice to be followed to the display device. The display device may further include displaying the third guide information.

그리고, 상기 제2 전송 단계는, 상기 사용자 음성이 상기 대화형 서버가 응답할 수 없는 대화형 음성인 경우, 상기 대화형 서버가 상기 사용자 음성으로부터 키워드를 추출하여 상기 키워드와 관련된 정보를 안내하는 제4 가이드 정보를 생성하여 상기 디스플레이 장치로 전송하는 단계;를 더 포함하며, 상기 디스플레이 장치가 상기 제4 가이드 정보를 디스플레이하는 단계;를 더 포함할 수 있다.In the second transmission step, when the user voice is an interactive voice that the interactive server cannot respond to, the interactive server extracts a keyword from the user voice and guides information related to the keyword. 4 generating guide information and transmitting the generated information to the display device; and further comprising the display device displaying the fourth guide information.

상술한 바와 같은 본 발명의 다양한 실시예에 의해, 효율적인 음성 인식을 위한 가이드 정보를 제공함으로써, 사용자는 음성 인식을 이용하여 더욱 효율적이고 신속하게 디스플레이 장치의 기능을 수행할 수 있게 된다.According to various embodiments of the present invention as described above, by providing guide information for efficient speech recognition, a user can perform functions of a display device more efficiently and quickly by using speech recognition.

도 1은 본 발명의 일 실시예에 따른, 음성 인식 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 나타내는 블럭도,
도 3은 본 발명의 일 실시예에 따른, 음성 입력부의 구성을 나타내는 블럭도,
도 4 내지 도 7은 본 발명의 다양한 실시예에 따른, 가이드 정보를 도시한 도면,
도 8은 본 발명의 일 실시예에 따른, 대화형 서버의 구성을 나타내는 블럭도,
도 9는 본 발명의 일 실시예에 따른, 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도,
도 10은 본 발명의 일 실시예에 따른, 음성 인식 시스템의 디스플레이 장치 제어 방법을 설명하기 위한 시퀀스도, 그리고,
도 11은 본 발명의 다른 실시예에 따른, 음성 인식 시스템을 도시한 도면이다.1 is a diagram illustrating a speech recognition system according to an embodiment of the present invention,
2 is a block diagram showing the configuration of a display device according to an embodiment of the present invention;
3 is a block diagram showing the configuration of a voice input unit according to an embodiment of the present invention;
4 to 7 are diagrams showing guide information according to various embodiments of the present invention;
8 is a block diagram showing the configuration of an interactive server according to an embodiment of the present invention;
9 is a flowchart illustrating a method of controlling a display device according to an embodiment of the present invention,
10 is a sequence diagram illustrating a method of controlling a display device of a speech recognition system according to an embodiment of the present invention, and
11 is a diagram illustrating a speech recognition system according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른, 음성 인식 시스템을 도시한 도면이다. 도 1에 도시된 바와 같이, 음성 인식 시스템(10)은 디스플레이 장치(100) 및 대화형 서버(200)를 포함한다. 이때, 디스플레이 장치는 스마트 TV로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 스마트폰, 데스크 탑 PC, 태블릿 PC, 노트북 PC, 내비게이션 등과 같은 다양한 전자 장치로 구현될 수 있다.Hereinafter, the present invention will be described in detail with reference to the drawings. 1 is a diagram illustrating a speech recognition system according to an embodiment of the present invention. As shown in FIG. 1, the voice recognition system 10 includes a display device 100 and an interactive server 200. At this time, the display device may be implemented as a smart TV, but this is only an example, and may be implemented as various electronic devices such as a smart phone, a desktop PC, a tablet PC, a notebook PC, and navigation.

디스플레이 장치(100)는 사용자 음성을 인식하여 인식된 사용자 음성을 바탕으로 디스플레이 장치(100)의 기능을 수행할 수 있다. 특히, 디스플레이 장치(100)는 임베디드 방식 및 대화형 방식을 이용하여 사용자 음성에 따라 디스플레이 장치(100)의 기능을 수행할 수 있다.The display device 100 may recognize a user voice and perform a function of the display device 100 based on the recognized user voice. In particular, the display device 100 may perform functions of the display device 100 according to a user's voice using an embedded method and an interactive method.

구체적으로, 디스플레이 장치(100)는 사용자 음성을 인식하여 디스플레이 장치(100)의 기능을 수행하기 위한 명령어를 제어 정보와 매칭하여 저장한다. 예를 들어, 디스플레이 장치(100)는 "볼륨 올려"라는 명령어와 "오디오 볼륨 레벨을 기 설정된 레벨 증가"라는 제어 정보를 매칭하여 저장할 수 있다.Specifically, the display device 100 recognizes a user's voice and stores a command for performing a function of the display device 100 by matching with control information. For example, the display device 100 may match and store the command “Up Volume” and the control information “Increase the audio volume level to a preset level”.

디스플레이 장치(100)에 사용자 음성이 입력되면, 디스플레이 장치(100)는 사용자 음성을 외부의 대화형 서버(200)에 전송하는 동시에 사용자 음성이 디스플레이 장치(100)에 기 저장된 명령어인지 여부를 판단할 수 있다. When a user voice is input to the display device 100, the display device 100 transmits the user voice to the external interactive server 200 and determines whether the user voice is a command previously stored in the display device 100. You can.

대화형 서버(200)는 데이터베이스를 이용하여 디스플레이 장치(100)로부터 수신된 사용자 음성에 대응되는 제어 정보를 검색할 수 있다. 예를 들어, 수신된 사용자 음성이 "볼륨을 높여줘"인 경우, 대화형 서버(200)는 키워드인 "볼륨" 및 "높여"를 이용하여 "디스플레이 장치(100)에서 출력되는 오디오의 볼륨 레벨을 기설정된 레벨(예를 들어, 3 레벨)만큼 증가"라는 제어 정보를 검색할 수 있다.The interactive server 200 may search for control information corresponding to a user voice received from the display device 100 using a database. For example, if the received user voice is "Please turn up the volume", the interactive server 200 uses the keywords "Volume" and "Raise" to increase the volume level of the audio output from the "Display device 100". It is possible to search for control information of "increase by a predetermined level (eg, 3 levels)".

이때, 대화형 서버(200)는 사용자 음성에 대응되는 제어 정보를 검색하는 동안 제어 정보와 동일한 기능을 수행할 수 있는 디스플레이 장치(100)에 기저장된 명령어가 있는지 여부를 판단할 수 있다. 제어 정보와 동일한 기능을 수행할 수 있는 디스플레이 장치(100)에 기저장된 명령어가 있는 경우, 대화형 서버(200)는 디스플레이 장치(100)에 기 저장된 명령어를 안내하는 제1 가이드 정보를 생성하여 제어 정보와 함께 디스플레이 장치(100)에 전송할 수 있다. 예를 들어, 대화형 서버(200)는 수신된 사용자 음성인 "볼륨을 높여줘"와 동일한 기능을 수행할 수 있는 디스플레이 장치(100)에 기 저장된 명령어를 검색하고, 검색된 명령어인 "볼륨 올려"라는 명령어를 사용자에게 안내하는 제1 가이드 정보를 생성할 수 있다. 그리고, 대화형 서버(200)는 제1 가이드 정보를 기설정된 레벨만큼 디스플레이 장치(100)의 오디오 볼륨 레벨을 증가시키는 제어 정보와 함께 디스플레이 장치(100)로 전송할 수 있다. 제1 가이드 정보를 통해 디스플레이 장치(100)에 기 저장된 명령어를 사용자가 발화하도록 유도함으로써, 디스플레이 장치(100)는 더욱 신속하게 사용자 음성에 응답할 수 있게 된다.At this time, the interactive server 200 may determine whether there is a pre-stored command in the display device 100 capable of performing the same function as the control information while searching for control information corresponding to the user's voice. When there is a pre-stored command in the display device 100 capable of performing the same function as the control information, the interactive server 200 generates and controls the first guide information guiding the pre-stored command in the display device 100 The information can be transmitted to the display device 100 together. For example, the interactive server 200 searches for a command that is pre-stored in the display device 100 capable of performing the same function as the received user voice, "turn up the volume," and retrieves the searched command "volume up." First guide information for guiding a user to a command may be generated. Then, the interactive server 200 may transmit the first guide information to the display device 100 together with control information for increasing the audio volume level of the display device 100 by a predetermined level. By inducing the user to utter a command pre-stored in the display device 100 through the first guide information, the display device 100 can respond to the user's voice more quickly.

한편, 사용자 음성이 디스플레이 장치(100)에 기 저장된 명령어가 아닌 경우, 디스플레이 장치(100)는 대화형 서버(200)로부터 전송되는 제어 정보에 따라 디스플레이 장치(100)의 기능을 수행할 수 있다. 예를 들어, 기 저장된 명령어가 "볼륨 올려"이나, 사용자가 "볼륨을 높여줘"라고 발화한 경우, 디스플레이 장치(100)는 대화형 서버(200)로부터 전송된 제어 정보를 바탕으로 기 설정된 레벨만큼 디스플레이 장치(100)에서 출력되는 오디오의 볼륨 레벨을 증가시키는 기능을 수행할 수 있다. 그리고, 디스플레이 장치(100)는 대화형 서버(200)로부터 전송된 제1 가이드 정보를 디스플레이할 수 있다.Meanwhile, when the user voice is not a command previously stored in the display device 100, the display device 100 may perform the function of the display device 100 according to control information transmitted from the interactive server 200. For example, when the pre-stored command is "Raise the volume" or the user utters "Raise the volume", the display device 100 is based on the control information transmitted from the interactive server 200 as much as a preset level. The function of increasing the volume level of audio output from the display device 100 may be performed. Then, the display apparatus 100 may display the first guide information transmitted from the interactive server 200.

사용자 음성이 디스플레이 장치(100)에 기 저장된 명령어인 경우, 디스플레이 장치(100)는 대화형 서버(200)로부터 전송되는 제어 정보와 무관하게 기 저장된 명령어와 대응되는 제어 정보를 검색할 수 있다. 그리고, 디스플레이 장치(100)는 제어 정보에 따라 디스플레이 장치(100)의 기능을 수행할 수 있다. 예를 들어, 디스플레이 장치(100)에 기저장된 명령어인 "볼륨 올려"라는 사용자 음성이 입력된 경우, 디스플레이 장치(100)는 기 저장된 명령어에 대응되는 제어 정보를 검색하고, 검색된 제어 정보에 따라 디스플레이 장치(100)의 오디오 레벨을 기설정된 레벨만큼 증가시키는 기능을 수행할 수 있다.When the user voice is a command pre-stored in the display device 100, the display device 100 may search for control information corresponding to the pre-stored command regardless of the control information transmitted from the interactive server 200. Then, the display device 100 may perform a function of the display device 100 according to control information. For example, when a user voice of "Volume up" which is a pre-stored command is input to the display device 100, the display device 100 searches for control information corresponding to the pre-stored command and displays it according to the searched control information. A function of increasing the audio level of the device 100 by a predetermined level may be performed.

특히, 사용자 음성이 디스플레이 장치(100)에 기 저장된 명령어이나, 복수의 계층 구조를 가지는 디스플레이 장치의 기능을 수행하기 위한 명령어인 경우, 디스플레이 장치(100)는 사용자 음성과 동일한 기능을 수행할 수 있는 대화형 명령어를 안내하는 제2 가이드 정보를 디스플레이할 수 있다. 이는 기저장된 명령어를 이용하여 복수의 계층 구조를 가지는 디스플레이 장치의 기능을 수행하는 경우, 여러 번의 사용자 음성을 입력받아야 하는 불편함이 존재하므로, 한 번의 대화형 명령을 통해 더욱 간편하게 디스플레이 장치(100)의 기능을 제어할 수 있게 하기 위함이다.In particular, when the user voice is a command previously stored in the display device 100 or a command for performing a function of a display device having a plurality of hierarchical structures, the display device 100 can perform the same function as the user voice. The second guide information that guides the interactive command may be displayed. When performing a function of a display device having a plurality of hierarchical structures by using pre-stored commands, there is an inconvenience in receiving multiple user voices, so the display device 100 is more easily processed through one interactive command. This is to be able to control the function of.

상술한 바와 같이 더욱 효율적이고 신속한 음성 인식 방법을 안내하는 가이드 정보를 제공함으로써, 사용자는 더욱 효율적이고 신속하게 디스플레이 장치(100)를 제어할 수 있게 된다.As described above, by providing guide information that guides a more efficient and rapid voice recognition method, a user can control the display apparatus 100 more efficiently and quickly.

한편, 상술한 실시예에서는 사용자 음성이 기 저장된 명령어인지 여부와 무관하게 사용자 음성이 대화형 서버(200)로 전송되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 사용자 음성이 기 저장된 명령어가 아닌 경우에만 사용자 음성을 대화형 서버(200)로 전송할 수 있다.On the other hand, in the above-described embodiment, it was described that the user voice is transmitted to the interactive server 200 regardless of whether the user voice is a pre-stored command, but this is only an example, and the user voice is not a pre-stored command. Only when the user voice can be transmitted to the interactive server (200).

이하에서는 도 2 내지 도 7을 참조하여 디스플레이 장치(100)에 대해 더욱 상세히 설명하기로 한다. 도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 구성을 나타내는 블럭도이다. 디스플레이 장치(100)는 음성 입력부(110), 통신부(120), 저장부(130), 디스플레이부(140) 및 제어부(150)를 포함한다.Hereinafter, the display apparatus 100 will be described in more detail with reference to FIGS. 2 to 7. 2 is a block diagram showing the configuration of a display device 100 according to an embodiment of the present invention. The display device 100 includes a voice input unit 110, a communication unit 120, a storage unit 130, a display unit 140, and a control unit 150.

한편, 도 2는 디스플레이 장치(100)가 음성 인식 기능, 통신 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.On the other hand, Figure 2, for example, the display device 100 is a device having various functions such as a voice recognition function, a communication function, a display function, and the like, and shows various components in a comprehensive manner. Accordingly, according to an embodiment, some of the components illustrated in FIG. 2 may be omitted or changed, and other components may be further added.

음성 입력부(110)는 사용자 음성이 포함된 오디오 신호를 입력받고, 오디오 신호를 처리하여 사용자 음성 신호를 생성한다. 이때, 음성 입력부(110)는 디스플레이 장치(100)의 본체에 구비될 수 있으나, 이는 일 실시예에 불과할 뿐, 본체의 외부(예를 들어, 리모컨 또는 별도의 마이크 등)에 구비될 수 있다. 음성 입력부(110)가 본체의 외부에 구비되는 경우, 음성 입력부(110)는 유/무선 인터페이스(예를 들어, Wi-Fi, 블루투스 등)을 통해 생성된 사용자 음성 신호를 디스플레이 장치(100)의 본체에 전송할 수 있다.The voice input unit 110 receives an audio signal including a user voice and processes the audio signal to generate a user voice signal. At this time, the voice input unit 110 may be provided on the main body of the display device 100, but this is only an example, and may be provided on the outside of the main body (for example, a remote control or a separate microphone). When the voice input unit 110 is provided outside the main body, the voice input unit 110 displays the user voice signal generated through the wired / wireless interface (for example, Wi-Fi, Bluetooth, etc.) of the display device 100. It can be transmitted to the body.

음성 입력부(110)가 사용자 음성이 포함된 오디오 신호를 입력받아 사용자 음성 신호를 생성하는 방법에 대해서는 도 3을 참조하여 설명하기로 한다. 도 3은 본 발명의 일 실시예에 따른, 음성 입력부의 구성을 나타내는 블럭도이다. 도 3에 도시된 바와 같이, 음성 입력부(110)는 마이크(111), ADC(Analog-Digital Converter)(112), 에너지 판단부(113), 노이즈 제거부(114) 및 음성신호 생성부(115)를 포함한다. A method of the voice input unit 110 receiving the audio signal including the user voice and generating the user voice signal will be described with reference to FIG. 3. 3 is a block diagram showing the configuration of a voice input unit according to an embodiment of the present invention. 3, the voice input unit 110 includes a microphone 111, an analog-digital converter (ADC) 112, an energy determination unit 113, a noise removal unit 114, and a voice signal generation unit 115 ).

마이크(111)는 사용자 음성이 포함된 아날로그 형태의 오디오 신호를 입력받는다. The microphone 111 receives an analog type audio signal including a user voice.

그리고, ADC(112)는 마이크로부터 입력된 다채널 아날로그 신호를 디지털 신호로 변환한다.In addition, the ADC 112 converts a multi-channel analog signal input from a microphone into a digital signal.

그리고, 에너지 판단부(113)는 변환된 디지털 신호의 에너지를 계산하여, 디지털 신호의 에너지가 기설정된 값 이상인지 여부를 판단한다. 디지털 신호의 에너지가 기설정된 값 이상인 경우, 에너지 판단부(113)는 입력된 디지털 신호를 노이즈 제거부(114)로 전송하고, 디지털 신호의 에너지가 기설정된 값 미만인 경우, 에너지 판단부(113)는 입력된 디지털 신호를 외부로 출력하지 않고, 다른 입력을 기다린다. 이에 의해, 음성 신호가 아닌 소리에 의해 전체 오디오 처리 과정이 활성화되지 않아, 불필요한 전력 소모를 방지할 수 있다.Then, the energy determining unit 113 calculates the energy of the converted digital signal, and determines whether the energy of the digital signal is greater than or equal to a preset value. When the energy of the digital signal is greater than or equal to a preset value, the energy determination unit 113 transmits the input digital signal to the noise removal unit 114, and when the energy of the digital signal is less than a preset value, the energy determination unit 113 Does not output the input digital signal to the outside, and waits for another input. Accordingly, the entire audio processing process is not activated by sound rather than the voice signal, thereby preventing unnecessary power consumption.

노이즈 제거부(114)에 입력된 디지털 신호가 입력된 경우, 노이즈 제거부(114)는 노이즈 성분과 사용자 음성 성분이 포함된 디지털 신호 중 노이즈 성분을 제거한다. 이때, 노이즈 성분은 가정 환경에서 발생할 수 있는 돌발성 잡음으로써, 에어컨 소리, 청소기 소리, 음악 소리 등이 포함될 수 있다. 그리고, 노이즈 제거부(114)는 노이즈 성분이 제거된 디지털 신호를 음성 신호 생성부(115)로 출력한다.When the digital signal input to the noise removing unit 114 is input, the noise removing unit 114 removes the noise component from the digital signal including the noise component and the user voice component. At this time, the noise component is an unexpected noise that may occur in the home environment, and may include air conditioner sounds, cleaner sounds, and music sounds. Then, the noise removing unit 114 outputs the digital signal from which the noise component has been removed to the audio signal generating unit 115.

음성 신호 생성부(115)는 Localization/Speaker Tracking 모듈을 이용하여 음성 입력부(110)를 기준으로 360˚ 범위 내에 존재하는 사용자의 발화 위치를 추적하여 사용자 음성에 대한 방향 정보를 구한다. 그리고, 음성 신호 생성부(115)는 Target Spoken Sound Extraction 모듈을 통해 노이즈가 제거된 디지털 신호와 사용자 음성에 대한 방향 정보를 이용하여 음성 입력부(110)를 기준으로 360˚ 범위 내에 존재하는 목표 음원을 추출하여 음성 신호를 생성할 수 있다.The voice signal generator 115 tracks a user's utterance location existing within a 360 ° range based on the voice input unit 110 using the Localization / Speaker Tracking module to obtain direction information for the user voice. In addition, the voice signal generation unit 115 uses the digital signal from which noise is removed through the Target Spoken Sound Extraction module and direction information for the user's voice to determine a target sound source existing within a 360 ° range based on the voice input unit 110. It can be extracted to generate a voice signal.

한편, 상술한 바와 같이, 불필요한 주변의 노이즈를 제거하여 음성 신호를 생성하는 것은 일 실시예에 불과할 뿐, 사용자 음성에 키워드가 존재하는지 여부를 판단하여 음성 신호를 생성하는 실시예 역시 본 발명의 기술적 사상이 적용될 수 있다.On the other hand, as described above, generating an audio signal by removing unnecessary ambient noise is only one embodiment, and an embodiment of determining whether a keyword exists in the user's voice to generate the audio signal is also a technical aspect of the present invention. Ideas can be applied.

다시 도 2에 대해 설명하면, 통신부(120)는 대화형 서버(200)와 통신을 수행한다. 특히, 통신부(120)는 음성 입력부(110)에서 생성된 사용자 음성 신호를 대화형 서버(200)에 전송하며, 대화형 서버(200)로부터 제어 정보 및 가이드 정보 중 적어도 하나를 수신할 수 있다. 이때, 통신부(120)는 이더넷(Ethernet), 무선랜, Wi-Fi 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.Referring to FIG. 2 again, the communication unit 120 communicates with the interactive server 200. In particular, the communication unit 120 may transmit a user voice signal generated by the voice input unit 110 to the interactive server 200 and receive at least one of control information and guide information from the interactive server 200. At this time, the communication unit 120 may be implemented by Ethernet, wireless LAN, Wi-Fi, etc., but is not limited thereto.

저장부(130)는 디스플레이 장치(100)를 구동하기 위한 다양한 프로그램 및 데이터를 저장하고 있다. 특히, 저장부(130)는 명령어와 제어 정보가 매칭되어 저장되는 음성 인식 데이터베이스를 포함할 수 있다.The storage unit 130 stores various programs and data for driving the display device 100. In particular, the storage unit 130 may include a voice recognition database in which commands and control information are matched and stored.

디스플레이부(130)는 제어부(150)의 제어에 의해 영상 데이터를 디스플레이한다. 특히, 디스플레이부(130)는 기 저장된 가이드 정보 및 대화형 서버(200)로부터 수신된 가이드 정보 중 하나를 디스플레이할 수 있다.The display unit 130 displays image data under the control of the control unit 150. In particular, the display 130 may display one of guide information previously stored and guide information received from the interactive server 200.

제어부(150)는 사용자 명령에 따라 디스플레이 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(150)는 음성 입력부(110)를 통해 입력된 사용자 음성에 따라 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다.The control unit 150 controls the overall operation of the display device 100 according to a user command. In particular, the controller 150 may control the overall operation of the display device 100 according to the user voice input through the voice input unit 110.

구체적으로, 제어부(150)는 음성 입력부(110)를 통해 입력된 사용자 음성이 저장부(130)에 기 저장된 명령어인지 여부를 판단한다. 그와 동시에, 제어부(150)는 사용자 음성을 통신부(120)를 통해 대화형 서버(200)로 전송할 수 있다. 예를 들어, 음성 입력부(110)를 통해 "볼륨을 높여줘"라는 사용자 음성이 입력되면, 제어부(150)는 입력된 "볼륨을 높여줘"가 기 저장된 명령어인지 여부를 판단한다. 그리고, 제어부(150)는 "볼륨을 높여줘"를 외부의 대화형 서버(200)로 전송하도록 통신부(120)를 제어할 수 있다.Specifically, the control unit 150 determines whether the user voice input through the voice input unit 110 is a command pre-stored in the storage unit 130. At the same time, the control unit 150 may transmit the user's voice to the interactive server 200 through the communication unit 120. For example, when a user voice of "Raise the volume" is input through the voice input unit 110, the controller 150 determines whether the input "Raise the volume" is a pre-stored command. In addition, the controller 150 may control the communication unit 120 to transmit “Please increase the volume” to the external interactive server 200.

특히, 사용자 음성이 저장부에 기 저장된 명령어가 아닌 경우, 대화형 서버(200)로부터 사용자 음성에 대응되는 제어 정보 및 사용자 음성과 동일한 기능을 수행할 수 있는 기 저장된 명령어를 안내하는 제1 가이드 정보가 전송되면, 제어부(150)는 대화형 서버(200)로부터 전송된 제어 정보에 따라 디스플레이 장치(100)의 기능을 수행하고, 제1 가이드 정보를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 예를 들어, 사용자 음성이 "볼륨을 높여줘"인 경우, 대화형 서버(200)로부터 "오디오 볼륨 레벨을 기설정된 레벨 증가"라는 제어 정보 및 "볼륨을 높여줘"와 동일한 기능을 수행하며 저장부(130)에 저장된 명령어인 "볼륨 올려"를 안내하는 제1 가이드 정보가 수신되면, 제어부(150)는 오디오 볼륨 레벨을 기설정된 레벨만큼 증가시키는 기능을 수행할 수 있으며, 도 4에 도시된 바와 같이, "다음부터는 "볼륨 올려"로 말해주세요."라는 텍스트 정보가 포함된 제1 가이드 정보(410)를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. In particular, when the user voice is not a pre-stored command in the storage unit, the first guide information guiding the pre-stored command capable of performing the same function as the user voice and control information corresponding to the user voice from the interactive server 200 When is transmitted, the controller 150 may perform the function of the display apparatus 100 according to the control information transmitted from the interactive server 200, and control the display unit 120 to display the first guide information. . For example, when the user's voice is "Turn up the volume", the interactive server 200 performs the same function as "Raise the volume" control information and "Raise the volume level of the audio" from the interactive server 200. When the first guide information for guiding the “volume up”, which is a command stored in 130) is received, the controller 150 may perform a function of increasing the audio volume level by a predetermined level, as shown in FIG. 4. , The display unit 120 may be controlled to display the first guide information 410 including the text information of "Please say" volume up from now on. "

반면, 사용자 음성이 저장부(130)에 기 저장된 명령어인 경우, 제어부(150)는 저장부(130)에 저장된 명령어에 대응되는 제어 정보를 검색하고, 검색된 제어 정보에 따라 디스플레이 장치의 기능을 수행할 수 있다. 예를 들어, 음성 입력부(110)를 통해 입력된 사용자 음성이 "볼륨 올려"인 경우, 제어부(150)는 입력된 사용자 음성인 "볼륨 올려"와 대응되는 제어 정보인 "오디오 볼륨 레벨을 기설정된 레벨 증가"를 검색하고, 검색된 제어 정보에 따라 오디오 볼륨 레벨을 기설정된 레벨만큼 증가시키는 기능을 수행할 수 있다. 이때, 제어부(150)는 외부 대화형 서버(200)로부터 제어 정보가 수신되더라도 우선적으로 임베디드된 명령어에 따라 디스플레이 장치(100)의 기능을 수행할 수 있다. On the other hand, when the user voice is a command previously stored in the storage unit 130, the controller 150 searches for control information corresponding to the command stored in the storage unit 130, and performs a function of the display device according to the searched control information. can do. For example, when the user voice input through the voice input unit 110 is “volume up”, the controller 150 presets the “audio volume level” which is control information corresponding to the input user voice “volume up”. Level increase ", and perform a function of increasing the audio volume level by a preset level according to the searched control information. At this time, even if control information is received from the external interactive server 200, the controller 150 may preferentially perform the function of the display device 100 according to the embedded command.

또한, 음성 입력부(110)를 통해 입력된 사용자 음성이 저장부(130)에 저장된 명령어이며, 사용자 음성이 복수의 계층구조를 가지는 디스플레이 장치의 기능을 제어하기 위한 명령어인 경우, 제어부(150)는 사용자 음성과 동일한 기능을 수행할 수 있는 대화형 명령어를 안내하는 제2 가이드 정보를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 예를 들어, 기 저장된 명령어를 이용하여 디스플레이 장치(100)의 취침 기능을 설정하기 위해, 사용자로부터 "취침 설정"이라는 1단계 사용자 음성이 입력되면, 제어부(150)는 취침 설정을 위한 메뉴를 디스플레이하고, 사용자로부터 "30분"이라는 2단계 사용자 음성이 입력되면, 제어부(150)는 30분 뒤 디스플레이 장치(100)의 전원을 끄는 기능을 수행할 수 있다. 즉, 사용자는 기 저장된 명령어를 이용하여 복수의 계층 구조를 가지는 디스플레이 장치의 기능을 수행하는 경우 복수의 사용자 음성을 입력해야 하는 불편함이 존재한다. 그러나, "30분 후에 깨워줘"라는 대화형 방식의 사용자 음성이 입력된 경우, 제어부(150)는 대화형 서버(200)를 이용하여 복수의 사용자 음성을 입력하는 것과 동일한 기능을 수행할 수 있다. 즉, 복수의 계층 구조를 가지는 디스플레이 장치의 기능을 수행하는 경우, 제어부(150)는 한 번의 사용자 음성을 통해 디스플레이 장치(100)의 기능을 수행할 수 있도록 도 5에 도시된 바와 같은 대화형 명령어를 안내하는 제2 가이드 정보(510)를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.In addition, when the user voice input through the voice input unit 110 is a command stored in the storage unit 130 and the user voice is a command for controlling a function of a display device having a plurality of hierarchies, the control unit 150 The display unit 120 may be controlled to display second guide information that guides an interactive command capable of performing the same function as the user's voice. For example, in order to set a sleep function of the display apparatus 100 using a pre-stored command, when a user's first-step user voice of "sleep setting" is input from the user, the controller 150 displays a menu for setting the sleep. Then, when a two-step user voice of "30 minutes" is input from the user, the controller 150 may perform a function of turning off the power of the display device 100 after 30 minutes. That is, when a user performs a function of a display device having a plurality of hierarchical structures using pre-stored commands, there is a inconvenience in that a plurality of user voices must be input. However, when an interactive user voice "wake up after 30 minutes" is input, the controller 150 may perform the same function as inputting a plurality of user voices using the interactive server 200. . That is, when performing a function of a display device having a plurality of hierarchical structures, the control unit 150 may perform an interactive command as illustrated in FIG. 5 to perform the function of the display device 100 through one user voice. The display 120 may be controlled to display the second guide information 510 guiding the.

뿐만 아니라, 음성 입력부(110)를 통해 입력된 사용자 음성이 대화형 서버(200)에 저장된 대화 패턴이 아닌 경우, 대화형 서버(200)로부터 사용자 음성과 동일한 기능을 수행하면서 대화형 서버(200)에 저장된 대화 패턴에 따르는 사용자 음성을 안내하는 제3 가이드 정보가 전송되면, 제어부(150)는 제3 가이드 정보를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 예를 들어, "바꿔 채널"이라는 사용자 음성이 입력된 경우, 대화형 서버(200)로부터 대화형 서버(200)에 저장된 대화 패턴의 명령어인 "채널을 ooo로 바꿔줘"라는 사용자 음성을 안내하는 제3 가이드 정보가 전송되면, 제어부(150)는 도 6에 도시된 바와 같은 제3 가이드 정보(610)를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.In addition, when the user voice input through the voice input unit 110 is not a conversation pattern stored in the interactive server 200, the interactive server 200 performs the same function as the user voice from the interactive server 200 When the third guide information for guiding the user's voice according to the conversation pattern stored in is transmitted, the control unit 150 may control the display unit 120 to display the third guide information. For example, when a user voice of “replace channel” is input, a method for guiding a user voice of “change channel to ooo” that is a command of a conversation pattern stored in the interactive server 200 from the interactive server 200 3 When the guide information is transmitted, the control unit 150 may control the display unit 120 to display the third guide information 610 as illustrated in FIG. 6.

또는, 음성 입력부(110)를 통해 입력된 사용자 음성이 대화형 서버(200)가 응답할 수 없는 대화형 음성인 경우, 대화형 서버(200)로부터 사용자 음성에 포함된 키워드와 관련된 정보를 안내하는 제4 가이드 정보가 전송되면, 제어부(150)는 제4 가이드 정보를 디스플레이부(120)에 디스플레이하도록 제어할 수 있다. 예를 들어, 음성 입력부(110)를 통해 "유재석 어때"라는 사용자 음성이 입력된 경우, 대화형 서버(200)는 입력된 사용자 음성을 통해 응답 정보를 생성할 수 없으므로, 입력된 사용자 음성으로부터 키워드인 "유재석"을 추출하고, 추출된 키워드와 관련된 정보(예를 들어, 직업, 출연작 등)를 안내하는 제4 가이드 정보를 생성하여 디스플레이 장치(100)로 전송할 수 있다. 대화형 서버(200)로부터 제4 가이드 정보가 디스플레이되면, 제어부(150)는 도 7에 도시된 바와 같은 제4 가이드 정보(710)를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 또 다른 예로, 음성 입력부(110)를 통해 "맛집 갈까"라는 사용자 음성이 입력된 경우, 대화형 서버(200)는 입력된 사용자 음성을 통해 응답 정보를 생성할 수 없으므로, 입력된 사용자 음성으로부터 키워드인 "맛집"을 추출하고, 추출된 키워드와 관련된 정보(예를 들어, 오늘의 추천 맛집)를 안내하는 제 4 가이드 정보를 생성하여 디스플레이 장치(100)로 전송할 수 있다. Alternatively, when the user voice input through the voice input unit 110 is an interactive voice that the interactive server 200 cannot respond to, the interactive server 200 guides information related to keywords included in the user voice. When the fourth guide information is transmitted, the control unit 150 may control the fourth guide information to be displayed on the display unit 120. For example, when the user voice “How about Yoo Jae-suk” is input through the voice input unit 110, the interactive server 200 cannot generate response information through the input user voice, and thus the keyword from the input user voice The "Yoo Jae-seok" can be extracted, and fourth guide information that guides information related to the extracted keyword (eg, job, appearance, etc.) can be generated and transmitted to the display device 100. When the fourth guide information is displayed from the interactive server 200, the control unit 150 may control the display unit 120 to display the fourth guide information 710 as illustrated in FIG. 7. As another example, when a user voice of “go to go” is input through the voice input unit 110, since the interactive server 200 cannot generate response information through the input user voice, a keyword from the input user voice Extracting the "restaurant", and generating the fourth guide information to guide the information related to the extracted keyword (for example, recommended restaurants of the day) can be transmitted to the display device 100.

이때, 제4 가이드 정보(710)는 키워드와 관련된 정보뿐만 아니라, 새로운 사용자 음성의 입력을 요구하는 메시지를 포함할 수 있다.In this case, the fourth guide information 710 may include not only information related to keywords, but also a message requesting input of a new user voice.

상술한 바와 같은 디스플레이 장치(100)에 의해, 사용자는 음성 인식을 이용하여 더욱 효율적이고 신속하게 디스플레이 장치(100)를 제어할 수 있게 된다.By the display device 100 as described above, the user can control the display device 100 more efficiently and quickly using voice recognition.

*도 8은 본 발명의 일 실시예에 따른, 대화형 서버(200)의 구성을 나타내는 블럭도이다. 도 8에 도시된 바와 같이, 대화형 서버(200)는 통신부(210), 데이터베이스(220) 및 제어부(230)를 포함한다.* Figure 8 is a block diagram showing the configuration of the interactive server 200, according to an embodiment of the present invention. As illustrated in FIG. 8, the interactive server 200 includes a communication unit 210, a database 220, and a control unit 230.

통신부(210)는 디스플레이 장치(100)와 통신을 수행한다. 특히, 통신부(210)디스플레이 장치(100)로부터 사용자 음성 신호를 수신하며, 제어 정보 및 가이드 정보 중 적어도 하나를 디스플레이 장치(100)로 전송할 수 있다. 이때, 통신부(120)는 이더넷(Ethernet), 무선랜, Wi-Fi 등과 같은 통신 방식을 이용하여 디스플레이 장치(100)와 통신을 수행할 수 있다.The communication unit 210 communicates with the display device 100. In particular, the communication unit 210 may receive a user voice signal from the display device 100, and transmit at least one of control information and guide information to the display device 100. In this case, the communication unit 120 may communicate with the display device 100 using a communication method such as Ethernet, wireless LAN, Wi-Fi, and the like.

데이터베이스(220)는 대화형 음성을 이용하여 디스플레이 장치(100)의 기능을 제어하거나 컨텐츠를 검색하기 위하여, 다양한 데이터를 저장한다. 특히, 데이터베이스(220)는 사용자 음성 이력 정보 및 EPG 정보와 같은 정보를 저장할 수 있다. 또한, 데이터베이스(22)는 사용자 음성 및 제어 정보를 매칭하여 저장할 수 있다.The database 220 stores various data in order to control functions of the display device 100 or search for content using interactive voice. In particular, the database 220 may store information such as user voice history information and EPG information. In addition, the database 22 may match and store user voice and control information.

또한, 대화형 서버(200)가 제1 가이드 정보를 제공할 수 있도록 데이터베이스(220)는 디스플레이 장치(100)에 기 저장된 명령어와 유사한 명령어를 표 1과 같이, 저장할 수 있다. In addition, the database 220 may store commands similar to commands previously stored in the display device 100, as shown in Table 1, so that the interactive server 200 can provide the first guide information.

디스플레이 장치에 기 저장된 명령어Commands pre-stored in the display device 유사 명령어Similar instruction 볼륨 올려Turn up the volume 볼륨 높여, 볼륨 키워, 볼륨 증가, 소리 키워, 소리 높여, 크게 틀어줘 등Volume up, volume up, volume up, volume up, volume up, loud 음소거Mute 소리 꺼, 볼륨 꺼 등등Sound off, volume off, etc.

제어부(230)는 대화형 서버(200)의 전반적인 동작을 제어한다. 특히, 디스플레이 장치(100)로부터 사용자 음성이 수신되면, 제어부(230)는 사용자 음성에 대응되는 제어 정보를 검색한다. 구체적으로, 제어부(230)는 사용자 음성을 텍스트 정보로 변환한 후, 사용자 음성의 발화 요소를 분류할 수 있다. 그리고, 제어부(230)는 발화 요소를 이용하여 사용자 음성이 디스플레이 장치(100)의 기능을 제어하기 위한 사용자 음성인지, 컨텐츠 검색을 위한 사용자 음성인지 여부를 판단할 수 있다. 그리고, 사용자 음성이 디스플레이 장치(100)의 기능을 제어하기 위한 사용자 음성인 경우, 제어부(230)는 데이터베이스(220)를 이용하여 사용자 음성에 대응되는 제어 정보를 검색할 수 있다.The control unit 230 controls the overall operation of the interactive server 200. In particular, when a user voice is received from the display device 100, the control unit 230 searches for control information corresponding to the user voice. Specifically, after converting the user's voice into text information, the control unit 230 may classify the utterance element of the user's voice. In addition, the control unit 230 may determine whether the user voice is a user voice for controlling the function of the display apparatus 100 or a user voice for content search using the utterance element. In addition, when the user voice is a user voice for controlling the function of the display device 100, the control unit 230 may search for control information corresponding to the user voice using the database 220.

제어부(230)는 사용자 음성에 대응되는 제어 정보를 검색하는 동안 제어 정보와 동일한 기능을 수행할 수 있는 디스플레이 장치(100)에 기저장된 명령어가 있는지 여부를 판단한다. 그리고, 제어 정보와 동일한 기능을 수행할 수 있는 디스플레이 장치(100)에 기저장된 명령어가 존재하는 경우, 제어부(230)는 기 저장된 명령어를 안내하는 제1 가이드 정보를 생성하여 제어 정보와 함께 디스플레이 장치(100)에 전송하도록 통신부(210)를 제어할 수 있다. 예를 들어, 사용자 음성이 "볼륨 높여"인 경우, 제어부(230)는 "볼륨 높여"와 동일한 기능을 수행할 수 있는 디스플레이 장치(100)에 기 저장된 명령어가 있는지 여부를 검색하고, "볼륨 높여"와 동일한 기능을 수행하면서 디스플레이 장치(100)에 기 저장된 명령어인 "볼륨 올려"를 안내하는 제1 가이드 정보를 생성할 수 있다.The controller 230 determines whether there is a pre-stored command in the display device 100 capable of performing the same function as the control information while searching for control information corresponding to the user's voice. In addition, when a pre-stored command exists in the display device 100 capable of performing the same function as the control information, the control unit 230 generates first guide information for guiding the pre-stored command and displays the control device together with the control information. The communication unit 210 may be controlled to transmit to the (100). For example, if the user's voice is "Volume up", the controller 230 searches for a command stored in the display device 100 capable of performing the same function as "Volume up" and "Volume up" While performing the same function as ", it is possible to generate first guide information that guides" up the volume "which is a command pre-stored in the display device 100.

또한, 디스플레이 장치(100)로부터 전송된 사용자 음성이 대화형 서버(200)에 저장된 대화 패턴이 아닌 경우, 제어부(230)는 사용자 음성과 동일한 기능을 수행하면서 대화형 서버(200)에 저장된 대화 패턴에 따르는 사용자 음성을 안내하는 제3 가이드 정보를 생성하여 디스플레이 장치로 전송하도록 통신부(210)를 제어할 수 있다. 예를 들어, "바꿔 채널"이라는 사용자 음성이 입력된 경우, 제어부(230)는 데이터베이스(220)에 저장된 대화 패턴이 아님을 판단한다. 그리고, 제어부(230)는 데이터베이스(220)에 저장된 대화 패턴으로 사용자가 발화하는 것을 유도하기 위해, "채널을 ooo로 바꿔줘"라는 사용자 음성을 안내하는 제3 가이드 정보를 생성할 수 있다.In addition, when the user voice transmitted from the display device 100 is not a conversation pattern stored in the interactive server 200, the control unit 230 performs the same function as the user voice and the conversation pattern stored in the interactive server 200 The communication unit 210 may be controlled to generate third guide information for guiding a user's voice according to and transmit it to the display device. For example, when a user voice of “replace channel” is input, the controller 230 determines that the conversation pattern stored in the database 220 is not. In addition, the control unit 230 may generate third guide information for guiding the user's voice of “switch the channel to ooo” to induce the user to speak with a conversation pattern stored in the database 220.

또한, 디스플레이 장치(100)로부터 전송된 사용자 음성이 대화형 서버(200)가 응답할 수 없는 대화형 음성인 경우, 제어부(230)는 대화형 사용자 음성으로부터 키워드를 추출하고, 키워드와 관련된 정보를 안내하는 제4 가이드 정보를 생성하여 디스플레이 장치(100)로 전송하도록 통신부(210)를 제어할 수 있다.In addition, when the user voice transmitted from the display device 100 is an interactive voice that the interactive server 200 cannot respond to, the control unit 230 extracts a keyword from the interactive user voice and extracts information related to the keyword. The communication unit 210 may be controlled to generate guide 4th guide information and transmit it to the display apparatus 100.

예를 들어, 디스플레이 장치(100)로부터 "유재석 어때"라는 사용자 음성이 전송된 경우, 제어부(230)는 입력된 사용자 음성을 통해 응답 정보를 생성할 수 없으므로, 입력된 사용자 음성으로부터 키워드인 "유재석"을 추출하고, 추출된 키워드와 관련된 정보(예를 들어, 직업, 출연작 등)를 안내하는 제4 가이드 정보를 생성하여 디스플레이 장치(100)로 전송할 수 있다. 또 다른 예로, 디스플레이 장치(100)로부터 "맛집 갈까"라는 사용자 음성이 입력된 경우, 제어부(230)는 입력된 사용자 음성을 통해 응답 정보를 생성할 수 없으므로, 입력된 사용자 음성으로부터 키워드인 "맛집"을 추출하고, 추출된 키워드와 관련된 정보(예를 들어, 오늘의 추천 맛집)를 안내하는 제 4 가이드 정보를 생성하여 디스플레이 장치(100)로 전송할 수 있다. For example, when a user voice of "Yoo Jae-suk" is transmitted from the display device 100, since the control unit 230 cannot generate response information through the input user voice, the keyword "Yoo Jae-suk" from the input user voice ", The fourth guide information guiding information related to the extracted keyword (eg, job, appearance, etc.) may be generated and transmitted to the display device 100. As another example, when a user voice of “Do you want to go to restaurant” is input from the display device 100, since the control unit 230 cannot generate response information through the input user voice, the keyword “Taste restaurant” is input from the input user voice. ", And generate fourth guide information that guides information related to the extracted keyword (for example, a recommended restaurant of the day) and transmits the generated information to the display device 100.

상술한 바와 같이 대화형 서버(200)가 다양한 가이드 정보를 제공함으로써, 사용자는 음성 인식을 이용하여 더욱 효율적이고 신속하게 디스플레이 장치(100)의 기능을 제어할 수 있게 된다.As described above, since the interactive server 200 provides various guide information, the user can control the functions of the display apparatus 100 more efficiently and quickly using voice recognition.

도 9는 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a control method of the display apparatus 100 according to an embodiment of the present invention.

디스플레이 장치(100)는 사용자 음성을 입력받는다(S910). 이때, 사용자 음성은 볼륨 제어, 채널 제어, 전원 제어와 같은 디스플레이 장치(100)의 기능을 제어하기 위한 명령어일 수 있다.The display apparatus 100 receives a user voice (S910). At this time, the user voice may be a command for controlling functions of the display device 100 such as volume control, channel control, and power control.

그리고, 디스플레이 장치(100)는 사용자 음성을 대화형 서버(200)로 전송한다(S920). 그리고, 디스플레이 장치(100)는 사용자 음성이 기 저장된 명령어인지 여부를 판단한다(S930). 이때, S920 단계 및 S930 단계는 동시에 수행될 수 있다.Then, the display apparatus 100 transmits the user's voice to the interactive server 200 (S920). Then, the display device 100 determines whether the user voice is a pre-stored command (S930). At this time, steps S920 and S930 may be performed simultaneously.

사용자 음성이 기 저장된 명령어인 경우(S930-Y), 디스플레이 장치(100)는 기 저장된 명령어에 따라 디스플레이 장치(100)의 기능을 수행한다(S940).When the user voice is a pre-stored command (S930-Y), the display device 100 performs a function of the display device 100 according to the pre-stored command (S940).

사용자 음성이 기 저장된 명령어가 아닌 경우, 디스플레이 장치(100)는 대화형 서버(200)로부터 제어 정보 및 제1 가이드 정보를 수신한다(S950). 이때, 제1 가이드 정보는 사용자 음성과 동일한 기능을 수행하면서 디스플레이 장치(100)에 기 저장된 명령어를 안내하는 정보일 수 있다.If the user voice is not a pre-stored command, the display apparatus 100 receives control information and first guide information from the interactive server 200 (S950). In this case, the first guide information may be information guiding a command pre-stored in the display apparatus 100 while performing the same function as a user voice.

디스플레이 장치(100)는 수신된 제어 정보에 따라 디스플레이 장치의 기능을 수행하고, 제1 가이드 정보를 디스플레이한다(S960).The display apparatus 100 performs a function of the display apparatus according to the received control information and displays first guide information (S960).

한편, 기저장된 명령어에 따라 디스플레이 장치(100)의 기능을 수행하는 경우, 디스플레이 장치(100)는 디스플레이 장치(100)의 복수의 계층 구조를 가지는 디스플레이 장치(100)의 기능인지 여부를 판단한다(S970).On the other hand, when performing the function of the display device 100 according to a pre-stored command, the display device 100 determines whether it is a function of the display device 100 having a plurality of hierarchical structures of the display device 100 ( S970).

복수의 계층 구조를 가지는 디스플레이 장치(100)의 기능인 경우(S970-Y), 디스플레이 장치(100)는 제2 가이드 정보를 디스플레이한다(S980). 이때, 제2 가이드 정보는 사용자 음성과 동일한 기능을 수행하면서 대화형 서버(200)를 이용할 수 있는 대화형 명령어를 안내하는 정보일 수 있다.When it is a function of the display device 100 having a plurality of hierarchical structures (S970-Y), the display device 100 displays second guide information (S980). At this time, the second guide information may be information that guides an interactive command that can use the interactive server 200 while performing the same function as a user voice.

도 10은 본 발명의 일 실시예에 따른, 음성 인식 시스템의 디스플레이 장치 제어 방법을 설명하기 위한 시퀀스도이다. 10 is a sequence diagram illustrating a method of controlling a display device of a speech recognition system according to an embodiment of the present invention.

우선, 디스플레이 장치(100)는 사용자 음성을 입력받는다(S1010).First, the display apparatus 100 receives a user voice (S1010).

그리고, 디스플레이 장치(100)는 입력된 사용자 음성을 대화형 서버(200)로 전송한다(S1020). 그와 동시에, 디스플레이 장치(100)는 사용자 음성이 기 저장된 명령어인지 여부를 판단한다(S1030).Then, the display apparatus 100 transmits the input user voice to the interactive server 200 (S1020). At the same time, the display apparatus 100 determines whether the user voice is a pre-stored command (S1030).

대화형 서버(200)는 사용자 음성에 대응되는 제어 정보 및 가이드 정보를 생성한다(S1040). 구체적으로, 대화형 서버(200)는 사용자 음성의 발화 요소를 분석하여 사용자 음성에 대응되는 제어 정보를 생성할 수 있으며, 사용자 음성의 유형에 따라 다양한 가이드 정보를 생성할 수 있다. 예를 들어, 사용자 음성이 디스플레이 장치(100)에 기 저장된 명령어가 아닌 경우, 대화형 서버(200)는 사용자 음성과 동일한 기능을 수행할 수 있는 디스플레이 장치에 기 저장된 명령어를 안내하는 제1 가이드 정보를 생성할 수 있다. 또는, 사용자 음성이 대화형 서버(200)에 저장된 대화 패턴이 아닌 경우, 대화형 서버(200)는 사용자 음성과 동일한 기능을 수행하면서 대화형 서버에 저장된 대화 패턴에 따르는 사용자 음성을 안내하는 제3 가이드 정보를 생성할 수 있다. 또는, 사용자 음성이 대화형 서버가 응답할 수 없는 대화형 음성인 경우, 대화형 서버(200)는 사용자 음성으로부터 키워드를 추출하여 키워드와 관련된 정보를 안내하는 제4 가이드 정보를 생성할 수 있다.The interactive server 200 generates control information and guide information corresponding to the user's voice (S1040). Specifically, the interactive server 200 may generate the control information corresponding to the user voice by analyzing the speech element of the user voice, and may generate various guide information according to the type of the user voice. For example, if the user's voice is not a command previously stored in the display device 100, the interactive server 200 first guide information for guiding a pre-stored command in a display device capable of performing the same function as the user's voice Can generate Alternatively, if the user's voice is not a conversation pattern stored in the interactive server 200, the interactive server 200 performs the same function as the user's voice and guides the user's voice according to the conversation pattern stored in the interactive server Guide information can be generated. Alternatively, when the user voice is an interactive voice that the interactive server cannot respond to, the interactive server 200 may extract keywords from the user voice to generate fourth guide information that guides information related to the keyword.

그리고, 대화형 서버(200)는 제어 정보 및 가이드 정보를 디스플레이 장치(100)로 전송한다(S1050).Then, the interactive server 200 transmits control information and guide information to the display device 100 (S1050).

디스플레이 장치(100)는 사용자 음성에 따라 디스플레이 장치의 기능을 수행하고, 가이드 정보를 디스플레이한다(S1060). 구체적으로, 디스플레이 장치(100)는 사용자 음성이 기 저장된 명령어인지 여부에 따라 상이한 제어 정보를 이용하여 디스플레이 장치(100)의 기능을 수행할 수 있다. 사용자 음성이 기 저장된 명령어인 경우, 디스플레이 장치(100)는 기 저장된 명령어에 대응되는 제어 정보를 검색하여 검색된 제어 정보에 따라 디스플레이 장치(100)의 기능을 수행할 수 있다. 반면, 사용자 음성이 기 저장된 명령어가 아닌 경우, 디스플레이 장치(100)는 대화형 서버(200)로부터 전송된 제어 정보에 따라 디스플레이 장치(100)의 기능을 수행할 수 있다. 또한, 디스플레이 장치(100)는 사용자가 더욱 효율적이고 신속하게 음성 인식을 수행할 수 있도록 도 4 내지 도 7에서 설명한 바와 같은 가이드 정보(410,510,610,710)를 디스플레이할 수 있다.The display apparatus 100 performs a function of the display apparatus according to the user's voice, and displays guide information (S1060). Specifically, the display apparatus 100 may perform a function of the display apparatus 100 using different control information according to whether the user voice is a pre-stored command. When the user voice is a pre-stored command, the display device 100 may search for control information corresponding to the pre-stored command and perform a function of the display device 100 according to the searched control information. On the other hand, when the user voice is not a pre-stored command, the display device 100 may perform the function of the display device 100 according to control information transmitted from the interactive server 200. In addition, the display apparatus 100 may display guide information 410, 510, 610, 710 as described in FIGS. 4 to 7 so that the user can perform speech recognition more efficiently and quickly.

상술한 바와 같이, 효율적인 음성 인식을 위한 가이드 정보를 제공함으로써, 사용자는 음성 인식을 이용하여 더욱 효율적이고 신속하게 디스플레이 장치의 기능을 수행할 수 있게 된다.As described above, by providing guide information for efficient speech recognition, a user can perform functions of the display device more efficiently and quickly by using speech recognition.

한편, 상술한 실시예에서는 대화형 서버(200)가 하나의 서버로 구현되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 복수의 서버로 구현될 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 대화형 서버(200)는 입력된 사용자 음성을 텍스트 정보로 변환하는 제1 대화형 서버(200-1) 및 텍스트 정보에 따라 제어 정보 및 제1 가이드 정보를 생성하는 제2 대화형 서버(200-2)를 포함할 수 있다. 이 경우, 디스플레이 장치(100)는 입력된 사용자 음성을 제1 대화형 서버(200-1)로 전송하며, 제1 대화형 서버(200-1)로부터 전송된 텍스트 정보를 제2 대화형 서버(200-2)로 전송할 수 있다. 제2 대화형 서버(200-2)는 전송된 텍스트 정보를 이용하여 도 8에서 설명한 바와 같이, 제어 정보 및 가이드 정보 중 적어도 하나를 생성할 수 있다. Meanwhile, in the above-described embodiment, the interactive server 200 is described as being implemented as one server, but this is only an embodiment, and may be implemented as a plurality of servers. For example, as shown in FIG. 11, the interactive server 200 controls the control information and the first guide according to the first interactive server 200-1 and text information that converts the input user voice into text information. It may include a second interactive server (200-2) for generating information. In this case, the display apparatus 100 transmits the input user voice to the first interactive server 200-1, and transmits text information transmitted from the first interactive server 200-1 to the second interactive server ( 200-2). The second interactive server 200-2 may generate at least one of control information and guide information, as described in FIG. 8, using the transmitted text information.

이상과 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.The program code for performing the control method according to the various embodiments as described above may be stored in a non-transitory computer readable medium. The non-transitory readable medium means a medium that stores data semi-permanently and that can be read by a device, rather than a medium that stores data for a short time, such as registers, caches, and memory. Specifically, the various applications or programs described above may be stored and provided in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.

110: 음성 입력부 120: 통신부
130: 저장부 140: 디스플레이부
150: 제어부110: voice input unit 120: communication unit
130: storage unit 140: display unit
150: control unit

Claims (21)

디스플레이 장치의 제어 방법에 있어서,
상기 디스플레이 장치를 제어하기 위한 사용자 음성을 입력받는 단계;
상기 사용자 음성이 상기 상기 디스플레이 장치에 기 저장된 명령어인지 판단하면서, 상기 사용자 음성을 대화형 서버로 전송하는 단계;
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인 경우, 상기 기 저장된 명령어에 따라 상기 디스플레이 장치의 기능을 수행하는 단계; 및
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어가 아닌 경우, 상기 대화형 서버로부터 수신된 상기 사용자 음성에 대응되는 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하고, 상기 사용자 음성과 동일한 기능을 수행할 수 있는 기 저장된 명령어를 안내하는 제1 가이드 정보를 디스플레이하는 단계;를 포함하고,
상기 제1 가이드 정보는 상기 대화형 서버로부터 수신되고,
상기 사용자 음성은 상기 디스플레이 장치에 기 저장된 명령어인지 여부와 무관하게 상기 대화형 서버로 전송되는 것을 특징으로 하는 제어 방법.
In the control method of the display device,
Receiving a user voice for controlling the display device;
Determining whether the user voice is a command pre-stored in the display device, and transmitting the user voice to an interactive server;
If the user voice is a command pre-stored in the display device, performing a function of the display device according to the pre-stored command; And
When the user voice is not a command previously stored in the display device, the display device performs a function according to control information corresponding to the user voice received from the interactive server, and performs the same function as the user voice. And displaying first guide information for guiding the pre-stored command.
The first guide information is received from the interactive server,
The user voice is transmitted to the interactive server irrespective of whether the command is pre-stored in the display device.
제1항에 있어서,
상기 대화형 서버는,
상기 사용자 음성에 대응되는 제어 정보를 검색하고,
상기 사용자 음성에 대응되는 제어 정보를 검색하는 동안 상기 제어 정보와 동일한 기능을 수행할 수 있는 상기 디스플레이 장치에 기 저장된 명령어가 있는지 여부를 판단하며,
상기 제어 정보와 동일한 기능을 수행할 수 있는 상기 디스플레이 장치에 기 저장된 명령어가 있는 경우, 상기 기 저장된 명령어를 안내하는 제1 가이드 정보를 생성하여 상기 제어 정보와 함께 상기 디스플레이 장치에 전송하는 것을 특징으로 하는 제어 방법.
According to claim 1,
The interactive server,
Search for control information corresponding to the user voice,
While searching for control information corresponding to the user voice, it is determined whether there is a pre-stored command in the display device capable of performing the same function as the control information,
When there is a pre-stored command in the display device capable of performing the same function as the control information, the first guide information for guiding the pre-stored command is generated and transmitted to the display device together with the control information Control method.
제1항에 있어서,
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인 경우, 기 저장된 명령어에 대응되는 제어 정보를 검색하는 단계; 및
상기 검색된 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하는 단계;를 더 포함하는 제어 방법.
According to claim 1,
If the user voice is a command pre-stored in the display device, retrieving control information corresponding to the pre-stored command; And
And performing a function of the display device according to the searched control information.
제3항에 있어서,
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어이며, 상기 사용자 음성이 복수의 계층구조를 가지는 디스플레이 장치의 기능을 제어하기 위한 명령어인 경우, 상기 사용자 음성과 동일한 기능을 수행할 수 있는 대화형 명령어를 안내하는 제2 가이드 정보를 디스플레이하는 단계;를 더 포함하는 제어 방법.
According to claim 3,
When the user voice is a command pre-stored in the display device, and the user voice is a command for controlling a function of a display device having a plurality of hierarchical structures, an interactive command capable of performing the same function as the user voice is issued. And displaying the guided second guide information.
제1항에 있어서,
상기 대화형 서버는,
상기 사용자 음성을 텍스트 정보로 변환하는 제1 대화형 서버 및 상기 텍스트 정보에 따라 제어 정보 및 제1 가이드 정보를 생성하는 제2 대화형 서버를 포함하는 것을 특징으로 하는 제어 방법.
According to claim 1,
The interactive server,
And a first interactive server converting the user's voice into text information and a second interactive server generating control information and first guide information according to the text information.
디스플레이 장치에 있어서,
상기 디스플레이 장치를 제어하기 위한 사용자 음성을 입력받는 음성 입력부;
대화형 서버와 통신을 수행하는 통신부;
명령어와 제어 정보를 매칭하여 저장하는 저장부;
디스플레이부; 및
상기 음성 입력부를 통해 입력된 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인지 판단하면서, 상기 사용자 음성을 대화형 서버로 전송하도록 상기 통신부를 제어하고,
상기 사용자 음성이 상기 저장부에 기 저장된 명령어인 경우, 상기 기 저장된 명령어에 따라 상기 디스플레이 장치의 기능을 수행하고,
상기 사용자 음성이 상기 저장부에 기 저장된 명령어가 아닌 경우, 상기 대화형 서버로부터 수신된 상기 사용자 음성에 대응되는 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하고,
상기 사용자 음성과 동일한 기능을 수행할 수 있는 기 저장된 명령어를 안내하는 제1 가이드 정보를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하고,
상기 사용자 음성은 상기 디스플레이 장치에 기 저장된 명령어인지 여부와 무관하게 상기 대화형 서버로 전송되는 것을 특징으로 하는 디스플레이 장치
In the display device,
A voice input unit that receives a user voice for controlling the display device;
A communication unit performing communication with an interactive server;
A storage unit matching and storing command and control information;
Display unit; And
Controlling the communication unit to transmit the user voice to the interactive server while determining whether the user voice input through the voice input unit is a command pre-stored in the display device,
When the user voice is a pre-stored command in the storage unit, performs a function of the display device according to the pre-stored command,
If the user voice is not a command previously stored in the storage unit, performs a function of the display device according to control information corresponding to the user voice received from the interactive server,
Includes a control unit for controlling the display unit to display first guide information guiding a pre-stored command capable of performing the same function as the user voice;
The display device is characterized in that the user voice is transmitted to the interactive server irrespective of whether or not the command is pre-stored in the display device.
제6항에 있어서,
상기 대화형 서버는,
상기 사용자 음성에 대응되는 제어 정보를 검색하고,
상기 사용자 음성에 대응되는 제어 정보를 검색하는 동안 상기 제어 정보와 동일한 기능을 수행할 수 있는 상기 디스플레이 장치에 기저장된 명령어가 있는지 여부를 판단하며,
상기 제어 정보와 동일한 기능을 수행할 수 있는 상기 디스플레이 장치에 기저장된 명령어가 있는 경우, 상기 기 저장된 명령어를 안내하는 제1 가이드 정보를 생성하여 상기 제어 정보와 함께 상기 디스플레이 장치에 전송하는 것을 특징으로 하는 디스플레이 장치.
The method of claim 6,
The interactive server,
Search for control information corresponding to the user voice,
While searching for control information corresponding to the user voice, it is determined whether there is a pre-stored command in the display device capable of performing the same function as the control information,
When there is a pre-stored command in the display device capable of performing the same function as the control information, the first guide information for guiding the pre-stored command is generated and transmitted to the display device together with the control information Display device.
제6항에 있어서,
상기 제어부는,
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인 경우, 기 저장된 명령어에 대응되는 제어 정보를 검색하고,
상기 검색된 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하는 것을 특징으로 하는 디스플레이 장치.
The method of claim 6,
The control unit,
When the user voice is a command pre-stored in the display device, search for control information corresponding to the pre-stored command,
And performing a function of the display device according to the searched control information.
제8항에 있어서,
상기 제어부는
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어이며, 상기 사용자 음성이 복수의 계층구조를 가지는 디스플레이 장치의 기능을 제어하기 위한 명령어인 경우, 상기 사용자 음성과 동일한 기능을 수행할 수 있는 대화형 명령어를 안내하는 제2 가이드 정보를 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 장치.
The method of claim 8,
The control unit
When the user voice is a command pre-stored in the display device, and the user voice is a command for controlling a function of a display device having a plurality of hierarchical structures, an interactive command capable of performing the same function as the user voice is issued. And controlling the display to display guided second guide information.
제6항에 있어서,
상기 대화형 서버는,
상기 사용자 음성을 텍스트 정보로 변환하는 제1 대화형 서버 및 상기 텍스트 정보에 따라 제어 정보 및 제1 가이드 정보를 생성하는 제2 대화형 서버를 포함하고,
상기 제어부는,
상기 입력된 사용자 음성을 상기 제1 대화형 서버로 전송하며, 상기 제1 대화형 서버로부터 전송된 텍스트 정보를 상기 제2 대화형 서버로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
The method of claim 6,
The interactive server,
And a first interactive server that converts the user voice into text information and a second interactive server that generates control information and first guide information according to the text information,
The control unit,
And controlling the communication unit to transmit the input user voice to the first interactive server, and to transmit text information transmitted from the first interactive server to the second interactive server.
대화형 서버 및 디스플레이 장치를 포함하는 음성 인식 시스템의 제어 방법에 있어서,
상기 디스플레이 장치가, 사용자 음성을 입력받는 단계;
상기 디스플레이 장치가 상기 사용자 음성이 상기 상기 디스플레이 장치에 기 저장된 명령어인지 판단하면서, 상기 사용자 음성을 대화형 서버로 전송하는 단계;
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인 경우, 상기 디스플레이 장치가, 상기 기 저장된 명령어에 따라 상기 디스플레이 장치의 기능을 수행하는 단계; 및
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어가 아닌 경우, 상기 디스플레이 장치가, 상기 대화형 서버로부터 수신된 상기 사용자 음성에 대응되는 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하고, 상기 사용자 음성과 동일한 기능을 수행할 수 있는 기 저장된 명령어를 안내하는 제1 가이드 정보를 디스플레이하는 단계;를 포함하고,
상기 제1 가이드 정보는 상기 대화형 서버로부터 수신되고,
상기 사용자 음성은 상기 디스플레이 장치에 기 저장된 명령어인지 여부와 무관하게 상기 대화형 서버로 전송되는 것을 특징으로 하는 제어 방법.
In the control method of the speech recognition system including an interactive server and a display device,
The display device receiving a user voice;
Transmitting the user voice to an interactive server while the display device determines whether the user voice is a command pre-stored in the display device;
When the user voice is a command pre-stored in the display device, the display device performing a function of the display device according to the pre-stored command; And
When the user voice is not a command previously stored in the display device, the display device performs a function of the display device according to control information corresponding to the user voice received from the interactive server. And displaying first guide information for guiding a pre-stored command capable of performing the same function.
The first guide information is received from the interactive server,
The user voice is transmitted to the interactive server irrespective of whether it is a command previously stored in the display device.
제11항에 있어서,
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인 경우, 상기 디스플레이 장치가, 상기 기 저장된 명령어에 대응되는 제어 정보를 검색하는 단계; 및
상기 디스플레이 장치가 상기 검색된 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하는 단계;를 더 포함하는 제어 방법.
The method of claim 11,
If the user voice is a command pre-stored in the display device, the display device retrieving control information corresponding to the pre-stored command; And
And the display device performing a function of the display device according to the searched control information.
제12항에 있어서,
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어이며, 상기 사용자 음성이 복수의 계층구조를 가지는 디스플레이 장치의 기능을 제어하기 위한 명령어인 경우, 상기 디스플레이 장치가, 상기 사용자 음성과 동일한 기능을 수행할 수 있는 대화형 명령어를 안내하는 제2 가이드 정보를 디스플레이하는 단계;를 더 포함하는 제어 방법.
The method of claim 12,
When the user voice is a command pre-stored in the display device, and the user voice is a command for controlling a function of a display device having a plurality of hierarchies, the display device may perform the same function as the user voice. And displaying second guide information that guides the interactive command.
제11항에 있어서,
상기 대화형 서버는,
상기 사용자 음성을 텍스트 정보로 변환하는 제1 대화형 서버 및 상기 텍스트 정보에 따라 제어 정보 및 제1 가이드 정보를 생성하는 제2 대화형 서버를 포함하고,
상기 전송하는 단계는,
상기 디스플레이 장치가, 상기 사용자 음성을 디지털 신호로 변환하는 단계;
상기 디스플레이 장치가, 상기 디지털 신호를 제1 대화형 서버로 전송하는 단계;
상기 제1 대화형 서버가, 상기 디지털 신호에 대응되는 텍스트 정보를 생성하여 상기 디스플레이 장치로 전송하는 단계; 및
상기 디스플레이 장치가, 상기 텍스트 정보를 상기 제2 대화형 서버로 전송하는 단계;를 포함하는 제어 방법.
The method of claim 11,
The interactive server,
And a first interactive server that converts the user voice into text information and a second interactive server that generates control information and first guide information according to the text information,
The transmitting step,
Converting the user voice into a digital signal by the display device;
Transmitting, by the display device, the digital signal to a first interactive server;
Generating, by the first interactive server, text information corresponding to the digital signal and transmitting it to the display device; And
And transmitting, by the display device, the text information to the second interactive server.
제11항에 있어서,
상기 전송하는 단계는,
상기 사용자 음성이 상기 대화형 서버에 저장된 대화 패턴이 아닌 경우, 상기 대화형 서버가, 상기 사용자 음성과 동일한 기능을 수행하면서 상기 대화형 서버에 저장된 대화 패턴에 따르는 사용자 음성을 안내하는 제3 가이드 정보를 생성하여 상기 디스플레이 장치로 전송하는 단계;를 포함하며,
상기 제어 방법은,
상기 디스플레이 장치가 상기 제3 가이드 정보를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
The method of claim 11,
The transmitting step,
If the user voice is not a conversation pattern stored in the interactive server, the interactive server performs the same function as the user voice and guides the user voice according to the conversation pattern stored in the interactive server. It includes; generating and transmitting to the display device; includes,
The control method,
And displaying, by the display device, the third guide information.
제11항에 있어서,
상기 전송하는 단계는,
상기 사용자 음성이 상기 대화형 서버가 응답할 수 없는 대화형 음성인 경우, 상기 대화형 서버가 상기 사용자 음성으로부터 키워드를 추출하여 상기 키워드와 관련된 정보를 안내하는 제4 가이드 정보를 생성하여 상기 디스플레이 장치로 전송하는 단계;를 더 포함하며,
상기 디스플레이 장치가 상기 제4 가이드 정보를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
The method of claim 11,
The transmitting step,
When the user's voice is an interactive voice that the interactive server cannot respond to, the interactive server extracts a keyword from the user's voice to generate fourth guide information that guides information related to the keyword to generate the display device Transferring to; further includes,
And displaying, by the display device, the fourth guide information.
디스플레이 장치에 있어서,
대화형 서버와 통신을 수행하는 통신부;
명령어와 제어 정보를 매칭하여 저장하는 저장부;
음성 입력부를 통해 입력된 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인지 판단하면서, 상기 사용자 음성을 대화형 서버로 전송하도록 상기 통신부를 제어하고,
상기 사용자 음성이 상기 저장부에 기 저장된 명령어인 경우, 상기 기 저장된 명령어에 따라 상기 디스플레이 장치의 기능을 수행하고,
상기 사용자 음성이 상기 저장부에 기 저장된 명령어가 아닌 경우, 상기 대화형 서버로부터 수신된 상기 사용자 음성에 대응되는 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하고,
상기 사용자 음성과 동일한 기능을 수행할 수 있는 기 저장된 명령어를 안내하는 제1 가이드 정보를 디스플레이하도록 제어하는 제어부;를 포함하고,
상기 제1 가이드 정보는 상기 대화형 서버로부터 수신되고,
상기 사용자 음성은 상기 디스플레이 장치에 기 저장된 명령어인지 여부와 무관하게 상기 대화형 서버로 전송되는 것을 특징으로 하는 디스플레이 장치.
In the display device,
A communication unit performing communication with an interactive server;
A storage unit matching and storing command and control information;
Controlling the communication unit to transmit the user voice to the interactive server while determining whether the user voice input through the voice input unit is a command previously stored in the display device,
When the user voice is a pre-stored command in the storage unit, performs a function of the display device according to the pre-stored command,
If the user voice is not a command previously stored in the storage unit, performs a function of the display device according to control information corresponding to the user voice received from the interactive server,
It includes; a control unit for controlling to display the first guide information for guiding a pre-stored command capable of performing the same function as the user voice; includes,
The first guide information is received from the interactive server,
The display device is characterized in that the user voice is transmitted to the interactive server regardless of whether it is a command previously stored in the display device.
제17항에 있어서,
상기 디스플레이 장치를 제어하기 위한 사용자 음성을 입력받는 음성 입력부;를 더 포함하는 디스플레이 장치.
The method of claim 17,
And a voice input unit that receives a user voice for controlling the display device.
제17항에 있어서,
상기 제1 가이드 정보를 디스플레이하는 디스플레이부;를 더 포함하는 디스플레이 장치.
The method of claim 17,
And a display unit to display the first guide information.
제17항에 있어서,
상기 제어부는,
상기 사용자 음성이 상기 디스플레이 장치에 기 저장된 명령어인 경우, 기 저장된 명령어에 대응되는 제어 정보를 검색하고,
상기 검색된 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하는 것을 특징으로 하는 디스플레이 장치.
The method of claim 17,
The control unit,
When the user voice is a command pre-stored in the display device, search for control information corresponding to the pre-stored command,
And performing a function of the display device according to the searched control information.
디스플레이 장치에 있어서,
음성 입력부;
대화형 서버와 통신을 수행하는 통신부;
저장부;
디스플레이부; 및
상기 디스플레이 장치를 제어하기 위한 사용자 음성을 입력받도록 상기 음성 입력부를 제어하고,
상기 음성 입력부를 통해 입력된 사용자 음성이 상기 저장부에 기 저장된 명령어인지 판단하면서, 상기 사용자 음성을 대화형 서버로 전송하도록 상기 통신부를 제어하고, 상기 사용자 음성은 상기 디스플레이 장치에 기 저장된 명령어인지 여부와 무관하게 상기 대화형 서버로 전송되고,
상기 사용자 음성이 상기 저장부에 기 저장된 명령어인 경우, 상기 기 저장된 명령어에 따라 상기 디스플레이 장치의 기능을 수행하고,
상기 사용자 음성이 상기 저장부에 기 저장된 명령어가 아닌 경우, 상기 대화형 서버로부터 수신된 상기 사용자 음성에 대응되는 제어 정보에 따라 상기 디스플레이 장치의 기능을 수행하고,
상기 사용자 음성과 동일한 기능을 수행할 수 있는 기 저장된 명령어를 안내하는 제1 가이드 정보를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하고,
상기 제1 가이드 정보는 상기 통신부를 통해 상기 대화형 서버로부터 수신되는 것을 특징으로 하는 디스플레이 장치.In the display device,
Voice input unit;
A communication unit performing communication with an interactive server;
Storage unit;
Display unit; And
Control the voice input unit to receive a user voice for controlling the display device,
Controlling the communication unit to transmit the user voice to the interactive server while determining whether the user voice input through the voice input unit is a pre-stored command in the storage unit, and whether the user voice is a pre-stored command in the display device Regardless of being sent to the interactive server,
When the user voice is a pre-stored command in the storage unit, performs a function of the display device according to the pre-stored command,
If the user voice is not a command previously stored in the storage unit, performs a function of the display device according to control information corresponding to the user voice received from the interactive server,
It includes; a control unit for controlling the display unit to display the first guide information for guiding a pre-stored command capable of performing the same function as the user voice;
And the first guide information is received from the interactive server through the communication unit.
KR1020190143802A 2019-11-11 2019-11-11 Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof KR102089593B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190143802A KR102089593B1 (en) 2019-11-11 2019-11-11 Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190143802A KR102089593B1 (en) 2019-11-11 2019-11-11 Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170059480A Division KR102045539B1 (en) 2017-05-12 2017-05-12 Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200029618A Division KR102124396B1 (en) 2020-03-10 2020-03-10 Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof

Publications (2)

Publication Number Publication Date
KR20190128615A KR20190128615A (en) 2019-11-18
KR102089593B1 true KR102089593B1 (en) 2020-03-16

Family

ID=68728030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190143802A KR102089593B1 (en) 2019-11-11 2019-11-11 Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof

Country Status (1)

Country Link
KR (1) KR102089593B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003115929A (en) * 2001-10-02 2003-04-18 Hitachi Ltd Voice input system, voice portal server, and voice input terminal
JP2009109586A (en) * 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd Voice recognition control device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100567828B1 (en) * 2003-08-06 2006-04-05 삼성전자주식회사 Apparatus And Method for Enhanced Voice Recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003115929A (en) * 2001-10-02 2003-04-18 Hitachi Ltd Voice input system, voice portal server, and voice input terminal
JP2009109586A (en) * 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd Voice recognition control device

Also Published As

Publication number Publication date
KR20190128615A (en) 2019-11-18

Similar Documents

Publication Publication Date Title
EP2941895B1 (en) Display apparatus and method of controlling a display apparatus in a voice recognition system
KR102429436B1 (en) Server for seleting a target device according to a voice input, and controlling the selected target device, and method for operating the same
USRE48423E1 (en) Display apparatus, electronic device, interactive system, and controlling methods thereof
EP3195310B1 (en) Keyword detection using speaker-independent keyword models for user-designated keywords
KR101309794B1 (en) Display apparatus, method for controlling the display apparatus and interactive system
JP6244560B2 (en) Speech recognition processing device, speech recognition processing method, and display device
KR20140089861A (en) display apparatus and method for controlling the display apparatus
KR102029820B1 (en) Electronic device and Method for controlling power using voice recognition thereof
KR20200052638A (en) Electronic apparatus and method for voice recognition
US20150127353A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
WO2016157782A1 (en) Speech recognition system, speech recognition device, speech recognition method, and control program
JP2014002737A (en) Server and control method of server
CN110782886A (en) System, method, television, device and medium for speech processing
KR20170051994A (en) speech recognition device and here of control Method
KR102089593B1 (en) Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof
KR102124396B1 (en) Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof
KR102051480B1 (en) Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof
KR102045539B1 (en) Display apparatus, Method for controlling display apparatus and Method for controlling display apparatus in Voice recognition system thereof
KR101859614B1 (en) Display apparatus, electronic device, interactive system and controlling method thereof
KR102455067B1 (en) Electronic apparatus and control method thereof
KR20210098250A (en) Electronic device and Method for controlling the electronic device thereof
KR20200042627A (en) Electronic apparatus and controlling method thereof
KR102091006B1 (en) Display apparatus and method for controlling the display apparatus
KR20190104773A (en) Electronic apparatus, controlling method and computer-readable medium
KR20160022326A (en) Display apparatus and method for controlling the display apparatus

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant