KR20140137263A - Interactive sever, display apparatus and control method thereof - Google Patents
Interactive sever, display apparatus and control method thereof Download PDFInfo
- Publication number
- KR20140137263A KR20140137263A KR1020130057993A KR20130057993A KR20140137263A KR 20140137263 A KR20140137263 A KR 20140137263A KR 1020130057993 A KR1020130057993 A KR 1020130057993A KR 20130057993 A KR20130057993 A KR 20130057993A KR 20140137263 A KR20140137263 A KR 20140137263A
- Authority
- KR
- South Korea
- Prior art keywords
- response information
- response
- user
- voice
- speech
- Prior art date
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004044 response Effects 0.000 claims abstract description 324
- 238000004891 communication Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000010304 firing Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 대화형 서버, 디스플레이 장치 및 제어 방법에 관한 것으로써, 보다 상세하게는 사용자의 성격 및 취향에 따라 상이한 응답 정보를 제공하기 위한 대화형 서버, 디스플레이 장치 및 제어 방법에 관한 것이다.The present invention relates to an interactive server, a display device, and a control method, and more particularly, to an interactive server, a display device, and a control method for providing different response information according to a user's personality and taste.
일반적으로, 대화형 시스템에서 음성 인식이 가능한 디스플레이 장치는 사용자의 발화 음성을 수집하고, 그 수집한 발화 음성을 네트워크를 통해 연결된 대화형 서버로 전송한다. 발화 음성을 수신한 대화형 서버는 발화 음성을 분석하여 사용자의 의도를 파악하고, 그에 따른 응답 정보를 생성하여 디스플레이 장치로 전송한다. 이에 따라, 디스플레이 장치는 대화형 서버로부터 수신한 응답 정보에 기초하여 사용자의 발화 음성에 대응하는 기능을 실행하거나 응답 메시지를 출력할 수 있다.Generally, a display device capable of voice recognition in an interactive system collects a user's uttered voice and transmits the collected voice to an interactive server connected through a network. The interactive server receiving the uttered voice analyzes the uttered voice to grasp the intention of the user, generates response information corresponding to the user's intention, and transmits the generated response information to the display device. Thus, the display device can execute a function corresponding to the user's uttered voice or output a response message based on the response information received from the interactive server.
한편, 사용자의 발화 음성에 대한 응답 정보를 제공하는 대화형 서버는 사용자의 발화 음성과 관련하여 기생성된 복수의 응답 정보 중 임의의 하나를 선택하여 디스플레이 장치로 전송한다. 즉, 대화형 서버는 사용자의 발화 음성과 관련하여 응답 정보를 제공하는데 있어 사용자의 성향 및 특성 등을 고려하지 않고 임의로 선택된 정보를 제공한다. 따라서, 응답 정보에 기초하여 출력되는 응답 메시지는 매우 단조로우면서 진부한 형태의 문장으로 영상 및 음성으로 출력된다. 이와 같이, 사용자의 성향 및 특성을 고려하지 않고 사용자의 발화 음성과 관련된 응답 정보를 제공함으로써, 사용자와 기기 간의 다양한 음성 대화가 이루어지지 못하는 문제가 있다.Meanwhile, the interactive server that provides the response information of the user's uttered voice selects any one of a plurality of response information generated in association with the uttered voice of the user, and transmits the selected one to the display device. That is, the interactive server provides arbitrarily selected information in consideration of a user's tendency and characteristics in providing response information in relation to a user's utterance voice. Therefore, the response message output based on the response information is output as video and audio in a very monotone form with a very monotone form. Thus, there is a problem that various voice conversations between a user and a device can not be performed by providing response information related to a user's utterance voice without considering the propensity and characteristics of the user.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 사용자의 성향 및 타입에 따라 사용자의 발화 음성과 관련된 응답 정보를 상이하게 제공하기 위함을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned needs, and it is an object of the present invention to provide different response information related to a user's utterance voice according to a user's propensity and type.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 대화형 서버는 디스플레이 장치와 통신을 수행하는 통신부, 상기 디스플레이 장치로부터 수신된 발화 음성으로부터 발화 요소를 추출하는 추출부, 상기 디스플레이 장치로부터 사용자 설정 명령이 수신되었는지 여부를 판단하는 판단부 및 상기 사용자 설정 명령이 수신되지 않으면, 상기 추출된 발화 요소와 관련하여 기저장된 복수의 응답 정보 중 하나의 응답 정보를 상기 디스플레이 장치로 전송하고, 상기 사용자 설정 명령이 수신되면, 상기 복수의 응답 정보 중 상기 사용자 설정 명령과 관련된 응답 정보를 상기 디스플레이 장치로 전송하는 제어부를 포함한다.According to an aspect of the present invention, there is provided an interactive server including a communication unit for communicating with a display device, an extraction unit for extracting a firing element from a speech sound received from the display device, A determination unit for determining whether a user setting command has been received and a response information transmitting unit for transmitting one response information among a plurality of response information previously stored in association with the extracted speech element if the user setting command is not received, And a controller for transmitting response information related to the user setting command among the plurality of response information to the display apparatus when the user setting command is received.
그리고, 이전 발화 음성별로 생성된 복수의 응답 정보를 저장하는 저장부 및 상기 이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하는 응답 정보 분류부를 더 포함하며, 상기 기설정된 조건은, 상기 이전 발화 음성별로 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값일 수 있다.And a response information classifying unit for classifying a plurality of response information generated for each of the previous uttered speech according to a predetermined condition, , And a factor value for classifying a plurality of response information generated for each of the previous uttered speech into at least one of a professional response, a friendly response, a response for proposal, a response for propensity, and other responses.
또한, 상기 제어부는, 상기 사용자 설정 명령이 수신되면, 상기 추출된 발화 요소와 관련된 복수의 응답 정보 중 상기 사용자 설정 명령과 대응되는 기설정된 조건에 따라 분류된 응답 정보로부터 상기 발화 음성에 대응되는 응답 정보를 획득하여 상기 디스플레이 장치로 전송할 수 있다.In addition, when the user setting command is received, the control unit selects, from the plurality of response information related to the extracted speech element, a response corresponding to the uttered speech from response information classified according to a predetermined condition corresponding to the user setting command Information can be acquired and transmitted to the display device.
그리고, 상기 수신된 발화 음성을 텍스트 정보로 변환하는 음성 처리부를 더 포함할 수 있다.The voice processing unit may further include a voice processing unit for converting the received speech voice into text information.
한편, 본 발명의 일 실시 예에 따르면, 대화형 서버의 제어 방법에 있어서, 상기 방법은 디스플레이 장치로부터 발화 음성을 수신하는 단계, 상기 수신된 발화 음성으로부터 발화 요소를 추출하는 단계, 상기 디스플레이 장치로부터 사용자 설정 명령이 수신되었는지 여부를 판단하는 단계 및 상기 사용자 설정 명령이 수신되지 않으면, 상기 추출된 발화 요소와 관련하여 기저장된 복수의 응답 정보 중 하나의 응답 정보를 상기 디스플레이 장치로 전송하고, 상기 사용자 설정 명령이 수신되면, 상기 복수의 응답 정보 중 상기 사용자 설정 명령과 관련된 응답 정보를 상기 디스플레이 장치로 전송하는 단계를 포함한다.According to an embodiment of the present invention, there is provided a method of controlling an interactive server, the method comprising: receiving a speech sound from a display device; extracting a speech element from the received speech sound; Determining whether a user setting command has been received; and transmitting, if the user setting command is not received, one response information among a plurality of response information previously stored in association with the extracted speech element, And transmitting response information related to the user setting command among the plurality of response information to the display apparatus when the setting command is received.
그리고, 상기 대화형 서버는, 이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하여 저장하며, 상기 기설정된 조건은, 상기 이전 발화 음성별 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값일 수 있다.The interactive server classifies and stores a plurality of response information generated for each of the previous uttered speech according to a predetermined condition, and the predetermined condition includes a plurality of response information generated by the previous uttered voice, , A friendly response, a response for an offer, a response by a propensity, and other responses.
또한, 상기 전송하는 단계는, 상기 사용자 설정 명령이 수신되면, 상기 추출된 발화 요소와 관련된 복수의 응답 정보 중 상기 사용자 설정 명령에 대응되는 기설정된 조건에 따라 분류된 응답 정보로부터 상기 발화 음성에 대응되는 응답 정보를 획득하여 상기 디스플레이 장치로 전송할 수 있다.In addition, the transmitting may include receiving, from the response information classified according to a predetermined condition corresponding to the user setting command, response information corresponding to the speech sound among a plurality of response information related to the extracted speech element, And transmits the response information to the display device.
그리고, 상기 수신된 발화 음성을 텍스트 정보로 변환하는 단계를 더 포함할 수 있다.The method may further include converting the received speech to text information.
한편, 본 발명의 일 실시 예에 따르면, 음성 및 영상 중 적어도 하나를 출력하는 출력부, 사용자 발화 음성을 수집하는 음성 수집부, 상기 발화 음성을 대화형 서버로 전송하고, 상기 발화 음성과 관련된 응답 정보를 수신하는 통신부, 사용자 명령을 입력받는 입력부 및 상기 사용자 명령에 따라 사용자 설정 명령을 입력받기 위한 설정 메뉴를 디스플레이하도록 상기 출력부를 제어하며, 상기 디스플레이된 설정 메뉴에 기초하여 사용자 설정 명령이 입력되면, 상기 발화 음성과 관련된 복수의 응답 정보 중 상기 사용자 설정 명령과 관련된 응답 정보를 수신하도록 상기 사용자 설정 명령을 상기 대화형 서버로 전송하는 제어부를 포함한다.According to an embodiment of the present invention, there is provided a speech recognition system including an output unit for outputting at least one of a speech and an image, a voice collection unit for collecting a user utterance voice, A control unit for controlling the output unit to display a setting menu for receiving a user setting command according to the user command and a user setting command based on the displayed setting menu And a controller for transmitting the user setting command to the interactive server to receive response information related to the user setting command among a plurality of response information related to the uttered voice.
그리고, 상기 대화형 서버는, 이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하여 저장하며, 상기 기설정된 조건은, 상기 이전 발화 음성별 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값일 수 있다.The interactive server classifies and stores a plurality of response information generated for each of the previous uttered speech according to a predetermined condition, and the predetermined condition includes a plurality of response information generated by the previous uttered voice, , A friendly response, a response for an offer, a response by a propensity, and other responses.
또한, 상기 사용자 설정 명령과 관련된 응답 정보는, 상기 발화 음성과 관련하여 기저장된 복수의 응답 정보 중 상기 사용자 설정 명령에 대응하는 기설정된 조건에 따라 분류된 응답 정보일 수 있다.The response information associated with the user setting command may be response information classified according to a predetermined condition corresponding to the user setting command among a plurality of response information previously stored in association with the utterance voice.
그리고, 상기 제어부는, 상기 사용자 설정 명령에 기초하여 상기 대화형 서버로부터 수신한 응답 정보를 상이한 형태의 오디오로 출력하도록 상기 출력부를 제어할 수 있다.The control unit may control the output unit to output response information received from the interactive server on the basis of the user setting command to audio of a different type.
한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치의 제어 방법에 있어서, 상기 방법은 사용자 명령에 따라 사용자 설정 명령을 입력받기 위한 설정 메뉴를 디스플레이하는 단계, 상기 디스플레이된 설정 메뉴에 기초하여 사용자 설정 명령이 입력되면, 상기 입력된 사용자 설정 명령을 대화형 서버로 전송하는 단계, 사용자의 발화 음성이 수집되면, 상기 수집된 발화 음성을 상기 대화형 서버로 전송하는 단계, 상기 대화형 서버로부터 상기 발화 음성과 관련된 복수의 응답 정보 중 상기 사용자 설정 명령과 관련된 응답 정보를 수신하는 단계 및 상기 수신된 응답 정보를 출력하는 단계를 포함한다.According to an embodiment of the present invention, there is provided a method of controlling a display device, the method comprising: displaying a setting menu for receiving a user setting command according to a user command; Transmitting an input user setting command to an interactive server when the command is input, transmitting the collected utterance voice to the interactive server when the user's uttered voice is collected, Receiving response information related to the user setting command among a plurality of response information related to voice, and outputting the received response information.
그리고, 상기 대화형 서버는, 이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하여 저장하며, 상기 기설정된 조건은, 상기 이전 발화 음성별 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값일 수 있다.The interactive server classifies and stores a plurality of response information generated for each of the previous uttered speech according to a predetermined condition, and the predetermined condition includes a plurality of response information generated by the previous uttered voice, , A friendly response, a response for an offer, a response by a propensity, and other responses.
또한, 상기 사용자 설정 명령과 관련된 응답 정보는, 상기 발화 음성과 관련하여 기저장된 복수의 응답 정보 중 상기 사용자 설정 명령에 대응하는 기설정된 조건에 따라 분류된 응답 정보일 수 있다.The response information associated with the user setting command may be response information classified according to a predetermined condition corresponding to the user setting command among a plurality of response information previously stored in association with the utterance voice.
그리고, 상기 출력하는 단계는, 상기 사용자 설정 명령에 기초하여 상기 대화형 서버로부터 수신한 응답 정보를 상이한 형태의 오디오로 출력할 수 있다.The outputting step may output the response information received from the interactive server on the basis of the user setting command in a different form of audio.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 대화형 시스템에서 대화형 서버는 사용자의 취향 및 타입을 고려하여 사용자의 발화 음성과 관련된 응답 정보를 상이하게 제공할 수 있다.As described above, according to various embodiments of the present invention, in the interactive system, the interactive server can differently provide the response information related to the user's utterance voice in consideration of the user's taste and type.
도 1은 본 발명의 일 실시예에 따른 사용자 발화 음성에 적합한 응답 정보를 제공하는 대화형 시스템의 예시도,
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도,
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 설정 명령을 입력받기 위한 설정 메뉴를 디스플레이하는 예시도
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 역할/요소와 관련된 메뉴 항목과 관련된 부가 메뉴를 화면상에 디스플레이하는 예시도,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 설정된 사용자 설정 명령에 따라 사용자의 발화 음성에 대한 응답 메시지를 출력하는 예시도,
도 6은 본 발명의 일 실시예에 따른 대화형 서버의 블록도,
도 7은 본 발명의 일 실시예에 따른 대화형 서버에서 사용자의 발화 음성과 관련된 응답 정보를 분류하는 예시도,
도 8은 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법에 대한 흐름도,
도 9는 본 발명의 일 실시예에 따른 대화형 서버의 제어 방법에 대한 흐름도이다.BRIEF DESCRIPTION OF THE DRAWINGS Figure 1 is an illustration of an interactive system for providing response information suitable for a user uttered voice according to an embodiment of the present invention;
2 is a block diagram of a display device according to an embodiment of the present invention;
3 is a diagram illustrating an example of displaying a setting menu for receiving a user setting command in a display device according to an embodiment of the present invention.
FIG. 4 illustrates an example of displaying an additional menu related to a menu item related to a role / element on a screen in a display device according to an exemplary embodiment of the present invention,
5 is a diagram illustrating an example of a response message to a user's uttered voice according to a user setting command set in a display device according to an embodiment of the present invention.
Figure 6 is a block diagram of an interactive server according to an embodiment of the present invention;
FIG. 7 illustrates an example of classifying response information related to a user uttered voice in an interactive server according to an embodiment of the present invention; FIG.
8 is a flowchart illustrating a method of controlling a display apparatus according to an exemplary embodiment of the present invention.
9 is a flowchart illustrating a method of controlling an interactive server according to an exemplary embodiment of the present invention.
이하 첨부된 도면들을 참조하여 본 발명의 일시 예를 보다 상세하게 설명한다. Hereinafter, a temporal example of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 사용자 발화 음성에 적합한 응답 정보를 제공하는 대화형 시스템의 예시도이다.1 is an illustration of an interactive system for providing response information suitable for a user uttered voice in accordance with an embodiment of the present invention.
도 1에 도시된 바와 같이, 대화형 시스템은 디스플레이 장치(100), 텍스트 서버(200) 및 대화형 서버(300)를 포함한다.1, the interactive system includes a
디스플레이 장치(100)는 인터넷이 가능한 장치로써, 스마트 TV, 스마트폰과 같은 휴대폰, 데스크탑 PC, 노트북, 네비게이션 등과 같은 다양한 전자 장치로 구현될 수 있다. 이 같은 디스플레이 장치(100)는 사용자의 발화 음성이 입력되면, 입력된 사용자의 발화 음성에 대응되는 동작을 수행한다. 구체적으로, 디스플레이 장치(100)는 사용자의 발화 음성이 입력되면, 입력된 발화 음성을 분석하여 내부적으로 수행가능한지 여부를 판단하고, 그 판단 결과에 따라 사용자의 발화 음성에 대응되는 동작을 수행하거나 혹은 대화형 서버(300)로부터 수신된 응답 정보에 기초하여 동작을 수행한다.The
예를 들어, 사용자의 발화 음성이 "TV 꺼"와 같은 TV 전원 제어 명령이면, 디스플레이 장치(100)는 "TV 꺼"라는 발화 음성에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 판단 결과, 수신된 발화 음성에 대응되는 제어 정보가 기저장되어 있으면, 디스플레이 장치(100)는 기저장된 제어 정보에 기초하여 TV 전원을 오프할 수 있다. For example, if the user's utterance voice is a TV power control command such as "TV off ", the
한편, 사용자의 발화 음성에 대응되는 제어 정보가 기저장되어 있지 않으면, 디스플레이 장치(100)는 수신된 발화 음성을 대화형 서버(300)로 전송한다. 이후, 대화형 서버(300)로부터 사용자의 발화 음성에 대응되는 응답 정보가 수신되면, 디스플레이 장치(100)는 수신된 응답 정보에 기초하여 사용자의 발화 음성에 대응되는 기능을 제어하거나 혹은 응답 메시지를 출력할 수 있다.On the other hand, if the control information corresponding to the user's uttered voice is not stored, the
예를 들어, 사용자의 발화 음성이 "오늘 저녁에 하는 드라마 찾아줘!"라는 특정 프로그램에 대한 검색을 요청하는 정보이면, 디스플레이 장치(100)는 내부적으로 사용자의 발화 음성에 대응되는 동작의 수행이 불가능한 것으로 판단한다. 이 경우, 디스플레이 장치(100)는 대화형 서버(300)로부터 사용자의 발화 음성에 대응되는 응답 정보를 수신하고, 수신된 응답 정보에 기초하여 "오늘 저녁에 하는 드라마 찾아줘!"라는 사용자의 발화 음성에 대응되는 응답 메시지를 출력할 수 있다.For example, if the user's speech is information requesting a search for a specific program called "Find a drama for tonight ", the
구체적으로, 전술한 예와 같이, "오늘 저녁에 하는 드라마 찾아줘!"라는 발화 음성이 수신되면, 디스플레이 장치(100)는 수신된 발화 음성을 텍스트 서버(200)로 전송한다. 여기서, 텍스트 서버(200)는 사용자의 발화 음성을 텍스트 정보로 변환하는 서버이다. 실시예에 따라, 텍스트 서버(200)는 STT(Speech to Text) 알고리즘을 이용하여 사용자의 발화 음성을 텍스트 정보로 변환할 수 있다. 따라서, 텍스트 서버(200)는 디스플레이 장치(100)로부터 발화 음성이 수신되면, 수신된 발화 음성을 텍스트 정보로 변환하여 디스플레이 장치(100)로 전송한다. 이후, 디스플레이 장치(100)는 텍스트 서버(200)로부터 수신된 발화 음성에 대한 텍스트 정보를 대화형 서버(300)로 전송한다.Specifically, as shown in the above-described example, when a speech sound of "Find a drama to be performed tonight!" Is received, the
한편, 본 발명은 이에 한정되지 않으며, 텍스트 서버(200)와 후술할 대화형 서버(300)는 하나의 서버로 구축될 수 있다. 이 경우, 대화형 서버(300)는 디스플레이 장치(100)로부터 수신한 사용자의 발화 음성을 텍스트 형태로 변환할 수 있다. 사용자의 발화 음성을 텍스트 정보로 변환할 경우, 대화형 서버(300)는 STT(Speech to Text) 알고리즘을 이용하여 수신된 사용자의 발화 음성을 텍스트 정보로 변환할 수 있다. 이 같이, 사용자의 발화 음성에 대한 텍스트 정보가 수신되거나 내부적으로 변환되면, 대화형 서버(300)는 사용자의 발화 음성에 대한 텍스트 정보를 분석하여 발화 요소를 추출하고, 추출된 발화 요소에 기초하여 사용자의 발화 음성에 대한 응답 정보를 결정할 수 있다. However, the present invention is not limited to this, and the
여기서, 발화 요소는 사용자의 발화 음성을 형태소 단위로 분류된 것으로써, 화행(dialogue ation)에 대한 발화 요소, 주행(main action)에 대한 발화 요소 및 구성 요소(component slot)를 나타내는 발화 요소를 포함할 수 있다. 여기서, 화행은 문장의 형태와 관련된 분류 기준으로, 해당 문장이 서술문(Statement), 요청문(Request) 또는 의문문(Qiestion)인지를 나타낸다. 그리고, 주행은 해당 발화가 특정 도메인에서 대화를 통해 원하는 행위는 나타내는 의미적 정보이다. 예를 들어, 방송 서비스 도메인에서 주행은 프로그램 찾기, 프로그램 시간 찾기, 프로그램 예약 등이 될 수 있다. 그리고, 구성 요소는 사용자의 발화에 나타나는 특정 도메인에서 의도하는 행동의 의미를 구체화하기 위한 정보이다. 즉, 구성 요소는 실행 대상을 나타내는 발화 요소로써, 예를 들어, 방송 서비스 도메인에서 구성 요소는 장르, 프로그램명, 방송 시간, 채널 명, 배우, 영화 장르 등을 포함할 수 있다.Here, the utterance element is classified into morpheme units of the utterance voice of the user, and includes a utterance element for dialogue ation, a utterance element for the main action, and a utterance element for the component slot can do. Here, the phrase is a classification criterion related to the form of a sentence, and indicates whether the sentence is a statement, a request or a question. And, driving is semantic information that represents the behavior that the utterance wants through conversation in a specific domain. For example, running in the broadcast service domain can be program search, program time search, program reservation, and so on. The component is information for specifying the meaning of the intended behavior in the specific domain appearing in the user's utterance. That is, the component is a firing element representing an execution target. For example, in the broadcast service domain, the component may include a genre, a program name, a broadcast time, a channel name, an actor, a movie genre,
예를 들어, 디스플레이 장치(100)는 "○○○(프로그램명) 예약해줘?"라는 발화 음성이 수집되면, 그 수집된 발화 음성을 대화형 서버(300)로 전송한다. 이에 따라, 대화형 서버(300)는 "○○○(프로그램명) 예약해줘?"라는 발화 음성을 텍스트 정보로 변환한 후, 변환된 텍스트 정보에 기초하여 발화 요소를 추출한다. "○○○(프로그램명) 예약해줘?"라는 발화 음성의 경우, "해줘?"라는 요청문 관련 화행의 발화 요소와 "예약"라는 프로그램 예약 관련 주행의 발화 요소와 "○○○(프로그램명)"라는 프로그램명 관련 구성 요소의 발화 요소가 추출될 수 있다. 이 같은 발화 요소가 추출되면, 대화형 서버(300)는 추출된 발화 요소와 관련하여 기저장된 복수의 응답 정보 중 하나의 응답 정보를 결정하여 디스플레이 장치(100)로 전송한다. 이에 따라, 디스플레이 장치(100)는 대화형 서버(300)로부터 수신한 응답 정보에 기초하여 "○○○(방송프로그램명)이 예약되었습니다."라는 응답 메시지를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다. For example, when the
한편, 전술한 바와 같이, 사용자의 발화 음성이 수집되면, 수집된 발화 음성을 대화형 서버(300)로 전송하는 디스플레이 장치(100)는 사용자의 발화 음성을 대화형 서버(300)로 전송하기에 앞서, 사용자 설정 명령을 입력하기 위한 사용자 명령을 입력받을 수 있다. 이 같은 사용자 명령이 입력되면, 디스플레이 장치(100)는 입력된 사용자 명령에 기초하여 사용자 설정 명령을 입력하기 위한 설정 메뉴를 화면상에 디스플레이한다. 여기서, 설정 메뉴는 사용자의 발화 음성에 대한 응답 정보를 사용자의 취향 혹은 타입에 따라 상이하게 제공받기 위한 메뉴이다.Meanwhile, as described above, when the user's uttered voice is collected, the
실시예에 따라, 설정 메뉴는 성별 및 역할/요소에 대한 메뉴 항목을 포함할 수 있다. 이 같은 설정 메뉴가 디스플레이된 상태에서, 역할/요소에 대한 메뉴 항목이 선택되면, 디스플레이 장치(100)는 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 중 하나의 응답으로 사용자의 발화 음성에 대한 응답 정보를 수신하기 위한 부가 메뉴 항목을 포함하는 부가 설정 메뉴를 디스플레이할 수 있다. According to an embodiment, the settings menu may include menu items for gender and roles / elements. When the menu item for the role / element is selected with the setting menu displayed, the
구체적으로, 사용자는 화면상에 디스플레이된 설정 메뉴에 따라 자신의 발화 음성에 대한 응답 정보를 다른 표현, 소리 등으로 제공받을 수 있다. 일 실시예에 따라, '여자' 성별에 대한 메뉴 항목이 선택되면, 디스플레이 장치(100)는 대화형 서버(300)로부터 수신한 응답 정보에 대한 응답 메시지를 텍스트 형태의 영상으로 디스플레이함과 동시에 해당 응답 메시지를 여자 음성 형태로 출력할 수 있다.Specifically, the user may be provided with response information on his or her uttered voice according to a setting menu displayed on the screen, using another expression, sound, or the like. According to an exemplary embodiment, when the menu item for 'female' sex is selected, the
또다른 실시예에 따라, 역할/요소에 대한 메뉴 항목의 부가 메뉴 항목 중 친절한 응답 관련 부가 메뉴 항목이 선택되면, 디스플레이 장치(100)는 대화형 서버(300)로부터 문법적으로 가장 완성된 문장 형태의 응답 메시지를 출력하기 위한 응답 정보를 수신할 수 있다. 예를 들어, "○○○(프로그램명) 예약해줘?"라는 발화 음성과 관련하여 "○○○(프로그램명)이 예약되었습니다."와 "예약되었습니다."라는 응답 정보가 대화형 서버(300)에 기저장될 수 있다. 이 경우, 디스플레이 장치(100)는 대화형 서버(300)로부터 친절한 응답 관련 부가 메뉴 항목과 대응되는 기설정된 조건에 따라 분류된 응답 정보를 수신한다. 따라서, 디스플레이 장치(100)는 수신된 응답 정보에 기초하여 "○○○(프로그램명)이 예약되었습니다."라는 완성된 문장 형태의 응답 메시지를 출력할 수 있다.According to another embodiment, when the friendly response-related additional menu item of the menu item of the menu item for the role / element is selected, the
한편, 역할/요소에 대한 메뉴 항목의 부가 메뉴 항목 중 전문적인 응답 관련 부가 메뉴 항목이 선택되면, 디스플레이 장치(100)는 대화형 서버(300)로부터 복수의 문장으로 구현된 문장 형태의 응답 메시지를 출력하기 위한 응답 정보를 수신할 수 있다. 예를 들어, "11시 17분에 취침예약 해줘"라는 발화 음성과 관련하여 "취침 예약을 할 수 없습니다.", "예약할 수 없습니다." 및 "취침 예약을 할 수 없습니다. 30분 단위로 말씀해주세요"라는 응답 정보가 대화형 서버(300)에 기저장될 수 있다. 이 경우, 디스플레이 장치(100)는 대화형 서버(300)로부터 전문적인 응답 관련 부가 메뉴 항목에 대응되는 기설정된 조건에 따라 분류된 응답 정보를 수신한다. 따라서, 디스플레이 장치(100)는 수신된 응답 정보에 기초하여 "취침 예약을 할 수 없습니다. 30분 단위로 말씀해주세요"라는 복수의 문장 형태의 응답 메시지를 출력할 수 있다.On the other hand, if a special response related menu item among the additional menu items of the menu item for the role / element is selected, the
한편, 전술한 바와 같이, 사용자의 발화 음성에 대한 응답 정보를 결정하여 디스플레이 장치(100)로 전송하는 대화형 서버(300)는 이전 발화 음성별로 생성된 복수의 응답 정보를 저장한다. 이에 따라, 대화형 서버(300)는 기저장된 이전 발화 음성별 생성된 복수의 응답 정보를 참조하여 사용자의 발화 음성에 대한 응답 정보를 결정하고, 그 결정된 응답 정보를 디스플레이 장치(100)로 전송할 수 있다. 구체적으로, 대화형 서버(300)는 이전 발화 음성별 생성된 복수의 응답 정보를 기설정된 조건에 기초하여 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하여 저장한다.Meanwhile, as described above, the
한편, 특정 군으로 분류된 응답 정보 내에서 사용자의 발화 음성에 대한 응답 정보를 요청하기 위한 사용자 설정 명령이 디스플레이 장치(100)로부터 수신되면, 대화형 서버(300)는 해당 사용자의 발화 음성과 관련하여 기저장된 복수의 응답 정보 중 사용자 설정 명령과 대응되는 기설정된 조건에 따라 분류된 응답 정보를 획득하여 디스플레이 장치(100)로 전송한다. On the other hand, when a user setting command for requesting response information of the user's uttered voice is received from the
이에 따라, 디스플레이 장치(100)는 사용자 설정 명령에 부합되는 응답 정보를 수신하여 출력할 수 있으며, 사용자는 디스플레이 장치(100)를 통해 자신의 취향 혹은 타입에 적합한 응답 정보만을 제공받을 수 있다.Accordingly, the
지금까지, 사용자의 발화 음성에 대응되는 응답 정보를 제공하는 대화형 시스템의 각 구성에 대해서 개략적으로 설명하였다. 이하에서는 전술한 디스플레이 장치(100) 및 대화형 서버(300)의 각 구성에 대해서 상세히 설명하도록 한다.Up to now, each configuration of the interactive system for providing the response information corresponding to the utterance voice of the user has been schematically described. Hereinafter, each configuration of the
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도이다.2 is a block diagram of a display device according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 디스플레이 장치(100)는 통신부(110), 음성 수집부(120), 제어부(130) 및 출력부(140)를 포함한다.2, the
통신부(110)는 사용자의 발화 음성과 관련된 응답 정보를 제공하는 대화형 서버(300)와 통신을 수행한다. 구체적으로, 통신부(110)는 다양한 통신 방식에 따라 대화형 서버(300)와 통신을 수행하여, 사용자의 발화 음성을 대화형 서버(300)로 전송할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 통신부(110)는 사용자의 발화 음성을 텍스트 서버(200)로 전송하고, 텍스트 서버(200)로부터 사용자의 발화 음성에 대한 텍스트 정보가 수신되면, 그 수신된 텍스트 정보를 대화형 서버(300)로 전송할 수 있다.The communication unit 110 communicates with the
이 같은 통신부(110)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기서, 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 외부 기기와 무선 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스, 지그비 등이 될 수 있다. 무선 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.The communication unit 110 may include various communication modules such as a short-range wireless communication module (not shown), a wireless communication module (not shown), and the like. Here, the short-range wireless communication module (not shown) is a communication module that performs wireless communication with an external device located in a short distance, and may be, for example, Bluetooth or ZigBee. A wireless communication module (not shown) is a module that is connected to an external network and performs communication according to a wireless communication protocol such as WiFi, IEEE, or the like. In addition, the wireless communication module further includes a mobile communication module for performing communication by accessing a mobile communication network according to various mobile communication standards such as 3G (3rd Generation), 3rd Generation Partnership Project (3GPP), Long Term Evolution You may.
음성 수집부(120)는 마이크(미도시)를 통해 입력된 사용자의 발화 음성을 수집하며, 수집된 사용자의 발화 음성에 대한 신호 처리를 수행한다. 구체적으로, 음성 수집부(120)는 아날로그 형태의 사용자 음성이 입력되면, 입력된 발화 음성을 샘플링하여 디지털 신호로 변환한다. 이때, 음성 수집부(120)는 디지털 신호로 변환된 발화 음성에 노이즈가 있는지 여부를 판단하여, 노이즈가 있는 경우, 변환된 디지털 신호로부터 노이즈를 제거하는 것이 바람직하다. The voice collecting unit 120 collects a user's utterance voice inputted through a microphone (not shown), and performs signal processing on the collected voice of the user. Specifically, when the user's voice of the analog type is inputted, the voice collection unit 120 samples the input voice and converts the sampled voice into a digital signal. At this time, it is preferable that the voice collecting unit 120 determines whether or not there is noise in the speech sound converted into the digital signal, and removes noise from the converted digital signal when there is noise.
일 실시예에 따라, 대화형 서버(300)가 사용자의 발화 음성을 텍스트 정보로 변환할 경우, 통신부(110)는 음성 수집부(120)를 통해 디지털 신호로 신호 처리된 사용자의 발화 음성을 대화형 서버(300)로 전송할 수 있다. 또다른 실시예에 따라, 텍스트 서버(200)가 사용자의 발화 음성을 텍스트 정보로 변환할 경우, 통신부(110)는 음성 수집부(120)를 통해 디지털 신호로 신호 처리된 사용자의 발화 음성을 텍스트 서버(200)로 전송한다. 이후, 텍스트 서버(200)로부터 텍스트 정보로 변환된 사용자의 발화 음성이 수신되면, 통신부(110)는 텍스트 정보로 변환된 사용자의 발화 음성을 대화형 서버(300)로 전송할 수 있다.According to one embodiment, when the
이에 따라, 대화형 서버(300)는 텍스트 정보로 변환된 사용자의 발화 음성을 분석하여 발화 요소를 추출하고, 추출된 발화 요소에 기초하여 사용자의 발화 음성에 대한 응답 정보를 결정하여 디스플레이 장치(100)로 전송할 수 있다.Accordingly, the
제어부(140)는 대화형 서버(200)로부터 사용자의 발화 음성에 대응되는 응답 정보가 수신되면, 수신된 응답 정보에 기초하여 사용자의 발화 음성에 대응되는 응답 메시지를 출력하도록 출력부(140)를 제어한다. 이에 따라, 출력부(140)는 사용자의 발화 음성에 대응되는 응답 메시지를 음성 및 영상 중 적어도 하나로 출력한다. 구체적으로, 출력부(140)는 제어부(130)의 제어 명령에 따라, 대화형 서버(200)로부터 수신된 응답 정보에 기초하여 생성된 응답 메시지를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다. 이를 위해 출력부(140)는 디스플레이부(141) 및 오디오 출력부(143)를 포함할 수 있다.When the response information corresponding to the user's uttered voice is received from the
디스플레이부(141)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현되어, 디스플레이 장치(100)를 통해 제공 가능한 다양한 디스플레이 화면을 제공할 수 있다. 특히, 디스플레이부(141) 사용자의 발화 음성에 대응되는 응답 메시지가 텍스트 또는 이미지 형태로 디스플레이할 수 있다. 여기서, 디스플레이부(141)는 터치패드와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있으며, 터치 스크린은 터치 입력 위치, 면적, 터치 입력의 압력까지도 검출하도록 구성될 수 있다. 그리고, 오디오 출력부(143)는 스피커 또는 잭 등과 같은 출력 포트로 구현되어, 사용자 발화 음성에 대한 응답 메시지를 가청음 형태로 출력할 수 있다. The display unit 141 is implemented by a liquid crystal display (LCD), an organic light emitting diode (OLED) or a plasma display panel (PDP) It is possible to provide a variety of display screens that can be provided through the Internet. In particular, a response message corresponding to a speech sound of a user of the display unit 141 can be displayed in text or image form. Here, the display unit 141 may be implemented as a touch screen having a mutual layer structure together with the touch pad, and the touch screen may be configured to detect a touch input position, an area, and a pressure of a touch input. The audio output unit 143 may be implemented as an output port, such as a speaker or a jack, so as to output a response message to the user uttered voice in the form of an audible sound.
저장부(150)는 디스플레이 장치(100)를 동작시키기 위한 필요한 각종 프로그램 등이 저장되는 저장매체로써, 메모리, HDD(Hard Disk Drive) 등으로 구현할 수 있다. 예를 들어, 저장부(150)는 제어부(130)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(130)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한, 저장부(150)는 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다. 이 같은, 저장부(150)는 사용자 발화 음성에 기초하여 디스플레이 장치(100)의 기능을 제어하기 위한 제어 명령을 저장할 수 있다. 실시예에 따라, 저장부(150)는 디스플레이 장치(100)의 볼륨 조정, 채널 변경, 화질 조정과 같은 기본적인 기능 제어와 관련된 제어 명령을 저장할 수 있다. 따라서, 음성 수집부(120)를 통해 "볼륨 내려"와 같은 발화 음성이 입력되면, 제어부(130)는 입력된 발화 음성과 관련된 제어 명령이 저장부(150)에 저장되어 있는지 여부를 판단하여 저장되어 있으면, 입력된 발화 음성과 관련된 제어 명령에 기초하여 디스플레이 장치(100)의 볼륨을 제어할 수 있다.The
한편, 전술한 제어부(130)는 입력부(160)를 통해 사용자 명령이 입력되면, 입력된 사용자 명령에 따라 사용자 설정 명령을 입력받기 위한 설정 메뉴를 디스플레이하도록 출력부(140)를 제어한다. 이에 따라, 디스플레이부(141)는 사용자 설정 명령을 입력받기 위한 설정 메뉴를 화면상에 디스플레이할 수 있다. Meanwhile, when the user command is inputted through the input unit 160, the
여기서, 입력부(160)는 다양한 사용자 조작을 입력받아 제어부(130)로 전달하기 위한 입력 수단으로써, 입력 패널로 구현될 수 있다. 여기서, 입력 패널은 터치패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치 스크린(Touch Screen) 방식으로 이루어질 수 있다. 뿐만 아니라, 입력부(160)는 디스플레이 장치(100)를 제어하기 위한 리모컨에서 전송되는 리모컨 신호를 수신하기 위한 IR 수신부(미도시)로 구현될 수도 있다. 이 같은 입력부(160)를 통해 디스플레이 장치(100)의 기능을 제어하기 위한 각종 사용자 조작을 입력받을 수 있다.Here, the input unit 160 may be implemented as an input panel as input means for receiving various user's operations and transmitting the input to the
한편, 입력부(160)를 통해 입력된 사용자 명령에 따라 화면상에 디스플레이되는 설정 메뉴는 사용자의 발화 음성과 관련하여 대화형 서버(300)에 기저장된 복수의 응답 정보 중 사용자의 취향 혹은 타입에 따라 상이하게 제공받기 위한 메뉴가 될 수 있다. 이 같은 설정 메뉴가 디스플레이된 상태에서, 사용자 설정 명령이 입력되면, 제어부(130)는 음성 수집부(120)를 통해 수집된 발화 음성과 관련된 복수의 응답 정보 중 사용자 설정 명령과 관련된 응답 정보를 수신하도록 해당 사용자 설정 명령을 대화형 서버(300)로 전송한다. 여기서, 대화형 서버(300)는 사용자로부터 발화된 이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하여 저장한다. 여기서, 기설정된 조건은 사용자로부터 발화된 이전 발화 음성별 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값이 될 수 있다.Meanwhile, the setting menu displayed on the screen according to the user command inputted through the input unit 160 may include a plurality of response information previously stored in the
따라서, 대화형 서버(300)는 디스플레이 장치(100)로부터 사용자의 발화 음성이 수신되기 이전에 사용자 설정 명령이 수신되면, 사용자의 발화 음성과 관련하여 기저장된 복수의 응답 정보 중 사용자 설정 명령에 대응하는 기설정된 조건에 따라 분류된 응답 정보를 디스플레이 장치(100)로 전송할 수 있다. 이에 따라, 출력부(140)는 디스플레이부(141) 및 오디오 출력부(143) 중 적어도 하나를 통해 사용자 설정 명령에 대응되는 기설정된 조건에 따라 분류된 응답 정보에 대한 응답 메시지를 출력할 수 있다.Accordingly, when the user setting instruction is received before the user's utterance voice is received from the
이하에서는 본 발명에 따른 디스플레이 장치(100)에서 사용자의 취향 또는 타입에 따라 대화형 서버(300)로부터 사용자의 발화 음성에 대한 응답 정보를 상이하게 제공받기 위한 설정을 수행하는 동작에 대해서 상세히 설명하도록 한다.Hereinafter, an operation of performing setting for receiving different response information of the user's utterance voice from the
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 설정 명령을 입력받기 위한 설정 메뉴를 디스플레이하는 예시도이다.FIG. 3 is an exemplary view illustrating a setting menu for receiving a user setting command in a display apparatus according to an exemplary embodiment of the present invention. Referring to FIG.
도 3에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 명령에 따라 사용자 설정 명령을 입력받기 위한 설정 메뉴(310)를 화면상에 디스플레이할 수 있다. 전술한 바와 같이, 설정 메뉴(310)는 사용자의 발화 음성에 대한 응답 정보를 사용자의 취향 혹은 타입에 따라 상이하게 제공받기 위한 메뉴이다. 이 같은 설정 메뉴(310)는 도시된 바와 같이, 성별 및 역할/요소에 대한 메뉴 항목(311,313)을 포함할 수 있다. 또한, 설정 메뉴(310)는 성별에 대한 메뉴 항목(311)과 관련하여 남자 혹은 여자를 선택하기 위한 성별 선택 항목(311')과 역할/요소에 대한 설정을 수행할지 혹은 수행하지 않은지를 선택하기 위한 설정 선택 항목(313')를 더 포함할 수 있다.As shown in FIG. 3, the
실시예에 따라, 설정 메뉴(310)에 포함된 메뉴 항목(311,313) 중 성별에 대한 메뉴 항목(311) 및 '여자' 성별에 대한 성별 선택 항목(311')에 대한 사용자 설정 명령이 입력될 수 있다. 이 같은 사용자 설정 명령이 입력되면, 디스플레이 장치(100)는 입력된 사용자 설정 명령을 저장부(150)에 저장한다. 이후, 디스플레이 장치(100)는 사용자로부터 입력된 발화 음성과 관련된 응답 정보가 수신되면, 수신된 응답 정보와 관련된 응답 메시지를 텍스트 형태의 영상으로 디스플레이함과 동시에 해당 응답 메시지를 여자 음성 형태로 출력할 수 있다.According to the embodiment, the user setting command for the
한편, 설정 메뉴(310)에 포함된 메뉴 항목(311,313) 중 역할/요소와 관련된 메뉴 항목(313) 선택 및 역할/요소에 대한 설정을 수행하기 위한 설정 선택 항목(313') 선택 관련 사용자 설정 명령이 입력될 수 있다. 이 같은 사용자 설정 명령이 입력되면, 디스플레이 장치(100)는 역할/요소와 관련된 메뉴 항목(313)과 관련된 부가 메뉴를 화면상에 디스플레이할 수 있다.On the other hand, a
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 역할/요소와 관련된 메뉴 항목과 관련된 부가 메뉴를 화면상에 디스플레이하는 예시도이다.FIG. 4 is a view illustrating an additional menu related to a menu item related to a role / element in a display device according to an exemplary embodiment of the present invention.
도 4에 도시된 바와 같이, 역할/요소와 관련된 메뉴 항목(313) 선택 및 역할/요소에 대한 설정을 수행하기 위한 설정 선택 항목(313') 선택 관련 사용자 설정 명령이 입력되면, 디스플레이 장치(100)는 역할/요소과 관련된 세부 항목을 선택할 수 있는 부가 메뉴(410)를 화면상에 디스플레이한다. 도시된 바와 같이, 부가 메뉴(410)는 부가 메뉴A ~ D(411~414)를 포함할 수 있다.As shown in FIG. 4, when a user setting command related to the selection of the
실시예에 따라, 부가 메뉴A(411)는 사용자의 발화 음성과 관련하여 전문성이 강조된 응답 정보를 수신하기 위한 메뉴이며, 부가 메뉴B(412)는 사용자의 발화 음성과 관련하여 친절성이 강조된 응답 정보를 수신하기 위한 메뉴가 될 수 있다. 그리고, 부가 메뉴C(413)는 제안성이 강조된 응답 정보를 수신하기 위한 메뉴가 될 수 있으며, 부가 메뉴D(414)는 성향이 강조된 응답 정보를 수신하기 위한 메뉴가 될 수 있다.According to the embodiment, the additional menu A 411 is a menu for receiving response information emphasizing the expertise in relation to the uttered voice of the user, and the
전술한 실시예에서, 전문성이 강조된 응답 정보는 사용자의 발화 음성과 관련하여 보다 구체적인 응답을 제공하기 위한 응답 정보가 될 수 있으며, 친절성이 강조된 응답 정보는 사용자의 발화 음성과 관련하여 가장 완성된 문장 형태의 응답을 제공하기 위한 응답 정보가 될 수 있다. 그리고, 제안성이 강조된 응답 정보는 사용자의 발화 음성과 관련하여 제안적인 응답을 제공하기 위한 응답 정보가 될 수 있으며, 성향이 강조된 응답 정보는 사용자의 발화 음성과 관련하여 간략한 문장 형태의 응답을 제공하기 위한 응답 정보가 될 수 있다.In the above-described embodiment, the response information emphasizing the expertise may be response information for providing a more specific response with respect to the speech utterance of the user, and the response information emphasizing the kindness may be the most complete And may be response information for providing a response in the form of a sentence. The response information in which the proposal is emphasized can be the response information for providing the proposal response in relation to the speech voice of the user, and the response information in which the propensity is emphasized provides the response in the form of a brief sentence in relation to the speech voice of the user As shown in FIG.
예를 들어, "11시 17분에 취침예약 해줘!"라는 발화 음성과 관련하여 "취침 예약을 할 수 없습니다. 30분 후 TV 꺼와 같이 30분 단위로 말씀해주세요.", "취침 예약을 할 수 없습니다.", "30분 단위로 말씀해주세요", "예약할 수 없어!!"와 같은 응답 정보가 대화형 서버(300)에 기생성되어 저장될 수 있다. 이 경우, "11시 17분에 취침예약 해줘!"라는 발화 음성과 관련하여 "취침 예약을 할 수 없습니다. 30분 후 TV 꺼와 같이 30분 단위로 말씀해주세요"라는 응답 정보는 전문성이 강조된 응답 정보가 될 수 있으며, "취침 예약을 할 수 없습니다."라는 응답 정보는 친절성이 강조된 응답 정보가 될 수 있다. 그리고, "취침예약은 30분 단위로 말씀해주세요"라는 응답 정보는 제안성이 강조된 응답 정보가 될 수 있으며, "예약할 수 없어!!"라는 응답 정보는 성향이 강조된 응답 정보가 될 수 있다.For example, in relation to the voice of "Let's make a bed at 11:17!" I can not make a bed reservation. After 30 minutes, please tell me in 30-minute intervals like " Response information such as "please tell me in 30 minutes" and "I can not make a reservation!" Can be generated and stored in the
이와 같이, 디스플레이 장치(100)는 화면상에 디스플레이된 설정 메뉴 중 사용자 설정 명령에 대응되는 메뉴 항목에 기초하여 대화형 서버(300)로부터 사용자의 발화 음성에 대한 응답 정보를 상이하게 제공받을 수 있다.As described above, the
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 설정된 사용자 설정 명령에 따라 사용자의 발화 음성에 대한 응답 메시지를 출력하는 예시도이다.5 is a diagram illustrating an example of a response message to a user uttered voice according to a user setting command set in a display device according to an exemplary embodiment of the present invention.
디스플레이 장치(100)는 사용자 명령이 입력되면, 도 3에 도시된 바와 같은 설정 메뉴(310)를 화면상에 디스플레이한다. 이후, 디스플레이 장치(100)는 설정 메뉴(310)에 포함된 메뉴 항목(311,313) 중 역할/요소와 관련된 메뉴 항목(313) 선택 및 역할/요소에 대한 설정을 수행하기 위한 설정 선택 항목(313') 선택 관련 사용자 설정 명령이 입력될 수 있다. 이 같은 사용자 설정 명령이 입력되면, 디스플레이 장치(100)는 도 4에 도시된 바와 같이 부가 메뉴(410)를 화면상에 디스플레이할 수 있다. 부가 메뉴(410)가 디스플레이된 상태에서 전문성이 강조된 응답 정보를 수신하기 위한 부가 메뉴A(411)에 대한 사용자 설정 명령이 입력되면, 디스플레이 장치(100)는 부가 메뉴A(411)에 대한 사용자 설정 명령을 대화형 서버(300)로 전송한다. 이후, 전술한 예와 같이, "11시 17분에 취침예약 해줘!"라는 발화 음성이 입력되면, 디스플레이 장치(100)는 입력된 발화 음성(510)을 화면상에 디스플레이 및 대화형 서버(300)로 전송한다. 이에 따라, 대화형 서버(300)는 "11시 17분에 취침예약 해줘!"라는 발화 음성과 관련하여 기생성된 복수의 응답 정보 중 부가 메뉴A(411)에 대한 사용자 설정 명령과 대응하는 기설정된 조건에 따라 분류된 응답 정보를 디스플레이 장치(100)로 전송한다.When the user command is input, the
이에 따라, 디스플레이 장치(100)는 대화형 서버(300)로부터 수신한 응답 정보에 기초하여 "취침 예약을 할 수 없습니다. 30분 후 TV 꺼와 같이 30분 단위로 말씀해주세요."라는 응답 메시지(520)를 화면상에 디스플레이할 수 있다.Accordingly, the
그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 사용자 설정 명령에 따라 설정 메뉴(310)에 포함된 메뉴 항목(311,313)과 역할/요소와 관련된 메뉴 항목(313)과 관련된 복수의 부가 메뉴A~D(411~414)를 중복하여 설정할 수 있다. 예를 들어, 디스플레이 장치(100)는 성별에 대한 메뉴 항목(311) 및 '여자' 성별에 대한 성별 선택 항목(311')에 대한 사용자 설정 명령과 전문성이 강조된 응답 정보를 수신하기 위한 부가 메뉴A(411)에 대한 사용자 설정 명령을 입력받을 수 있다. 이 경우, 디스플레이 장치(100)는 "취침 예약을 할 수 없습니다. 30분 후 TV 꺼와 같이 30분 단위로 말씀해주세요."라는 응답 메시지(520)를 화면상에 디스플레이함과 동시에 해당 응답 메시지(520)를 여자 음성 형태로 출력할 수 있다.However, the present invention is not limited to this, and the
또다른 예를 들어, 디스플레이 장치(100)는 역할/요소와 관련된 메뉴 항목(313)과 관련된 복수의 부가 메뉴A~D(411~414) 중 부가 메뉴C,D(413,414)에 대한 사용자 설정 명령이 입력될 수 있다. 이 같은 사용자 설정 명령이 입력되면, 디스플레이 장치(100)는 부가 메뉴C,D(413,414)에 대한 사용자 설정 명령을 대화형 서버(300)로 전송한다. 이후, 전술한 예와 같이 "11시 17분에 취침예약 해줘!"라는 발화 음성이 입력되면, 디스플레이 장치(100)는 입력된 발화 음성(510)을 화면상에 디스플레이 및 대화형 서버(300)로 전송한다. 이에 따라, 대화형 서버(300)는 "11시 17분에 취침예약 해줘!"라는 발화 음성과 관련하여 기생성된 복수의 응답 정보 중 부가 메뉴C,D(413,414)에 대한 사용자 설정 명령 각각에 대응하는 기설정된 조건에 따라 분류된 응답 정보를 조합하여 디스플레이 장치(100)로 전송한다. For example, the
예를 들어, "11시 17분에 취침예약 해줘!"라는 발화 음성과 관련하여 "취침 예약을 할 수 없습니다.", "30분 단위로 말씀해주세요", "30분 단위로 말해줄래!!", "예약할 수 없어!!"라는 응답 정보가 대화형 서버(300)에 기저장되어 있을 수 있다. 이 경우, 대화형 서버(300)는 부가 메뉴C,D(413,414)에 대한 사용자 설정 명령 각각에 대응하는 기설정된 조건에 따라 분류된 "30분 단위로 말해줄래!!", "예약할 수 없어!!"라는 응답 정보를 조합하여 디스플레이 장치(100)로 전송한다. 이에 따라, 디스플레이 장치(100)는 대화형 서버(300)로부터 수신한 응답 정보에 기초하여 "예약할 수 없어!! 30분 단위로 말해줄래!!"라는 응답 메시지를 화면상에 디스플레이할 수 있다.For example, "I can not make a bed reservation", "Tell me in 30 minutes", "Tell me in half an hour!" , "No reservation can be made ", may be stored in the
지금까지, 본 발명에 따른 디스플레이 장치(100)의 각 구성 및 동작에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 대화형 서버(300)의 각 구성에 대해서 상세히 설명하도록 한다.Various configurations and operations of the
도 6은 본 발명의 일 실시예에 따른 대화형 서버의 블록도이다.6 is a block diagram of an interactive server in accordance with an embodiment of the present invention.
도 6에 도시된 바와 같이, 대화형 서버(300)는 통신부(610), 음성 처리부(620), 추출부(630), 판단부(640), 제어부(650), 응답 정보 분류부(660) 및 저장부(670)를 포함한다.6, the
통신부(610)는 디스플레이 장치(100)와 통신을 수행하며, 음성 처리부(620)는 디스플레이 장치(100)로부터 수신한 사용자의 발화 음성을 텍스트 정보로 변환한다. 그러나, 디스플레이 장치(100)로부터 텍스트 정보로 변환된 사용자의 발화 음성이 수신될 경우, 대화형 서버(300)는 음성 처리부(620)의 구성을 생략할 수 있다. 추출부(630)는 텍스트 정보로 변환된 발화 음성으로부터 발화 요소를 추출한다. 한편, 판단부(640)는 디스플레이 장치(100)로부터 발화 음성이 수신되면, 그 발화 음성이 수신되기 전에 디스플레이 장치(100)로부터 사용자 설정 명령이 수신되어 저장되어 있는지 여부를 판단한다. 사용자 설정 명령이 수신되지 않은 것으로 판단되면, 제어부(650)는 추출부(630)를 통해 추출된 발화 요소와 관련하여 저장부(670)에 기저장된 복수의 응답 정보 중 하나의 응답 정보를 임의로 결정하여 디스플레이 장치(100)로 전송한다. The
구체적으로, 추출부(630)는 음성 처리부(620)를 통해 텍스트 정보로 변환된 발화 음성으로부터 화행에 대한 발화 요소, 주행에 대한 발화 요소 및 개체 정보를 나타내는 발화 요소 중 적어도 하나의 발화 요소를 추출할 수 있다. 전술한 바와 같이, 화행에 대한 발화 요소는 문장의 형태와 관련된 분류 기준으로, 해당 문장이 서술문(Statement), 요청문(Request) 또는 의문문(Qiestion)인지를 나타낸다. 그리고, 주행에 대한 발화 요소는 해당 발화가 특정 도메인에서 대화를 통해 원하는 행위는 나타내는 의미적 정보이다. 그리고, 개체 정보에 대한 발화 요소는 실행 대상을 나타내는 발화 요소로써, 구체적으로, 사용자의 발화에 나타나는 특정 도메인에서 의도하는 행동의 의미를 구체화하기 위한 정보이다.Specifically, the
예를 들어, "○○○(프로그램명)은 언제 해?"라는 발화 음성의 경우, 추출부(630)는 저장부(670)에 기저장된 이전 발화 음성 정보에 기초하여 현재 발화 음성과 매칭되거나 혹은 유사한 이전 발화 음성 정보에 태깅된 정보에 기초하여 "해?"라는 의문문 관련 화행의 발화 요소와 "언제"라는 프로그램 시간 찾기 관련 주행의 발화 요소와 "○○○(프로그램명)"라는 프로그램명 관련 개체 정보의 발화 요소를 추출할 수 있다. 이 같이, 사용자의 발화 음성으로부터 발화 요소가 추출되면, 제어부(640)는 사용자의 발화 음성으로부터 추출된 발화 요소에 기초하여 서비스를 제공할 도메인을 결정하고, 그 결정된 도메인 내에서 사용자의 발화 음성과 관련된 응답 정보를 획득한다. 즉, 저장부(670)는 서비스 도메인별로 이전 발화 음성과 각 서비스 도메인에 속하는 이전 발화 음성별로 기생성된 복수의 응답 정보를 저장한다. 따라서, 제어부(650)는 저장부(670)에 저장된 이전 발화 음성에 기초하여 사용자의 발화 음성에 대한 서비스 도메인을 결정하고, 그 결정된 서비스 도메인 내에서 사용자의 발화 음성으로부터 추출된 발화 요소와 관련된 복수의 응답 정보를 획득할 수 있다. 이 같은 복수의 응답 정보가 획득되면, 제어부(650)는 획득한 복수의 응답 정보 중 하나의 응답 정보를 임의로 결정하고, 그 임의로 결정된 응답 정보를 디스플레이 장치(100)로 전송한다.For example, in the case of a voice utterance "When is (OOO) (program name)?", The extracting
한편, 사용자 설정 명령이 수신된 것으로 판단되면, 제어부(650)는 추출부(630)를 통해 추출된 발화 요소와 관련하여 저장부(670)에 기저장된 복수의 응답 정보 중 사용자 설정 명령과 관련된 응답 정보를 디스플레이 장치(100)로 전송한다. 구체적으로, 응답 정보 분류부(660)는 저장부(670)에 저장되는 이전 발화 음성별 복수의 응답 정보를 기설정된 조건에 따라 분류하여 저장한다. 여기서, 기설정된 조건은 이전 발화 음성별로 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값이 될 수 있다. 따라서, 응답 정보 분류부(660)는 이 같은 인자값에 기초하여 이전 발화 음성별 생성된 복수의 응답 정보를 상이한 응답 형태로 분류하여 저장부(670)에 저장할 수 있다.If it is determined that the user setting command has been received, the
따라서, 제어부(650)는 사용자 설정 명령이 수신되면, 사용자의 발화 음성으로부터 추출된 발화 요소와 관련된 복수의 응답 정보 중 사용자 설정 명령과 대응되는 기설정된 조건에 따라 분류된 응답 정보를 획득하여 디스플레이 장치(100)로 전송할 수 있다.Accordingly, when the user setting command is received, the
도 7은 본 발명의 일 실시예에 따른 대화형 서버에서 사용자의 발화 음성과 관련된 응답 정보를 분류하는 예시도이다.FIG. 7 is an exemplary diagram for classifying response information related to a user uttered voice in an interactive server according to an exemplary embodiment of the present invention. Referring to FIG.
도 7에 도시된 바와 같이, 저장부(670)는 "11시 17분에 취침예약 해줘"라는 발화 음성(710)과 관련하여 "취침 예약을 할 수 없습니다."라는 제1 응답 정보(711), "예약할 수 없습니다."라는 제2 응답 정보(712) 및 "취침 예약을 할 수 없습니다. 30분 단위로 말씀해주세요."라는 제3 응답 정보(713)를 저장할 수 있다. 이 경우, 응답 정보 분류부(660)는 기설정된 조건에 따라 제1 내지 제3 응답 정보(711~713) 중 제1 응답 정보(711)를 친절한 응답으로 분류하고, 제2 응답 정보(712)를 성향별 응답으로 분류하며, 제3 응답 정보(713)를 전문적인 응답으로 분류할 수 있다.7, the
전술한 예와 같이, 디스플레이 장치로부터 전문성이 강조된 응답 정보를 수신하기 위한 부가 메뉴A(410)에 대한 사용자 설정 명령이 수신되면, 제어부(650)는 제1 내지 제3 응답 정보(711~713) 중 부가 메뉴A(410)에 대한 사용자 설정 명령과 대응되는 기설정된 조건에 따라 분류된 제3 응답 정보를 디스플레이 장치(100)로 전송할 수 있다. 이에 따라, 디스플레이 장치(100)는 대화형 서버(300)로부터 수신한 응답 정보에 기초하여 "취침 예약을 할 수 없습니다. 30분 단위로 말씀해주세요."라는 응답 메시지를 출력할 수 있다.When the user setting instruction for the
지금까지, 본 발명에 따른 대화형 서버(300)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 전술한 디스플레이 장치(100) 및 대화형 서버(300)의 제어 방법에 대해서 상세히 설명하도록 한다.Up to now, each configuration of the
도 8은 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법에 대한 흐름도이다.8 is a flowchart illustrating a method of controlling a display device according to an embodiment of the present invention.
도 8에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 명령이 입력되는지 여부를 판단한다(S810). 판단 결과, 사용자 명령이 입력된 것으로 판단되면, 디스플레이 장치(100)는 입력된 사용자 명령에 따라 사용자 설정 명령을 입력받기 위한 설정 메뉴를 디스플레이한다(S820). 사용자 명령에 따라 화면상에 디스플레이되는 설정 메뉴는 사용자의 발화 음성과 관련하여 대화형 서버(300)에 기저장된 복수의 응답 정보 중 사용자의 취향 혹은 타입에 따라 상이하게 제공받기 위한 메뉴가 될 수 있다. 이 같은 설정 메뉴가 디스플레이된 상태에서, 사용자 설정 명령이 입력되면, 디스플레이 장치(100)는 입력된 사용자 설정 명령을 대화형 서버(300)로 전송한다(S830). As shown in FIG. 8, the
이후, 디스플레이 장치(100)는 사용자의 발화 음성이 입력되는지 여부를 판단하여 사용자의 발화 음성이 입력되면, 입력된 발화 음성을 대화형 서버(300)로 전송한다(S840,S850). 이에 따라, 대화형 서버(300)는 디스플레이 장치(100)로부터 사용자의 발화 음성이 수신되기 이전에 사용자 설정 명령이 수신되면, 사용자의 발화 음성과 관련하여 기저장된 복수의 응답 정보 중 사용자 설정 명령에 대응하는 기설정된 조건에 따라 분류된 응답 정보를 디스플레이 장치(100)로 전송할 수 있다. 이에 따라, 디스플레이 장치(100)는 대화형 서버(300)로부터 수신한 응답 정보에 기초하여 응답 메시지를 음성 및 영상 중 적어도 하나를 통해 출력한다(S860).Then, the
한편, 단계 S810에서 사용자 명령이 입력되지 않고, 사용자의 발화 음성이 입력된 것으로 판단되면, 디스플레이 장치(100)는 입력된 발화 음성을 대화형 서버(300)로 전송할 수 있다. 이 경우, 대화형 서버(300)는 디스플레이 장치(100)로부터 수신한 발화 음성과 관련하여 기생성된 복수의 응답 정보 중 하나의 응답 정보를 임의로 결정하여 디스플레이 장치(100)로 전송한다. 따라서, 디스플레이 장치(100)는 단계 S860을 통해 대화형 서버(300)로부터 수신한 응답 정보에 기초하여 음성 및 영상 중 적어도 하나를 통해 출력할 수 있다.On the other hand, if it is determined in step S810 that the user command is not input and the user's uttered voice is input, the
도 9는 본 발명의 일 실시예에 따른 대화형 서버의 제어 방법에 대한 흐름도이다.9 is a flowchart illustrating a method of controlling an interactive server according to an exemplary embodiment of the present invention.
도 9에 도시된 바와 같이, 대화형 서버(300)는 디스플레이 장치(100)로부터 발화 음성이 수신되면, 수신된 발화 음성을 텍스트 정보로 변환한다(S910,S920). 실시예에 따라, 대화형 서버(300)는 TT(Speech to Text) 알고리즘을 이용하여 사용자의 발화 음성을 텍스트 정보로 변환할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)로부터 텍스트 정보로 변환된 발화 음성이 수신되면, 단계 S920과 같이, 발화 음성을 텍스트 정보로 변환하는 단계는 생략될 수 있다.As shown in FIG. 9, when the
이 같은 사용자의 발화 음성이 텍스트 정보로 변환되면, 대화형 서버(300)는 텍스트 정보로 변환된 발화 음성으로부터 발화 요소를 추출한다(S930). 이후, 대화형 서버(300)는 추출된 발화 요소에 기초하여 사용자의 발화 음성에 대한 응답 정보를 제공하기에 앞서 디스플레이 장치(100)로부터 사용자 설정 명령이 수신되었는지 여부를 판단한다(S940). 사용자 설정 명령이 수신되지 않은 것으로 판단되면, 대화형 서버(300)는 사용자 발화 음성으로부터 추출된 발화 요소와 관련하여 기저장된 복수의 응답 정보 중 하나의 응답 정보를 임의로 결정하여 디스플레이 장치(100)로 전송한다(S950).When the uttered voice of the user is converted into text information, the
한편, 사용자 설정 명령이 수신된 것으로 판단되면, 대화형 서버(300)는 사용자의 발화 음성으로부터 추출된 발화 요소와 관련하여 기저장된 복수의 응답 정보 중 사용자 설정 명령과 관련된 응답 정보를 디스플레이 장치(100)로 전송한다(S960). 구체적으로, 대화형 서버는 기저장된 이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하여 저장한다. 여기서, 기설정된 조건은 이전 발화 음성별로 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값이 될 수 있다. 따라서, 대화형 서버(300)는 이 같은 인자값에 기초하여 이전 발화 음성별 생성된 복수의 응답 정보를 상이한 응답 형태로 분류하여 저장할 수 있다.On the other hand, when it is determined that the user setting command has been received, the
이에 따라, 대화형 서버(300)는 사용자 설정 명령이 수신되면, 사용자의 발화 음성으로부터 추출된 발화 요소와 관련된 복수의 응답 정보 중 사용자 설정 명령과 대응되는 기설정된 조건에 따라 분류된 응답 정보를 획득하여 디스플레이 장치(100)로 전송할 수 있다.Accordingly, when the user setting instruction is received, the
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the invention as defined by the appended claims. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention.
100 : 디스플레이 장치 110, 610 : 통신부
120 : 음성 수집부 130, 650 : 제어부
140 : 출력부 141 : 디스플레이부
143 : 오디오 출력부 150, 670 : 저장부
160 : 입력부 200 : 텍스트 서버
300 : 대화형 서버100: display device 110, 610:
120:
140: output unit 141: display unit
143:
160: Input unit 200: Text server
300: Interactive server
Claims (16)
상기 디스플레이 장치로부터 수신된 발화 음성으로부터 발화 요소를 추출하는 추출부;
상기 디스플레이 장치로부터 사용자 설정 명령이 수신되었는지 여부를 판단하는 판단부; 및
상기 사용자 설정 명령이 수신되지 않으면, 상기 추출된 발화 요소와 관련하여 기저장된 복수의 응답 정보 중 하나의 응답 정보를 상기 디스플레이 장치로 전송하고,
상기 사용자 설정 명령이 수신되면, 상기 복수의 응답 정보 중 상기 사용자 설정 명령과 관련된 응답 정보를 상기 디스플레이 장치로 전송하는 제어부;
를 포함하는 대화형 서버.A communication unit for performing communication with the display device;
An extracting unit for extracting an utterance element from the utterance voice received from the display device;
A determining unit for determining whether a user setting command has been received from the display device; And
If the user setting instruction is not received, transmits one response information of a plurality of response information previously stored in association with the extracted speech element to the display device,
A controller for transmitting response information related to the user setting command among the plurality of response information to the display device when the user setting command is received;
≪ / RTI >
이전 발화 음성별로 생성된 복수의 응답 정보를 저장하는 저장부; 및
상기 이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하는 응답 정보 분류부;를 더 포함하며,
상기 기설정된 조건은,
상기 이전 발화 음성별로 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값인 것을 특징으로 하는 대화형 서버.3. The method of claim 2,
A storage unit for storing a plurality of response information generated for each previous utterance voice; And
And a response information classifying unit for classifying a plurality of response information generated for each of the previous uttered speech according to predetermined conditions,
Preferably,
Wherein the response information is an argument value for classifying a plurality of response information generated for each of the previous uttered speech into at least one of a professional response, a friendly response, a response for proposal, a response for propensity, and other response.
상기 제어부는,
상기 사용자 설정 명령이 수신되면, 상기 추출된 발화 요소와 관련된 복수의 응답 정보 중 상기 사용자 설정 명령과 대응되는 기설정된 조건에 따라 분류된 응답 정보로부터 상기 발화 음성에 대응되는 응답 정보를 획득하여 상기 디스플레이 장치로 전송하는 것을 특징으로 하는 대화형 서버.The method of claim 3,
Wherein,
The response information corresponding to the uttered voice is obtained from response information classified according to a predetermined condition corresponding to the user setting command among a plurality of response information related to the extracted utterance element, To the device.
상기 수신된 발화 음성을 텍스트 정보로 변환하는 음성 처리부;
를 더 포함하는 것을 특징으로 하는 대화형 서버.The method according to claim 1,
A voice processing unit for converting the received speech voice into text information;
Lt; RTI ID = 0.0 > 1, < / RTI >
디스플레이 장치로부터 발화 음성을 수신하는 단계;
상기 수신된 발화 음성으로부터 발화 요소를 추출하는 단계;
상기 디스플레이 장치로부터 사용자 설정 명령이 수신되었는지 여부를 판단하는 단계; 및
상기 사용자 설정 명령이 수신되지 않으면, 상기 추출된 발화 요소와 관련하여 기저장된 복수의 응답 정보 중 하나의 응답 정보를 상기 디스플레이 장치로 전송하고,
상기 사용자 설정 명령이 수신되면, 상기 복수의 응답 정보 중 상기 사용자 설정 명령과 관련된 응답 정보를 상기 디스플레이 장치로 전송하는 단계;
를 포함하는 제어 방법.A method for controlling an interactive server,
Receiving a speech voice from a display device;
Extracting a speech component from the received speech speech;
Determining whether a user setting command has been received from the display device; And
If the user setting instruction is not received, transmits one response information of a plurality of response information previously stored in association with the extracted speech element to the display device,
Transmitting response information related to the user setting command among the plurality of response information to the display device when the user setting command is received;
≪ / RTI >
상기 대화형 서버는,
이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하여 저장하며,
상기 기설정된 조건은,
상기 이전 발화 음성별 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값인 것을 특징으로 하는 제어 방법.6. The method of claim 5,
The interactive server comprises:
A plurality of response information generated for each previous speech voice is classified and stored according to predetermined conditions,
Preferably,
And a plurality of response information generated for each of the previous speech utterances is an argument value for classifying the plurality of response information into at least one of a professional response, a friendly response, a response for proposal, a response for propensity, and other responses.
상기 전송하는 단계는,
상기 사용자 설정 명령이 수신되면, 상기 추출된 발화 요소와 관련된 복수의 응답 정보 중 상기 사용자 설정 명령에 대응되는 기설정된 조건에 따라 분류된 응답 정보로부터 상기 발화 음성에 대응되는 응답 정보를 획득하여 상기 디스플레이 장치로 전송하는 것을 특징으로 하는 제어 방법.The method according to claim 6,
Wherein the transmitting comprises:
The response information corresponding to the uttered voice is obtained from response information classified according to a predetermined condition corresponding to the user setting command among a plurality of response information related to the extracted utterance element, To the device.
상기 수신된 발화 음성을 텍스트 정보로 변환하는 단계;
를 더 포함하는 것을 특징으로 하는 제어 방법.6. The method of claim 5,
Converting the received speech speech into text information;
Further comprising the steps of:
사용자 발화 음성을 수집하는 음성 수집부;
상기 발화 음성을 대화형 서버로 전송하고, 상기 발화 음성과 관련된 응답 정보를 수신하는 통신부;
사용자 명령을 입력받는 입력부; 및
상기 사용자 명령에 따라 사용자 설정 명령을 입력받기 위한 설정 메뉴를 디스플레이하도록 상기 출력부를 제어하며,
상기 디스플레이된 설정 메뉴에 기초하여 사용자 설정 명령이 입력되면, 상기 발화 음성과 관련된 복수의 응답 정보 중 상기 사용자 설정 명령과 관련된 응답 정보를 수신하도록 상기 사용자 설정 명령을 상기 대화형 서버로 전송하는 제어부;
를 포함하는 디스플레이 장치.An output unit for outputting at least one of audio and video;
A voice collector for collecting user uttered voice;
A communication unit for transmitting the speech voice to an interactive server and receiving response information related to the speech voice;
An input unit for receiving a user command; And
Controls the output unit to display a setting menu for receiving a user setting command according to the user command,
A controller for transmitting the user setting command to the interactive server to receive response information related to the user setting command among a plurality of response information related to the uttered voice when a user setting command is input based on the displayed setting menu;
.
상기 대화형 서버는,
이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하여 저장하며,
상기 기설정된 조건은,
상기 이전 발화 음성별 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값인 것을 특징으로 하는 디스플레이 장치.10. The method of claim 9,
The interactive server comprises:
A plurality of response information generated for each previous speech voice is classified and stored according to predetermined conditions,
Preferably,
Wherein the response information is a factor value for classifying the plurality of response information generated for each of the previous uttered speech into at least one of a response of a professional response, a response of a kind, a response for a proposal, a response for a propensity, and other responses.
상기 사용자 설정 명령과 관련된 응답 정보는,
상기 발화 음성과 관련하여 기저장된 복수의 응답 정보 중 상기 사용자 설정 명령에 대응하는 기설정된 조건에 따라 분류된 응답 정보인 것을 특징으로 하는 디스플레이 장치.11. The method of claim 10,
Wherein the response information associated with the user setup command comprises:
Wherein the response information is classified according to a predetermined condition corresponding to the user setting command among a plurality of response information previously stored in association with the uttered voice.
상기 제어부는,
상기 사용자 설정 명령에 기초하여 상기 대화형 서버로부터 수신한 응답 정보를 상이한 형태의 오디오로 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는 디스플레이 장치.10. The method of claim 9,
Wherein,
And controls the output unit to output response information received from the interactive server to audio of a different type based on the user setting command.
사용자 명령에 따라 사용자 설정 명령을 입력받기 위한 설정 메뉴를 디스플레이하는 단계;
상기 디스플레이된 설정 메뉴에 기초하여 사용자 설정 명령이 입력되면, 상기 입력된 사용자 설정 명령을 대화형 서버로 전송하는 단계;
사용자의 발화 음성이 수집되면, 상기 수집된 발화 음성을 상기 대화형 서버로 전송하는 단계;
상기 대화형 서버로부터 상기 발화 음성과 관련된 복수의 응답 정보 중 상기 사용자 설정 명령과 관련된 응답 정보를 수신하는 단계; 및
상기 수신된 응답 정보를 출력하는 단계;
를 포함하는 제어 방법.A method of controlling a display device,
Displaying a setting menu for receiving a user setting command according to a user command;
Transmitting the input user setting command to the interactive server when a user setting command is input based on the displayed setting menu;
When the user's voice is collected, transmitting the collected voice to the interactive server;
Receiving response information associated with the user setting command from a plurality of response information related to the uttered voice from the interactive server; And
Outputting the received response information;
≪ / RTI >
상기 대화형 서버는,
이전 발화 음성별로 생성된 복수의 응답 정보를 기설정된 조건에 따라 분류하여 저장하며,
상기 기설정된 조건은,
상기 이전 발화 음성별 생성된 복수의 응답 정보를 전문적인 응답, 친절한 응답, 제안을 위한 응답, 성향별 응답 및 기타 응답 중 적어도 하나의 응답으로 분류하기 위한 인자값인 것을 특징으로 하는 제어 방법.14. The method of claim 13,
The interactive server comprises:
A plurality of response information generated for each previous speech voice is classified and stored according to predetermined conditions,
Preferably,
And a plurality of response information generated for each of the previous speech utterances is an argument value for classifying the plurality of response information into at least one of a professional response, a friendly response, a response for proposal, a response for propensity, and other responses.
상기 사용자 설정 명령과 관련된 응답 정보는,
상기 발화 음성과 관련하여 기저장된 복수의 응답 정보 중 상기 사용자 설정 명령에 대응하는 기설정된 조건에 따라 분류된 응답 정보인 것을 특징으로 하는 제어 방법.15. The method of claim 14,
Wherein the response information associated with the user setup command comprises:
Wherein the response information is classified according to a predetermined condition corresponding to the user setting command among a plurality of response information previously stored in association with the speech utterance.
상기 출력하는 단계는,
상기 사용자 설정 명령에 기초하여 상기 대화형 서버로부터 수신한 응답 정보를 상이한 형태의 오디오로 출력하는 것을 특징으로 하는 제어 방법.
13. The method of claim 12,
Wherein the outputting step comprises:
And the response information received from the interactive server is output as different types of audio based on the user setting command.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130057993A KR20140137263A (en) | 2013-05-22 | 2013-05-22 | Interactive sever, display apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130057993A KR20140137263A (en) | 2013-05-22 | 2013-05-22 | Interactive sever, display apparatus and control method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140137263A true KR20140137263A (en) | 2014-12-02 |
Family
ID=52457190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130057993A KR20140137263A (en) | 2013-05-22 | 2013-05-22 | Interactive sever, display apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20140137263A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190081926A (en) * | 2017-12-29 | 2019-07-09 | 삼성전자주식회사 | Display apparatus for processing user utterance and control method thereof |
-
2013
- 2013-05-22 KR KR1020130057993A patent/KR20140137263A/en not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190081926A (en) * | 2017-12-29 | 2019-07-09 | 삼성전자주식회사 | Display apparatus for processing user utterance and control method thereof |
| US11460979B2 (en) | 2017-12-29 | 2022-10-04 | Samsung Electronics Co., Ltd. | Display device for processing user utterance and control method of display device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11854570B2 (en) | Electronic device providing response to voice input, and method and computer readable medium thereof | |
| KR102056461B1 (en) | Display apparatus and method for controlling the display apparatus | |
| EP2674941B1 (en) | Terminal apparatus and control method thereof | |
| KR102304052B1 (en) | Display device and operating method thereof | |
| JP6802305B2 (en) | Interactive server, display device and its control method | |
| JP2019153314A (en) | Picture processing device, control method of the same, and picture processing system | |
| KR102084739B1 (en) | Interactive sever, display apparatus and control method thereof | |
| EP2675153A1 (en) | Display apparatus, interactive server, and method for providing response information | |
| KR101914708B1 (en) | Server and method for controlling the same | |
| EP2728890A2 (en) | Broadcast receiving apparatus, server and control methods thereof | |
| KR102158315B1 (en) | Display apparatus for performing a voice control and method thereof | |
| KR20150087687A (en) | Interactive system, display apparatus and controlling method thereof | |
| KR20150089145A (en) | display apparatus for performing a voice control and method therefor | |
| KR20140002417A (en) | Display apparatus, electronic device, interactive system and controlling method thereof | |
| EP2685449A1 (en) | Method for providing contents information and broadcasting receiving apparatus thereof | |
| KR102160756B1 (en) | Display apparatus and method for controlling the display apparatus | |
| KR20140137263A (en) | Interactive sever, display apparatus and control method thereof | |
| KR101660269B1 (en) | Interactive server, control method thereof and interactive system | |
| KR20140026220A (en) | Terminal apparatus and controlling method thereof | |
| KR102049833B1 (en) | Interactive server, display apparatus and controlling method thereof | |
| KR20140115844A (en) | Interactive sever, display apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E601 | Decision to refuse application | ||
| E801 | Decision on dismissal of amendment |