KR20140087717A - 디스플레이 장치 및 제어 방법 - Google Patents

디스플레이 장치 및 제어 방법 Download PDF

Info

Publication number
KR20140087717A
KR20140087717A KR1020120158296A KR20120158296A KR20140087717A KR 20140087717 A KR20140087717 A KR 20140087717A KR 1020120158296 A KR1020120158296 A KR 1020120158296A KR 20120158296 A KR20120158296 A KR 20120158296A KR 20140087717 A KR20140087717 A KR 20140087717A
Authority
KR
South Korea
Prior art keywords
user
utterance
information
user utterance
collected
Prior art date
Application number
KR1020120158296A
Other languages
English (en)
Inventor
유소연
박은희
한상진
김재권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120158296A priority Critical patent/KR20140087717A/ko
Priority to EP13199317.2A priority patent/EP2750027A3/en
Priority to US14/144,808 priority patent/US20140188486A1/en
Priority to CN201310750792.XA priority patent/CN103916686A/zh
Priority to JP2014000277A priority patent/JP2014134791A/ja
Publication of KR20140087717A publication Critical patent/KR20140087717A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning

Abstract

디스플레이 장치 및 제어 방법이 개시된다. 본 발명에 따른 디스플레이 장치는, 사용자 발화를 수집하는 음성 수집부, 사용자 발화를 대화형 서버로 전송하고, 사용자 발화에 기초하여 생성된 대응되는 응답 정보를 수신하는 통신부, 사용자 발화 각각에 대응되는 제어 정보를 저장하는 저장부 및 수집된 사용자 발화를 대화형 서버로 전송하면서 수집된 사용자 발화에 대응되는 제어 정보가 저장부에 저장되어 있는지 여부를 판단하는 제어부를 포함하며, 제어부는, 수집된 사용자 발화에 대응되는 제어 정보가 저장부에 저장되어 있으면 저장된 제어 정보에 기초하여 사용자 발화에 대응되는 동작을 수행하고, 저장부에 저장되어 있지 않으면 대화형 서버로부터 수신된 응답 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다.

Description

디스플레이 장치 및 제어 방법{Display apparatus and controlling method thereof}
본 발명은 디스플레이 장치 및 제어 방법에 관한 것으로써, 보다 상세하게는 사용자 발화에 대응하는 동작을 수행하는 디스플레이 장치 및 제어 방법에 관한 것이다.
일반적으로, 음성 인식이 가능한 디스플레이 장치는 크게 임베디드(Embedded) 방식과 대화형 방식이 있다. 임베디드 방식의 디스플레이 장치는 발화 명령에 한정되어 사용자 발화를 인식한다. 즉, 임베디드 방식의 디스플레이 장치는 기설정된 발화 명령에 대응되는 사용자 발화가 수집될 경우에만 사용자 발화에 대응되는 기능을 수행한다. 즉, 임베디드 방식의 디스플레이 장치는 기설정된 발화 명령에 대응되는 사용자 발화가 수집될 경우, 해당 사용자 발화에 대응되는 기능을 보다 빠르게 수행한다는 점에서 이점이 있으나, 발화 명령에 대응되는 사용자 발화만을 인식한다는 점에서 사용자 발화를 인식하는데 매우 한정적이다.
대화형 방식의 디스플레이 장치는 다양한 사용자 발화를 인식하여 사용자 의도를 파악하고, 그 파악된 사용자 의도에 적합한 동작을 수행한다. 이 같은 대화형 방식의 디스플레이 장치는 사용자 발화가 수집되면, 대화형 서버로부터 사용자 발화에 대한 응답 정보를 수신하고, 그 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다. 이 같은 대화형 방식의 디스플레이 장치는 임베디드 방식의 디스플레이 장치에 비해 다양한 사용자 발화를 인식하고, 인식한 사용자 발화에 대응되는 동작을 수행한다는 점에서 장점이 있다. 그러나, 이 같은 대화형 방식의 디스플레이 장치는 전술한 일련의 과정을 통해 사용자 발화에 대응되는 기능을 수행한다. 즉, 대화형 방식의 디스플레이 장치는 볼륨, 채널 등의 단순 기능 조작을 수행할 경우, 대화형 서버를 통해 제공된 응답 정보에 기초하여 사용자 발화에 대응되는 기능을 수행하기 때문에 임베디드 방식의 디스플레이 장치에 비해 응답 속도가 느린 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 디스플레이 장치에서 사용자 발화에 대응하는 기능을 수행하는데 있어 보다 빠른 응답 속도 및 기능 수행 오류를 최소화하기 위함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 사용자 발화를 수집하는 음성 수집부, 상기 사용자 발화를 대화형 서버로 전송하고, 상기 사용자 발화에 기초하여 생성된 대응되는 응답 정보를 수신하는 통신부, 사용자 발화 각각에 대응되는 제어 정보를 저장하는 저장부 및 상기 수집된 사용자 발화를 상기 대화형 서버로 전송하면서 상기 수집된 사용자 발화에 대응되는 제어 정보가 상기 저장부에 저장되어 있는지 여부를 판단하는 제어부를 포함하며, 상기 제어부는, 상기 수집된 사용자 발화에 대응되는 제어 정보가 상기 저장부에 저장되어 있으면 저장된 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하고, 상기 저장부에 저장되어 있지 않으면 상기 대화형 서버로부터 수신된 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행한다.
그리고, 상기 제어부는, 기설정된 임계 시간 내에 상기 저장부에 저장된 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작이 수행되지 않으면, 상기 대화형 서버로부터 수신한 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행할 수 있다.
또한, 영상 및 음성을 출력하는 출력부를 더 포함하며, 상기 저장부는, 상기 사용자 발화 각각에 대한 제어 정보 중 적어도 하나의 제어 정보에 확인 메시지를 매칭시켜 저장하며, 상기 제어부는, 상기 수집된 사용자 발화에 대응되는 제어 정보에 확인 메시지가 매칭되어 있으면, 상기 출력부를 통해 상기 확인 메시지를 출력하고, 추가 사용자 발화가 수집되면, 상기 제어 정보에 기초하여 상기 디스플레이 장치의 기능을 제어할 수 있다.
그리고, 상기 제어 정보는, 사용자 발화 각각에 대해 상기 디스플레이 장치의 기능을 기설정된 타겟 값으로 조정하기 위한 정보일 수 있다.
또한, 상기 제어부는, 상기 디스플레이 장치의 기능이 상기 기설정된 타겟 값으로 조정된 이후, 추가 사용자 발화가 수집되면 상기 디스플레이 장치의 기능을 재조정할 수 있다.
그리고, 상기 응답 정보는, 상기 사용자 발화에 대응되는 응답 메시지 또는 상기 디스플레이 장치의 기능을 제어하기 위한 제어 명령 중 하나일 수 있다.
또한, 상기 대화형 서버는, 상기 수집된 사용자 발화를 텍스트 정보로 변환하는 제1 서버 및 상기 텍스트 정보로 변환된 사용자 발화에 대응되는 응답 정보를 생성하는 제2 서버를 포함하며, 상기 제어부는, 상기 수집된 사용자 발화를 디지털 신호로 변환하여 상기 제1 서버로 전송하고, 상기 제1 서버로부터 상기 사용자 발화에 대한 텍스트 정보가 수신되면, 상기 텍스트 정보를 상기 제2 서버로 전송하여 상기 사용자 발화에 대응되는 응답 정보를 수신할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치의 제어 방법에 있어서, 상기 방법은 상기 사용자 발화를 수집하는 단계, 상기 수집된 사용자 발화를 대화형 서버로 전송하면서 상기 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단하는 단계 및 상기 판단 결과, 상기 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있으면, 상기 기저장된 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하고, 기저장되어 있지 않으면, 상기 대화형 서버로부터 수신된 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하는 단계를 포함한다.
그리고, 상기 판단하는 단계 이후, 상기 대화형 서버로부터 상기 수집된 사용자 발화에 대응되는 응답 정보를 수신하는 단계를 더 포함하며, 상기 동작을 수행하는 단계는, 기설정된 임계 시간 내에 기저장된 상기 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작이 수행되지 않으면, 상기 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행할 수 있다.
또한, 상기 동작을 수행하는 단계는, 상기 수집된 사용자 발화에 대응되는 제어 정보에 확인 메시지가 매칭되어 있으면, 상기 확인 메시지를 출력하고, 추가 사용자 발화가 수집되면, 상기 제어 정보에 기초하여 상기 디스플레이 장치의 기능을 제어할 수 있다.
그리고, 상기 제어 정보는, 사용자 발화 각각에 대해 상기 디스플레이 장치의 기능을 기설정된 타겟 값으로 조정하기 위한 정보일 수 있다.
또한, 상기 동작을 수행하는 단계는, 상기 디스플레이 장치의 기능이 상기 기설정된 타겟 값으로 조정된 이후, 추가 사용자 발화가 수집되면, 상기 수집된 추가 사용자 발화에 대응되는 제어 정보에 기초하여 디스플레이 장치의 기능을 재조정할 수 있다.
그리고, 상기 응답 정보는, 상기 사용자 발화에 대응되는 응답 메시지 또는 상기 디스플레이 장치의 기능을 제어하기 위한 제어 명령 중 하나일 수 있다.
또한, 상기 대화형 서버는, 상기 수집된 사용자 발화를 텍스트 정보로 변환하는 제1 서버 및 상기 텍스트 정보로 변환된 사용자 발화에 대응되는 응답 정보를 생성하는 제2 서버를 포함하며, 상기 동작을 수행하는 단계는, 상기 수집된 사용자 발화를 디지털 신호로 변환하여 상기 제1 서버로 전송하고, 상기 제1 서버로부터 상기 사용자 발화에 대한 텍스트 정보가 수신되면, 상기 텍스트 정보를 상기 제2 서버로 전송하여 상기 사용자 발화에 대응되는 응답 정보를 수신할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 대화형 시스템은 사용자 발화를 텍스트 정보로 변환하고, 상기 변환된 텍스트 정보를 분석하여 상기 사용자 발화에 대응되는 응답 정보를 제공하는 대화형 서버 및 상기 사용자 발화가 수집되면, 상기 수집된 사용자 발화를 상기 대화형 서버로 전송하면서, 상기 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단하고, 상기 제어 정보가 저장되어 있으면, 상기 기저장된 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하며, 상기 기저장되어 있지 않으면, 상기 대화형 서버로부터 제공된 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행한다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 다양한 사용자 발화에 대응되는 기능을 수행하는데 있어 보다 빠른 응답 속도 및 기능 수행 오류를 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 대화형 시스템의 제1 예시도,
도 2는 본 발명의 또다른 실시예에 따른 대화형 시스템의 제2 예시도,
도 3은 본 발명의 일 실시예에 따른 대화형 시스템에서 사용자 발화에 대응되는 동작을 수행하는 방법의 절차도,
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도,
도 5는 본 발명의 일 실시예에 따른 대화형 서버의 블록도,
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 발화에 기초하여 동작을 수행하기 위한 제어 방법의 흐름도,
도 7은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 발화에 대응되는 동작을 수행하는 방법의 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명의 일시 예를 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 대화형 시스템의 제1 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 대화형 시스템은 디스플레이 장치(100) 및 대화형 서버(200)를 포함한다.
디스플레이 장치(100)는 예를 들어, 스마트 TV, 스마트폰, 데스크탑, 노트북, 네비게이션 등과 같은 다양한 전자 장치로 구현될 수 있다. 이 같은 디스플레이 장치(100)는 사용자로부터 사용자 발화가 수집되면, 수집된 사용자 발화를 대화형 서버(200)로 전송하면서, 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 판단 결과, 사용자 발화에 대응되는 제어 정보가 기저장되어 있으면, 디스플레이 장치(100)는 기저장된 제어 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다. 한편, 판단 결과, 사용자 발화에 대응되는 제어 정보가 기저장되어 있지 않으면, 디스플레이 장치(100)는 대화형 서버(200)로부터 사용자 발화에 기초하여 생성된 응답 정보를 수신하고, 수신된 응답 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다.
대화형 서버(200)는 디스플레이 장치(100)로부터 사용자 발화가 수신되면, 수신된 사용자 발화를 텍스트 정보로 변환한다. 이후, 대화형 서버(200)는 변환된 텍스트 정보를 분석하여 사용자 발화에 대한 응답 정보를 생성하고, 이를 디스플레이 장치(100)로 전송한다.
예를 들어, 볼륨 조작을 위한 사용자 발화가 수집되면, 디스플레이 장치(100)는 수집된 사용자 발화를 대화형 서버(200)로 전송한다. 동시에, 디스플레이 장치(100)는 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 판단 결과, 사용자 발화에 대응되는 제어 정보가 기저장되어 있으면, 디스플레이 장치(100)는 기저장된 제어 정보에 기초하여 볼륨을 조정할 수 있다. 즉, 디스플레이 장치(100)는 사용자 발화에 대응되는 제어 정보가 기저장되어 있으면, 대화형 서버(200)로부터 응답 정보가 수신되기 전에 기저장된 제어 정보에 기초하여 볼륨을 조정할 수 있다.
또다른 예를 들어, 컨텐츠 정보 제공을 위한 사용자 발화가 수집되면, 디스플레이 장치(100)는 수집된 사용자 발화를 대화형 서버(200)로 전송한다. 동시에, 디스플레이 장치(100)는 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 판단 결과, 사용자 발화에 대응되는 제어 정보가 기저장되어 있지 않으면, 디스플레이 장치(100)는 대화형 서버(200)로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 기능을 수행할 수 있다. 즉, 디스플레이 장치(100)는 대화형 서버(200)로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 응답 메시지를 영상 및 음성 중 적어도 하나로 출력할 수 있다.
또다른 예를 들어, 외부 기기(300) 제어를 위한 사용자 발화가 수집되면, 디스플레이 장치(100)는 수집된 사용자 발화를 대화형 서버(200)로 전송한다. 동시에, 디스플레이 장치(100)는 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 판단 결과, 사용자 발화에 대응되는 제어 정보가 기저장되어 있지 않으면, 디스플레이 장치(100)는 대화형 서버(200)로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 기능을 수행할 수 있다. 즉, 디스플레이 장치(100)는 대화형 서버(200)로부터 수신한 응답 정보에 기초하여 외부 기기(30)의 기능을 제어할 수 있다. 여기서, 외부 기기(300)는 DVD 플레이어, 셋탑박스, 음향 기기, 게임기 등과 같이, 디스플레이 장치(100)에 연결되어 기능을 수행하는 전자 장치가 될 수 있다.
이와 같이, 본 발명에 따른 대화형 시스템에서 디스플레이 장치(100)는 대화형 서버(200)로부터 수신한 응답 정보에 기초하여 사용자가 의도한 기능을 수행할 뿐만 아니라, 내부적으로도 사용자 발화에 대응되는 제어 정보에 기초하여 사용자가 의도한 기능을 수행할 수 있다. 따라서, 본 발명에 따른 대화형 시스템의 디스플레이 장치(100)는 사용자 발화에 대응되는 기능을 수행하는데 있어 오류를 최소화할 뿐만 아니라, 보다 빠른 처리 속도로 사용자 발화에 대응되는 기능을 수행할 수 있다.
한편, 전술한 바와 같이, 디스플레이 장치(100)로부터 사용자 발화를 수신하고, 수신된 사용자 발화에 기초하여 응답 정보를 생성하는 대화형 서버(200)는 디스플레이 장치(100)로부터 수신된 사용자 발화의 의미를 분석하여, 디스플레이 장치(100)의 동작을 제어하기 위한 응답 정보를 생성하여 디스플레이 장치(100)로 전송한다. 즉, 대화형 서버(200)는 디스플레이 장치(100)로부터 사용자 발화가 수신되면, 수신된 사용자 발화로부터 발화 요소를 추출하고, 그 추출된 발화 요소에 기초하여 사용자 발화와 관련된 응답 정보를 생성하여 전송할 수 있다. 여기서, 발화 요소는 사용자 발화 내에서 사용자가 요청한 동작을 수행하기 위한 핵심 키워드가 될 수 있다. 예를 들어, "이번 주 토요일에 하는 ○○○(방송프로그램명)이 몇 시에 방송해?"라는 사용자의 발화 음성의 경우, 발화 요소는 "이번 주", "토요일", "○○○(방송프로그램명)", "몇 시", "방송"이 될 수 있다.
이 같은 발화 요소가 추출되면, 대화형 서버(200)는 사용자 발화로부터 추출한 발화 요소에 기초하여 사용자 발화에 대응하는 동작을 수행하기 위한 응답 정보를 생성하여 디스플레이 장치(100)로 전송한다.
예를 들어, 디스플레이 장치(100)는 사용자로부터 "이번 주 토요일에 하는 ○○○(방송프로그램명)이 몇 시에 방송해?"라는 EPG(Electronic Program Guide) 관련 사용자 발화를 수집할 수 있다. 이 같은 사용자 발화가 수집되면, 디스플레이 장치(100)는 수집된 사용자 발화를 대화형 서버(200)로 전송한다. 여기서, 사용자 발화는 아날로그 신호가 될 수 있다. 따라서, 디스플레이 장치(100)는 수집된 사용자 발화를 디지털 신호로 변환한 후, 변환된 디지털 신호인 사용자 발화를 대화형 서버(200)로 전송할 수 있다. 디지털 신호로 변환된 사용자 발화가 수신되면, 대화형 서버(200)는 디지털 신호로 변환된 사용자 발화에 기초하여 텍스트 정보를 생성한 후, 생성한 텍스트 정보를 분석하여 사용자 발화에 대응하는 응답 정보를 생성할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 수집된 사용자 발화를 별도의 신호 처리 없이 대화형 서버(200)로 전송할 수 있다. 이 경우, 대화형 서버(200)는 디스플레이 장치(100)로부터 수신한 사용자 발화를 디지털 신호로 변환한 후, 변환된 디지털 신호에 기초하여 사용자 발화에 대한 텍스트 정보를 생성할 수 있다. 사용자 발화를 통해 텍스트 정보로 변환하는 것은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
전술한 바와 같이, "이번 주 토요일에 하는 ○○○(방송프로그램명)이 몇 시에 방송해?"라는 사용자 발화에 대한 텍스트 정보가 생성되면, 대화형 서버(200)는 "이번 주 토요일에 하는 ○○○(방송프로그램명)이 몇 시에 방송해?"라는 사용자 발화를 분석하여 발화 요소를 추출할 수 있다. 여기서, 추출된 발화 요소는 "이번 주", "토요일", "○○○(방송프로그램명)", "몇 시", "방송"이 될 수 있다. 이 같은 발화 요소가 추출되면, 대화형 서버(200)는 추출된 발화 요소에 기초하여 해당 방송프로그램이 시작하는 방송 시간 정보에 대한 응답 정보를 생성하여 디스플레이 장치(100)로 전송한다. 이에 따라, 디스플레이 장치(100)는 수신한 응답 정보에 기초하여 "○○○(방송프로그램명)은 7시에 방송 시작합니다."라는 응답 메시지를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다.
또다른 예를 들어, 디스플레이 장치(100)는 사용자로부터 "이번 주 토요일에 하는 ○○○(방송프로그램명)을 예약해줘"라는 발화 음성을 수집할 수 있다. 이 같은 사용자 발화가 수집되면, 디스플레이 장치(100)는 수집된 사용자 발화를 대화형 서버(200)로 전송한다. 이 경우, 대화형 서버(200)는 이번 주 토요일에 하는 ○○○(방송프로그램명)을 예약해줘"라는 사용자 발화로부터 발화 요소를 추출하고, 추출된 발화 요소에 기초하여 해당 방송프로그램이 시작하는 시점에 "○○○"의 예약 녹화 기능을 수행하기 위한 제어 명령 및 "○○○의 녹화가 예약되었습니다"라는 응답 메시지를 포함하는 응답 정보를 생성하고, 이를 디스플레이 장치(100)로 전송할 수 있다. 따라서, 디스플레이 장치(100)는 수신한 응답 정보에 기초하여 해당 방송프로그램에 대한 예약 녹화 기능을 실행하고, 이와 함께, "○○○의 녹화가 예약되었습니다"라는 응답 메시지를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다.
한편, 전술한 대화형 서버(200)는 디지털 신호로 변환된 사용자 발화를 텍스트 정보로 변환하는 제1 서버(10) 및 텍스트 정보로 생성된 사용자 발화에 대응하는 응답 정보를 생성하는 제2 서버(20)를 포함할 수 있다. 이하에서는, 제1 및 제2 서버(10,20)를 통해 사용자 발화에 적합한 응답 정보를 디스플레이 장치(100)로 제공하는 대화형 시스템에 대해서 상세히 설명하도록 한다.
도 2는 본 발명의 또다른 실시예에 따른 대화형 시스템의 제2 예시도이다.
도 2에 도시된 바와 같이, 디스플레이 장치(100)는 사용자로부터 사용자 발화가 수집되면, 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 동시에, 디스플레이 장치(100)는 수집된 사용자 발화를 디지털 신호로 변환하여 제1 서버(10)로 전송한다. 디지털 신호로 변환된 사용자 발화가 수신되면, 제1 서버(10)는 기저장된 다양한 사용자 발화에 대한 특정 패턴에 따라, 사용자 발화에 대한 텍스트 정보를 생성하여 디스플레이 장치(100)로 전송한다.
이후, 제1 서버(10)로부터 사용자 발화에 대한 텍스트 정보가 수신되면, 디스플레이 장치(100)는 수신된 텍스트 정보를 제2 서버(20)로 전송한다. 그러나, 본 발명은 이에 한정되지 않으며, 제1 서버(10)는 사용자 발화에 대한 텍스트 정보가 수신되면, 수신된 텍스트 정보를 제2 서버(20)로 전송할 수 있다. 이와 같이, 제1 서버(10)로부터 생성된 텍스트 정보가 디스플레이 장치(100) 혹은 제1 서버(10)를 통해 수신되면, 제2 서버(20)는 수신한 텍스트 정보를 분석하여 발화 요소를 추출하고, 그 추출된 발화 요소에 기초하여 사용자 발화에 대응되는 동작을 수행하기 위한 응답 정보를 생성하여 디스플레이 장치(100)로 전송할 수 있다.
지금까지, 본 발명에 따른 디스플레이 장치(100)와 대화형 서버(200)로 이루어진 대화형 시스템에서 사용자 발화에 대응되는 동작을 수행하는 것에 대해서 개략적으로 설명하였다. 이하에서는, 본 발명에 따른 대화형 시스템에서 사용자 발화에 대응되는 동작을 수행하는 방법에 대해서 개략적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 대화형 시스템에서 사용자 발화에 대응되는 동작을 수행하는 방법의 절차도이다.
도 3에 도시된 바와 같이, 디스플레이 장치(100)는 사용자로부터 사용자 발화를 수집한다(S301). 사용자 발화가 수집되면, 디스플레이 장치(100)는 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 동시에, 디스플레이 장치(100)는 수집된 사용자 음성을 디지털 신호로 변환하여 제1 서버(10)로 전송한다(S302,S303). 본 발명에서는 설명의 편의상 사용자 발화에 대응되는 제어 명령의 저장 여부 판단 및 사용자 발화를 제1 서버(10)로 전송하는 것에 대한 동작 수행 단계를 구분하였을 뿐, 단계 S302,S303의 동작이 동시에 이루어지는 것이 바람직하다.
이후, 디스플레이 장치(100)는 수집된 사용자 발화에 대한 제어 정보가 기저장되어 있으면, 제1 서버(10) 및 제2 서버(20)로부터 사용자 발화와 관련되어 수신되는 정보의 이용 없이, 기저장된 제어 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다(S304). 한편, 디스플레이 장치(100)는 수집된 사용자 발화에 대한 제어 정보가 기저장되어 있지 않으면, 후술할 단계를 통해 사용자 발화에 대응되는 동작을 수행할 수 있다. 전술한 바와 같이, 디스플레이 장치(100)로부터 디지털 신호로 변환된 사용자 발화를 수신한 제1 서버(10)는 디지털 신호로 변환된 사용자 음성을 텍스트 정보를 생성한 후, 생성된 텍스트 정보를 디스플레이 장치(100)로 전송한다(S305,S306). 이후, 디스플레이 장치(100)는 제1 서버(10)로부터 수신한 텍스트 정보를 제2 서버(20)로 전송한다(S307). 디스플레이 장치(100)로부터 텍스트 정보로 변환된 사용자 발화를 수신한 제2 서버(20)는 수신한 텍스트 정보로부터 발화 요소를 추출한다(S308). 제2 서버(20)에서 사용자 발화에 대한 텍스트 정보로부터 발화 요소를 추출하는 동작은 도 1 및 도 2을 통해 설명하였기에 생략하도록 한다.
이 같은 발화 요소가 추출되면, 제2 서버(20)는 추출한 발화 요소에 기초하여 사용자 발화에 대응하는 기능을 수행하기 위한 응답 정보를 생성한 후, 생성된 응답 정보를 디스플레이 장치(100)로 전송한다(S309,S310). 이에 따라, 디스플레이 장치(100)는 사용자 음성에 대응되는 응답 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다(S311).
전술한 예와 같이, 볼륨 조작을 위한 사용자 발화가 수집되면, 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 동시에, 디스플레이 장치(100)는 제2 서버(20)로부터 사용자 발화에 대응되는 응답 정보를 수신하기 위해 입력된 사용자 발화를 디지털 신호로 변환하여 제1 서버(10)로 전송한다. 한편, 사용자 발화에 대응되는 제어 정보가 기저장되어 있는 것으로 판단되면, 디스플레이 장치(100)는 기저장된 제어 정보에 기초하여 볼륨을 조정할 수 있다. 즉, 디스플레이 장치(100)는 사용자 발화에 대응되는 제어 정보가 기저장되어 있으면, 제2 서버(20)로부터 응답 정보가 수신되기 전에 기저장된 제어 정보에 기초하여 볼륨을 조정할 수 있다.
한편, 사용자 발화에 대응되는 제어 정보가 기저장되어 있지 않은 것으로 판단되면, 디스플레이 장치(100)는 제2 서버(20)로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 기능을 수행할 수 있다. 즉, 디스플레이 장치(100)는 제2 서버(20)로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 응답 메시지를 영상 및 음성 중 적어도 하나로 출력할 수 있다.
이와 같이, 본 발명에 따른 대화형 시스템의 디스플레이 장치(100)는 사용자 발화가 수집되면, 수집된 사용자 발화에 대한 사용자 의도를 내부적으로 판단할 뿐만 아니라, 제1 및 제2 서버(10,20)를 통해 판단할 수 있다. 따라서, 대화형 시스템의, 디스플레이 장치는 사용자 발화에 대응되는 응답을 신속하게 수행할 뿐만 아니라, 사용자 발화에 대한 응답 오류를 최소화할 수 있다.
지금까지, 본 발명에 따른 대화형 시스템 및 대화형 시스템을 통해 사용자 발화에 대응되는 동작을 수행하는 것에 대해서 개략적으로 설명하였다. 이하에서는, 전술한 대화형 시스템을 구성하는 디스플레이 장치(100) 및 대화형 서버(200)의 각 구성에 대해서 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도이다.
도 4에 도시된 바와 같이, 디스플레이 장치(100)는 음성 수집부(110), 통신부(120), 저장부(130) 및 제어부(140)를 포함한다.
음성 수집부(110)는 사용자로부터 발화된 사용자 발화를 수집한다. 구체적으로, 음성 수집부(110)는 아날로그 형태의 사용자 발화가 수집되면, 수집된 사용자 발호를 샘플링하여 디지털 신호로 변환한다. 이때, 수집된 사용자 발화에 노이즈(예를 들어, 에어컨 소리, 청소기 소리, 음악 소리 등)가 있는 경우, 음성 수집부(110)는 노이즈를 제거한 후, 노이즈가 제거된 사용자 발화를 디지털 신호로 변환할 수 있다.
통신부(120)는 음성 수집부(110)를 통해 사용자 발화가 디지털 신호로 변환되면, 변환된 디지털 신호를 대화형 서버(200)로 전송하고, 전송된 사용자 발화에 대응되는 응답 정보를 수신한다. 여기서, 통신부(120)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기서, 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 대화형 서버(200) 및 외부 기기(300)와 무선 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스, 지그비 등이 될 수 있다. 무선 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
한편, 사용자 발화에 대응되는 응답 정보를 제공하는 대화형 서버(200)는 전술한 바와 같이, 디지털 신호로 변환된 사용자 발화를 텍스트로 변환하는 제1 서버(10) 및 텍스트로 변환된 사용자 발화를 분석하여 사용자 발화에 대응되는 응답 정보를 생성하는 제2 서버(20)로 구현될 수 있다. 본 발명에서는 대화형 서버(200)를 통해 사용자 발화에 대응되는 응답 정보를 생성하는 것에 대해서 한정하여 설명하도록 한다.
저장부(130)는 디스플레이 장치(100)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 기록매체로써, 메모리, HDD(Hard Disk Drive) 등으로 구현될 수 있다. 예를 들어, 저장부(130)는 제어부(140)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(140)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 뿐만 아니라, 저장부(130)는 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다. 특히, 저장부(130)는 사용자 발화 각각에 대응되는 제어 정보를 저장한다. 구체적으로, 저장부(130)는 디스플레이 장치(100)의 볼륨, 채널, 화질 등의 조정을 위한 사용자 발화에 대응되는 제어 정보를 저장한다. 여기서, 제어 정보는 사용자 발화 각각에 대해 디스플레이 장치(100)의 기능을 기설정된 타겟 값으로 조정하기 위한 정보로써, 제조자에 의해 최초 설정되거나 입력부(150)를 통해 입력된 사용자 명령에 기초하여 설정될 수 있다.
여기서, 입력부(150)는 다양한 사용자 조작을 입력받아 제어부(140)로 전달하기 위한 입력 수단으로써, 입력 패널로 구현될 수 있다. 여기서, 입력 패널은 터치패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치 스크린(Touch Screen) 방식으로 이루어질 수 있다. 뿐만 아니라, 입력부(150)는 디스플레이 장치(100)를 제어하기 위한 리모컨에서 전송되는 리모컨 신호를 수신하기 위한 IR 수신부(미도시)로 구현될 수도 있다. 이 같은 입력부(150)를 통해 디스플레이 장치(100)의 기능을 제어하기 위한 각종 사용자 조작을 입력받을 수 있다. 예를 들어, 디스플레이 장치(100)가 스마트 TV로 구현되는 경우, 입력부(150)는 전원 온/오프, 채널 변경, 볼륨 변경 등 스마트 TV의 기능을 제어하기 위한 사용자 조작을 입력받을 수 있다.
제어부(140)는 음성 수집부(110)를 통해 수집된 사용자 발화를 통신부(120)를 통해 대화형 서버(200)로 전송하며, 동시에, 수집된 사용자 발화에 대응되는 제어 정보가 저장부(130)에 저장되어 있는지 여부를 판단한다. 판단 결과, 수집된 사용자 발화에 대응되는 제어 정보가 저장부(130)에 저장되어 있으면, 제어부(140)는 저장부(130)에 저장된 제어 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다. 이때, 제어부(140)는 통신부(120)를 통해 사용자 발화에 대응되는 응답 정보가 대화형 서버(200)로부터 수신되면, 수신된 응답 정보에 대해서는 별도의 동작을 수행하지 않는다. 한편, 판단 결과, 수집된 사용자 발화에 대응되는 제어 정보가 저장부(130)에 저장되어 있지 않은 것으로 판단되면, 제어부(140)는 통신부(120)를 통해 대화형 서버(200)로부터 수신된 응답 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다. 여기서, 응답 정보는 사용자 발화에 대응되는 응답 메시지 또는 디스플레이 장치(100)의 기능을 제어하기 위한 제어 명령 중 하나이다. 따라서, 제어부(140)는 통신부(120)를 통해 대화형 서버(200)로부터 응답 정보가 수신되면, 수신된 응답 정보에 기초하여 후술할 출력부(160)를 통해 응답 메시지를 출력하거나 또는 디스플레이 장치(100)의 기능을 제어할 수 있다.
이 같은 제어부(140)는 본 발명의 추가적인 양상에 따라, 기설정된 임계 시간 내에 저장부(130)에 저장된 제어 정보에 기초하여 사용자 발화에 대응되는 동작이 수행되지 않으면, 대화형 서버(200)로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 동작을 수행할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 디스플레이 장치(100)는 영상 및 음성을 출력하는 출력부(160)를 더 포함할 수 있다. 구체적으로, 출력부(160)는 사용자 발화와 관련된 응답 메시지 또는 확인 메시지를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다. 여기서, 응답 메시지는 대화형 서버(200)로부터 수신된 응답 정보에 기초하여 생성된 메시지이며, 확인 메시지는 저장부(130)에 저장된 복수의 제어 정보 중 적어도 하나의 제어 정보에 매칭되어 저장된 메시지가 될 수 있다. 이 같은 응답 메시지 또는 확인 메시지를 출력하는 출력부(160)는 디스플레이부(161) 및 오디오 출력부(163)을 포함할 수 있다. 구체적으로, 디스플레이부(161)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현되어, 디스플레이 장치(100)를 통해 제공 가능한 다양한 디스플레이 화면을 제공할 수 있다. 특히, 디스플레이부(161) 사용자의 발화 음성과 관련된 응답 메시지 혹은 확인 메시지를 텍스트 또는 이미지 형태로 디스플레이할 수 있다. 여기서, 디스플레이부(161)는 터치패드와 함게 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있으며, 터치 스크린은 터치 입력 위치, 면적, 터치 입력에 따른 압력까지도 검출하도록 구성될 수 있다.
오디오 출력부(163)는 스피커 또는 잭 등과 같은 출력 포트로 구현되어 사용자 발화와 관련된 응답 메시지 또는 확인 메시지를 가청음 형태로 출력할 수 있다.
한편, 전술한 바와 같이, 저장부(130)는 사용자 발화 각각에 대한 제어 정보 중 적어도 하나의 제어 정보에 확인 메시지를 매칭시켜 저장할 수 있다. 따라서, 제어부(140)는 수집된 사용자 발화에 대응되는 제어 정보에 확인 메시지가 매칭되어 있으면, 출력부(160)를 통해 사용자 발화에 대응되는 제어 정보에 매칭되어 있는 확인 메시지를 출력한다. 출력부(160)를 통해 확인 메시지를 출력한 이후, 음성 수집부(110)를 통해 추가 사용자 발화가 수집되면, 제어부(140)는 이전 사용자 발화와 관련하여 획득한 제어 정보에 기초하여 디스플레이 장치(100)의 기능을 제어한다. 즉, 제어부(140)는 추가 사용자 발화가 수집되면, 출력부(160)를 통해 출력한 확인 메시지와 매칭된 제어 정보에 기초하여 디스플레이 장치(100)의 기능을 제어한다. 그러나, 본 발명은 이에 한정되지 않으며, 제어부(140)는 출력부(160)를 통해 확인 메시지를 출력한 이후, 음성 수집부(110)를 통해 추가 사용자 발화가 수집되면, 수집된 추가 사용자 발화를 분석하여 저장부(130)로부터 추가 사용자 발화에 대응되는 새로운 제어 정보를 획득하고, 획득한 새로운 제어 정보에 기초하여 디스플레이 장치(100)의 기능을 제어할 수 있다.
한편, 제어부(140)는 사용자 발화에 대응되는 제어 정보에 기초하여 디스플레이 장치(100)의 기능을 조정한 이후, 추가 사용자 발화가 수집되면, 수집된 추가 사용자 발화에 기초하여 디스플레이 장치(100)의 기능을 재조정할 수 있다. 전술한 바와 같이, 제어 정보는 사용자 발화 각각에 디스플레이 장치(100)의 기능을 기설정된 타겟 값으로 조정하기 위한 정보이다. 따라서, 제어부(140)는 사용자 발화에 대응되는 제어 정보에 기초하여 디스플레이 장치(100)의 기능을 기설정된 타겟 값으로 조정한다. 이후, 사용자로부터 추가 사용자 발화가 수집되면, 수집된 추가 사용자 발화에 대응되는 제어 정보가 저장부(130)에 저장되어 있는지 여부를 판단한다. 판단 결과, 추가 사용자 발화에 대응되는 제어 정보가 저장되어 있으면, 제어부(140)는 해당 제어 정보에 기초하여 디스플레이 장치(100)의 기능을 기설정된 타겟 값으로 재조정할 수 있다.
이하에서는, 전술한 디스플레이 장치(100)에서 사용자 발화에 대응되는 제어 정보에 기초하여 디스플레이 장치(100)의 기능을 제어하는 동작에 대해서 보다 구체적으로 설명하도록 한다.
사용자 발화 기능 조정 단위
아주 크게 현재값 +10
크게, 높게 현재값 +5
작게 현재값 -5
아주 작게 현재값 -10
적당히 10
쉿 뮤트
위 표 1은 볼륨 조정과 관련하여 사용자 발화 각각에 대한 기능 조정 단위가 정량화된 테이블을 나타낸 것으로써, 이 같은 테이블은 저장부(130)에 저장될 수 있다. 이 같은 테이블이 저장부(130)에 저장된 상태에서, 사용자로부터 "볼륨을 아주 크게 해줘"라는 사용자 발화가 수집되면, 제어부(140)는 수집된 사용자 발화를 통신부(120)를 통해 대화형 서버(200)로 전송한다. 동시에, 제어부(140)는 "볼륨을 아주 크게 해줘"라는 사용자 발화를 분석하여 사용자 의도를 파악한다. 즉, 제어부(140)는 "볼륨을 아주 크게 해줘"라는 사용자 발화로부터 볼륨을 아주 크게 조정하라는 사용자 의도를 파악할 수 있다. 따라서, 제어부(140)는 이 같은 사용자 의도에 기초하여 볼륨 조정과 관련된 테이블로부터 "현재값 +10" 이라는 타겟 값을 획득한다. 이후, 제어부(140)는 획득한 타겟 값에 기초하여 현재 설정된 볼륨의 크기를 조정할 수 있다. 예를 들어, 현재 설정된 볼륨 값이 5이면, 제어부(140)는 기획득한 타겟 값에 기초하여 현재 설정된 볼륨 값을 5에서 15로 조정할 수 있다.
반대로, 제어부(140)는 "볼륨을 작게 해줘"라는 사용자 발화가 수집되면, 수집된 사용자 발화를 분석하여 볼륨을 작게 조정하라는 사용자 의도를 파악할 수 있다. 따라서, 제어부(140)는 이 같은 사용자 의도에 기초하여 볼륨 조정과 관련된 테이블로부터 "현재값 -5" 라는 타겟 값을 획득한다. 이후, 제어부(140)는 획득한 타겟 값에 기초하여 현재 설정된 볼륨의 크기를 조정할 수 있다. 예를 들어, 현재 설정된 볼륨 값이 10이면, 제어부(140)는 기획득한 타겟 값에 기초하여 현재 설정된 볼륨 값을 10에서 5로 조정할 수 있다.
한편, 사용자 발화로부터 사용자 의도가 정확하게 파악되지 않을 경우, 제어부(140)는 출력부(160)를 통해 확인 메시지를 출력할 수 있다.
사용자 발화 확인 메시지 기능 조정 단위
조용히 볼륨을 줄일까요? 현재값 -5
시끄러워 볼륨을 줄일까요? 현재값 -5
잘 안 들려 볼륨을 올릴까요? 현재값 +5
위 표 2는 볼륨 조정과 관련하여 사용자 발화 각각에 대해서 정량화된 기능 조정 단위 및 각 기능 조정 단위별로 확인 메시지가 매칭된 테이블을 나타낸 것으로써, 이 같은 테이블은 저장부(130)에 저장될 수 있다. 이 같은 테이블이 저장부(130)에 저장된 상태에서, 사용자로부터 "너무 시끄러워"라는 사용자 발화가 수집되면, 제어부(140)는 수집된 사용자 발화를 통신부(120)를 통해 대화형 서버(200)로 전송한다. 동시에, 제어부(140)는 "너무 시끄러워"라는 사용자 발화를 분석하여 사용자 의도를 파악한다. 즉, 제어부(140)는 "너무 시끄러워"라는 사용자 발화로부터 볼륨을 작게 조정하라는 사용자 의도를 파악할 수 있다. 따라서, 제어부(140)는 이 같은 사용자 의도에 기초하여 볼륨 조정과 관련된 테이블로부터 "현재값 -5" 라는 타겟 값을 획득할 수 있다.
한편, 획득한 타겟 값과 관련하여 확인 메시지가 매칭되어 있는 경우, 제어부(140)는 출력부(160)를 통해 "볼륨을 줄일까요?"라는 확인 메시지를 음성 및 영상 중 적어도 하나로 출력한다. 이후, 제어부(140)는 기설정된 임계 시간 내에 추가 사용자 발화가 수집되면, 수집된 추가 사용자 발화를 분석하여 사용자 의도를 파악한다. 즉, 제어부(140)는 수집된 추가 사용자 발화가 응답에 대한 발화이면, 이전 사용자 발화로부터 획득한 타겟 값에 기초하여 현재 설정된 볼륨을 조정할 수 있다. 예를 들어, 현재 설정된 볼륨 값이 10이면, 제어부(140)는 이전 사용자 발화에 의해 획득한 "현재값 -5" 라는 타겟 값에 기초하여 현재 설정된 볼륨 값을 10에서 5로 조정할 수 있다.
이와 같이, 사용자 발화로부터 사용자 의도를 파악하고, 그 파악된 사용자 의도에 기초하여 획득한 타겟 값으로부터 디스플레이 장치(100)의 기능을 조정하는 제어부(140)는 디스플레이 장치(100)의 기능을 조정한 이후, 추가 사용자 발화에 기초하여 조정된 기능을 재조정할 수 있다.
사용자 발화 기능 조정 단위
너무 커 / 너무 올렸어 현재값 -3
너무 작아 / 너무 내렸어 현지값 +5
위 표 3은 볼륨 재조정과 관련하여 사용자 발화 각각에 대해서 기능 조정 단위가 정량화된 테이블을 나타낸 것으로써, 이 같은 테이블은 저장부(130)에 저장될 수 있다. 이 같은 테이블이 저장부(130)에 저장된 상태에서, 사용자로부터 "소리가 너무 커"라는 추가 사용자 발화가 수집될 수 있다. 즉, 제어부(140)는 이전 사용자 발화에 대응하는 타겟 값에 기초하여 볼륨을 조정한 이후, 기설정된 임계 시간 내에 사용자로부터 추가 사용자 발화가 수집될 수 있다. 이 경우, 제어부(140)는 수집된 추가 사용자 발화를 통신부(120)를 통해 대화형 서버(200)로 전송한다. 동시에, 제어부(140)는 "소리가 너무 커"라는 추가 사용자 발화를 분석하여 사용자 의도를 파악한다. 즉, 제어부(140)는 사용자 발화에 기초하여 볼륨을 조정한 이후, 기설정된 임계 시간 내에 "소리가 너무 커"라는 추가 사용자 발화가 수집되면, 조정된 볼륨을 재조정하라는 사용자 의도로 파악할 수 있다. 따라서, 제어부(140)는 표 3과 같이, 볼륨 재조정과 관련하여 저장부(130)에 저장된 테이블에 기초하여 "현재값 -3"이라는 타겟 값을 획득할 수 있다.
예를 들어, 이전 사용자 발화에 기초하여 볼륨 값이 15로 조정된 상태에서 볼륨 재조정과 관련하여 "현재값 -3"이라는 타겟 값이 획득되면, 제어부(140)는 현재 획득한 타겟 값에 기초하여 볼륨 값을 15에서 12로 조정할 수 있다.
한편, 표 1 내지 표 3 중 적어도 하나에 의해 사용자 발화에 대응되는 타겟 값이 획득되지 않으면, 제어부(140)는 통신부(120)를 통해 대화형 서버(200)로부터 수신한 응답 정보에 기초하여 응답 메시지를 출력하거나 혹은 디스플레이 장치(100)의 기능을 조정할 수 있다.
예를 들어, 사용자로부터 "오늘 하는 ○○○(방송프로그램명) 녹화해줘"라는 발화 음성이 입력되면, 제어부(140)는 "오늘 하는 ○○○(방송프로그램명) 녹화해줘"라는 사용자 발화를 디지털 신호로 변환하여 대화형 서버(200)로 전송한다. 이에 따라, 대화형 서버(200)는 "오늘 하는 ○○○(방송프로그램명) 녹화해줘"라는 사용자 발화에 대한 텍스트 정보를 생성한다. 이후, 대화형 서버(200)는 "오늘 ○○○(방송프로그램명) 녹화해줘"라는 사용자 발화에 대한 텍스트 정보로부터 "오늘", "○○○(방송프로그램명)", "녹화"라는 발화 요소를 추출하고, 추출한 발화 요소에 기초하여 EPG 관련 기능인 것으로 판단한다. 이후, 대화형 서버(200)는 ○○○(방송프로그램명)에 대한 예약 녹화에 대한 제어 명령과 "○○○(방송프로그램명)에 대한 녹화가 예약되었습니다."라는 응답 메시지를 포함하는 응답 정보를 디스플레이 장치(100)로 전송한다.
따라서, 제어부(140)는 수신한 응답 정보에 포함된 제어 명령에 따라, ○○○(방송프로그램명)에 대한 예약 녹화를 설정한다. 그리고, 제어부(140)는 수신한 응답 정보에 포함된 응답 메시지에 기초하여 "○○○(방송프로그램명)에 대한 녹화가 예약되었습니다."라는 응답 메시지를 영상 및 음성 중 적어도 하나를 통해 출력하도록 출력부(160)를 제어한다. 따라서, 출력부(160)는 ○○○(방송프로그램명)에 대한 녹화가 예약되었습니다."라는 응답 메시지를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다.
이하에서는 본 발명에 따른 대화형 서버(200)에서 디스플레이 장치(100)를 통해 수신한 사용자 발화에 적합한 응답 정보를 생성하여 디스플레이 장치(100)로 전송하는 동작에 대해서 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 대화형 서버의 블록도이다.
도 5에 도시된 바와 같이, 대화형 서버(200)는 통신부(210), 추출부(220), 저장부(230) 및 제어부(240)를 포함한다.
통신부(210)는 디스플레이 장치(100)와 통신을 수행하며, 추출부(220)는 통신부(210)를 통해 디스플레이 장치(100)로부터 수신한 사용자 발화로부터 발화 요소를 추출한다. 저장부(230)는 사용자 발화 별 담화 이력 정보를 기록 및 EPG 정보를 저장하고 있다. 제어부(240)는 추출부(220)를 통해 추출된 사용자 발화에 대한 발화 요소에 따라 분류된 기능에 기초하여 사용자 발화에 대응되는 응답 정보를 상이한 형태로 생성하고, 생성된 응답 정보를 디스플레이 장치(100)로 전송한다. 여기서, 발화 요소에 따라 분류되는 기능은 EPG 관련 기능 및 디스플레이 장치(100)의 동작 제어 기능 중 적어도 하나를 포함할 수 있다. 따라서, 제어부(240)는 사용자 발화로부터 추출된 발화 요소에 따라, 사용자 발화가 EPG와 관련된 것인지 아니면 디스플레이 장치(100)의 동작을 제어하기 위한 것인지를 판단하고, 그 판단 결과에 따라 사용자 발화에 대응되는 응답 정보를 생성할 수 있다.
실시예에 따라, 사용자 발화로부터 추출된 발화 요소가 EPG 관련 발화 요소인 경우, 제어부(240)는 저장부(230)에 기저장된 EPG 정보에 기초하여 사용자 발화에 대응하는 EPG 정보 제공이 가능한지 여부를 판단한다. 판단 결과, EPG 정보 제공이 가능하면, 제어부(240)는 EPG 정보에 기초하여 사용자 발화에 대응되는 응답 정보를 생성한다. 한편, 판단 결과, EPG 정보 제공이 불가능하면, 제어부(240)는 저장부(230)에 기정된 EPG 정보 및 웹 서치 중 적어도 하나에 기초하여 사용자 발화와 관련된 대체 응답 정보를 생성한다.
구체적으로, 추출부(220)는 사용자 발화에 대한 텍스트 정보가 수신되면, 수신된 텍스트 정보로부터 화행, 주행 및 핵심 요소를 포함하는 발화 요소를 추출할 수 있다. 여기서, 화행(Dialog Act)은 사용자 발화에 대한 발화 내적 힘(Illocutionary force)을 나타내는 레이블로써, 예를 들어, 서술(Statement), 요청(Request), 질문(Question) 등이 될 수 있다. 주행(Main Goal)은 사용자 발화로부터 실제 사용자의 의도을 나타내는 레이블을 말하는 것으로써, 예를 들어, TV 온/오프, 프로그램 찾기, 프로그램 시간 찾기, 프로그램 예약 등이 될 수 있다. 그리고, 핵심 요소는 장르, 프로그램명, 시간, 채널명, 배우 이름 등이 될 수 있다.
예를 들어, "○○○(방송프로그램명)이 몇 시에 시작해?"라는 사용자 발화의 경우, 화행은 "해?"라는 질문이 될 수 있으며, 주행은 "시작"라는 프로그램 시간 찾기가 될 수 있다. 그리고, 핵심 요소는 "○○○(방송프로그램명)프로그램명"라는 프로그램명이 될 수 있다. 따라서, 추출부(220)는 "○○○(방송프로그램명)이 몇 시에 시작해?"라는 사용자 발화에 대한 텍스트 정보가 수신되면, 수신된 텍스트 정보로부터 화행, 주행 및 핵심 요소를 포함하는 발화 요소를 추출할 수 있다. 이 같은 발화 요소가 추출되면, 제어부(240)는 저장부(230)에 저장된 EPG 정보를 참조하여 추출된 발화 요소가 EPG 정보와 관련된 요소들인지를 판단할 수 있다. 이 같이, 사용자 발화로부터 추출된 발화 요소가 EPG 정보와 관련된 요소인 것으로 판단되면, 제어부(240)는 추출된 발화 요소로부터 사용자 발화에 대응되는 응답 정보를 생성하기 위한 조건을 충족하는지를 판단한다.
실시예에 따라, 제어부(240)는 사용자 발화로부터 추출된 발화 요소에 화행, 주행 및 핵심 요소를 모두 포함할 경우, 사용자 발화에 대응되는 응답 정보를 생성하기 위한 조건을 충족하는지를 판단할 수 있다. 전술한 예에서, "○○○(방송프로그램명)이 몇 시에 시작해?"라는 사용자 발화로부터 추출된 발화 요소는 화행, 주행 및 핵심 요소를 모두 포함한다. 이 경우, 제어부(240)는 사용자 발화에 대응되는 응답 정보를 생성하기 위한 조건을 충족하는지를 판단할 수 있다. 한편, "몇 시에 시작해?"라는 사용자 발화는 "해?"라는 화행 및 "시작"이라는 주행에 대한 발화 요소만을 포함한다. 이 경우, 제어부(240)는 사용자 발화에 대응되는 응답 정보를 생성하기 위한 조건을 모두 충족시키지 못한 것으로 판단하고, 저장부(230)에 기저장된 담화 이력 정보에 기초하여 핵심 요소에 대한 발화 요소를 문의하는 대체 응답 정보를 생성한다. 예를 들어, 제어부(240)는 "어떤 방송프로그램인가요?"라는 문의 관련 응답 정보를 생성할 수 있다.
이와 같은 일련의 동작을 통해 사용자 발화에 대응하는 응답 정보를 생성하기 위한 조건이 충족되면, 제어부(240)는 저장부(230)에 저장된 EPG 정보에 기초하여 사용자 발화로부터 추출된 발화 요소에 따라 EPG 정보 제공이 가능한지를 판단할 수 있다. 판단 결과, 발화 요소에 따라 EPG 정보 제공이 가능하면, 제어부(240)는 EPG 정보에 기초하여 사용자 발화에 대응하는 응답 정보를 생성하고, EPG 정보 제공이 불가능하면, 제어부(240)는 사용자 발화와 관련된 대체 응답 정보를 생성할 수 있다.
예를 들어, "이번 주에 하는 ○○○(방송프로그램명)을 녹화해줘!"라는 사용자 발화인 경우, 발화 요소는 "이번 주", "○○○(방송프로그램명)", "녹화", "해줘"가 될 수 있다. 이 같은 발화 요소가 추출되면, 제어부(240)는 저장부(230)에 저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 프로그램 정보 및 시작 시간 정보를 획득할 수 있다. 따라서, 제어부(240)는 기획득한 프로그램 정보 및 시작 시간 정보에 기초하여 ○○○(방송프로그램명)에 대한 예약 녹화 관련 제어 명령 및 저장부(230)에 기저장된 담화 이력 정보에 기초하여 생성된 응답 메시지를 포함하는 응답 정보를 생성할 수 있다.
한편, "○○○(방송프로그램명)에 나오는 주인공이 누구야?"라는 사용자 발화의 경우, 발화 요소는 "○○○(방송프로그램명)", "주인공", "누구야"가 될 수 있다. 이 같은 발화 요소가 추출되면, 제어부(240)는 저장부(230)에 저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 주인공 정보가 있는지를 체크한다. 체크 결과, 기저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 주인공 정보의 획득이 불가능하면, 제어부(240)는 EPG 정보 또는 웹 서치를 통해 사용자 발화와 관련된 대체 정보를 제공받을지를 문의하는 대체 응답 정보를 생성한다. 예를 들어, EPG 정보로부터 대체 정보를 제공받겠다는 사용자 발화가 입력되면, 제어부(240)는 기저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 출연진 정보를 획득한다. 이와 같이, EPG 정보를 통해 사용자 발화와 관련된 대체 정보가 획득되면, 제어부(240)는 저장부(230)에 기저장된 담화 이력 정보에 기초하여 기획득한 대체 정보를 포함하는 대체 응답 정보를 생성할 수 있다.
한편, 제어부(240)는 사용자 발화로부터 추출된 발화 요소가 EPG 정보와 관련된 요소인 경우, 그 추출된 발화 요소가 복수의 요청에 대한 EPG 관련 발화 요소인지를 판단한다. 판단 결과, 발화 요소가 복수의 요청에 대한 EPG 관련 발화 요소이면, 제어부(240)는 디스플레이 장치(100)에서 사용자 발화를 재요청하기 위한 발화 음성 재요청 메시지를 생성할 수 있다.
예를 들어, "이번 주에 하는 ○○○(방송프로그램명)을 녹화해주고, △△△(방송프로그램)을 시청 예약해줘!"라는 사용자 발화의 경우, 발화 요소는 "이번 주", "○○○(방송프로그램명)", "△△△(방송프로그램)", "녹화", "시청", "해줘"가 될 수 있다. 이 같은 발화 요소가 추출되면, 제어부(240)는 추출된 발화 요소에 복수의 요청에 대한 발화 요소("○○○(방송프로그램명)", "△△△(방송프로그램)", "녹화", "시청")가 있는 것으로 판단한다. 따라서, 제어부(240)는 저장부(230)에 기저장된 담화 이력 정보에 기초하여 "하나만 요청해 주세요"라는 발화 음성 재요청 메시지를 생성할 수 있다.
한편, 사용자 발화로부터 추출된 발화 요소가 디스플레이 장치(100)의 동작 제어와 관련된 발화 요소인 경우, 제어부(240)는 추출된 발화 요소에 기초하여 사용자 발화에 대응하는 디스플레이 장치(100)의 동작 제어가 가능한지 여부를 판단한다. 판단 결과, 디스플레이 장치(100)의 동작 제어가 가능하면, 제어부(240)는 디스플레이 장치(100)의 동작을 제어하기 위한 응답 정보를 생성할 수 있다.
실시예에 따라, 저장부(230)는 디스플레이 장치(100)의 동작을 제어할 수 있는 메뉴얼 정보를 저장할 수 있다. 여기서, 메뉴얼 정보는 사용자 발화에 따라 디스플레이 장치(100)의 동작을 제어할 수 있는 정보 및 사용자 발화를 제외한 나머지 제어 명령에 따라 디스플레이 장치(100)의 동작을 제어할 수 있는 정보를 포함한다. 따라서, 제어부(240)는 디스플레이 장치(100)의 제어와 관련된 발화 요소가 추출되면, 저장부(230)에 기저장된 메뉴얼 정보에 기초하여 사용자 발화에 따라 디스플레이 장치(100)의 동작을 제어할 수 있는지를 판단한다. 판단 결과, 사용자의 발화 음성에 따라 디스플레이 장치(100)의 동작을 제어할 수 있으면, 제어부(240)는 사용자 발화에 대응하는 동작을 수행하기 위한 제어 명령을 포함하는 응답 정보를 생성할 수 있다.
예를 들어, "MBC로 채널 변경해줘!"라는 사용자 발화의 경우, 발화 요소는 "MBC", "채널", "변경"이 될 수 있다. 이 같은 발화 요소가 추출되면, 제어부(240)는 추출된 발화 요소가 디스플레이 장치(100)의 기능 제어와 관련된 발화 요소인 것으로 판단한다. 이후, 제어부(240)는 저장부(230)에 기저장된 메뉴얼 정보를 참조하여 추출된 발화 요소에 따라 디스플레이 장치(100)의 채널 변경이 가능한지를 판단한다. 판단 결과, 사용자 발화로 디스플레이 장치(100)의 채널 변경이 가능하면, 제어부(240)는 디스플레이 장치(100)에서 현재 설정된 채널을 MBC 채널로 전환하도록 하기 위한 제어 명령을 포함하는 응답 정보를 생성할 수 있다.
한편, 판단 결과, 사용자 발화에 따라 디스플레이 장치(100)의 동작 제어가 불가능하면, 제어부(240)는 디스플레이 장치(100)의 동작 제어 방법 및 현재 상태 알림 중 적어도 하나와 관련된 응답 정보를 생성할 수 있다.
예를 들어, "화면을 밝게 해줘!"라는 사용자 발화의 경우, 발화 요소는 "화면", "밝게", "해줘"가 추출될 수 있다. 이 같은 발화 요소가 추출되면, 제어부(240)는 디스플레이 장치(100)의 기능 제어와 관련된 발화 요소인 것으로 판단한다. 이후, 제어부(240)는 저장부(230)에 기저장된 메뉴얼 정보를 참조하여 추출된 발화 요소에 따라 디스플레이 장치(100)의 화면 조정이 가능한지를 판단한다. 판단 결과, 사용자 발화로 디스플레이 장치(100)의 화면 조정이 불가능하면, 제어부(240)는 저장부(230)에 저장된 메뉴얼 정보를 참조하여 디스플레이 장치(100)의 화면 조정에 대한 방법의 응답 정보를 생성할 수 있다.
지금까지, 본 발명에 따른 사용자 발화에 적합한 응답 정보를 제공하는 대화형 서버(200)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 전술한 디스플레이 장치(100)에서 사용자 발화에 기초하여 동작을 수행하기 위한 제어 방법에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 발화에 기초하여 동작을 수행하기 위한 제어 방법의 흐름도이다.
도 6에 도시된 바와 같이, 디스플레이 장치는 사용자로부터 사용자 발화를 수집한다(S610). 이 같은 사용자 발화가 수집되면, 디스플레이 장치는 수집된 사용자 발화를 대화형 서버로 전송한다. 동시에, 디스플레이 장치는 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다(S620,S630). 판단 결과, 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있지 않으면, 디스플레이 장치는 대화형 서버로부터 수신된 응답 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다(S640). 한편, 판단 결과, 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있으면, 디스플레이 장치는 기저장된 제어 정보에 기초하여 사용자 발화에 대응되는 동작을 수행한다(S650). 기저장된 제어 정보에 기초하여 사용자 발화에 대응되는 동작을 수행할 경우, 디스플레이 장치는 대화형 서버로부터 수신한 응답 정보가 수신되면, 수신한 응답 정보에 기초하여 별도의 동작을 수행하지 않는 것이 바람직하다.
한편, 본 발명의 추가적인 양상에 따라, 디스플레이 장치는 기설정된 임계 시간 내에 사용자 발화와 관련하여 획득한 제어 정보에 기초하여 사용자 발화에 대응되는 동작을 수행하지 않은 경우, 대화형 서버로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 동작을 수행할 수 있다.
예를 들어, 볼륨 조작을 위한 사용자 발화가 수집되면, 디스플레이 장치는 수집된 사용자 발화를 대화형 서버로 전송하는 동시에 해당 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 판단 결과, 사용자 발화에 대응되는 제어 정보가 저장되어 있으면, 디스플레이 장치는 기저장된 제어 정보에 기초하여 볼륨을 조정할 수 있다. 즉, 디스플레이 장치는 사용자 발화에 대응되는 제어 정보가 기저장되어 있으면, 대화형 서버로부터 응답 정보가 수신되기 전에 기저장된 제어 정보에 기초하여 볼륨을 조정할 수 있다.
한편, 또다른 예를 들어, 디스플레이 장치는 사용자로부터 컨텐츠 정보 제공을 위한 사용자 발화를 수집할 수 있다. 이 경우, 디스플레이 장치는 수집된 사용자 발화를 대화형 서버로 전송하는 동시에 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 판단 결과, 사용자 발화에 대응되는 제어 정보가 기저장되어 있지 않은 것으로 판단되면, 디스플레이 장치는 대화형 서버로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 동작을 수행할 수 있다. 즉, 디스플레이 장치는 대화형 서버로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 응답 메시지를 영상 및 음성 중 적어도 하나로 출력하거나 디스플레이 장치의 기능을 제어할 수 있다.
이와 같이, 본 발명에 따른 디스플레이 장치는 대화형 서버로부터 수신한 응답 정보에 기초하여 사용자가 의도한 기능을 수행할 뿐만 아니라, 내부적으로도 사용자 발화에 대응되는 제어 정보에 기초하여 사용자가 의도한 기능을 수행할 수 있다. 따라서, 본 발명에 따른 디스플레이 장치는 사용자 발화에 대응되는 기능을 수행하는데 있어 오류를 최소화할 뿐만 아니라, 보다 빠른 처리 속도로 사용자 발화에 대응되는 기능을 수행할 수 있다.
이하에서는, 전술한 디스플레이 장치에서 사용자 발화에 대응되는 동작을 수행하는 방법에 대해서 보다 구체적으로 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 발화에 대응되는 동작을 수행하는 방법의 흐름도이다.
도 7에 도시된 바와 같이, 디스플레이 장치는 사용자 발화가 수집되면, 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단한다. 판단 결과, 사용자 발화에 대응되는 제어 정보가 기저장되어 있으면, 디스플레이 장치는 해당 제어 정보를 획득하고, 획득한 제어 정보에 확인 메시지가 매칭되어 있는지 여부를 판단한다(S710). 여기서, 제어 정보는 사용자 발화 각각에 대해 디스플레이 장치의 기능을 기설정된 타겟 값으로 조정하기 위한 정보이다. 따라서, 디스플레이 장치는 수집된 사용자 발화에 대응되는 타겟 정보가 기저장되어 있는지 여부를 판단하고, 타겟 정보가 기저장되어 있는 것으로 판단되면, 타겟 정보와 함께 확인 메시지가 매칭되어 있는지 여부를 판단한다.
판단 결과, 사용자 발화에 대응되는 제어 정보에 확인 메시지가 매칭되어 있는 것으로 판단되면, 디스플레이 장치는 해당 확인 메시지를 음성 또는 영상으로 출력한다(S720). 이후, 디스플레이 장치는 확인 메시지를 출력한 이후, 추가 사용자 발화가 수집되는지 여부를 판단하여, 추가 사용자 발화가 수집되면, 추가 사용자 발화에 대응되는 제어 정보를 획득한다(S730,S740). 이후, 추가 사용자 발화에 대응되는 제어 정보 획득되면, 디스플레이 장치는 획득한 제어 정보에 기초하여 디스플레이 장치의 기능을 조정한다(S750). 한편, 전술한 단계 S710에서 사용자 발화에 대응하여 획득한 제어 정보에 확인 메시지가 매칭되어 있지 않은 경우, 디스플레이 장치는 단계 S750을 통해 사용자 발화에 대응하여 획득한 제어 정보에 기초하여 디스플레이 장치의 기능을 조정할 수 있다.
구체적으로, 표 1에서 설명한 바와 같이, 디스플레이 장치는 볼륨 조정과 관련하여 사용자 발화 각각에 대한 기능 조정 단위가 정량화된 테이블이 저장될 수 있다. 이 같은 테이블이 저장된 상태에서, 사용자로부터 "볼륨을 아주 크게 해줘"라는 사용자 발화가 수집되면, 디스플레이 장치는 수집된 사용자 발화로부터 볼륨을 아주 크게 조정하라는 사용자 의도를 파악할 수 있다. 따라서, 디스플레이 장치는 이 같은 사용자 의도에 기초하여 볼륨 조정과 관련된 테이블로부터 "현재값 +10" 이라는 타겟 값을 획득한다. 이후, 디스플레이 장치는 "현재값 +10" 이라는 타겟 값과 관련하여 확인 메시지가 매칭되어 있는지 여부를 확인하고, 확인 매시지가 매칭되어 있지 않으면, "현재값 +10" 이라는 타겟 값에 기초하여 현재 설정된 볼륨의 크기를 조정할 수 있다.
한편, 표 2에서 설명한 바와 같이, 사용자로부터 "너무 시끄러워"라는 사용자 발화가 수집되면, 디스플레이 장치는 수집된 사용자 발화로부터 볼륨을 작게 조정하라는 사용자 의도를 파악할 수 있다. 따라서, 디스플레이 장치는 이 같은 사용자 의도에 기초하여 볼륨 조정과 관련된 테이블로부터 "현재값 -5" 라는 타겟 값을 획득할 수 있다. 한편, 획득한 "현재값 -5" 라는 타겟 값과 관련하여 확인 메시지가 매칭되어 있는 경우, 디스플레이 장치는 "볼륨을 줄일까요?"라는 확인 메시지를 음성 및 영상 중 적어도 하나로 출력한다. 이후, 디스플레이 장치는 기설정된 임계 시간 내에 추가 사용자 발화가 수집되면, 수집된 추가 사용자 발화를 분석하여 사용자 의도를 파악한다. 즉, 디스플레이 장치는 이전 사용자 발화
예를 들어, 표 2에서 설명한 바와 같이, 디스플레이 장치는 "너무 시끄러워"라는 사용자 발화와 관련하여 볼륨 조정과 관련된 테이블로부터 "현재값 -5" 라는 타겟 값을 획득할 수 있다. 한편, 획득한 타겟 값과 관련하여 확인 메시지가 매칭되어 있는 경우, 디스플레이 장치는 "볼륨을 줄일까요?"라는 확인 메시지를 음성 및 영상 중 적어도 하나로 출력한다. 이후, 디스플레이 장치는 기설정된 임계 시간 내에 추가 사용자 발화가 수집되면, 수집된 추가 사용자 발화를 분석하여 사용자 의도를 파악한다. 즉, 디스플레이 장치는 수집된 추가 사용자 발화가 응답에 대한 발화이면, 이전 사용자 발화로부터 획득한 타겟 값에 기초하여 현재 설정된 볼륨을 조정할 수 있다.
한편, 사용자 발화에 대응하는 타겟 값에 기초하여 디스플레이 장치의 기능을 조정한 이후, 추가 사용자 발화가 수집되면, 디스플레이 장치는 수집된 추가 사용자 발화에 기초하여 조정된 기능을 재조정할 수 있다.
위 표 3에서 설명한 바와 같이, 디스플레이 장치는 이전 사용자 발화에 대응하는 타겟 값에 기초하여 볼륨을 조종한 이후, 기설정된 임계 시간 내에 사용자로부터 "소리가 너무 커"라는 추가 사용자 발화가 수집될 수 있다. 이 경우, 디스플레이 장치는 수집된 추가 사용자 발화를 분석하여 조정된 볼륨을 재조정하라는 사용자 의도로 파악할 수 있다. 따라서, 디스플레이 장치는 볼륨 재조정과 관련된 테이블로부터 "현재값 -3"이라는 타겟 값을 획득할 수 있다. 이 같은 타겟 값이 획득되면, 디스플레이 장치는 이전 사용자 발화에 대응하는 타겟 값에 기초하여 조정된 볼륨 값을 추가 사용자 발화에 대응하는 타겟 값에 기초하여 재조정할 수 있다.
한편, 전술한 바와 같이, 디스플레이 장치는 사용자 발화가 수집되면, 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단하는 동시에 대화형 서버로 사용자 발화를 전송한다. 따라서, 대화형 서버는 디스플레이 장치로부터 수신한 사용자 발화에 기초하여 응답 정보를 생성하고, 생성된 응답 정보를 디스플레이 장치로 전송한다. 이 같은, 대화형 서버는 디스플레이 장치로부터 수집된 사용자 발화를 텍스트 정보로 변환하는 제1 서버 및 텍스트 정보로 변환된 사용자 발화에 대응되는 응답 정보를 생성하는 제2 서버를 포함할 수 있다. 구체적으로, 디스플레이 장치는 사용자 발화가 수집되면 제1 서버로 수집된 사용자 발화를 디지털 신호로 변환하여 전송한다. 이후, 제1 서버로부터 사용자 발화에 대한 텍스트 정보가 수신되면, 디스플레이 장치는 수신한 텍스트 정보를 제2 서버로 전송한다. 그러나, 본 발명은 이에 한정되지 않으면, 제1 서버는 사용자 발화에 대한 텍스트 정보를 생성한 후, 제2 서버로 전송할 수 있다. 따라서, 제2 서버는 디스플레이 장치 혹은 제1 서버로부터 수신한 텍스트 정보에 기초하여 응답 정보를 생성하고, 생성된 응답 정보를 디스플레이 장치로 전송한다.
따라서, 디스플레이 장치는 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있지 않은 경우, 대화형 서버의 제2 서버로부터 수신한 응답 정보에 기초하여 사용자 발화에 대응되는 응답 메시지를 출력하거나 또는 사용자 발화에 대응되는 기능을 제어할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 제1 서버 20 : 제2 서버
100 : 디스플레이 장치 110 : 음성 수집부
120, 210 : 통신부 130, 230 : 저장부
140, 240 : 제어부 150 : 입력부
160 : 출력부 161 : 디스플레이부
163 : 오디오 출력부 200 : 대화형 서버
220 : 추출부

Claims (15)

  1. 사용자 발화를 수집하는 음성 수집부;
    상기 사용자 발화를 대화형 서버로 전송하고, 상기 사용자 발화에 기초하여 생성된 대응되는 응답 정보를 수신하는 통신부;
    사용자 발화 각각에 대응되는 제어 정보를 저장하는 저장부; 및
    상기 수집된 사용자 발화를 상기 대화형 서버로 전송하면서 상기 수집된 사용자 발화에 대응되는 제어 정보가 상기 저장부에 저장되어 있는지 여부를 판단하는 제어부;를 포함하며,
    상기 제어부는,
    상기 수집된 사용자 발화에 대응되는 제어 정보가 상기 저장부에 저장되어 있으면 저장된 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하고, 상기 저장부에 저장되어 있지 않으면 상기 대화형 서버로부터 수신된 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하는 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    기설정된 임계 시간 내에 상기 저장부에 저장된 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작이 수행되지 않으면, 상기 대화형 서버로부터 수신한 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하는 것을 특징으로 하는 디스플레이 장치.
  3. 제 1 항에 있어서,
    영상 및 음성을 출력하는 출력부;를 더 포함하며,
    상기 저장부는,
    상기 사용자 발화 각각에 대한 제어 정보 중 적어도 하나의 제어 정보에 확인 메시지를 매칭시켜 저장하며,
    상기 제어부는,
    상기 수집된 사용자 발화에 대응되는 제어 정보에 확인 메시지가 매칭되어 있으면, 상기 출력부를 통해 상기 확인 메시지를 출력하고, 추가 사용자 발화가 수집되면, 상기 제어 정보에 기초하여 상기 디스플레이 장치의 기능을 제어하는 것을 특징으로 하는 디스플레이 장치.
  4. 제 3 항에 있어서,
    상기 제어 정보는,
    사용자 발화 각각에 대해 상기 디스플레이 장치의 기능을 기설정된 타겟 값으로 조정하기 위한 정보인 것을 특징으로 하는 디스플레이 장치.
  5. 제 4 항에 있어서,
    상기 제어부는,
    상기 디스플레이 장치의 기능이 상기 기설정된 타겟 값으로 조정된 이후, 추가 사용자 발화가 수집되면 상기 디스플레이 장치의 기능을 재조정하는 것을 특징으로 하는 디스플레이 장치.
  6. 제 3 항에 있어서,
    상기 응답 정보는,
    상기 사용자 발화에 대응되는 응답 메시지 또는 상기 디스플레이 장치의 기능을 제어하기 위한 제어 명령 중 하나인 것을 특징으로 하는 디스플레이 장치.
  7. 제 1 항에 있어서,
    상기 대화형 서버는,
    상기 수집된 사용자 발화를 텍스트 정보로 변환하는 제1 서버 및 상기 텍스트 정보로 변환된 사용자 발화에 대응되는 응답 정보를 생성하는 제2 서버를 포함하며,
    상기 제어부는,
    상기 수집된 사용자 발화를 디지털 신호로 변환하여 상기 제1 서버로 전송하고, 상기 제1 서버로부터 상기 사용자 발화에 대한 텍스트 정보가 수신되면, 상기 텍스트 정보를 상기 제2 서버로 전송하여 상기 사용자 발화에 대응되는 응답 정보를 수신하는 것을 특징으로 하는 디스플레이 장치.
  8. 디스플레이 장치의 제어 방법에 있어서,
    상기 사용자 발화를 수집하는 단계;
    상기 수집된 사용자 발화를 대화형 서버로 전송하면서 상기 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단하는 단계; 및
    상기 판단 결과, 상기 수집된 사용자 발화에 대응되는 제어 정보가 기저장되어 있으면, 상기 기저장된 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하고, 기저장되어 있지 않으면, 상기 대화형 서버로부터 수신된 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하는 단계;
    를 포함하는 제어 방법.
  9. 제 8 항에 있어서,
    상기 판단하는 단계 이후, 상기 대화형 서버로부터 상기 수집된 사용자 발화에 대응되는 응답 정보를 수신하는 단계;를 더 포함하며,
    상기 동작을 수행하는 단계는,
    기설정된 임계 시간 내에 기저장된 상기 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작이 수행되지 않으면, 상기 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하는 것을 특징으로 하는 제어 방법.
  10. 제 8 항에 있어서,
    상기 동작을 수행하는 단계는,
    상기 수집된 사용자 발화에 대응되는 제어 정보에 확인 메시지가 매칭되어 있으면, 상기 확인 메시지를 출력하고, 추가 사용자 발화가 수집되면, 상기 제어 정보에 기초하여 상기 디스플레이 장치의 기능을 제어하는 것을 특징으로 하는 제어 방법.
  11. 제 10 항에 있어서,
    상기 제어 정보는,
    사용자 발화 각각에 대해 상기 디스플레이 장치의 기능을 기설정된 타겟 값으로 조정하기 위한 정보인 것을 특징으로 하는 제어 방법.
  12. 제 9 항에 있어서,
    상기 동작을 수행하는 단계는,
    상기 디스플레이 장치의 기능이 상기 기설정된 타겟 값으로 조정된 이후, 추가 사용자 발화가 수집되면, 상기 수집된 추가 사용자 발화에 대응되는 제어 정보에 기초하여 디스플레이 장치의 기능을 재조정하는 것을 특징으로 하는 제어 방법.
  13. 제 10 항에 있어서,
    상기 응답 정보는,
    상기 사용자 발화에 대응되는 응답 메시지 또는 상기 디스플레이 장치의 기능을 제어하기 위한 제어 명령 중 하나인 것을 특징으로 하는 제어 방법.
  14. 제 8 항에 있어서,
    상기 대화형 서버는,
    상기 수집된 사용자 발화를 텍스트 정보로 변환하는 제1 서버 및 상기 텍스트 정보로 변환된 사용자 발화에 대응되는 응답 정보를 생성하는 제2 서버를 포함하며,
    상기 동작을 수행하는 단계는,
    상기 수집된 사용자 발화를 디지털 신호로 변환하여 상기 제1 서버로 전송하고, 상기 제1 서버로부터 상기 사용자 발화에 대한 텍스트 정보가 수신되면, 상기 텍스트 정보를 상기 제2 서버로 전송하여 상기 사용자 발화에 대응되는 응답 정보를 수신하는 것을 특징으로 하는 제어 방법.
  15. 사용자 발화를 텍스트 정보로 변환하고, 상기 변환된 텍스트 정보를 분석하여 상기 사용자 발화에 대응되는 응답 정보를 제공하는 대화형 서버; 및
    상기 사용자 발화가 수집되면, 상기 수집된 사용자 발화를 상기 대화형 서버로 전송하면서, 상기 사용자 발화에 대응되는 제어 정보가 기저장되어 있는지 여부를 판단하고, 상기 제어 정보가 저장되어 있으면, 상기 기저장된 제어 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하며, 상기 기저장되어 있지 않으면, 상기 대화형 서버로부터 제공된 응답 정보에 기초하여 상기 사용자 발화에 대응되는 동작을 수행하는 대화형 시스템.
KR1020120158296A 2012-12-31 2012-12-31 디스플레이 장치 및 제어 방법 KR20140087717A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120158296A KR20140087717A (ko) 2012-12-31 2012-12-31 디스플레이 장치 및 제어 방법
EP13199317.2A EP2750027A3 (en) 2012-12-31 2013-12-23 Display apparatus and controlling method thereof
US14/144,808 US20140188486A1 (en) 2012-12-31 2013-12-31 Display apparatus and controlling method thereof
CN201310750792.XA CN103916686A (zh) 2012-12-31 2013-12-31 显示装置及其控制方法
JP2014000277A JP2014134791A (ja) 2012-12-31 2014-01-06 ディスプレイ装置及び制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120158296A KR20140087717A (ko) 2012-12-31 2012-12-31 디스플레이 장치 및 제어 방법

Publications (1)

Publication Number Publication Date
KR20140087717A true KR20140087717A (ko) 2014-07-09

Family

ID=50028694

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120158296A KR20140087717A (ko) 2012-12-31 2012-12-31 디스플레이 장치 및 제어 방법

Country Status (5)

Country Link
US (1) US20140188486A1 (ko)
EP (1) EP2750027A3 (ko)
JP (1) JP2014134791A (ko)
KR (1) KR20140087717A (ko)
CN (1) CN103916686A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180110972A (ko) * 2017-03-30 2018-10-11 엘지전자 주식회사 음성 인식 방법
CN108694943A (zh) * 2017-03-30 2018-10-23 Lg电子株式会社 语音服务器、语音识别服务器系统及其动作方法
CN108962236A (zh) * 2017-05-19 2018-12-07 Lg电子株式会社 家用电器及语音识别服务器系统的动作方法
WO2019098539A1 (ko) * 2017-11-14 2019-05-23 주식회사 다이퀘스트 음성 대화 제어 방법 및 장치
KR20220110165A (ko) * 2014-11-17 2022-08-05 삼성전자주식회사 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140087717A (ko) * 2012-12-31 2014-07-09 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR20140093303A (ko) * 2013-01-07 2014-07-28 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR102209519B1 (ko) * 2014-01-27 2021-01-29 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
JP2016061970A (ja) * 2014-09-18 2016-04-25 株式会社東芝 音声対話装置、方法およびプログラム
TWI555393B (zh) * 2015-08-24 2016-10-21 晨星半導體股份有限公司 電視節目智慧播放方法與其控制裝置
KR102420518B1 (ko) * 2015-09-09 2022-07-13 삼성전자주식회사 자연어 처리 시스템, 자연어 처리 장치, 자연어 처리 방법 및 컴퓨터 판독가능 기록매체
CN107767869B (zh) * 2017-09-26 2021-03-12 百度在线网络技术（北京）有限公司 用于提供语音服务的方法和装置
DE112019007646T5 (de) * 2019-09-19 2022-07-14 Lg Electronics Inc. Anzeigevorrichtung und server für künstliche intelligenz
WO2021060575A1 (ko) * 2019-09-24 2021-04-01 엘지전자 주식회사 인공 지능 서버 및 그의 동작 방법
EP4037328A4 (en) * 2019-09-27 2023-08-30 LG Electronics Inc. ARTIFICIAL INTELLIGENCE DISPLAY DEVICE AND SYSTEM

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2830460B2 (ja) * 1990-11-19 1998-12-02 松下電器産業株式会社 音声制御装置
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
JP2001197379A (ja) * 2000-01-05 2001-07-19 Matsushita Electric Ind Co Ltd 機器設定装置、機器設定システムおよび機器設定処理プログラムを記録した記録媒体
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
JP2003223314A (ja) * 2002-01-31 2003-08-08 Canon Inc 情報処理装置及びその方法、プログラム
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
JP3862169B2 (ja) * 2002-12-05 2006-12-27 オムロン株式会社 音声認識サービス仲介システムと、それに用いる音声認識マスター参照方法
JP2007033901A (ja) * 2005-07-27 2007-02-08 Nec Corp 音声認識システム、音声認識方法、および音声認識用プログラム
JP5283947B2 (ja) * 2008-03-28 2013-09-04 Ｋｄｄｉ株式会社 携帯端末の音声認識装置、音声認識方法、音声認識プログラム
KR101502003B1 (ko) * 2008-07-08 2015-03-12 엘지전자 주식회사 이동 단말기 및 그 텍스트 입력 방법
US7933777B2 (en) * 2008-08-29 2011-04-26 Multimodal Technologies, Inc. Hybrid speech recognition
US8522283B2 (en) * 2010-05-20 2013-08-27 Google Inc. Television remote control data transfer
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
JP5584603B2 (ja) * 2010-12-06 2014-09-03 富士通テン株式会社 情報提供システムおよび情報提供装置
JP5695447B2 (ja) * 2011-03-01 2015-04-08 株式会社東芝 テレビジョン装置及び遠隔操作装置
EP3754997B1 (en) * 2011-08-05 2023-08-30 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20130033644A1 (en) * 2011-08-05 2013-02-07 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
JP5658641B2 (ja) * 2011-09-15 2015-01-28 株式会社Ｎｔｔドコモ 端末装置、音声認識プログラム、音声認識方法および音声認識システム
KR20140087717A (ko) * 2012-12-31 2014-07-09 삼성전자주식회사 디스플레이 장치 및 제어 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220110165A (ko) * 2014-11-17 2022-08-05 삼성전자주식회사 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
US11615794B2 (en) 2014-11-17 2023-03-28 Samsung Electronics Co., Ltd. Voice recognition system, server, display apparatus and control methods thereof
KR20180110972A (ko) * 2017-03-30 2018-10-11 엘지전자 주식회사 음성 인식 방법
CN108694943A (zh) * 2017-03-30 2018-10-23 Lg电子株式会社 语音服务器、语音识别服务器系统及其动作方法
CN108962236A (zh) * 2017-05-19 2018-12-07 Lg电子株式会社 家用电器及语音识别服务器系统的动作方法
WO2019098539A1 (ko) * 2017-11-14 2019-05-23 주식회사 다이퀘스트 음성 대화 제어 방법 및 장치

Also Published As

Publication number Publication date
EP2750027A3 (en) 2016-07-13
JP2014134791A (ja) 2014-07-24
CN103916686A (zh) 2014-07-09
US20140188486A1 (en) 2014-07-03
EP2750027A2 (en) 2014-07-02

Similar Documents

Publication Publication Date Title
KR20140087717A (ko) 디스플레이 장치 및 제어 방법
US9219949B2 (en) Display apparatus, interactive server, and method for providing response information
KR102056461B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US9412368B2 (en) Display apparatus, interactive system, and response information providing method
JP6802305B2 (ja) 対話型サーバ、ディスプレイ装置及びその制御方法
US10891968B2 (en) Interactive server, control method thereof, and interactive system
EP2674941B1 (en) Terminal apparatus and control method thereof
JP6440346B2 (ja) ディスプレイ装置、電子装置、対話型システム及びそれらの制御方法
CN104904227A (zh) 显示设备以及用于控制显示设备的方法
CN103516711A (zh) 显示设备、用于控制显示设备的方法和交互系统
US20140123185A1 (en) Broadcast receiving apparatus, server and control methods thereof
KR102084739B1 (ko) 대화형 서버, 디스플레이 장치 및 제어 방법
CN103763597A (zh) 控制设备的遥控方法及其装置
KR101859614B1 (ko) 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법
KR102160756B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR101660269B1 (ko) 대화형 서버, 그 제어 방법 및 대화형 시스템
JP7216621B2 (ja) 電子機器、プログラムおよび音声認識方法
KR20140026220A (ko) 단말 장치 및 단말 장치의 제어 방법
KR102049833B1 (ko) 대화형 서버, 디스플레이 장치 및 그 제어 방법
KR20140137263A (ko) 대화형 서버, 디스플레이 장치 및 제어 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid