KR20210148580A - 서버 및 이를 포함하는 시스템 - Google Patents

서버 및 이를 포함하는 시스템 Download PDF

Info

Publication number
KR20210148580A
KR20210148580A KR1020200065613A KR20200065613A KR20210148580A KR 20210148580 A KR20210148580 A KR 20210148580A KR 1020200065613 A KR1020200065613 A KR 1020200065613A KR 20200065613 A KR20200065613 A KR 20200065613A KR 20210148580 A KR20210148580 A KR 20210148580A
Authority
KR
South Korea
Prior art keywords
electronic device
voice
server
response
preset
Prior art date
Application number
KR1020200065613A
Other languages
English (en)
Inventor
최유경
박기원
이재경
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200065613A priority Critical patent/KR20210148580A/ko
Priority to US17/334,280 priority patent/US11893987B2/en
Priority to EP21176772.8A priority patent/EP3923276A1/en
Publication of KR20210148580A publication Critical patent/KR20210148580A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은, 서버 및 이를 포함하는 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 서버는, 네트워크를 통한 통신을 수행하는 통신부, 적어도 하나의 기 설정된 단어에 대한 데이터를 저장하는 저장부 및 제어부를 포함하고, 상기 제어부는, 통신부를 통해 제1 전자 장치로부터 음성에 대한 데이터가 포함된 입력신호가 수신되는 경우, 음성의 마지막 부분이 적어도 하나의 기 설정된 단어 중 어느 하나에 대응하는지 여부를 판단하고, 적어도 하나의 기 설정된 단어 중 음성의 마지막 부분에 대응하는 단어가 존재하는 경우, 통신부를 통해 음성에 대응하는 응답에 대한 데이터와 적어도 하나의 추가 질문에 대한 데이터를 포함하는 제1 응답신호를 제1 전자 장치에 전송하고, 적어도 하나의 기 설정된 단어 중 음성의 마지막 부분에 대응하는 단어가 존재하지 않는 경우, 통신부를 통해 음성에 대응하는 응답에 대한 데이터를 포함하는 제2 응답신호를 제1 전자 장치에 전송할 수 있다. 그 외에 다양한 실시예들이 가능하다.

Description

서버 및 이를 포함하는 시스템{SERVER AND SYSTEM INCLUDING THE SAME}
본 발명은, 서버 및 이를 포함하는 시스템에 관한 것이다.
홈 어플라이언스(Home appliance)는 사용자 편의를 위해 사용되는 기기이다. 또한, 가정이나 사무실 등의 소정 공간에서 사용되는 영상표시장치, 공기조화기, 세탁기, 냉장고 등과 같은 홈 어플라이언스들은 각각 사용자의 조작에 따라 고유한 기능과 동작을 수행한다. 예를 들면, 영상표시장치는, TV(Television), 모니터(Monitor), 프로젝터(Projector)와 같이, 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이며, 사용자는 영상표시장치를 통하여 방송을 시청할 수 있다. 또한, 공기조화기는 실내 공간을 냉난방하는 기능, 냉장고는 음식물을 신선하게 저장하는 기능, 세탁기는 세탁물을 빨래하는 기능, 청소기는 청소 기능, 조리기기는 음식물을 조리하는 기능 등을 수행한다.
일반적으로, 사용자는 홈 어플라이언스를 제어하기 위해서, 홈 어플라이언스의 본체에 구비된 버튼 등을 직접 조작하거나, 본체로 이동하는 불편함을 피해 리모콘 등의 원격제어장치를 사용한다. 그러나, 원격제어장치를 사용하는 경우에도, 사용자가 기능별로 조작키를 확인하고 조작해야 하는 불편함이 있고, 실내가 어두울 경우 원격제어장치의 조작키를 식별하기 어려워, 원격제어장치에 발광 소자를 추가하거나, 별도의 조명 장치를 조작해야 하는 문제점이 있다.
또한, 사용자가 홈 어플라이언스를 제어하고자 하는 시점에, 원격제어장치의 위치를 파악하지 못하거나, 원격제어장치를 분실한 경우에는, 홈 어플라이언스를 원격으로 제어할 수 있는 방안이 전무한 문제점도 있다. 이러한 문제점을 해결하기 위해, 최근에는 음성인식 기술을 이용하여 홈 어플라이언스를 제어하는 방안에 대한 연구가 활발하게 이루어지고 있다.
한편, 일반적으로 홈 어플라이언스의 제어에 음성인식 기술이 이용되는 경우, 사용자는 음성 웨이크업(voice wake-up) 등을 통해 홈 어플라이언스의 음성명령 수신 기능을 활성화시킨 후, 음성을 발화하여 명령을 입력한다. 이때, 홈 어플라이언스는, 입력된 음성을 직접 인식 및 처리하여, 음성에 대응하는 명령에 따라 동작할 수도 있고, 음성을 처리하는 서버에 음성을 전송한 후, 서버로부터 수신되는 음성에 대응하는 명령에 따라 동작할 수도 있다.
그러나 상기와 같이 음성인식 기술이 이용되는 경우에도, 사용자로부터의 음성 입력이 완료되면, 홈 어플라이언스는 활성화된 음성명령 수신 기능을 종료하고, 입력된 음성에 대응하는 명령에 따라 동작을 수행할 뿐이므로, 사용자는 홈 어플라이언스를 제어하고자 할 때마다, 음성 웨이크업 등을 통해 홈 어플라이언스의 음성명령 수신 기능을 다시 활성화시킨 후 음성을 발화해야 하는 불편함이 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
또 다른 목적은, 사용자로부터 입력된 음성에 포함된 단어에 따라, 홈 어플라이언스의 음성명령 수신 기능을 자동적으로 다시 활성화하고, 사용자의 음성을 추가적으로 수신할 수 있는 서버 및 이를 포함하는 시스템을 제공함에 있다.
상기 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 서버는, 네트워크를 통한 통신을 수행하는 통신부, 적어도 하나의 기 설정된 단어에 대한 데이터를 저장하는 저장부 및 제어부를 포함하고, 상기 제어부는, 통신부를 통해 제1 전자 장치로부터 음성에 대한 데이터가 포함된 입력신호가 수신되는 경우, 음성의 마지막 부분이 적어도 하나의 기 설정된 단어 중 어느 하나에 대응하는지 여부를 판단하고, 적어도 하나의 기 설정된 단어 중 음성의 마지막 부분에 대응하는 단어가 존재하는 경우, 통신부를 통해 음성에 대응하는 응답에 대한 데이터와 적어도 하나의 추가 질문에 대한 데이터를 포함하는 제1 응답신호를 제1 전자 장치에 전송하고, 적어도 하나의 기 설정된 단어 중 음성의 마지막 부분에 대응하는 단어가 존재하지 않는 경우, 통신부를 통해 음성에 대응하는 응답에 대한 데이터를 포함하는 제2 응답신호를 제1 전자 장치에 전송할 수 있다.
한편, 본 발명의 일 실시예에 따른 적어도 하나의 전자 장치 및 서버를 포함하는 시스템에 있어서, 상기 적어도 하나의 전자 장치 중 제1 전자 장치는, 음성이 수신되는 경우, 음성에 대한 데이터가 포함된 입력신호를 상기 서버에 전송하고, 상기 서버로부터 입력신호에 대한 응답신호가 수신되는 경우, 수신된 응답신호에 따른 음성을 출력하고, 상기 서버는, 상기 제1 전자 장치로부터 입력신호가 수신되는 경우, 입력신호에 포함된 음성의 마지막 부분이 적어도 하나의 기 설정된 단어 중 어느 하나에 대응하는지 여부를 판단하고, 적어도 하나의 기 설정된 단어 중 음성의 마지막 부분에 대응하는 단어가 존재하는 경우, 음성에 대응하는 응답에 대한 데이터와 적어도 하나의 추가 질문에 대한 데이터를 포함하는 제1 응답신호를 상기 제1 전자 장치에 전송하고, 적어도 하나의 기 설정된 단어 중 음성의 마지막 단어에 대응하는 단어가 존재하지 않는 경우, 음성에 대응하는 응답에 대한 데이터를 포함하는 제2 응답신호를 상기 제1 전자 장치에 전송할 수 있다.
본 발명에 따른 서버 및 이를 포함하는 시스템에 대해 설명하면 다음과 같다.
본 발명의 다양한 실시예에 따르면, 사용자로부터 입력된 음성에 포함된 단어에 따라, 음성에 대한 응답 제공 후 홈 어플라이언스의 음성명령 수신 기능을 자동적으로 다시 활성화할 수 있어, 사용자는 반복되는 음성 웨이크업 등의 동작 수행 없이, 간편하고 편리하게 홈 어플라이언스를 제어할 수 있다.
또한, 본 발명의 다양한 실시예에 따르면, 홈 어플라이언스의 음성명령 수신 기능을 자동적으로 다시 활성화할 뿐만 아니라, 응답에 관한 추가 질문을 사용자에게 제공할 수 있어, 사용자의 추가적인 음성 발화를 자연스럽게 유도할 수 있다.
또한, 본 발명의 다양한 실시예에 따르면, 홈 어플라이언스들의 동작 히스토리에 기초하여, 응답 이후에 수행될 것으로 예상되는 동작과 관련된 추가 질문을 생성할 수 있어, 사용자의 의도나 사용 패턴, 주변 상황 등에 보다 부합하는 추가 질문을 사용자에게 제공할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은, 본 발명의 일 실시예에 따른, 시스템을 도시한 도면이다.
도 2는, 도 1의 영상표시장치의 내부 블록도의 일 예이다.
도 3은, 도 1의 서버의 내부 블록도의 일 예이다.
도 4 및 5는, 본 발명의 일 실시예에 따른, 서버의 동작방법에 대한 순서도이다.
도 6은, 본 발명의 일 실시예에 따른, 시스템의 동작방법에 대한 순서도이다.
도 7a 내지 9b는, 본 발명의 다양한 실시예에 대한 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. 도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것들의 존재, 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
도 1은, 본 발명의 다양한 실시예에 따른, 시스템을 도시한 도면이다.
도 1을 참조하면, 시스템(10)은, 적어도 하나의 홈 어플라이언스(100), 및 서버(300)를 포함할 수 있다. 시스템(10)은, 중계 장치, 즉 액세스 포인트(Access Point; AP)(200)를 포함할 수 있다.
본 발명의 다양한 실시예에 있어서, 홈 어플라이언스, 전자 장치, 전자 기기 등은 서로 혼용되어 사용될 수도 있다. 본 도면에서는, 영상표시장치(100a), 공기조화기(100b), 공기청정기(100c), 세탁기(100d) 및 냉장고(100e)를 홈 어플라이언스(100)의 예시로서 도시하였으나, 본 발명이 이에 한정되는 것은 아니다.
AP(200)는, 홈 어플라이언스(100)와 통신하고, AP(200)가 제공하는 로컬 네트워크에 접속한 장치들이 서로 간에 데이터를 송수신하거나, 인터넷과 같은 네트워크(300)에 접속할 수 있도록 하는 네트워크 보조 장치일 수 있다.
홈 어플라이언스(100)는, AP(200)를 통해 네트워크(400)를 경유하여, 서버(300)와 통신할 수 있고, 서버(300)와 데이터가 포함된 신호를 송수신할 수 있다. 서버(300)는, 홈 어플라이언스(100)로부터 수신되는 데이터를 처리할 수 있다.
홈 어플라이언스(100)는, AP(20)가 제공하는 로컬 네트워크를 통해, 상호 간에 데이터를 송수신할 수 있다. 홈 어플라이언스들은, Wi-Fi(Wireless Fidelity), 블루투스(Bluetooth), 블루투스 저전력(Bluetooth Low Energy; BLE), 직비(Zigbee), NFC(Near Field Communication)와 같은 근거리 통신을 이용하여, 서로 간에 데이터를 송수신할 수도 있다.
도 2는, 도 1의 홈 어플라이언스의 일 예인 영상표시장치의 내부 블록도이다. 본 발명의 다양한 실시예에 따른 홈 어플라이언스(100)는, 도 2에 도시된 구성의 전부 또는 일부를 포함할 수 있고, 홈 어플라이언스(100)의 각각의 고유한 기능과 동작에 따른 구성을 더 포함할 수 있다.
도 2를 참조하면, 홈 어플라이언스(100)의 일 예인 영상표시장치(100a)는, 방송 수신부(105), 외부장치 인터페이스부(130), 네트워크 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 입력부(160), 제어부(170), 디스플레이(180), 오디오 출력부(185) 및/또는 전원 공급부(190)를 포함할 수 있다.
방송 수신부(105)는, 튜너부(110) 및 복조부(120)를 포함할 수 있다.
튜너부(110)는, 안테나(미도시) 또는 케이블(미도시)를 통해 수신되는 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널에 해당하는 방송 신호를 선택할 수 있다. 튜너부(110)는, 선택된 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환할 수 있다.
예를 들면, 튜너부(110)는, 선택된 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환할 수 있다. 즉, 튜너부(110)는, 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는, 제어부(170)로 직접 입력될 수 있다.
한편, 튜너부(110)는, 수신되는 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 방송 신호를 순차적으로 선택하여, 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
한편, 튜너부(110)는, 복수 채널의 방송 신호를 수신하기 위해, 복수의 튜너를 구비하는 것이 가능하다. 또는, 복수 채널의 방송 신호를 동시에 수신하는 단일 튜너도 가능하다.
복조부(120)는, 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행할 수 있다.
복조부(120)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다.
복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는, 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이(180)를 통해 영상을 출력하고, 오디오 출력부(185)를 통해 음성을 출력할 수 있다.
외부장치 인터페이스부(130)는, 접속된 외부 장치와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(130)는, A/V 입출력부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(130)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북), 셋톱 박스 등과 같은 외부 장치와 유/무선으로 접속될 수 있으며, 외부 장치와 입력/출력 동작을 수행할 수도 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 입력받을 수 있다. 예를 들면, A/V 입출력부는, 이더넷(Ethernet) 단자, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, MHL (Mobile High-definition Link) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다. 이러한 단자들을 통해 입력되는 디지털 신호는 제어부(170)에 전달될 수 있다. 이때, CVBS 단자 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 아날로그-디지털 변환부(미도시)를 통해 디지털 신호로 변환되어 제어부(170)로 전달될 수 있다.
외부장치 인터페이스부(130)는, 다른 전자기기와의 근거리 무선 통신을 위한, 무선 통신부(미도시)를 포함할 수 있다. 이러한 무선 통신부를 통해, 외부장치 인터페이스부(130)는, 인접하는 이동 단말기와 데이터를 교환할 수 있다. 예를 들면, 외부장치 인터페이스부(130)는, 미러링 모드에서, 이동 단말기로부터 디바이스 정보, 실행되는 애플리케이션 정보, 애플리케이션 이미지 등을 수신할 수 있다.
외부장치 인터페이스부(130)는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-Wideband), 지그비(ZigBee) 등을 이용하여 근거리 무선 통신을 수행할 수 있다.
네트워크 인터페이스부(135)는, 영상표시장치(100a)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다.
네트워크 인터페이스부(135)는, 유/무선 네트워크(400)와의 연결을 위한 통신 모듈(미도시)를 포함할 수 있다. 예를 들면, 네트워크 인터페이스부(135)는, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등을 위한 통신 모듈을 포함할 수 있다.
네트워크 인터페이스부(135)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(135)는, 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 웹 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(135)는, 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 웹 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
네트워크 인터페이스부(135)는, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있고, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(135)는, 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다. 예를 들면, 저장부(140)는 제어부(170)에 의해 처리 가능한 다양한 작업들을 수행하기 위한 목적으로 설계된 응용 프로그램들을 저장하고, 제어부(170)의 요청 시, 저장된 응용 프로그램들 중 일부를 선택적으로 제공할 수 있다.
저장부(140)에 저장되는 프로그램 등은, 제어부(170)에 의해 실행될 수 있는 것이라면 특별히 한정하지 않는다.
저장부(140)는, 외부장치 인터페이스부(130)를 통해 외부장치로부터 수신되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다.
저장부(140)는, 채널 맵 등의 채널 기억 기능을 통하여, 소정 방송 채널에 관한 정보를 저장할 수 있다.
도 2의 저장부(140)가 제어부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않으며, 제어부(170) 내에 저장부(140)가 포함될 수도 있다.
저장부(140)는, 휘발성 메모리(예: DRAM, SRAM, SDRAM 등)나, 비휘발성 메모리(예: 플래시 메모리(Flash memory), 하드 디스크 드라이브(Hard disk drive; HDD), 솔리드 스테이트 드라이브(Solid-state drive; SSD) 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시예에 있어서, 저장부(140)와 메모리는 서로 혼용되어 사용될 수도 있다.
사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들면, 원격제어장치(250)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 송신/수신하거나, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 사용자의 제스처를 센싱하는 센서부(미도시)로부터 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센서부로 송신할 수 있다.
입력부(160)는, 영상표시장치(100a)의 본체의 일측에 구비될 수 있다. 예를 들면, 입력부(160)는, 터치 패드, 물리적 버튼 등을 포함할 수 있다.
입력부(160)는, 영상표시장치(100a)의 동작과 관련된 각종 사용자 명령을 수신할 수 있고, 입력된 명령에 대응하는 제어 신호를 제어부(170)에 전달할 수 있다.
입력부(160)는, 적어도 하나의 마이크(미도시)를 포함할 수 있고, 마이크를 통해 사용자의 음성을 수신할 수 있다.
제어부(170)는, 적어도 하나의 프로세서를 포함할 수 있고, 이에 포함된 프로세서를 이용하여, 영상표시장치(100a)의 동작 전반을 제어할 수 있다. 여기서, 프로세서는 CPU(central processing unit)과 같은 일반적인 프로세서일 수 있다. 물론, 프로세서는 ASIC과 같은 전용 장치(dedicated device)이거나 다른 하드웨어 기반의 프로세서일 수 있다.
제어부(170)는, 튜너부(110), 복조부(120), 외부장치 인터페이스부(130), 또는 네트워크 인터페이스부(135)를 통하여 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
디스플레이(180)는, 제어부(170)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(130)로부터 수신되는 영상신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성할 수 있다.
디스플레이(180)는, 복수의 픽셀을 구비하는 디스플레이 패널(미도시)를 포함할 수 있다.
디스플레이 패널에 구비된 복수의 픽셀은, RGB의 서브 픽셀을 구비할 수 있다. 또는, 디스플레이 패널에 구비된 복수의 픽셀은, RGBW의 서브 픽셀을 구비할 수도 있다. 디스플레이(180)는, 제어부(170)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여, 복수의 픽셀에 대한 구동 신호를 생성할 수 있다.
디스플레이(180)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이(flexible display)등이 가능하며, 또한, 3차원 디스플레이(3D display)가 가능할 수도 있다. 3차원 디스플레이(180)는, 무안경 방식과 안경 방식으로 구분될 수 있다.
한편, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(185)는, 제어부(170)에서 음성 처리된 신호를 입력 받아 음성으로 출력한다.
제어부(170)에서 영상 처리된 영상신호는, 디스플레이(180)로 입력되어, 해당 영상신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상신호는, 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수도 있다.
제어부(170)에서 처리된 음성 신호는, 오디오 출력부(185)로 음향 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는, 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
도 2에는 도시되어 있지 않으나, 제어부(170)는 역다중화부, 영상처리부, 믹서, 프레임 레이트 변환부, 포맷터, 오디오 처리부, 데이터 처리부 등을 포함할 수 있다.
그 외, 제어부(170)는, 영상표시장치(100a) 내의 전반적인 동작을 제어할 수 있다. 예를 들면, 제어부(170)는 튜너부(110)를 제어하여, 사용자가 선택한 채널 또는 기 저장된 채널에 해당하는 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 제어부(170)는, 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100a)를 제어할 수 있다.
한편, 제어부(170)는, 영상을 표시하도록 디스플레이(180)를 제어할 수 있다. 이때, 디스플레이(180)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 제어부(170)는 디스플레이(180)에 표시되는 영상 내에, 소정 2D 오브젝트가 표시되도록 할 수 있다. 예를 들면, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다.
한편, 영상표시장치(100a)는, 촬영부(미도시)를 더 포함할 수도 있다. 촬영부는, 사용자를 촬영할 수 있다. 촬영부는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 한편, 촬영부는 디스플레이(180) 상부에 영상표시장치(100a)에 매립되거나 또는 별도로 배치될 수 있다. 촬영부에서 촬영된 영상 정보는 제어부(170)에 입력될 수 있다.
제어부(170)는, 촬영부로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식할 수 있다. 예를 들면, 제어부(170)는, 사용자와 영상표시장치(100a) 간의 거리(z축 좌표)를 파악할 수 있다. 그 외, 제어부(170)는, 사용자 위치에 대응하는 디스플레이(180) 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.
제어부(170)는, 촬영부로부터 촬영된 영상, 또는 센서부로부터의 감지된 신호 각각 또는 그 조합에 기초하여 사용자의 제스처를 감지할 수 있다.
전원 공급부(190)는, 영상표시장치(100a) 전반에 걸쳐 해당 전원을 공급할 수 있다. 특히, 시스템 온 칩(System On Chip; SOC)의 형태로 구현될 수 있는 제어부(170)와, 영상 표시를 위한 디스플레이(180), 및 오디오 출력을 위한 오디오 출력부(185) 등에 전원을 공급할 수 있다.
구체적으로, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)와, 직류 전원의 레벨을 변환하는 DC/DC 컨버터(미도시)를 구비할 수 있다.
원격제어장치(250)는, 사용자 입력을 사용자입력 인터페이스부(150)로 전송할 수 있다. 이를 위해, 원격제어장치(250)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(Infrared Radiation) 통신, UWB(Ultra-wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다. 또한, 원격제어장치(250)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(250)에서 표시하거나 음성 출력할 수 있다.
한편, 상술한 영상표시장치(100a)는, 고정형 또는 이동형 디지털 방송 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 도 2에 도시된 영상표시장치(100a)의 블록도는 본 발명의 일 실시예를 위한 블록도일 뿐, 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100a)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3은, 도 1의 서버의 내부 블록도의 일 예이다.
도 3을 참조하면, 서버(300)는, 통신부(310), 저장부(320) 및/또는 제어부(330)를 포함할 수 있다.
통신부(310)는, 유/무선 네트워크(300)와의 연결을 위한 적어도 하나의 통신 모듈을 포함할 수 있고, 네트워크(400)에 접속하여 홈 어플라이언스(100)와 통신할 수 있다.
저장부(320)는, 제어부(330) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 신호 처리된 데이터 신호를 저장할 수도 있다. 예를 들면, 저장부(320)는, 제어부(330)에 의해 처리 가능한 다양한 작업들을 수행하기 위한 목적으로 설계된 응용 프로그램들을 저장하고, 제어부(330)의 요청 시, 저장된 응용 프로그램들 중 일부를 선택적으로 제공할 수 있다. 저장부(320)에 저장되는 프로그램 등은, 제어부(330)에 의해 실행될 수 있는 것이라면 특별히 한정하지 않는다.
도 3의 저장부(320)가 제어부(330)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않으며, 제어부(330) 내에 저장부(320)가 포함될 수도 있다.
저장부(320)는, 휘발성 메모리(예: DRAM, SRAM, SDRAM 등)나, 비휘발성 메모리(예: 플래시 메모리), 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD) 등) 중 적어도 하나를 포함할 수 있다.
한편, 저장부(320)는, 적어도 하나의 데이터베이스를 포함할 수 있다.
저장부(320)는, 음성인식에 사용되는 다양한 단어에 대한 데이터를 포함하는 단어 데이터베이스(321)를 포함할 수 있다.
저장부(320)는, 적어도 하나의 사용자의 계정에 대한 데이터를 포함하는 계정 데이터베이스(322)를 포함할 수 있다. 예를 들면, 사용자의 계정에 대한 데이터는, 사용자의 계정 식별자, 계정에 등록된 적어도 하나의 홈 어플라이언스(100)의 장치 식별자, 고유 번호, MAC 주소(MAC Address) 등을 포함할 수 있다.
저장부(320)는, 적어도 하나의 홈 어플라이언스(100)의 동작 히스토리에 대한 데이터를 포함하는 동작 히스토리 데이터베이스(323)를 포함할 수 있다. 예를 들면, 동작 히스토리에 대한 데이터는, 주변 상황(예: 온도, 습도 등)이나 시간의 흐름에 따른 홈 어플라이언스(100)의 동작 히스토리를 포함할 수 있다.
저장부(320)는, 딥 러닝 등 머신 러닝을 통해 기 학습된 데이터, 모델, 알고리즘 등을 저장할 수도 있다.
제어부(330)는, 서버(300)에 구비된 각 구성과 연결될 수 있고, 각 구성의 전반적인 동작을 제어할 수 있다. 제어부(330)는, 서버(300)에 구비된 각 구성과 상호 간에 데이터를 송수신할 수 있다.
제어부(330)는, 통신부(310)를 통해, 홈 어플라이언스(100)와 상호 간에 데이터가 포함된 신호를 송수신할 수 있다.
제어부(330)는, 홈 어플라이언스(100)로부터 수신되는 신호에 포함된 음성에 대한 음성인식을 수행할 수 있다. 예를 들면, 제어부(330)는, 자연어 처리 기술(natural language processing, NLP)을 이용하여 음성인식을 수행할 수 있고, 음성에 포함된 단어를 추출할 수 있다. 여기서, 자연어 처리 기술은, 인간의 언어 현상을 기계적으로 분석하여 전자 장치가 해당 언어 현상의 의미를 인식할 수 있도록 처리하는 기술을 의미할 수 있다.
제어부(330)는, 음성인식 결과에 기초하여, 음성에 포함된 명령을 추출할 수 있고, 명령에 대한 응답 및/또는 추가 질문을 생성할 수 있다. 이때, 제어부(330)는, 저장부(320)에 포함된 적어도 하나의 데이터베이스에 기초하여, 명령에 대한 응답 및/또는 추가 질문을 생성할 수 있다.
제어부(330)는, 응답 및/또는 추가 질문에 대한 데이터, 제어 명령 등을 포함하는 신호를 홈 어플라이언스(100)에 전송할 수 있다.
한편, 본 도면에 도시되지는 않았으나, 서버(300)는, 적어도 하나의 세부 서버로 구성될 수도 있다. 예를 들면, 서버(300)는, 홈 어플라이언스(100)로부터 음성에 대한 데이터를 포함하는 신호를 수신하고, 음성에 대한 음성인식을 수행하여, 음성에 포함된 단어를 추출하는 음성인식 서버, 음성에 대한 응답 및/또는 추가 질문을 생성하는 응답생성 서버, 응답 및/또는 추가 질문에 대한 데이터, 제어 명령 등을 포함하는 신호를 홈 어플라이언스(100)에 전송하는 제어 서버 등으로 구성될 수 있다.
도 4 및 5는, 본 발명의 일 실시예에 따른, 서버의 동작방법에 대한 순서도이다.
도 4를 참조하면, 서버(300)는, S401 동작에서, 홈 어플라이언스(100)로부터 음성에 대한 데이터가 포함된 신호(이하, 입력신호)를 수신할 수 있다.
서버(300)는, S402 동작에서, 입력신호에 포함된 음성에 대한 음성인식을 수행할 수 있다. 예를 들면, 서버(300)는, 자연어 처리 기술(NLP)을 이용하여, 음성에 포함된 단어를 추출할 수 있다.
서버(300)는, S403 동작에서, 음성의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하는지 여부를 판단할 수 있다. 여기서, 기 설정된 단어는, 단어, 구, 문장을 받아서 뒤에 오는 단어, 구, 문장과 접속시켜주는 성분인 접속사(예: 그리고, 그래서, 그런데, 그러면), 문장의 가운데, 문장의 마지막 등에 위치하는 의미 없는 단어(예: 허사) 및 기 설정된 명령어(예: 잠깐, 반복)을 포함할 수 있다.
예를 들면, 홈 어플라이언스(100)로부터 수신된 입력신호에 포함된 음성이 "현재 온도 몇 도야? 그리고."인 경우, 서버(300)는, 음성으로부터 "현재", "온도", "몇 도야", "그리고"를 추출할 수 있고, 음성의 마지막 부분에 대응하는 단어인 "그리고"가 기 설정된 단어에 해당하는지 여부를 판단할 수 있다.
서버(300)는, S404 동작에서, 음성의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하는 경우, 음성의 마지막 부분을 제외한 나머지 부분에 대응하는 응답을 생성할 수 있다. 예를 들면, 서버(300)는, 입력신호에 포함된 음성인 "현재 온도 몇 도야? 그리고"에서 마지막 부분에 대응하는 단어인 "그리고"를 제외한 나머지 부분, 즉, "현재 온도 몇 도야?"에 대응하여, 현재 온도에 대한 응답을 생성할 수 있다.
서버(300)는, S405 동작에서, 음성의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하는 경우, 추가 질문을 생성할 수 있다. 이때, 서버(300)는, 저장부(320)에 포함된 적어도 하나의 데이터베이스에 기초하여, 음성에 대하여 생성된 응답에 관한 추가 질문을 생성할 수 있고, 이와 관련하여, 도 5를 참조하여 설명하도록 한다.
도 5를 참조하면, 서버(300)는, S501 동작에서, 동작 히스토리 데이터베이스(323)에 기초하여, 홈 어플라이언스(100) 중 입력신호를 전송한 대상인 제1 전자 장치(100a)의 동작 히스토리 중, 응답과 관련된 동작 히스토리가 적어도 하나 존재하는지 여부를 확인할 수 있다.
예를 들면, 서버(300)는, 음성에 대하여 생성된 응답이 현재 온도에 대한 응답인 경우, 현재 온도에 대응하는 온도에서 수행된 제1 전자 장치(100a)의 동작, 현재 온도에 대한 응답이 제1 전자 장치(100a)에 전송된 후 제1 전자 장치(100a)에서 수행된 동작, 현재 온도에 대한 응답이 제1 전자 장치(100a)에 전송된 후 제1 전자 장치(100a)로부터 수신된 추가 음성의 내용, 추가 음성에 대한 응답이 제1 전자 장치(100a)에 전송된 후 제1 전자 장치(100a)에서 수행된 동작 등에 대한, 제1 전자 장치(100a)의 동작 히스토리가 존재하는지 여부를 확인할 수 있다.
서버(300)는, S502 동작에서, 음성에 대하여 생성된 응답과 관련된 제1 전자 장치(100a)의 동작 히스토리가 적어도 하나 존재하는 경우, 제1 전자 장치(100a)의 동작 히스토리에 기초하여, 제1 전자 장치(100a)에 관한 추가 질문(이하, 제1 추가 질문)을 생성할 수 있다.
서버(300)는, S503 동작에서, 홈 어플라이언스(100) 중, 입력신호를 전송한 제1 전자 장치(100a)를 제외한 적어도 하나의 제2 전자 장치(100b)의 동작 상태를 확인할 수 있다. 여기서, 제2 전자 장치(100b)는, 제1 전자 장치(100a)가 등록된 사용자의 계정에 등록된 홈 어플라이언스(100)일 수 있다.
한편, 적어도 하나의 제2 전자 장치(100b)는, 동작 상태에 대한 데이터를 포함하는 신호를, 소정 주기 및/또는 서버(300)의 전송 요청에 따라 서버(300)에 전송할 수 있다.
서버(300)는, S504 동작에서, 적어도 하나의 제2 전자 장치(100b) 중, 응답과 관련된 동작 상태의 제2 전자 장치(100b)가 적어도 하나 존재하는지 여부를 확인할 수 있다. 예를 들면, 서버(300)는, 음성에 대하여 생성된 응답이 현재 온도에 대한 응답인 경우, 현재 온도에 대응하는 온도에서 수행된 제2 전자 장치(100b)의 동작, 현재 온도에 대한 응답이 제2 전자 장치(100b)에 전송된 후 제2 전자 장치(100b)에서 수행된 동작, 현재 온도에 대한 응답이 제2 전자 장치(100b)에 전송된 후 제2 전자 장치(100b)로부터 수신된 추가 음성의 내용, 추가 음성에 대한 응답이 제2 전자 장치(100b)에 전송된 후 제2 전자 장치(100b)에서 수행된 동작 등에 대한 동작 히스토리에 기초하여, 응답과 관련된 동작 상태의 제2 전자 장치(100b)가 적어도 하나 존재하는지 여부를 확인할 수 있다.
서버(300)는, S505 동작에서, 음성에 대하여 생성된 응답과 관련된 동작 상태의 제2 전자 장치(100b)가 적어도 하나 존재하는 경우, 제2 전자 장치(100b)의 동작 히스토리에 기초하여, 제2 전자 장치(100b)에 관한 추가 질문(이하, 제2 추가 질문)을 생성할 수 있다.
한편, 본 도면에 도시하지는 않았으나, 서버(300)는, 딥 러닝 등 머신 러닝을 통해 기 학습된 데이터에 기초하여, 응답과 관련된 추가 질문을 생성할 수도 있다.
다시 도 4를 참조하면, 서버(300)는, S406 동작에서, S404 동작에서 생성된 응답에 대한 데이터와, S405 동작에서 생성된 적어도 하나의 추가 질문에 대한 데이터를 포함하는 응답신호(이하, 제1 응답신호)를 홈 어플라이언스(100)에 전송할 수 있다. 이때, 제1 응답신호는, 홈 어플라이언스(100)의 음성명령 수신 기능을 활성화시키는 제어명령을 더 포함할 수 있고, 제1 응답신호를 수신하는 홈 어플라이언스(100)는, 입력부(160)에 포함된 마이크를 온(on)시킬 수 있고, 사용자로부터의 음성 입력을 대기할 수 있다.
한편, S405 동작에서 제1 및 제2 추가 질문이 생성되지 않은 경우, 서버(300)는, 기 설정된 추가 질문에 대한 데이터를 제1 응답신호에 포함시킬 수 있다. 여기서, 기 설정된 추가 질문은, 사용자이 음성을 추가적으로 발화할 수 있도록 유도하는 질문, 예컨대, "더 필요한 정보가 있으신가요?" 등의 질문을 포함할 수 있다.
또한, 서버(300)는, 음성에 대한 응답의 출력과, 적어도 하나의 추가 질문 중 어느 하나의 출력 사이에서, 음성의 마지막 부분에 대응하는 단어가 출력되도록 제어하는 제어명령을 제1 응답신호에 더 포함시킬 수 있다. 상기와 같이, 사용자가 발화한 음성의 마지막 부분에 대응하는 단어를 홈 어플라이언스(100)가 응답에 포함시켜 출력하는 경우, 홈 어플라이언스(100) 및 음성인식 기술에 대한 사용자의 친밀감을 보다 향상시킬 수 있다.
서버(300)는, S407 동작에서, 제1 응답신호를 홈 어플라이언스(100)에 전송한 시점부터 기 설정된 시간 동안, 홈 어플라이언스(100)로부터 입력신호가 추가적으로 수신되는지 여부를 확인할 수 있다.
이때, 제1 응답신호의 전송 후 기 설정된 시간 이내에 홈 어플라이언스(100)로부터 입력신호가 수신되는 경우, 서버(300)는, S402 동작으로 분기하여, 추가 수신된 입력신호에 포함된 음성에 대한 음성인식을 수행할 수 있다.
한편, 서버(300)는, S408 동작에서, 제1 응답신호의 전송 후 기 설정된 시간 이내에 홈 어플라이언스(100)로부터 입력신호가 수신되지 않는 경우, 기 설정된 종료 메시지를 포함하는 종료신호를 홈 어플라이언스(100)에 전송할 수 있다. 여기서, 종료 메시지는, 활성화된 음성명령 수신 기능의 종료를 사용자에게 알리는 메시지일 수 있다.
한편, 서버(300)는, S409 동작에서, 음성의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하지 않는 경우, 음성의 전체 부분에 대응하는 응답을 생성할 수 있다.
또한, 서버(300)는, S410 동작에서, S409 동작에서 생성된 응답에 대한 데이터를 포함하는 응답신호(이하, 제2 응답신호)를 홈 어플라이언스(100)에 전송할 수 있다. 이때, 제2 응답신호는, 제1 응답신호와 달리, 홈 어플라이언스(100)의 음성명령 수신 기능을 활성화시키는 제어명령을 포함하지 않으므로, 제2 응답신호를 수신하는 홈 어플라이언스(100)는, 제2 응답신호에 포함된 응답만 출력할 수 있다.
도 6은, 본 발명의 일 실시예에 따른, 시스템의 동작방법에 대한 순서도이다. 도 4 및 5에서 설명한 내용과 중복되는 내용에 대해서는 상세한 설명을 생략하도록 한다.
도 6을 참조하면, 제1 전자 장치(100a)는, S601 동작에서, 사용자의 음성을 수신할 수 있다. 예를 들면, 제1 전자 장치(100a)는, 입력부(160)의 마이크를 통해 기 설정된 호출어를 포함하는 음성이 수신되는 경우, 음성명령 수신 기능을 활성화할 수 있고, 음성명령 수신 기능이 활성화된 상태에서 수신되는 음성을 음성명령으로서 수신할 수 있다.
이때, 제1 전자 장치(100a)는, 기 설정된 호출어가 수신되어 음성명령 수신 기능이 활성화되기 전까지, 기 설정된 호출어를 제외한 음성의 입력을 무시하는 스탠바이(standby) 상태를 유지할 수 있다.
한편, 제1 전자 장치(100a)는, 기 설정된 호출어의 수신 후 소정 시간 동안 음성명령의 입력을 대기할 수도 있고, 기 설정된 호출어와 음성명령을 포함하는 연속된 음성을 수신할 수도 있다.
제1 전자 장치(100a)는, S602 동작에서, 음성에 대한 데이터가 포함된 입력신호를 서버(300)에 전송할 수 있다. 이때, 음성에 대한 데이터에는, 기설정된 호출어의 수신 후 입력된 음성명령만 포함될 수도 있고, 기 설정된 호출어와 음성명령이 모두 포함될 수도 있다.
서버(300)는, S603 동작에서, 입력신호에 포함된 음성에 대한 음성인식을 수행할 수 있다. 예를 들면, 서버(300)는, 자연어 처리 기술(NLP)을 이용하여, 음성에 포함된 단어를 추출할 수 있다.
서버(300)는, S604 동작에서, 음성의 마지막 부분을 확인하여, 음성의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하는지 여부를 판단할 수 있다.
서버(300)는, S605 동작에서, 음성에 대응하는 응답을 생성할 수 있다. 예를 들면, 서버(300)는, 음성의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하는 경우, 음성의 마지막 부분을 제외한 나머지 부분에 대응하는 응답을 생성할 수 있다. 이하, 본 도면에 대한 설명에서는, 음성의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하는 경우를 예시로 설명하도록 한다.
서버(300)는, S606 동작에서, 홈 어플라이언스(100) 중, 입력신호를 전송한 제1 전자 장치(100a)를 제외한 적어도 하나의 제2 전자 장치(100b)에 동작 상태에 대한 전송을 요청할 수 있고, 적어도 하나의 제2 전자 장치(100b)는, S607 동작에서, 서버(300)로부터의 요청에 따라, 동작 상태에 대한 데이터를 포함하는 신호를 서버(300)에 전송할 수 있다.
한편, 적어도 하나의 제2 전자 장치(100b)는, 도면에 도시된 바와 같이, 서버(300)로부터 요청이 수신되지 않더라도, 소정 주기 및/또는 소정 이벤트 발생 시, 동작 상태에 대한 데이터를 포함하는 신호를 서버(300)에 전송할 수 있다.
서버(300)는, S608 동작에서, 제1 전자 장치(100a)의 동작 히스토리 및/또는 제2 전자 장치(100b)의 동작 히스토리에 기초하여, 음성에 대하여 생성된 응답에 관한 추가 질문을 생성할 수 있다.
서버(300)는, S609 동작에서, 음성에 대응하는 응답에 대한 데이터 및 추가 질문에 대한 데이터를 포함하는 제1 응답신호를 제1 전자 장치(100a)에 전송할 수 있다. 이때, 음성의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하는 경우, 서버(300)는, 음성명령 수신 기능을 활성화시키는 제어명령을 제1 응답신호에 포함시킬 수 있다.
제1 전자 장치(100a)는, S610 동작에서, 서버(300)로부터 제1 응답신호가 수신되는 경우, 제1 응답신호에 포함된 응답 및 추가 질문을 출력할 수 있다. 예를 들면, 제1 전자 장치(100a)는, 오디오 출력부(185)를 통해, 응답에 대응하는 음성과 추가 질문에 대응하는 음성을 차례대로 출력할 수 있다. 이때, 제1 전자 장치(100a)는, 응답에 대응하는 음성의 출력과, 추가 질문에 대응하는 음성의 출력 사이에, S601 동작에서 수신된 음성의 마지막 부분에 대응하는 단어를 출력할 수도 있다.
또한, 제1 전자 장치(100a)는, 제1 응답신호에 포함된 음성명령 수신 기능을 활성화시키는 제어명령에 따라, 기 설정된 호출어의 입력이 없더라도, 음성명령 수신 기능을 활성화하고, 사용자로부터 발화되는 음성에 포함된 음성명령을 수신할 수 있다.
한편, 서버(300)는, S611 동작에서, 제1 응답신호가 전송된 경우, 제1 응답신호의 전송 시점부터 경과되는 시간을 카운트할 수 있다.
서버(300)는, S612 동작에서, 제1 응답신호의 전송 시점부터 기 설정된 시간이 경과되기까지 홈 어플라이언스(100)로부터 입력신호가 수신되지 않는 경우, 기 설정된 종료 메시지를 포함하는 종료신호를 홈 어플라이언스(100)에 전송할 수 있다.
이때, 종료신호를 수신하는 제1 전자 장치(100a)는, 종료신호에 포함된 기 설정된 종료 메시지에 대응하는 음성을 오디오 출력부(185)를 통해 출력할 수 있고, 음성명령 수신 기능을 종료할 수 있다.
도 7a 내지 9b는, 본 발명의 다양한 실시예에 대한 설명에 참조되는 도면이다.
도 7a를 참조하면, 사용자(700)는, 기 설정된 호출어인 "하이, LG"와, 음성명령에 해당하는 "지금 실내 온도 몇 도야?"를 포함하는 음성(701)을, 홈 어플라이언스(100)의 일 예인 공기조화기를 향해 발화할 수 있다.
이때, 홈 어플라이언스(100)는, 기 설정된 호출어인 "하이, LG"에 따라 음성명령 수신 기능을 활성화할 수 있고, 음성명령에 해당하는 음성인 "지금 실내 온도 몇 도야?"에 대한 데이터를 서버(300)에 전송할 수 있다.
한편, 사용자가 발화한 음성명령에 해당하는 음성인 "지금 실내 온도 몇 도야?"의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하지 않으므로, 서버(300)는, "지금 실내 온도 몇 도야?"에 대한 응답을 포함하는 응답신호를 홈 어플라이언스(100)에 전송할 수 있다.
또한, 홈 어플라이언스(100)는, 오디오 출력부(185)를 통해, 서버(300)로부터 수신된 응답신호에 포함된 현재 온도에 대한 응답에 대응하는 음성(710)을 출력할 수 있다. 이때, "지금 실내 온도 몇 도야?"의 마지막 부분에 대응하는 단어가 기 설정된 단어에 해당하지 않으므로, 서버(300)로부터 수신된 응답신호에는 음성명령 수신 기능을 활성화시키는 제어명령이 포함되지 않아, 홈 어플라이언스(100)는 현재 온도에 대한 응답에 대응하는 음성(710)만 출력한 후, 스탠바이(standby) 상태를 유지할 수 있다.
한편, 도 7b를 참조하면, 사용자(700)는, 기 설정된 호출어인 "하이, LG"와 음성명령에 해당하는 "지금 실내 온도 몇 도야? 그리고"를 포함하는 음성(703)을 발화할 수 있다.
이때, 사용자가 발화한 음성명령에 해당하는 음성인 "지금 실내 온도 몇 도야? 그리고"의 마지막 부분인 "그리고"가 기 설정된 단어인 접속사에 해당하므로, 서버(300)는, "지금 실내 온도 몇 도야?"에 대한 응답과, 추가 질문을 포함하는 응답신호를 홈 어플라이언스(100)에 전송할 수 있다.
또한, 현재 온도에 대한 응답과 관련된 홈 어플라이언스(100)의 동작 히스토리가 존재하지 않은 경우, 서버(300)는, 기 설정된 추가 질문인 "더 필요한 정보가 있으세요?"를 응답신호에 포함시킬 수 있다.
한편, 홈 어플라이언스(100)는, 오디오 출력부(185)를 통해, 현재 온도에 대한 응답에 대응하는 음성(710)과, 기 설정된 추가 질문에 대응하는 음성(720)을 출력할 수 있다. 이때, 홈 어플라이언스(100)는, 현재 온도에 대한 응답과, 기 설정된 추가 질문 사이에, 사용자가 발화한 음성의 마지막 부분인 "그리고"를 출력할 수 있다.
한편, 도 7c를 참조하면, 현재 온도에 대한 응답과 관련된 홈 어플라이언스(100)의 동작 히스토리가 존재하는 경우, 예컨대, 현재 온도인 29도에서 설정 온도를 낮추는 동작에 대한 동작 히스토리가 존재하는 경우, 서버(300)는, 홈 어플라이언스(100)의 동작 히스토리에 기초하여, 추가 질문인 "온도를 조금 낮출까요?"를 생성하여 응답신호에 포함시킬 수 있다.
또한, 홈 어플라이언스(100)는, 오디오 출력부(185)를 통해, 현재 온도에 대한 응답에 대응하는 음성(710)과 추가 질문에 대응하는 음성(730)을 출력할 수 있고, 현재 온도에 대한 응답과 추가 질문 사이에서 사용자가 발화한 음성의 마지막 부분인 "그리고"를 더 출력할 수 있다.
도 8a를 참조하면, 홈 어플라이언스(100)의 일 예인 영상표시장치가 컨텐츠에 대한 화면을 출력하는 동안, 사용자(700)는, 기 설정된 호출어인 "하이, LG"와, 음성명령에 해당하는 "남자가 입은 옷 뭐야? 그리고"를 포함하는 음성(801)을, 홈 어플라이언스(100)를 향해 발화할 수 있다.
이때, 홈 어플라이언스(100)는, 기 설정된 호출어인 "하이, LG"에 따라 음성명령 수신 기능을 활성화할 수 있고, 음성명령에 해당하는 음성인 "남자가 입은 옷 뭐야? 그리고"에 대한 데이터를 서버(300)에 전송할 수 있다.
한편, 사용자가 발화한 음성명령에 해당하는 음성인 "남자가 입은 옷 뭐야? 그리고"의 마지막 부분인 "그리고"가 기 설정된 단어인 접속사에 해당하므로, 서버(300)는, "남자가 입은 옷 뭐야?"에 대한 응답인 의류 검색 결과와, 추가 질문을 포함하는 응답신호를 홈 어플라이언스(100)에 전송할 수 있다.
이때, 의류 검색과 관련된 홈 어플라이언스(100)의 동작 히스토리가 존재하는 경우, 예컨대, 의류 검색 결과에 대한 출력 후, 사용자의 추가 검색 요청이 수신되거나, 요청에 따라 추가 검색을 수행한 동작 히스토리가 존재하는 경우, 서버(300)는, 홈 어플라이언스(100)의 동작 히스토리에 기초하여, 추가 질문인 "상의와 하의 중 어떤 걸 원하시나요?"를 생성하여 응답신호에 포함시킬 수 있다.
홈 어플라이언스(100)는, 디스플레이(180)를 통해, 의류 검색 결과에 대한 화면(821, 823)을 출력할 수 있고, 오디오 출력부(185)를 통해, 사용자가 발화한 음성의 마지막 부분인 "그리고"를 포함하는 추가 질문에 대응하는 음성(810)을 출력할 수 있다.
한편, 홈 어플라이언스(100)는 추가 질문에 대응하는 음성(810)의 출력 후, 음성명령 수신 기능을 활성화시킬 수 있고, 사용자는 추가 질문에 대한 응답인 "상의 티셔츠"를 포함하는 음성(803)을 발화할 수 있다.
한편, 도 8b를 참조하면, 사용자가 추가 발화한 음성(803)의 마지막 부분은 기 설정된 단어에 해당하지 않으므로, 서버(300)는, 추가 질문에 대한 응답에 대응하는 음성(803)에 대하여 음성인식을 수행한 후, 해당 음성(803)에 대한 응답인 상의 티셔츠에 대한 검색 결과만 포함하는 응답신호를 홈 어플라이언스(100)에 전송할 수 있다.
또한, 서버(300)로부터 수신된 응답신호에는 음성명령 수신 기능을 활성화시키는 제어명령이 포함되지 않아, 홈 어플라이언스(100)는 상의 티셔츠에 대한 검색 결과의 화면(821)만 출력한 후, 스탠바이(standby) 상태를 유지할 수 있다.
도 9a를 참조하면, 홈 어플라이언스(100)의 일 예인 세탁기가 세탁물을 빨래하는 동작을 수행하는 동안, 사용자(700)는, 기 설정된 호출어인 "하이, LG"와, 음성명령에 해당하는 "빨래 몇 분 남았어? 음"을 포함하는 음성(901)을 제1 전자 장치(100a)인 세탁기를 향해 발행할 수 있다.
이때, 제1 전자 장치(100a)는, 기 설정된 호출어인 "하이, LG"에 따라 음성명령 수신 기능을 활성화할 수 있고, 음성명령에 해당하는 음성인 "빨래 몇 분 남았어? 음"에 대한 데이터를 서버(300)에 전송할 수 있다.
한편, 사용자가 발화한 음성명령에 해당하는 음성인 "빨래 몇 분 남았어? 음"의 마지막 부분인 "음"이 기 설정된 단어인 허사에 해당하므로, 서버(300)는, "빨래 몇 분 남았어?"에 대한 응답인 잔여 시간과 추가 질문을 포함하는 응답신호를 제1 전자 장치(100a)에 전송할 수 있다.
이때, 잔여 시간과 관련된 제1 전자 장치(100a)의 동작 히스토리가 존재하는 경우, 예컨대, 잔여 시간 경과 및 빨래 완료 후 헹굼 기능이 추가된 동작 히스토리가 존재하는 경우, 서버(300)는, 제1 전자 장치(100a)의 동작 히스토리에 기초하여, 추가 질문인 "헹굼 1회 추가할까요?"를 생성하여 응답신호에 포함시킬 수 있다.
또한, 제1 전자 장치(100a)는, 오디오 출력부(185)를 통해, 잔여 시간에 대한 응답인 "빨래 10분 남았습니다."와 추가 질문인 "헹굼 1회 추가할까요?"를 포함하는 음성(910)을 출력할 수 있고, 잔여 시간에 대한 응답과 추가 질문 사이에서 사용자가 발화한 음성의 마지막 부분인 "음"을 더 출력할 수 있다.
한편, 도 9b를 참조하면, 서버(300)는 제2 전자 장치(100b)의 동작 상태를 확인할 수 있고, 잔여 시간에 대한 응답과 관련된 동작 상태의 제2 전자 장치(100b)가 적어도 하나 존재하는지 여부를 확인할 수 있다. 예를 들면, 제2 전자 장치(100b)의 일 예인 영상표시장치의 동작 히스토리 중, 세탁 완료 시 영상표시장치를 통해 출력되는 컨텐츠의 재생을 사용자가 일시정지하는 동작 히스토리가 존재하는 경우, 서버(300)는, 제2 전자 장치(100b)의 동작 히스토리에 기초하여, 추가 질문인 "10분 후에 TV 일시정지 할까요"를 생성하여 응답신호에 더 포함시킬 수 있다.
또한, 제1 전자 장치(100a)는, 오디오 출력부(185)를 통해, 잔여 시간에 대한 응답인 "빨래 10분 남았습니다."와, 제1 전자 장치(100a)에 관한 추가 질문인 "헹굼 1회 추가할까요?"와, 제2 전자 장치(100b)에 관한 추가 질문인 "10분 후에 TV 일시정지 할까요"를 포함하는 음성(920)을 출력할 수 있다.
상기와 같이, 본 발명의 다양한 실시예에 따르면, 사용자로부터 입력된 음성에 포함된 단어에 따라, 음성에 대한 응답 제공 후 홈 어플라이언스(100)의 음성명령 수신 기능을 자동적으로 다시 활성화할 수 있어, 사용자는 반복되는 음성 웨이크업 등의 동작 수행 없이, 간편하고 편리하게 홈 어플라이언스(100)를 제어할 수 있다.
또한, 본 발명의 다양한 실시예에 따르면, 홈 어플라이언스(100)의 음성명령 수신 기능을 자동적으로 다시 활성화할 뿐만 아니라, 응답에 관한 추가 질문을 사용자에게 제공할 수 있어, 사용자의 추가적인 음성 발화를 자연스럽게 유도 및 수신할 수 있다.
또한, 본 발명의 다양한 실시예에 따르면, 홈 어플라이언스들(100a, 100b)의 동작 히스토리에 기초하여, 응답 이후에 수행될 것으로 예상되는 동작과 관련된 추가 질문을 생성할 수 있어, 사용자의 의도나 사용 패턴, 주변 상황 등에 보다 부합하는 추가 질문을 사용자에게 제공할 수 있다.
첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 발명의 서버 및 이를 포함하는 시스템의 동작방법은 서버 및 이를 포함하는 시스템에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (18)

  1. 서버에 있어서,
    네트워크를 통한 통신을 수행하는 통신부;
    적어도 하나의 기 설정된 단어에 대한 데이터를 저장하는 저장부; 및
    제어부를 포함하고,
    상기 제어부는,
    상기 통신부를 통해 제1 전자 장치로부터 음성에 대한 데이터가 포함된 입력신호가 수신되는 경우, 상기 음성의 마지막 부분이 상기 적어도 하나의 기 설정된 단어 중 어느 하나에 대응하는지 여부를 판단하고,
    상기 적어도 하나의 기 설정된 단어 중 상기 음성의 마지막 부분에 대응하는 단어가 존재하는 경우, 상기 통신부를 통해, 상기 음성에 대응하는 응답에 대한 데이터와 적어도 하나의 추가 질문에 대한 데이터를 포함하는 제1 응답신호를 상기 제1 전자 장치에 전송하고,
    상기 적어도 하나의 기 설정된 단어 중 상기 음성의 마지막 부분에 대응하는 단어가 존재하지 않는 경우, 상기 통신부를 통해, 상기 음성에 대응하는 응답에 대한 데이터를 포함하는 제2 응답신호를 상기 제1 전자 장치에 전송하는 것을 특징으로 하는 서버.
  2. 제1항에 있어서,
    상기 적어도 하나의 기 설정된 단어는, 접속사, 허사 및 기 설정된 명령어 중 적어도 하나를 포함하는 것을 특징으로 하는 서버.
  3. 제2항에 있어서,
    상기 제1 응답신호는, 상기 제1 전자 장치의 음성명령 수신 기능을 활성화시키는 제어 명령을 더 포함하는 것을 특징으로 하는 서버.
  4. 제3항에 있어서,
    상기 저장부는, 상기 제1 전자 장치의 동작 히스토리에 대한 데이터를 더 저장하고,
    상기 제어부는,
    상기 제1 전자 장치의 동작 히스토리 중, 상기 음성에 대응하는 응답과 관련된 제1 동작 히스토리가 적어도 하나 존재하는 경우, 상기 제1 동작 히스토리에 기초하여, 상기 제1 전자 장치에 관한 제1 추가 질문을 생성하는 것을 특징으로 하는 서버.
  5. 제4항에 있어서,
    상기 저장부는, 적어도 하나의 제2 전자 장치의 동작 히스토리에 대한 데이터를 더 저장하고,
    상기 제어부는,
    상기 통신부를 통해, 상기 적어도 하나의 제2 전자 장치의 동작 상태를 확인하고,
    상기 적어도 하나의 제2 전자 장치 중, 상기 음성에 대응하는 응답과 관련된 동작 상태의 제2 전자 장치가 적어도 하나 존재하는 경우, 상기 음성에 대응하는 응답과 관련된 동작 상태의 제2 전자 장치에 관한 제2 추가 질문을 적어도 하나 생성하는 것을 특징으로 하는 서버.
  6. 제5항에 있어서,
    상기 적어도 하나의 제2 전자 장치는, 상기 제1 전자 장치가 등록된 사용자의 계정에 등록된 장치인 것을 특징으로 하는 서버.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 제1 추가 질문 및 상기 제2 추가 질문 중 어느 하나도 생성하지 않는 경우, 기 설정된 추가 질문에 대한 데이터를 상기 제1 응답신호에 포함시키는 것을 특징으로 하는 서버.
  8. 제1항에 있어서,
    상기 제1 응답신호는, 상기 음성에 대한 응답의 출력과, 상기 적어도 하나의 추가 질문 중 어느 하나의 출력 사이에서 상기 음성의 마지막 부분이 출력되도록 제어하는 제어 명령을 더 포함하는 것을 특징으로 하는 서버.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 제1 응답신호를 상기 제1 전자 장치에 전송한 시점부터 기 설정된 시간 동안, 상기 제1 전자 장치로부터 추가 입력신호가 수신되지 않는 경우, 기 설정된 종료 메시지를 포함하는 종료신호를 상기 제1 전자 장치에 전송하는 것을 특징으로 하는 서버.
  10. 적어도 하나의 전자 장치 및 서버를 포함하는 시스템에 있어서,
    상기 적어도 하나의 전자 장치 중 제1 전자 장치는,
    음성이 수신되는 경우, 상기 음성에 대한 데이터가 포함된 입력신호를 상기 서버에 전송하고,
    상기 서버로부터 상기 입력신호에 대한 응답신호가 수신되는 경우, 수신된 응답신호에 따른 음성을 출력하고,
    상기 서버는,
    상기 제1 전자 장치로부터 상기 입력신호가 수신되는 경우, 상기 입력신호에 포함된 상기 음성의 마지막 부분이 적어도 하나의 기 설정된 단어 중 어느 하나에 대응하는지 여부를 판단하고,
    상기 적어도 하나의 기 설정된 단어 중 상기 음성의 마지막 부분에 대응하는 단어가 존재하는 경우, 상기 음성에 대응하는 응답에 대한 데이터와 적어도 하나의 추가 질문에 대한 데이터를 포함하는 제1 응답신호를 상기 제1 전자 장치에 전송하고,
    상기 적어도 하나의 기 설정된 단어 중 상기 음성의 마지막 단어에 대응하는 단어가 존재하지 않는 경우, 상기 음성에 대응하는 응답에 대한 데이터를 포함하는 제2 응답신호를 상기 제1 전자 장치에 전송하는 것을 특징으로 하는 시스템.
  11. 제10항에 있어서,
    상기 적어도 하나의 기 설정된 단어는, 접속사, 허사 및 기 설정된 명령어 중 적어도 하나를 포함하는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서,
    상기 제1 응답신호는, 상기 제1 전자 장치의 음성명령 수신 기능을 활성화시키는 제어 명령을 더 포함하는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서,
    상기 서버는,
    상기 서버의 저장부에 저장된 상기 제1 전자 장치의 동작 히스토리에 대한 데이터에 기초하여, 상기 제1 전자 장치의 동작 히스토리 중, 상기 음성에 대응하는 응답과 관련된 제1 동작 히스토리가 적어도 하나 존재하는지 여부를 판단하고,
    상기 제1 동작 히스토리가 적어도 하나 존재하는 경우, 상기 제1 동작 히스토리에 기초하여, 상기 제1 전자 장치에 관한 제1 추가 질문을 생성하는 것을 특징으로 하는 시스템.
  14. 제13항에 있어서,
    상기 서버는,
    적어도 하나의 제2 전자 장치의 동작 상태를 확인하고,
    상기 서버의 저장부에 저장된 상기 적어도 하나의 제2 전자 장치의 동작 히스토리에 대한 데이터에 기초하여, 상기 적어도 하나의 제2 전자 장치 중, 상기 음성에 대응하는 응답과 관련된 동작 상태의 제2 전자 장치가 적어도 하나 존재하는지 여부를 판단하고,
    상기 음성에 대응하는 응답과 관련된 동작 상태의 제2 전자 장치가 적어도 하나 존재하는 경우, 상기 음성에 대응하는 응답과 관련된 동작 상태의 제2 전자 장치에 관한 제2 추가 질문을 적어도 하나 생성하는 것을 특징으로 하는 시스템.
  15. 제14항에 있어서,
    상기 적어도 하나의 제2 전자 장치는, 상기 제1 전자 장치가 등록된 사용자의 계정에 등록된 장치인 것을 특징으로 하는 시스템.
  16. 제15항에 있어서,
    상기 서버는,
    상기 제1 추가 질문 및 상기 제2 추가 질문 중 어느 하나도 생성하지 않는 경우, 기 설정된 추가 질문에 대한 데이터를 상기 제1 응답신호에 포함시키는 것을 특징으로 하는 시스템.
  17. 제10항에 있어서,
    상기 제1 응답신호는, 상기 음성에 대한 응답의 출력과, 상기 적어도 하나의 추가 질문 중 어느 하나의 출력 사이에서 상기 음성의 마지막 부분이 출력되도록 제어하는 제어 명령을 더 포함하는 것을 특징으로 하는 시스템.
  18. 제17항에 있어서,
    상기 서버는,
    상기 제1 응답신호를 상기 제1 전자 장치에 전송한 시점부터 기 설정된 시간 동안, 상기 제1 전자 장치로부터 추가 입력신호가 수신되지 않는 경우, 기 설정된 종료 메시지를 포함하는 종료신호를 상기 제1 전자 장치에 전송하는 것을 특징으로 하는 시스템.
KR1020200065613A 2020-06-01 2020-06-01 서버 및 이를 포함하는 시스템 KR20210148580A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200065613A KR20210148580A (ko) 2020-06-01 2020-06-01 서버 및 이를 포함하는 시스템
US17/334,280 US11893987B2 (en) 2020-06-01 2021-05-28 Server and system including the same
EP21176772.8A EP3923276A1 (en) 2020-06-01 2021-05-31 Server and system including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200065613A KR20210148580A (ko) 2020-06-01 2020-06-01 서버 및 이를 포함하는 시스템

Publications (1)

Publication Number Publication Date
KR20210148580A true KR20210148580A (ko) 2021-12-08

Family

ID=76197284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200065613A KR20210148580A (ko) 2020-06-01 2020-06-01 서버 및 이를 포함하는 시스템

Country Status (3)

Country Link
US (1) US11893987B2 (ko)
EP (1) EP3923276A1 (ko)
KR (1) KR20210148580A (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8117036B2 (en) 2008-12-03 2012-02-14 At&T Intellectual Property I, L.P. Non-disruptive side conversation information retrieval
US9805718B2 (en) * 2013-04-19 2017-10-31 Sri Internaitonal Clarifying natural language input using targeted questions
KR20180084394A (ko) * 2017-01-17 2018-07-25 삼성전자주식회사 발화 완료 감지 방법 및 이를 구현한 전자 장치
US10931724B2 (en) * 2017-07-18 2021-02-23 NewVoiceMedia Ltd. System and method for integrated virtual assistant-enhanced customer service
EP3486900A1 (en) 2017-11-16 2019-05-22 Softbank Robotics Europe System and method for dialog session management

Also Published As

Publication number Publication date
EP3923276A1 (en) 2021-12-15
US20210375284A1 (en) 2021-12-02
US11893987B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
US11036258B2 (en) Image display apparatus
US10306313B2 (en) Display apparatus and method for controlling a screen of display apparatus
US11798508B2 (en) Display device and method for operating same
US10061479B2 (en) Display system, information processing apparatus, computer readable recording medium, and power source control method
US20170300192A1 (en) Method of providing multi-screen environment and apparatus thereof
US9948979B2 (en) User terminal and control method thereof
US9802128B2 (en) Display apparatus, server, and method for providing contents
KR20150072087A (ko) 보안 장치, 방송 수신 장치, 및 방송 수신 장치의 영상 촬영 방법
KR20210148580A (ko) 서버 및 이를 포함하는 시스템
KR20210148378A (ko) 유기 발광 다이오드 표시 장치
KR102360873B1 (ko) 제어 장치 및 이를 포함하는 시스템
US11270612B2 (en) Image display apparatus
KR102291592B1 (ko) 영상표시장치
KR102114612B1 (ko) 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
US20240022779A1 (en) Image display device and operating method therefor
EP3926893B1 (en) Home appliance and operating method thereof
US20230177133A1 (en) Image display device and system, and operation method for same
US20160350050A1 (en) Information processing apparatus, operation screen display method, and computer-readable recording medium
US20230319339A1 (en) Electronic device and control method thereof
US20230180001A1 (en) Electronic apparatus and controlling method thereof
EP4362473A1 (en) Remote control device and image display device having same
KR102337395B1 (ko) 영상표시장치
US20220394789A1 (en) Image display apparatus and operation method therefor
CN115914766A (zh) 一种显示设备及在游戏画面上显示菜单的方法
KR20220102941A (ko) 영상표시장치 및 그 동작방법