KR102246893B1 - 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법 - Google Patents

대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법 Download PDF

Info

Publication number
KR102246893B1
KR102246893B1 KR1020130153696A KR20130153696A KR102246893B1 KR 102246893 B1 KR102246893 B1 KR 102246893B1 KR 1020130153696 A KR1020130153696 A KR 1020130153696A KR 20130153696 A KR20130153696 A KR 20130153696A KR 102246893 B1 KR102246893 B1 KR 102246893B1
Authority
KR
South Korea
Prior art keywords
data
voice
user
query data
server
Prior art date
Application number
KR1020130153696A
Other languages
English (en)
Other versions
KR20150068003A (ko
Inventor
김경민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130153696A priority Critical patent/KR102246893B1/ko
Priority to US14/528,009 priority patent/US10255321B2/en
Priority to PCT/KR2014/011167 priority patent/WO2015088155A1/en
Priority to EP14869298.1A priority patent/EP3025258A4/en
Publication of KR20150068003A publication Critical patent/KR20150068003A/ko
Application granted granted Critical
Publication of KR102246893B1 publication Critical patent/KR102246893B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2452—Query translation
    • G06F16/24522—Translation of natural language queries to structured queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Abstract

대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법이 제공된다. 본 대화형 시스템의 제어 방법에 따르면, 대화형 서버가 기 분석된 발화 패턴에 키워드를 대입하여 생성된 쿼리 데이터를 저장하는 단계, 디스플레이 장치가 사용자 음성을 수신하여 사용자 음성을 음성 데이터로 변환하고 상기 대화형 서버로 전송하는 단계 및 음성 데이터가 수신된 경우, 대화형 서버는 저장된 쿼리 데이터를 이용하여 사용자 음성에 대한 검색을 수행하는 단계를 포함한다.

Description

대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법 { INTERACTIVE SYSTEM, CONTROL METHOD THEREOF, INTERACTIVE SERVER AND CONTROL METHOD THEREOF }
본 발명은 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자 음성에 대해 신속하게 검색을 수행할 수 있는 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법에 관한 것이다.
사용자는 전자 장치를 더욱 편리하게 사용하고자 한다. 이에 따라, 전자 장치를 용이하게 제어하는 기술은 점차 발달하는 추세이다. 즉, 전자 장치를 용이하게 제어하는 기술은 전자 장치에 부착된 입력부를 통해 전자 장치를 제어하던 방법에서 시작하여, 근거리에서도 제어 가능한 외부 리모트 컨트롤러(Remote Controller)를 이용하는 방법으로 발전하였다. 최근에는 전자 장치에서 터치 패널을 구비하는 디스플레이부의 사용이 일반화됨에 따라, 터치 입력을 이용하여 전자 장치를 제어하는 기술이 보편적으로 사용된다.
그러나, 터치로 전자 장치를 제어하는 방법은 사용자가 반드시 전자 장치와 터치가 가능한 거리 내에 있어야 한다는 불편함이 존재한다. 따라서 사용자의 근거리 내에서 리모트 컨트롤러와 같은 외부 기기 없이 전자 장치를 제어하려는 니즈(needs)가 증가하였다.
다만, 전자 장치가 사용자 음성에 의해 제어되기 위해서는, 사용자의 음성을 수신한 경우 전자 장치는 사용자의 음성 데이터를 음성 인식 엔진에 전송하여 음성 인식을 수행하고, 다이얼로그 서버에 음성 인식 결과를 전송하여 자연어 처리를 통해 사용자의 음성을 분석하고 검색을 수행하는 등의 과정을 거쳐야 한다.
사용자는 음성 발화 후, 즉각적인 피드백을 원하지만, 상술한 바와 같은 과정을 거치기 때문에 긴 시간이 소요되어 사용자에게 불편을 초래하게 된다.
따라서, 발화된 사용자 음성에 대해 검색을 수행하고 피드백을 제공하기 위한 기술이 필요하다.
공개특허공보 제10-2013-0103205호(공개일: 2013.09.23.), 등록특허공보 제10-1330671호(공개일: 2013.11.15.)
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 사용자 음성에 대해 신속하게 검색을 수행하여 피드백을 제공할 수 있는 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 대화형 시스템의 제어 방법은, 대화형 서버가 기 분석된 발화 패턴에 키워드를 대입하여 생성된 쿼리 데이터를 저장하는 단계, 디스플레이 장치가 사용자 음성을 수신하여 상기 사용자 음성을 음성 데이터로 변환하고 상기 대화형 서버로 전송하는 단계 및 상기 음성 데이터가 수신된 경우, 상기 대화형 서버는 상기 저장된 쿼리 데이터를 이용하여 상기 사용자 음성에 대한 검색을 수행하는 단계를 포함할 수 있다.
한편, 상기 검색을 수행하는 단계는, 상기 디스플레이 장치를 통해 수신된 사용자 음성에 대응되는 데이터가 상기 서버의 캐시 메모리에 저장된 상기 쿼리 데이터와 일치하는 경우, 상기 일치하는 쿼리 데이터로 검색을 수행하고, 일치하지 않는 경우, 상기 수신된 사용자 음성에 대응되는 데이터에 대해 자연어 처리를 수행하고 상기 자연어 처리 결과에 따라 검색을 수행하는 것을 특징으로 할 수 있다.
그리고 상기 발화 패턴은, 상기 사용자 음성을 수집하고, 상기 사용자 음성을 파싱하여 분석하는 것을 특징으로 할 수 있다.
한편, 상기 저장하는 단계는, 외부 서버가 상기 사용자 음성을 수집하고, 상기 사용자 음성을 파싱하여 상기 발화 패턴을 분석하고 상기 키워드를 대입하여 상기 쿼리 데이터를 생성하며, 상기 서버는 상기 외부 서버로부터 상기 쿼리 데이터를 수신하여 캐시 메모리에 저장하는 것을 특징으로 할 수 있다.
그리고 상기 외부 서버는, 상기 사용자 음성의 수신이 기 설정된 횟수 이하인 시간에 상기 발화 패턴의 분석 및 상기 쿼리 데이터의 생성을 수행하는 것을 특징으로 할 수 있다.
한편, 상기 키워드는, 기 설정된 기간 내 발생한 컨텐츠 또는 기 설정된 횟수 이상 검색된 컨텐츠와 관련된 단어인 것을 특징으로 할 수 있다.
그리고 상기 서버는 기 설정된 기간 이내에 상기 검색을 위해 사용되지 않은 상기 쿼리 데이터를 삭제하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른, 대화형 시스템은 사용자 음성을 수신하고, 상기 사용자 음성을 음성 데이터로 변환하여 상기 대화형 서버로 전송하는 디스플레이 장치 및 기 분석된 발화 패턴에 키워드를 대입하여 생성된 쿼리 데이터를 저장하며, 상기 음성 데이터가 수신된 경우, 상기 저장된 쿼리 데이터를 이용하여 상기 사용자 음성에 대한 검색을 수행하는 대화형 서버를 포함할 수 있다.
한편, 상기 대화형 서버는, 상기 사용자 음성을 수집하여 상기 사용자 음성을 파싱하고 상기 발화 패턴을 분석하는 것을 특징으로 할 수 있다.
그리고 외부 서버를 더 포함하고, 상기 외부 서버는 상기 사용자 음성을 수집하고, 상기 사용자 음성을 파싱하여 상기 발화 패턴을 분석하고 상기 키워드를 대입하여 상기 쿼리 데이터를 생성하여 상기 대화형 서버로 전송하고, 상기 대화형 서버는, 상기 외부 서버로부터 상기 쿼리 데이터를 수신하여 캐시 메모리에 저장하는 것을 특징으로 할 수 있다.
한편, 상기 외부 서버는, 상기 사용자 음성의 수신이 기 설정된 횟수 이하인 시간에 상기 발화 패턴의 분석 및 상기 쿼리 데이터의 생성을 수행하는 것을 특징으로 할 수 있다.
그리고 상기 키워드는, 기 설정된 기간 내 발생한 컨텐츠 또는 기 설정된 횟수 이상 검색된 컨텐츠와 관련된 단어인 것을 특징으로 할 수 있다.
한편, 상기 대화형 서버는, 상기 음성 데이터가 캐시 메모리에 저장된 상기 쿼리 데이터와 일치하는 경우, 상기 일치하는 쿼리 데이터로 검색을 수행하고, 일치하지 않는 경우, 상기 음성 데이터에 대해 자연어 처리를 수행하고 상기 자연어 처리 결과에 따라 검색을 수행하는 것을 특징으로 할 수 있다.
그리고 상기 대화형 서버는, 기 설정된 기간 이내에 상기 검색을 위해 사용되지 않은 상기 쿼리 데이터를 삭제하는 것을 특징으로 할 수 있다.
한편, 본 발명의 일 실시예에 따른, 대화형 서버의 제어 방법은 기 분석된 발화 패턴에 키워드를 대입하여 생성된 쿼리 데이터를 저장하는 단계, 사용자 음성에 대응되는 데이터가 수신된 경우, 상기 저장된 쿼리 데이터와 일치하는 경우, 상기 일치하는지 판단하는 단계 및 상기 수신된 사용자 음성에 대응되는 데이터가 상기 저장된 쿼리 데이터와 일치하는 경우 상기 저장된 쿼리 데이터로 검색을 수행하고, 일치하지 않는 경우 상기 수신된 사용자 음성에 대응되는 데이터에 대해 자연어 처리를 수행하고 상기 자연어 처리 결과에 따라 검색을 수행하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른, 대화형 서버는 기 분석된 발화 패턴에 키워드를 대입하여 생성된 쿼리 데이터를 저장하는 저장부, 통신부 및 상기 통신부를 통해 사용자 음성에 대응되는 데이터가 수신된 경우, 상기 수신된 음성 데이터가 상기 저장된 쿼리 데이터와 일치하는지 여부를 판단하여, 상기 수신된 사용자 음성에 대응되는 데이터가 상기 저장된 쿼리 데이터와 일치하는 경우 상기 저장된 쿼리 데이터로 검색을 수행하고, 일치하지 않는 경우 상기 수신된 사용자 음성에 대응되는 데이터에 대해 자연어 처리를 수행하고 상기 자연어 처리 결과에 따라 검색을 수행하는 제어부를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 사용자 음성에 대해 신속하게 검색을 수행하여 피드백을 제공할 수 있는 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 대화형 시스템을 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른, 대화형 서버의 구성을 나타내는 블럭도,
도 3은 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 나타내는 블럭도,
도 4는 본 발명의 일 실시예에 따른, 대화형 시스템의 제어 방법을 설명하기 위한 흐름도,
도 5는 본 발명의 일 실시예에 따른, 대화형 시스템의 제어 방법을 설명하기 위한 흐름도, 그리고
도 6은 본 발명의 일 실시예에 따른, 대화형 시스템의 제어 방법을 설명하기 위한 시퀀스도이다.
이하에서는 첨부된 도면을 참조하여, 본 발명의 다양한 실시 예를 좀더 상세하게 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른, 대화형 시스템(1000)을 나타내는 도면이다. 즉, 대화형 시스템(1000)은 대화형 서버(100), 디스플레이 장치(200)를 포함할 수 있다.
대화형 서버(100)는 사용자 음성에 대응되는 데이터가 수신된 경우, 사용자 음성에 대한 검색을 수행할 수 있다. 또는, 대화형 서버(100)는 사용자 음성을 인식하고 텍스트 데이터로 변환하여 검색을 수행할 수 있다.
즉, 대화형 서버(100)는 사용자 음성 또는 사용자 음성에 대응되는 데이터를 수신하여 음성 인식을 수행할 수 있는 서버이다.
또한, 대화형 서버(100)는 음성 인식한 데이터를 자연언어 처리(natural language processing or natural language understanding)하여 분석하고 검색한 결과를 디스플레이 장치(200)로 전송할 수 있다.
예를 들면, 대화형 서버(100)는 자연 언어 처리를 통해 도 1에 도시된 바와 같이 프랑스 영화를 검색하기 위한 사용자 음성이 수신된 것으로 판단하는 경우, 대화형 서버(100) 내의 저장부에서 프랑스 영화를 검색하여 검색된 프랑스 영화와 관련된 정보를 디스플레이 장치(200)가 UI를 통해 디스플레이하도록 전송할 수 있다.
또는, 음성 인식 결과 사용자 음성이 복수 개의 의미를 갖는 것으로 판단되면, 대화형 서버(100)는 사용자로부터 정확한 결과를 선택받기 위해 판단된 복수 개의 결과를 디스플레이 장치(200)로 전송할 수 있다.
한편, 디스플레이 장치(200)는 사용자 음성을 수신하여 대화형 서버(100)로 전송할 수 있는 장치이다. 또는, 디스플레이 장치(200)에 ASR 엔진이 내장된 경우, 디스플레이 장치(200)는 사용자 음성을 수신하고 음성을 인식하여 텍스트로 변환하여 변환된 텍스트를 대화형 서버(100)로 전송할 수도 있다.
도 1에 도시된 바와 같이 디스플레이 장치(200)는 TV일 수 있다. 그러나 TV 외에도 디스플레이부를 포함하는 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 PC, PDA등과 같은 다양한 전자 장치로 구현될 수 있고, 디스플레이부를 포함하지 않아도 사용자 음성을 수신하고 음성 인식 결과를 출력할 수 있는 기능이 탑재된 다양한 전자 장치로 구현될 수 있다.
디스플레이 장치(200)는 마이크부를 포함하여 사용자 음성을 수신하고, 수신한 사용자 음성을 사용자 음성 데이터로 변환할 수 있다. 또는 디스플레이 장치(200)는 텍스트 형태로 사용자 음성에 대응되는 데이터를 수신할 수 있다.
디스플레이 장치(200)는 변환한 사용자 음성 데이터 또는 텍스트 형태로 수신한 데이터를 대화형 서버(100)로 전송할 수 있다.
그리고 디스플레이 장치(200)는 대화형 서버(100)에서 처리한 음성 인식 결과를 수신하여 스피커부를 통해 출력하거나 디스플레이부를 통해 디스플레이할 수 있다. 예를 들면, 도 1에 도시된 바와 같이 디스플레이 장치(200)를 통해 프랑스 영화를 검색하기 위한 사용자 음성이 수신되고, 수신된 사용자 음성에 대응되는 음성 데이터를 수신한 대화형 서버(100)가 프랑스 영화에 대한 검색을 수행하여, 디스플레이 장치(200)가 검색 결과를 수신한 경우, 디스플레이부를 통해 검색 결과를 디스플레이할 수 있다. 그리고 사용자로부터 검색된 프랑스 영화 중 어느 하나를 재생하기 위한 사용자 명령이 입력되면, 디스플레이 장치(200)는 입력된 사용자 명령에 대응되는 동작을 수행할 수 있다.
또한, 도 1에 도시된 바와 달리 대화형 서버(100)는 디스플레이 장치(200)의 외부에 별도로 존재하지 않고, 디스플레이 장치(200)에 포함될 수 있다.
그리고 대화형 서버(100)는 복수 개의 서버를 포함할 수 있다. 예를 들면, 대화형 서버(100)는 음성 인식을 위한 ASR 서버, 자연언어 처리를 수행하기 위한 서버 및 사용자 음성을 수집하고 분석하여 쿼리 데이터를 생성하기 위한 서버를 포함할 수 있다.
한편, 도 2는 본 발명의 일 실시예에 따른, 대화형 서버(100)의 구성을 도시한 블럭도이다. 도 2에 도시된 바와 같이 대화형 서버(100)는 통신부(110), 저장부(120) 및 제어부(130)를 포함한다.
통신부(110)는 외부 장치 또는 외부 서버와 통신을 수행하기 위한 구성요소이다. 즉, 도 1에 도시된 바와 같이 디스플레이 장치(200)와 대화형 서버(100)가 통신을 수행하는 경우, 통신부(110)는 디스플레이 장치(200)에서 변환한 음성 데이터를 수신하고, 대화형 서버(100)에서 분석한 음성 데이터에 대한 검색 결과를 디스플레이 장치(200)로 전송할 수 있다.
또한, 대화형 서버(100)의 외부 서버가 존재하는 경우, 통신부(110)는 외부 서버와 통신을 수행하여 각종 데이터를 전송 또는 수신할 수 있다.
한편, 저장부(120)는 대화형 서버(100)를 구동하기 위한 다양한 소프트웨어 모듈 및 데이터 등을 저장하기 위한 구성요소이다. 예를 들어, 저장부(120)에는 ASR 엔진 모듈, 다이얼로그 엔진 모듈 및 로그 분석 모듈을 포함하는 소프트웨어가 저장될 수 있다.
저장부(120)에 저장된 ASR 엔진 모듈은 제어부(130)에 의해 실행되어, 디스플레이 장치(200)로부터 수신한 음성을 인식하여 데이터 베이스에 매칭되는 텍스트로 변환할 수 있다.
다이얼로그 엔진 모듈은 음성 인식된 결과에 대해 자연언어 처리를 수행하고, 수행된 결과에 따라 검색을 수행할 수 있다.
한편, 로그 분석 모듈은 제어부(130)에 의해 실행되어, 사용자 음성을 수집하고, 사용자 음성을 파싱하여 발화 패턴을 분석할 수 있다. 그리고 로그 분석 모듈은 키워드를 수집할 수 있다.
키워드는 기 설정된 기간 내 발생한 컨텐츠 또는 기 설정된 횟수 이상 검색된 컨텐츠와 관련된 단어일 수 있다. 구체적으로 키워드는 기 설정된 기간 내에 새롭게 출시된 영화 제목, 드리마 제목, 각종 공연, 영화 또는 드라마 등의 제작자, 감독, 작가, 등장 인물, 출연 배우, 전시회 제목, 전시회 작가, 공연, 새롭게 출시된 게임 등의 컨텐츠 등과 관련된 단어이거나 기 설정된 기간 내에 검색 엔진의 검색 순위에 랭킹된 단어일 수 있다.
그리고 로그 분석 모듈은 분석된 발화 패턴에 키워드를 대입하여 쿼리 데이터를 생성할 수 있다. 쿼리 데이터를 생성하는 구체적인 방법에 대해서는 후술한다.
한편, 저장부(120)는 자연언어 처리 결과를 저장할 수 있다. 구체적으로 수신된 사용자 음성을 제어부(130)의 제어에 의해 자연언어 처리하는 경우, 저장부(120)는 자연 언어 처리 결과를 저장할 수 있다. 예를 들어, 'K가 나오는 예능 프로그램 보여줘'라는 사용자 음성이 수신되어 자연언어 처리한 경우, 저장부(120)는 자연 언어 처리 결과를 저장할 수 있다. 따라서, 사용자로부터 동일한 사용자 음성이 재수신되는 경우, 저장부(120)에 저장된 자연 언어 처리 결과를 사용하여 빠르게 사용자 음성에 따른 검색을 수행할 수 있다.
그리고 저장부(120)는 캐시 메모리를 포함할 수 있다. 즉, 캐시 메모리에 기 설정된 기간 이내 사용된 자연언어 처리 결과 또는 사용자로부터 수신 빈도가 높은 사용자 음성에 대한 처리 결과 등을 저장하여 신속하게 사용자 음성에 따른 검색을 수행할 수 있다.
한편, 제어부(130)는 대화형 서버(100)의 전반적인 동작을 제어하기 위한 구성 요소이다. 특히, 제어부(130)는 디스플레이 장치(200)와 같은 외부 장치로부터 사용자 음성이 수신된 경우 ASR 모듈 또는 대화형 서버(100)에 ASR 서버가 내장된 경우 ASR 서버를 통해 사용자 음성을 텍스트 데이터로 변환하도록 제어할 수 있다.
그리고 제어부(130)는 변환된 데이터에 대해 분석한 결과가 기 존재하는지 저장부(120)에 저장된 데이터를 기초로 판단할 수 있다. 판단 결과 저장부(120)에 분석 결과가 기 저장된 경우, 제어부(130)는 저장된 데이터로 검색을 수행할 수 있다.
한편, 변환된 데이터에 대해 분석한 결과가 저장부(120)에 존재하지 않는 것으로 판단되면 제어부(130)는 변환된 데이터를 자연언어 처리하고, 자연언어 처리 결과에 따라 검색을 수행할 수 있다.
제어부(130)는 사용자 음성의 발화 패턴을 분석하여 쿼리 데이터를 생성하여 저장하도록 제어할 수 있다. 즉, 제어부(130)는 사용자 음성을 수집하고 파싱하여 사용자 음성의 발화 패턴을 분석할 수 있다. 예를 들면, 복수의 사용자로부터 "즐거운 주말 찾아줘", "음악세상 찾아줘", "다이하드 찾아줘" 등과 같은 음성을 수집한 경우, 제어부(130)는 수집한 음성을 파싱하여 수집한 음성이 '컨텐츠 제목(title)' + '찾아줘(search)'의 패턴을 가지는 것을 판단할 수 있다.
한편, 제어부(130)는 키워드를 수집할 수 있다. 키워드는 기 설정된 기간 내 발생한 컨텐츠 또는 기 설정된 횟수 이상 검색된 컨텐츠와 관련된 단어일 수 있다. 구체적으로 키워드는 기 설정된 기간 내에 새롭게 출시된 영화 제목, 드리마 제목, 각종 공연, 영화 또는 드라마 등의 제작자, 감독, 작가, 등장 인물, 출연 배우, 전시회 제목, 전시회 작가, 공연, 새롭게 출시된 게임 등의 컨텐츠 등과 관련된 단어이거나 기 설정된 기간 내에 검색 엔진의 검색 순위에 랭킹된 단어일 수 있다.
그리고 제어부(130)는 수집된 키워드를 발화 패턴의 분석 결과에 대입하여 쿼리 데이터를 생성할 수 있다. 즉, 상술한 예시와 같이 사용자 음성을 수집하여 '컨텐츠 제목(title)' + '찾아줘(search)'의 패턴을 가지는 것으로 판단한 경우, 제어부(130)는 수집한 키워드 중 영화, 드라마, 공연 등 각종 컨텐츠의 제목을 '컨텐츠 제목(title)'에 대입하여 쿼리 데이터를 생성하여 생성된 쿼리 데이터를 저장할 수 있다. 예를 들어, 기 설정된 기간은 일주일이고, 키워드 수집일로부터 일주일 이내에 영화 'A', 'B', 'C' 및 'D'가 개봉하여 키워드 'A', 'B', 'C' 및 'D'를 수집한 경우, 제어부(130)는 수집한 키워드를 발화 패턴에 대입하여 'A 찾아줘', 'B 찾아줘', 'C 찾아줘' 및 'D 찾아줘'라는 쿼리 데이터를 생성하여 저장부(120)에 저장할 수 있다.
그리고 통신부(110)를 통해 'A 찾아줘'라는 음성이 수신되면, 제어부(130)는 저장부(120)에 저장된 'A 찾아줘'와 동일한 음성이라는 것을 판단하여 검색을 수행할 수 있다.
한편, 상술한 바와 같은 발화 패턴 분석 및 키워드 수집은 저장부(120)에 저장된 각 모듈에서 실행될 수 있으나, 대화형 서버(100) 내에 존재하는 내부 서버에서 수행될 수 있고, 대화형 서버(100) 외에 존재하는 외부 서버에서 수행될 수 있다.
외부 서버에서 사용자 음성을 수집하고 파싱하여 발화 패턴을 분석하고, 수집한 키워드를 대입하여 쿼리 데이터를 생성하는 경우, 대화형 서버(100)는 통신부(110)를 통해 외부 서버가 생성한 쿼리 데이터를 수신하고, 메모리 캐시에 저장할 수 있다.
그리고 외부 서버 또는 대화형 서버(100)에서 쿼리 데이터를 생성하는 경우, 사용자 음성의 수신이 기 설정된 횟수 이하인 시간에 발화 패턴의 분석 및 쿼리 데이터의 생성을 수행할 수 있다. 즉, 사용자 음성의 수신이 많은 시간에는 자연언어 처리 및 검색 등을 수행하고, 사용자 음성 수신이 적은 시간에 쿼리 데이터를 생성할 수 있다. 예를 들면, 외부 서버 또는 대화형 서버(100)는 새벽 시간대에 기 수집한 사용자 음성을 바탕으로 쿼리 데이터를 미리 생성하여 저장할 수 있다.
한편, 대화형 서버(100)는 저장부(120)에 저장된 쿼리 데이터 중 기 설정된 기간 이내에 검색을 위해 사용되지 않은 쿼리 데이터를 삭제할 수 있다.
상술한 바와 같은 대화형 시스템에 의해, 사용자는 발화된 사용자 음성에 대해 디스플레이 장치로부터 신속하게 피드백을 제공받을 수 있다.
도 3은 본 발명의 일 실시예에 따른, 디스플레이 장치(200)의 구성을 도시한 블럭도이다. 디스플레이 장치(200)는 마이크부(210), 음성 처리부(220), 디스플레이부(230), 통신부(240), 저장부(250) 및 제어부(260)를 포함할 수 있다. 한편, 도 3은 디스플레이 장치(200)가 음성 수신 기능, 음성 인식 기능, 음성 인식 결과 출력 기능, 통신 기능, 동영상 재생 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 3에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
마이크부(210)는 사용자 음성을 수신하기 위한 구성요소이다. 즉, 디스플레이 장치(200)는 마이크부(210)를 통해 원거리에서 사용자 음성을 수신할 수 있다.
음성 처리부(220)는 수신한 사용자 음성을 텍스트 형태의 데이터로 처리하기 위한 구성요소이다. 즉, 음성 처리부(220)는 음성을 인식하여 데이터 베이스에 매칭되는 텍스트로 변환할 수 있다.
디스플레이부(230)는 컨텐츠를 디스플레이하기 위한 구성요소이다. 디스플레이부(230)는 방송 채널을 통해 수신되는 방송 컨텐츠를 디스플레이할 수 있다. 즉, 디스플레이 장치(200)는 방송국에서 송신하는 각종 방송 신호를 RF 통신망을 통해 수신할 수도 있고, 각종 서버로부터 IP 망을 통해서 컨텐츠를 수신할 수도 있으며, 디스플레이부(110)는 수신한 컨텐츠를 디스플레이할 수 있다.
또한, 디스플레이부(230)는 음성 인식 기능과 관련된 UI를 디스플레이할 수 있다. 예를 들어, "프랑스 영화 찾아줘"라는 사용자 음성이 마이크부(210)를 통해 수신되고, 대화형 서버(100)에서 수신된 사용자 음성을 분석하여 프랑스 영화를 검색하여 대화형 서버(100)로부터 검색한 결과를 수신한 경우, 디스플레이부(230)는 검색된 프랑스 영화에 대한 정보를 디스플레이할 수 있다. 즉, 디스플레이부(230)는 검색된 프랑스 영화의 제목, 개봉연도, 감독, 작가, 주연배우 등을 디스플레이하고, 결과를 확인하거나 디스플레이된 복수의 영화 중 어느 하나를 재생하기 위한 사용자 명령을 입력받을 수 있다.
한편, 통신부(240)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 특히, 통신부(240)는 대화형 서버(100)와 통신을 수행할 수 있다. 예를 들면, 통신부(240)는 디스플레이 장치(200)에서 수신한 사용자 음성 또는 변환한 음성 데이터를 대화형 서버(100)로 전송하고, 대화형 서버(100)로부터 분석한 음성 데이터에 대한 검색 결과를 수신할 수 있다.
저장부(250)는 디스플레이 장치(200)를 구동하기 위한 다양한 소프트웨어 모듈 및 데이터 등을 저장하기 위한 구성요소이다. 예를 들어, 저장부(250)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다.
한편, 저장부(250)는 디스플레이 장치(100) 내에서 사용자 음성을 텍스트 변환한 결과를 저장할 수 있다. 그리고 저장부(250)는 대화형 서버(100)로부터 수신한 자연언어 처리 결과 또는 자연언어 처리 결과에 따른 검색 결과를 저장할 수 있다. 예를 들어, 저장부(250)는 사용자로부터 기 설정된 횟수 이상 수신한 것으로 판단되는 사용자 음성을 변환한 데이터 또는 사용자 음성에 대한 검색 결과를 저장할 수 있다.
그리고 저장부(250)는 캐시 메모리로 포함할 수 있다. 즉, 캐시 메모리에 기 설정된 기간 이내 사용된 자연언어 처리 결과 또는 사용자로부터 수신 빈도가 높은 사용자 음성에 대한 처리 결과 등을 저장하여 빠르게 사용자 음성에 따른 검색을 수행할 수 있다.
한편, 제어부(260)는 디스플레이 장치(200)의 전반적인 동작을 제어하기 위한 구성요소이다. 즉, 제어부(260)는 수신한 사용자 음성을 텍스트 데이터로 변환하여, 변환된 텍스트 데이터의 검색 결과가 저장부(250)에 저장되었는지 여부를 판단할 수 있다. 또한, 저장부(250)에 텍스트 데이터의 검색 결과가 저장되지 않은 것으로 판단되면, 제어부(260)는 통신부(240)를 통해 사용자 음성 또는 사용자 음성을 변환한 텍스트 데이터를 대화형 서버(100)에 전송하도록 제어할 수 있다. 그리고 대화형 서버(100)로부터 사용자 음성에 대한 검색 결과가 수신되는 경우, 제어부(260)는 검색 결과를 디스플레이부(230)를 통해 디스플레이하도록 제어할 수 있다.
한편, 도 4는 본 발명의 일 실시예에 따른, 대화형 시스템의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 대화형 서버(100)는 기 분석된 발화 패턴에 키워드를 대입하여 생성된 쿼리 데이터를 저장할 수 있다(S410). 즉, 대화형 서버(100)는 사용자 음성을 수집하고, 사용자 음성을 파싱하여 발화 패턴을 분석할 수 있다. 그리고 대화형 서버(100)는 키워드를 수집하고 발화 패턴에 대입하여 쿼리 데이터를 생성할 수 있다.
키워드는 기 설정된 기간 내 발생한 컨텐츠 또는 기 설정된 횟수 이상 검색된 컨텐츠와 관련된 단어일 수 있다. 구체적으로 키워드는 기 설정된 기간 내에 새롭게 출시된 영화 제목, 드리마 제목, 각종 공연, 영화 또는 드라마 등의 제작자, 감독, 작가, 등장 인물, 출연 배우, 전시회 제목, 전시회 작가, 공연, 새롭게 출시된 게임 등의 컨텐츠 등과 관련된 단어이거나 기 설정된 기간 내에 검색 엔진의 검색 순위에 랭킹된 단어일 수 있다.　
구체적인 예를 들면, 복수의 사용자로부터 "즐거운 주말 찾아줘", "음악세상 찾아줘", "다이하드 찾아줘" 등과 같은 음성을 수집한 경우, 대화형 서버(100)는 수집한 음성을 파싱하여 수집한 음성이 '컨텐츠 제목(title)' + '찾아줘(search)'의 패턴을 가지는 것을 판단할 수 있다.
그리고 대화형 서버(100)는 수집한 키워드 중 영화, 드라마, 공연 등 각종 컨텐츠의 제목을 '컨텐츠 제목(title)'에 대입하여 쿼리 데이터를 생성하여 저장할 수 있다. 예를 들어, 기 설정된 기간은 일주일이고, 키워드 수집일로부터 일주일 이내에 영화 'A', 'B', 'C' 및 'D'가 개봉하여 키워드 'A', 'B', 'C' 및 'D'를 수집한 경우, 대화형 서버(100)는 수집한 키워드를 발화 패턴에 대입하여 'A 찾아줘', 'B 찾아줘', 'C 찾아줘' 및 'D 찾아줘'라는 쿼리 데이터를 생성하여 저장할 수 있다. 또한, 대화형 서버(100)는 쿼리 데이터를 캐시 메모리에 저장할 수 있다.
그리고 디스플레이 장치(200)가 사용자 음성을 수신하여 음성 데이터로 변환하고 대화형 서버(100)로 전송한다(S420). 즉, 디스플레이 장치(200)는 마이크부를 통해 사용자 음성을 수신하고 텍스트 데이터로 변환하여 대화형 서버(100)로 전송할 수 있다. 한편, 디스플레이 장치(200)가 사용자 음성을 텍스트 데이터로 변환하기 위한 모듈을 포함하지 않는 경우, 사용자 음성을 대화형 서버(100)로 전송할 수 있다. 또는, 디스플레이 장치(200)는 외부의 ASR 엔진으로 사용자 음성을 전송할 수도 있다.
음성 데이터가 수신된 경우, 대화형 서버(100)는 저장된 쿼리 데이터를 이용하여 사용자 음성에 대한 검색을 수행할 수 있다(S430). 구체적으로 음성 데이터가 대화형 서버(100)의 캐시 메모리에 저장된 쿼리 데이터와 일치하는 경우, 대화형 서버(100)는 일치하는 쿼리 데이터로 검색을 수행할 수 있다. 일치하지 않는 경우, 대화형 서버(100)는 수신된 사용자 음성에 대응되는 데이터에 대해 자연어 처리를 수행하고 자연어 처리 결과에 따라 검색을 수행할 수 있다.
즉, 사용자로부터 "A 찾아줘"라는 음성이 수신된 적이 없어도, "A 찾아줘"라는 쿼리 데이터를 기 생성하여 저장하였으므로, 대화형 서버(100)는 "A 찾아줘"가 최초로 사용자로부터 수신되는 경우에도 자연언어 처리 등의 별도의 처리 없이 'A'에 대한 검색을 수행할 수 있다.
또한, 대화형 서버(100)는 기 설정된 기간 이내에 검색을 위해 사용되지 않은 쿼리 데이터를 삭제할 수 있다.
한편, 도 5는 본 발명의 일 실시예에 따른 대화형 시스템의 제어 방법을 설명하기 위한 구체적인 흐름도이다.
먼저, 디스플레이 장치(200)를 통해 사용자 발화가 입력되면(S500), 디스플레이 장치(200)가 임베디드 ASR 엔진을 포함하는 경우, 디스플레이 장치(200)는 입력된 사용자 발화에 대해 임베디드 음성 인식을 수행한다(S510). 임베디드 음성 인식에 의해 사용자 발화 음성이 텍스트 데이터로 변환되면, 디스플레이 장치(200) 내 캐시 메모리에 대한 검색을 수행한다(S520). 검색 결과 디스플레이 장치(200)의 캐시 메모리에 사용자 발화 음성에 대한 분석 결과가 존재하는 경우(S520-Y), 디스플레이 장치(200)는 분석 결과를 바탕으로 검색을 수행하여, 검색 결과를 출력할 수 있다(S570).
예를 들어, "프랑스 영화 찾아줘"라는 사용자 음성이 수신되고, 디스플레이 장치(200)의 캐시 메모리에 프랑스 영화에 대한 검색 결과가 저장된 경우, 디스플레이 장치(200)는 검색된 프랑스 영화에 대한 정보를 디스플레이할 수 있다. 즉, 디스플레이 장치(200)는 검색된 프랑스 영화의 제목, 개봉연도, 감독, 작가, 주연배우 등을 디스플레이하고, 결과를 확인하거나 디스플레이된 복수의 영화 중 어느 하나를 재생하기 위한 사용자 명령을 입력받을 수 있다.
그러나 디스플레이 장치(200)의 캐시 메모리에 음성 인식 결과가 기 저장되지 않은 경우(S520-N), 디스플레이 장치(200)는 사용자 음성 또는 변환된 사용자 음성 데이터를 대화형 서버(100)에 전송한다.
따라서, 대화형 서버(100)에서 음성을 인식하면(S530), 대화형 서버(100)는 서버의 캐시 메모리에서 인식된 음성에 대한 분석 결과가 존재하는지 검색한다(S540).
캐시 메모리 내에 사용자 음성에 대한 분석 결과가 존재하는 것으로 판단되면(S540-Y), 대화형 서버(100)는 대화 엔진 분석을 수행한다(S550). 즉, 대화형 서버(100)는 자연언어 처리 등을 수행하여 사용자 음성을 분석한다.
그리고 대화형 서버(100)는 분석된 결과를 대화형 서버(100) 및 디스플레이 장치(200)의 캐시 메모리에 저장한다(S560). 즉, 사용자로부터 동일한 음성이 수신되는 경우, 신속하게 사용자 음성에 대응되는 검색을 수행하기 위해 대화형 서버(100)는 사용자 음성에 대한 분석 결과를 캐시 메모리에 저장할 수 있다. 그리고 대화형 서버(100)는 사용자 음성에 대한 분석 결과를 디스플레이 장치(200)에 전송하고, 디스플레이 장치(200)가 수신한 분석 결과를 캐시 메모리에 저장할 수 있다.
대화형 서버(100)는 사용자 음성에 대해 대화 엔진 분석을 마치면, 검색을 실행한다(S570). 예를 들어, "프랑스 영화 찾아줘"라는 사용자 음성이 수신되고, 음성 인식하여 대화 엔진 분석을 통해 사용자 음성이 프랑스 영화를 검색하기 위한 입력이라고 판단되면, 대화형 서버(100)는 프랑스 영화를 검색할 수 있다.
그리고 대화형 서버(100)는 사용자 음성의 수신이 반복되어 복수의 사용자 음성이 수집되면, 로그 분석을 수행한다(S580). 즉, 대화형 서버(100)는 사용자 음성을 수집하고 파싱하여 발화 패턴을 분석하여 로그 분석을 수행할 수 있다.
한편, 대화형 서버(100)는 각종 데이터를 수집한다(S600). 즉, 대화형 서버(100)는 웹 크롤링(web crawling) 또는 메타 데이터 피딩(meta-data feeding) 등을 수행하여 각종 데이터를 수집할 수 있다.
그리고 대화형 서버(100)는 수집한 데이터로부터 신규 키워드가 존재하는지 여부를 판단한다(S610). 신규 키워드는 기 설정된 기간 내에 새롭게 출시된 영화 제목, 드리마 제목, 각종 공연, 영화 또는 드라마 등의 제작자, 감독, 작가, 등장 인물, 출연 배우, 전시회 제목, 전시회 작가, 공연, 새롭게 출시된 게임 등의 컨텐츠 등과 관련된 단어를 포함할 수 있다.
신규 키워드가 존재하는 것으로 판단되는 경우(S610-Y), 대화형 서버(100)는 상위 발화 패턴을 생성한다(S630). 즉, 상위 발화 패턴은 분석된 발화 패턴에 신규 키워드를 대입하여 생성한 쿼리 데이터일 수 있다.
한편, 신규 키워드가 존재하지 않는 것으로 판단되는 경우(S610-N), 대화형 서버(100)는 이벤트성 키워드가 존재하는지 여부를 판단한다(S620). 이벤트성 키워드는 기 설정된 기간 내에 검색 엔진의 검색 순위에 랭킹된 단어와 같이 단기 간 복수의 사용자가 인터넷 등에서 사용한 단어일 수 있다.
이벤트성 키워드가 존재하는 것으로 판단되는 경우(S620-Y), 대화형 서버(100)는 상위 발화 패턴을 생성한다(S630). 즉, 상위 발화 패턴은 분석된 발화 패턴에 이벤트성 키워드를 대입하여 생성한 쿼리 데이터일 수 있다.
한편, 로그 분석, 데이터 수집을 통한 키워드 추출 및 쿼리 데이터 생성은 대화형 서버(100)의 외부 서버에서 수행할 수 있다. 외부 서버에서 쿼리 데이터를 생성한 경우, 대화형 서버(100)는 외부 서버로부터 쿼리 데이터를 수신하여 캐시 메모리에 저장할 수 있다.
신규 키워드 또는 이벤트성 키워드를 대입하여 쿼리 데이터와 같은 상위 발화 패턴을 생성한 경우, 대화형 서버(100)는 대화 엔진 분석을 수행한다(S640). 그리고 대화 엔진 분석에 따른 분석 결과를 서버의 캐시 메모리에 저장한다(S650).
또한, 대화형 서버(100)는 서버의 캐시에서 랭킹을 계산하여 하위 랭킹 캐시를 삭제한다(S660). 즉, 대화형 서버(100)는 주기적으로 캐시 메모리에 저장된 쿼리 데이터가 수신된 사용자 음성과 일치하여 검색에 사용되는 빈도를 계산할 수 있다. 그리고 대화형 서버(100)는 사용되는 빈도가 낮은 것으로 판단되면, 랭킹을 낮게 계산할 수 있다. 랭킹이 낮은 쿼리 데이터는 검색 실행에 사용되는 횟수가 적은 것으로 볼 수 있으므로, 대화형 서버(100)는 하위 랭킹된 쿼리 데이터를 삭제할 수 있다.
한편, 도 6은 본 발명의 일 실시예에 따른, 대화형 시스템의 제어 방법을 설명하기 위한 시퀀스도이다. 도 6은 쿼리 데이터의 생성을 대화형 서버(100)의 외부 서버(300)에서 수행하는 경우의 대화형 시스템의 제어 방법을 설명한다.
먼저, 디스플레이 장치(200)는 사용자 음성을 입력받고(S700), 음성을 음성 데이터로 변환한다(S710).
한편, 외부 서버(300)는 사용자 음성을 수집하고(S730), 사용자 음성을 파싱하여(740), 사용자 음성을 분석한다(S750). 즉, 외부 서버(300)는 사용자 음성을 분석하여 발화 패턴을 검출할 수 있다. 예를 들면, 복수의 사용자로부터 "즐거운 주말 찾아줘", "음악세상 찾아줘", "다이하드 찾아줘" 등과 같은 음성을 수집한 경우, 외부 서버(300)는 수집한 음성을 파싱하여 수집한 음성이 '컨텐츠 제목(title)' + '찾아줘(search)'의 패턴을 가지는 것을 판단할 수 있다.
그리고 외부 서버(300)는 웹 크롤링(web crawling) 또는 메타 데이터 피딩(meta-data feeding) 등을 수행하여 각종 데이터를 수집하고, 수집한 데이터에서 키워드를 추출한다.
키워드는 기 설정된 기간 내 발생한 컨텐츠 또는 기 설정된 횟수 이상 검색된 컨텐츠와 관련된 단어일 수 있다. 구체적으로 키워드는 기 설정된 기간 내에 새롭게 출시된 영화 제목, 드리마 제목, 각종 공연, 영화 또는 드라마 등의 제작자, 감독, 작가, 등장 인물, 출연 배우, 전시회 제목, 전시회 작가, 공연, 새롭게 출시된 게임 등의 컨텐츠 등과 관련된 단어이거나 기 설정된 기간 내에 검색 엔진의 검색 순위에 랭킹된 단어일 수 있다.　
외부 서버(300)는 분석한 발화 패턴에 추출한 키워드를 대입하여 쿼리 데이터를 생성한다(S760). 그리고 외부 서버(300)는 생성한 쿼리 데이터를 대화형 서버(100)에 전송한다(S770).
즉, 상술한 예시와 같이 사용자 음성을 수집하여 '컨텐츠 제목(title)' + '찾아줘(search)'의 패턴을 가지는 것으로 판단한 경우, 외부 서버(300)는 수집한 키워드 중 영화, 드라마, 공연 등 각종 컨텐츠의 제목을 '컨텐츠 제목(title)'에 대입하여 쿼리 데이터를 생성할 수 있다. 예를 들어, 기 설정된 기간은 일주일이고, 키워드 수집일로부터 일주일 이내에 영화 'A', 'B', 'C' 및 'D'가 개봉하여 키워드 'A', 'B', 'C' 및 'D'를 수집한 경우, 외부 서버(300)는 수집한 키워드를 발화 패턴에 대입하여 'A 찾아줘', 'B 찾아줘', 'C 찾아줘' 및 'D 찾아줘'라는 쿼리 데이터를 생성하여 대화형 서버(100)로 전송할 수 있다.
대화형 서버(100)는 외부 서버(300)로부터 수신한 쿼리 데이터를 캐시 메모리에 저장한다(S780). 그리고, 디스플레이 장치(200)로부터 음성 데이터가 전송되면(S720), 캐시 메모리 내 쿼리 데이터 및 수신한 음성 데이터를 비교하고(S790), 비교 결과에 따라 검색을 실행한다(S800).
즉, 비교한 결과 수신한 음성 데이터에 대한 분석 결과가 메모리 캐시에 기 저장된 경우, 대화형 서버(100)는 저장된 쿼리 데이터로 검색을 실행할 수 있다. 한편, 분석 결과가 메모리 캐시에 기 저장되지 않은 경우, 대화형 서버(100)는 수신한 음성 데이터에 대해 자연언어 처리 등을 수행하여 처리 결과에 따라 검색을 수행할 수 있다.
예를 들면, 사용자로부터 'A 찾아줘'라는 사용자 음성이 수신된 경우, 상술한 바와 같이 대화형 서버(100)는 'A 찾아줘'를 쿼리 데이터로 생성하여 캐시 메모리에 저장하고 있으므로, 대화형 서버(100)는 저장된 'A 찾아줘'를 이용하여 'A'에 대한 검색을 수행할 수 있다.
대화형 서버(100)는 검색 결과를 디스플레이 장치(200)로 전송한다(S810). 그리고 디스플레이 장치(200)는 사용자 음성에 대응되는 기능을 실행한다(S820).
예를 들어, 대화형 서버(100)가 'A'에 대한 검색을 수행하여, 'A'라는 영화의 감독, 러닝타임, 주연 배우 등의 정보와 'A'가 디스플레이 장치를 통해 재생 가능한 경우, 재생 채널에 대한 정보를 획득하고, 획득한 검색 결과를 디스플레이 장치(200)로 전송한 경우, 디스플레이 장치(200)는 수신한 검색 결과를 디스플레이할 수 있다. 그리고 디스플레이 장치(200)는 사용자로부터 'A'에 대한 정보 확인 또는 'A'의 재생 등을 시작하기 위한 사용자 명령을 수신할 수 있다.
상술한 다양한 실시 예들에 따른 대화형 서버의 제어 방법은 소프트웨어로 코딩되어 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
100 : 대화형 서버 200 : 디스플레이 장치
110 : 통신부 120 : 저장부
130 : 제어부 210 : 마이크부
220 : 음성 처리부 230 : 디스플레이부
240 : 통신부 250 : 저장부
260 : 제어부 1000 : 대화형 시스템

Claims (16)

  1. 대화형 시스템의 제어 방법에 있어서,
    복수의 사용자로부터 획득된 복수의 음성 데이터를 파싱하는 단계;
    상기 파싱된 복수의 음성 데이터에 기초하여 발화 패턴을 획득하는 단계;
    메타 데이터 피딩(meta-data feeding)을 통해 획득된 기 결정된 컨텐츠 또는 검색 엔진에서 검색된 컨텐츠 중 적어도 하나의 컨텐츠에 대응되는 복수의 키워드를 획득하는 단계;
    상기 획득된 발화 패턴에 상기 획득된 복수의 키워드를 결합하여 복수의 쿼리를 획득하는 단계;
    상기 획득된 복수의 쿼리를 포함하는 쿼리 데이터를 저장하는 단계;
    사용자 음성 입력이 수신되면, 상기 저장된 쿼리 데이터 및 상기 수신된 사용자 음성 입력에 기초하여 상기 사용자 음성 입력에 대한 검색을 수행하는 단계; 를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 검색을 수행하는 단계는,
    디스플레이 장치를 통해 수신된 사용자 음성 입력에 대응되는 데이터가 대화형 서버의 캐시 메모리에 저장된 상기 쿼리 데이터와 일치하는 경우, 상기 일치하는 쿼리 데이터로 검색을 수행하고,
    상기 디스플레이 장치를 통해 수신된 사용자 음성 입력에 대응되는 데이터가 상기 대화형 서버의 캐시 메모리에 저장된 상기 쿼리 데이터와 일치하지 않는 경우, 상기 수신된 사용자 음성 입력에 대응되는 데이터에 대해 자연어 처리를 수행하고 상기 자연어 처리 결과에 따라 검색을 수행하는 것을 특징으로 하는 제어 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 대화형 시스템에 포함된 외부 서버는, 복수의 사용자로부터 복수의 음성 데이터를 획득하고, 상기 복수의 음성 데이터를 파싱하여 상기 발화 패턴을 분석하고, 상기 분석된 발화 패턴에 상기 복수의 키워드를 결합한 복수의 쿼리를 포함하는 상기 쿼리 데이터를 저장하고, 상기 저장된 쿼리 데이터를 상기 대화형 시스템에 포함된 대화형 서버에 전송하고,
    상기 대화형 서버는, 상기 외부 서버로부터 상기 쿼리 데이터를 수신하여 캐시 메모리에 저장하는 것을 특징으로 하는 제어 방법.
  5. 제4항에 있어서,
    상기 외부 서버는,
    상기 복수의 음성 데이터의 수신이 기 설정된 횟수 이하인 시간에 상기 발화 패턴의 분석 및 상기 쿼리 데이터의 저장을 수행하는 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 기 결정된 컨텐츠는 기 설정된 기간 내 획득된 컨텐츠이고,
    상기 검색된 컨텐츠는 상기 검색 엔진에서 기 설정된 횟수 이상 검색된 컨텐츠인, 제어 방법.
  7. 제1항에 있어서,
    대화형 서버는 기 설정된 기간 이내에 상기 검색을 위해 사용되지 않은 상기 쿼리 데이터를 삭제하는 단계; 를 더 포함하는 제어 방법.
  8. 대화형 시스템에 있어서,
    사용자 음성 입력을 수신하고, 상기 사용자 음성 입력을 음성 데이터로 변환하여 대화형 서버로 전송하는 디스플레이 장치; 및
    복수의 사용자로부터 획득된 복수의 음성 데이터를 파싱하고, 상기 파싱된 복수의 음성 데이터에 기초하여 발화 패턴을 획득하고, 메타 데이터 피딩(meta-data feeding)을 통해 획득된 기 결정된 컨텐츠 또는 검색 엔진에서 검색된 컨텐츠 중 적어도 하나의 컨텐츠에 대응되는 복수의 키워드를 획득하고, 상기 획득된 발화 패턴에 상기 획득된 복수의 키워드를 결합하여 복수의 쿼리를 획득하고, 상기 획득된 복수의 쿼리를 포함하는 쿼리 데이터를 저장하고, 상기 저장된 쿼리 데이터를 상기 대화형 서버로 전송하는 외부 서버;
    상기 외부 서버로부터 전송된 쿼리 데이터를 저장하며, 상기 변환된 음성 데이터가 상기 디스플레이 장치로부터 수신되면, 상기 저장된 쿼리 데이터 및 상기 수신된 음성 데이터를 비교하여 상기 사용자 음성 입력에 대한 검색을 수행하는 상기 대화형 서버; 를 포함하는, 대화형 시스템.
  9. 제8항에 있어서,
    상기 대화형 서버는,
    상기 음성 데이터가 캐시 메모리에 저장된 상기 쿼리 데이터와 일치하는 경우, 상기 일치하는 쿼리 데이터로 검색을 수행하고,
    상기 음성 데이터가 상기 캐시 메모리에 저장된 상기 쿼리 데이터와 일치하지 않는 경우, 상기 음성 데이터에 대해 자연어 처리를 수행하고 상기 자연어 처리 결과에 따라 검색을 수행하는 것을 특징으로 하는 대화형 시스템.
  10. 삭제
  11. 제8항에 있어서,
    상기 외부 서버는 복수의 사용자로부터 복수의 음성 데이터를 획득하고, 상기 복수의 음성 데이터를 파싱하여 상기 발화 패턴을 분석하고 상기 분석된 발화 패턴에 상기 복수의 키워드를 결합한 복수의 쿼리를 포함하는 상기 쿼리 데이터를 저장하고, 상기 저장된 쿼리 데이터를 상기 대화형 시스템에 포함된 상기 대화형 서버에 전송하고,
    상기 대화형 서버는, 상기 외부 서버로부터 상기 쿼리 데이터를 수신하여 캐시 메모리에 저장하는 것을 특징으로 하는 대화형 시스템.
  12. 제11항에 있어서,
    상기 외부 서버는,
    상기 복수의 음성 데이터의 수신이 기 설정된 횟수 이하인 시간에 상기 발화 패턴의 분석 및 상기 쿼리 데이터의 저장을 수행하는 것을 특징으로 하는 대화형 시스템.
  13. 제8항에 있어서,
    상기 기 결정된 컨텐츠는 기 설정된 기간 내 획득된 컨텐츠이고,
    상기 검색된 컨텐츠는 상기 검색 엔진에서 기 설정된 횟수 이상 검색된 컨텐츠인, 대화형 시스템.
  14. 제8항에 있어서,
    상기 대화형 서버는,
    기 설정된 기간 이내에 상기 검색을 위해 사용되지 않은 상기 쿼리 데이터를 삭제하는 것을 특징으로 하는 대화형 시스템.
  15. 서버의 제어 방법에 있어서,
    복수의 사용자로부터 획득된 복수의 음성 데이터를 파싱하는 단계;
    상기 파싱된 복수의 음성 데이터에 기초하여 발화 패턴을 획득하는 단계;
    메타 데이터 피딩(meta-data feeding)을 통해 획득된 기 결정된 컨텐츠 또는 검색 엔진에서 검색된 컨텐츠 중 적어도 하나의 컨텐츠에 대응되는 복수의 키워드를 획득하는 단계;
    상기 획득된 발화 패턴에 상기 획득된 복수의 키워드를 결합하여 복수의 쿼리를 획득하는 단계;
    상기 획득된 복수의 쿼리를 포함하는 쿼리 데이터를 저장하는 단계;
    사용자 음성 입력에 대응되는 데이터가 수신된 경우, 상기 수신된 사용자 음성 입력에 대응되는 데이터가 상기 저장된 쿼리 데이터와 일치하는지 판단하는 단계; 및
    상기 수신된 사용자 음성 입력에 대응되는 데이터가 상기 저장된 쿼리 데이터와 일치하는 경우 상기 저장된 쿼리 데이터로 상기 사용자 음성 입력에 대한 검색을 수행하고, 일치하지 않는 경우 상기 수신된 사용자 음성 입력에 대응되는 데이터에 대해 자연어 처리를 수행하고 상기 자연어 처리 결과에 따라 상기 사용자 음성 입력에 대한 검색을 수행하는 단계;를 포함하는 제어 방법.
  16. 서버에 있어서,
    저장부;
    통신부; 및
    복수의 사용자로부터 획득된 복수의 음성 데이터를 파싱하고,
    상기 파싱된 복수의 음성 데이터에 기초하여 발화 패턴을 획득하고,
    메타 데이터 피딩(meta-data feeding)을 통해 획득된 기 결정된 컨텐츠 또는 검색 엔진에서 검색된 컨텐츠 중 적어도 하나의 컨텐츠에 대응되는 복수의 키워드를 획득하고,
    상기 획득된 발화 패턴에 상기 획득된 복수의 키워드를 결합하여 복수의 쿼리를 획득하고,
    상기 획득된 복수의 쿼리를 포함하는 쿼리 데이터를 저장하고,
    상기 통신부를 통해 사용자 음성 입력에 대응되는 데이터가 수신되면, 상기 수신된 사용자 음성 입력에 대응되는 데이터가 상기 저장된 쿼리 데이터와 일치하는지 여부를 판단하고,
    상기 수신된 사용자 음성 입력에 대응되는 데이터가 상기 저장된 쿼리 데이터와 일치하는 경우 상기 저장된 쿼리 데이터로 상기 사용자 음성 입력에 대한 검색을 수행하고, 일치하지 않는 경우 상기 수신된 사용자 음성 입력에 대응되는 데이터에 대해 자연어 처리를 수행하고 상기 자연어 처리 결과에 따라 상기 사용자 음성 입력에 대한 검색을 수행하는 제어부;를 포함하는 서버.



KR1020130153696A 2013-12-11 2013-12-11 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법 KR102246893B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130153696A KR102246893B1 (ko) 2013-12-11 2013-12-11 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법
US14/528,009 US10255321B2 (en) 2013-12-11 2014-10-30 Interactive system, server and control method thereof
PCT/KR2014/011167 WO2015088155A1 (en) 2013-12-11 2014-11-20 Interactive system, server and control method thereof
EP14869298.1A EP3025258A4 (en) 2013-12-11 2014-11-20 Interactive system, server and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130153696A KR102246893B1 (ko) 2013-12-11 2013-12-11 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20150068003A KR20150068003A (ko) 2015-06-19
KR102246893B1 true KR102246893B1 (ko) 2021-04-30

Family

ID=53271388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130153696A KR102246893B1 (ko) 2013-12-11 2013-12-11 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법

Country Status (4)

Country Link
US (1) US10255321B2 (ko)
EP (1) EP3025258A4 (ko)
KR (1) KR102246893B1 (ko)
WO (1) WO2015088155A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160056548A (ko) 2014-11-12 2016-05-20 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
KR20160060243A (ko) * 2014-11-19 2016-05-30 한국전자통신연구원 고객 응대 서비스 장치 및 방법
US9685926B2 (en) * 2014-12-10 2017-06-20 Ebay Inc. Intelligent audio output devices
CN105302852A (zh) * 2015-09-17 2016-02-03 成都雅致奢品网络科技有限公司 一种语音与图案个性化关联的方法
US9886954B1 (en) 2016-09-30 2018-02-06 Doppler Labs, Inc. Context aware hearing optimization engine
JP2019197977A (ja) * 2018-05-08 2019-11-14 シャープ株式会社 問い合わせ処理方法、システム、端末、自動音声対話装置、表示処理方法、通話制御方法、及び、プログラム
CN112447177B (zh) * 2019-09-04 2022-08-23 思必驰科技股份有限公司 全双工语音对话方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020046023A1 (en) 1995-08-18 2002-04-18 Kenichi Fujii Speech recognition system, speech recognition apparatus, and speech recognition method
US20090271200A1 (en) 2008-04-23 2009-10-29 Volkswagen Group Of America, Inc. Speech recognition assembly for acoustically controlling a function of a motor vehicle
US20100161328A1 (en) 2008-12-18 2010-06-24 Microsoft Corporation Utterance Processing For Network-Based Speech Recognition Utilizing A Client-Side Cache
US20110184740A1 (en) * 2010-01-26 2011-07-28 Google Inc. Integration of Embedded and Network Speech Recognizers
US8200485B1 (en) 2000-08-29 2012-06-12 A9.Com, Inc. Voice interface and methods for improving recognition accuracy of voice search queries
US20120316876A1 (en) 2011-06-10 2012-12-13 Seokbok Jang Display Device, Method for Thereof and Voice Recognition System
US20130179173A1 (en) 2012-01-11 2013-07-11 Samsung Electronics Co., Ltd. Method and apparatus for executing a user function using voice recognition
KR101309794B1 (ko) * 2012-06-27 2013-09-23 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템
KR101330671B1 (ko) * 2012-09-28 2013-11-15 삼성전자주식회사 전자장치, 서버 및 그 제어방법
EP2453368B1 (en) * 2010-11-12 2017-05-31 Accenture Global Services Limited Custom web services data link layer

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11202887A (ja) * 1998-01-13 1999-07-30 Kobe Steel Ltd 音声認識装置
US6757740B1 (en) * 1999-05-03 2004-06-29 Digital Envoy, Inc. Systems and methods for determining collecting and using geographic locations of internet users
US20030154080A1 (en) 2002-02-14 2003-08-14 Godsey Sandra L. Method and apparatus for modification of audio input to a data processing system
JP2003316387A (ja) * 2002-02-19 2003-11-07 Ntt Docomo Inc 学習装置、移動通信端末、情報認識システム、及び、学習方法
JP3964734B2 (ja) 2002-05-17 2007-08-22 富士通テン株式会社 ナビゲ−ション装置
JP2006033795A (ja) * 2004-06-15 2006-02-02 Sanyo Electric Co Ltd リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバ。
US20070299822A1 (en) * 2006-06-26 2007-12-27 Bellsouth Intellectual Property Corporation Database connectivity
US20080154612A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. Local storage and use of search results for voice-enabled mobile communications devices
US8572649B1 (en) * 2007-04-30 2013-10-29 Google Inc. Electronic program guide presentation
US20100138402A1 (en) * 2008-12-02 2010-06-03 Chacha Search, Inc. Method and system for improving utilization of human searchers
US8458209B2 (en) * 2010-08-24 2013-06-04 International Business Machines Corporation Virtual world query response system
US20140012205A1 (en) * 2011-03-23 2014-01-09 Sanofi-Aventis Deutschland Gmbh Drug Delivery Device with Pivoting Protective Cap
KR101897492B1 (ko) * 2011-06-07 2018-09-13 삼성전자주식회사 디스플레이 장치 및 이의 하이퍼링크 실행 방법 및 음성 인식 방법
US8660847B2 (en) * 2011-09-02 2014-02-25 Microsoft Corporation Integrated local and cloud based speech recognition
US9557903B2 (en) * 2012-02-13 2017-01-31 Lg Electronics Inc. Method for providing user interface on terminal
KR101951417B1 (ko) 2012-03-09 2019-02-22 엘지전자 주식회사 휴대 전자기기 및 이의 제어 방법
KR20130125067A (ko) * 2012-05-08 2013-11-18 삼성전자주식회사 전자 장치 및 그의 제어 방법
US9734151B2 (en) * 2012-10-31 2017-08-15 Tivo Solutions Inc. Method and system for voice based media search
JP2014109889A (ja) * 2012-11-30 2014-06-12 Toshiba Corp コンテンツ検索装置、コンテンツ検索方法及び制御プログラム
CN105027198B (zh) * 2013-02-25 2018-11-20 三菱电机株式会社 语音识别系统以及语音识别装置
US9460715B2 (en) * 2013-03-04 2016-10-04 Amazon Technologies, Inc. Identification using audio signatures and additional characteristics

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020046023A1 (en) 1995-08-18 2002-04-18 Kenichi Fujii Speech recognition system, speech recognition apparatus, and speech recognition method
US8200485B1 (en) 2000-08-29 2012-06-12 A9.Com, Inc. Voice interface and methods for improving recognition accuracy of voice search queries
US20090271200A1 (en) 2008-04-23 2009-10-29 Volkswagen Group Of America, Inc. Speech recognition assembly for acoustically controlling a function of a motor vehicle
US20100161328A1 (en) 2008-12-18 2010-06-24 Microsoft Corporation Utterance Processing For Network-Based Speech Recognition Utilizing A Client-Side Cache
US20110184740A1 (en) * 2010-01-26 2011-07-28 Google Inc. Integration of Embedded and Network Speech Recognizers
EP2453368B1 (en) * 2010-11-12 2017-05-31 Accenture Global Services Limited Custom web services data link layer
US20120316876A1 (en) 2011-06-10 2012-12-13 Seokbok Jang Display Device, Method for Thereof and Voice Recognition System
US20130179173A1 (en) 2012-01-11 2013-07-11 Samsung Electronics Co., Ltd. Method and apparatus for executing a user function using voice recognition
KR101309794B1 (ko) * 2012-06-27 2013-09-23 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템
KR101330671B1 (ko) * 2012-09-28 2013-11-15 삼성전자주식회사 전자장치, 서버 및 그 제어방법

Also Published As

Publication number Publication date
EP3025258A1 (en) 2016-06-01
US20150161204A1 (en) 2015-06-11
US10255321B2 (en) 2019-04-09
WO2015088155A1 (en) 2015-06-18
EP3025258A4 (en) 2017-01-18
KR20150068003A (ko) 2015-06-19

Similar Documents

Publication Publication Date Title
KR102246893B1 (ko) 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법
US11960526B2 (en) Query response using media consumption history
US20230012940A1 (en) Method and system for voice based media search
JP6668245B2 (ja) 文脈情報に基づいて検索結果を生成するための方法、システム、および媒体
US9123330B1 (en) Large-scale speaker identification
US9928030B2 (en) Speech retrieval device, speech retrieval method, and display device
US20170147576A1 (en) Content Analysis to Enhance Voice search
US20140006022A1 (en) Display apparatus, method for controlling display apparatus, and interactive system
US8478759B2 (en) Information presentation apparatus and mobile terminal
CN106462646B (zh) 控制设备、控制方法和计算机程序
US7904452B2 (en) Information providing server, information providing method, and information providing system
JP2014132464A (ja) 対話型インターフェース装置及びその制御方法
KR20140089862A (ko) 디스플레이 장치 및 그의 제어 방법
KR102210933B1 (ko) 음성 신호에 따라 컨텐츠 정보를 검색하여 제공하는 디스플레이 장치, 서버 장치 및 이들을 포함하는 음성 입력 시스템과, 그 방법들
US20110213773A1 (en) Information processing apparatus, keyword registration method, and program
KR102182689B1 (ko) 서버 및 그의 제어 방법
KR102265406B1 (ko) 서버 및 그의 제어 방법
KR20200069936A (ko) 미디어에 포함된 정보를 제공하는 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant