KR20160100811A - Method and device for providing information - Google Patents

Method and device for providing information Download PDF

Info

Publication number
KR20160100811A
KR20160100811A KR1020150172647A KR20150172647A KR20160100811A KR 20160100811 A KR20160100811 A KR 20160100811A KR 1020150172647 A KR1020150172647 A KR 1020150172647A KR 20150172647 A KR20150172647 A KR 20150172647A KR 20160100811 A KR20160100811 A KR 20160100811A
Authority
KR
South Korea
Prior art keywords
information
speech
virtual
participant
communication terminal
Prior art date
Application number
KR1020150172647A
Other languages
Korean (ko)
Inventor
쉬에 웬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201510084928.7A priority Critical patent/CN105991847B/en
Priority to CN201510084928.7 priority
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority claimed from PCT/KR2016/001488 external-priority patent/WO2016133319A1/en
Publication of KR20160100811A publication Critical patent/KR20160100811A/en

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G06F17/277
    • G06F17/30964
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Abstract

Provided are a method and a device for providing information. The method for providing information includes a step of obtaining speech information provided by at least one participant participating in conversation by using a communication terminal; a step of obtaining state information which shows the present state of the at least one participant by using the speech information and/or stored data; a step of determining a virtual speech provided to the at least one participant based on the speech information and the state information; and a step of outputting the determined virtual speech. So, speech recognition can be carried out.

Description

정보 제공 방법 및 디바이스 {Method and device for providing information}[0001] The present invention relates to a method and a device for providing information,
본 개시는 정보를 제공하는 디바이스 및 방법에 관한 것으로서, 보다 상세하게는, 스피치 정보를 제공하는 디바이스 및 방법에 관한 것이다.The present disclosure relates to a device and method for providing information, and more particularly, to a device and method for providing speech information.
전자 기술의 발전과 함께 스마트폰, PC, 태블릿 컴퓨터 등을 이용한 통화가 일상적인 일이 되었다. 또한, 통화는 두 사람간에 이루어지는 것이 일반적이다. 통화에서는 음성을 통해 의사 소통이 수행되는 것이 일반적이다.Along with the development of electronic technology, calls using smart phones, PCs, tablet computers, and the like have become commonplace. In addition, it is common that a call is made between two persons. In the currency, communication is generally performed through voice.
또한, 음성 인식 기술과 관련하여, 사용자의 음성을 입력으로 수신하여 수신한 사용자 음성을 분석하고, 수신한 사용자의 음성에 대응되는 출력을 생성하는 방법이 이용되고 있다. Also, in connection with speech recognition technology, a method is used in which a user's voice is received as input, the received user's voice is analyzed, and an output corresponding to the user's voice is generated.
구체적으로, 음성 인식 (speech recognition) 기술이란 인간이 발화한 음성과 같은 음향학적 신호 (acoustic speech signal)를 컴퓨터가 분석해 이를 인식 또는 이해하는 기술로서, 발성된 음성을 전기신호로 변환한 후 음성신호의 주파수 특성을 추출하는 등의 방식으로 발음을 인식하는 기술이다.Specifically, a speech recognition technology is a technique for a computer to analyze or recognize an acoustic speech signal, such as a speech uttered by a human being. The speech recognition technique converts an uttered voice into an electrical signal, And extracts the frequency characteristic of the speech.
컴퓨터의 보급과 사용자의 증가로 인하여 교육, 게임, 업무 등 일상에서 널리 컴퓨터가 활용되고 있으며, 최근 컴퓨터 기술의 발달로 인해 컴퓨터를 이용한 다양한 기술들이 개발되고 있다. 또한, 컴퓨터와 컴퓨터를 이용하는 음성인식 기술은 다양한 분야에서 이용되고 있다.Due to the spread of computers and the increase of users, computers are widely used in daily life such as education, games, and business. Recently, various technologies using computer have been developed due to the development of computer technology. In addition, speech recognition technology using a computer and a computer is used in various fields.
전자 기술의 발전과 함께 스마트폰, PC, 태블릿 컴퓨터 등을 이용한 통화가 일상적인 일이 되었다. 또한, 통화는 두 사람간에 이루어지는 것이 일반적이다. 통화에서는 음성을 통해 의사 소통이 수행되는 것이 일반적이다.Along with the development of electronic technology, calls using smart phones, PCs, tablet computers, and the like have become commonplace. In addition, it is common that a call is made between two persons. In the currency, communication is generally performed through voice.
또한, 음성 인식 기술과 관련하여, 사용자의 음성을 입력으로 수신하여 수신한 사용자 음성을 분석하고, 수신한 사용자의 음성에 대응되는 출력을 생성하는 방법이 이용되고 있다. Also, in connection with speech recognition technology, a method is used in which a user's voice is received as input, the received user's voice is analyzed, and an output corresponding to the user's voice is generated.
구체적으로, 음성 인식 (speech recognition) 기술이란 인간이 발화한 음성과 같은 음향학적 신호 (acoustic speech signal)를 컴퓨터가 분석해 이를 인식 또는 이해하는 기술로서, 발성된 음성을 전기신호로 변환한 후 음성신호의 주파수 특성을 추출하는 등의 방식으로 발음을 인식하는 기술이다.Specifically, a speech recognition technology is a technique for a computer to analyze or recognize an acoustic speech signal, such as a speech uttered by a human being. The speech recognition technique converts an uttered voice into an electrical signal, And extracts the frequency characteristic of the speech.
컴퓨터의 보급과 사용자의 증가로 인하여 교육, 게임, 업무 등 일상에서 널리 컴퓨터가 활용되고 있으며, 최근 컴퓨터 기술의 발달로 인해 컴퓨터를 이용한 다양한 기술들이 개발되고 있다. 또한, 컴퓨터와 컴퓨터를 이용하는 음성인식 기술은 다양한 분야에서 이용되고 있다.Due to the spread of computers and the increase of users, computers are widely used in daily life such as education, games, and business. Recently, various technologies using computer have been developed due to the development of computer technology. In addition, speech recognition technology using a computer and a computer is used in various fields.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은 정보 제공 방법에 있어서, 통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 상기 통신 단말을 통해 획득하는 단계; 상기 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 상기 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득하는 단계; 상기 스피치 정보 및 상기 상태 정보에 기초하여 상기 적어도 하나의 참여자에게 제공될 가상 스피치를 결정하는 단계; 및 상기 결정된 가상 스피치를 출력하는 단계를 포함할 수 있다.According to a first aspect of the present invention, there is provided an information providing method for acquiring speech information provided by at least one participant participating in a conversation using a communication terminal through the communication terminal ; Obtaining status information indicating the current status of the at least one participant using the speech information and / or pre-stored data; Determining a virtual speech to be provided to the at least one participant based on the speech information and the status information; And outputting the determined virtual speech.
또한, 상기 스피치 정보를 상기 통신 단말을 통해 획득하는 단계는 상기 적어도 하나의 참여자에 대한 정보를 획득하기 위해 문의하는 가상 스피치를 출력하는 단계; 및 상기 문의하는 가상 스피치를 통해 획득된 추가 스피치 정보를 포함하는 상기 스피치 정보를 획득하는 단계를 포함할 수 있다.In addition, the step of acquiring the speech information through the communication terminal may include outputting a virtual speech inquiring to acquire information on the at least one participant; And obtaining the speech information including the additional speech information obtained through the inquiring virtual speech.
또한, 상기 상태 정보는 상기 적어도 하나의 참여자의 현재 감정 상태를 나타내는 감정 정보(emotion information), 상기 적어도 하나의 참여자의 인적 정보(personal information), 상기 대화에 대한 주제 정보(topic information), 상기 적어도 하나의 참여자의 스케줄 정보(schedule information) 및 상기 적어도 하나의 참여자의 성격 정보(personality information) 중 적어도 하나를 포함할 수 있다.The status information may further include emotion information indicating a current emotional state of the at least one participant, personal information of the at least one participant, topic information of the conversation, Schedule information of one participant, and personality information of the at least one participant.
또한, 상기 스피치 정보는 상기 통신 단말이 획득하는 상기 적어도 하나의 참여자의 음성 정보를 포함할 수 있다.In addition, the speech information may include voice information of the at least one participant acquired by the communication terminal.
또한, 상기 가상 스피치를 결정하는 단계는 상기 스피치 정보를 이용하여 상기 가상 스피치의 컨텐츠를 획득하는 단계; 상기 상태 정보를 이용하여 상기 가상 스피치의 표현 방식을 결정하는 단계; 및 상기 획득한 컨텐츠가 상기 결정된 표현 방식으로 표현되는 상기 가상 스피치를 획득하는 단계를 포함할 수 있다.The determining of the virtual speech may include obtaining the content of the virtual speech using the speech information; Determining a presentation method of the virtual speech using the status information; And obtaining the virtual speech in which the obtained content is represented by the determined presentation method.
또한, 상기 가상 스피치를 결정하는 단계는 상기 스피치 정보가 기설정된 키워드를 포함하는지 여부를 결정하는 단계; 및 상기 스피치 정보가 상기 기설정된 키워드를 포함하는 경우, 상기 대화의 주제와 상이한 주제에 대한 컨텐츠를 포함하는 상기 가상스피치를 획득하는 단계를 포함할 수 있다.In addition, the step of determining the virtual speech may include: determining whether the speech information includes a predetermined keyword; And if the speech information includes the predetermined keyword, obtaining the virtual speech including content for a subject different from the subject of the conversation.
또한, 상기 상태 정보는 상기 적어도 하나의 참여자의 감정 정보를 포함하고,In addition, the status information may include emotion information of the at least one participant,
상기 가상 스피치를 결정하는 단계는 상기 감정 정보에 따라 결정된 컨텐츠 및 표현 방식의 상기 가상 스피치를 획득할 수 있다.The step of determining the virtual speech may acquire the virtual speech of the content and the presentation method determined according to the emotion information.
또한, 상기 감정 정보는 감정의 종류에 대한 정보 및 감정의 레벨에 대한 정보를 포함할 수 있다.In addition, the emotion information may include information on the type of emotion and information on the level of emotion.
또한, 상기 가상 스피치를 결정하는 단계는 상기 적어도 하나의 참여자의 감정 상태가 비정상적인지 여부를 상기 감정 정보를 이용하여 결정하는 단계; 및 상기 감정 상태가 비정상적이라고 결정된 경우, 상기 대화의 주제와 상이한 주제에 대한 컨텐츠를 포함하는 상기 가상 스피치를 획득하는 단계를 포함할 수 있다.The determining of the virtual speech may include determining whether the emotion state of the at least one participant is abnormal using the emotion information, And if the emotional state is determined to be abnormal, obtaining the virtual speech including content for a subject different from the subject of the conversation.
또한, 상기 감정 상태가 비정상적인지 여부를 결정하는 단계는 상기 적어도 하나의 참여자의 감정의 종류 및 상기 종류의 감정이 지속된 시간에 기초하여 상기 감정 상태가 비정상적인지 여부를 결정할 수 있다.In addition, the step of determining whether the emotional state is abnormal may determine whether the emotional state is abnormal based on the type of emotions of the at least one participant and the duration of the emotional state of the kind.
또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 2측면은 통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 획득하고, 상기 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 상기 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득하고, 상기 스피치 정보 및 상기 상태 정보에 기초하여 상기 적어도 하나의 참여자에게 제공될 가상 스피치를 결정하는 제어부; 및 상기 결정한 가상 스피치를 출력하는 출력부를 포함할 수 있다.Further, as a technical means for achieving the above-mentioned technical object, a second aspect of the present disclosure relates to a method for acquiring speech information provided by at least one participant participating in a conversation using a communication terminal, Acquiring status information indicating a status using the speech information and / or pre-stored data, and determining a virtual speech to be provided to the at least one participant based on the speech information and the status information; And an output unit outputting the determined virtual speech.
또한, 상기 출력부는 상기 적어도 하나의 참여자에 대한 정보를 획득하기 위해 문의하는 가상 스피치를 출력하고, 상기 제어부는 상기 문의하는 가상 스피치를 통해 획득된 추가 스피치 정보를 포함하는 상기 스피치 정보를 획득할 수 있다.The output may also output a virtual speech query to obtain information about the at least one participant and the control may obtain the speech information comprising additional speech information obtained via the querying virtual speech have.
또한, 상기 상태 정보는 상기 적어도 하나의 참여자의 현재 감정 상태를 나타내는 감정 정보(emotion information), 상기 적어도 하나의 참여자의 인적 정보(personal information), 상기 대화에 대한 주제 정보(topic information), 상기 적어도 하나의 참여자의 스케줄 정보(schedule information) 및 상기 적어도 하나의 참여자의 성격 정보(personality information) 중 적어도 하나를 포함할 수 있다.The status information may further include emotion information indicating a current emotional state of the at least one participant, personal information of the at least one participant, topic information of the conversation, Schedule information of one participant, and personality information of the at least one participant.
또한, 상기 스피치 정보는 상기 통신 단말이 획득하는 상기 적어도 하나의 참여자의 음성 정보를 포함할 수 있다.In addition, the speech information may include voice information of the at least one participant acquired by the communication terminal.
또한, 상기 제어부는 상기 스피치 정보를 이용하여 상기 가상 스피치의 컨텐츠를 획득하고, 상기 상태 정보를 이용하여 상기 가상 스피치의 표현 방식을 결정하고, 상기 획득한 컨텐츠가 상기 결정된 표현 방식으로 표현되는 상기 가상 스피치를 획득할 수 있다.The control unit may acquire the content of the virtual speech using the speech information, determine a presentation method of the virtual speech using the status information, and transmit the virtual content to the virtual Speech can be obtained.
또한, 상기 제어부는 상기 스피치 정보가 기설정된 키워드를 포함하는지 여부를 결정하고, 상기 스피치 정보가 상기 기설정된 키워드를 포함하는 경우, 상기 대화의 주제와 상이한 주제에 대한 컨텐츠를 포함하는 상기 가상스피치를 획득할 수 있다.In addition, the control unit may determine whether the speech information includes a predetermined keyword, and when the speech information includes the predetermined keyword, the control unit may transmit the virtual speech including contents for a subject different from the subject of the conversation Can be obtained.
또한, 상기 상태 정보는 상기 적어도 하나의 참여자의 감정 정보를 포함하고, 상기 제어부는 상기 감정 정보에 따라 결정된 컨텐츠 및 표현 방식의 상기 가상 스피치를 획득할 수 있다.In addition, the status information may include emotion information of the at least one participant, and the controller may obtain the virtual speech of the content and the presentation mode determined according to the emotion information.
또한, 상기 감정 정보는 감정의 종류에 대한 정보 및 감정의 레벨에 대한 정보를 포함할 수 있다.In addition, the emotion information may include information on the type of emotion and information on the level of emotion.
또한, 상기 제어부는 상기 적어도 하나의 참여자의 감정 상태가 비정상적인지 여부를 상기 감정 정보를 이용하여 결정하고, 상기 감정 상태가 비정상적이라고 결정된 경우, 상기 대화의 주제와 상이한 주제에 대한 컨텐츠를 포함하는 상기 가상 스피치를 획득할 수 있다.The control unit may determine whether the emotion state of the at least one participant is abnormal by using the emotion information, and when the emotion state is determined to be abnormal, The virtual speech can be obtained.
또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 3측면은 정보 제공 통신 단말에 있어서, 상기 통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 획득하고, 상기 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 상기 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득하고, 상기 스피치 정보 및 상기 상태 정보에 기초하여 상기 적어도 하나의 참여자에게 제공될 가상 스피치를 결정하는 제어부; 및 상기 결정한 가상 스피치를 출력하는 출력부를 포함할 수 있다.As a technical means for achieving the above technical object, a third aspect of the present disclosure provides an information providing communication terminal, which uses the communication terminal to acquire speech information provided by at least one participant participating in a conversation , Using the speech information and / or pre-stored data to obtain status information indicative of the current status of the at least one participant, and generating virtual speech to be provided to the at least one participant based on the speech information and the status information ; And an output unit outputting the determined virtual speech.
또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 4측면은 정보 제공 서버에 있어서, 통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 획득하고, 상기 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 상기 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득하고, 상기 스피치 정보 및 상기 상태 정보에 기초하여 상기 적어도 하나의 참여자에게 제공될 가상 스피치를 결정하는 제어부; 및 상기 결정한 가상 스피치를 출력하는 출력부를 포함할 수 있다.As a technical means for achieving the above technical object, a fourth aspect of the present disclosure provides an information providing server for acquiring speech information provided by at least one participant participating in a conversation using a communication terminal, Obtaining status information indicating the current status of at least one participant using the speech information and / or pre-stored data, and determining a virtual speech to be provided to the at least one participant based on the speech information and the status information A control unit; And an output unit outputting the determined virtual speech.
또한, 본 개시의 제 5 측면은 제 1 측면의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체를 제공할 수 있다.In addition, the fifth aspect of the present disclosure can provide a computer-readable non-volatile recording medium recording a program for executing the method of the first aspect in a computer.
도 1은 일 실시 예에 따른 디바이스가 정보를 제공하는 일례를 도시한 도면이다.
도 2는 일 실시 예에 따른 디바이스가 가상 스피치를 획득하는 방법의 흐름도이다.
도 3은 일 실시 예에 따른 디바이스가 가상 스피치를 획득하여 출력하는 방법의 흐름도이다.
도 4는 일 실시 예에 따른 디바이스가 스피치 정보 및 상태 정보를 이용하여 가상 스피치를 획득하는 방법의 흐름도이다.
도 5는 일 실시 예에 따른 디바이스가 스피치 정보에 기설정된 키워드가 포함되는지 여부에 따라서 가상 스피치를 획득하는 방법의 흐름도이다.
도 6은 일 실시 예에 따른 디바이스가 감정 정보에 기초하여 가상 스피치를 획득하는 방법의 흐름도이다.
도 7은 일 실시 예에 따른 디바이스가 스피치 정보에 포함된 키워드를 이용하여 가상 스피치를 획득하는 일례를 도시한 도면이다.
도 8은 일 실시 예에 따른 디바이스가 스피치 정보에 포함된 키워드를 이용하여 가상 스피치를 획득하는 일례를 도시한 도면이다.
도 9는 일 실시 예에 따라 정보를 제공하는 디바이스의 구성을 나타내는 블록도이다.
도 10은 일 실시 예에 따른 수신부의 구성을 나타내는 블록도이다.
도 11은 일 실시 예에 따른 제어부의 구성을 나타내는 블록도이다.
도 12는 일 실시 예에 따른 음성 합성부의 구성을 나타내는 블록도이다.
도 13은 일 실시 예에 따른 제어부의 구성을 나타내는 블록도이다.
도 14는 일 실시 예에 따른 제어부의 구성을 나타내는 블록도이다.
도 15는 일 실시 예에 따른 데이터 베이스의 구성을 나타내는 블록도이다.
도 16은 일 실시 예에 따른 데이터 베이스의 구성을 나타내는 블록도이다.
도 17은 일 실시 예에 따른 감정 정보의 일례를 나타내는 도면이다.
도 18은 일 실시 예에 따른 서버가 정보를 제공하는 일례를 도시한 도면이다.
도 19는 일 실시 예에 따른 통신 단말이 정보를 제공하는 일례를 도시한 도면이다.
1 is a diagram illustrating an example in which a device according to one embodiment provides information.
2 is a flow diagram of a method for a device according to an embodiment to obtain virtual speech.
3 is a flow diagram of a method according to an embodiment for obtaining and outputting a virtual speech.
4 is a flow diagram of a method according to an embodiment for obtaining a virtual speech using speech information and state information.
5 is a flow diagram of a method for a device according to an embodiment to obtain virtual speech according to whether a keyword preset in the speech information is included.
6 is a flow diagram of a method for a device according to an embodiment to obtain virtual speech based on emotion information.
7 is a diagram illustrating an example in which a device according to an embodiment acquires virtual speech using a keyword included in speech information.
8 is a diagram illustrating an example in which a device according to an embodiment acquires virtual speech using a keyword included in speech information.
9 is a block diagram illustrating a configuration of a device for providing information according to an embodiment.
10 is a block diagram illustrating a configuration of a receiving unit according to an embodiment.
11 is a block diagram showing a configuration of a control unit according to an embodiment.
12 is a block diagram showing a configuration of a speech synthesis unit according to an embodiment.
13 is a block diagram showing a configuration of a control unit according to an embodiment.
14 is a block diagram showing the configuration of a control unit according to an embodiment.
15 is a block diagram illustrating a configuration of a database according to an embodiment.
16 is a block diagram showing a configuration of a database according to an embodiment.
17 is a diagram showing an example of emotion information according to an embodiment.
18 is a diagram illustrating an example in which a server according to an embodiment provides information.
19 is a diagram illustrating an example in which a communication terminal according to an embodiment provides information.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Brief Description of the Drawings The advantages and features of the present invention, and how to accomplish them, will become apparent with reference to the embodiments described hereinafter with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. The terms used in this specification will be briefly described and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements as well, without departing from the spirit or scope of the present invention. Also, as used herein, the term "part " refers to a hardware component such as software, FPGA or ASIC, and" part " However, "part" is not meant to be limited to software or hardware. "Part" may be configured to reside on an addressable storage medium and may be configured to play back one or more processors. Thus, by way of example, and not limitation, "part (s) " refers to components such as software components, object oriented software components, class components and task components, and processes, Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functions provided in the components and "parts " may be combined into a smaller number of components and" parts " or further separated into additional components and "parts ".
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.
이하, 본 발명과 관련된 전자 기기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Hereinafter, an electronic apparatus related to the present invention will be described in more detail with reference to the drawings. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.
본 명세서에서 본 발명의 원리의 "일 실시 예" 또는 "실시 예"라는 것은 본 발명의 원리의 적어도 하나의 실시 예에 포함되는 실시 예와 함께 설명된 특별한 특성, 구조, 특징 등을 의미하는 것이다. 그러므로, 본 명세서 전반에 걸쳐 다양한 곳에 등장하는 "일 실시 예에서" 또는 "실시 예에서"라는 어구의 등장은 반드시 모두 동일한 실시예를 가리키는 것은 아니다.An embodiment "or" an embodiment "of the principles of the present invention as used herein is intended to mean the particular features, structures, features, etc., which are described in connection with the embodiments included in at least one embodiment of the principles of the invention . Therefore, the appearances of the phrase "in one embodiment" or "in an embodiment" appearing in various places throughout this specification are not necessarily all referring to the same embodiment.
도 1은 일 실시 예에 따른 디바이스(100)가 정보를 제공하는 일례를 도시한 도면이다.Figure 1 is an illustration of an example in which device 100 provides information in accordance with one embodiment.
통화는 2인간에 수행될 수도 있고, 3인간에 수행될 수 있다. 예를 들면, 제1 통신 단말(110) 및 제2 통신 단말(120)을 이용하여 2인간의 통화가 수행될 수 있고, 다른 예로, 제1 통신 단말(110), 제2 통신 단말(120) 및 디바이스(100)를 이용하여 3자간의 통화가 수행될 수 있다. The currency may be performed on two humans, or on three humans. For example, two human conversations can be performed using the first communication terminal 110 and the second communication terminal 120, and in other examples, the first communication terminal 110, the second communication terminal 120, And the device 100 may be used to perform a three-party call.
2인간의 통화가 수행되는 경우, 긴장감, 불편함 등이 유발될 수 있으나, 3인간의 통화가 수행되는 경우, 상대적으로 긴장감, 불편함 등이 해소될 수 있다. 예를 들면, 일 실시 예에 따라, 제1 통신 단말(110)과 제2 통신 단말(120)을 통한 2인간의 통화가 수행되는 도중에 디바이스(100)가 3번째 참여자로서 통화에 참여하는 경우, 폐쇄되고 맞대응(tit-for-tat)하는 2인 통화의 분위기가 진정된 분위기로 전환될 수 있다. 일 실시 예에 따른 디바이스(100)에 의해 통화에 참여하는 3번째 참여자는 가상 캐릭터일 수 있다. 예를 들면, 디바이스(100)에 의해 제1 통신 단말 또는 제2 통신 단말로 전송되는 음성 신호는 가상 캐릭터의 가상 스피치일 수 있다.2 When a human call is performed, tension, inconvenience, and the like may be caused. However, when three human calls are performed, relative tension and inconvenience may be solved. For example, according to one embodiment, when the device 100 participates in a call as a third participant during a two-person call through the first communication terminal 110 and the second communication terminal 120, The atmosphere of a closed-and-tit-for-tat two-person call can be transformed into a calm atmosphere. The third participant participating in the call by the device 100 according to one embodiment may be a virtual character. For example, the voice signal transmitted to the first communication terminal or the second communication terminal by the device 100 may be the virtual speech of the virtual character.
일 실시예에 따라 디바이스(100)는 제1통신 단말(110)이나 제2통신 단말(120)과는 별도의 서버로 구현되어 제1통신 단말(110)과 제2통신 단말(120)사이의 통신에 개입할 수 있다. The device 100 may be implemented as a separate server from the first communication terminal 110 or the second communication terminal 120 so that the first communication terminal 110 and the second communication terminal 120 It can intervene in communication.
일 실시예에 따라 디바이스(100)는 제1통신 단말(110)의 내부에 배열되어 제1통신 단말(110)과 제2통신 단말(120)사이의 통신에 개입할 수 있다. The device 100 may be arranged within the first communication terminal 110 to intervene in communication between the first communication terminal 110 and the second communication terminal 120 according to one embodiment.
일 실시예에 따라 디바이스(100)는 제2통신 단말(120)의 내부에 배열되어 제1통신 단말(110)과 제2통신 단말(120)사이의 통신에 개입할 수 있다.
The device 100 may be arranged within the second communication terminal 120 to intervene in communication between the first communication terminal 110 and the second communication terminal 120 according to one embodiment.
도 2는 일 실시 예에 따른 디바이스(100)가 가상 스피치를 획득하는 방법의 흐름도이다.2 is a flow diagram of a method for a device 100 according to one embodiment to obtain a virtual speech.
단계 S210에서 일 실시 예에 따른 디바이스(100)는 통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 통신 단말을 통해 획득한다.In step S210, the device 100 according to an embodiment acquires, via the communication terminal, speech information provided by at least one participant participating in the conversation using the communication terminal.
일 실시 예에 따른 스피치 정보는 음성 신호를 통해 획득되는 정보를 포함할 수 있다. 예를 들면, 스피치 정보는 통신 단말을 통해 수신되는 통신 단말 사용자의 음성 신호로부터 획득되는 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말 사용자의 음성 신호의 분석을 통해 획득되는 키워드 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말 사용자의 음성 신호의 분석을 통해 획득되는 목소리 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말이 획득하는 적어도 하나의 참여자의 음성 정보를 포함할 수 있다.Speech information according to one embodiment may include information obtained via a voice signal. For example, the speech information may include information obtained from a voice signal of a communication terminal user received via the communication terminal. As another example, the speech information may include keyword information obtained through analysis of the speech signal of the communication terminal user. As another example, the speech information may include voice information obtained through analysis of the speech signal of the communication terminal user. In another example, the speech information may include speech information of at least one participant that the communication terminal acquires.
일 실시 예에 따른 디바이스(100)는 하나 이상의 통신 단말로부터 스피치 정보를 획득할 수 있다. 예를 들면, 디바이스(100)는 제1 통신 단말 및/또는 제2 통신 단말로부터 스피치 정보를 획득할 수 있다.The device 100 according to one embodiment may obtain speech information from one or more communication terminals. For example, the device 100 may obtain speech information from the first communication terminal and / or the second communication terminal.
일 실시 예에 따른 통신 단말은 마이크와 스피커를 포함할 수 있다. 또한, 일 실시 예에 따른 통신 단말은 스마트폰, 태플릿 컴퓨터, 개인 디지털 기기, 랩탑 컴퓨터, 데스크탑 컴퓨터 등을 포함할 수 있으며, 이에 제한되지 않는다.The communication terminal according to an exemplary embodiment may include a microphone and a speaker. In addition, the communication terminal according to one embodiment may include, but is not limited to, a smart phone, a tablet computer, a personal digital assistant, a laptop computer, a desktop computer, and the like.
일 실시 예에 따른 디바이스(100)에 스피치 정보를 제공하는 통신 단말은 통화 기능을 수행할 수 있다. 일 실시 예에 따른 통신 단말은 통화에 로컬(local) 통신 단말 또는 원거리(remote) 통신 단말을 포함할 수 있다. 예를 들면, 제1 통신 단말은 로컬 통신 단말이고, 제2 통신 단말은 원거리 통신 단말일 수 있다. 일 실시 예에 따른 디바이스(100)는 서버 형태로 구현될 수도 있고, 통신 단말에 포함된 형태로 구현될 수도 있고, 통신 단말의 외부에 위치하는 별개의 디바이스로 구현될 수도 있다.A communication terminal that provides speech information to the device 100 according to one embodiment may perform a call function. A communication terminal according to an exemplary embodiment may include a local communication terminal or a remote communication terminal in a call. For example, the first communication terminal may be a local communication terminal, and the second communication terminal may be a remote communication terminal. The device 100 according to one embodiment may be implemented in a server form, a form embedded in a communication terminal, or a separate device placed outside a communication terminal.
일 실시 예에 따른 디바이스(100)는 통신 단말을 통해 획득된 음성 신호를 분석하여 스피치 정보를 획득할 수 있다. The device 100 according to one embodiment may analyze voice signals obtained through a communication terminal to obtain speech information.
또는 일 실시 예에 따른 통신 단말이 음성 신호를 획득하고, 획득한 음성 신호를 분석한 결과를 디바이스(100)에 전송할 수 있다. 디바이스(100)는 통신 단말로부터 수신한 음성 신호 분석 결과를 이용하여 스피치 정보를 획득할 수 있다.Alternatively, the communication terminal according to an exemplary embodiment may acquire a voice signal and transmit the result of analyzing the acquired voice signal to the device 100. The device 100 can acquire the speech information using the speech signal analysis result received from the communication terminal.
통신 단말 또는 디바이스(100)는 음성 신호를 수신할 수 있다. 예를 들면, 사용자의 음성 신호를 통신 단말의 마이크를 통해 수신할 수 있다. 예를 들면, 제1 통신 단말의 사용자의 음성 신호를 제1 통신 단말의 마이크를 통해 수신한 경우, 디바이스(100)는 제1 통신 단말을 통해 제1 통신 단말 사용자의 음성 신호를 획득할 수 있다. 다른 예로, 제2 통신 단말의 사용자의 음성 신호를 제2 통신 단말의 마이크를 통해 수신한 경우, 디바이스(100)는 제2 통신 단말을 통해 제2 통신 단말 사용자의 음성 신호를 획득할 수 있다. 다른 예로, 로컬 통신 단말의 사용자의 음성 신호를 로컬 통신 단말의 마이크를 통해 수신한 경우, 디바이스(100)는 로컬 통신 단말을 통해 로컬 통신 단말 사용자의 음성 신호를 획득할 수 있다. 다른 예로, 원거리 통신 단말의 사용자의 음성 신호를 원거리 통신 단말의 마이크를 통해 수신한 경우, 디바이스(100)는 원거리 통신 단말을 통해 원거리 통신 단말 사용자의 음성 신호를 획득할 수 있다.The communication terminal or device 100 can receive a voice signal. For example, the user's voice signal can be received through the microphone of the communication terminal. For example, when the user's voice signal of the first communication terminal is received through the microphone of the first communication terminal, the device 100 can acquire the voice signal of the first communication terminal user through the first communication terminal . As another example, when the user's voice signal of the second communication terminal is received via the microphone of the second communication terminal, the device 100 can acquire the voice signal of the user of the second communication terminal through the second communication terminal. As another example, when the voice signal of the user of the local communication terminal is received through the microphone of the local communication terminal, the device 100 can acquire the voice signal of the user of the local communication terminal through the local communication terminal. As another example, when the user's voice signal of the remote communication terminal is received through the microphone of the remote communication terminal, the device 100 can acquire the voice signal of the user of the remote communication terminal through the remote communication terminal.
원거리 통신 단말로 입력된 사용자의 음성 신호는 무선 연결 또는 유선 연결을 통해서 디바이스(100) 또는 로컬 통신 단말로 전송될 수 있다. 넌-오디오 정보(예: 악보)는 키보드나 버튼 입력 등을 통해 편집되거나, 오디오 정보로 변환될 수 있다.A user's voice signal input to the remote communication terminal may be transmitted to the device 100 or the local communication terminal through a wireless connection or a wired connection. Non-audio information (eg musical notation) can be edited via a keyboard, button input, etc., or converted into audio information.
무선 연결은 2G/3G/4G 연결, WiFi 연결, 블루투스 연결, WiMAX 연결, 지그비 연결, UWB(울트라 와이드밴드) 및 현재 알려진 또는 미래에 개발된 다른 무선 연결을 포함하나 이에 제한되지 않는다.Wireless connections include, but are not limited to, 2G / 3G / 4G connections, WiFi connections, Bluetooth connections, WiMAX connections, ZigBee connections, Ultra Wide Band (UWB) and other wireless connections now known or later developed.
단계 S220에서 일 실시 예에 따른 디바이스(100)는 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득한다. In step S220, the device 100 according to one embodiment obtains status information indicating the current status of at least one participant using speech information and / or pre-stored data.
일 실시 예에 따른 상태 정보는 적어도 하나의 참여자 및/또는 가상 캐릭터의 현재 감정 상태를 나타내는 감정 정보(emotion information), 적어도 하나의 참여자 및/또는 가상 캐릭터의 인적 정보(personal information), 대화에 대한 주제 정보(topic information), 적어도 하나의 참여자의 스케줄 정보(schedule information) 및 적어도 하나의 참여자 및/또는 가상 캐릭터의 성격 정보(personality information) 중 적어도 하나를 포함할 수 있다.The status information according to one embodiment includes emotion information indicating the current emotional state of at least one participant and / or virtual character, personal information of at least one participant and / or virtual character, At least one of topic information, schedule information of at least one participant, and personality information of at least one participant and / or a virtual character.
일 실시 예에 따른 감정 정보는 감정의 종류에 대한 정보 및 감정의 레벨에 대한 정보를 포함할 수 있다. 감정의 종류는 감정 상태는 기쁨(elation), 화(anger), 슬픔(sorrow), 우울(depression) 및 온화(mildness) 등을 포함할 수 있으며 이에 제한되지 않는다.The emotion information according to one embodiment may include information on the type of emotion and information on the level of emotion. Types of emotions may include, but are not limited to, emotion states such as elation, anger, sorrow, depression and mildness.
일 실시 예에 따른 디바이스(100)는 단계 S210에서 획득한 스피치 정보를 이용하여 상태 정보를 획득할 수 있다. The device 100 according to one embodiment may obtain status information using the speech information obtained in step S210.
예를 들면, 제1 통신 단말이 “오늘 감기 기운이 있네.”라는 음성 신호를 획득한 경우, 제1 통신 단말이 획득한 음성 신호로부터 획득한 스피치 정보를 통해 디바이스(100)는 제1 통신 단말의 사용자의 현재 건강 상태에 대한 정보를 획득할 수 있다. 다른 예로, 원거리 통신 단말이 “어제 친구와 싸웠어.”라는 음성 신호를 획득한 경우, 디바이스(100)는 원거리 통신 단말이 획득한 음성 신호를 무선 연결을 통해 수신하고, 현재 원거리 통신 단말의 사용자의 감정 상태가 불편할 수 있다는 상태 정보를 획득할 수 있다.For example, when the first communication terminal acquires a voice signal of " There is a cold wind today ", the device 100 transmits, through the speech information obtained from the voice signal acquired by the first communication terminal, The user can obtain information about the current health status of the user. As another example, when the remote communication terminal acquires a voice signal "I fought my friend yesterday", the device 100 receives the voice signal acquired by the remote communication terminal through the wireless connection, State information indicating that the emotional state may be inconvenient.
일 실시 예에 따른 디바이스(100)는 기저장된 데이터를 이용하여 상태 정보를 획득할 수 있다. The device 100 according to one embodiment may obtain status information using pre-stored data.
예를 들면, 기저장된 사용자의 생년월일 정보를 통해 사용자의 나이 정보를 획득할 수 있다. 기저장된 데이터는 디바이스(100)에 저장되어 있을 수도 있고, 통신 단말에 저장되어 있을 수도 있고, 서버에 저장되어 있을 수도 있다.For example, the age information of the user can be obtained through the information of the date of birth of the user. The pre-stored data may be stored in the device 100, stored in the communication terminal, or stored in the server.
일 실시 예에 따른 디바이스(100)는 단계 S210에서 획득한 스피치 정보 및 기저장된 데이터를 이용하여 상태 정보를 획득할 수 있다. The device 100 according to an exemplary embodiment may acquire status information using the speech information and the pre-stored data obtained in step S210.
예를 들면, A 사용자와 B 사용자에 대한 데이터가 기저장되어 있고, A 사용자가 B 사용자를 아버지라고 부르는 경우, A 사용자와, B 사용자와의 관계가 부자관계라는 사용자들 간의 관계에 대한 상태 정보를 디바이스(100)는 획득할 수 있다.For example, if data for users A and B is stored beforehand, and user A refers to user B as father, the status information about the relationship between users A and B is as follows: The device 100 can acquire the < / RTI >
일 실시 예에 따른 획득된 상태 정보는 통신 단말의 메모리, 디바이스(100)의 메모리 또는 서버(미도시) 등에 저장될 수 있다. 예를 들면, 상태 정보는 로컬 통신 단말 및/또는 원거리 통신 단말에 저장될 수 있다. 다른 예로, 상태 정보는 디바이스(100)의 내부 또는 외부 메모리, 또는 디바이스(100)와 연결된 서버에 저장될 수 있다.The acquired state information according to one embodiment may be stored in a memory of the communication terminal, a memory or a server (not shown) of the device 100, or the like. For example, the status information may be stored in a local communication terminal and / or a telecommunications terminal. As another example, the status information may be stored in the internal or external memory of the device 100, or in a server connected to the device 100. [
상태 정보가 서버에 저장되어 있는 경우, 통신 단말 또는 디바이스(100)는 유/무선 연결을 통해 상태 정보를 서버로부터 획득할 수 있다. When the status information is stored in the server, the communication terminal or the device 100 can acquire status information from the server via the wired / wireless connection.
단계 S230에서 일 실시 예에 따른 디바이스(100)는 스피치 정보 및/또는 상태 정보에 기초하여 적어도 하나의 참여자에게 제공될 가상 스피치를 획득 또는 결정한다. 예를 들면 일 실시 예에 따른 디바이스(100)는 복수개의 가상 스피치 중 하나를 참여자에게 제공될 가상 스피치로 결정할 수도 있고, 참여자에게 제공될 가상 스피치를 생성할 수도 있다.At step S230, the device 100 according to one embodiment obtains or determines a virtual speech to be provided to at least one participant based on the speech information and / or the status information. For example, the device 100 according to one embodiment may determine one of a plurality of virtual speech to be a virtual speech to be provided to the participant, and may generate a virtual speech to be provided to the participant.
일 실시예에 따른 가상 스피치는 단계 S210에서 획득한 스피치 정보 및 단계 S220에서 획득한 상태 정보에 따라 결정될 수 있다.The virtual speech according to an exemplary embodiment may be determined according to the speech information obtained in step S210 and the state information acquired in step S220.
일 실시 예에 따라 디바이스(100)는 가상 캐릭터를 통해 가상 스피치를 제공할 수 있다. 일 실시 예에 따라 디바이스(100)는 가상 캐릭터의 성별, 성격, 말투 등에 기초하여 가상 스피치를 결정할 수 있다.According to one embodiment, the device 100 may provide virtual speech through a virtual character. According to one embodiment, the device 100 may determine the virtual speech based on the gender, personality, voice, etc. of the virtual character.
일 실시 예에 따른 디바이스(100)는 상태 정보에 따라 가상 캐릭터의 성격, 말투 등을 결정할 수 있고, 가상 캐릭터의 성격 등은 변경되는 상태 정보에 따라 변경될 수 있다. The device 100 according to an exemplary embodiment may determine the character, tone, etc. of the virtual character according to the status information, and the character of the virtual character and the like may be changed according to the changed status information.
일 실시 예에 따른 상태 정보는 성격 변수(personality variable) 및/또는 상태 변수(state variable)를 포함할 수 있다. 예를 들면, 일 실시 예에 따른 상태 정보는 성격 변수 및/또는 상태 변수에 따라서 결정될 수 있다.The state information according to one embodiment may include a personality variable and / or a state variable. For example, the state information according to one embodiment may be determined according to a personality variable and / or a state variable.
성격 변수는 통신 단말에 입력되는 스피치 정보에 대응하는 가상 캐릭터의 일반적 성향을 나타낼 때 이용될 수 있고, 통신 단말의 사용자와 다른 사람간의 통화를 통해 변경될 수 있다. 예를 들면, 성격 변수는 선호/민감 주제, 선호/민감 키워드, 연민(sympathy), 액센트, 적응성(adaptability), 각성도(alterness), 호기심, 반항성, 설득력(eloquence), 관용구(idioms), 수다스러움(loquacity), 기질(peculiarities), 응답성(responsiveness), 감성(sentimentality), 수면 시간 중 적어도 하나를 포함할 수 있으며 이에 제한되지 않는다. 일 예로, 선호/민감 주제는 디바이스(100)가 주제에 대해서 가상 캐릭터가 능동적으로 참여할지 좀처럼 참여하지 않게 될지를 결정할 때 이용될 수 있다. 다른 예로, 선호/민감 키워드는 가상 캐릭터가 대상이 되는 주제에 대해서 (스포츠와 같이) 흥미로워하는지 또는 (테러와 같이) 흥미 없어하는지 나타낼 때 이용될 수 있다. 다른 예로, 연민은 사람, 객체 또는 대상에 대해서, 가상 캐릭터가 긍정적인 코멘트를 줄지 부정적인 코멘트를 줄지 나타낼 때 이용될 수 있다. 다른 예로, 액센트(accents)는 가상 캐릭터의 가능한 액센트 타입 및 정도를 나타내기 위해서 이용될 수 있다. 다른 예로, 적응성은 가상 캐릭터의 성격의 장기 변형(long term variation)의 정도를 나타낼 때 이용될 수 있다. 다른 예로, 각성도는 입력되는 스피치 정보에 대한 가상 캐릭터의 민감한 정도를 나타낼 때 이용될 수 있다. 다른 예로, 호기심은 가상 캐릭터가 질문하는 동작을 나타낼 때 이용될 수 있다. 다른 예로, 반항성은 가상 캐릭터가 명령을 수행하는 동작을 나타내기 위해 이용될 수 있다. 다른 예로, 설득력은 가상 캐릭터의 유창하고 꾸민 문장을 이용하는 경향을 나타내기 위해 이용될 수 있다. 다른 예로, 관용구는 가상 캐릭터가 자주 사용하는 어구나 문장을 나타내기 위해 사용될 수 있다. 다른 예로, 수다스러움은 가상 캐릭터가 많이 말하는 정도를 나타내기 위해 사용될 수 있다. 다른 예로, 기질은 특정 주제에 대한 가상 캐릭터의 특별한 리액션 모드를 나타내기 위해 이용될 수 있다. 다른 예로, 응답성은 가상 캐릭터의 요청이나 문의의 적극성을 나타내기 위해 사용될 수 있다. 다른 예로, 감성은 가상 캐릭터가 강한 기분을 발전시키는 경향을 나타내기 위해 이용될 수 있다. 다른 예로, 수면 시간은 낮 시간에 가상 캐릭터가 낮은 응답성을 갖게되는 성향을 나타내기 위해 이용될 수 있다.The personality variable may be used to indicate the general tendency of the virtual character corresponding to the speech information input to the communication terminal, and may be changed through communication between the user of the communication terminal and another person. For example, personality variables can be classified as preference / sensitivity subject, preference / sensitivity keyword, sympathy, accent, adaptability, alterness, curiosity, opposition, eloquence, idioms, But is not limited to, at least one of loquacity, peculiarities, responsiveness, sentimentality, and sleep time. As an example, the preference / sensitivity theme may be used when the device 100 determines whether the virtual character will actively participate or rarely participate in the subject. As another example, the preference / sensitivity keywords may be used to indicate whether the virtual character is interesting (such as sports) or not (such as terrorism) for the subject of interest. As another example, compassion can be used for a person, object, or object when the virtual character indicates whether to give a positive comment or to give a negative comment. As another example, accents may be used to indicate the possible accent types and degrees of virtual characters. In another example, adaptability can be used to indicate the degree of long term variation in the character of the virtual character. As another example, the arousal level may be used to indicate the degree of sensitivity of the virtual character to input speech information. As another example, curiosity can be used when the virtual character indicates a questioning motion. As another example, the opposition may be used to indicate an action in which a virtual character performs an instruction. As another example, persuasive power can be used to indicate the tendency to use the virtual character's fluent and decorated sentences. As another example, an idiom can be used to represent a phrase or sentence that is often used by a virtual character. As another example, the discursiveness can be used to indicate the degree to which a virtual character speaks a lot. As another example, the substrate may be used to indicate a particular reaction mode of the virtual character for a particular subject. In another example, responsiveness can be used to indicate the aggressiveness of a virtual character's request or inquiry. As another example, emotion may be used to indicate a tendency for a virtual character to develop strong mood. As another example, sleep time can be used to indicate a tendency for a virtual character to have low responsiveness during day time.
일 실시 예에 따른 상태 변수는 가상 캐릭터의 행동 특성을 결정하기 위해 이용될 수 있다. 상태 변수는 이전 상태 변수, 통신 단말을 통해 입력되는 스피치 정보, 성격 변수 등에 따라 결정될 수 있다. 예를 들면, 적극성은 가상 캐릭터가 얼마나 적극적으로 이슈에 대해 말하는지를 나타낼 수 있다. 높은 적극성은 자주, 길게 빠르게 자발적으로 말하는 것을 나타낼 수 있다. 다른 예로, 감정 상태는 가상 캐릭터가 스피치를 통해서 나타내는 감정의 타입(기쁨 및 우울을 포함함) 및 강도를 나타낼 수 있다. 다른 예로, 스피치 방식은 가상 캐릭터의 현재 스피치의 방식을 나타낸다. 스피치 방식은 특정 타입의 방언에 적응 정도 및 빈도, 형식(formality) 및 친숙함(familiarity)의 정도 및 특정 목소리의 요청을 포함할 수 있다. 다른 예로, 즉흥성은 가상 캐릭터가 대화를 얼마나 적극적으로 시작하는지 나타낼 수 있다.The state variable according to an embodiment may be used to determine a behavior characteristic of a virtual character. The state variable may be determined according to the previous state variable, the speech information input through the communication terminal, the personality variable, and the like. For example, aggressiveness can indicate how aggressively a virtual character speaks about an issue. High aggressiveness can often indicate spontaneously speaking, long and fast. In another example, the emotional state may indicate the type of emotion (including joy and depression) and intensity that the virtual character represents through speech. In another example, the speech scheme represents the current speech of the virtual character. Speech schemes can include the degree and frequency of adaptation to a particular type of dialect, the degree of formality and familiarity, and the request for a particular voice. As another example, improvisation can indicate how aggressively a virtual character starts a conversation.
단계 S230에서 일 실시 예에 따른 디바이스(100)는 스피치 정보 및 상태 정보에 기초하여 적어도 하나의 참여자에게 제공될 가상 스피치를 획득 또는 결정한다. 예를 들면 일 실시 예에 따른 디바이스(100)는 복수개의 가상 스피치 중 하나를 적어도 하나의 참여자에게 제공될 가상 스피치로 결정할 수도 있고, 적어도 하나의 참여자에게 제공될 가상 스피치를 생성할 수도 있다.In step S230, the device 100 according to one embodiment obtains or determines a virtual speech to be provided to at least one participant based on the speech information and the status information. For example, the device 100 according to one embodiment may determine one of a plurality of virtual speech to be provided to at least one participant, and may generate virtual speech to be provided to at least one participant.
일 실시 예에 따른 디바이스(100)는 단계 S220에서 획득한 상태 정보를 이용하여 단계 S210에서 획득한 스피치 정보에 대응하는 표현 속성(expression attribute)을 가진 가상 스피치를 생성할 수 있다. 가상 스피치의 표현 속성 또는 스피치 정보의 표현 속성은 스피치의 표현 스타일 및 감정과 같은 표현 관련 정보를 나타내기 위해 사용될 수 있고, 감정 상태 및/또는 표현 모드를 나타내기 위해 사용될 수 있는 정보를 포함할 수 있다.The device 100 according to an exemplary embodiment may generate a virtual speech having an expression attribute corresponding to the speech information obtained in step S210 using the state information acquired in step S220. The presentation attribute of the virtual speech or the presentation attribute of the speech information may be used to indicate expression related information such as the expression style and emotion of the speech and may include information that can be used to indicate the emotional state and / have.
일 실시 예에 따른 표현 속성에 포함되는 감정 상태는 기쁨(elation), 화(anger), 슬픔(sorrow), 우울(depression) 및 온화(mildness)와 같은 타입을 포함할 수 있으며 이에 제한되지 않는다. 감정 상태의 각 타입은 서로 다른 레벨로 정의될 수 있다. 예를 들면, 기쁨(elation)의 감정 상태는 낮음, 중간 또는 높음 등과 같은 몇 레벨로 정의될 수 있다. 일 실시 예에 따른 표현 모드는 표현 스타일(phrasing style), 액센트 타입, 방언 빈도, 방언 정도, 방언 톤, 장면 모드(scene mode) 또는 배경 음악을 포함할 수 있으며 이에 제한되지 않는다.The emotional state included in the presentation attribute according to an exemplary embodiment may include, but is not limited to, types such as elation, anger, sorrow, depression, and mildness. Each type of emotional state can be defined at a different level. For example, emotion states of elation may be defined at several levels such as low, medium, or high. The presentation mode according to one embodiment may include, but is not limited to, phrasing style, accent type, dialect frequency, dialect degree, dial tone, scene mode or background music.
일 실시 예에 따라, 가상 스피치의 컨텐츠는 상태 정보에 따라 결정될 수 있고, 스피치 정보의 컨텐츠 및/또는 표현 속성은 통신 단말로 입력될 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 컨텐츠를 획득하기 위해서 오디오 처리 기술(예: 음성 인식 기술)로 통신 단말로 입력되는 오디오 정보를 분석하고, 분석에 따라 획득된 컨텐츠 및 상태 정보에 따라서 결정된 표현 속성을 갖는 가상 스피치를 생성할 수 있다. 다른 예로, 일 실시 예에 따른 디바이스(100)는 스피치 정보의 표현 속성을 획득하기 위해서 통신 단말로 입력되거나 통신 단말로부터 획득되는 스피치 정보를 분석할 수 있다. 그리고 나서 일 실시 예에 따른 디바이스(100)는 분석된 스피치 정보 및 상태 정보에 따라 결정된 표현 속성을 갖는 가상 스피치를 생성할 수 있다.According to one embodiment, the content of the virtual speech may be determined according to the status information, and the content and / or the presentation attribute of the speech information may be input to the communication terminal. For example, the device 100 according to one embodiment may analyze audio information input to a communication terminal with an audio processing technique (e.g., speech recognition technology) to obtain content, Lt; RTI ID = 0.0 > a < / RTI > In another example, device 100 according to one embodiment may analyze speech information that is input to or obtained from a communication terminal to obtain a presentation attribute of the speech information. The device 100 according to one embodiment may then generate virtual speech with presentation attributes determined according to analyzed speech information and status information.
예를 들어, 통신 단말로 입력되는 스피치 정보가 풋볼이라는 주제를 포함하고, 풋볼이라는 주제가 가상 캐릭터의 선호 주제인 경우(일 실시 예에 따라, 선호 주제는 가상 캐릭터의 상태 정보에 포함되는 성격 변수에 따라 정의될 수 있음), 생성될 가상 스피치의 컨텐츠는 풋볼의 주제와 관련된 것으로 결정될 수 있고, 생성될 가상 스피치의 표현 속성의 감정 상태의 타입은 기쁨으로 결정될 수 있다.For example, if the speech information input to the communication terminal includes a subject of football, and the subject of football is a preference topic of a virtual character (according to an exemplary embodiment, the preference subject may include a personality variable included in the status information of the virtual character , The content of the virtual speech to be generated can be determined to be related to the subject of the football and the type of emotion state of the presentation attribute of the virtual speech to be generated can be determined with joy.
다른 예로, 통신 단말로 입력되는 스피치 정보의 표현 속성이 “슬픔” 타입의 감정 상태에 포함되는 것으로 분석되는 경우, 가상 스피치의 컨텐츠는 “위로”의 주제에 관련되도록 생성될 수 있다. 이 경우, 생성될 가상 스피치의 표현 속성의 감정 상태의 타입은 “온순함”으로 결정될 수 있다.As another example, when the presentation attribute of the speech information input to the communication terminal is analyzed as being included in the emotion state of the " grief " type, the content of the virtual speech may be generated to be related to the subject of " up ". In this case, the type of emotional state of the presentation attribute of the virtual speech to be generated may be determined to be " gentle ".
일 실시 예에 따라, 통신 단말에 입력되는 스피치 정보의 컨텐츠가 기설정된 타입의 키워드를 포함하는 경우, 가상 스피치의 컨텐츠는 기설정된 타입에 대응하는 즉각적인 정보를 포함할 수 있다. 예를 들면, 만약 통신의 컨텐츠가 주소 타입의 키워드를 포함하면, 가상 스피치의 컨텐츠는 신속한 주소 갱신이나 미팅 장소 주소와 같은 주소 타입에 관련된 신속한 정보를 포함할 수 있다.According to an embodiment, when the content of the speech information input to the communication terminal includes a predetermined type of keyword, the content of the virtual speech may include immediate information corresponding to the predetermined type. For example, if the content of the communication includes a keyword of the address type, the content of the virtual speech may include quick information relating to the address type such as a quick address update or a meeting place address.
일 실시 예에 따라, 가상 스피치의 컨텐츠는 통신 단말로 입력되는 스피치 정보의 표현 속성(감정 상태와 같은)에 의해 결정될 수 있다. 통신 단말 또는 디바이스(100)에서 로컬 사용자(local user) 및 원거리 사용자(remote user)에 대한 감정 상태가 분석 및 획득될 수 있고, 감정 상태에 따라서 가상 스피치의 컨텐츠는 조절될 수 있다. 예를 들면, 스피치 정보의 감정 상태가 비정상인 경우, 가상 스피치의 컨텐츠는 현재 주제와 상이한 주제 정보 또는 기설정된 즉각적인 정보를 포함할 수 있다. 비정상적인 감정 상태는 비정상적인 감정 상태 타입 및/또는 비정상적인 감정 상태 지속 기간에 따라 결정될 수 있다. 감정적인 상태 타입은 기쁨, 흥분, 즐거움 등과 같은 긍정적인 타입, 슬픔, 우울, 화, 테러 등의 부정적인 타입 및 온화 등과 같은 중립적인 타입을 포함할 수 있다. 예를 들면, 부정적인 타입의 감정 상태는 비정상적인 감정 상태로 결정될 수 있다. 다른 예로, 슬픔 우울 등의 부정적인 타입의 감정 상태가 기설정된 기간 (1분 등과 같이) 이상 지속되는 경우, 감정 상태가 비정상적이라고 결정될 수 있다. 다른 예로, 흥미, 흥분과 같은 긍정적인 타입의 감정 상태가 기설정된 기간 (10분 과 같이) 이상 지속된 경우, 감정적인 상태는 비정상적이라고 결정될 수 있다.According to one embodiment, the content of the virtual speech may be determined by the presentation attribute (such as an emotional state) of the speech information input to the communication terminal. An emotion state for a local user and a remote user in the communication terminal or the device 100 can be analyzed and obtained and the contents of the virtual speech can be adjusted according to the emotion state. For example, when the emotion state of the speech information is abnormal, the contents of the virtual speech may include subject information different from the current subject or predetermined instant information. The abnormal emotional state may be determined according to the abnormal emotional state type and / or the abnormal emotional state duration. Emotional state types can include neutral types such as positive types such as joy, excitement, joy, etc., negative types such as sadness, depression, anger, terrorism, and mildness. For example, a negative type of emotional state may be determined to be an abnormal emotional state. As another example, if the emotional state of a negative type such as sadness or depression continues for a predetermined period (such as one minute), the emotional state may be determined to be abnormal. As another example, if a positive type of emotional state such as interest or excitement persists for a predetermined period of time (such as 10 minutes), the emotional state may be determined to be abnormal.
일 실시 예에 따라, 통신 단말로 입력된 스피치 정보에 언급된 사람이 현재 통화의 참여자(예: 통화에 참여하고 있는 로컬 사용자 또는 원거리 사용자)인 경우 또는 주제가 기설정된 주제를 포함하는 경우, 가상 스피치의 컨텐츠는 스피치 정보의 감정 상태에 따라 생성되는 즉각적인 정보 또는 현재 주제와 다른 주제 정보를 포함할 수 있다. 일 실시 예에 따라, 기설정된 주제는 참여자의 감정 상태를 변화시키는 주제일 수도 있고, 참여자에게 반감을 주는 주제일 수도 있다. 주제는 참여자와 관련된 정보의 기록에 이용되는 데이터 베이스에 저장될 수 있다. 예를 들면, 로컬 사용자에 의해 통신 단말로 입력되는 스피치 정보가 현재 통신의 원거리 사용자와 관련 있고, 스피치 정보의 감정 상태의 타입은 분노(anger)인 경우, 가상 스피치의 컨텐츠는 로컬 사용자의 감정을 제어하기 위해 로컬 사용자를 설득하는 즉각적인 정보를 포함할 수 있다. 예를 들면, 로컬 사용자의 스피치 정보의 주제가 원거리 사용자의 반감을 유발하는 주제(예: 원거리 사용자의 나이)를 포함하는 경우, 가상 스피치의 컨텐츠는 날씨, 뉴스 등과 같이 언급된 주제와는 상이한 주제를 포함할 수 있다.According to one embodiment, when the person referred to in the speech information input to the communication terminal is a participant of the current call (e.g., a local user or a remote user participating in the call) or if the subject includes a predetermined topic, May include immediate information generated according to the emotional state of the speech information, or subject information different from the current subject. According to one embodiment, the predetermined subject may be a subject that changes the emotional state of the participant, or it may be a subject that gives the participant an antagonism. The subject may be stored in a database used to record information related to the participant. For example, if the speech information input to the communication terminal by the local user is related to the remote user of the current communication and the type of the emotion state of the speech information is anger, the content of the virtual speech may include the emotion of the local user And may include immediate information to persuade the local user to control it. For example, if the subject of the local user's speech information includes a subject that causes the remote user's despair (e.g., the age of the remote user), the content of the virtual speech may include a topic that is different from the subject .
일 실시 예에 따른 표현 속성은 가상 스피치의 이전 표현 속성을 조절하여 획득 또는 생성될 수 있다. 가상 스피치의 표현 속성은 감정 상태 및/또는 감정 모드를 포함하기 때문에, 이전 감정 속성을 조절하는 것은 감정 상태를 조절하는 것 및/또는 표현 모드를 조절하는 것을 포함할 수 있다.The presentation attributes according to an embodiment may be obtained or generated by adjusting the previous presentation attributes of the virtual speech. Since the presentation attribute of the virtual speech includes the emotional state and / or emotional mode, adjusting the previous emotional attribute may include adjusting the emotional state and / or adjusting the presentation mode.
일 실시 예에 따라 감정 상태를 조절하는 것은 감정 상태를 억제하는 것 및/또는 감정 상태를 향상 시키는 것을 포함할 수 있다. 감정 상태의 억제는 기쁜 감정 상태를 온화 또는 우울의 감정 상태로 조절하는 것과 같이, 긍정적인 타입의 감정 상태를 중립 타입 또는 부정 타입의 감정 상태로 조절하는 것, 및/또는 중립적인 타입의 감정 상태를 부정적인 타입의 감정 상태로 조절하는 것을 포함할 수 있다. 일 실시 예에 따라 감정 상태의 억제는 감정 상태의 기쁨의 정도를 높음에서 낮음으로 하는 것과 같이, 감정 상태를 높음에서 낮음으로 조절하는 것을 포함할 수 있다. 일 실시 예에 따라 감정 상태의 향상은 감정 상태를 온화 또는 우울에서 기쁨으로 조절하는 것과 같이, 부정적인 타입의 감정 상태를 중립 또는 긍정 타입의 감정 상태로 조절하는 것, 또는 중립 타입의 감정 상태를 긍정 상태의 감정 상태로 조절하는 것을 포함할 수 있다. 일 실시 예에 따라 감정 상태를 향상시키는 것은 기쁨의 감정 상태의 정도를 낮음에서 높음으로 조절하는 것과 같이, 감정 상태를 낮은 상태에서 높은 상태로 조절하는 것을 포함할 수 있다. Adjusting the emotional state in accordance with an embodiment may include suppressing the emotional state and / or improving the emotional state. The suppression of the emotional state may include adjusting the positive type of emotional state to a neutral or negative type of emotional state, such as adjusting the happy emotional state to a mood or depressed emotional state, and / To a negative type of emotional state. In accordance with one embodiment, suppression of the emotional state may include adjusting the emotional state from high to low, such as from high to low levels of joy in the emotional state. According to one embodiment, the enhancement of the emotional state may include adjusting the emotional state of the negative type to an emotional state of a neutral or positive type, such as modulating the emotional state of the emotional state from mild or depressive to pleasurable, To an emotional state of the state. Improving the emotional state in accordance with an embodiment may include adjusting the emotional state from a low state to a high state, such as adjusting the degree of joy emotional state from low to high.
일 실시 예에 따라, 가상 스피치의 표현 속성은 통신 단말로 입력되는 스피치 정보의 컨텐츠에 따라서 조절될 수 있다. 예를 들면, 스피치 정보의 컨텐츠가 가상 캐릭터의 상태 정보에 기설정되어 있는 흥미로운 키워드를 포함하고 있는 경우, 가상 스피치의 감정 상태는 향상될 수 있다. 다른 예로, 스피치 정보의 컨텐츠가 상태 정보에 기설정되어 있는 반감적인 키워드를 포함하는 경우, 가상 스피치의 이전 감정 상태는 억제될 수 있다. 예를 들면, 통신 단말에 입력되는 스피치 정보의 컨텐츠가 긍정적인 문장을 포함하는 경우, 이전 가상 스피치의 감정 상태는 향상될 수 있다. 여기서, 긍정적인 문장은 인사하거나 인사에 대답하기 위해 사용될 수 있는 문장일 수 있다. 통신 단말로 입력되는 스피치 정보의 컨텐츠가 가상 캐릭터인 민수에게 인사하는 것을 포함하는 경우 가상의 가상 스피치의 감정 상태는 향상될 수 있다. 다른 예로, 스피치 정보의 컨텐츠가 명령문을 포함하는 경우, 이전 가상 스피치의 감정 상태는 억제될 수 있다. 명령문은 요청이나 명령하기 위해 이용되는 문장일 수 있다. 통신 단말로 입력되는 스피치의 컨텐츠가 “목소리를 낮춰요 민수”와 같이 명령문 구조를 포함하는 경우, 가상 캐릭터 민수의 가상 스피치의 감정 상태는 억제될 수 있다.According to one embodiment, the presentation attribute of the virtual speech can be adjusted according to the content of the speech information input to the communication terminal. For example, if the content of the speech information includes an interesting keyword previously set in the status information of the virtual character, the emotional state of the virtual speech can be improved. As another example, if the content of the speech information includes a biased keyword preset in the status information, the previous emotion state of the virtual speech may be suppressed. For example, when the content of the speech information input to the communication terminal includes a positive sentence, the emotional state of the previous virtual speech can be improved. Here, a positive sentence can be a sentence that can be used to greet or answer a greeting. The emotional state of the virtual virtual speech can be improved when the content of the speech information input to the communication terminal includes greeting the private character, the virtual character. As another example, if the content of the speech information includes a statement, the emotional state of the previous virtual speech can be suppressed. The statement may be a sentence used to request or command. When the content of the speech input to the communication terminal includes a statement structure such as " lower the voice number ", the emotional state of the virtual speech of the virtual character can be suppressed.
일 실시 예에 따라, 가상 스피치의 표현 속성에 포함된 감정 상태는 단계 S220에서 획득된 상태 정보에 의해 결정될 수 있다. 예를 들면, 상태 정보가 스피치 정보를 입력한 사람을 향한 연민을 포함하는 경우, 감정 상태는 조절될 수 있다. 일 예로, 상태 정보가 스피치 정보를 입력한 사람을 향한 연민을 포함하는 경우, 상태 정보의 설정에 따라, 감정 상태가 향상될 수 있다. 다른 예로, 상태 정보가 스피치 정보를 입력한 사람을 향한 연민을 포함하지 않거나, 상태 정보가 스피치 정보를 입력한 사람의 상대방을 향한 연민을 포함하 는 경우, 상태 정보의 설정에 따라, 감정 상태가 억제될 수 있다.According to one embodiment, the emotional state contained in the presentation attribute of the virtual speech may be determined by the state information obtained in step S220. For example, if the state information includes compassion towards the person who entered the speech information, the emotional state can be adjusted. For example, when the state information includes compassion toward the person who has input the speech information, the emotion state can be improved according to the setting of the state information. As another example, when the state information does not include compassion toward the person who entered the speech information, or when the state information includes compassion toward the other party of the person who has input the speech information, depending on the setting of the state information, Can be suppressed.
통신 단말에 입력되는 스피치 정보의 컨텐츠가 기설정된 흥미로운 주제를 포함하는 경우, 일 실시 예에 따른 디바이스(100)는 감정 상태를 향상시킬 수 있다. 통신 단말에 입력되는 스피치 정보의 컨텐츠가 기설정된 반감을 일으키는 주제를 포함하는 경우, 일 실시 예에 따른 디바이스(100)는 감정 상태를 억제할 수 있다. When the content of the speech information input to the communication terminal includes a predetermined interesting subject, the device 100 according to an embodiment can improve the emotional state. When the content of the speech information input to the communication terminal includes a subject causing a predetermined half-tone, the device 100 according to one embodiment can suppress the emotional state.
흥미로운 주제 및 반감을 일으키는 주제는 각각 가상 캐릭터의 상태 정보를 결정하는 성격 변수에 의해 결정될 수 있다. 예를 들면, 성격 변수는 선호/민감 주제인지 여부를 결정하는 변수를 포함할 수 있다. 예를 들면, 성격 변수에 포함되는 선호도 변수는 기설정된 흥미로운 주제에 대한 키워드가 스피치 정보에서 획득되면 증가하고, 기설정된 반감을 일으키는 주제에 대한 키워드가 스피치 정보에서 획득되면 감소할 수 있다. 예를 들면, 성격 변수에 포함되는 선호도 변수는 예술(기설정된 흥미로운 주제)에 대한 키워드가 스피치 정보에서 획득되면 증가하고, 테러(기설정된 반감을 일으키는 주제)에 대한 키워드가 스피치 정보에서 획득되면 감소할 수 있다.Interesting topics and antipatterns can be determined by personality variables, which determine the status information of each virtual character. For example, a personality variable may include variables that determine whether it is a preference / sensitivity topic. For example, a preference variable included in a personality variable may increase when a keyword for a predetermined interesting subject is acquired from the speech information, and may decrease when a keyword for the subject causing the predetermined antipathy is obtained from the speech information. For example, a preference variable included in a personality variable increases when a keyword for art (predetermined interesting topic) is acquired from speech information, and decreases when a keyword for terrorism (a subject causing a predetermined antipathy) is acquired from speech information can do.
일 실시 예에 따라, 통신 단말에 입력되는 스피치 정보에 언급된 사람이 현재 통화의 참여자 중 한명인 경우, 일 실시 예에 따른 디바이스(100)는 가상 캐릭터의 감정 상태를 향상시킬 수 있다. According to one embodiment, when the person referred to in the speech information input to the communication terminal is one of the participants of the current call, the device 100 according to one embodiment can improve the emotional state of the virtual character.
일 실시 예에 따른 디바이스(100)는 통신 단말에 입력되는 스피치 정보로부터 획득한 감정 상태를 이용하여 상태 정보를 결정할 수 있다. 일 실시 예에 따른 디바이스(100)는 상태 정보를 이용하여 가상 캐릭터의 감정 상태를 결정할 수 있다. 예를 들면, 통신 단말에 입력되는 스피치 정보로부터 획득한 감정 상태가 비정상이거나, 비정상적인 감정 상태가 소정 기간 이상 지속된 경우, 일 실시 예에 따른 디바이스(100)는 현재 상태 정보를 갱신할 수 있다. 스피치 정보로부터 획득한 감정상태가 비정상적이라는 것은 통화 참여자 중 어느 한 참여자의 감정상태가 비정상적이라고 결정된 경우를 의미할 수도 있고, 통화 참여자 중 2인 이상의 감정상태가 비정상적이라고 결정된 경우를 의미할 수도 있다.The device 100 according to an exemplary embodiment may determine the status information using the emotion state acquired from the speech information input to the communication terminal. The device 100 according to an exemplary embodiment may determine the emotional state of the virtual character using the status information. For example, when the emotion state acquired from the speech information input to the communication terminal is abnormal or the abnormal emotion state continues for a predetermined period or more, the device 100 according to the embodiment can update the current state information. The fact that the emotion state acquired from the speech information is abnormal may mean a case where the emotion state of one of the call participants is determined to be abnormal or a case where two or more emotion states of the call participants are determined to be abnormal.
일 실시 예에 따른 디바이스(100)는 통화에 참여하는 참여자의 감정 상태를 참여자에 의해 통신 단말에 입력되는 스피치 정보를 통해 결정할 수 있다. 예를 들어, 통화에 참여하는 한 참여자의 스피치 정보로부터 획득한 감정 상태가 부정적 타입(예: 분노 타입)인 경우, 해당 참여자의 감정 상태는 비정상으로 나타내어질 수 있다. 다른 예로, 통화에 참여하는 두 참여자로부터 획득한 감정 상태가 모두 부정적 타입(예: 한 사람은 분노 타입이고 다른 한 사람은 우울 타입)인 경우, 해당 두 참여자의 감정 상태는 쌍방 비정상으로 나타내어질 수 있다. 다른 예로, 통화에 참여하는 두 참여자로부터 획득한 감정 상태가 각각 긍정 타입 및 부정 타입인 경우 (예: 한 사람은 분노 타입이고 다른 한 사람은 기쁨 타입)인 경우, 해당 두 참여자의 감정 상태는 일방 비정상 또는 상호 비정상으로 나타내어질 수 있다. The device 100 according to an exemplary embodiment may determine the emotional state of a participant participating in a call through the speech information input to the communication terminal by the participant. For example, if the emotion state acquired from the participant's speech information is a negative type (e.g., anger type), the emotion state of the participant may be represented abnormally. As another example, if the emotional states acquired from two participants participating in the call are both negative (eg, one is anger type and the other is depressive), the emotional state of the two participants may be represented as bilateral abnormal have. As another example, if the emotion states acquired from the two participants participating in the call are positive and negative types, respectively (e.g., one is anger type and the other is a joy type), the emotion states of the two participants Can be represented as abnormal or mutually abnormal.
일 실시 예에 따른 디바이스(100)는 감정 상태가 정상인지 여부를 감정 타입 뿐만 아니라 소정 감정의 지속 시간을 이용하여 결정할 수 있다. 예를 들면, 감정 타입의 종류와 감정 타입의 강도 및 감정 타입의 지속 시간을 모두 고려하여 해당 참여자의 감정 상태가 정상인지 여부를 결정할 수 있다.The device 100 according to an exemplary embodiment may determine whether the emotion state is normal using the emotion type as well as the duration of the predetermined emotion. For example, it is possible to determine whether the participant's emotional state is normal considering both the type of the emotional type, the intensity of the emotional type, and the duration of the emotional type.
일 실시 예에 따른 디바이스(100)는 통화 참여자의 한명 이상의 감정 상태가 비정상이라고 판단된 경우, 해당 참여자의 감정상태를 정상적인 상태로 전환하기 위해 필요한 컨텐츠 및 표현 속성에 따라 결정된 가상 스피치를 획득하여 출력할 수 있다. 또한, 디바이스(100)가 제공하는 가상 스피치에 따라서 통화 참여자의 감정 상태가 변경되는지 여부를, 일 실시 예에 따른 디바이스(100)는 결정할 수 있다.When it is determined that the emotional state of one or more participants of the call participant is abnormal, the device 100 according to the embodiment obtains the virtual speech determined according to the content and expression attributes necessary for switching the emotional state of the participant to the normal state, can do. In addition, the device 100 according to one embodiment can determine whether the emotional state of the call participant changes according to the virtual speech provided by the device 100. [
일 실시 예에 따른 디바이스(100)가 획득하여 출력하는 가상 스피치는 가상 스피치의 컨텐츠 및 가상 스피치의 표현 속성에 따라 결정될 수 있다. 표현 속성은 가상 스피치의 표현 방식에 대한 정보를 포함할 수 있다.The virtual speech obtained and output by the device 100 according to an embodiment may be determined according to the presentation attributes of the virtual speech and the virtual speech. The presentation attribute may include information on how to represent the virtual speech.
일 실시 예에 따른 표현 속성은 통신 단말에 입력되는 스피치 정보로부터 획득되는 표현 속성에 따라 결정될 수 있다. 예를 들면, 통신 단말로 입력되는 스피치 정보로부터 획득되는 표현 속성의 분석 결과, A지방 사투리에 대한 속성에 대한 빈도와 정도가 높은 경우, 디바이스(100)가 제공하는 가상 스피치의 표현 속성도 A지방 사투리의 표현 속성을 포함할 수 있다.The presentation attribute according to one embodiment can be determined according to the presentation attribute obtained from the speech information input to the communication terminal. For example, when the frequency and degree of the attribute for the A local dialy are high as a result of analysis of the presentation attribute obtained from the speech information input to the communication terminal, the expression attribute of the virtual speech provided by the device 100 is also A It can include the expression attribute of a dialect.
일 실시 예에 따른 디바이스(100)는 기설정된 복수개의 표현 속성 중 하나를 결정함으로써, 디바이스가 제공하는 가상 스피치의 표현 속성을 결정할 수 있다. 예를 들면, 기설정된 가족 모드가 선택되는 경우, 일 실시 예에 따른 디바이스(100)는 가족들간이 사용하는 사투리 및 언어 습관에 따른 표현 속성에 따라 가상 스피치를 획득할 수 있다. 다른 예로, 기설정된 복수개의 표현 모드는 가족 모드 외에도 업무 모드, 휴식 모드 등이 있을 수 있으며 이에 제한되지 않는다.The device 100 according to one embodiment can determine the presentation attribute of the virtual speech provided by the device by determining one of a plurality of preset presentation attributes. For example, when the predetermined family mode is selected, the device 100 according to an exemplary embodiment can obtain virtual speech according to the expression attributes according to the dialects and language habits used between the family members. As another example, in addition to the family mode, the predetermined plurality of presentation modes may include a business mode, a rest mode, and the like, but are not limited thereto.
도 3은 일 실시 예에 따른 디바이스(100)가 가상 스피치를 획득하여 출력하는 방법의 흐름도이다.FIG. 3 is a flow diagram of a method in which a device 100 according to one embodiment obtains and outputs a virtual speech.
단계 S330 및 단계 S340은 각각 도 2에서 상술된 단계 S220 및 단계 S230에 대응되므로 전체적인 설명을 간단히 하기 위해 상세한 설명을 생략한다.Steps S330 and S340 correspond to steps S220 and S230 described above in FIG. 2, respectively, so that a detailed description will be omitted for the sake of simplicity.
단계 S310에서 일 실시 예에 따른 디바이스(100)는 적어도 하나의 참여자에 대한 정보를 획득하기 위해 문의하는 가상 스피치를 출력한다.In step S310, the device 100 according to one embodiment outputs a virtual speech query to obtain information about at least one participant.
예를 들면, 일 실시 예에 따른 디바이스(100)는 제1 참여자와 제2 참여자간에 대화가 진행되는 동안 가상 스피치를 통해서 제1 참여자의 오늘의 스케줄을 문의하는 가상 스피치를 출력할 수 있다. 다른 예로, 제1 참여자와 제2 참여자간의 스포츠에 대한 대화가 진행되는 경우, 일 실시 예에 따른 디바이스(100)는 제1 참여자에게 스포츠가 제1 참여자가 흥미로워하는 주제인지 여부를 문의하는 컨텐츠를 포함하는 가상 스피치를 출력할 수 있다.For example, the device 100 according to one embodiment may output virtual speech querying a first participant's current schedule through virtual speech during a conversation between a first participant and a second participant. In another example, if a conversation is about a sport between a first participant and a second participant, the device 100 according to one embodiment may provide the first participant with content that asks whether the sport is a subject that the first participant is interested in And can output the included virtual speech.
단계 S320에서 일 실시 예에 따른 디바이스(100)는 문의하는 가상 스피치를 통해 획득된 추가 스피치 정보를 포함하는 스피치 정보를 획득한다.In step S320, the device 100 according to one embodiment obtains speech information that includes additional speech information obtained via the querying virtual speech.
일 실시 예에 따른 디바이스(100)는 단계 S310에서 출력한 가상 스피치에 대응하여 참여자가 제공하는 스피치 정보를 획득할 수 있다. 일 실시 예에 따른 디바이스(100)는 단계 S310에서 출력한 가상 스피치에 대응하여 참여자가 제공하는 스피치 정보인 추가 스피치 정보를 획득할 수 있다. 또한 일 실시 예에 따른 디바이스(100)는 추가 스피치 정보를 포함하는 스피치 정보를 통신 단말을 통해 획득하고, 스피치 정보에 포함되는 추가 스피치 정보를 분석하여 추가 정보를 획득할 수 있다. 추가 정보는 참여자에 대한 정보를 포함할 수 있으나 이에 한정되지 않는다.The device 100 according to an exemplary embodiment may acquire speech information provided by a participant corresponding to the virtual speech output in step S310. The device 100 according to an exemplary embodiment may obtain additional speech information, which is speech information provided by a participant corresponding to the virtual speech output in step S310. In addition, the device 100 according to an embodiment may acquire the speech information including the additional speech information through the communication terminal, and may analyze the additional speech information included in the speech information to obtain additional information. Additional information may include, but is not limited to, information about the participant.
단계 S350에서 일 실시 예에 따른 디바이스(100)는 단계 S340에서 획득한 가상 스피치를 출력한다.In step S350, the device 100 according to one embodiment outputs the virtual speech obtained in step S340.
예를 들면, 일 실시 예에 따른 디바이스(100)는 단계 S340에서 획득한 가상 스피치를 음성 형태로 출력할 수 있다. 다른 예로, 일 실시 예에 따른 디바이스(100)는 단계 S340에서 획득한 가상 스피치를 문자 형태로 출력할 수 있다.For example, the device 100 according to one embodiment may output the virtual speech obtained in step S340 in a voice form. As another example, the device 100 according to one embodiment may output the virtual speech obtained in step S340 in a character form.
일 실시 예에 따른 디바이스(100)는 단계 S340에서 획득한 가상 스피치를 통화중인 두 참여자 중 어느 한 참여자에게만 제공할 수 있다. 또는 일 실시 예에 따른 디바이스(100)는 단계 S340에서 획득한 가상 스피치를 통화중인 두 참여자 모두에게 제공할 수 있다. 일 실시 예에 따른 디바이스(100)는 스피커 등을 통하여 단수 또는 복수의 참여자에게 단계 S340에서 획득한 가상 스피치를 출력할 수 있다.The device 100 according to one embodiment may provide the virtual speech obtained in step S340 only to one of the two participants in the call. Or device 100 according to one embodiment may provide the virtual speech obtained in step S340 to both participants in the call. The device 100 according to an exemplary embodiment may output the virtual speech obtained in step S340 to a single participant or a plurality of participants through a speaker or the like.
일 실시 예에 따른 디바이스(100)는 S330에서 획득된 상태 정보에 따른 표현 방식의 가상 스피치를 생성한 후, 통신 단말을 통해 생성된 가상 스피치를 출력할 수 있다. 예를 들면 가상 스피치는 로컬 통신 단말의 스피커를 통해 직접 출력될 수 있다. 가상 스피치는 부호화 과정이 수행된 후 전화 네트워크를 통해 원거리 통신 단말로 전송될 수 있고, 원거리 통신 단말의 스피커를 통해 원거리 통신 단말에 의해 출력될 수 있다.The device 100 according to an exemplary embodiment may generate a virtual speech in a presentation format according to the state information obtained in S330, and then output virtual speech generated through the communication terminal. For example, the virtual speech may be output directly through the speaker of the local communication terminal. The virtual speech may be transmitted to the remote communication terminal through the telephone network after the encoding process is performed, and may be output by the remote communication terminal through the speaker of the remote communication terminal.
일 실시 예에 따른 디바이스(100)는 ⅰ) 통신 단말을 통해 입력되는 스피치 정보의 컨텐츠가 가상 캐릭터에 대한 기설정된 민감 키워드를 포함하는 경우, 스피치 정보를 출력하는 것을 지연하거나 ⅱ)출력 명령이 수신된 경우, 스피치 정보를 출력할 수 있다. 출력 명령은 통신 단말이 송신하거나 기설정된 시간 간격 후에 통신 단말에 의해 자동적으로 송신될 수 있다. 예를 들면 통신 중에, 로컬 통신 단말로 입력되는 스피치 정보가 언쟁을 유발하는 기설정된 민감 키워드(반대와 같이)를 포함하는 경우, 로컬 통신 단말의 가상 캐릭터는 스피치 정보를 원거리 통신 단말에 전송하는 것을 지연하고, 주제를 바꾸거나 감정을 조절하기 위한 제안을 포함하는 가상 스피치를 로컬 사용자에게 제공할 수 있다. 일 실시 예에 따른 디바이스(100)는 스피치 정보의 전송이 지연되는 동안 사적 모드(private mode)로 가상 스피치를 이용하여 로컬 사용자나 원거리 사용자와 통신할 수 있다.The device 100 according to an embodiment may be configured to delay output of speech information if i) content of speech information input via a communication terminal includes a predetermined sensitive keyword for a virtual character, or ii) , It is possible to output the speech information. The output command may be transmitted by the communication terminal or automatically transmitted by the communication terminal after a predetermined time interval. For example, in a case where the speech information input to the local communication terminal includes a predetermined sensitive keyword (as opposed to) that causes a dispute during communication, the virtual character of the local communication terminal transmits the speech information to the remote communication terminal Delay, change the subject, or suggest emotions to the local user. The device 100 in accordance with one embodiment may communicate with a local user or a remote user using virtual speech in a private mode while the transmission of speech information is delayed.
도 4는 일 실시 예에 따른 디바이스(100)가 스피치 정보 및 상태 정보를 이용하여 가상 스피치를 획득하는 방법의 흐름도이다.4 is a flow diagram of a method in which a device 100 according to one embodiment obtains virtual speech using speech information and status information.
단계 S410에서 일 실시 예에 따른 디바이스(100)는 스피치 정보를 이용하여 가상 스피치의 컨텐츠를 획득한다.In step S410, the device 100 according to one embodiment uses the speech information to obtain the content of the virtual speech.
일 실시 예에 따른 디바이스(100)는 통신 단말로부터 획득되는 스피치 정보를 분석하여 주제를 결정하고, 결정된 주제 및 상황에 대응되는 컨텐츠를 획득할 수 있다. 예를 들면, 축구에 대한 주제로 두 참여자가 통화하고 있는 경우, 일 실시 예에 따른 디바이스(100)는 최근 축구 기사에 대한 내용을 가상 스피치의 컨텐츠로 결정할 수 있다.The device 100 according to an exemplary embodiment may analyze the speech information obtained from the communication terminal to determine a subject, and may acquire content corresponding to the determined subject and situation. For example, if two participants are talking on a topic about football, the device 100 according to one embodiment may determine the content of a recent soccer article as the content of a virtual speech.
단계 S420에서 일 실시 예에 따른 디바이스(100)는 상태 정보를 이용하여 가상 스피치의 표현 방식을 결정한다.In step S420, the device 100 according to an embodiment determines the presentation method of the virtual speech using the status information.
일 실시 예에 따른 표현 방식은 목소리 톤이나 말의 빠르기 등과 같이 가상 스피치가 음성으로 표현될 때 표현되는 방식을 의미할 수 있다. 일 실시 예에 따른 표현 방식은 표현 방식은 표현 속성에 따라 결정될 수 있다. The presentation method according to an exemplary embodiment may be a method in which a virtual speech is expressed by voice, such as a voice tone or a speech speed. The presentation method according to one embodiment may be determined according to the presentation property.
표현 속성은 표현 스타일, 가상 캐릭터의 감정 상태, 표현 모드 등을 포함하며, 상태 정보에 따라 결정될 수 있다. 예를 들면 일 실시 예에 따른 디바이스(100)는 상태 정보에 대응하는 표현 속성을 결정하고, 결정된 표현 속성에 따라 가상 스피치의 표현 방식을 결정할 수 있다.An expression attribute includes an expression style, an emotional state of a virtual character, a presentation mode, and the like, and can be determined according to state information. For example, the device 100 according to an exemplary embodiment may determine a presentation attribute corresponding to the status information, and determine a presentation method of the virtual speech according to the determined presentation attribute.
일 예로, 일 실시 예에 따른 디바이스(100)는 상태 정보에 따라 통화에 참여하는 참여자들간의 감정상태가 지나치게 격앙된 경우, 부드럽고 느린 어조를 통해 컨텐츠를 표현하도록 가상 스피치의 표현 방식을 결정할 수 있다.For example, the device 100 according to an exemplary embodiment may determine the presentation method of the virtual speech to express the content through the soft and slow tones when the emotional state between the participants participating in the call is excessively furious according to the status information .
단계 S430에서 일 실시 예에 따른 디바이스(100)는 단계 S410에서 획득한 컨텐츠가 단계 S420에서 결정된 표현 방식으로 표현되는 가상 스피치를 획득한다.In step S430, the device 100 according to the embodiment obtains the virtual speech in which the content obtained in step S410 is expressed by the expression determined in step S420.
예를 들면, 일 실시 예에 따른 디바이스(100)는 단계 S410에서 결정된 축구 기사에 대한 내용을 단계 S420에서 결정된 표현 방식에 따라 표현하는 가상 스피치를 획득할 수 있다.For example, the device 100 according to one embodiment may obtain a virtual speech representing the content of the soccer article determined in step S410 according to the expression determined in step S420.
도 5는 일 실시 예에 따른 디바이스(100)가 스피치 정보에 기설정된 키워드가 포함되는지 여부에 따라서 가상 스피치를 획득하는 방법의 흐름도이다.5 is a flow diagram of a method for a device 100 according to one embodiment to obtain virtual speech according to whether a keyword preset in speech information is included.
단계 S510에서 일 실시 예에 따른 디바이스(100)는 스피치 정보가 기설정된 키워드를 포함하는지 여부를 결정한다.In step S510, the device 100 according to one embodiment determines whether the speech information includes a preset keyword.
예를 들면, 일 실시 예에 따른 디바이스(100)는 통신 단말을 통해 획득되는 스피치 정보가 통화 참여자의 기피 주제에 대한 키워드를 포함하는지 여부를 결정할 수 있다. 다른 예로, 일 실시 예에 따른 디바이스(100)는 통신 단말을 통해 획득되는 스피치 정보가 통화 참여자의 선호 주제에 대한 키워드를 포함하는지 여부를 결정할 수 있다.For example, the device 100 in accordance with one embodiment may determine whether the speech information obtained via the communication terminal includes a keyword for the subject of the call participant avoidance. As another example, the device 100 according to one embodiment may determine whether the speech information obtained via the communication terminal includes a keyword for the talk participant's preferred topic.
단계 S520에서 일 실시 예에 따른 디바이스(100)는 스피치 정보가 기설정된 키워드를 포함하는 경우, 대화의 주제와 상이한 주제에 대한 컨텐츠를 포함하는 가상스피치를 획득한다.In step S520, the device 100 according to one embodiment obtains a virtual speech including content for a subject different from the subject of the conversation, if the speech information includes the predetermined keyword.
예를 들면, 일 실시 예에 따른 디바이스(100)가 통신 단말을 통해 획득한 스피치 정보에 통화 참여자의 기피 주제에 대한 키워드가 포함된 경우, 현재 주제와 상관 없는 주제에 대한 컨텐츠를 포함하는 가상 스피치를 획득하고 출력할 수 있다.For example, if the speech information acquired by the device 100 according to the embodiment through the communication terminal includes a keyword of a talk participant's avoiding topic, a virtual speech including content for a subject not related to the current topic Can be obtained and output.
도 6은 일 실시 예에 따른 디바이스(100)가 감정 정보에 기초하여 가상 스피치를 획득하는 방법의 흐름도이다.6 is a flow diagram of a method for a device 100 according to one embodiment to obtain virtual speech based on emotion information.
단계 S610에서 일 실시 예에 따른 디바이스(100)는 적어도 하나의 참여자의 감정 상태가 비정상적인지 여부를 감정 정보를 이용하여 결정한다.In step S610, the device 100 according to one embodiment determines whether the emotion state of at least one participant is abnormal using emotion information.
일 실시 예에 따른 상태 정보는 감정 정보를 포함할 수 있다. 일 실시 예에 따른 감정 정보는 감정의 종류에 대한 정보 및 감정의 레벨에 대한 정보를 포함할 수 있다. 감정의 종류는 감정 상태는 기쁨(elation), 화(anger), 슬픔(sorrow), 우울(depression) 및 온화(mildness) 등을 포함할 수 있으며 이에 제한되지 않는다.The state information according to one embodiment may include emotion information. The emotion information according to one embodiment may include information on the type of emotion and information on the level of emotion. Types of emotions may include, but are not limited to, emotion states such as elation, anger, sorrow, depression and mildness.
예를 들면, 감정 정보는 참여자의 감정 상태가 화난 상태 및 화난 정도에 대한 정보를 포함할 수 있다. 일 실시 예에 따른 디바이스(100)는 통신 단말을 통해 획득되는 스피치 정보를 통해 감정 정보를 획득될 수 있다. 일 실시 예에 따른 디바이스(100)는 통신 단말을 통해 획득되는 스피치 정보를 통해 복수개의 감정 상태 중 하나의 감정 상태가 어느 정도 레벨인지 결정할 수 있다.For example, the emotion information may include information about the participant's emotional state and the angry state. The device 100 according to one embodiment may obtain emotion information through the speech information obtained through the communication terminal. The device 100 according to one embodiment can determine how much the emotion state of one of the plurality of emotion states is, through the speech information obtained through the communication terminal.
단계 S620에서 일 실시 예에 따른 디바이스(100)는 감정 상태가 비정상적이라고 결정된 경우, 대화의 주제와 상이한 주제에 대한 컨텐츠를 포함하는 가상 스피치를 획득한다.In step S620, the device 100 according to one embodiment obtains a virtual speech that includes content for a subject different from the subject of the conversation if the emotional state is determined to be abnormal.
예를 들면, 일 실시 예에 따른 디바이스(100)는 참여자가 소정 기간 이상 동안 소정의 감정 상태를 유지하고 있음을 확인한 경우, 감정 상태가 비정상적이라고 결정할 수 있다. 또한, 일 실시 예에 따른 디바이스(100)는 통화 중인 참여자의 감정 상태가 비정상적이라고 결정한 경우, 현재 대화 주제와 상이한 주제에 대한 컨텐츠를 포함하는 가상 스피치를 획득할 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 참여자의 화난 감정 상태가 1분 이상 유지됨을 확인한 경우, 현재 대화 주제와 상이한 스포츠에 대한 가상 스피치를 획득하여 출력할 수 있다.For example, the device 100 according to one embodiment may determine that the emotional state is abnormal when the participant confirms that he or she is maintaining a predetermined emotional state for a predetermined period or more. In addition, the device 100 according to one embodiment may obtain virtual speech including content for a topic different from the current conversation subject, if the emotional state of the participant in the call is determined to be abnormal. For example, device 100 according to one embodiment may obtain and output virtual speech for a different sport than the current conversation subject, if it has confirmed that the participant's anxious emotional state is maintained for more than one minute.
도 7은 일 실시 예에 따른 디바이스(100)가 스피치 정보에 포함된 키워드를 이용하여 가상 스피치를 획득하는 일례를 도시한 도면이다.7 is a diagram illustrating an example in which the device 100 according to an embodiment acquires virtual speech using a keyword included in speech information.
일 실시 예에 따라, 통신 단말로 입력되는 스피치 정보의 컨텐츠가 가상 캐릭터의 상태 정보 내의 기설정된 민감 키워드(sensitive keyword)를 포함하는 경우, 가상 스피치의 컨텐츠는 현재 주제와는 상이한 즉각적인 정보(prompt information) 또는 주제 정보(topic information)를 포함할 수 있다. 일 실시 예에 따른 기설정된 민감 키워드는 상태 정보의 성격 변수의 민감 키워드 필드에 저장될 수 있다. 일 실시 예에 따른 통화의 컨텐츠가 기설정된 민감 키워드와 관련된 경우, 통화는 부정적인 영향을 받을 수 있다. 예를 들면, 스피치 정보의 컨텐츠가 테러라는 키워드를 포함하는 경우, 그리고 테러라는 키워드는 가상 캐릭터의 상태 정보의 민감 키워드 중 하나인 경우, 생성될 가상 스피치의 컨텐츠는 “주제를 바꿔주세요”라는 효과를 주기 위한 기설정된 즉각적인 정보를 포함하거나, 직접적으로 “스포츠” 주제와 같이 현재 주제와 상이한 주제 정보를 포함할 수 있다.According to one embodiment, when the content of the speech information input to the communication terminal includes a predetermined sensitive keyword in the status information of the virtual character, the contents of the virtual speech may include prompt information ) Or topic information. The predetermined sensitive keyword according to an exemplary embodiment may be stored in the sensitive keyword field of the personality variable of the status information. If the content of the call according to one embodiment is associated with a predetermined sensitive keyword, the call may be negatively affected. For example, if the content of the speech information includes a keyword of terrorism, and the keyword of terrorism is one of the sensitive keywords of the status information of the virtual character, the content of the virtual speech to be generated is " , Or may include subject information that is different from the current subject, such as a " sports " subject, directly.
예를 들면 제1 통신 단말(110)로부터 제2 통신 단말(120)로 전송된 스피치 정보에 “테러상황이 말야”(710)라는 컨텐츠가 포함된 경우, 일 실시 예에 따른 디바이스(100)는 “주제를 바꿔주세요”(720)라는 컨텐츠를 포함하는 가상 스피치를 제1 통신 단말(110) 및/또는 제2 통신 단말(120)에 출력할 수 있다.For example, in the case where the speech information transmitted from the first communication terminal 110 to the second communication terminal 120 includes the content " Terror situation is 710 ", the device 100 according to one embodiment To the first communication terminal 110 and / or the second communication terminal 120, the virtual speech including the content " Replace the subject " (720).
다른 예로 제1 통신 단말(110)로부터 제2 통신 단말(120)로 전송된 스피치 정보에 “테러상황이 말야”(710)라는 컨텐츠가 포함된 경우, 일 실시 예에 따른 디바이스(100)는 “어제 스포츠 뉴스 보셨나요?”(730)라는 컨텐츠를 포함하는 가상 스피치를 제1 통신 단말(110) 및/또는 제2 통신 단말(120)에 출력할 수 있다.As another example, if the speech information transmitted from the first communication terminal 110 to the second communication terminal 120 includes content such as " Terror situation " 710, (730) to the first communication terminal (110) and / or the second communication terminal (120).
도 8은 일 실시 예에 따른 디바이스(100)가 스피치 정보에 포함된 키워드를 이용하여 가상 스피치를 획득하는 일례를 도시한 도면이다.8 is a diagram illustrating an example in which the device 100 according to an embodiment acquires virtual speech using a keyword included in speech information.
일 실시 예에 따라, 기설정된 타입은 숫자 타입(numeric type) 및/또는 시간 타입(temporal type)을 포함할 수 있다. 통신 단말에 입력되는 스피치 정보의 컨텐츠가 숫자 타입의 키워드를 포함하는 경우, 가상 스피치의 컨텐츠는 연락처 목록 갱신 및 숫자 변환과 관련된 즉각적인 정보를 포함할 수 있다. 그리고 스피치 정보의 컨텐츠가 시간 타입의 키워드를 포함하는 경우, 가상 스피치의 컨텐츠는 스케줄 중복(conflict), 시간 리마인더, 리마인더와 시간 차이 또는 여행 리마인더와 관련된 즉각적인 정보를 포함할 수 있다. 예를 들면, 스피치 정보의 컨텐츠가 “7:00 am 내일”이라는 키워드를 포함하는 경우, 통신 단말은 사용자의 내일 오전 7:00의 스케줄 정보를 탐색할 수 있다. 중복이 탐지되면, 생성된 가상 스피치의 컨텐츠는 중복(conflict)된다는 즉각적인 정보를 포함할 수 있다.According to one embodiment, the predetermined type may include a numeric type and / or a temporal type. If the content of the speech information input to the communication terminal includes a numeric type keyword, the content of the virtual speech may include immediate information related to the contact list update and numeric conversion. If the content of the speech information includes a keyword of a time type, the content of the virtual speech may include immediate information related to schedule conflict, a time reminder, a reminder and a time difference or a travel reminder. For example, when the content of the speech information includes the keyword " 7:00 am tomorrow ", the communication terminal can search for the schedule information of the user tomorrow at 7:00 am. If duplicates are detected, the content of the generated virtual speech may contain immediate information that it is a conflict.
예를 들면 제1 통신 단말(110)로부터 제2 통신 단말(120)로 전송된 스피치 정보에 “내일 오전 7시에 카페에서 볼까?”(830)라는 컨텐츠가 포함된 경우, 일 실시 예에 따른 디바이스(100)는 제1 통신 단말의 사용자에 대한 스케줄을 분석하고, 분석 결과에 따라 “내일 오전 7시에 회의 스케줄이 이미 있어요.”(820)라는 컨텐츠를 포함하는 가상 스피치를 제1 통신 단말 제어부(810)에 전송할 수 있다.For example, if the speech information transmitted from the first communication terminal 110 to the second communication terminal 120 includes contents such as " Let's have a cafe at 7:00 am tomorrow morning? (830) The device 100 analyzes the schedule for the user of the first communication terminal and, according to the analysis result, transmits the virtual speech including the content " There is already the meeting schedule at 7 am tomorrow " (820) To the control unit 810.
일 실시 예에 따른 디바이스(100)는 제1 통신 단말(110) 내에 위치할 수도 있고, 제2 통신 단말(120) 내에 위치할 수도 있고, 제1 통신 단말(110) 및 제2 통신 단말(120)의 외부에 위치할 수도 있다.A device 100 according to one embodiment may be located within a first communication terminal 110 and may be located within a second communication terminal 120 and may include a first communication terminal 110 and a second communication terminal 120 As shown in FIG.
도 9는 일 실시 예에 따라 정보를 제공하는 디바이스(100)의 구성을 나타내는 블록도이다.9 is a block diagram illustrating a configuration of a device 100 for providing information in accordance with one embodiment.
도 9를 참조하면, 일 실시 예에 따른 디바이스(100)는 수신부(910), 제어부(920) 및 출력부(930) 를 포함한다. 도 9에 도시된 디바이스(100)에는 본 실시 예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 9에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.9, a device 100 according to one embodiment includes a receiving unit 910, a control unit 920, and an output unit 930. Only the components associated with this embodiment are shown in the device 100 shown in Fig. Therefore, it will be understood by those skilled in the art that other general-purpose components other than the components shown in FIG. 9 may be further included.
일 실시 예에 따른 수신부(910)는 통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 통신 단말을 통해 획득한다.A receiving unit 910 according to an embodiment acquires speech information provided by at least one participant participating in a conversation through a communication terminal using a communication terminal.
일 실시 예에 따른 스피치 정보는 음성 신호를 통해 획득되는 정보를 포함할 수 있다. 예를 들면, 스피치 정보는 통신 단말을 통해 수신되는 통신 단말 사용자의 음성 신호로부터 획득되는 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말 사용자의 음성 신호의 분석을 통해 획득되는 키워드 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말 사용자의 음성 신호의 분석을 통해 획득되는 목소리 정보를 포함할 수 있다.Speech information according to one embodiment may include information obtained via a voice signal. For example, the speech information may include information obtained from a voice signal of a communication terminal user received via the communication terminal. As another example, the speech information may include keyword information obtained through analysis of the speech signal of the communication terminal user. As another example, the speech information may include voice information obtained through analysis of the speech signal of the communication terminal user.
일 실시 예에 따른 수신부(910)는 하나 이상의 통신 단말로부터 스피치 정보를 획득할 수 있다. 예를 들면, 수신부(910)는 제1 통신 단말 및/또는 제2 통신 단말로부터 스피치 정보를 획득할 수 있다.The receiving unit 910 according to an embodiment may acquire the speech information from one or more communication terminals. For example, the receiving unit 910 can acquire the speech information from the first communication terminal and / or the second communication terminal.
일 실시 예에 따른 통신 단말은 마이크와 스피커를 포함할 수 있다. 또한, 일 실시 예에 따른 통신 단말은 스마트폰, 태플릿 컴퓨터, 개인 디지털 기기, 랩탑 컴퓨터, 데스크탑 컴퓨터 등을 포함할 수 있으며, 이에 제한되지 않는다.The communication terminal according to an exemplary embodiment may include a microphone and a speaker. In addition, the communication terminal according to one embodiment may include, but is not limited to, a smart phone, a tablet computer, a personal digital assistant, a laptop computer, a desktop computer, and the like.
일 실시 예에 따른 제어부(920)는 통신 단말을 통해 획득된 음성 신호를 분석하여 스피치 정보를 획득할 수 있다. 일 실시 예에 따른 제어부(920)는 수신부(910)를 포함할 수 있다. 예를 들면, 제어부는 통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 획득할 수 있다.The controller 920 according to an exemplary embodiment may analyze speech signals obtained through the communication terminal to obtain speech information. The controller 920 may include a receiver 910 according to an exemplary embodiment of the present invention. For example, the control unit may use the communication terminal to obtain speech information provided by at least one participant participating in the conversation.
또는 일 실시 예에 따른 통신 단말이 음성 신호를 획득하고, 획득한 음성 신호를 분석한 결과를 디바이스(100)에 전송할 수 있다. 제어부(920)는 통신 단말로부터 수신한 음성 신호 분석 결과를 이용하여 스피치 정보를 획득할 수 있다.Alternatively, the communication terminal according to an exemplary embodiment may acquire a voice signal and transmit the result of analyzing the acquired voice signal to the device 100. The control unit 920 can acquire the speech information using the speech signal analysis result received from the communication terminal.
통신 단말 또는 제어부(920)는 음성 신호를 수신할 수 있다. 예를 들면, 사용자의 음성 신호를 통신 단말의 마이크를 통해 수신할 수 있다. 예를 들면, 제1 통신 단말의 사용자의 음성 신호를 제1 통신 단말의 마이크를 통해 수신한 경우, 수신부(910)는 제1 통신 단말을 통해 제1 통신 단말 사용자의 음성 신호를 획득할 수 있다. 다른 예로, 제2 통신 단말의 사용자의 음성 신호를 제2 통신 단말의 마이크를 통해 수신한 경우, 수신부(910)는 제2 통신 단말을 통해 제2 통신 단말 사용자의 음성 신호를 획득할 수 있다. 다른 예로, 로컬 통신 단말의 사용자의 음성 신호를 로컬 통신 단말의 마이크를 통해 수신한 경우, 디바이스(100)는 로컬 통신 단말을 통해 로컬 통신 단말 사용자의 음성 신호를 획득할 수 있다. 다른 예로, 원거리 통신 단말의 사용자의 음성 신호를 원거리 통신 단말의 마이크를 통해 수신한 경우, 수신부(910)는 원거리 통신 단말을 통해 원거리 통신 단말 사용자의 음성 신호를 획득할 수 있다. 수신부(910)는 로컬 통신 단말 내에 위치할 수도 있고 원거리 통신 단말 내에 위치할 수도 있으며, 로컬 통신 단말 및 원거리 통신 단말의 외부에 위치할 수도 있다.The communication terminal or controller 920 can receive the voice signal. For example, the user's voice signal can be received through the microphone of the communication terminal. For example, when the user's voice signal of the first communication terminal is received through the microphone of the first communication terminal, the receiving unit 910 can acquire the voice signal of the first communication terminal user through the first communication terminal . As another example, when the user's voice signal of the second communication terminal is received through the microphone of the second communication terminal, the receiving unit 910 can acquire the voice signal of the user of the second communication terminal through the second communication terminal. As another example, when the voice signal of the user of the local communication terminal is received through the microphone of the local communication terminal, the device 100 can acquire the voice signal of the user of the local communication terminal through the local communication terminal. As another example, when the user's voice signal of the remote communication terminal is received through the microphone of the remote communication terminal, the receiving unit 910 can acquire the voice signal of the user of the remote communication terminal through the remote communication terminal. The receiver 910 may be located within the local communication terminal, may be located within the remote communication terminal, or may be external to the local communication terminal and the remote communication terminal.
일 실시 예에 따른 제어부(920)는 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득한다. The controller 920 according to an embodiment obtains state information indicating the current state of at least one participant using the speech information and / or the pre-stored data.
일 실시 예에 따른 상태 정보는 적어도 하나의 참여자의 현재 감정 상태를 나타내는 감정 정보(emotion information), 적어도 하나의 참여자의 인적 정보(personal information), 대화에 대한 주제 정보(topic information), 적어도 하나의 참여자의 스케줄 정보(schedule information) 및 적어도 하나의 참여자의 성격 정보(personality information) 중 적어도 하나를 포함할 수 있다.The status information according to one embodiment includes emotion information indicating at least one participant's current emotional state, at least one participant's personal information, topic information about the conversation, at least one Schedule information of a participant, and personality information of at least one participant.
일 실시 예에 따른 감정 정보는 감정의 종류에 대한 정보 및 감정의 레벨에 대한 정보를 포함할 수 있다. 감정의 종류는 감정 상태는 기쁨(elation), 화(anger), 슬픔(sorrow), 우울(depression) 및 온화(mildness) 등을 포함할 수 있으며 이에 제한되지 않는다.The emotion information according to one embodiment may include information on the type of emotion and information on the level of emotion. Types of emotions may include, but are not limited to, emotion states such as elation, anger, sorrow, depression and mildness.
일 실시 예에 따른 제어부(920)는 스피치 정보를 이용하여 상태 정보를 획득할 수 있다. The controller 920 according to an exemplary embodiment may obtain status information using the speech information.
예를 들면, 제1 통신 단말이 “오늘 감기 기운이 있네.”라는 음성 신호를 획득한 경우, 제1 통신 단말이 획득한 음성 신호로부터 획득한 스피치 정보를 통해 제어부(920)는 제1 통신 단말의 사용자의 현재 건강 상태에 대한 정보를 획득할 수 있다. 다른 예로, 원거리 통신 단말이 “어제 친구와 싸웠어.”라는 음성 신호를 획득한 경우, 제어부(920)는 원거리 통신 단말이 획득한 음성 신호를 무선 연결을 통해 수신하고, 현재 원거리 통신 단말의 사용자의 감정 상태가 불편할 수 있다는 상태 정보를 획득할 수 있다.For example, when the first communication terminal obtains a voice signal of " There is a cold wind today ", the controller 920, through the speech information obtained from the voice signal acquired by the first communication terminal, The user can obtain information about the current health status of the user. As another example, when the remote communication terminal acquires a voice signal "I fought a friend yesterday", the controller 920 receives the voice signal acquired by the remote communication terminal through the wireless connection, State information indicating that the emotional state may be inconvenient.
일 실시 예에 따른 제어부(920)는 기저장된 데이터를 이용하여 상태 정보를 획득할 수 있다. The controller 920 according to an exemplary embodiment may acquire status information using pre-stored data.
예를 들면, 기저장된 사용자의 생년월일 정보를 통해 사용자의 나이 정보를 획득할 수 있다. 기저장된 데이터는 제어부(920)에 저장되어 있을 수도 있고, 통신 단말에 저장되어 있을 수도 있고, 서버에 저장되어 있을 수도 있다.For example, the age information of the user can be obtained through the information of the date of birth of the user. The pre-stored data may be stored in the controller 920, stored in the communication terminal, or stored in the server.
일 실시 예에 따른 제어부(920)는 수신부(910)에서 획득한 스피치 정보 및 기저장된 데이터를 이용하여 상태 정보를 획득할 수 있다. The control unit 920 according to an exemplary embodiment may acquire status information using the speech information and pre-stored data acquired by the receiving unit 910.
예를 들면, A 사용자와 B 사용자에 대한 데이터가 기저장되어 있고, A 사용자가 B 사용자를 아버지라고 부르는 경우, A 사용자와, B 사용자와의 관계가 부자관계라는 사용자들 간의 관계에 대한 상태 정보를 제어부(920)는 획득할 수 있다.For example, if data for users A and B is stored beforehand, and user A refers to user B as father, the status information about the relationship between users A and B is as follows: The control unit 920 can acquire the control information.
일 실시 예에 따른 획득된 상태 정보는 통신 단말의 메모리, 제어부(920)의 메모리 또는 서버(미도시) 등에 저장될 수 있다. 예를 들면, 상태 정보는 로컬 통신 단말 및/또는 원거리 통신 단말에 저장될 수 있다. 다른 예로, 상태 정보는 제어부(920)의 내부 또는 외부 메모리, 또는 제어부(920)와 연결된 서버에 저장될 수 있다.The obtained status information according to an embodiment may be stored in a memory of the communication terminal, a memory or a server (not shown) of the controller 920, or the like. For example, the status information may be stored in a local communication terminal and / or a telecommunications terminal. As another example, the status information may be stored in the internal or external memory of the control unit 920, or in a server connected to the control unit 920. [
상태 정보가 서버에 저장되어 있는 경우, 통신 단말 또는 제어부(920)는 유/무선 연결을 통해 상태 정보를 서버로부터 획득할 수 있다. When the status information is stored in the server, the communication terminal or the control unit 920 can obtain the status information from the server through the wired / wireless connection.
일 실시 예에 따른 제어부(920)는 스피치 정보 및 상태 정보에 기초하여 적어도 하나의 참여자에게 제공될 가상 스피치를 획득 또는 결정 한다. 예를 들면 일 실시 예에 따른 디바이스(100)는 복수개의 가상 스피치 중 하나를 적어도 하나의 참여자에게 제공될 가상 스피치로 결정할 수도 있고, 적어도 하나의 참여자에게 제공될 가상 스피치를 생성할 수도 있다.The control unit 920 according to an embodiment obtains or determines a virtual speech to be provided to at least one participant based on the speech information and the status information. For example, the device 100 according to one embodiment may determine one of a plurality of virtual speech to be provided to at least one participant, and may generate virtual speech to be provided to at least one participant.
일 실시예에 따른 가상 스피치는 수신부(910)에서 획득한 스피치 정보 및 제어부(920)에서 획득한 상태 정보에 따라 결정될 수 있다.The virtual speech according to an exemplary embodiment may be determined according to the speech information obtained by the receiving unit 910 and the state information acquired by the controller 920.
일 실시 예에 따라 제어부(920)는 가상 캐릭터를 통해 가상 스피치를 제공할 수 있다. 일 실시 예에 따라 제어부(920)는 가상 캐릭터의 성별, 성격, 말투 등에 기초하여 가상 스피치를 결정할 수 있다.According to one embodiment, the controller 920 may provide virtual speech through the virtual character. According to an embodiment, the controller 920 can determine the virtual speech based on the sex, personality, voice, etc. of the virtual character.
일 실시 예에 따른 제어부(920)는 상태 정보에 따라 가상 캐릭터의 성격, 말투 등을 결정할 수 있고, 가상 캐릭터의 성격 등은 변경되는 상태 정보에 따라 변경될 수 있다. The controller 920 according to an exemplary embodiment may determine the character, tone, etc. of the virtual character according to the status information, and the character of the virtual character and the like may be changed according to the changed status information.
일 실시 예에 따른 상태 정보는 성격 변수(personality variable) 및/또는 상태 변수(state variable)를 포함할 수 있다. 예를 들면, 일 실시 예에 따른 상태 정보는 성격 변수 및/또는 상태 변수에 따라서 결정될 수 있다.The state information according to one embodiment may include a personality variable and / or a state variable. For example, the state information according to one embodiment may be determined according to a personality variable and / or a state variable.
성격 변수는 통신 단말에 입력되는 스피치 정보에 대응하는 가상 캐릭터의 일반적 성향을 나타낼 때 이용될 수 있고, 통신 단말의 사용자와 다른 사람간의 통화를 통해 변경될 수 있다. 예를 들면, 성격 변수는 선호/민감 주제, 선호/민감 키워드, 연민(sympathy), 액센트, 적응성(adaptability), 각성도(alterness), 호기심, 반항성, 설득력(eloquence), 관용구(idioms), 수다스러움(loquacity), 기질(peculiarities), 응답성(responsiveness), 감성(sentimentality), 수면 시간 중 적어도 하나를 포함할 수 있으며 이에 제한되지 않는다. 일예로, 선호/민감 주제는 주제에 대해서 가상 캐릭터가 능동적으로 참여할지 좀처럼 참여하지 않게 될지를 결정할 때 이용될 수 있다. 다른 예로, 선호/민감 키워드는 가상 캐릭터가 대상이 되는 주제에 대해서 (스포츠와 같이) 흥미로워하는지 또는 (테러와 같이) 흥미 없어하는지 나타낼 때 이용될 수 있다. 다른 예로, 연민은 사람, 객체 또는 대상에 대해서, 가상 캐릭터가 긍정적인 코멘트를 줄지 부정적인 코멘트를 줄지 나타낼 때 이용될 수 있다. 다른 예로, 액센트(accents)는 가상 캐릭터의 가능한 액센트 타입 및 정도를 나타내기 위해서 이용될 수 있다. 다른 예로, 적응성은 가상 캐릭터의 성격의 장기 변형(long term variation)의 정도를 나타낼 때 이용될 수 있다. 다른 예로, 각성도는 입력되는 스피치 정보에 대한 가상 캐릭터의 민감한 정도를 나타낼 때 이용될 수 있다. 다른 예로, 호기심은 가상 캐릭터가 질문하는 동작을 나타낼 때 이용될 수 있다. 다른 예로, 반항성은 가상 캐릭터가 명령을 수행하는 동작을 나타내기 위해 이용될 수 있다. 다른 예로, 설득력은 가상 캐릭터의 유창하고 꾸민 문장을 이용하는 경향을 나타내기 위해 이용될 수 있다. 다른 예로, 관용구는 가상 캐릭터가 자주 사용하는 어구나 문장을 나타내기 위해 사용될 수 있다. 다른 예로, 수다스러움은 가상 캐릭터가 많이 말하는 정도를 나타내기 위해 사용될 수 있다. 다른 예로, 기질은 특정 주제에 대한 가상 캐릭터의 특별한 리액션 모드를 나타내기 위해 이용될 수 있다. 다른 예로, 응답성은 가상 캐릭터의 요청이나 문의의 적극성을 나타내기 위해 사용될 수 있다. 다른 예로, 감성은 가상 캐릭터가 강한 기분을 발전시키는 경향을 나타내기 위해 이용될 수 있다. 다른 예로, 수면 시간은 낮 시간에 가상 캐릭터가 낮은 응답성을 갖게되는 성향을 나타내기 위해 이용될 수 있다.The personality variable may be used to indicate the general tendency of the virtual character corresponding to the speech information input to the communication terminal, and may be changed through communication between the user of the communication terminal and another person. For example, personality variables can be classified as preference / sensitivity subject, preference / sensitivity keyword, sympathy, accent, adaptability, alterness, curiosity, opposition, eloquence, idioms, But is not limited to, at least one of loquacity, peculiarities, responsiveness, sentimentality, and sleep time. For example, a preference / sensitivity topic can be used to determine whether a virtual character is actively involved or rarely participating in a subject. As another example, the preference / sensitivity keywords may be used to indicate whether the virtual character is interesting (such as sports) or not (such as terrorism) for the subject of interest. As another example, compassion can be used for a person, object, or object when the virtual character indicates whether to give a positive comment or to give a negative comment. As another example, accents may be used to indicate the possible accent types and degrees of virtual characters. In another example, adaptability can be used to indicate the degree of long term variation in the character of the virtual character. As another example, the arousal level may be used to indicate the degree of sensitivity of the virtual character to input speech information. As another example, curiosity can be used when the virtual character indicates a questioning motion. As another example, the opposition may be used to indicate an action in which a virtual character performs an instruction. As another example, persuasive power can be used to indicate the tendency to use the virtual character's fluent and decorated sentences. As another example, an idiom can be used to represent a phrase or sentence that is often used by a virtual character. As another example, the discursiveness can be used to indicate the degree to which a virtual character speaks a lot. As another example, the substrate may be used to indicate a particular reaction mode of the virtual character for a particular subject. In another example, responsiveness can be used to indicate the aggressiveness of a virtual character's request or inquiry. As another example, emotion may be used to indicate a tendency for a virtual character to develop strong mood. As another example, sleep time can be used to indicate a tendency for a virtual character to have low responsiveness during day time.
일 실시 예에 따른 상태 변수는 가상 캐릭터의 행동 특성을 결정하기 위해 이용될 수 있다. 상태 변수는 이전 상태 변수, 통신 단말을 통해 입력되는 스피치 정보, 성격 변수 등에 따라 결정될 수 있다. 예를 들면, 적극성은 가상 캐릭터가 얼마나 적극적으로 이슈에 대해 말하는지를 나타낼 수 있다. 높은 적극성은 자주, 길게 빠르게 자발적으로 말하는 것을 나타낼 수 있다. 다른 예로, 감정 상태는 가상 캐릭터가 스피치를 통해서 나타내는 감정의 타입(기쁨 및 우울을 포함함) 및 강도를 나타낼 수 있다. 다른 예로, 스피치 방식은 가상 캐릭터의 현재 스피치의 방식을 나타낸다. 스피치 방식은 특정 타입의 방언에 적응 정도 및 빈도, 형식(formality) 및 친숙함(familiarity)의 정도 및 특정 목소리의 요청을 포함할 수 있다. 다른 예로, 즉흥성은 가상 캐릭터가 대화를 얼마나 적극적으로 시작하는지 나타낼 수 있다.The state variable according to an embodiment may be used to determine a behavior characteristic of a virtual character. The state variable may be determined according to the previous state variable, the speech information input through the communication terminal, the personality variable, and the like. For example, aggressiveness can indicate how aggressively a virtual character speaks about an issue. High aggressiveness can often indicate spontaneously speaking, long and fast. In another example, the emotional state may indicate the type of emotion (including joy and depression) and intensity that the virtual character represents through speech. In another example, the speech scheme represents the current speech of the virtual character. Speech schemes can include the degree and frequency of adaptation to a particular type of dialect, the degree of formality and familiarity, and the request for a particular voice. As another example, improvisation can indicate how aggressively a virtual character starts a conversation.
일 실시 예에 따른 출력부(930)는 제어부(920)에서 획득한 가상 스피치를 출력한다.The output unit 930 according to an embodiment outputs the virtual speech obtained by the controller 920. [
예를 들면, 일 실시 예에 따른 출력부(930)는 제어부(920)에서 획득한 가상 스피치를 음성 형태로 출력할 수 있다. 다른 예로, 일 실시 예에 따른 출력부(930)는 제어부(920)에서 획득한 가상 스피치를 문자 형태로 출력할 수 있다.For example, the output unit 930 according to an exemplary embodiment may output the virtual speech obtained by the controller 920 in a voice form. As another example, the output unit 930 according to an exemplary embodiment may output the virtual speech obtained in the controller 920 in a character form.
일 실시 예에 따른 출력부(930)는 가상 스피치를 통화중인 두 참여자 중 어느 한 참여자에게만 제공할 수 있다. 또는 일 실시 예에 따른 출력부(930)는 제어부(920)에서 획득한 가상 스피치를 통화중인 두 참여자 모두에게 제공할 수 있다. 일 실시 예에 따른 출력부(930)는 스피커 등을 통하여 단수 또는 복수의 참여자에게 제어부(920)에서 획득한 가상 스피치를 출력할 수 있다.The output 930 according to one embodiment may provide virtual speech to only one of the two participants in the call. Or an output unit 930 according to an exemplary embodiment may provide the virtual speech obtained by the controller 920 to both participants in a call. The output unit 930 according to an exemplary embodiment may output virtual speech obtained by the controller 920 to a single or a plurality of participants through a speaker or the like.
일 실시 예에 따른 출력부(930)는 제어부(920)에서 획득된 상태 정보에 따른 표현 방식의 가상 스피치를 출력할 수 있다. 예를 들면 가상 스피치는 로컬 통신 단말의 스피커를 통해 직접 출력될 수 있다. 가상 스피치는 부호화 과정이 수행된 후 전화 네트워크를 통해 원거리 통신 단말로 전송될 수 있고, 원거리 통신 단말의 스피커를 통해 원거리 통신 단말에 의해 출력될 수 있다.The output unit 930 according to an exemplary embodiment may output the virtual speech of the presentation method according to the state information acquired by the controller 920. [ For example, the virtual speech may be output directly through the speaker of the local communication terminal. The virtual speech may be transmitted to the remote communication terminal through the telephone network after the encoding process is performed, and may be output by the remote communication terminal through the speaker of the remote communication terminal.
도 10은 일 실시 예에 따른 수신부(910)의 구성을 나타내는 블록도이다.10 is a block diagram illustrating a configuration of a receiving unit 910 according to an embodiment.
도 10을 참조하면, 일 실시 예에 따른 수신부(910)는 스피치 파저 (1010), 및 상태 정보 획득부(1020) 를 포함한다. 도 10에 도시된 수신부(910)에는 본 실시 예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 10에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.Referring to FIG. 10, a receiving unit 910 according to an embodiment includes a speech parser 1010 and a state information obtaining unit 1020. Only the components related to the present embodiment are shown in the receiving unit 910 shown in Fig. Therefore, it will be understood by those skilled in the art that other general-purpose components other than the components shown in FIG. 10 may be further included.
일실시 예에 따른 스피치 파저(1010)는 디바이스(100)에 입력되는 음성 신호를 분석하여 스피치 정보를 추출할 수 있다. The speech parser 1010 according to an exemplary embodiment may extract speech information by analyzing a speech signal input to the device 100. [
일 실시 예에 따른 상태 정보 획득부(1020) 상태 정보를 획득 또는 저장할 수 있다.State information obtaining unit 1020 according to an embodiment of the present invention.
제어부(920)는 스피치 정보 및 상태 정보에 따른 표현 속성을 갖는 가상 스피치를 생성할 수 있다. 출력부(930)는 가상 스피치를 출력할 수 있다. 스피치 정보 및 가상 스피치는 스피치의 감정 및 표현 스타일(phrasing style)과 같은 넌-컨텐츠 정보를 나타내기 위해서 사용되는 표현 속성을 포함할 수 있다. 표현 속성은 감정 상태 및/또는 표현 모드를 포함할 수 있다. 스피치 정보는 오디오로 입력되는 사람의 목소리 특성과 같은 다른 정보를 포함할 수 있다.The control unit 920 may generate virtual speech having presentation attributes according to the speech information and the status information. The output unit 930 can output the virtual speech. The speech information and the virtual speech may include a presentation attribute used to represent non-content information, such as the emotion and the phrasing style of the speech. The presentation attribute may include an emotional state and / or a presentation mode. The speech information may include other information such as a person's voice characteristics that is input as audio.
표현 속성의 감정 상태는 기쁜, 화남, 슬픔, 우울 및 온화를 포함할 수 있으나, 이에 제한되지 않는다. 표현 속성의 표현 모드는 표현 스타일, 액센트 타입, 방언 빈도, 방언 정도, 방언 톤, 상황 모드 및 배경 소리 중 적어도 하나를 포함할 수 있으며 이에 제한되지 않는다.The emotional state of an expression attribute may include, but is not limited to, gladness, anguish, sadness, depression, and mildness. The presentation mode of the presentation attribute may include at least one of an expression style, an accent type, a dialect frequency, a dialect degree, a dial tone, a situation mode, and a background sound.
일 실시 예에 따른 스피치 파저(1010)는 통신 단말로 입력되는 오디오를 분석하고, 스피치 정보를 추출할 수 있다. 추출된 스피치 정보는 컨텐츠 정보(예: 주제, 키워드), 표현 모드 정보(예: 액센트), 및 감정 상태 정보(예: 오디오를 입력하는 사람의 기쁨의 감정 상태)를 포함할 수 있으며 이에 제한되지 않는다. 또한, 스피치 파저(1010)는 전자 디바이스로 입력되는 오디오로부터 컨텐츠 정보를 인식하기 위한 스피치 인식 모듈(미도시), 및 오디오로부터 표현 속성 정보를 인식하기 위한 표현 속성 인식 모듈(미도시)를 포함할 수 있다.The speech parser 1010 according to one embodiment may analyze the audio input to the communication terminal and extract speech information. The extracted speech information may include content information (e.g., subject, keyword), presentation mode information (e.g. accent), and emotion state information (e.g., emotional state of the joy of the person entering the audio) Do not. The speech parser 1010 also includes a speech recognition module (not shown) for recognizing content information from the audio input to the electronic device and an expression attribute recognition module (not shown) for recognizing the presentation attribute information from the audio .
일 실시 예에 따른 상태 정보 획득부(1020)은 상태 정보를 저장하기 위해 사용될 수 있다. 상태 정보는 가상 캐릭터의 행동 및 성격을 나타내기 위해 이용되는 정보를 포함할 수 있다. 상태 정보는 스피치 파저(1010) 등에 의해 획득되는 스피치 정보에 따라서 갱신될 수 있다. 통신에 실제 참여하는 각 참여자에 대해서 가상 캐릭터는 가상 스피치를 이용하여 통화에 참여할 수 있다. 일 실시 예에 따른 가상 캐릭터의 가상 스피치의 생성은 상태 정보 획득부(1020)에 저장된 상태 정보에 따라 결정될 수 있다.The state information obtaining unit 1020 according to an embodiment may be used to store state information. The status information may include information used to indicate the behavior and nature of the virtual character. The status information can be updated in accordance with the speech information obtained by the speech parser 1010 or the like. For each participant who actually participates in the communication, the virtual character can participate in the call using virtual speech. The generation of the virtual speech of the virtual character according to one embodiment may be determined according to the state information stored in the state information obtaining unit 1020. [
일 실시 예에 따라 상태 정보는 성격 변수 및 상태 변수를 포함할 수 있다. 성격 변수는 통신 단말로 입력되는 스피치 정보에 대응하는 가상 캐릭터의 일반적 기질(disposition)을 나타내기 위해 사용될 수 있고, 통신 단말의 사용자와 다른 사람과의 장시간 통신을 통해 바뀔 수 있다. 예를 들면 성격 변수는 선호/민감 주제, 선호/민감 키워드, 연민(sympathy), 액센트, 적응성(adaptability), 각성도(alterness), 호기심, 반항성, 설득력(eloquence), 관용구(idioms), 수다스러움(loquacity), 특성(peculiarities), 응답성(responsiveness), 감성(sentimentality), 수면 시간 중 적어도 하나를 포함할 수 있으며 이에 제한되지 않는다. 상태 변수는 가상 캐릭터의 행동 특성을 나타내기 위해 사용되고 이전 상태 변수, 통신 단말을 통해 입력되는 스피치 정보, 상술된 성격 변수 등에 따라 변할 수 있다. 예를 들면, 상태 변수는 적극성(activeness), 감정 상태(emotional state), 표현 모드(expression mode), 즉흥성(spontaneity) 중 적어도 하나를 포함할 수 있으며 이에 제한되지 않는다. 성격 변수 및 상태 변수는 디폴트로 셋팅되어 있거나 사용자의 명력으로 획득될 수 있다. 예를 들면, 디바이스(100)의 사용자는 사용자의 선호 가상 캐릭터의 상태 정보를 복사하기 위해서 디바이스(100)에 복사/갱신 명령을 송신할 수 있고, 디바이스(100)의 상태 정보 획득부의 상태 정보를 갱신 할 수 있다.According to one embodiment, the state information may include personality variables and state variables. The personality variable can be used to indicate the disposition of the virtual character corresponding to the speech information input to the communication terminal and can be changed through a long time communication between the user of the communication terminal and another person. For example, personality variables include preference / sensitivity topics, preference / sensitivity keywords, sympathy, accent, adaptability, alterness, curiosity, opposition, eloquence, idioms, but is not limited to, at least one of loquacity, peculiarities, responsiveness, sentimentality, and sleeping time. The state variable is used to indicate the behavior characteristic of the virtual character, and may be changed depending on the previous state variable, the speech information input through the communication terminal, the personality variable described above, and the like. For example, the state variable may include, but is not limited to, at least one of activeness, emotional state, expression mode, and spontaneity. Personality and status variables are either set by default or can be obtained by the user. For example, the user of the device 100 may send a copy / update command to the device 100 to copy the status information of the user's preferred virtual character, and may transmit status information of the status information acquisition unit of the device 100 Can be updated.
일 실시 예에 따른 상태 정보 획득부(1020)는 제어부(920)의 제어 하에서, 상태 정보 획득부(1020)에 저장된 상태 정보 및 스피치 파저(1010)에 의해 획득된 스피치 정보 등에 따라서 저장된 상태 정보를 갱신할 수 있다. 제어부(920)는 스피치 파저(310)에 의해 획득되는 스피치 정보 및 사용자로부터의 갱신 명령 중 적어도 하나에 따라서 상태 정보의 성격 변수를 갱신할 수 있다. 또한, 제어부(920)는 상태 정보의 성격 변수, 스피치 파저(1010)에 의해 획득되는 스피치 정보 및 사용자로부터의 갱신 명령 중 적어도 하나에 따라서 상태 정보의 상태 변수를 갱신할 수 있다.Under the control of the controller 920, the state information obtaining unit 1020 according to an exemplary embodiment may store the state information stored in the state information obtaining unit 1020 and the stored state information according to the speech information obtained by the speech parser 1010 Can be updated. The control unit 920 may update the personality variable of the status information according to at least one of the speech information obtained by the speech parser 310 and the update command from the user. In addition, the control unit 920 may update the state variable of the state information according to at least one of the personality variable of the state information, the speech information obtained by the speech parser 1010, and the update instruction from the user.
일 실시 예에 따른 제어부(920)는 사용자로부터의 갱신 명령에 따라서 성격 변수를 갱신할 수 있다. 예를 들면, 제어부(920)는 통신 단말의 사용자로부터의 복사/갱신 명령을 수신함으로서 사용자의 선호 가상 캐릭터의 성격 변수를 복사할 수 있고 상태 정보 획득부(1020)의 성격 변수를 갱신할 수 있다. 또한, 제어부(920)는 스피치 파저(1010)에 의해 획득된 스피치 정보에 따라서 성격 변수를 갱신할 수 있다. 예를 들면, 제어부(920)는 스피치 정보의 컨텐츠의 분석 및 통계를 수행하고, 스피치 정보의 컨텐츠 내의 높은 빈도의 관용구를 결정하여 성격 변수 내의 관용구를 갱신 하거나 보강(enrich)할 수 있다.The controller 920 according to an exemplary embodiment may update the personality variable according to an update command from the user. For example, the control unit 920 can copy the personality variable of the user's preferred virtual character and update the personality variable of the status information acquisition unit 1020 by receiving a copy / update command from the user of the communication terminal . In addition, the controller 920 may update the personality variable according to the speech information obtained by the speech parser 1010. For example, the control unit 920 may perform analysis and statistics of the content of the speech information, and may renew or enrich the idioms in the personality variable by determining high frequency idioms in the content of the speech information.
일 실시 예에 따른 제어부(920)는 성격 변수 및 상태 변수간의 관련성에 따라서 상태 변수를 갱신할 수 있다. 예를 들면, 성격 변수에서, 각성도, 호기심, 선호 주제, 선호 키워드, 연민, 수다 및 응답성(responsiveness)은 상태 변수의 적극성에 긍정적인 영향을 줄 수 있다. 예를 들면, 각성도, 호기심, 선호 주제, 선호 키워드, 연민, 수다 및 응답성이 높거나 강한 경우 적극성이 강할 수 있다. 성격 변수에서 수면 시간은 적극성에 부정적으로 작용할 수 있다. 예를 들면, 수면 시간 동안에는 적극성이 낮을 수 있다. 성격 변수의 기질(peculiarities)은 상황에 따라 적극성에 긍정적으로 또는 부정적으로 영향을 줄 수 있다.The controller 920 according to an exemplary embodiment may update the state variable according to the relationship between the personality variable and the state variable. For example, in personality variables, arousal, curiosity, preference motives, preference keywords, compassion, talk and responsiveness can positively affect the aggressiveness of state variables. For example, it may be more aggressive if it is high or strong in arousal, curiosity, preference theme, preference keyword, compassion, talk and response. In personality variables, sleep time can negatively affect aggressiveness. For example, aggressiveness may be low during sleep time. The peculiarities of personality variables can affect positively or negatively depending on the situation.
일 실시 예에 따른 제어부(920)는 스피치 파저(1010)에 의해 획득되는 스피치 정보에 따라 상태 변수를 갱신할 수 있다. 예를 들면, 상술된 스피치 정보를 입력하는 사용자가 빈번하게 가상 캐릭터와 통신하는 경우, 상태 변수의 적극성이 증가할 수 있다. 상술된 스피치 정보를 입력하는 사용자가 드물게 가상 캐릭터와 통신하거나 다른 것에 중점을 두는 경우, 상태 변수의 적극성이 감소할 수 있다. 또한, 성격 변수 데이터 및 상태 변수는 사용자에 의해 직접 결정될 수 있다. 예를 들면 적극성은 사용자로부터의 입력에 따라 특정 값으로 조절될 수 있다.The controller 920 according to an exemplary embodiment may update the state variable according to the speech information obtained by the speech parser 1010. [ For example, if a user entering the above-described speech information frequently communicates with a virtual character, the aggressiveness of the state variable may increase. If the user entering the above-mentioned speech information rarely communicates with the virtual character or places an emphasis on the other, the aggressiveness of the state variable may be reduced. In addition, personality variable data and state variables can be directly determined by the user. For example, the aggressiveness can be adjusted to a specific value according to the input from the user.
도 11은 일 실시 예에 따른 제어부(920)의 구성을 나타내는 블록도이다.11 is a block diagram illustrating a configuration of a control unit 920 according to an embodiment.
도 11을 참조하면, 일 실시 예에 따른 제어부(920)는 플래너(1110), 및 음성 합성부(1120) 를 포함한다. 도 11에 도시된 제어부(920)에는 본 실시 예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 11에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.11, the controller 920 includes a planner 1110 and a speech synthesizer 1120. [ Only the components related to the present embodiment are shown in the control unit 920 shown in Fig. Therefore, it will be understood by those skilled in the art that other general-purpose components other than the components shown in FIG. 11 may be further included.
일 실시 예에 따른 제어부(920)는 플래너(1110) 및 음성 합성부(1120)를 포함할 수 있다. 도 11은 일 실시 예에 따른 제어부(920)의 구조의 도면을 도시한다. 도 11에 도시된 바와 같이 제어부(920)는 플래너(1110) 및 음성 합성부(1120)를 포함할 수 있다. 플래너(1110)는 ⅰ)상태 정보 획득부(1020)에 저장된 상태 정보 및 스피치 파저(1010)에 의해 획득된 스피치 정보에 따라서 생성될 가상 스피치의 ㅍ현 속성 및 컨텐츠를 결정하거나, ⅱ)가상 스피치의 컨텐츠에 따라서 텍스트 기술어(text descriptor)를 생성하거나, ⅲ)표현 속성에 따라서 표현 속성 기술어를 생성하기 위해서 이용될 수 있다. 음성 합성부(1120)는 텍스트 기술어 및 표현 속성 기술어에 따라서 가상 스피치를 생성할 수 있다. 플래너(1110)는 ⅰ)스피치 파저(1010)에 의해 획득된 스피치 정보를 분석하고, ⅱ)가상 스피치의 컨텐츠 및 피치 정보의 표현 속성에 따라서, 사람, 주제, 키워드, 문장 구조 등과 같은 정보를 인식하고, ⅲ)스피치 정보에 따라서 가상 스피치의 컨텐츠를 결정할 수 있다.The controller 920 may include a planner 1110 and a speech synthesizer 1120. [ 11 shows a diagram of the structure of the controller 920 according to an embodiment. As shown in FIG. 11, the controller 920 may include a planner 1110 and a speech synthesizer 1120. Planner 1110 determines i) state information and content of virtual speech to be generated in accordance with the state information stored in state information obtaining unit 1020 and the speech information obtained by speech parser 1010, or ii) To generate a text descriptor according to the content, or iii) to generate a presentation attribute descriptor according to the presentation attribute. The speech synthesizer 1120 can generate the virtual speech according to the text descriptor and the presentation attribute descriptor. The planner 1110 analyzes the speech information obtained by the speech parser 1010 and recognizes information such as a person, a subject, a keyword, a sentence structure, and the like according to the presentation attribute of the content of the virtual speech and the pitch information And iii) determine the contents of the virtual speech according to the speech information.
일 실시 예에 따른 플래너(1110)의 결정에 따라 생성된 가상 스피치의 컨텐츠는 자발적인 컨텐츠 및 상호적인 컨텐츠를 포함할 수 있다. 자발적인 컨텐츠는 인사(greeting), 사용자에 대한 명령, 이벤트 리마인더, 코멘트 및 질문 중 적어도 하나를 포함할 수 있으며 이에 제한되지 않는다. 상호적인 컨텐츠는 인사(greeting), 사용자에 대한 명령, 이벤트 리마인더, 코멘트 및 질문 중 적어도 하나에 대한 대답을 포함할 수 있다. 예를 들면, 사용자 입력 오디오의 신원(identity)이 상술된 스피치 정보의 목소리 정보에 따라서 인식된 경우(예: 사용자 정보 데이터 베이스로 신원이 인식됨), 플래너(1110)의 결정에 따라 생성된 가상 스피치의 자발적인 컨텐츠는 인사에 응답하거나 사용자에게 인사하는 것을 포함할 수 있고, 인사의 컨텐츠는 사용자의 이름을 포함할 수 있다. 흥미로운 주제가 상술된 스피치 정보에서 탐지된 경우, 플래너(1110)의 결정에 따라 생성된 가상 스피치의 상호적인 컨텐츠는 주제에 대한 코멘트를 포함할 수 있다.The content of the virtual speech generated according to the determination of the planner 1110 according to an embodiment may include voluntary content and interactive content. Voluntary content may include, but is not limited to, at least one of greeting, an instruction to a user, an event reminder, a comment, and a question. The interactive content may include an answer to at least one of a greeting, an instruction to the user, an event reminder, a comment and a question. For example, if the identity of the user input audio is recognized according to the voice information of the speech information described above (e.g., the identity is recognized in the user information database), the virtual speech generated according to the decision of the planner 1110 Voluntary content of the greeting may include responding to or greeting the greeting, and the content of the greeting may include the name of the user. If an interesting subject is detected in the above-mentioned speech information, the mutual content of the virtual speech generated according to the determination of the planner 1110 may include a comment on the subject.
도 12는 일 실시 예에 따른 음성 합성부(1120)의 구성을 나타내는 블록도이다.12 is a block diagram showing a configuration of a speech synthesizer 1120 according to an embodiment.
도 12를 참조하면, 일 실시 예에 따른 음성 합성부(1120)는 프런트 엔드 처리 모듈(1210), 프런트 엔드 운율 체계 처리 모듈(1220) 및 백엔드 파형 합성기(1230) 를 포함한다. 도 12에 도시된 음성 합성부(1120)에는 본 실시 예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 12에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.12, the speech synthesis unit 1120 includes a front end processing module 1210, a front end prosody processing module 1220, and a back-end waveform synthesizer 1230. The front- Only the components related to the present embodiment are shown in the speech synthesis unit 1120 shown in Fig. Therefore, it will be understood by those skilled in the art that other general-purpose components other than the components shown in FIG. 12 may be further included.
일 실시 예에 따른 음성 합성부(1120)는 ⅰ)텍스트 기술어에 따라 발음 기호(phonetic label)를 생성하는 프런트 엔드 텍스트 처리 모듈(1210), ⅱ)표현 속성 기술어에 따라 운율 체계 변조 기술어(prosody modulation descriptor)를 생성하기 위한 프런트-엔드 운율 체게 처리 모듈(1220) 및 ⅲ) 발음 기호 및 운율 체계 변조 기술어에 따라 가상 스피치를 생성하는 백엔드 파형 합성기(1230)를 포함할 수 있다. 발음 기호는 생성될 스피치의 각 단위의 발음(articulation) 억양(intonation)등과 같은 특징을 나타내기 위해 사용될 수 있다. 운율 체계 변조 심볼은 생성될 스피치내의 단어와 문장의 운율 체계, 리듬 감정과 같은 특징을 나타내기 위해 이용될 수 있다.The speech synthesis unit 1120 according to an embodiment includes a front end text processing module 1210 for generating a phonetic label according to a text descriptor, ii) a front end text processing module 1210 for generating a phonetic label according to a prosody modifying descriptor a front-end prosodic processing module 1220 for generating a prosody modulation descriptor, and iii) a back-end waveform synthesizer 1230 for generating virtual speech in accordance with phonetic symbols and prosody modulation descriptors. The phonetic symbol can be used to indicate features such as articulation intonation of each unit of speech to be generated. The rhythm scheme modulation symbols can be used to express features such as rhythm emotion, rhyme scheme of words and sentences in the speech to be generated.
일 실시 예에 따라, 제어부(920)는 디바이스(100)로 입력된 오디오 또는 디바이스(100)로 입력된 오디오와 가상 스피치가 중첩되는 스피치 중 하나를 출력될 가상 스피치로 결정할 수 있다. 예를 들면, 제어부(920)는 통신 단말의 사용자에 의해 입력된 오디오를 출력될 오디오로 선택할 수 있다. 이 경우 통화 참여자는 가상 캐릭터가 대화에 참여하고 있지 않다고 느낄 수 있다. 다른 예로, 제어부(920)는 디바이스(100)로 입력된 오디오와 가상 스피치가 중첩되는 스피치를 출력하도록 선택할 수 있다. 이 경우 통화 참여자는 가상 캐릭터가 대화에 참여하고 있다고 느낄 수 있다. According to one embodiment, the controller 920 may determine one of the audio input to the device 100 or the audio input to the device 100 to be superimposed on the virtual speech, as the virtual speech to be output. For example, the control unit 920 can select the audio input by the user of the communication terminal as the audio to be output. In this case, the call participant may feel that the virtual character is not participating in the conversation. As another example, the control unit 920 may select to output speech in which the audio input to the device 100 overlaps the virtual speech. In this case, the call participant may feel that the virtual character is participating in the conversation.
도 13은 일 실시 예에 따른 제어부(920)의 구성을 나타내는 블록도이다.13 is a block diagram showing a configuration of the control unit 920 according to an embodiment.
도 13은 일 실시 예에 따라 디바이스(100)가 가상 스피치를 출력하도록 제어하는 제어부(920)를 나타내는 도면이다. 도 13에 도시된 바와 같이 제1 제어부(1362)는 가상 스피치(1370)(로컬 사용자와 상호 작용하는 가상 스피치와 같은) 및 원거리 마이크 등(1311)를 통해서 획득되고, 원거리 사용자에 의해 입력되는 오디오(1354)를 로컬 믹서(1342)을 통해서 중첩하여 로컬 출력부(1322) (예: 로컬 사용자의 스피커)로 출력하도록 디바이스(100)를 제어할 수 있다. 제2 제어부(1361)는 가상 스피치(1352)(원거리 사용자와 상호 작용하는 가상 스피치와 같은) 및 로컬 사용자에 의해 마이크 등(1312)을 통해서 입력되는 오디오(1353)를 원거리 믹서(1341)를 통해서 중첩하여 원거리 출력부(1321)(원거리 사용자의 스피커)를 통해서 출력하도록 디바이스(100)를 제어할 수 있다. 제2 제어부(1361)는 로컬 사용자에 의해 입력되는 오디오(1353)를 원거리 출력부(1321)의 출력으로 출력할 수 있다. 제1 제어부(1362)는 원거리 단말의 사용자에 의해 입력되는 오디오(1354)를 로컬 출력부(1322)로 출력할 수 있다. 제어부(920)는 로컬 출력부(1322)로 가상 스피치(1370)를 출력하거나, 원거리 출력부(1321)로 가상 스피치(1370)를 출력할 수 있다. 상술된 과정에서, 제1 제어부(1362)는 키보드나 마우스(1330)와 같은 사용자의 넌-보이스 입력을 수신할 수 있다.13 is a diagram illustrating a controller 920 that controls the device 100 to output virtual speech according to one embodiment. 13, the first control unit 1362 may be configured to receive a virtual speech 1370 (such as virtual speech that interacts with a local user) and a remote microphone 1311 (E.g., a local user's speaker) over local mixer 1342 via local mixer 1342 and local mixer 1342. [ The second control unit 1361 receives the audio signal 1353 input via the microphone 1312 by the local user through the remote mixer 1341 It is possible to control the device 100 so as to superimpose and output through the remote output unit 1321 (speaker of the remote user). The second control unit 1361 can output the audio 1353 input by the local user to the output of the remote output unit 1321. [ The first control unit 1362 can output the audio 1354 input by the user of the remote terminal to the local output unit 1322. The control unit 920 may output the virtual speech 1370 to the local output unit 1322 or output the virtual speech 1370 to the remote output unit 1321. [ In the process described above, the first control unit 1362 may receive a non-voice input of the user, such as a keyboard or mouse 1330. [
일 실시 예에 따라, 제어부(920)가 디바이스(100)로 입력되는 오디오를 출력으로 결정하는 경우, 제어부(920)는 출력이 지연되도록 로컬 출력부(1322) 또는 원거리 출력부(1321)를 제어할 수 있다. 일 실시 예에 따른 제어부(920)는 출력 명령이 수신된 경우 오디오를 출력하기 위해서 로컬 출력부(1322) 또는 원거리 출력부(1321)를 제어할 수 있다. 일 실시 예에 따른 제어부(920)는 통신 중에, 디바이스(100)로 입력되는 오디오에 대한 출력을 지연시킬 수 있다. 지연되는 동안, 일 실시 예에 따른 제어부(920)는 사적 모드(private mode)로 통신의 단수 또는 복수의 참여자에게 가상 스피치를 출력할 수 있다. 지연된 출력은 통신에서 하나의 문장 또는 하나의 단락의 취소 효과를 가져올 수 있다.The control unit 920 controls the local output unit 1322 or the remote output unit 1321 to delay the output of the audio output from the device 100. In this case, can do. The control unit 920 according to an exemplary embodiment may control the local output unit 1322 or the remote output unit 1321 to output audio when an output command is received. The control unit 920 according to an exemplary embodiment may delay the output of audio input to the device 100 during communication. During the delay, the controller 920 according to one embodiment may output virtual speech to the singular or plural participants of the communication in private mode. Delayed output can result in the cancellation of one sentence or one paragraph in the communication.
도 14는 일 실시 예에 따른 제어부(920)의 구성을 나타내는 블록도이다.FIG. 14 is a block diagram showing the configuration of the control unit 920 according to an embodiment.
도 14를 참조하면, 일 실시 예에 따른 제어부(920)는 결정부(1420), 제1 공간 필터(1430) 및 제2 공간 필터(1440)를 포함한다. 도 14에 도시된 제어부(920)에는 본 실시 예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 14에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.Referring to FIG. 14, a controller 920 according to an embodiment includes a determination unit 1420, a first spatial filter 1430, and a second spatial filter 1440. Only the components related to the present embodiment are shown in the control unit 920 shown in Fig. Therefore, it will be understood by those skilled in the art that other general-purpose components other than the components shown in FIG. 14 may be further included.
일 실시 예에 따른 제어부(920)가 출력으로서 가상 스피치와 오디오의 중첩을 결정한 경우, 디바이스(100)는 오디오 및 가상 스피치를 공간적 필터링(spatially filtering)하기 위해 이용될 수 있다. 또한, 도 14에서는 일 실시 예에 따라 제어부(920)가 오디오를 필터링하는 것을 나타내는 도면을 도시한다. 도 14에 도시된 바와 같이 결정부(1420)는 제어부(920)의 제어 하에서, 하나 또는 둘의 오디오 (1411) 및 가상 스피치(1412)가 출력되도록 선택할 수 있다. 제어부(920)가 출력으로 오디오 및 가상 스피치의 중첩을 결정한 경우, 결정부(1420)는 오디오(1411) 및 가상 스피치(1412)가 출력되도록 동시에 선택하고, 공간 필터링(예: 수도-공간 필터(pseudo-spatial filters)를 이용)을 수행할 수 있다.If the controller 920 according to an embodiment has determined the superposition of virtual speech and audio as an output, the device 100 may be used to spatially filter audio and virtual speech. In addition, FIG. 14 shows a diagram showing that the control unit 920 filters audio according to an embodiment. As shown in FIG. 14, under the control of the control unit 920, the determination unit 1420 can select one or both of the audio 1411 and the virtual speech 1412 to be output. When the control unit 920 determines the superposition of the audio and the virtual speech as the output, the determination unit 1420 simultaneously selects the audio 1411 and the virtual speech 1412 to be outputted, and performs spatial filtering pseudo-spatial filters).
도 15는 일 실시 예에 따른 데이터 베이스(1500)의 구성을 나타내는 블록도이다.15 is a block diagram showing a configuration of a database 1500 according to an embodiment.
도 15를 참조하면, 일 실시 예에 따른 데이터 베이스(1500)는 사람 데이터 베이스(1510), 객체 데이터 베이스(1520) 및 기록 데이터 베이스(1530)를 포함한다. 도 15에 도시된 데이터 베이스(1500)에는 본 실시 예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 15에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.Referring to FIG. 15, a database 1500 according to an embodiment includes a human database 1510, an object database 1520, and a record database 1530. Only the components related to the present embodiment are shown in the database 1500 shown in Fig. Therefore, it will be understood by those skilled in the art that other general-purpose components other than the components shown in FIG. 15 may be further included.
일 실시 예에 따라 디바이스(100)는 지식 정보를 저장하는 데이터 베이스를 포함할 수 있다. 지식 정보는 사람과 객체를 나타내는 정보일 수 있다. 여기서, 제어부(920)는 ⅰ)스피치 파저에 의해 획득되는 스피치 정보, ⅱ)상태 정보 획득부(1020)의 상태 정보, ⅲ)데이터 베이스에 저장된 지식 정보에 따라서, 표현 속성을 갖는 가상 스피치를 생성하기 위해 이용될 수 있다. 예를 들면, 스피치 정보는 데이터 베이스에 저장된 주제를 포함할 수 있고, 제어부(920)는 데이터 베이스에 저장된 주제와 관련된 주제 정보 및 상태 정보를 이용하여 주제에 대해 코멘트하는 가상 스피치를 생성할 수 있다.According to one embodiment, the device 100 may include a database that stores knowledge information. The knowledge information may be information representing a person and an object. Here, the control unit 920 generates virtual speech having a presentation attribute according to i) speech information obtained by the speech parser, ii) status information of the status information obtaining unit 1020, and iii) knowledge information stored in the database . ≪ / RTI > For example, the speech information may include a subject stored in the database, and the control unit 920 may generate a virtual speech that uses subject information and status information related to the subject stored in the database to comment on the subject .
도 15는 일 실시 예에 따라서 데이터 베이스(1500)의 구조를 나타내는 도면이다. 도 15에 도시된 바와 같이 데이터 베이스(1500)는 사람에 대한 정보를 저장하기 위한 사람 데이터베이스(1510), 발음 기호 정보 및 상식 정보를 저장하는 객체 데이터베이스(1520) 및 주제의 정보 및 이벤트의 정보나 사물의 정보를 저장하기 위한 기록 데이터베이스(memorandum database)(1530)를 포함할 수 있다. 15 is a diagram showing a structure of a database 1500 according to an embodiment. As shown in FIG. 15, the database 1500 includes a person database 1510 for storing information about a person, an object database 1520 for storing phonetic symbol information and common sense information, information on subjects and events, And a memorandum database 1530 for storing information of objects.
일 실시 예에 따른 사람 데이터 베이스(1510)에 저장되고 기록된 객체는 ⅰ)전자 디바이스의 사용자, ⅱ)사용자의 연락처(예: 연락처 목록의 연락처들) 및 ⅲ)다른 연결(예: 부모, 친구 직장동료 등)을 포함할 수 있다. 사람 데이터 베이스(1510)는 상술된 객체의 관련된 데이터를 포괄적으로(comprehensively) 저장할 수 있다. 관련된 데이터는 사람의 이름, 성별, 나이 등; 어떤 객체와 다른 객체간의 관련성을 결정하기 위한 사회적 관계의 정보; 및 차후의(subsequent) 데이터 관리를 위한(예: 통신 후 소정 기간 동안) 사회적 관계 정보 및 사람의 정보의 출처와 관련된 정보를 포함할 수 있으며 이에 제한되지 않는다. 상술된 사람 데이터 베이스(1510)의 정보는 사용자 입력, 자동 연락처 목록 검색, 자동 온라인 서치 등을 통해서 획득될 수 있다.Objects stored and recorded in the person database 1510 according to one embodiment include: i) a user of the electronic device, ii) the user's contacts (e.g., contacts in the contact list), and iii) other connections A co-worker, etc.). The person database 1510 may comprehensively store related data of the objects described above. Related data include the person's name, gender, age, etc.; Information of social relationships to determine the relevance of an object to another object; And social relationship information for subsequent data management (e.g., for a predetermined period of time after communication), and information related to the origin of the person's information. The information in the above-described person database 1510 can be obtained through user input, automatic contact list search, automatic online search, and the like.
일 실시 예에 따른 객체 데이터베이스(1520)에 저장된 정보는 스피치 파저를 위한 발음 기호 및 지식 검색을 위한 공통 지식 정보 중 적어도 하나를 포함할 수 있다. 정보는 키워드(및 키워드의 동음이의어), 공통적으로 알려진 정보(예: 공통적으로 알려진 사람 및 장소와 공통 어휘), 발음 기호 및 이런 단어의 출처를 포함할 수 있다. 객체 데이터 베이스(1520)의 정보는 사용자 입력, 공공 사전, 자동 온라인 검색 중 적어도 하나를 출처로 할 수 있다.The information stored in the object database 1520 according to an exemplary embodiment may include at least one of a phonetic symbol for a speech parser and common knowledge information for knowledge search. The information may include keywords (and homonyms of keywords), commonly known information (e.g., common vocabulary with commonly known persons and places), phonetic symbols, and sources of such words. The information of the object database 1520 may be at least one of user input, public dictionary, and automatic online search.
일 실시 예에 따른 기록 데이터베이스(1530)는 사람에 대한 것이 아닌 객체에 대한 일반적이지 않은 (non-common) 지식을 저장할 수 있다. 사물에 대한 정보, 이벤트의 정보 및 주제의 정보 외에도, 기록 데이터베이스(1530)는 차후의 데이터베이스 관리를 위한 상술된 정보의 출처와 관련된 정보를 저장할 수 있다. 기록 데이터베이스(1530)는 사용자 입력, 사용자 달력(로그), 분석으로부터 획득될 수 있다.The historical database 1530 according to one embodiment may store non-common knowledge of objects that are not of a person. In addition to information about objects, information about events, and information about subjects, the history database 1530 can store information related to the sources of the above-described information for subsequent database management. The history database 1530 may be obtained from user input, user calendar (log), analysis.
도 16은 일 실시 예에 따른 데이터 베이스(1500)의 구성을 나타내는 블록도이다.16 is a block diagram showing a configuration of a database 1500 according to an embodiment.
일 실시 예에 따른 데이터 베이스(1500)는 외부 데이터 베이스(1610)와 연결되어 동작할 수 있다.The database 1500 according to one embodiment may operate in connection with an external database 1610. [
도 16에서 일 실시 예에 따른 데이터 베이스(1500)의 사람 데이터베이스(1510), 객체 데이터 베이스(1520) 및 기록 데이터 베이스(1530)간의 관련성을 도시한다. 도 10에 도시된 바와 같이 사람 데이터 베이스(1510)는 이름, 목소리 특징, 사회적 관계, 나이, 전화번호 등과 같은, 외부 데이터 베이스(1610)에 저장된 사용자 연락처 목록의 복수개의 연락처의 데이터를 포함한다. 일 실시 예에 따른 사람 데이터 베이스(1510)의 일부 데이터를 나타내는 일반적으로 알려진 상식 데이터는 일 실시 예에 따른 객체 데이터 베이스(1520)에 저장될 수 있다. 예를 들면, 일 실시 예에 따른 사람 데이터 베이스(1520)는 홍길동이라는 사람에 의해 구입된 보드카라는 아이템을 나타내는 데이터를 포함할 수 있다. 도 16에서 일 실시 예에 따른 기록 데이터 베이스(1530)는 이벤트(예: 영희와 철수가 보드카 가격에 대해 의논), 주제의 정보(예: 지난번 연락시 주제는 축구) 등의 정보를 포함할 수 있다. 도 16에 따르면, 통화의 원거리 참여자가 홍길동인 경우, 제어부(920)는 홀길동의 아내인 영희의 안부를 묻는 가상 스피치를 생성할 수 있다. 일 실시 예에 따라 생성된 가상 스피치는 영희와 관련된 주제인 보드카나 서울과 관련된 주제를 포함할 수 있다.16 shows the relationship between the person database 1510, the object database 1520, and the record database 1530 of the database 1500 according to an embodiment. 10, the person database 1510 includes data of a plurality of contacts of a user contact list stored in an external database 1610, such as a name, a voice characteristic, a social relationship, an age, a telephone number and the like. Commonly known common sense data representing some of the data of the person database 1510 according to one embodiment may be stored in the object database 1520 according to one embodiment. For example, the person database 1520 according to one embodiment may include data representing an item called vodka purchased by a person named Hong Gil Dong. In FIG. 16, the recording database 1530 according to one embodiment may include information such as an event (e.g., Mrs. Lee and Mrs Ho talk about the vodka price), information about the topic (e.g., have. Referring to FIG. 16, if the remote participant of the call is Hong Kil-dong, the controller 920 may generate a virtual speech asking for the wife of Young-hee, who is a wife of Hogil-dong. The generated virtual speech according to one embodiment may include a topic related to the theme, such as a board or a Seoul.
일 실시 예에 따라 사람 데이터 베이스(1510)에 저장된 사람의 정보는 사람의 스피치/목소리 특징의 정보를 포함할 수 있다. 그리고, 디바이스(100)는 목소리 특성 정보에 따라서 디바이스(100)에 입력되는 오디오와 관련된 사람의 신원을 확인하기 위한 발언자(speaker) 인식기(미도시)를 더 포함할 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 통신의 원거리 사용자의 목소리 특징의 정보를 추출하고, 추출된 정보에 매치되는 목소리 특징의 후보(entry)가 저장된 사람 데이터 베이스(1510)를 검색함으로써 원거리 사용자를 식별할 수 있다.According to one embodiment, the person's information stored in the person database 1510 may include information of a person's speech / voice characteristics. The device 100 may further include a speaker recognizer (not shown) for confirming the identity of a person associated with the audio input to the device 100 according to the voice characteristic information. For example, the device 100 in accordance with one embodiment may extract information about the voice characteristics of a remote user of the communication and may search for a person database 1510 in which a voice feature entry matching the extracted information is stored Thereby identifying the remote user.
일 실시 예에 따른 디바이스(100)는 사전 데이터베이스에 저장된 정보에 따라서 저장된 문법(syntax) 패턴에 매치되는 문장으로부터 정보를 추출하기 위한 패턴 매치부(미도시)를 더 포함할 수 있다. 저장된 문법 패턴은 의문문의 문장 구조, 평서문인 문장 구조, 명령문인 문장 구조를 포함할 수 있으면 이에 제한되지 않는다.The device 100 according to an exemplary embodiment may further include a pattern matching unit (not shown) for extracting information from a sentence matched with a stored syntax pattern according to information stored in a dictionary database. The stored grammatical pattern is not limited as long as it can include a sentence structure of a question, a sentence structure of a statement, and a sentence structure of a statement.
일 실시 예에 따른 제어부(920)는 데이터 베이스(1500)의 지식 정보를 갱신하기 위해 이용될 수 있다. 특히, 제어부(920)는 적극적으로 또는 수동적으로 온라인 서치, 질문, 자동 간섭, 빈칸 채우기, 불확실 필드 매칭, 새로운 필드 발견, 새로운 값 발견 등 중 적어도 하나에 의해 지식 정보를 갱신할 수 있다. 예를 들면, 제어부(920)는 디바이스(100)를 통해 획득되는 스피치 정보로부터 데이터 베이스(1500)의 불확실한 영역이나 비워진 값을 정기적으로 탐색할 수 있고, 소정의 갱신 방법으로 불확실하거나 비워진 값을 채울 수 있고, 데이터 베이스에 저장된 정보를 갱신할 수 있다. 다른 예로, 제어부(920)는 계속해서 통신에서 키워드, 주된 주제 및 올바르게 구성된 문장을 모니터하여 데이터 베이스(1500)에 다양한 지식 정보를 모을 수 있다.The controller 920 may be used to update the knowledge information of the database 1500 according to one embodiment. In particular, the controller 920 can update the knowledge information actively or manually by at least one of an online search, a question, an automatic interference, a blank filling, an uncertain field matching, a new field discovery, a new value discovery, For example, the control unit 920 may periodically search an uncertain region or an empty value of the database 1500 from the speech information obtained through the device 100, and may fill in an uncertain or emptied value with a predetermined update method And can update the information stored in the database. As another example, the control unit 920 may continue to monitor keywords, main topics, and correctly configured sentences in the communication to gather various knowledge information in the database 1500. [
일 실시 예에 따른 제어부(920)는 통신이 종료된 이후 데이터 베이스(1500)의 데이터에 대한 관리 동작을 수행할 수 있다. 예를 들면, 원거리 사용자의 목소리 특징과 사람 데이터 베이스(1510)에 저장된 사람의 목소리 특징의 매칭이 통신하는 동안 완료되지 않은 경우, 통신 후에도, 목소리 특징에 대응되는 사람의 식별 정보가 발견되거나 사람 데이터 베이스(1510) 내의 목소리 특징의 모든 정보가 비교될 때까지, 제어부(920)는 원거리 사용자의 목소리 특징과 사람 데이터 베이스(1510)의 목소리 특징을 매칭하기 위해 동작할 수 있다. The control unit 920 according to an exemplary embodiment may perform a management operation on data of the database 1500 after the communication is terminated. For example, if the matching of the voice characteristics of the ranged user to the voice characteristics of the person stored in the person database 1510 is not completed during the communication, even after the communication, the identification information of the person corresponding to the voice feature is found, The control unit 920 may operate to match the voice characteristics of the far user and the voice features of the person database 1510 until all of the information of the voice features in the base 1510 are compared.
도 17은 일 실시 예에 따른 감정 정보의 일례를 나타내는 도면이다.17 is a diagram showing an example of emotion information according to an embodiment.
일 실시 예에 따다 도 17에서는 상태 정보의 적극성과 관련된 변수의 변화를 도시한다. 가상 캐릭터가 작동(enable)되는 경우, 상태 정보의 적극성은 비활성 상태(disabled state)(1710)(예: 0에 대응되는 적극성 변수값)에서 수동 상태(passive state)(1720)(예: 1에 대응되는 적극성 변수값)로 변화 될 수 있다. 가상 캐릭터에게 인사하는 것과 같이 사용자가 가상 캐릭터를 작동시키면(arouse) 적극성이 활성화 상태(active state)(1730) (예: 2에 대응되는 적극성 변수값)로 변화 될 수 있다. 사용자가 빈번하게 가상 캐릭터와 통신하는 경우, 적극성은 과잉 활성 상태(hyperactive state)(1740) (예: 3에 대응되는 적극성 변수값)로 변화 될 수 있다. 사용자가 가상 캐릭터와 빈번하게 통신하지 않는 경우처럼, 사용자의 관심이 다른 쪽으로 옮겨가면, 적극성은 활성화 상태(1730)로 변화 될 수 있다. 사용자가 가상 캐릭터를 계속 무시하거나 직접적으로 가상 캐릭터에게 “조용히”와 같이 명령을 하면 적극성은 수동적 상태(1720)로 변할 수 있다. 사용자가 가상 캐릭터를 계속해서 무시하거나 가상 캐릭터와 더 이상 통신하지 않는 경우 적극성은 비활성 상태(1710)로 변할 수 있다.In accordance with an embodiment, Fig. 17 shows the change of variables related to the aggressiveness of the state information. When the virtual character is enabled, the aggressiveness of the state information is changed from a disabled state 1710 (e.g., an aggressive variable value corresponding to 0) to a passive state 1720 (e.g., The corresponding aggressive variable value). Aggressiveness can be changed to an active state 1730 (eg, an aggression variable value corresponding to 2) if the user activates a virtual character such as greeting a virtual character. If the user frequently communicates with the virtual character, the aggressiveness can be changed to a hyperactive state 1740 (e.g., an aggressive variable value corresponding to 3). If the user's attention shifts to the other side, such as when the user does not frequently communicate with the virtual character, the aggressiveness may change to the active state 1730. [ If the user continues to ignore the virtual character or directly commands the virtual character such as " quietly ", the aggressiveness may change to passive state 1720. [ If the user continues to ignore the virtual character or if it no longer communicates with the virtual character, the aggressiveness may change to the inactive state (1710).
도 18은 일 실시 예에 따른 서버(1800)가 정보를 제공하는 일례를 도시한 도면이다.18 is a diagram illustrating an example in which the server 1800 provides information according to an embodiment.
도1 내지 도17에서 상술된 디바이스(100)가 수행하는 동작은 서버(1800)에 의해 구현될 수 있다.The operations performed by the device 100 described above in FIGS. 1-17 may be implemented by the server 1800.
통화는 2인간에 수행될 수도 있고, 3인간에 수행될 수 있다. 예를 들면, 제1 통신 단말(110) 및 제2 통신 단말(120)을 이용하여 2인간의 통화가 수행될 수 있고, 다른 예로, 제1 통신 단말(110), 제2 통신 단말(120) 및 서버(1800)를 이용하여 3자간의 통화가 수행될 수 있다. The currency may be performed on two humans, or on three humans. For example, two human conversations can be performed using the first communication terminal 110 and the second communication terminal 120, and in other examples, the first communication terminal 110, the second communication terminal 120, And the server 1800 can be used to perform a three-party call.
2인간의 통화가 수행되는 경우, 긴장감, 불편함 등이 유발될 수 있으나, 3인간의 통화가 수행되는 경우, 상대적으로 긴장감, 불편함 등이 해소될 수 있다. 예를 들면, 일 실시 예에 따라, 제1 통신 단말(110)과 제2 통신 단말(120)을 통한 2인간의 통화가 수행되는 도중에 서버(1800)가 3번째 참여자로서 통화에 참여하는 경우, 폐쇄되고 맞대응(tit-for-tat)하는 2인 통화의 분위기가 진정된 분위기로 전환될 수 있다. 일 실시 예에 따른 서버(1800)에 의해 통화에 참여하는 3번째 참여자는 가상 캐릭터일 수 있다. 예를 들면, 서버(1800)에 의해 제1 통신 단말 또는 제2 통신 단말로 전송되는 음성 신호는 가상 캐릭터의 가상 스피치일 수 있다.2 When a human call is performed, tension, inconvenience, and the like may be caused. However, when three human calls are performed, relative tension and inconvenience may be solved. For example, according to one embodiment, when a server 1800 participates in a call as a third party during a two-person call through the first communication terminal 110 and the second communication terminal 120, The atmosphere of a closed-and-tit-for-tat two-person call can be transformed into a calm atmosphere. The third participant participating in the call by server 1800 according to one embodiment may be a virtual character. For example, the voice signal transmitted to the first communication terminal or the second communication terminal by the server 1800 may be the virtual speech of the virtual character.
일 실시예에 따라 서버(1800)는 제1통신 단말(110)이나 제2통신 단말(120)과는 별도의 서버로 구현되어 제1통신 단말(110)과 제2통신 단말(120)사이의 통신에 개입할 수 있다. The server 1800 may be implemented as a separate server from the first communication terminal 110 or the second communication terminal 120 and may be implemented as a server between the first communication terminal 110 and the second communication terminal 120 It can intervene in communication.
일 실시예에 따라 서버(1800)는 제1통신 단말(110)의 내부에 배열되어 제1통신 단말(110)과 제2통신 단말(120)사이의 통신에 개입할 수 있다. The server 1800 may be arranged within the first communication terminal 110 to intervene in communication between the first communication terminal 110 and the second communication terminal 120 according to one embodiment.
일 실시예에 따라 서버(1800)는 제2통신 단말(120)의 내부에 배열되어 제1통신 단말(110)과 제2통신 단말(120)사이의 통신에 개입할 수 있다. According to one embodiment, the server 1800 may be arranged within the second communication terminal 120 to intervene in communication between the first communication terminal 110 and the second communication terminal 120. [
일 실시 예에 따른 서버(1800)는 도 9에 도시된 수신부(910), 제어부(920) 및 출력부(930) 를 포함할 수 있다.The server 1800 according to one embodiment may include a receiving unit 910, a control unit 920, and an output unit 930 shown in FIG.
일 실시 예에 따른 서버(1800)는 통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 통신 단말을 통해 획득할 수 있다.The server 1800 according to an exemplary embodiment may acquire, via the communication terminal, speech information provided by at least one participant participating in a conversation using the communication terminal.
일 실시 예에 따른 스피치 정보는 음성 신호를 통해 획득되는 정보를 포함할 수 있다. 예를 들면, 스피치 정보는 통신 단말을 통해 수신되는 통신 단말 사용자의 음성 신호로부터 획득되는 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말 사용자의 음성 신호의 분석을 통해 획득되는 키워드 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말 사용자의 음성 신호의 분석을 통해 획득되는 목소리 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말이 획득하는 적어도 하나의 참여자의 음성 정보를 포함할 수 있다.Speech information according to one embodiment may include information obtained via a voice signal. For example, the speech information may include information obtained from a voice signal of a communication terminal user received via the communication terminal. As another example, the speech information may include keyword information obtained through analysis of the speech signal of the communication terminal user. As another example, the speech information may include voice information obtained through analysis of the speech signal of the communication terminal user. In another example, the speech information may include speech information of at least one participant that the communication terminal acquires.
일 실시 예에 따른 서버(1800)는 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득할 수 있다. The server 1800 according to one embodiment may obtain status information indicating the current status of at least one participant using speech information and / or pre-stored data.
일 실시 예에 따른 상태 정보는 적어도 하나의 참여자 및/또는 가상 캐릭터의 현재 감정 상태를 나타내는 감정 정보(emotion information), 적어도 하나의 참여자 및/또는 가상 캐릭터의 인적 정보(personal information), 대화에 대한 주제 정보(topic information), 적어도 하나의 참여자의 스케줄 정보(schedule information) 및 적어도 하나의 참여자 및/또는 가상 캐릭터의 성격 정보(personality information) 중 적어도 하나를 포함할 수 있다.The status information according to one embodiment includes emotion information indicating the current emotional state of at least one participant and / or virtual character, personal information of at least one participant and / or virtual character, At least one of topic information, schedule information of at least one participant, and personality information of at least one participant and / or a virtual character.
일 실시 예에 따른 서버(1800)는 스피치 정보 및/또는 상태 정보에 기초하여 적어도 하나의 참여자에게 제공될 가상 스피치를 획득 또는 결정할 수 있다. 예를 들면 일 실시 예에 따른 서버(1800)는 복수개의 가상 스피치 중 하나를 참여자에게 제공될 가상 스피치로 결정할 수도 있고, 참여자에게 제공될 가상 스피치를 생성할 수도 있다.The server 1800 according to one embodiment may obtain or determine the virtual speech to be provided to the at least one participant based on the speech information and / or the status information. For example, the server 1800 according to one embodiment may determine one of the plurality of virtual speeches as virtual speech to be provided to the participant, and may generate virtual speech to be provided to the participant.
일 실시 예에 따른 서버(1800)는 획득한 가상 스피치를 출력할 수 있다.The server 1800 according to one embodiment may output the obtained virtual speech.
예를 들면, 일 실시 예에 따른 서버(1800)는 획득한 가상 스피치를 음성 형태로 출력할 수 있다. 다른 예로, 일 실시 예에 따른 서버(1800)는 획득한 가상 스피치를 문자 형태로 출력할 수 있다.For example, the server 1800 according to one embodiment may output the obtained virtual speech in a voice form. As another example, the server 1800 according to one embodiment may output the obtained virtual speech in a character form.
일 실시 예에 따른 서버(1800)는 획득한 가상 스피치를 통화중인 두 참여자 중 어느 한 참여자에게만 제공할 수 있다. 또는 일 실시 예에 따른 서버(1800)는 획득한 가상 스피치를 통화중인 두 참여자 모두에게 제공할 수 있다. 일 실시 예에 따른 서버(1800)는 스피커 등을 통하여 단수 또는 복수의 참여자에게 획득한 가상 스피치를 출력할 수 있다.The server 1800 according to one embodiment may provide the acquired virtual speech to only one of the two participants in the call. Or the server 1800 according to one embodiment may provide the acquired virtual speech to both participants in the call. The server 1800 according to an exemplary embodiment may output virtual speech obtained to a single participant or a plurality of participants through a speaker or the like.
도 19는 일 실시 예에 따른 통신 단말(1900)이 정보를 제공하는 일례를 도시한 도면이다.19 is a diagram showing an example in which the communication terminal 1900 according to an embodiment provides information.
도1 내지 도17에서 상술된 디바이스(100)가 수행하는 동작은 통신 단말(1900)에 의해 구현될 수 있다.The operations performed by the device 100 described above in FIGS. 1-17 may be implemented by the communication terminal 1900.
예를 들면, 일 실시 예에 따른 통신 단말(1900)은 도1에서 개시된 제1 통신 단말(110)의 기능, 도1 내지 도17에서 상술된 디바이스(100)의 기능 및 도 8에서 상술된 제1 통신 단말(110)의 기능을 모두 수행할 수 있다.For example, the communication terminal 1900 according to one embodiment may be configured to perform the functions of the first communication terminal 110 disclosed in FIG. 1, the functions of the device 100 described in FIGS. 1 through 17, 1 communication terminal 110 according to the present invention.
다른 예로, 일 실시 예에 따른 통신 단말(1900)은 도 8에서 상술된 제1 통신 단말(110)에 대응될 수 있다. As another example, the communication terminal 1900 according to one embodiment may correspond to the first communication terminal 110 described above in Fig.
일 실시 예에 따른 통신 단말(1900)은 도 9에 도시된 수신부(910), 제어부(920) 및 출력부(930) 를 포함할 수 있다.The communication terminal 1900 according to an exemplary embodiment may include a receiving unit 910, a control unit 920, and an output unit 930 shown in FIG.
일 실시 예에 따른 통신 단말(1900)은 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 획득할 수 있다.The communication terminal 1900 according to an exemplary embodiment may use the terminal to acquire speech information provided by at least one participant participating in a conversation.
일 실시 예에 따른 스피치 정보는 음성 신호를 통해 획득되는 정보를 포함할 수 있다. 예를 들면, 스피치 정보는 통신 단말(1900)을 통해 수신되는 통신 단말(1900) 사용자의 음성 신호로부터 획득되는 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말(1900) 사용자의 음성 신호의 분석을 통해 획득되는 키워드 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말(1900) 사용자의 음성 신호의 분석을 통해 획득되는 목소리 정보를 포함할 수 있다. 다른 예로, 스피치 정보는 통신 단말(1900)이 획득하는 적어도 하나의 참여자의 음성 정보를 포함할 수 있다.Speech information according to one embodiment may include information obtained via a voice signal. For example, the speech information may include information obtained from a speech signal of a user of the communication terminal 1900 received via the communication terminal 1900. As another example, the speech information may include keyword information obtained through analysis of the speech signal of the user of the communication terminal 1900. As another example, the speech information may include voice information obtained through analysis of the speech signal of the user of communication terminal 1900. As another example, the speech information may include speech information of at least one participant that the communication terminal 1900 acquires.
일 실시 예에 따른 통신 단말(1900)은 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득할 수 있다.The communication terminal 1900 according to one embodiment may obtain status information indicating the current status of at least one participant using speech information and / or pre-stored data.
일 실시 예에 따른 상태 정보는 적어도 하나의 참여자 및/또는 가상 캐릭터의 현재 감정 상태를 나타내는 감정 정보(emotion information), 적어도 하나의 참여자 및/또는 가상 캐릭터의 인적 정보(personal information), 대화에 대한 주제 정보(topic information), 적어도 하나의 참여자의 스케줄 정보(schedule information) 및 적어도 하나의 참여자 및/또는 가상 캐릭터의 성격 정보(personality information) 중 적어도 하나를 포함할 수 있다.The status information according to one embodiment includes emotion information indicating the current emotional state of at least one participant and / or virtual character, personal information of at least one participant and / or virtual character, At least one of topic information, schedule information of at least one participant, and personality information of at least one participant and / or a virtual character.
일 실시 예에 따른 통신 단말(1900)은 스피치 정보 및/또는 상태 정보에 기초하여 적어도 하나의 참여자에게 제공될 가상 스피치를 획득 또는 결정할 수 있다. 예를 들면 일 실시 예에 따른 통신 단말(1900)은 복수개의 가상 스피치 중 하나를 참여자에게 제공될 가상 스피치로 결정할 수도 있고, 참여자에게 제공될 가상 스피치를 생성할 수도 있다.The communication terminal 1900 according to one embodiment may obtain or determine the virtual speech to be provided to at least one participant based on the speech information and / or the status information. For example, the communication terminal 1900 according to one embodiment may determine one of a plurality of virtual speeches as virtual speech to be provided to the participant, and generate virtual speech to be provided to the participant.
일 실시 예에 따른 통신 단말(1900)은 획득한 가상 스피치를 출력할 수 있다.The communication terminal 1900 according to one embodiment can output the obtained virtual speech.
예를 들면, 일 실시 예에 따른 통신 단말(1900)은 획득한 가상 스피치를 음성 형태로 출력할 수 있다. 다른 예로, 일 실시 예에 따른 통신 단말(1900)은 획득한 가상 스피치를 문자 형태로 출력할 수 있다.For example, the communication terminal 1900 according to one embodiment can output the obtained virtual speech in a voice form. As another example, the communication terminal 1900 according to one embodiment may output the obtained virtual speech in a character form.
일 실시 예에 따른 통신 단말(1900)은 획득한 가상 스피치를 통화중인 두 참여자 중 어느 한 참여자에게만 제공할 수 있다. 또는 일 실시 예에 따른 통신 단말(1900)은 획득한 가상 스피치를 통화중인 두 참여자 모두에게 제공할 수 있다. 일 실시 예에 따른 통신 단말(1900)은 스피커 등을 통하여 단수 또는 복수의 참여자에게 획득한 가상 스피치를 출력할 수 있다.The communication terminal 1900 according to an exemplary embodiment may provide the acquired virtual speech to only one participant in the call. Or the communication terminal 1900 according to one embodiment may provide the acquired virtual speech to both participants in the call. The communication terminal 1900 according to an exemplary embodiment may output virtual speech obtained to a single participant or a plurality of participants through a speaker or the like.
일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. One embodiment may also be implemented in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium can include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

Claims (20)

  1. 정보 제공 방법에 있어서,
    통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 상기 통신 단말을 통해 획득하는 단계;
    상기 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 상기 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득하는 단계;
    상기 스피치 정보 및 상기 상태 정보에 기초하여 상기 적어도 하나의 참여자에게 제공될 가상 스피치를 결정하는 단계; 및
    상기 결정된 가상 스피치를 출력하는 단계를 포함하는 정보 제공 방법.
    In the information providing method,
    Acquiring, through the communication terminal, speech information provided by at least one participant participating in a conversation using a communication terminal;
    Obtaining status information indicating the current status of the at least one participant using the speech information and / or pre-stored data;
    Determining a virtual speech to be provided to the at least one participant based on the speech information and the status information; And
    And outputting the determined virtual speech.
  2. 제 1 항에 있어서,
    상기 스피치 정보를 상기 통신 단말을 통해 획득하는 단계는
    상기 적어도 하나의 참여자에 대한 정보를 획득하기 위해 문의하는 가상 스피치를 출력하는 단계; 및
    상기 문의하는 가상 스피치를 통해 획득된 추가 스피치 정보를 포함하는 상기 스피치 정보를 획득하는 단계를 포함하는 정보 제공 방법.
    The method according to claim 1,
    The step of acquiring the speech information through the communication terminal
    Outputting a virtual speech query to obtain information about the at least one participant; And
    And obtaining the speech information including the additional speech information obtained through the inquiring virtual speech.
  3. 제 1 항에 있어서,
    상기 상태 정보는 상기 적어도 하나의 참여자의 현재 감정 상태를 나타내는 감정 정보(emotion information), 상기 적어도 하나의 참여자의 인적 정보(personal information), 상기 대화에 대한 주제 정보(topic information), 상기 적어도 하나의 참여자의 스케줄 정보(schedule information) 및 상기 적어도 하나의 참여자의 성격 정보(personality information) 중 적어도 하나를 포함하는 정보 제공 방법.
    The method according to claim 1,
    Wherein the status information comprises emotion information indicating a current emotional state of the at least one participant, personal information of the at least one participant, topic information of the conversation, And at least one of schedule information of the participant and personality information of the at least one participant.
  4. 제 1 항에 있어서,
    상기 스피치 정보는 상기 통신 단말이 획득하는 상기 적어도 하나의 참여자의 음성 정보를 포함하는 정보 제공 방법.
    The method according to claim 1,
    Wherein the speech information includes voice information of the at least one participant acquired by the communication terminal.
  5. 제 1 항에 있어서,
    상기 가상 스피치를 결정하는 단계는
    상기 스피치 정보를 이용하여 상기 가상 스피치의 컨텐츠를 획득하는 단계;
    상기 상태 정보를 이용하여 상기 가상 스피치의 표현 방식을 결정하는 단계; 및
    상기 획득한 컨텐츠가 상기 결정된 표현 방식으로 표현되는 상기 가상 스피치를 획득하는 단계를 포함하는 정보 제공 방법.
    The method according to claim 1,
    The step of determining the virtual speech
    Acquiring contents of the virtual speech using the speech information;
    Determining a presentation method of the virtual speech using the status information; And
    And obtaining the virtual speech in which the obtained content is represented by the determined presentation method.
  6. 제 1 항에 있어서,
    상기 가상 스피치를 결정하는 단계는
    상기 스피치 정보가 기설정된 키워드를 포함하는지 여부를 결정하는 단계; 및
    상기 스피치 정보가 상기 기설정된 키워드를 포함하는 경우, 상기 대화의 주제와 상이한 주제에 대한 컨텐츠를 포함하는 상기 가상 스피치를 획득하는 단계를 포함하는 정보 제공 방법.
    The method according to claim 1,
    The step of determining the virtual speech
    Determining whether the speech information includes a predetermined keyword; And
    And when the speech information includes the preset keyword, obtaining the virtual speech including content for a subject different from the subject of the conversation.
  7. 제 1 항에 있어서,
    상기 상태 정보는 상기 적어도 하나의 참여자의 감정 정보를 포함하고,
    상기 가상 스피치를 결정하는 단계는
    상기 감정 정보에 따라 결정된 컨텐츠 및 표현 방식의 상기 가상 스피치를 획득하는 정보 제공 방법.
    The method according to claim 1,
    Wherein the status information includes emotion information of the at least one participant,
    The step of determining the virtual speech
    And the virtual speech of the content and the presentation method determined according to the emotion information is obtained.
  8. 제 7 항에 있어서,
    상기 감정 정보는
    감정의 종류에 대한 정보 및 감정의 레벨에 대한 정보를 포함하는 정보 제공 방법.
    8. The method of claim 7,
    The emotion information
    Information about the type of emotion and information about the level of emotion.
  9. 제 7 항에 있어서,
    상기 가상 스피치를 결정하는 단계는
    상기 적어도 하나의 참여자의 감정 상태가 비정상적인지 여부를 상기 감정 정보를 이용하여 결정하는 단계; 및
    상기 감정 상태가 비정상적이라고 결정된 경우, 상기 대화의 주제와 상이한 주제에 대한 컨텐츠를 포함하는 상기 가상 스피치를 획득하는 단계를 포함하는 정보 제공 방법.
    8. The method of claim 7,
    The step of determining the virtual speech
    Determining whether the emotion state of the at least one participant is abnormal using the emotion information; And
    And if the emotional state is determined to be abnormal, obtaining the virtual speech including content for a subject different from the subject of the conversation.
  10. 제 9 항에 있어서,
    상기 감정 상태가 비정상적인지 여부를 결정하는 단계는
    상기 적어도 하나의 참여자의 감정의 종류 및 상기 종류의 감정이 지속된 시간에 기초하여 상기 감정 상태가 비정상적인지 여부를 결정하는 정보 제공 방법.
    10. The method of claim 9,
    Wherein the step of determining whether the emotional state is abnormal
    Determining whether the emotional state is abnormal based on the type of emotions of the at least one participant and the time duration of the emotional state of the kind.
  11. 정보 제공 디바이스에 있어서,
    통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 획득하고,
    상기 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 상기 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득하고,
    상기 스피치 정보 및 상기 상태 정보에 기초하여 상기 적어도 하나의 참여자에게 제공될 가상 스피치를 결정하는 제어부; 및
    상기 결정한 가상 스피치를 출력하는 출력부를 포함하는 디바이스.
    In the information providing device,
    Acquiring speech information provided by at least one participant participating in a conversation using a communication terminal,
    Acquiring status information indicating the current status of the at least one participant using the speech information and / or pre-stored data,
    A control unit for determining virtual speech to be provided to the at least one participant based on the speech information and the status information; And
    And outputting the determined virtual speech.
  12. 제 11 항에 있어서,
    상기 출력부는 상기 적어도 하나의 참여자에 대한 정보를 획득하기 위해 문의하는 가상 스피치를 출력하고,
    상기 제어부는 상기 문의하는 가상 스피치를 통해 획득된 추가 스피치 정보를 포함하는 상기 스피치 정보를 획득하는 디바이스.
    12. The method of claim 11,
    Wherein the output unit outputs a virtual speech inquiring to obtain information about the at least one participant,
    Wherein the control unit obtains the speech information including the additional speech information obtained through the inquiring virtual speech.
  13. 제 11 항에 있어서,
    상기 상태 정보는 상기 적어도 하나의 참여자의 현재 감정 상태를 나타내는 감정 정보(emotion information), 상기 적어도 하나의 참여자의 인적 정보(personal information), 상기 대화에 대한 주제 정보(topic information), 상기 적어도 하나의 참여자의 스케줄 정보(schedule information) 및 상기 적어도 하나의 참여자의 성격 정보(personality information) 중 적어도 하나를 포함하는 디바이스.
    12. The method of claim 11,
    Wherein the status information comprises emotion information indicating a current emotional state of the at least one participant, personal information of the at least one participant, topic information of the conversation, And at least one of schedule information of the participant and personality information of the at least one participant.
  14. 제 11 항에 있어서,
    상기 스피치 정보는 상기 통신 단말이 획득하는 상기 적어도 하나의 참여자의 음성 정보를 포함하는 디바이스.
    12. The method of claim 11,
    Wherein the speech information comprises voice information of the at least one participant acquired by the communication terminal.
  15. 제 11 항에 있어서,
    상기 제어부는
    상기 스피치 정보를 이용하여 상기 가상 스피치의 컨텐츠를 획득하고,
    상기 상태 정보를 이용하여 상기 가상 스피치의 표현 방식을 결정하고,
    상기 획득한 컨텐츠가 상기 결정된 표현 방식으로 표현되는 상기 가상 스피치를 획득하는 디바이스.
    12. The method of claim 11,
    The control unit
    Acquiring contents of the virtual speech using the speech information,
    Determines the expression system of the virtual speech using the status information,
    And obtains the virtual speech in which the obtained content is represented by the determined expression.
  16. 제 11 항에 있어서,
    상기 제어부는
    상기 스피치 정보가 기설정된 키워드를 포함하는지 여부를 결정하고,
    상기 스피치 정보가 상기 기설정된 키워드를 포함하는 경우, 상기 대화의 주제와 상이한 주제에 대한 컨텐츠를 포함하는 상기 가상 스피치를 획득하는 디바이스.
    12. The method of claim 11,
    The control unit
    Determining whether the speech information includes a predetermined keyword,
    And if the speech information includes the predetermined keyword, obtains the virtual speech including content for a subject different from the subject of the conversation.
  17. 제 11 항에 있어서,
    상기 상태 정보는 상기 적어도 하나의 참여자의 감정 정보를 포함하고,
    상기 제어부는
    상기 감정 정보에 따라 결정된 컨텐츠 및 표현 방식의 상기 가상 스피치를 획득하는 디바이스.
    12. The method of claim 11,
    Wherein the status information includes emotion information of the at least one participant,
    The control unit
    And obtains the virtual speech of the content and the presentation method determined according to the emotion information.
  18. 정보 제공 통신 단말에 있어서,
    상기 통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 획득하고,
    상기 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 상기 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득하고,
    상기 스피치 정보 및 상기 상태 정보에 기초하여 상기 적어도 하나의 참여자에게 제공될 가상 스피치를 결정하는 제어부; 및
    상기 결정한 가상 스피치를 출력하는 출력부를 포함하는 통신 단말.
    In the information providing communication terminal,
    Acquiring speech information provided by at least one participant participating in a conversation using the communication terminal,
    Acquiring status information indicating the current status of the at least one participant using the speech information and / or pre-stored data,
    A control unit for determining virtual speech to be provided to the at least one participant based on the speech information and the status information; And
    And outputting the determined virtual speech.
  19. 정보 제공 서버에 있어서,
    통신 단말을 이용하여 대화에 참여하는 적어도 하나의 참여자가 제공하는 스피치 정보를 획득하고,
    상기 적어도 하나의 참여자의 현재 상태를 나타내는 상태 정보를 상기 스피치 정보 및/또는 기저장된 데이터를 이용하여 획득하고,
    상기 스피치 정보 및 상기 상태 정보에 기초하여 상기 적어도 하나의 참여자에게 제공될 가상 스피치를 결정하는 제어부; 및
    상기 결정한 가상 스피치를 출력하는 출력부를 포함하는 서버.
    In the information providing server,
    Acquiring speech information provided by at least one participant participating in a conversation using a communication terminal,
    Acquiring status information indicating the current status of the at least one participant using the speech information and / or pre-stored data,
    A control unit for determining virtual speech to be provided to the at least one participant based on the speech information and the status information; And
    And outputting the determined virtual speech.
  20. 제 1 항 내지 제 10 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체.A computer-readable non-volatile recording medium storing a program for executing the method of any one of claims 1 to 10 in a computer.
KR1020150172647A 2015-02-16 2015-12-04 Method and device for providing information KR20160100811A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510084928.7A CN105991847B (en) 2015-02-16 2015-02-16 Call method and electronic equipment
CN201510084928.7 2015-02-16

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/KR2016/001488 WO2016133319A1 (en) 2015-02-16 2016-02-15 Method and device for providing information
EP16752649.0A EP3259754A4 (en) 2015-02-16 2016-02-15 Method and device for providing information
US15/044,467 US10468052B2 (en) 2015-02-16 2016-02-16 Method and device for providing information

Publications (1)

Publication Number Publication Date
KR20160100811A true KR20160100811A (en) 2016-08-24

Family

ID=56884268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150172647A KR20160100811A (en) 2015-02-16 2015-12-04 Method and device for providing information

Country Status (3)

Country Link
EP (1) EP3259754A4 (en)
KR (1) KR20160100811A (en)
CN (1) CN105991847B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020111835A1 (en) * 2018-11-28 2020-06-04 김훈 User device and education server included in conversation-based education system

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683672B (en) * 2016-12-21 2020-04-03 竹间智能科技(上海)有限公司 Intelligent dialogue method and system based on emotion and semantics
CN107331388A (en) * 2017-06-15 2017-11-07 重庆柚瓣科技有限公司 A kind of dialect collection system based on endowment robot
CN108304154A (en) * 2017-09-19 2018-07-20 腾讯科技(深圳)有限公司 A kind of information processing method, device, server and storage medium
CN107765856A (en) * 2017-10-26 2018-03-06 北京光年无限科技有限公司 Visual human's visual processing method and system based on multi-modal interaction
CN108986804A (en) * 2018-06-29 2018-12-11 北京百度网讯科技有限公司 Man-machine dialogue system method, apparatus, user terminal, processing server and system
CN109274819A (en) * 2018-09-13 2019-01-25 广东小天才科技有限公司 User emotion method of adjustment, device, mobile terminal and storage medium when call
CN109040471B (en) * 2018-10-15 2020-09-22 Oppo广东移动通信有限公司 Emotion prompting method and device, mobile terminal and storage medium
CN109639444B (en) * 2019-02-20 2021-06-18 腾讯科技(深圳)有限公司 Message processing method and device, electronic equipment and storage medium
CN110728133B (en) * 2019-12-19 2020-05-05 北京海天瑞声科技股份有限公司 Individual corpus acquisition method and individual corpus acquisition device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202171B2 (en) * 2008-11-11 2015-12-01 Digideal Corporation Virtual game assistant based on artificial intelligence
EP2713881B1 (en) * 2011-06-01 2020-10-07 Koninklijke Philips N.V. Method and system for assisting patients
US20130007635A1 (en) * 2011-06-30 2013-01-03 Avaya Inc. Teleconferencing adjunct and user interface to support temporary topic-based exclusions of specific participants
CN103543979A (en) * 2012-07-17 2014-01-29 联想(北京)有限公司 Voice outputting method, voice interaction method and electronic device
US9269073B2 (en) * 2012-09-20 2016-02-23 Avaya Inc. Virtual agenda participant

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020111835A1 (en) * 2018-11-28 2020-06-04 김훈 User device and education server included in conversation-based education system

Also Published As

Publication number Publication date
CN105991847B (en) 2020-11-20
CN105991847A (en) 2016-10-05
EP3259754A1 (en) 2017-12-27
EP3259754A4 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
KR20160100811A (en) Method and device for providing information
US11004446B2 (en) Alias resolving intelligent assistant computing device
US10783872B2 (en) Integration of third party virtual assistants
US10468052B2 (en) Method and device for providing information
CN102017585B (en) Method and system for notification and telecommunications management
US10311869B2 (en) Method and system for automation of response selection and composition in dialog systems
US20130144595A1 (en) Language translation based on speaker-related information
US20080240379A1 (en) Automatic retrieval and presentation of information relevant to the context of a user's conversation
US8934652B2 (en) Visual presentation of speaker-related information
US20130144619A1 (en) Enhanced voice conferencing
Fenn et al. When less is heard than meets the ear: Change deafness in a telephone conversation
JP3920175B2 (en) Call activation system
US20130253932A1 (en) Conversation supporting device, conversation supporting method and conversation supporting program
KR101891492B1 (en) Method and computer device for providing contextual natural language conversation by modifying plain response, and computer readable recording medium
CN112513833A (en) Electronic device and method for providing artificial intelligence service based on presynthesized dialog
JPWO2018168427A1 (en) Learning device, learning method, speech synthesis device, speech synthesis method
CN110050303A (en) Speech-to-text conversion based on third-party agent content
KR20200059054A (en) Electronic apparatus for processing user utterance and controlling method thereof
JPWO2019026395A1 (en) Information processing apparatus, information processing method, and program
US10706845B1 (en) Communicating announcements
JP2014109998A (en) Interactive apparatus and computer interactive method
JP2007259427A (en) Mobile terminal unit
Wahlster et al. The shopping experience of tomorrow: Human-centered and resource-adaptive
JP6746963B2 (en) Conversation evaluation device, program, and conversation evaluation method
WO2020213468A1 (en) Information processing system, information processing method, and program