WO2017191696A1 - 情報処理システム、および情報処理方法 - Google Patents

情報処理システム、および情報処理方法 Download PDF

Info

Publication number
WO2017191696A1
WO2017191696A1 PCT/JP2017/003845 JP2017003845W WO2017191696A1 WO 2017191696 A1 WO2017191696 A1 WO 2017191696A1 JP 2017003845 W JP2017003845 W JP 2017003845W WO 2017191696 A1 WO2017191696 A1 WO 2017191696A1
Authority
WO
WIPO (PCT)
Prior art keywords
utterance
agent
user
data
information
Prior art date
Application number
PCT/JP2017/003845
Other languages
English (en)
French (fr)
Inventor
顕博 小森
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780026799.3A priority Critical patent/CN109074397B/zh
Priority to CN202210300375.4A priority patent/CN114756648A/zh
Priority to US16/092,049 priority patent/US10559305B2/en
Priority to JP2018515390A priority patent/JP6860010B2/ja
Publication of WO2017191696A1 publication Critical patent/WO2017191696A1/ja
Priority to US16/707,832 priority patent/US10777199B2/en
Priority to US16/936,336 priority patent/US11074916B2/en
Priority to US17/364,545 priority patent/US11646026B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
    • G10L2025/786—Adaptive threshold

Definitions

  • This disclosure relates to an information processing system and an information processing method.
  • a user can check a message transmitted from another terminal or transmit a message using an information processing terminal such as a smartphone, a mobile phone terminal, or a tablet terminal.
  • an agent system that automatically responds to user messages in information processing terminals has been proposed.
  • the utterance text data of the agent is produced to some extent by a person in charge or an expert, and registered after being supervised by another expert.
  • Patent Document 1 a gesture displayed by an avatar is recognized to determine a prohibited gesture, the prohibited gesture is changed to other image data, It is described that the voice data generated by the user is cut off while performing.
  • Japanese Patent Application Laid-Open Publication No. 2004-259542 describes that the use of insulting, rudeness, and other inappropriate gestures is restricted with respect to customizable avatar gestures.
  • Patent Document 3 describes that when an inappropriate behavior of an online user is detected, the mediation entity is notified. Further, Patent Document 4 below describes checking whether a prohibited word is included in an input character superimposed on an avatar for a service screen. Further, in Patent Document 5 below, when it is determined that the behavior is uncomfortable in the breeding character program, the display image data of this gesture is changed. Furthermore, Patent Document 6 below describes an anthropomorphic agent that learns and grows by selecting appearance and voice according to the preference of the vehicle driver.
  • the technology as described above has only two choices of whether or not to delete the utterance text data including prohibited words, and flexibly deal with the agent character. I could not.
  • processing can be performed only in a certain unit from the viewpoint of work efficiency and schedule adjustment, and it takes a lot of time and effort to enrich the spoken sentence data.
  • the present disclosure proposes an information processing system and an information processing method capable of more flexibly auditing agent utterance text data.
  • the storage unit that stores the utterance sentence data of the agent
  • the communication unit that receives the request information that is transmitted from the client terminal and requests the utterance sentence data of the specific agent from the user
  • the communication unit When the request information is received via the utterance, the corresponding utterance sentence data is returned to the client terminal, and the specific agent is indicated by the utterance sentence data in response to feedback from the user with respect to the utterance sentence data.
  • Proposed is an information processing system comprising: a control unit that updates an utterance possibility level representing the possibility of uttering content, and records it in the storage unit in association with the specific agent and the utterance content.
  • the processor stores the utterance text data of the agent in the storage unit and the request information requesting the utterance text data of the specific agent from the user transmitted from the client terminal is received by the communication unit. And when the request information is received via the communication unit, the corresponding utterance text data is returned to the client terminal, and the specific agent responds to the feedback from the user with respect to the utterance text data. Updating the utterance possibility level representing the possibility of uttering the utterance content indicated by the utterance text data, and controlling the utterance content level to be recorded in the storage unit in association with the utterance content. A processing method is proposed.
  • privileged person information stored in privileged person information DB by this embodiment is shown.
  • An example of privileged person information stored in privileged person information DB by this embodiment is shown.
  • FIG. 1 is a diagram illustrating an overview of a communication control system according to an embodiment of the present disclosure.
  • this system it is possible to prevent utterances that do not match the personality of the agent or utterances including prohibited words by auditing utterance text data of agents with personality who interact with the user on a daily basis.
  • the agent interacts with the user on a daily basis, and according to the situation, various recommendations such as recommendation of contents on the real world and the Internet, provision of information such as news and weather forecasts, provision of games, route guidance, etc. Provide a good service.
  • the interaction with the agent is performed via a display unit of the client terminal 1 such as a smartphone, which is held by the user, a microphone, and a speaker.
  • the agent's image or conversation text is displayed on the display unit, and the agent's speech is reproduced from the speaker.
  • the user's uttered voice is picked up by a microphone, and voice recognition and semantic analysis are performed on the system side.
  • the agent that interacts with the user is one that the user arbitrarily selects and purchases from a plurality of agents having different personalities (characters) prepared in advance on the system side.
  • the agent's utterance text data needs to be registered in advance.
  • utterance sentence DB database
  • When supervised by an expert it can be processed only in a certain unit from the viewpoint of work efficiency and schedule adjustment, and it takes a lot of time and effort to enrich the spoken sentence data.
  • an utterance possibility level indicating a degree that an agent is likely to say is set for the collected utterance text data, and the utterance text data of the agent can be audited more flexibly.
  • the communication control system is not limited to a voice agent that responds by voice, and may be a text-compatible agent that performs a text-based response in a client terminal such as a smartphone.
  • the communication control system according to the present embodiment may be installed in an information processing apparatus such as a smartphone, a tablet terminal, or a PC, or may be incorporated in a client server system including a home system, an in-vehicle system, and a client terminal and a server. Good. Further, the communication control system according to the present embodiment may be mounted on an anthropomorphic device such as a robot. In the case of a robot, expression control and action control can be performed in addition to voice dialogue.
  • FIG. 2 is a diagram showing the overall configuration of the communication control system according to the present embodiment.
  • the communication control system includes a client terminal 1 and an agent server 2.
  • the agent server 2 is connected to the client terminal 1 via the network 3 and transmits / receives data. Specifically, the agent server 2 generates a response voice for the uttered voice collected and transmitted by the client terminal 1 and transmits the response voice to the client terminal 1.
  • the agent server 2 has a phoneme DB (database) corresponding to one or more agents, and can generate a response voice with a voice of a specific agent.
  • the agent may be a character such as a cartoon, an animation, a game, a drama, a movie, a celebrity, a celebrity, a historical person, or the like. It may be an average person.
  • the agent may be an animal or a personified character.
  • the agent may be a person reflecting the personality of the user, or a person reflecting the personality of the user's friend, family, acquaintance, or the like.
  • agent server 2 can generate response contents reflecting the characteristics of each agent.
  • the agent server 2 can provide various services such as user schedule management, message transmission / reception, information provision, and the like through interaction with the user via the agent.
  • the client terminal 1 is not limited to the smart phone as shown in FIG. 2, for example, a mobile phone terminal, a tablet terminal, a PC (personal computer), a game machine, a wearable terminal (smart eyeglass, smart band, smart watch, smart neck). Etc.).
  • the client terminal 1 may be a robot.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the agent server 2 according to the present embodiment.
  • the agent server 2 includes a voice agent I / F (interface) 20, a dialogue processing unit 30, a phoneme storage unit 40, a conversation DB generation unit 50, a phoneme DB generation unit 60, an advertisement insertion processing unit 70, An advertisement DB 72 and a feedback acquisition processing unit 80 are included.
  • the voice agent I / F 20 functions as a voice data input / output unit, a voice recognition unit, and a voice generation unit.
  • As the input / output unit a communication unit that performs transmission and reception with the client terminal 1 via the network 3 is assumed.
  • the voice agent I / F 20 can receive the user's uttered voice from the client terminal 1 and convert it into text by voice recognition. Also, the voice agent I / F 20 converts the agent answer text data (text) output from the dialogue processing unit 30 into voice using the phoneme data corresponding to the agent, and generates the generated response voice of the agent on the client terminal 1. Send to.
  • the dialogue processing unit 30 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the agent server 2 according to various programs.
  • the dialogue processing unit 30 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example. Further, the dialogue processing unit 30 according to the present embodiment functions as a basic dialogue processing unit 31, a character A dialogue processing unit 32, a person B dialogue processing unit 33, and a person C dialogue processing unit 34.
  • the character A dialogue processing unit 32, the person B dialogue processing unit 33, and the person C dialogue processing unit 34 realize a dialogue specialized for each agent.
  • “Character A”, “Person B”, and “Person C” are given as examples of the agent.
  • the present embodiment is not limited to this, and each dialogue that realizes a dialogue specialized for a large number of agents. You may have a process part.
  • the basic dialogue processing unit 31 realizes a general-purpose dialogue that is not specialized for each agent.
  • FIG. 4 is a diagram illustrating a configuration example of the dialogue processing unit 300 according to the present embodiment.
  • the dialogue processing unit 300 includes a question sentence search unit 310, an answer sentence generation unit 320, a phoneme data acquisition unit 340, and a conversation DB 330.
  • the conversation DB 330 stores conversation data in which question sentence data and answer sentence data are paired.
  • conversation data specialized for the agent is stored in the conversation DB 330
  • general-purpose dialogue processing unit general-purpose conversation data (that is, basic conversation that is not specialized for the agent) is stored in the conversation DB 330. Data) is stored.
  • the question sentence search unit 310 searches the conversation DB 330 for question sentence data that matches the question sentence that is output from the voice agent I / F 20 and recognized as a text by recognizing the user's question voice (an example of uttered voice).
  • the answer sentence generation unit 320 extracts answer sentence data stored in association with the question sentence data searched by the question sentence search unit 310 from the conversation DB 330, and generates answer sentence data.
  • the phoneme data acquisition unit 340 acquires phoneme data for converting the answer sentence generated by the answer sentence generation unit 320 from the phoneme storage unit 40 of the corresponding agent. For example, in the case of the character A dialogue processing unit 32, phoneme data for reproducing the answer sentence data with the voice of the character A is acquired from the character A phoneme DB 42. Then, the dialogue processing unit 300 outputs the generated answer sentence data and the acquired phoneme data to the voice agent I / F 20.
  • the phoneme storage unit 40 stores a phoneme database for generating speech for each agent.
  • the phoneme storage unit 40 can be realized by a ROM (Read Only Memory) and a RAM (Random Access Memory).
  • a basic phoneme DB 41, a character A phoneme DB 42, a person B phoneme DB 43, and a person C phoneme DB 44 are stored.
  • Each phoneme DB stores, for example, a phoneme piece and a prosodic model that is control information thereof as phoneme data.
  • the conversation DB generation unit 50 has a function of generating the conversation DB 330 of the conversation processing unit 300. For example, the conversation DB generation unit 50 collects assumed question sentence data, collects answer sentence data corresponding to each question, and then saves the question sentence data and the answer sentence data in pairs. When a predetermined number of conversation data (a set of question sentence data and answer sentence data, for example, 100 sets) is collected, the conversation DB generation unit 50 registers the conversation data set in the conversation DB 330 as an agent conversation data set.
  • a predetermined number of conversation data a set of question sentence data and answer sentence data, for example, 100 sets
  • the phoneme DB generation unit 60 has a function of generating a phoneme DB stored in the phoneme storage unit 40.
  • the phoneme DB generation unit 60 analyzes speech information read out from a predetermined text, decomposes it into phoneme segments and prosodic models that are control information thereof, and collects a predetermined number or more of speech information as phoneme DB as phoneme data. Process to register with.
  • the advertisement insertion processing unit 70 has a function of inserting advertisement information into the agent dialogue.
  • the advertisement information to be inserted can be extracted from the advertisement DB 72.
  • advertisement information requested by a provider (vendor, supplier) of a company or the like for example, advertisement contents such as text, image, and sound, information on an advertiser, an advertisement period, an advertisement target person, etc. is registered. Yes.
  • the feedback acquisition processing unit 80 has a function for inserting a question for acquiring feedback into the agent's dialogue and obtaining feedback from the user.
  • the configuration of the agent server 2 according to this embodiment has been specifically described above. Note that the configuration of the agent server 2 according to the present embodiment is not limited to the example shown in FIG. For example, each configuration of the agent server 2 may be configured by other servers on the network.
  • FIG. 5 is a flowchart showing a process for generating the conversation DB 330 according to this embodiment. As shown in FIG. 5, first, the conversation DB generation unit 50 stores an assumed question sentence (step S103).
  • the conversation DB generating unit 50 stores a (paired) answer sentence corresponding to the question sentence (step S106).
  • the conversation DB generation unit 50 determines whether or not a predetermined number of pairs of question sentences and answer sentences (also referred to as conversation data) have been collected (step S109).
  • the conversation DB generation unit 50 registers a data set including a large number of pairs of question sentences and answer sentences in the conversation DB 330 (step S109). S112).
  • a pair of a question sentence and an answer sentence for example, the following is assumed.
  • Pair of question and answer sentences Pair 1 Question: Good morning. Answer: How are you feeling today? Pair 2 Question: What is the weather today? Answer text: Today's weather is ⁇ .
  • Such a pair can be registered in the conversation DB 330 as conversation data.
  • FIG. 6 is a flowchart showing a phoneme DB generation process according to this embodiment.
  • the phoneme DB generation unit 60 displays an example sentence (step S113). For example, an example sentence necessary for generating phoneme data is displayed on a display of an information processing terminal (not shown).
  • the phoneme DB generation unit 60 records the voice that reads the example sentence (step S116) and analyzes the recorded voice (step S119). For example, the voice information read out by the person in charge of the agent's voice is collected by the microphone of the information processing terminal, and the phoneme DB generation unit 60 receives and stores it, and further performs voice analysis.
  • the phoneme DB generation unit 60 generates a prosody model based on the speech information (step S122).
  • the prosody model is used to extract prosodic parameters indicating prosodic features of speech (for example, pitch of a sound, strength of a sound, speech rate, etc.), and differs for each individual.
  • the phoneme DB generation unit 60 generates phoneme pieces (phoneme data) based on the voice information (step S125).
  • the phoneme DB generation unit 60 stores the prosody model and phoneme pieces (step S128).
  • the phoneme DB generation unit 60 determines whether or not a predetermined number of prosodic models and phonemes have been collected (step S131).
  • the phoneme DB generation unit 60 registers the prosodic models and phonemes in the phoneme storage unit 40 as a phoneme database for a predetermined agent (Ste S134).
  • FIG. 7 is a flowchart showing the dialogue control process according to the present embodiment.
  • the voice agent I / F 20 checks whether or not the user's question voice and the agent ID have been acquired (step S143).
  • the agent ID is identification information indicating specific agents such as character A, person B, and person C.
  • the user can purchase phoneme data for each agent. For example, the ID of the agent purchased during the purchase process is stored in the client terminal 1.
  • the voice agent I / F 20 recognizes the question voice and converts it into text (step S149).
  • the voice agent I / F 20 outputs the question text converted to text to the dialog processing unit of the specific agent specified by the agent ID. For example, in the case of “agent ID: character A”, the voice agent I / F 20 outputs the question text converted to text to the character A dialogue processing unit 32.
  • the dialogue processing unit 30 searches the question DB that matches the question text converted to text from the conversation DB of the specific agent specified by the agent ID (step S152).
  • step S155 when there is a matching question (step S155 / Yes), the character A dialogue processing unit 32 obtains answer sentence data corresponding to the question (stored in pairs) from the conversation DB of the specific agent. (Step S158).
  • step S155 when there is no matching question (step S155 / No), a question sentence that matches the textualized question sentence is searched from the conversation DB of the basic dialogue processing unit 31 (step S161).
  • step S161 / Yes the basic dialogue processing unit 31 obtains answer sentence data corresponding to the question (stored as a pair) from the conversation DB of the basic dialogue processing unit 31. (Step S167).
  • step S164 when there is no matching question sentence (step S164 / No), the basic dialogue processing unit 31 returns answer sentence data (for example, an answer sentence such as “I do not understand the question”) when there is no matching question sentence.
  • answer sentence data for example, an answer sentence such as “I do not understand the question”
  • the character A dialogue processing unit 32 refers to the phoneme DB of the specific agent designated by the agent ID (here, the character A phoneme DB 42), and the phoneme data of the character A for generating the voice of the answer sentence data is obtained. Obtained (step S173).
  • the acquired phoneme data and answer sentence data are output to the voice agent I / F 20 (step S176).
  • the voice agent I / F 20 converts the response sentence data (text) into speech using the phoneme data (speech synthesis) and transmits it to the client terminal 1 (step S179).
  • the answer sentence is reproduced with the voice of the character A.
  • Conversation DB update processing> update processing of the conversation DB 330 of each dialogue processing unit 300 will be described.
  • the conversation DB 330 can be grown by conversation with the user.
  • FIG. 8 is a diagram for explaining a data configuration example of the conversation DB 330 according to the present embodiment.
  • each conversation DB 330 has two layers, a personalization layer 331 and a common layer 332.
  • the common layer 332A holds conversation data reflecting the character and character of the character A.
  • the personalization layer 331A holds conversation data customized for the user by the conversation with the user.
  • the conversation data can be customized for the user. That is, for example, when “person B” is “person in 20s”, the common layer 332B holds average conversation data of 20s, and customized conversation data is maintained for each user by continuing the conversation with the user. Of personalization layer 331B.
  • the user can also select and purchase favorite phoneme data such as “male”, “female”, “high voice”, and “low voice” from the person B phoneme DB 43 as the voice of the person B.
  • FIG. 9 is a flowchart showing the update processing of the conversation DB 330 according to the present embodiment.
  • the voice agent I / F 20 acquires (receives) the user's question voice from the client terminal 1, and converts it into text by voice recognition (step S183).
  • the text data (question sentence data) is output to the dialogue processing unit (here, for example, the character A dialogue processing unit 32) of the specific agent designated by the agent ID.
  • the character A dialogue processing unit 32 determines whether or not the question sentence data is a predetermined command (step S186).
  • the character A dialogue processing unit 32 registers the answer text data specified by the user in a pair with the question text data in the personalization layer 331A of the conversation DB 330A (step S189).
  • the predetermined command may be words such as “NG” and “setting”, for example.
  • the conversation DB of character A can be customized by the following conversation flow.
  • NG is a predetermined command
  • the character A dialogue processing unit 32 has issued “NG” from the user, the user-specified answer text data “Perform with good spirit”
  • the question sentence data “Good morning” is registered in the personalization layer 331A of the conversation DB 330A.
  • the character A dialogue processing unit 32 searches the character A conversation DB 330A for answer sentence data held in a pair with the question sentence data.
  • the answer sentence data held in a pair with the question sentence data is not held in the character A conversation DB 330A, that is, when the user's question is a question without an answer sentence (step S192 / Yes)
  • the character A dialogue processing unit 32 registers the answer sentence data specified by the user in the personalization layer 331A as a pair with the question sentence (step S195).
  • the conversation DB of character A can be customized by the following conversation flow.
  • Character A “I don't know the question” (An example of answer data when there is no applicable answer) User: “If you ask,“ How are you? ”, Say,“ I ’m fine today. ” Character A: “I'm fine today”
  • step S192 the character A dialogue processing unit 32 acquires the answer sentence data and outputs it to the voice agent I / F 20 together with the corresponding phoneme data of the character A.
  • the answer sentence is reproduced with the voice of the character A at the client terminal 1 (step S198).
  • FIG. 10 is a flowchart showing conversation data migration processing from the personalization layer to the common layer according to the present embodiment.
  • the conversation data migration processing from the personalization layer 331A to the common layer 332A of the character A dialogue processing unit 32 will be described.
  • the character A dialogue processing unit 32 periodically searches for a personalization layer 331A for each user (step S203), and a conversation pair (question sentence data and answer sentence having substantially the same contents).
  • a data pair) is extracted (step S206).
  • a conversation pair with substantially the same content is, for example, a pair of a question sentence “How are you?” And an answer sentence “I'm fine today!” And a question sentence “How are you?” And an answer sentence “I'm fine today.
  • the “!” Pair is only a difference in whether the question sentence is a polite word or not, and can be determined as a conversation pair having substantially the same content.
  • step S209 / Yes when a predetermined number or more of conversation pairs are extracted from the personalization layer 331A for each user (step S209 / Yes), the character A dialogue processing unit 32 registers the conversation pair in the common layer 332A (for each user). (Step S212).
  • FIG. 11 is a diagram for explaining the transfer of conversation data to the basic conversation conversation DB 330F according to the present embodiment.
  • the conversation processing unit 30 may include an A conversation DB 330A-X, a user Y character A conversation DB 330A-Y, and a user Z person B conversation DB 330B-Z.
  • each personalization layer 331A-X, 331A-Y, 331B-Z is registered with its own (customized) conversation pair according to the dialogue with each user X, user Y, and user Z. (See FIG. 9).
  • the personalization layers 331A-X and 331A-Y of the same agent they are registered in the common layers 332A-X and 332A-Y for each user (see FIG. 10).
  • the conversation processing unit 30 extracts a predetermined number or more of substantially the same conversation pairs from the common layers 332A-X, 332A-Y, and 332B-Z of a plurality of agents (which may include different agents), the conversation processing unit 30 The conversation pair is transferred to the conversation conversation DB 330F.
  • the basic conversation conversation DB 330 ⁇ / b> F is a conversation DB included in the basic conversation processing unit 31. This makes it possible to grow the basic conversation conversation DB 330F (expand conversation pairs).
  • FIG. 12 is a flowchart showing the conversation data migration processing to the basic dialogue DB 330F according to the present embodiment.
  • the dialogue processing unit 30 periodically searches a plurality of common layers 332 in the conversation DB 330 (step S223), and extracts substantially the same conversation pairs (step S226).
  • the conversation processing unit 30 registers the conversation pairs in the basic conversation conversation DB 330F (step S232). .
  • the advertisement insertion processing unit 70 can insert the advertisement information stored in the advertisement DB 72 into the utterance of the agent. Advertisement information can be registered in the advertisement DB 72 in advance.
  • FIG. 13 is a diagram illustrating an example of advertisement information registered in the advertisement DB 72 according to the present embodiment.
  • the advertisement information 621 includes, for example, an agent ID, a question sentence, advertisement contents, conditions, and a probability.
  • the agent ID designates an agent that speaks the advertisement contents
  • the question sentence designates a question sentence of a user that triggers insertion of the advertisement contents
  • the advertisement contents are advertisement sentences to be inserted into the agent's dialogue.
  • the condition is a condition for inserting the advertisement content
  • the probability indicates the probability of inserting the advertisement content. For example, in the example shown in the first row of FIG.
  • the probability of inserting an advertisement may be set in this embodiment. Such a probability may be determined according to the advertisement fee. For example, the higher the advertising fee, the higher the probability.
  • FIG. 14 is a flowchart showing the insertion processing of advertisement content according to this embodiment.
  • the advertisement insertion processing unit 70 monitors the dialogue between the user and the agent (specifically, dialogue processing by the dialogue processing unit 30) (step S243).
  • the advertisement insertion processing unit 70 determines whether or not a question sentence having the same content as the question sentence registered in the advertisement DB 72 has appeared in the dialogue between the user and the agent (step S246).
  • the advertisement insertion processing unit 70 checks the advertisement insertion condition and probability associated with the corresponding question sentence (step S249).
  • the advertisement insertion processing unit 70 determines whether or not it is currently possible to place an advertisement based on the condition and the probability (step S252).
  • the advertisement insertion processing unit 70 temporarily stops the dialogue processing by the dialogue processing unit 30 (step S255), and inserts the advertisement content into the dialogue (step S258). Specifically, for example, the advertisement content is inserted into the agent's answer to the user's question.
  • the dialogue (conversation text data) including the advertisement content is output from the dialogue processing unit 30 to the voice agent I / F 20, transmitted from the voice agent I / F 20 to the client terminal 1, and reproduced by the voice of the agent (step S261). ).
  • the content of the advertisement can be presented to the user as an utterance of the character A by the following conversation.
  • the conversation data registration process As described above, the conversation data registration process, the phoneme DB generation process, the conversation control process, the conversation DB update process, and the advertisement insertion process have been described as basic operation processes of the communication control system according to the present embodiment.
  • the conversation DB generation unit 50 can collect utterance sentence data for each agent character from a large number of general users and audit the collected utterance sentence data. When a certain amount of audited utterance text data is accumulated, it can be output as a data set to the dialogue processing unit 30 and stored in the conversation DB 330 of the corresponding agent character dialogue processing unit 300.
  • the conversation DB generation unit 50 that collects and audits such utterance text data will be specifically described below with reference to FIGS.
  • FIG. 15 is a diagram illustrating a configuration example of the conversation DB generation unit 50A according to the present embodiment.
  • the conversation DB generation unit 50A includes a control unit 500, a communication unit 510, a user information DB 520, an agent information DB 530, an utterance sentence DB 540, and a privileged person information DB 550.
  • the communication unit 510 has a function of transmitting and receiving data by connecting to an external device by wire or wireless.
  • the communication unit 510 connects to the client terminal 1 of a general user or a privileged user (a user having a special authority) via the network, and transmits and receives data.
  • the control unit 500 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the conversation DB generation unit 50A according to various programs.
  • the control unit 500 is realized by an electronic circuit such as a CPU or a microprocessor.
  • the control unit 500 according to the present embodiment functions as a screen generation unit 501, an utterance sentence data management unit 502, and an utterance possibility level calculation unit 503.
  • the screen generation unit 501 has a function of generating an utterance text data registration screen and an utterance text data audit screen by a general user.
  • the generated registration screen and audit screen are transmitted to the user's client terminal 1 via the communication unit 510 and displayed.
  • the agent according to the present embodiment is, for example, a so-called idol that is managed by a specific copyright owner or owner and in which enthusiastic fans and fan clubs are formed.
  • Each user can input and register a word (uttered sentence) that he / she wants to speak to a favorite agent from a predetermined registration screen.
  • the sentence DB 540 can be expected to be enriched. Specific examples of the registration screen and the audit screen according to the present embodiment will be described later with reference to FIGS. 22, 26, 27, and 29.
  • the utterance sentence data management unit 502 performs management such as registration, change, and deletion of the utterance sentence data stored in the utterance sentence DB 540. For example, the utterance sentence data management unit 502 writes the utterance sentence data input from the registration screen by the user to the utterance sentence DB 540 and reflects the change of the utterance sentence data input from the audit screen to the utterance sentence DB 540.
  • the utterance possibility level calculation unit 503 calculates the degree of utterance sentence data stored in the utterance sentence DB 540 that the corresponding agent character is likely to speak (hereinafter referred to as “utterance possibility level”). To do.
  • the utterance possibility level is calculated by a numerical value of 0.0 to 1.0, for example. Details of the calculation method will be described later.
  • the user information DB 520 stores various types of information related to users.
  • FIG. 16 shows an example of user information stored in the user information DB 520 according to this embodiment.
  • the user information includes, for example, a login user ID, a password, and flag information indicating whether or not the agent is a fan club member.
  • the agent information DB 530 stores various information related to the agent.
  • FIG. 17 shows an example of agent information stored in the agent information DB 530 according to this embodiment.
  • the agent information includes, for example, an agent ID and an agent image. Further, additional information such as PV (Promotion Video) and agent voice may be further included.
  • PV Motion Video
  • the utterance sentence DB 540 stores the utterance sentence data of each agent.
  • FIG. 18 shows an example of utterance sentence data stored in the utterance sentence DB 540 according to the present embodiment.
  • the utterance sentence data includes information on an agent ID, an utterance sentence, a trigger, an utterance possibility level, and an utterance possibility flag.
  • the agent ID indicates which agent's utterance sentence data.
  • the utterance sentence DB 540 stores utterance sentence data respectively associated with a plurality of agents.
  • utterance sentence data associated with “character A” is shown as an example.
  • the trigger is set for the timing at which the agent utters the utterance text data.
  • the utterance sentence “Good morning” shown in the first line of the utterance sentence data in FIG. 18 is the voice of the character A when the wake-up time set by the user is reached because the trigger is “user set wake-up time”. Is output. Further, for example, an utterance sentence “Genki Dashi” with a trigger of “emotion: discouragement” is output in the voice of the character A when the user's emotion becomes “disappointment”.
  • the user's emotion is estimated by the dialogue processing unit 30 that generates an utterance sentence based on the user's behavior, biometric information, utterance content, or content posted to SNS (Social Networking Service).
  • SNS Social Networking Service
  • control section 500 registers the corresponding agent utterance text data in the conversation DB 330 of the dialog processing section 300.
  • the “speech possibility level” is a degree that the agent character is likely to say, and is calculated based on, for example, a speech possibility level input by a general user or a privileged user. In the example shown in FIG. 18, the speech possibility level is set as a numerical value of 0.0 to 1.0.
  • the dialogue processing unit 30 controls the output of utterance sentence data in consideration of the utterance possibility level.
  • “Speakable flag” is a setting for whether or not to speak, and is input by a privileged person. When the utterable flag is “false”, the utterance is disabled regardless of the utterance possibility level. In this embodiment, the input of the “speakable flag” indicating that the utterance is permitted will be described. However, the present embodiment is not limited to this, and the input of the “speech prohibition flag” indicating that the utterance is prohibited is described. You may make it perform. The “speech enable flag” and the “speech prohibition flag” are both examples of the speech allowance flag.
  • the privileged person information DB 550 stores various types of information related to privileged users.
  • a privileged user privileged person is a user who can set the above-mentioned “speakable flag”, and is assumed to be, for example, the copyright holder, owner, or related person of the agent.
  • FIG. 19 shows an example of privileged person information stored in the privileged person information DB 550 according to this embodiment.
  • the privileged person information includes, for example, agent ID, login password, and privileged person ID information.
  • the agent ID indicates which agent is the privileged user, and the password and the privileged user ID are used when logging in to the privileged user audit screen.
  • FIG. 20 is a diagram illustrating a configuration example of the dialogue processing unit 300A according to the present embodiment.
  • the dialogue processing unit 300A includes a question sentence search unit 310, an answer sentence generation unit 320, a conversation DB 330, a phoneme data acquisition unit 340, an utterance sentence DB 350, and an utterance sentence generation unit 360.
  • the question sentence search unit 310, the answer sentence generation unit 320, the conversation DB 330, and the phoneme data acquisition unit 340 are the same as the configuration with the same reference numerals described with reference to FIG.
  • the utterance sentence generation unit 360 searches the utterance sentence DB 350 for utterance sentence data according to a predetermined trigger.
  • the utterance sentence DB 350 stores a data set of utterance sentences accumulated in the utterance sentence DB 540 of the conversation DB generation unit 50A.
  • the utterance sentence data stored in the utterance sentence DB 350 may be periodically updated by the conversation DB generation unit 50A.
  • the utterance sentence generation unit 360 searches the utterance sentence DB 350 for an utterance sentence triggered by the “user set wake-up time”, and sets it as utterance sentence data. At this time, the utterance sentence generator 360 selects one utterance sentence data in consideration of the utterance possibility level of the utterance sentence data in addition to the trigger. Further, the utterance sentence generation unit 360 does not select the utterance sentence data as the utterance sentence data when the “speakable flag” of the utterance sentence data is “False”. The selection of such spoken sentence data will be described in detail with reference to FIG.
  • the utterance sentence data generated by the utterance sentence generation unit 360 is output to the phoneme data acquisition unit 340, the phoneme data acquisition unit 340 acquires the phoneme of the specific agent, and the utterance sentence data and the phoneme data are sent to the voice agent I / F 20. Is output. Then, the spoken sentence data is voiced by the voice of the specific agent by the voice agent I / F 20 and is output from the client terminal 1 of the user as the voice of the specific agent.
  • the configuration of the dialogue processing unit 300A according to this embodiment has been described above.
  • FIG. 21 is a flowchart showing the collection processing of speech sentence data according to the present embodiment.
  • the conversation DB generating unit 50A of the agent server 2 displays the utterance sentence registration screen generated by the screen generating unit 501 on the client terminal 1 possessed by the user (step S300).
  • the conversation DB generation unit 50A transmits an utterance sentence registration screen from the communication unit 510 to the client terminal 1 and displays it on the display unit of the client terminal 1.
  • FIG. 22 shows an example of an utterance sentence registration screen according to the present embodiment.
  • the registration screen 100 displays a user ID input field 101, a password input field 102, a login button 103, an agent ID selection field 104, and an utterance text input field 105.
  • the user inputs a user ID in the user ID input field 101 of the registration screen 100, inputs a password in the password input field 102, and selects the login button 103.
  • the input user ID and password are transmitted from the client terminal 1 to the conversation DB generation unit 50A of the agent server 2, and the control unit 500 performs login processing.
  • an authentication process is performed with reference to a user ID and password registered in advance in the user information DB 520.
  • step S306 selection of an agent by the user is accepted (step S306).
  • the user operates the agent ID selection field 104 on the registration screen 100 to select from among a plurality of agents such as “character A”, “person B”, “person C”, and “character D” displayed in the pull-down list.
  • Agent ID is transmitted from the client terminal 1 to the agent server 2 as request information for requesting utterance text data of a specific agent.
  • the conversation DB generation unit 50A of the agent server 2 causes the control unit 500 to extract the registered utterance sentence of the agent selected by the user from the utterance sentence DB 540 and display it in the utterance sentence input field 105 of the registration screen 100 (step). S309).
  • registrant information for example, a user ID
  • the control unit 500 extracts the utterance sentence data that the user has registered so far from the utterance sentence data of the specified agent ID. Alternatively, it may be displayed on the registration screen 100 of the client terminal.
  • the agent ID is transmitted from the client terminal 1 to the agent server 2, but the present embodiment is not limited to this.
  • the user may specify situation information (trigger) and may be transmitted to the agent server 2 as request information.
  • situation information time, place, user situation, user feeling, etc.
  • the control unit 500 extracts utterance sentence data triggered by the specified situation from the utterance sentence DB 540 and sends it back to the client terminal 1.
  • at least one of agent ID, user ID, and situation information may be specified by the user, transmitted as request information to the agent server 2, and the corresponding utterance text data may be returned by the control unit 500. .
  • the utterance sentence data management unit 502 writes the utterance sentence data added and edited by the user into the utterance sentence DB 540 (step S315).
  • the user edits a registered utterance sentence displayed in the utterance sentence input field 105 of the registration screen 100 or inputs a new utterance sentence.
  • utterance text can be edited and input, and a trigger indicating utterance timing can be edited and input.
  • the user selects the registration button 106 displayed on the registration screen 100. Thereby, the edited and input contents are transmitted to the conversation DB generating unit 50A of the agent server 2 and stored in the utterance sentence DB 540 by the control unit 500.
  • the writing process to the spoken sentence DB 540 will be described later with reference to FIG.
  • FIG. 23 shows an example of an agent selection screen according to this embodiment.
  • a plurality of agent characters 10A to 10D are displayed on the screen 108.
  • the user selects one of the agent characters 10A to 10D displayed on the client terminal 1 by, for example, tapping an agent character to edit or input an utterance.
  • FIG. 24 is a flowchart showing a writing process to the utterance sentence DB 540 according to the present embodiment.
  • the utterance sentence data management unit 502 of the conversation DB generation unit 50A compares the written utterance sentence data with the utterance sentence DB 540 (step S318), and determines whether there is an overlap (step S318). Step S321). Specifically, the utterance sentence data management unit 502 refers to the registered utterance sentence data of the corresponding agent stored in the utterance sentence DB 540 and determines whether there is an overlap with the written utterance sentence data. To do.
  • step S321 / No when there is no duplicate utterance sentence data (step S321 / No), the utterance sentence data management unit 502 performs a process of writing the utterance sentence data to the utterance sentence DB 540 (step S324).
  • step S321 / Yes when there is duplicate utterance text data (step S321 / Yes), the writing process to the utterance text DB 540 is not performed.
  • utterance text data may be registered for each user (for each registrant) (user utterance text DB) and accumulated in the user utterance text DB to some extent, and then overlapped with the utterance text DB 540 for merging.
  • FIG. 25 is a flowchart showing a general user audit process according to this embodiment. As shown in FIG. 25, first, the conversation DB generation unit 50A of the agent server 2 displays the general user audit screen generated by the screen generation unit 501 on the client terminal 1 (step S403).
  • step S406 when the user inputs a user ID and password from the general user audit screen (step S406) and the login button is pressed (step S409), the conversation DB generation unit 50A controls the control unit based on the input information.
  • the user login process is performed by 500 (steps S412 to S415).
  • the control unit 500 searches for a set of ID and password registered in the user information DB 520 (step S412), and determines whether or not it matches the ID and password set entered by the user. Authentication is performed (step S415).
  • FIG. 26 shows an example of a general user audit screen according to the present embodiment. As shown in FIG. 26, a general user ID input field 111, a password input field 112, and a login button 113 are displayed on the audit screen 110. The user inputs a user ID in the user ID input field 111 of the audit screen 110, inputs a password in the password input field 112, and selects the login button 113. Thereby, the input user ID and password are transmitted from the client terminal 1 to the conversation DB generation unit 50A of the agent server 2.
  • step S415 when there is a set that matches the input ID and password (step S415 / Yes), since the authentication is successful, the control unit 500 extracts the agent ID from the agent information DB 530 and displays it on the general user audit screen. Present (listing) (step S418). Specifically, for example, as shown in FIG. 27, a list of a plurality of agent IDs is displayed in a pull-down format in the agent ID selection field 114 of the audit screen 110a.
  • the control unit 500 extracts an utterance sentence, a trigger, and an utterance possibility level associated with the agent ID selected by the user from the utterance sentence DB 540. Then, it is presented (listed) on the general user audit screen (step S424). Specifically, for example, as shown in FIG. 27, an utterance sentence (text indicating utterance contents), a trigger, and an utterance possibility level are displayed in the utterance information adjustment field 115 of the general user audit screen 110a.
  • the utterance possibility level may be a numerical display (0.0 to 1.0) or a slide bar display as shown in FIG.
  • the user audits whether or not the registered utterance is appropriate for the agent, and if the utterance is not appropriate, the user adjusts the “utterance possibility level” slider to set the utterance possibility level low ( Step S427).
  • the slider is displayed in the center (default value 0.5).
  • the agent ID is used as request information for requesting utterance text data for the agent ID.
  • the present embodiment is not limited to this, for example, user ID, situation information, or the like is required information. May be used as For example, when the situation information is specified by the user and transmitted from the client terminal 1, the control unit 500 extracts utterance sentence data triggered by the specified situation from the utterance sentence DB 540, and sends it back to the client terminal 1.
  • step S430 when the user presses the completion button 116 on the general user audit screen 110a (step S430), the contents changed in the utterance information adjustment column 115 are transmitted to the agent server 2.
  • the conversation DB generation unit 50A confirms whether or not the utterance possibility level of each utterance has been changed based on the change content transmitted from the client terminal 1 (step S433).
  • the utterance possibility level calculation unit 503 is registered in the utterance sentence DB 540 based on the utterance possibility level input by the general user.
  • the utterance possibility level of the corresponding utterance is updated (step S436).
  • the update of the utterance possibility level is calculated by the following equation 1, for example.
  • the following formula 1 shows a calculation formula in the case of updating with an emphasis on input by a fan club member of a corresponding agent character among general users. This is because a fan club member understands the character of the agent character better, and therefore believes that the input speech possibility level is highly reliable.
  • W is a weight (for example, 0.05 for a general user and 0.5 for a fan club member)
  • Io is a past utterance possibility level (0.0 to 1.0) registered in the utterance sentence DB 540
  • Iu is , The utterance possibility level (0.0 to 1.0) input by the user
  • In is the updated utterance possibility level.
  • the utterance sentence data management unit 502 writes the utterance possibility level calculated by the utterance possibility level calculation part 503 in the utterance sentence DB 540 (step S439). If the change content is a new addition of an utterance sentence, the duplication check shown in FIG. 24 is performed, and if there is no duplication, writing is performed in the utterance sentence DB 540.
  • FIG. 28 is a flowchart showing a privileged person auditing process according to this embodiment.
  • the privileged person is assumed to be the author or owner of the agent character, for example.
  • the conversation DB generation unit 50A of the agent server 2 displays the privileged person audit screen generated by the screen generation unit 501 on the client terminal 1 (step S503).
  • step S506 when the user inputs a privileged person ID and password from the privileged person audit screen (step S506) and the login button is pressed (step S509), the conversation DB generating unit 50A controls based on the input information. User login processing is performed by the unit 500 (steps S512 to S515).
  • control unit 500 searches for a set of ID and password registered in privileged person information DB 550 (step S512), and determines whether or not the set of ID and password entered by the user matches. Thus, authentication is performed (step S515).
  • FIG. 29 shows an example of the privileged person audit screen according to the present embodiment. As shown in FIG. 29, on the audit screen 120, a privileged person ID input field 121, a password input field 122, and a login button 123 are displayed. The user inputs the user ID in the privileged user ID input field 121 of the audit screen 120, further inputs the password in the password input field 122, and selects the login button 123. As a result, the input privileged user ID and password are transmitted from the client terminal 1 to the conversation DB generating unit 50A of the agent server 2.
  • the control unit 500 reads the privileged agent ID (in the privileged person information DB 550 from the agent information DB 530).
  • the agent ID associated with the matched set is extracted and presented (listed) on the privileged person audit screen (step S518). Specifically, for example, as shown in FIG. 29, in the agent ID selection field 124 of the audit screen 120, a list of privileged agent IDs is displayed in a pull-down format.
  • the control unit 500 extracts the utterance sentence, trigger, and utterable flag information associated with the selected agent ID from the utterance sentence DB 540 to obtain the privilege.
  • the utterable flag is displayed in a check box format, for example, and is displayed to be checked when the utterable flag is “true”.
  • the privileged person audits whether the registered utterance is appropriate for the agent, and if it is determined that the utterance is not appropriate for the agent and utterance is not permitted, select the check box and check the ⁇ Speakable flag '' Is removed (step S527).
  • the utterance sentence whose check is removed is controlled not to be output as the utterance of the agent regardless of the numerical value of the utterance possibility level.
  • step S530 when the user presses the completion button 126 on the privileged person audit screen 120 (step S530), the contents changed in the utterance information adjustment column 125 are transmitted to the agent server 2.
  • the conversation DB generation unit 50A confirms whether or not the utterable flag of each utterance has been changed based on the change content transmitted from the client terminal 1 (step S533).
  • the utterance sentence data management unit 502 sets the utterance possibility flag changed to the privileged person in the utterance sentence DB 540 (step S536). Specifically, for example, “False” is set when the utterance possibility flag is unchecked in the utterance information adjustment field 125 of the privileged person audit screen 120, and “true” is set when the utterance possibility flag is checked.
  • FIG. 30 is a flowchart showing an utterance control process according to this embodiment.
  • the dialogue processing unit 300A of the agent server 2 acquires trigger information (step S603).
  • the trigger information is acquired from information obtained from a clock, a GUI (Graphical User Interface) (for example, screen operation content), a speech recognition result of a user utterance, a user action, biometric information, and the like.
  • GUI Graphic User Interface
  • the utterance sentence generation unit 360 from the trigger string of the utterance sentence data stored in the utterance sentence DB 350, the row list corresponding to the specified time of the trigger acquired. Is acquired (step S609).
  • the utterance sentence DB 350 the data example of the utterance sentence DB 540 shown in FIG. 18 is stored as the utterance data set of the character A, and when the trigger information is “12:00”, the row where the trigger string is “12:00”.
  • a list (line list of utterances “Ohirudayo”, “Ohiru”, “Ohiru de”, “Junijida is”, “Hirumashida”) is acquired.
  • a row list corresponding to the acquired emotion of the trigger is acquired from the trigger column of the utterance sentence data stored in the utterance sentence DB 350 (step S612).
  • the trigger information is “disappointment”, the trigger string is “emotion: disappointment”.
  • a list (a list of lines of utterances “Genki Dashite”, “Do your best”, “You can do it”, “Do your best”) is acquired.
  • the utterance sentence generation unit 360 confirms each utterance possible flag (true / false) in the acquired line list (step S615).
  • the utterance sentence generation unit 360 selects one utterance sentence based on the utterance possibility level from the utterance sentences whose utterance possibility flag is “true” (step S618). Note that an utterance sentence whose utterance enable flag is “false” is not selected.
  • selecting an utterance sentence using the utterance possibility level for example, when selecting one from three candidates will be described.
  • the utterance candidate list (A) is defined as follows.
  • A [ ⁇ S1: R1 ⁇ , ⁇ S2: R2 ⁇ , ⁇ S3: R3 ⁇ ]
  • Sn utterance sentence
  • Rn utterance possibility level []: array
  • ⁇ dictionary
  • S utterance selected.
  • the dialogue processing unit 300A controls to output the utterance sentence selected by the utterance sentence generation unit 360 from the client terminal 1 as the agent utterance (step S621). Specifically, the dialogue processing unit 300A outputs the utterance sentence data generated by the utterance sentence generation unit 360 to the phoneme data acquisition unit 340, acquires the phoneme of the specific agent by the phoneme data acquisition unit 340, and the utterance sentence data And phoneme data are output to the voice agent I / F 20. Then, the voice agent I / F 20 utters the utterance text data with the voice of the specific agent (for example, voice output by TTS (Text-to-Speech)) and outputs it from the user's client terminal 1 as the speech of the specific agent.
  • TTS Text-to-Speech
  • agent utterance data from the public to enhance the utterance database, facilitates the use of utterance data that matches the public's preference, and easily excludes utterance data that does not match the agent's image. Enable audit flexibility by enabling it.
  • a computer program for causing hardware such as the CPU, ROM, and RAM incorporated in the client terminal 1 or agent server 2 described above to exhibit the functions of the client terminal 1 or agent server 2.
  • a computer-readable storage medium storing the computer program is also provided.
  • the configuration in which various functions are realized by the agent server 2 on the Internet is shown.
  • the present embodiment is not limited to this, and at least a part of the configuration of the agent server 2 is a user.
  • Client terminal 1 smart phone, wearable terminal, etc.
  • the entire configuration of the agent server 2 may be provided in the client terminal 1 so that all processing can be performed by the client terminal 1.
  • this technique can also take the following structures.
  • a storage unit for storing agent's speech data;
  • a communication unit that receives request information that is transmitted from a client terminal and requests speech data of a specific agent from a user;
  • the request information is received via the communication unit, the corresponding utterance sentence data is returned to the client terminal, and the specific agent receives the utterance sentence data in response to feedback from the user with respect to the utterance sentence data.
  • a control unit that updates an utterance possibility level representing the possibility of uttering the utterance content shown, and records the utterance content in the storage unit in association with the specific agent and the utterance content;
  • An information processing system comprising: (2) The information processing system according to (1), wherein the control unit updates the utterance possibility level after performing weighting according to a rank set for the user. (3) The control unit, in response to an input of a user with a rank having a special right, an utterance availability flag indicating whether or not the specific agent can utter the utterance content indicated by the utterance sentence data in the utterance sentence data The information processing system according to (1) or (2).
  • the information processing system according to any one of (1) to (3), wherein the request information includes agent identification information, user identification information, situation information, or a keyword.
  • the controller is Collecting utterance text data to be uttered by a specific agent input by a user, transmitted via a client terminal, via the communication unit, The information processing system according to any one of (1) to (4), wherein identification information of the specific agent and the spoken sentence data are registered in the storage unit in association with each other.
  • the information processing system according to any one of (1) to (5), wherein the speech possibility level is set for each specific situation.
  • the information processing system is Via the communication unit, to acquire trigger information that may be a trigger for the utterance of a specific agent, transmitted from the client terminal; Based on the trigger information, the corresponding utterance text data is selected from the utterance text data of the specific agent in consideration of each utterance possibility level, and is returned to the client terminal.
  • the controller is As a trigger information, get a specific time zone, The information processing system according to (8), wherein utterance sentence data matching the time period information is selected in consideration of time period information and utterance possibility level associated with each utterance sentence data of the specific agent.
  • the control unit extracts utterance sentence data that is allowed to be uttered in accordance with an utterance permission / prohibition flag input by a user of a rank having a special right among utterance sentence data associated with the specific agent, The information processing system according to (8) or (9), wherein one utterance sentence data is selected and returned to the client terminal according to the utterance possibility level assigned to the extracted utterance sentence data.
  • Processor Storing agent's speech data in the storage unit; Receiving request information transmitted from the client terminal and requesting the utterance data of a specific agent from the user by the communication unit; When the request information is received via the communication unit, the corresponding utterance sentence data is returned to the client terminal, and the specific agent receives the utterance sentence data in response to feedback from the user with respect to the utterance sentence data. Updating an utterance possibility level representing the possibility of uttering the indicated utterance content, and controlling to record in the storage unit in association with the specific agent and the utterance content; Including an information processing method.
  • Agent server 30 Dialog processing part 300, 300A Dialog processing part 310 Question sentence search part 320 Answer sentence generation part 330 Conversation DB 340 phoneme data acquisition unit 350 utterance sentence DB 360 Sentence Generation Unit 31 Basic Dialogue Processing Unit 32 Character A Dialogue Processing Unit 33 Person B Dialogue Processing Unit 34 Person C Dialogue Processing Unit 35 Matching Unit 36 Communication Unit 40 Phoneme Storage Unit 41 Basic Phoneme DB 42 Character A Phoneme DB 43 Person B Phoneme DB 44 Person C Phoneme DB 50, 50A Conversation DB generation unit 500 Control unit 501 Screen generation unit 502 Utterance sentence data management unit 503 Utterance possibility level calculation unit 510 Communication unit 520 User information DB 530 Agent information DB 540 Sentence DB 550 Privileged Person Information DB 60 phoneme DB generator 70 advertisement insertion processor 72 advertisement DB 80 Feedback acquisition processing unit 3 Network 10 Agent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】エージェントの発話文データの監査をより柔軟に行うことが可能な情報処理システム、および情報処理方法を提供する。 【解決手段】エージェントの発話文データを記憶する記憶部と、クライアント端末から送信される、ユーザからの特定のエージェントの発話文データを要求する要求情報を受信する通信部と、前記通信部を介して前記要求情報を受信すると、対応する発話文データを前記クライアント端末に返信し、当該発話文データに対する前記ユーザからのフィードバックに応じて、前記特定のエージェントが当該発話文データで示される発話内容を発話する可能性を表す発話可能性レベルを更新し、前記特定のエージェントと前記発話内容に関連付けて前記記憶部に記録する制御部と、を備える、情報処理システム。

Description

情報処理システム、および情報処理方法
　本開示は、情報処理システム、および情報処理方法
　近年、通信技術の発達により、ネットワークを介したメッセージのやり取りが頻繁に行われている。ユーザは、スマートフォンや携帯電話端末、タブレット端末等の情報処理端末を用いて、他端末から送信されたメッセージを確認したり、メッセージを送信したりすることができる。
　また、情報処理端末において、ユーザのメッセージに対して自動で応答を行うエージェントシステムが提案されている。このようなシステムでは、エージェントの発話文データが担当者や専門家によりある程度まとめて制作され、別の専門家による監修が行われた上で登録されている。
　このようなジェスチャーの発話文データ等の監修に関し、例えば下記特許文献１では、アバターが表示するジェスチャーを認識して禁止ジェスチャーを判断し、禁止ジェスチャーを他の画像データに変更したり、禁止ジェスチャーを行いつつユーザによって生成された音声データを切除したりすることが記載されている。また、下記特許文献２は、カスタマイズできるアバターのジェスチャーに関し、侮辱的な、無礼な、その他不適切なジェスチャーの使用は制限することが記載されている。
　また、下記特許文献３では、オンラインユーザの不適切な振る舞いを検知すると、調停エンティティに通知することが記載されている。また、下記特許文献４では、サービス画面用のアバターにおいて重畳される入力文字に禁止語が含まれてないかチェックすることが記載されている。また、下記特許文献５では、育成型キャラクタプログラムにおいて不快な行為であると判断された場合、このジェスチャーの表示用画像データが変更される。さらに、下記特許文献６では、車両運転者の好みにより容姿や音声が選択され、学習成長する擬人化エージェントについて記載されている。
特表２０１３－５３３５３７号公報 特表２０１０－５３３００６号公報 特表２０１１－５０２３０７号公報 特開２００９－２５８９１８号公報 特開２００９－２０１７６５号公報 特開２００５－３１３８８６号公報
　しかしながら、エージェントの発話文データを監修する際、上述したような技術では、禁止語を含む発話文データを削除するか否かの２択しかなく、エージェントのキャラクターを考慮して柔軟に対応することができなかった。また、専門家による監修を行う場合、作業効率やスケジュール調整の観点からある程度まとまった単位でしか処理できず、発話文データを充実させるまでには多大な手間がかかってしまう。
　そこで、本開示では、エージェントの発話文データの監査をより柔軟に行うことが可能な情報処理システム、および情報処理方法を提案する。
　本開示によれば、エージェントの発話文データを記憶する記憶部と、クライアント端末から送信される、ユーザからの特定のエージェントの発話文データを要求する要求情報を受信する通信部と、前記通信部を介して前記要求情報を受信すると、対応する発話文データを前記クライアント端末に返信し、当該発話文データに対する前記ユーザからのフィードバックに応じて、前記特定のエージェントが当該発話文データで示される発話内容を発話する可能性を表す発話可能性レベルを更新し、前記特定のエージェントと前記発話内容に関連付けて前記記憶部に記録する制御部と、を備える、情報処理システムを提案する。
　本開示によれば、プロセッサが、エージェントの発話文データを記憶部に記憶することと、クライアント端末から送信される、ユーザからの特定のエージェントの発話文データを要求する要求情報を通信部により受信することと、前記通信部を介して前記要求情報を受信すると、対応する発話文データを前記クライアント端末に返信し、当該発話文データに対する前記ユーザからのフィードバックに応じて、前記特定のエージェントが当該発話文データで示される発話内容を発話する可能性を表す発話可能性レベルを更新し、前記特定のエージェントと前記発話内容に関連付けて前記記憶部に記録するよう制御することと、を含む、情報処理方法を提案する。
　以上説明したように本開示によれば、エージェントの発話文データの監査をより柔軟に行うことが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による通信制御システムの概要について説明する図である。 本実施形態による通信制御システムの全体構成を示す図である。 本実施形態による音声エージェントサーバの構成の一例を示すブロック図である。 本実施形態による対話処理部の構成例を示す図である。 本実施形態による会話ＤＢの生成処理を示すフローチャートである。 本実施形態による音素ＤＢの生成処理を示すフローチャートである。 本実施形態による対話制御処理を示すフローチャートである。 本実施形態による会話ＤＢのデータ構成例について説明する図である。 本実施形態による会話ＤＢの更新処理を示すフローチャートである 本実施形態による個人化レイヤーから共通レイヤーへの会話データ移行処理を示すフローチャートである。 本実施形態による基本対話用会話ＤＢへの会話データの移行について説明する図である。 本実施形態による基本対話用ＤＢへの会話データ移行処理を示すフローチャートである。 本実施形態による広告ＤＢに登録されている広告情報の一例を示す図である。 本実施形態による広告内容の挿入処理を示すフローチャートである。 本実施形態による会話ＤＢ生成部の構成例を示す図である。 本実施形態によるユーザ情報ＤＢに格納されているユーザ情報の一例を示す図である。 本実施形態によるエージェント情報ＤＢに格納されているエージェント情報の一例を示す図である。 本実施形態による特権者情報ＤＢに格納されている特権者情報の一例を示す。 本実施形態による特権者情報ＤＢに格納されている特権者情報の一例を示す。 本実施形態による対話処理部の構成例を示す図である。 本実施形態による発話文データの収集処理を示すフローチャートである。 本実施形態による発話文登録画面の一例を示す図である。 本実施形態によるエージェント選択画面の一例を示す図である。 本実施形態による一般ユーザ用の監査処理を示すフローチャートである。 本実施形態による一般ユーザの監査処理を示すフローチャートである。 本実施形態による一般ユーザ用監査画面の一例を示す図である。 本実施形態による一般ユーザ用監査画面の一例を示す図である。 本実施形態による特権者の監査処理を示すフローチャートである。 本実施形態による特権者用監査画面の一例を示す図である。 本実施形態による発話制御処理を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による通信制御システムの概要
　２．構成
　　２－１．システム構成
　　２－２．サーバの構成
　３．システム動作処理
　　３－１．会話データ登録処理
　　３－２．音素ＤＢ生成処理
　　３－３．対話制御処理
　　３－４．会話ＤＢ更新処理
　　３－５．広告挿入処理
　４．発話文データの管理
　　４－１．構成
　　　４－１－１．会話ＤＢ生成部の構成
　　　４－１－２．対話処理部の構成
　　４－２．動作処理
　　　４－２－１．収集処理
　　　４－２－２．監査処理
　　　４－２－３．発話制御処理
　５．まとめ
　＜＜１．本開示の一実施形態による通信制御システムの概要＞＞
　図１を参照して本開示の一実施形態による通信制御システム（エージェントシステム）について説明する。
　図１は、本開示の一実施形態による通信制御システムの概要について説明する図である。本システムでは、ユーザと日常的に対話を行う、人格を持つエージェントの発話文データの監査を行うことで、エージェントの人格にそぐわない発話や禁止ワードを含む発話を発しないようにすることができる。エージェントは、上述したようにユーザと日常的に対話を行い、状況に応じて、実世界やインターネット上のコンテンツ等の推薦、ニュースや天気予報等の情報提供、ゲームの提供、道案内等々の様々なサービスを提供する。エージェントとの対話は、例えばユーザが所持するスマートフォン等のクライアント端末１の表示部、マイクロホン、およびスピーカを介して行われる。例えば表示部にエージェントの画像や会話テキストが表示され、スピーカからエージェントの発話音声が再生される。また、ユーザの発話音声はマイクロホンにより収音され、システム側で音声認識、および意味解析される。ユーザと対話を行うエージェントは、システム側で予め用意された、それぞれ異なる人格（キャラクター）を持つ複数のエージェントから、ユーザが任意に選択、購入したものである。
　（背景）
　エージェントの発話文データは、予め登録しておく必要がある。ここで、発話文データを一般ユーザから収集することによって、より早く発話文ＤＢ（データベース）を充実させることが可能であるが、エージェントのイメージに合わない発話文や、公序良俗に反するワードを含む発話文等も登録されてしまう恐れがあり、専門家により監修が必要であった。専門家による監修を行う場合、作業効率やスケジュール調整の観点からある程度まとまった単位でしか処理できず、発話文データを充実させるまでには多大な手間がかかってしまう。
　また、エージェントの発話文データを監修する際、禁止語を含む発話文データを削除するか否かの二択しかなく、エージェントのキャラクターを考慮して柔軟に対応することが出来なかった。
　そこで、本開示では、収集した発話文データに対して、エージェントが言いそうな度合いを示す発話可能性レベルを設定し、エージェントの発話文データの監査をより柔軟に行うことを可能にする。これにより、一般ユーザから発話文データを収集して発話文ＤＢを充実させるとともに、エージェントのキャラクターのイメージに合わない発話データは利用されないようにすることが可能となる。
　なお、本実施形態による通信制御システムは、音声により応答を行う音声エージェントに限定されず、スマートフォン等のクライアント端末においてテキストベースで応答を行うテキスト対応のエージェントであってもよい。
　また、本実施形態による通信制御システムは、スマートフォンやタブレット端末、ＰＣ等の情報処理装置に搭載されてもよいし、ホームシステム、車載システム、クライアント端末とサーバから成るクライアントサーバシステムに組み込まれてもよい。また、本実施形態による通信制御システムは、ロボットのような擬人化されたデバイスに搭載されていてもよい。ロボットの場合、音声対話に加えて、表情の制御やアクションの制御も行われ得る。
　＜＜２．構成＞＞
　　＜２－１．システム構成＞
　続いて、上述した本実施形態による通信制御システムの全体構成について図２を参照して説明する。図２は、本実施形態による通信制御システムの全体構成を示す図である。
　図２に示すように、本実施形態による通信制御システムは、クライアント端末１およびエージェントサーバ２を含む。
　エージェントサーバ２は、ネットワーク３を介してクライアント端末１と接続し、データの送受信を行う。具体的には、エージェントサーバ２は、クライアント端末１で収音され、送信された発話音声に対する応答音声を生成し、クライアント端末１に送信する。エージェントサーバ２は、１以上のエージェントに対応する音素ＤＢ（データベース）を有し、特定のエージェントの音声で応答音声を生成することが可能である。ここで、エージェントとは、漫画、アニメ、ゲーム、ドラマ、映画等のキャラクターや、芸能人、著名人、歴史上の人物等であってもよいし、また、個人に特定せず、例えば世代別の平均的な人物であってもよい。また、エージェントは、動物や擬人化されたキャラクターであってもよい。また、エージェントは、ユーザ本人の性格を反映した人物や、ユーザの友人、家族、知人等の性格を反映した人物であってもよい。
　また、エージェントサーバ２は、各エージェントの性格を反映した応答内容を生成することが可能である。エージェントサーバ２は、エージェントを介して、ユーザのスケジュール管理、メッセージの送受信、情報提供等、様々なサービスをユーザとの対話を通じて提供し得る。
　なおクライアント端末１は、図２に示すようなスマートフォンに限定されず、例えば携帯電話端末、タブレット端末、ＰＣ（パーソナルコンピュータ）、ゲーム機、ウェアラブル端末（スマートアイグラス、スマートバンド、スマートウォッチ、スマートネック等）等であってもよい。また、クライアント端末１は、ロボットであってもよい。
　以上、本実施形態による通信制御システムの概要について説明した。続いて、本実施形態による通信制御システムのエージェントサーバ２の構成について図３を参照して具体的に説明する。
　　＜２－２．エージェントサーバ２＞
　図３は、本実施形態によるエージェントサーバ２の構成の一例を示すブロック図である。図３に示すように、エージェントサーバ２は、音声エージェントＩ／Ｆ（インタフェース）２０、対話処理部３０、音素記憶部４０、会話ＤＢ生成部５０、音素ＤＢ生成部６０、広告挿入処理部７０、広告ＤＢ７２、およびフィードバック取得処理部８０を有する。
　音声エージェントＩ／Ｆ２０は、音声データの入出力部、音声認識部、および音声生成部として機能する。入出力部としては、ネットワーク３を介してクライアント端末１と送受信を行う通信部が想定される。音声エージェントＩ／Ｆ２０は、クライアント端末１からユーザの発話音声を受信し、音声認識によりテキスト化することが可能である。また、音声エージェントＩ／Ｆ２０は、対話処理部３０から出力されたエージェントの回答文データ（テキスト）を、当該エージェントに対応する音素データを用いて音声化し、生成したエージェントの応答音声をクライアント端末１に送信する。
　対話処理部３０は、演算処理装置および制御装置として機能し、各種プログラムに従ってエージェントサーバ２内の動作全般を制御する。対話処理部３０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、本実施形態による対話処理部３０は、基本対話処理部３１、キャラクターＡ対話処理部３２、人物Ｂ対話処理部３３、人物Ｃ対話処理部３４として機能する。
　キャラクターＡ対話処理部３２、人物Ｂ対話処理部３３、人物Ｃ対話処理部３４は、エージェント毎に特化された対話を実現する。ここでは、エージェントの一例として「キャラクターＡ」「人物Ｂ」「人物Ｃ」を挙げているが、本実施形態は当然これに限定されず、さらに多数のエージェントに特化した対話を実現する各対話処理部を有していてもよい。基本対話処理部３１は、エージェント毎に特化されていない、汎用の対話を実現する。
　ここで、基本対話処理部３１、キャラクターＡ対話処理部３２、人物Ｂ対話処理部３３、および人物Ｃ対話処理部３４に共通する基本構成について図４を参照して説明する。
　図４は、本実施形態による対話処理部３００の構成例を示す図である。図４に示すように、対話処理部３００は、質問文検索部３１０、回答文生成部３２０、音素データ取得部３４０、および会話ＤＢ３３０を有する。会話ＤＢ３３０は、質問文データと回答文データが組になった会話データが保存されている。エージェントに特化した対話処理部では、かかる会話ＤＢ３３０にエージェントに特化した会話データが保存され、汎用の対話処理部では、かかる会話ＤＢ３３０にエージェントに特化しない汎用の会話データ（すなわち、基本会話データ）が保存されている。
　質問文検索部３１０は、音声エージェントＩ／Ｆ２０から出力された、ユーザの質問音声（発話音声の一例）を認識してテキスト化した質問文と一致する質問文データを会話ＤＢ３３０から検索する。回答文生成部３２０は、質問文検索部３１０により検索した質問文データに対応付けて保存されている回答文データを会話ＤＢ３３０から抽出し、回答文データを生成する。音素データ取得部３４０は、回答文生成部３２０により生成された回答文を音声化するための音素データを、対応するエージェントの音素記憶部４０から取得する。例えば、キャラクターＡ対話処理部３２の場合、キャラクターＡ音素ＤＢ４２から、回答文データをキャラクターＡの音声で再生するための音素データを取得する。そして、対話処理部３００は、生成した回答文データおよび取得した音素データを音声エージェントＩ／Ｆ２０に出力する。
　音素記憶部４０は、エージェント毎の音声を生成するための音素データベースを格納する。音素記憶部４０は、ＲＯＭ（Read　Only　Memory）およびＲＡＭ（Random　Access　Memory）により実現され得る。図３に示す例では、基本音素ＤＢ４１、キャラクターＡ音素ＤＢ４２、人物Ｂ音素ＤＢ４３、人物Ｃ音素ＤＢ４４を格納する。各音素ＤＢには、音素データとして、例えば音素片とその制御情報である韻律モデルが記憶されている。
　会話ＤＢ生成部５０は、対話処理部３００の会話ＤＢ３３０を生成する機能を有する。例えば会話ＤＢ生成部５０は、想定される質問文データを収集し、各質問に対応する回答文データを収集した後に、質問文データと回答文データとを組にして保存する。そして、会話ＤＢ生成部５０は、所定数の会話データ（質問文データと回答文データとの組、例えば１００組）が集まったら、エージェントの会話データセットとして会話ＤＢ３３０に登録する。
　音素ＤＢ生成部６０は、音素記憶部４０に格納されている音素ＤＢを生成する機能を有する。例えば音素ＤＢ生成部６０は、所定のテキストを読み上げた音声情報を解析して、音素片とその制御情報である韻律モデルに分解し、所定数以上の音声情報が収集できたら音素データとして音素ＤＢに登録する処理を行う。
　広告挿入処理部７０は、エージェントの対話に広告情報を挿入する機能を有する。挿入する広告情報は、広告ＤＢ７２から抽出し得る。広告ＤＢ７２には、企業等の提供側（ベンダー、サプライヤー）から依頼された広告情報（例えばテキスト、画像、音声等の広告内容、広告主、広告期間、広告対象者等の情報）が登録されている。
　フィードバック取得処理部８０は、エージェントの対話に、フィードバックを取得するための質問を挿入し、ユーザからフィードバックを得るための機能を有する。
　以上、本実施形態によるエージェントサーバ２の構成について具体的に説明した。なお、本実施形態によるエージェントサーバ２の構成は、図３に示す例に限定されない。例えば、エージェントサーバ２が有する各構成は、各々ネットワーク上の他サーバで構成されていてもよい。
　続いて、本実施形態による通信制御システムの基本的な動作処理について図５～図１４を参照して説明する。
　＜＜３．システム動作処理＞＞
　＜３－１．会話データ登録処理＞
　図５は、本実施形態による会話ＤＢ３３０の生成処理を示すフローチャートである。図５に示すように、まず、会話ＤＢ生成部５０は、想定される質問文を保存する（ステップＳ１０３）。
　次に、会話ＤＢ生成部５０は、質問文に対応する（対の）回答文を保存する（ステップＳ１０６）。
　次いで、会話ＤＢ生成部５０は、質問文と回答文のペア（会話データとも称す）が所定数集まったか否かを判断する（ステップＳ１０９）。
　そして、質問文と会話文のペアが所定数集まった場合（ステップＳ１０９／Ｙｅｓ）、会話ＤＢ生成部５０は、質問文および回答文の多数のペアから成るデータセットを会話ＤＢ３３０に登録する（ステップＳ１１２）。質問文および回答文のペアの一例としては、例えば下記のようなものが想定される。
　質問文および回答文のペア例
　ペア１
　　質問文：おはよう。
　　回答文：今日の調子はどうですか？
　ペア２
　　質問文：今日の天気は？
　　回答文：今日の天気は○○です。
　このようなペアが、会話データとして会話ＤＢ３３０に登録され得る。
　＜３－２．音素ＤＢ生成処理＞
　図６は、本実施形態による音素ＤＢの生成処理を示すフローチャートである。図６に示すように、まず、音素ＤＢ生成部６０は、例文の表示を行う（ステップＳ１１３）。例文の表示は、例えば図示しない情報処理端末のディスプレイに、音素データ生成のために必要な例文を表示する。
　次に、音素ＤＢ生成部６０は、例文を読み上げた音声を録音し（ステップＳ１１６）、録音音声を分析する（ステップＳ１１９）。例えば、エージェントの音声を担当する人物により読み上げられた音声情報が情報処理端末のマイクロホンにより収集され、音素ＤＢ生成部６０がこれを受信し、記憶し、さらに音声分析を行う。
　次いで、音素ＤＢ生成部６０は、音声情報に基づいて、韻律モデルを生成する（ステップＳ１２２）。韻律モデルとは、音声の韻律的特徴（例えば音の高低、音の強弱、発話速度等）を示す韻律パラメータを抽出するものであって、個人毎に異なる。
　次に、音素ＤＢ生成部６０は、音声情報に基づいて、音素片（音素データ）を生成する（ステップＳ１２５）。
　次いで、音素ＤＢ生成部６０は、韻律モデルおよび音素片を保存する（ステップＳ１２８）。
　続いて、音素ＤＢ生成部６０は、韻律モデルおよび音素片が所定数集まったか否かを判断する（ステップＳ１３１）。
　そして、韻律モデルおよび音素片が所定数集まった場合（ステップＳ１３１／Ｙｅｓ）、音素ＤＢ生成部６０は、韻律モデルおよび音素片を、所定のエージェント用の音素データベースとして音素記憶部４０に登録する（ステップＳ１３４）。
　＜３－３．対話制御処理＞
　図７は、本実施形態による対話制御処理を示すフローチャートである。図７に示すように、まず、音声エージェントＩ／Ｆ２０は、ユーザの質問音声およびエージェントIDを取得したか否かを確認する（ステップＳ１４３）。エージェントIDは、キャラクターＡ、人物Ｂ、人物Ｃといった特定のエージェントを示す識別情報である。ユーザは、エージェント毎の音素データを購入することができ、例えば購入処理時に購入したエージェントのIDがクライアント端末１に保存される。
　次に、ユーザの質問音声およびエージェントIDを取得すると（ステップＳ１４６／Ｙｅｓ）、音声エージェントＩ／Ｆ２０は、質問音声を音声認識し、テキスト化する（ステップＳ１４９）。音声エージェントＩ／Ｆ２０は、テキスト化した質問文を、エージェントIDで指定された特定エージェントの対話処理部に出力する。例えば「エージェントID：キャラクターＡ」の場合、音声エージェントＩ／Ｆ２０は、テキスト化した質問文をキャラクターＡ対話処理部３２に出力する。
　次いで、対話処理部３０は、エージェントIDで指定された特定エージェントの会話ＤＢから、テキスト化した質問文と一致する質問文を検索する（ステップＳ１５２）。
　次に、一致する質問があった場合（ステップＳ１５５／Ｙｅｓ）、キャラクターＡ対話処理部３２は、質問に対応する（対になって保存されている）回答文データを特定エージェントの会話ＤＢから取得する（ステップＳ１５８）。
　一方、一致する質問がなかった場合（ステップＳ１５５／Ｎｏ）、基本対話処理部３１の会話ＤＢから、テキスト化した質問文と一致する質問文が検索される（ステップＳ１６１）。
　一致する質問文があった場合（ステップＳ１６１／Ｙｅｓ）、基本対話処理部３１は、質問に対応する（対になって保存されている）回答文データを基本対話処理部３１の会話ＤＢから取得する（ステップＳ１６７）。
　一方、一致する質問文がなかった場合（ステップＳ１６４／Ｎｏ）、基本対話処理部３１は、一致する質問文が無い場合の回答文データ（例えば、「質問が解りません」といった回答文）を取得する（ステップＳ１７０）。
　次いで、キャラクターＡ対話処理部３２により、エージェントIDで指定された特定エージェントの音素ＤＢ（ここでは、キャラクターＡ音素ＤＢ４２）を参照し、回答文データの音声を生成するためのキャラクターＡの音素データが取得される（ステップＳ１７３）。
　次に、取得された音素データと回答文データが音声エージェントＩ／Ｆ２０に出力される（ステップＳ１７６）。
　そして、音声エージェントＩ／Ｆ２０は、回答文データ（テキスト）を音素データを用いて音声化（音声合成）し、クライアント端末１に送信する（ステップＳ１７９）。クライアント端末１では、キャラクターＡの音声で回答文が再生される。
　＜３－４．会話ＤＢ更新処理＞
　次に、各対話処理部３００の会話ＤＢ３３０の更新処理について説明する。本実施形態では、ユーザとの会話によって会話ＤＢ３３０を成長させることが可能である。
　まず、会話ＤＢ３３０のデータ構成例について図８を参照して補足説明を行う。図８は、本実施形態による会話ＤＢ３３０のデータ構成例について説明する図である。図８に示すように、各会話ＤＢ３３０は、個人化レイヤー３３１と共通レイヤー３３２という２つのレイヤーを有する。例えばキャラクターＡ用会話ＤＢ３３０Ａの場合、共通レイヤー３３２Ａには、キャラクターＡの性格や特徴が反映された会話データが保持される。一方、個人化レイヤー３３１Ａには、ユーザとの会話により当該ユーザ向けにカスタマイズされた会話データが保持される。すなわち、キャラクターＡ音素ＤＢ４２およびキャラクターＡ対話処理部３２がセットでユーザに提供（販売）されると、あるユーザＸと、ユーザＹは、最初は同じキャラクターＡと対話を行う（共通レイヤー３３２Ａに保持されている会話データが使用される）が、対話を続けるにつれて、各ユーザ向けにカスタマイズされた会話データが、ユーザ毎の個人化レイヤー３３１Ａに蓄積される。これにより、ユーザＸ、ユーザＹそれぞれの好みに応じたキャラクターＡとの対話を提供できるようになる。
　またエージェント「人物Ｂ」が、キャラクターＡのような特定の性格を有さない平均的な世代別の人物の場合も、会話データがユーザ向けにカスタマイズされ得る。すなわち、例えば「人物Ｂ」が『２０代の人物』の場合、共通レイヤー３３２Ｂには２０代の平均的な会話データが保持され、ユーザとの対話を続けることでカスタマイズされた会話データがユーザ毎の個人化レイヤー３３１Ｂに保持される。また、ユーザは、人物Ｂの音声として「男性」、「女性」、「高い声」、「低い声」といった好きな音素データを人物Ｂ音素ＤＢ４３から選択し、購入することも可能である。
　このような会話ＤＢ３３０のカスタマイズを行う際の具体的な処理について、図９を参照して説明する。図９は、本実施形態による会話ＤＢ３３０の更新処理を示すフローチャートである。
　図９に示すように、まず、音声エージェントＩ／Ｆ２０は、クライアント端末１からユーザの質問音声を取得（受信）し、これを音声認識によりテキスト化する（ステップＳ１８３）。テキスト化されたデータ（質問文データ）は、エージェントIDにより指定されている特定エージェントの対話処理部（ここでは、例えばキャラクターＡ対話処理部３２）に出力される。
　次に、キャラクターＡ対話処理部３２は、質問文データが所定のコマンドであるか否かを判断する（ステップＳ１８６）。
　次いで、所定のコマンドである場合（ステップＳ１８６／Ｙｅｓ）、キャラクターＡ対話処理部３２は、ユーザ指定の回答文データを、会話ＤＢ３３０Ａの個人化レイヤー３３１Ａに質問文データと対で登録する（ステップＳ１８９）。所定のコマンドとは、例えば「ＮＧ」、「設定」といった言葉であってもよい。例えば以下のような会話の流れにより、キャラクターＡの会話ＤＢをカスタマイズすることができる。
　ユーザ：「おはよう」
　キャラクターＡ：「おはよう」
　ユーザ：「ＮＧ。元気で頑張ってと答えて」
　キャラクターＡ：「元気で頑張って」
　上記の会話の流れでは、『ＮＧ』が所定のコマンドであって、キャラクターＡ対話処理部３２は、ユーザから『ＮＧ』と発せられた後、ユーザ指定の回答文データ『元気で頑張って』を、質問文データ『おはよう』と対にして会話ＤＢ３３０Ａの個人化レイヤー３３１Ａに登録する。
　一方、所定のコマンドでない場合（ステップＳ１８６／Ｎｏ）、キャラクターＡ対話処理部３２は、質問文データと対になって保持されている回答文データをキャラクターＡ用会話ＤＢ３３０Ａから検索する。問文データと対になって保持されている回答文データがキャラクターＡ用会話ＤＢ３３０Ａに保持されていない場合、すなわち、ユーザの質問が回答文の無い質問であった場合（ステップＳ１９２／Ｙｅｓ）、キャラクターＡ対話処理部３２は、ユーザ指定の回答文データを、質問文と対にして個人化レイヤー３３１Ａに登録する（ステップＳ１９５）。例えば以下のような会話の流れにより、キャラクターＡの会話ＤＢをカスタマイズすることができる。
　ユーザ：「元気？」
　キャラクターＡ：「質問がわかりません」（該当する回答が無い場合の回答データ例）
　ユーザ：「『元気？』と聞いたら、『今日も元気だよ』と答えて」
　キャラクターＡ：「今日も元気だよ」
　上記会話の流れでは、『元気？』と対になって保持される回答文データが無いため、該当する回答が無い場合の回答データ例である『質問がわかりません』がキャラクターＡ対話処理部３２により取得され、対応するキャラクターＡの音素データと共に音声エージェントＩ／Ｆ２０に出力され、クライアント端末１で再生される。次いで、ユーザ指定の回答文『今日も元気だよ』が入力されると、キャラクターＡ対話処理部３２は、質問文データ『元気？』と対にして個人化レイヤー３３１Ａに登録する。
　なお、回答文の有る質問であった場合（ステップＳ１９２／Ｎｏ）、キャラクターＡ対話処理部３２は、当該回答文データを取得し、対応するキャラクターＡの音素データと共に音声エージェントＩ／Ｆ２０に出力し、クライアント端末１で回答文がキャラクターＡの音声で再生される（ステップＳ１９８）。
　次いで、個人化レイヤーから共通レイヤーへの会話データ移行について、図１０を参照して説明する。図１０は、本実施形態による個人化レイヤーから共通レイヤーへの会話データ移行処理を示すフローチャートである。ここでは、一例としてキャラクターＡ対話処理部３２の個人化レイヤー３３１Ａから共通レイヤー３３２Ａへの会話データ移行処理について説明する。
　図１０に示すように、まず、キャラクターＡ対話処理部３２は、ユーザ毎の個人化レイヤー３３１Ａを定期的にサーチし（ステップＳ２０３）、実質的に同じ内容の会話ペア（質問文データと回答文データのペア）を抽出する（ステップＳ２０６）。実質的に同じ内容の会話ペアとは、例えば質問文「元気？」と回答文「今日も元気だよ！」のペアと、質問文「元気ですか？」と回答文「今日も元気だよ！」のペアは、質問文が丁寧語か否かの違いのみであって、実質的に同じ内容の会話ペアと判断され得る。
　次に、キャラクターＡ対話処理部３２は、ユーザ毎の個人化レイヤー３３１Ａから会話ペアが所定数以上抽出された場合（ステップＳ２０９／Ｙｅｓ）、当該会話ペアを（ユーザ毎の）共通レイヤー３３２Ａに登録する（ステップＳ２１２）。
　このように、ユーザ毎の個人化レイヤー３３１において実質的に内容が同じ会話ペアを共通レイヤー３３２に移行することで、共通レイヤー３３２を成長（会話ペアを拡充）させることが可能となる。
　また、本実施形態では、特定エージェントの会話ＤＢ（具体的には共通レイヤー）から基本対話用の会話ＤＢへ会話データを移行して基本対話用の会話ＤＢを成長させることも可能である。図１１は、本実施形態による基本対話用会話ＤＢ３３０Ｆへの会話データの移行について説明する図である。例えば、ユーザＸおよびユーザＹが各々エージェント「キャラクターＡ」を選択（購入）し、ユーザＺがエージェント「人物Ｂ」を選択（購入）している場合、図１１に示すように、ユーザＸのキャラクターＡ用会話ＤＢ３３０Ａ－Ｘ、ユーザＹのキャラクターＡ用会話ＤＢ３３０Ａ－Ｙ、およびユーザＺの人物Ｂ用会話ＤＢ３３０Ｂ－Ｚが対話処理部３０に存在し得る。この場合、各個人化レイヤー３３１Ａ－Ｘ、３３１Ａ－Ｙ、３３１Ｂ－Ｚには、各ユーザＸ、ユーザＹ、ユーザＺとの対話に応じて独自の（カスタマイズされた）会話ペアが登録されていく（図９参照）。次いで、同じエージェントの個人化レイヤー３３１Ａ－Ｘ、３３１Ａ－Ｙにおいて実質同じ会話ペアが所定数あると、ユーザ毎の共通レイヤー３３２Ａ－Ｘ、３３２Ａ－Ｙに各々登録される（図１０参照）。
　そして、対話処理部３０は、複数のエージェント（異なるエージェントを含んでもよい）の共通レイヤー３３２Ａ－Ｘ、３３２Ａ－Ｙ、３３２Ｂ－Ｚから実質同じ会話ペアが所定数以上抽出された場合、上位の基本対話用会話ＤＢ３３０Ｆに会話ペアを移行する。基本対話用会話ＤＢ３３０Ｆは、基本対話処理部３１が有する会話ＤＢである。これにより、基本対話用会話ＤＢ３３０Ｆを成長（会話ペアを拡充）させることが可能となる。かかるデータ移行処理について、図１２を参照して具体的に説明する。図１２は、本実施形態による基本対話用ＤＢ３３０Ｆへの会話データ移行処理を示すフローチャートである。
　図１２に示すように、まず、対話処理部３０は、定期的に会話ＤＢ３３０の複数の共通レイヤー３３２をサーチし（ステップＳ２２３）、実質同じ会話ペアを抽出する（ステップＳ２２６）。
　次に、対話処理部３０は、複数の共通レイヤー３３２から実質同じ会話ペアが所定数以上抽出された場合（ステップＳ２２９／Ｙｅｓ）、当該会話ペアを基本対話用会話ＤＢ３３０Ｆに登録する（ステップＳ２３２）。
　このように、複数のエージェントにおける会話ＤＢ３３０の共通レイヤー３３２において実質的に内容が同じ会話ペアを、基本対話用会話ＤＢ３３０Ｆに移行することで、基本対話用会話ＤＢ３３０Ｆを成長（会話ペアを拡充）させることが可能となる。
　＜３－５．広告出力処理＞
　続いて、広告挿入処理部７０による広告情報の挿入処理について図１３～図１４を参照して説明する。本実施形態では、広告挿入処理部７０により、エージェントの発言に広告ＤＢ７２に格納されている広告情報の挿入を行うことが可能である。広告ＤＢ７２には、予め広告情報が登録され得る。図１３は、本実施形態による広告ＤＢ７２に登録されている広告情報の一例を示す図である。
　図１３に示すように、広告情報６２１は、例えばエージェントID、質問文、広告内容、条件、および確率を含む。エージェントIDは広告内容を発言するエージェントを指定し、質問文は広告内容を挿入するトリガとなるユーザの質問文を指定し、広告内容はエージェントの対話に挿入する広告文章である。また、条件は、広告内容を挿入する条件であって、確率は広告内容を挿入する確率を示す。例えば図１３の１段目に示す例では、エージェント「キャラクターＡ」との対話において、３０歳以下のユーザからの質問文に「チョコレート」という単語が含まれている場合に、「ＢＢ社の新しく発売されたチョコはミルクがたくさん入っていて美味しいよ」といった広告内容が回答文に挿入される。また、トリガとなる質問文が発せられた際に毎回広告内容を挿入するとユーザが煩わしく思ってしまうこともあるため、本実施形態では、広告を挿入する確率を設定するようにしてもよい。かかる確率は広告料に応じて決定されてもよい。例えば広告料が高いほど確率が高く設定される。
　このような広告内容の挿入処理について図１４を参照して具体的に説明する。図１４は、本実施形態による広告内容の挿入処理を示すフローチャートである。
　図１４に示すように、まず、広告挿入処理部７０は、ユーザとエージェントとの対話（具体的には、対話処理部３０による対話処理）を監視する（ステップＳ２４３）。
　次に、広告挿入処理部７０は、ユーザとエージェントとの対話に、広告ＤＢ７２に登録されている質問文と同一の内容の質問文が登場したか否かを判断する（ステップＳ２４６）。
　次いで、同一の内容の質問文が登場した場合（ステップＳ２４６／Ｙｅｓ）、広告挿入処理部７０は、該当する質問文と対応付けられている広告挿入の条件および確率を確認する（ステップＳ２４９）。
　続いて、広告挿入処理部７０は、条件および確率に基づいて、現在、広告が出せる状態であるか否かを判断する（ステップＳ２５２）。
　次に、広告が出せる状態である場合（ステップＳ２５２／Ｙｅｓ）、広告挿入処理部７０は、対話処理部３０による対話処理を一時停止させ（ステップＳ２５５）、広告内容を対話に挿入する（ステップＳ２５８）。具体的には、例えばユーザの質問文に対するエージェントの回答文に、広告内容を挿入させる。
　そして、広告内容を含む対話（会話文データ）が対話処理部３０から音声エージェントＩ／Ｆ２０に出力され、音声エージェントＩ／Ｆ２０からクライアント端末１に送信され、エージェントの音声で再生される（ステップＳ２６１）。具体的には、例えば以下のような会話により、キャラクターＡの発言としてユーザに広告内容を提示することができる。
　ユーザ：「おはよう」
　キャラクターＡ：「おはよう！今日の調子はどうですか？」
　ユーザ：「元気だよ。何か美味しい物食べたいな」
　キャラクターＡ：「ＣＣ店の焼肉が美味しいらしいよ」
　上記会話では、まず、ユーザの質問文「おはよう」に対して、キャラクターＡの会話ＤＢから検索された対応する回答文「おはよう！今日の調子はどうですか？」が音声出力される。次いで、ユーザの質問文「元気だよ。何か美味しい物食べたいな」に、広告挿入のトリガとなる質問文「何か美味しい物食べたいな」が含まれているため（図１３の２段目参照）、広告挿入処理部７０は広告挿入処理を行い、キャラクターＡの音声で広告内容「ＣＣ店の焼肉が美味しいらしいよ」といった回答文が出力される。
　以上、本実施形態による通信制御システムの基本的な動作処理として、会話データ登録処理、音素ＤＢ生成処理、対話制御処理、会話ＤＢ更新処理、および広告挿入処理について説明した。
　なお、本実施形態による会話データの登録処理は、上述した例に限定されない。本実施形態による会話ＤＢ生成部５０は、多数の一般ユーザからエージェントキャラクター毎の発話文データを収集し、収集した発話文データを監査することが可能である。また、監査した発話文データが一定量蓄積すると、データセットとして対話処理部３０に出力され、対応するエージェントキャラクターの対話処理部３００の会話ＤＢ３３０に格納され得る。以下、このような発話文データの収集、監査を行う会話ＤＢ生成部５０について、図１５～図３０を参照して具体的に説明する。
　＜＜４．発話文データの管理＞＞
　＜４－１．構成＞
　（４－１－１．会話ＤＢ生成部の構成）
　図１５は、本実施形態による会話ＤＢ生成部５０Ａの構成例を示す図である。図１５に示すように、会話ＤＢ生成部５０Ａは、制御部５００、通信部５１０、ユーザ情報ＤＢ５２０、エージェント情報ＤＢ５３０、発話文ＤＢ５４０、および特権者情報ＤＢ５５０を有する。
　通信部５１０は、外部装置と有線または無線により接続し、データの送受信を行う機能を有する。例えば通信部５１０は、ネットワークを介して、一般ユーザや特権者（特別な権限を有するユーザ）のクライアント端末１と接続し、データの送受信を行う。
　制御部５００は、演算処理装置および制御装置として機能し、各種プログラムに従って会話ＤＢ生成部５０Ａ内の動作全般を制御する。制御部５００は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、本実施形態による制御部５００は、画面生成部５０１、発話文データ管理部５０２、発話可能性レベル算出部５０３として機能する。
　画面生成部５０１は、一般ユーザによる発話文データの登録画面や、発話文データの監査画面を生成する機能を有する。生成された登録画面や監査画面は、通信部５１０を介してユーザのクライアント端末１に送信され、表示される。本実施形態によるエージェントは、例えば特定の著作権者や所有者によって管理され、また、熱心なファンやファンクラブが結成されている所謂アイドルのような存在である。各ユーザは、好きなエージェントに喋らせたい言葉（発話文）を、所定の登録画面から入力して登録することが可能である。例えば熱心なファンであれば、エージェントのキャラクター性をよく理解しているため、著作権者や所有者が全てを制作しなくても、そのキャラクターが言いそうな言葉がファンにより多数登録され、発話文ＤＢ５４０が充実することが期待できる。なお、本実施形態による登録画面や監査画面の具体例については、図２２、図２６、図２７、図２９を参照して後述する。
　発話文データ管理部５０２は、発話文ＤＢ５４０に格納されている発話文データの登録、変更、削除といった管理を行う。例えば発話文データ管理部５０２は、ユーザにより登録画面から入力された発話文データを発話文ＤＢ５４０に書き込み、また、監査画面から入力された発話文データの変更を発話文ＤＢ５４０に反映する。
　発話可能性レベル算出部５０３は、発話文ＤＢ５４０に格納されている発話文データを、対応するエージェントキャラクターが発言しそうな（言いそうな）度合い（以下、「発話可能性レベル」と称す）を算出する。発話可能性レベルは、例えば0.0～1.0の数値で算出される。算出方法の詳細については、後述する。
　ユーザ情報ＤＢ５２０は、ユーザに関する各種情報を格納する。図１６に、本実施形態によるユーザ情報ＤＢ５２０に格納されているユーザ情報の一例を示す。図１６に示すように、ユーザ情報は、例えばログイン用のユーザＩＤ、パスワード、およびエージェントのファンクラブ会員であるか否かを示すフラグ情報を含む。
　エージェント情報ＤＢ５３０は、エージェントに関する各種情報を格納する。図１７に、本実施形態によるエージェント情報ＤＢ５３０に格納されているエージェント情報の一例を示す。図１７に示すように、エージェント情報は、例えばエージェントＩＤや、エージェント画像を含む。また、ＰＶ（Promotion Video）やエージェント音声等の付加情報をさらに含んでいてもよい。
　発話文ＤＢ５４０は、各エージェントの発話文データを格納する。図１８に、本実施形態による発話文ＤＢ５４０に格納されている発話文データの一例を示す。図１８に示すように、発話文データは、エージェントＩＤ、発話文、トリガ、発話可能性レベル、および発話可能フラグの情報を含む。エージェントＩＤは、どのエージェントの発話文データかを示すものであって、発話文ＤＢ５４０には、複数のエージェントにそれぞれ紐付けられた発話文データが格納されている。図１８では、一例として「キャラクターＡ」に紐付けられた発話文データが示されている。また、トリガは、当該発話文データをエージェントが発話するタイミングについて設定されているものである。例えば、図１８の発話文データの一行目に示す「おはよう」という発話文は、トリガが「ユーザ設定起床時刻」であるため、ユーザが設定した起床時刻になった際に、キャラクターＡの音声で出力される。また、例えばトリガが「感情：落胆」の発話文「げんきだして」は、ユーザの感情が「落胆」の状態になった際に、キャラクターＡの音声で出力される。ユーザの感情は、発話文を生成する対話処理部３０により、ユーザの行動、生体情報、発話内容、またはＳＮＳ（Social Networking Service）への投稿内容等に基づいて推定される。
　発話文ＤＢ５４０に蓄積された発話文データが所定数集まると、制御部５００により対応するエージェントの発話文のデータセットとして対話処理部３００の会話ＤＢ３３０に登録される。
　「発話可能性レベル」は、そのエージェントのキャラクターが言いそうな度合いであって、例えば一般ユーザまたは特権者により各々入力された発話可能性レベルに基づいて算出される。図１８に示す例では、0.0～1.0の数値で発話可能性レベルが設定されている。対話処理部３０は、発話可能性レベルを考慮して発話文データの出力制御を行う。
　「発話可能フラグ」は、発話可否の設定であって、特権者により入力される。発話可能フラグが「false」の場合、発話可能性レベルに関わらず、発話不可とされる。なお、本実施形態では発話を許可することを示す「発話可能フラグ」の入力について説明するが、本実施形態はこれに限定されず、発話を禁止することを示す「発話禁止フラグ」の入力を行うようにしてもよい。「発話可能フラグ」および「発話禁止フラグ」は、いずれも発話可否フラグの一例である。
　特権者情報ＤＢ５５０は、特権を有するユーザに関する各種情報を格納する。特権を有するユーザ（特権者）は、上述した「発話可能フラグ」を設定できるユーザであって、例えばエージェントの著作権者、所有者、関係者等が想定される。図１９に、本実施形態による特権者情報ＤＢ５５０に格納されている特権者情報の一例を示す。図１９に示すように、特権者情報は、例えばエージェントＩＤ、ログイン用のパスワード、および特権者ＩＤの情報を含む。エージェントＩＤは、どのエージェントの特権者であるかを示すものであって、パスワードおよび特権者ＩＤは、特権者用の監査画面にログインする際に用いられる。
　（４－１－２．対話処理部の構成）
　図２０は、本実施形態による対話処理部３００Ａの構成例を示す図である。図２０に示すように、対話処理部３００Ａは、質問文検索部３１０、回答文生成部３２０、会話ＤＢ３３０、音素データ取得部３４０、発話文ＤＢ３５０、発話文生成部３６０を有する。
　質問文検索部３１０、回答文生成部３２０、会話ＤＢ３３０、および音素データ取得部３４０は、図４を参照して説明した同符号の構成と同様であるので、ここでの説明は省略する。
　発話文生成部３６０は、所定のトリガに応じて、発話文データを発話文ＤＢ３５０から検索する。発話文ＤＢ３５０には、会話ＤＢ生成部５０Ａの発話文ＤＢ５４０に蓄積された発話文のデータセットが保存されている。発話文ＤＢ３５０に保存されている発話文データは、会話ＤＢ生成部５０Ａにより定期的に更新されてもよい。
　例えば、発話文生成部３６０は、ユーザが設定した起床時刻になった際、「ユーザ設定起床時刻」をトリガとする発話文を発話文ＤＢ３５０から検索し、発話文データとする。この際、発話文生成部３６０は、トリガに加えて、発話文データの発話可能性レベルを考慮して１つの発話文データを選択する。また、発話文生成部３６０は、発話文データの「発話可能フラグ」が「False」の場合、発話文データとして選択しないようにする。このような発話文データの選択については、図３０を参照して詳述する。
　発話文生成部３６０により生成された発話文データは、音素データ取得部３４０に出力され、音素データ取得部３４０により特定エージェントの音素が取得され、発話文データおよび音素データが音声エージェントＩ／Ｆ２０に出力される。そして、音声エージェントＩ／Ｆ２０により発話文データが特定エージェントの音声で音声化され、ユーザのクライアント端末１から特定エージェントの発言として出力される。
　以上、本実施形態による対話処理部３００Ａの構成について説明した。
　＜４－２．動作処理＞
　続いて、本実施形態の各動作処理について図２１～図３０を参照して説明する。
　　（４－２－１．収集処理）
　図２１は、本実施形態による発話文データの収集処理を示すフローチャートである。図２１に示すように、まず、エージェントサーバ２の会話ＤＢ生成部５０Ａは、画面生成部５０１により生成した発話文登録画面を、ユーザが所持するクライアント端末１に表示する（ステップＳ３００）。具体的には、会話ＤＢ生成部５０Ａは、発話文登録画面を通信部５１０からクライアント端末１に送信し、クライアント端末１の表示部に表示させる。
　次いで、発話文登録画面から入力されたユーザＩＤ等に基づいてユーザログイン処理が行われる（ステップＳ３０３）。ここで、図２２に、本実施形態による発話文登録画面の一例を示す。図２２に示すように、登録画面１００には、ユーザＩＤ入力欄１０１、パスワード入力欄１０２、ログインボタン１０３、エージェントＩＤ選択欄１０４、発話文入力欄１０５が表示されている。ユーザは、登録画面１００のユーザＩＤ入力欄１０１にユーザＩＤを入力し、さらにパスワード入力欄１０２にパスワードを入力し、ログインボタン１０３を選択する。これにより、入力されたユーザＩＤおよびパスワードがクライアント端末１からエージェントサーバ２の会話ＤＢ生成部５０Ａに送信され、制御部５００によりログイン処理が行われる。具体的には、ユーザ情報ＤＢ５２０に予め登録されたユーザＩＤおよびパスワードを参照し、認証処理を行う。
　次に、ユーザによるエージェントの選択を受け付ける（ステップＳ３０６）。例えばユーザは、登録画面１００のエージェントＩＤ選択欄１０４を操作し、プルダウンリストに表示される「キャラクターＡ」、「人物Ｂ」、「人物Ｃ」、「キャラクターＤ」等の複数のエージェントの中から、発話文の登録を行いたいエージェントを選択する。選択したエージェントＩＤは、特定のエージェントの発話文データを要求する要求情報として、クライアント端末１からエージェントサーバ２へ送信される。
　次いで、エージェントサーバ２の会話ＤＢ生成部５０Ａは、制御部５００により、ユーザが選択したエージェントの登録済み発話文を発話文ＤＢ５４０から抽出して登録画面１００の発話文入力欄１０５に表示する（ステップＳ３０９）。制御部５００は、発話文データに登録者情報（例えばユーザＩＤ）が紐付けられている場合、特定されたエージェントＩＤの発話文データのうち、ユーザが今までに登録した発話文データを抽出し、クライアント端末の登録画面１００に表示するようにしてもよい。また、ここでは要求情報の一例としてエージェントＩＤをクライアント端末１からエージェントサーバ２に送信しているが、本実施形態はこれに限定されない。例えば、ユーザがシチュエーション情報（トリガ）を特定し、要求情報としてエージェントサーバ２に送信されてもよい。シチュエーション情報（時刻、場所、ユーザ状況、ユーザ感情等）が特定された場合、制御部５００は、特定されたシチュエーションをトリガとする発話文データを発話文ＤＢ５４０から抽出し、クライアント端末１に返信する。また、エージェントＩＤ、ユーザＩＤ、シチュエーション情報の少なくともいずれか１以上がユーザにより特定され、要求情報としてエージェントサーバ２に送信され、制御部５００により該当する発話文データが返信されるようにしてもよい。
　次いで、ユーザによる発話文の追加、編集が行われると（ステップＳ３１２）、発話文データ管理部５０２は、ユーザにより追加、編集された発話文データを発話文ＤＢ５４０へ書き込む（ステップＳ３１５）。具体的には、ユーザは、登録画面１００の発話文入力欄１０５に表示されている登録済み発話文の編集や、新規の発話文の入力を行う。発話文入力欄１０５では、発話テキストの編集、入力と、発話タイミングを示すトリガの編集、入力が行われ得る。編集、入力が終了すると、ユーザは登録画面１００に表示されている登録ボタン１０６を選択する。これにより、編集、入力内容がエージェントサーバ２の会話ＤＢ生成部５０Ａに送信され、制御部５００により発話文ＤＢ５４０に格納される。発話文ＤＢ５４０への書き込み処理については図２４を参照して後述する。
　このようにして各ユーザから各エージェントの発話文の収集が行われる。なおエージェントの選択は、上述したようなプルダウンリストからの選択に限定されず、エージェントの画像を見ながら選択することも可能である。図２３に、本実施形態によるエージェント選択画面の一例を示す。図示された例では、画面１０８に、複数のエージェントキャラクター１０Ａ～１０Ｄが表示されている。ユーザは、クライアント端末１に表示された各エージェントキャラクター１０Ａ～１０Ｄのうち、発話文の編集、入力を行いたいエージェントキャラクターをタップする等して選択する。
　続いて、上記ステップＳ３１５における発話文ＤＢ５４０への書き込み処理について図２４を参照して説明する。図２４は、本実施形態による発話文ＤＢ５４０への書き込み処理を示すフローチャートである。
　図２４に示すように、まず、会話ＤＢ生成部５０Ａの発話文データ管理部５０２は、書き込まれる発話文データと発話文ＤＢ５４０を比較し（ステップＳ３１８）、重複があるか否かを判断する（ステップＳ３２１）。具体的には、発話文データ管理部５０２は、発話文ＤＢ５４０に格納されている対応するエージェントの登録済み発話文データを参照し、書き込まれる発話文データと重複するものがあるか否かを判断する。
　次に、重複する発話文データが無い場合（ステップＳ３２１／Ｎｏ）、発話文データ管理部５０２は、発話文データを発話文ＤＢ５４０へ書き込む処理を行う（ステップＳ３２４）。一方、重複する発話文データが有る場合（ステップＳ３２１／Ｙｅｓ）、発話文ＤＢ５４０への書き込み処理は行われない。
　以上、書き込み処理について具体的に説明した。なお、ここでは一例として、発話文データを発話文ＤＢ５４０に登録するときに重複チェックを行っているが、本実施形態はこれに限定されない。例えば発話文データをユーザ毎（登録者毎）に登録し（ユーザ発話文ＤＢ）、ユーザ発話文ＤＢにある程度蓄積された後に、発話文ＤＢ５４０と重複チェックを行ってマージしてもよい。
　　（４－２－２．監査処理）
　次に、収集された発話文データの監査処理について図２５～図２９を参照して説明する。発話文データの監査を行うユーザには、各種ランク付けを行ってもよい。例えば、対応するエージェントのファンクラブ会員等、熱心なファンであるか否か、また、対応するエージェントの著作権者や所有者等の特別な権限を持つユーザ（いわゆる特権者）であるか否か等のランク付けである。これにより、例えばファンクラブ会員により発話可能性レベルが変更され、更新する際は、非会員の場合よりも重みを付けて算出することが可能である。また、特権者であれば発話可能フラグを付与できるようにすることも可能である。以下、ファンクラブ会員を含む一般ユーザによる監査と、特権者による監査について、順次説明する。
　（一般ユーザによる監査）
　図２５は、本実施形態による一般ユーザの監査処理を示すフローチャートである。図２５に示すように、まず、エージェントサーバ２の会話ＤＢ生成部５０Ａは、画面生成部５０１により生成した一般ユーザ用監査画面を、クライアント端末１に表示する（ステップＳ４０３）。
　次いで、ユーザにより一般ユーザ用監査画面からユーザＩＤおよびパスワードが入力され（ステップＳ４０６）、ログインボタンが押下されると（ステップＳ４０９）、会話ＤＢ生成部５０Ａは、入力された情報に基づいて制御部５００によりユーザログイン処理を行う（ステップＳ４１２～Ｓ４１５）。
　具体的には、制御部５００は、ユーザ情報ＤＢ５２０に登録されたＩＤとパスワードの組を探索し（ステップＳ４１２）、ユーザが入力したＩＤとパスワードの組と一致するか否かを判断することで、認証を行う（ステップＳ４１５）。ここで、図２６に、本実施形態による一般ユーザ用監査画面の一例を示す。図２６に示すように、監査画面１１０には、一般ユーザＩＤ入力欄１１１、パスワード入力欄１１２、およびログインボタン１１３が表示されている。ユーザは、監査画面１１０のユーザＩＤ入力欄１１１にユーザＩＤを入力し、さらにパスワード入力欄１１２にパスワードを入力し、ログインボタン１１３を選択する。これにより、入力されたユーザＩＤおよびパスワードがクライアント端末１からエージェントサーバ２の会話ＤＢ生成部５０Ａに送信される。
　次に、入力されたＩＤおよびパスワードと一致する組があった場合（ステップＳ４１５／Ｙｅｓ）、認証が成功したため、制御部５００は、エージェント情報ＤＢ５３０からエージェントＩＤを抽出して一般ユーザ用監査画面に提示（リスティング）する（ステップＳ４１８）。具体的には、例えば図２７に示すように、監査画面１１０ａのエージェントＩＤ選択欄１１４において、複数のエージェントＩＤのリストがプルダウン形式で表示される。
　次いで、ユーザによりエージェントＩＤが選択されると（ステップＳ４２１）、制御部５００は、発話文ＤＢ５４０から、ユーザにより選択されたエージェントＩＤに紐付けられた発話文、トリガ、発話可能性レベルを抽出して一般ユーザ用監査画面に提示（リスティング）する（ステップＳ４２４）。具体的には、例えば図２７に示すように、一般ユーザ用監査画面１１０ａの発話情報調整欄１１５に、発話文（発話内容を示すテキスト）、トリガ、発話可能性レベルが表示される。発話可能性レベルは、数値表示（0.0～1.0）であってもよいし、図２７に示すようなスライドバー表示であってもよい。ユーザは、登録済みの発話文がエージェントに相応しいものであるか否かを監査し、相応しくない発話文であれば「発話可能性レベル」のスライダーを調整して発話可能性レベルを低く設定する（ステップＳ４２７）。初期値ではスライダーが中央に表示されている（デフォルト値0.5）。また、発話文の新規追加を行いたい場合、発話情報調整欄１１５の下方にある「新規」の欄に発話文を新たに入力することも可能である。
　なお、ここでは一例として、エージェントＩＤを発話文データを要求するための要求情報としてエージェントＩＤが用いられているが、本実施形態はこれに限定されず、例えばユーザＩＤやシチュエーション情報等が要求情報として用いられてもよい。例えばシチュエーション情報がユーザにより特定され、クライアント端末１から送信された場合、制御部５００は、特定されたシチュエーションをトリガとする発話文データを発話文ＤＢ５４０から抽出し、クライアント端末１に返信する。
　次に、一般ユーザ用監査画面１１０ａの完了ボタン１１６がユーザにより押下されると（ステップＳ４３０）、発話情報調整欄１１５で変更された内容がエージェントサーバ２に送信される。会話ＤＢ生成部５０Ａは、クライアント端末１から送信された変更内容に基づいて、各発話文の発話可能性レベルが変更されたか否かを確認する（ステップＳ４３３）。
　続いて、発話可能性レベルが変更されていた場合（ステップＳ４３３／Ｙｅｓ）、発話可能性レベル算出部５０３は、一般ユーザに入力された発話可能性レベルに基づいて、発話文ＤＢ５４０に登録された対応する発話文の発話可能性レベルを更新する（ステップＳ４３６）。発話可能性レベルの更新は、例えば下記式１により算出される。下記式１は、一例として、一般ユーザのうち、対応するエージェントキャラクターのファンクラブ会員による入力を重視して更新する場合の算出式を示す。ファンクラブ会員であればエージェントキャラクターの性格をより理解しているため、入力した発話可能性レベルの信頼度が高いと考えるためである。
　下記式１において、Wは重み（例えば一般ユーザの場合0.05、ファンクラブ会員の場合0.5とする）、Ioは発話文ＤＢ５４０に登録されている過去の発話可能性レベル（0.0～1.0）、Iuは、ユーザによって入力された発話可能性レベル（0.0～1.0）、Inは更新された発話可能性レベルである。
Figure JPOXMLDOC01-appb-M000001
　そして、発話文データ管理部５０２は、発話可能性レベル算出部５０３により算出された発話可能性レベルを発話文ＤＢ５４０に書き込む（ステップＳ４３９）。なお変更内容が発話文の新規追加の場合、図２４に示す重複チェックを行った上で、重複が無ければ発話文ＤＢ５４０に書き込みが行われる。
　（特権者による監査）
　次に、特別な権限を有するユーザ（特権者）による監査処理について図２８を参照して説明する。図２８は、本実施形態による特権者の監査処理を示すフローチャートである。特権者は、例えばエージェントキャラクターの著作者や所有者等が想定される。
　図２８に示すように、まず、エージェントサーバ２の会話ＤＢ生成部５０Ａは、画面生成部５０１により生成した特権者用監査画面を、クライアント端末１に表示する（ステップＳ５０３）。
　次いで、ユーザにより特権者用監査画面から特権者ＩＤおよびパスワードが入力され（ステップＳ５０６）、ログインボタンが押下されると（ステップＳ５０９）、会話ＤＢ生成部５０Ａは、入力された情報に基づいて制御部５００によりユーザログイン処理を行う（ステップＳ５１２～Ｓ５１５）。
　具体的には、制御部５００は、特権者情報ＤＢ５５０に登録されたＩＤとパスワードの組を探索し（ステップＳ５１２）、ユーザが入力したＩＤとパスワードの組と一致するか否かを判断することで、認証を行う（ステップＳ５１５）。ここで、図２９に、本実施形態による特権者用監査画面の一例を示す。図２９に示すように、監査画面１２０には、特権者ＩＤ入力欄１２１、パスワード入力欄１２２、およびログインボタン１２３が表示されている。ユーザは、監査画面１２０の特権者ＩＤ入力欄１２１にユーザＩＤを入力し、さらにパスワード入力欄１２２にパスワードを入力し、ログインボタン１２３を選択する。これにより、入力された特権者ＩＤおよびパスワードがクライアント端末１からエージェントサーバ２の会話ＤＢ生成部５０Ａに送信される。
　次に、入力されたＩＤおよびパスワードと一致する組があった場合（ステップＳ５１５／Ｙｅｓ）、認証が成功したため、制御部５００は、エージェント情報ＤＢ５３０から、特権対象のエージェントＩＤ（特権者情報ＤＢ５５０で一致した組に紐付けられたエージェントＩＤ）を抽出して特権者用監査画面に提示（リスティング）する（ステップＳ５１８）。具体的には、例えば図２９に示すように、監査画面１２０のエージェントＩＤ選択欄１２４において、特権対象のエージェントＩＤのリストがプルダウン形式で表示される。
　次いで、ユーザによりエージェントＩＤが選択されると（ステップＳ５２１）、制御部５００は、発話文ＤＢ５４０から、選択されたエージェントＩＤに紐付けられた発話文、トリガ、発話可能フラグ情報を抽出して特権者用監査画面に提示（リスティング）する（ステップＳ５２４）。具体的には、例えば図２９に示すように、特権者用監査画面１２０の発話情報調整欄１２５に、発話文、トリガ、発話可能フラグが表示される。発話可能フラグは、例えばチェックボックス形式で表示され、発話可能フラグが「true」の場合にチェックが入るよう表示される。特権者は、登録済みの発話文がエージェントに相応しいものであるか否かを監査し、エージェントに相応しくなく、発話を許可しないと判断した場合、チェックボックスを選択し、「発話可能フラグ」のチェックを外す（ステップＳ５２７）。チェックが外された発話文は、発話可能性レベルの数値に関わらず、エージェントの発話として出力しないよう制御される。
　次に、特権者用監査画面１２０の完了ボタン１２６がユーザにより押下されると（ステップＳ５３０）、発話情報調整欄１２５で変更された内容がエージェントサーバ２に送信される。会話ＤＢ生成部５０Ａは、クライアント端末１から送信された変更内容に基づいて、各発話文の発話可能フラグが変更されたか否かを確認する（ステップＳ５３３）。
　続いて、発話可能フラグが変更されていた場合（ステップＳ５３３／Ｙｅｓ）、発話文データ管理部５０２は、特権者に変更された発話可能フラグを発話文ＤＢ５４０にセットする（ステップＳ５３６）。具体的には、例えば特権者用監査画面１２０の発話情報調整欄１２５において発話可能性フラグのチェックが外された場合は「False」、チェックが入れられた場合は「true」とセットされる。
　　（４－２－３．発話制御処理）
　次いで、本実施形態による発話制御処理について図３０を参照して説明する。図３０は、本実施形態による発話制御処理を示すフローチャートである。
　図３０に示すように、まず、エージェントサーバ２の対話処理部３００Ａは、トリガ情報を取得する（ステップＳ６０３）。トリガ情報は、時計、ＧＵＩ（Graphical User Interface）（例えば画面操作内容等）、ユーザ発話の音声認識結果、ユーザの行動、生体情報等から得られた情報から取得される。
　次に、トリガ情報が時刻の場合（ステップＳ６０６／時刻）、発話文生成部３６０は、発話文ＤＢ３５０に格納されている発話文データのトリガ列から、取得したトリガの指定時刻に該当する行リストを取得する（ステップＳ６０９）。例えば、発話文ＤＢ３５０に、図１８に示す発話文ＤＢ５４０のデータ例がキャラクターＡの発話データセットとして格納され、トリガ情報が「１２時」の場合、トリガ列が「１２時」となっている行リスト（発話文「おひるだよ」、「おひる」、「おひるです」、「じゅうにじです」、「ひるめしだぞ」の行リスト）が取得される。
　一方、トリガ情報が感情の場合（ステップＳ６０６／感情）、発話文ＤＢ３５０に格納されている発話文データのトリガ列から、取得したトリガの感情に該当する行リストを取得する（ステップＳ６１２）。例えば、発話文ＤＢ３５０に、図１８に示す発話文ＤＢ５４０のデータ例がキャラクターＡの発話データセットとして格納され、トリガ情報が「落胆」の場合、トリガ列が「感情：落胆」となっている行リスト（発話文「げんきだして」、「がんばって」、「きみならできる」、「がんばってください」の行リスト）が取得される。
　次いで、発話文生成部３６０は、取得した行リストの各発話可能フラグ（true／false）を確認する（ステップＳ６１５）。
　次に、発話文生成部３６０は、発話可能フラグが「true」の発話文から発話可能性レベルに基づいて１つの発話文を選択する（ステップＳ６１８）。なお発話可能フラグが「false」の発話文は選択されない。ここで、発話可能性レベルを用いた発話文の選択処理について、例えば３つの候補から１つを選択する場合の具体例について説明する。
　まず、発話候補リスト（A）を下記のように定義する。
　A=[{S1:R1},{S2:R2},{S3:R3}]
　上記式において、
　Sn：発話文
　Rn：発話可能性レベル
　[]：配列
　{}：辞書
　S：選択された発話
とする。
Figure JPOXMLDOC01-appb-I000002
　これにより、不確定な要素を含みつつも、発話可能性レベルの高い発話が選ばれる傾向が高くなる。発話可能性レベルの高さのみで選択することも可能であるが、その場合は毎回同じ発話文が選択されてしまうため、発話可能性レベルに重みを付け、乱数を用いて選ぶことで、発話可能性レベルを考慮しつつ毎回同じ発話文が選択されてしまうことを回避することができる。
　そして、対話処理部３００Ａは、発話文生成部３６０により選択された発話文をクライアント端末１からエージェントの発言として出力するよう制御する（ステップＳ６２１）。具体的には、対話処理部３００Ａは、発話文生成部３６０により生成された発話文データを音素データ取得部３４０に出力し、音素データ取得部３４０により特定エージェントの音素を取得し、発話文データおよび音素データを音声エージェントＩ／Ｆ２０に出力する。そして、音声エージェントＩ／Ｆ２０により発話文データが特定エージェントの音声で音声化され（例えばＴＴＳ（Text-to-Speech）による音声出力）、ユーザのクライアント端末１から特定エージェントの発言として出力される。
　　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による通信制御システムでは、エージェントの発話文データの監査をより柔軟に行うことが可能である。
　具体的には、大衆からエージェントの発話データを収集して発話データベースの充実を図るとともに、大衆の嗜好に合った発話データの利用を容易とし、さらにエージェントのイメージに合わない発話データを容易に排除できるようにすることで、監査の柔軟性を実現する。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述したクライアント端末１またはエージェントサーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、クライアント端末１またはエージェントサーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、上述した実施形態では、インターネット上のエージェントサーバ２で各種機能が実現される構成を示したが、本実施形態はこれに限定されず、エージェントサーバ２の構成のうち少なくとも一部が、ユーザのクライアント端末１（スマートフォンやウェアラブル端末等）にあってもよい。また、エージェントサーバ２の構成全てがクライアント端末１に設けられ、クライアント端末１で全ての処理を行えるようにしてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　エージェントの発話文データを記憶する記憶部と、
　クライアント端末から送信される、ユーザからの特定のエージェントの発話文データを要求する要求情報を受信する通信部と、
　前記通信部を介して前記要求情報を受信すると、対応する発話文データを前記クライアント端末に返信し、当該発話文データに対する前記ユーザからのフィードバックに応じて、前記特定のエージェントが当該発話文データで示される発話内容を発話する可能性を表す発話可能性レベルを更新し、前記特定のエージェントと前記発話内容に関連付けて前記記憶部に記録する制御部と、
を備える、情報処理システム。
（２）
　前記制御部は、前記ユーザに設定されたランクに応じて重み付けを行った上で、前記発話可能性レベルを更新する、前記（１）に記載の情報処理システム。
（３）
　前記制御部は、特別な権利を有するランクのユーザの入力に応じて、前記特定のエージェントが当該発話文データで示される発話内容を発話することの可否を示す発話可否フラグを当該発話文データに付与する、前記（１）または（２）に記載の情報処理システム。
（４）
　前記要求情報は、エージェント識別情報、ユーザ識別情報、シチュエーション情報、またはキーワードを含む、前記（１）～（３）のいずれか１項に記載の情報処理システム。
（５）
　前記制御部は、
　クライアント端末を介して送信される、ユーザにより入力された特定のエージェントに発話させたい発話文データを前記通信部を介して収集し、
　前記記憶部に、前記特定のエージェントの識別情報と前記発話文データを対応付けて登録する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（６）
　前記発話可能性レベルは、特定のシチュエーション毎に設定される、前記（１）～（５）のいずれか１項に記載の情報処理システム。
（７）
　前記特定のシチュエーション情報は、対応する発話文データで示される発話内容をエージェントが発話するトリガとなる時刻、場所、ユーザ状況、またはユーザ感情である、前記（６）に記載の情報処理システム。
（８）
　前記制御部は、
　前記通信部を介して、クライアント端末から送信される、特定のエージェントの発話のトリガになる可能性があるトリガ情報を取得し、
　前記トリガ情報に基づいて、前記特定のエージェントの発話文データから各発話可能性レベルを考慮して該当する発話文データを選択し、前記クライアント端末に返信する、前記（１）～（７）のいずれか１項に記載の情報処理システム。
（９）
　前記制御部は、
　トリガ情報として、特定の時間帯になったことを取得し、
　前記特定のエージェントの各発話文データに関連付けられる時間帯情報および発話可能性レベルを考慮して、前記時間帯情報に合致する発話文データを選択する、前記（８）に記載の情報処理システム。
（１０）
　前記制御部は、前記特定のエージェントに関連付けられる発話文データのうち、特別な権利を有するランクのユーザにより入力された発話可否フラグに応じて、発話が許可されている発話文データを抽出し、抽出した発話文データにそれぞれ付与される発話可能性レベルに応じて、一の発話文データを選択し、前記クライアント端末に返信する、前記（８）または（９）に記載の情報処理システム。
（１１）
　プロセッサが、
　エージェントの発話文データを記憶部に記憶することと、
　クライアント端末から送信される、ユーザからの特定のエージェントの発話文データを要求する要求情報を通信部により受信することと、
　前記通信部を介して前記要求情報を受信すると、対応する発話文データを前記クライアント端末に返信し、当該発話文データに対する前記ユーザからのフィードバックに応じて、前記特定のエージェントが当該発話文データで示される発話内容を発話する可能性を表す発話可能性レベルを更新し、前記特定のエージェントと前記発話内容に関連付けて前記記憶部に記録するよう制御することと、
を含む、情報処理方法。
　　１　　クライアント端末
　　２　　エージェントサーバ
　　３０　対話処理部
　　　３００、３００Ａ　対話処理部
　　　３１０　質問文検索部
　　　３２０　回答文生成部
　　　３３０　　会話ＤＢ
　　　３４０　　音素データ取得部
　　　３５０　　発話文ＤＢ
　　　３６０　　発話文生成部
　　３１　基本対話処理部
　　３２　キャラクターＡ対話処理部
　　３３　人物Ｂ対話処理部
　　３４　人物Ｃ対話処理部
　　３５　マッチング部
　　３６　通信部
　　４０　音素記憶部
　　４１　基本用音素ＤＢ
　　４２　　キャラクターＡ音素ＤＢ
　　４３　　人物Ｂ音素ＤＢ
　　４４　　人物Ｃ音素ＤＢ
　　５０、５０Ａ　　会話ＤＢ生成部
　　　５００　　制御部
　　　５０１　　画面生成部
　　　５０２　　発話文データ管理部
　　　５０３　　発話可能性レベル算出部
　　　５１０　　通信部
　　　５２０　　ユーザ情報ＤＢ
　　　５３０　　エージェント情報ＤＢ
　　　５４０　　発話文ＤＢ
　　　５５０　　特権者情報ＤＢ
　　６０　　音素ＤＢ生成部
　　７０　　広告挿入処理部
　　７２　　広告ＤＢ
　　８０　フィードバック取得処理部
　　３　　ネットワーク
　　１０　　エージェント

Claims (11)

  1. 　エージェントの発話文データを記憶する記憶部と、
    　クライアント端末から送信される、ユーザからの特定のエージェントの発話文データを要求する要求情報を受信する通信部と、
    　前記通信部を介して前記要求情報を受信すると、対応する発話文データを前記クライアント端末に返信し、当該発話文データに対する前記ユーザからのフィードバックに応じて、前記特定のエージェントが当該発話文データで示される発話内容を発話する可能性を表す発話可能性レベルを更新し、前記特定のエージェントと前記発話内容に関連付けて前記記憶部に記録する制御部と、
    を備える、情報処理システム。
  2. 　前記制御部は、前記ユーザに設定されたランクに応じて重み付けを行った上で、前記発話可能性レベルを更新する、請求項１に記載の情報処理システム。
  3. 　前記制御部は、特別な権利を有するランクのユーザの入力に応じて、前記特定のエージェントが当該発話文データで示される発話内容を発話することの可否を示す発話可否フラグを当該発話文データに付与する、請求項１に記載の情報処理システム。
  4. 　前記要求情報は、エージェント識別情報、ユーザ識別情報、シチュエーション情報、またはキーワードを含む、請求項１に記載の情報処理システム。
  5. 　前記制御部は、
    　クライアント端末を介して送信される、ユーザにより入力された特定のエージェントに発話させたい発話文データを前記通信部を介して収集し、
    　前記記憶部に、前記特定のエージェントの識別情報と前記発話文データを対応付けて登録する、請求項１に記載の情報処理システム。
  6. 　前記発話可能性レベルは、特定のシチュエーション毎に設定される、請求項１に記載の情報処理システム。
  7. 　前記特定のシチュエーション情報は、対応する発話文データで示される発話内容をエージェントが発話するトリガとなる時刻、場所、ユーザ状況、またはユーザ感情である、請求項６に記載の情報処理システム。
  8. 　前記制御部は、
    　前記通信部を介して、クライアント端末から送信される、特定のエージェントの発話のトリガになる可能性があるトリガ情報を取得し、
    　前記トリガ情報に基づいて、前記特定のエージェントの発話文データから各発話可能性レベルを考慮して該当する発話文データを選択し、前記クライアント端末に返信する、請求項１に記載の情報処理システム。
  9. 　前記制御部は、
    　トリガ情報として、特定の時間帯になったことを取得し、
    　前記特定のエージェントの各発話文データに関連付けられる時間帯情報および発話可能性レベルを考慮して、前記時間帯情報に合致する発話文データを選択する、請求項８に記載の情報処理システム。
  10. 　前記制御部は、前記特定のエージェントに関連付けられる発話文データのうち、特別な権利を有するランクのユーザにより入力された発話可否フラグに応じて、発話が許可されている発話文データを抽出し、抽出した発話文データにそれぞれ付与される発話可能性レベルに応じて、一の発話文データを選択し、前記クライアント端末に返信する、請求項８に記載の情報処理システム。
  11. 　プロセッサが、
    　エージェントの発話文データを記憶部に記憶することと、
    　クライアント端末から送信される、ユーザからの特定のエージェントの発話文データを要求する要求情報を通信部により受信することと、
    　前記通信部を介して前記要求情報を受信すると、対応する発話文データを前記クライアント端末に返信し、当該発話文データに対する前記ユーザからのフィードバックに応じて、前記特定のエージェントが当該発話文データで示される発話内容を発話する可能性を表す発話可能性レベルを更新し、前記特定のエージェントと前記発話内容に関連付けて前記記憶部に記録するよう制御することと、
    を含む、情報処理方法。
PCT/JP2017/003845 2016-05-06 2017-02-02 情報処理システム、および情報処理方法 WO2017191696A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201780026799.3A CN109074397B (zh) 2016-05-06 2017-02-02 信息处理系统和信息处理方法
CN202210300375.4A CN114756648A (zh) 2016-05-06 2017-02-02 信息处理系统和信息处理方法
US16/092,049 US10559305B2 (en) 2016-05-06 2017-02-02 Information processing system, and information processing method
JP2018515390A JP6860010B2 (ja) 2016-05-06 2017-02-02 情報処理システム、情報処理方法、および情報処理プログラム
US16/707,832 US10777199B2 (en) 2016-05-06 2019-12-09 Information processing system, and information processing method
US16/936,336 US11074916B2 (en) 2016-05-06 2020-07-22 Information processing system, and information processing method
US17/364,545 US11646026B2 (en) 2016-05-06 2021-06-30 Information processing system, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016093352 2016-05-06
JP2016-093352 2016-05-06

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/092,049 A-371-Of-International US10559305B2 (en) 2016-05-06 2017-02-02 Information processing system, and information processing method
US16/707,832 Continuation US10777199B2 (en) 2016-05-06 2019-12-09 Information processing system, and information processing method

Publications (1)

Publication Number Publication Date
WO2017191696A1 true WO2017191696A1 (ja) 2017-11-09

Family

ID=60203591

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/003845 WO2017191696A1 (ja) 2016-05-06 2017-02-02 情報処理システム、および情報処理方法

Country Status (4)

Country Link
US (4) US10559305B2 (ja)
JP (2) JP6860010B2 (ja)
CN (2) CN109074397B (ja)
WO (1) WO2017191696A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192073A (ja) * 2018-04-27 2019-10-31 日本電信電話株式会社 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム
WO2019208222A1 (ja) * 2018-04-27 2019-10-31 日本電信電話株式会社 回答選択装置、回答選択方法、回答選択プログラム
WO2020202731A1 (ja) 2019-04-04 2020-10-08 ソニー株式会社 情報処理システム及び情報処理方法
JP2021149615A (ja) * 2020-03-19 2021-09-27 本田技研工業株式会社 表示制御装置、表示制御方法、およびプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074397B (zh) * 2016-05-06 2022-04-15 索尼公司 信息处理系统和信息处理方法
US11289067B2 (en) * 2019-06-25 2022-03-29 International Business Machines Corporation Voice generation based on characteristics of an avatar
JP7196122B2 (ja) 2020-02-18 2022-12-26 株式会社東芝 インタフェース提供装置、インタフェース提供方法およびプログラム
US11393462B1 (en) * 2020-05-13 2022-07-19 Amazon Technologies, Inc. System to characterize vocal presentation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082873A (ja) * 2000-06-26 2002-03-22 Eijiro Taki 伝言配信システム
JP2015049578A (ja) * 2013-08-30 2015-03-16 アクセンチュア グローバル サービシズ リミテッド ユーザとの自然会話能力を備えたエージェントシステム、エージェント制御方法、エージェント制御プログラム、及び記録媒体

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3819538C3 (de) * 1987-06-08 1996-08-14 Ricoh Kk Sprachaktivierbare Wähleinrichtung
US5675707A (en) * 1995-09-15 1997-10-07 At&T Automated call router system and method
US6249720B1 (en) 1997-07-22 2001-06-19 Kabushikikaisha Equos Research Device mounted in vehicle
KR100580619B1 (ko) * 2002-12-11 2006-05-16 삼성전자주식회사 사용자와 에이전트 간의 대화 관리방법 및 장치
JP4116599B2 (ja) * 2004-07-26 2008-07-09 日本電信電話株式会社 質問応答システム、方法及びプログラム
WO2007015783A2 (en) * 2005-07-22 2007-02-08 Research Development Foundation Attenuated strains of flaviviruses , and uses thereof
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
EP1933303B1 (en) * 2006-12-14 2008-08-06 Harman/Becker Automotive Systems GmbH Speech dialog control based on signal pre-processing
EP2132650A4 (en) 2007-03-01 2010-10-27 Sony Comp Entertainment Us SYSTEM AND METHOD FOR COMMUNICATING WITH A VIRTUAL WORLD
WO2009055342A1 (en) 2007-10-26 2009-04-30 Sony Computer Entertainment America Inc. On-line monitoring of resources
JP5189382B2 (ja) 2008-02-28 2013-04-24 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、携帯型端末装置、端末装置、サーバ、およびゲームシステム
JP5277436B2 (ja) 2008-04-15 2013-08-28 エヌエイチエヌ コーポレーション 画像表示プログラム、画像表示装置及びアバター提供システム
WO2010086925A1 (ja) * 2009-01-30 2010-08-05 三菱電機株式会社 音声認識装置
US9245177B2 (en) 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US9165556B1 (en) * 2012-02-01 2015-10-20 Predictive Business Intelligence, LLC Methods and systems related to audio data processing to provide key phrase notification and potential cost associated with the key phrase
JP6166889B2 (ja) * 2012-11-15 2017-07-19 株式会社Ｎｔｔドコモ 対話支援装置、対話システム、対話支援方法及びプログラム
JP5717794B2 (ja) * 2013-06-19 2015-05-13 ヤフー株式会社 対話装置、対話方法および対話プログラム
US11496531B2 (en) * 2013-10-02 2022-11-08 Avaya Inc. System and method to identify secure media streams to conference watchers in SIP messaging
US9965548B2 (en) * 2013-12-05 2018-05-08 International Business Machines Corporation Analyzing natural language questions to determine missing information in order to improve accuracy of answers
JP2015138147A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
JP6583765B2 (ja) * 2015-01-16 2019-10-02 国立大学法人大阪大学 エージェント対話システムおよびプログラム
JP2017058406A (ja) * 2015-09-14 2017-03-23 Ｓｈａｎｎｏｎ Ｌａｂ株式会社 コンピュータシステムおよびプログラム
CN109074397B (zh) * 2016-05-06 2022-04-15 索尼公司 信息处理系统和信息处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082873A (ja) * 2000-06-26 2002-03-22 Eijiro Taki 伝言配信システム
JP2015049578A (ja) * 2013-08-30 2015-03-16 アクセンチュア グローバル サービシズ リミテッド ユーザとの自然会話能力を備えたエージェントシステム、エージェント制御方法、エージェント制御プログラム、及び記録媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192073A (ja) * 2018-04-27 2019-10-31 日本電信電話株式会社 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム
WO2019208222A1 (ja) * 2018-04-27 2019-10-31 日本電信電話株式会社 回答選択装置、回答選択方法、回答選択プログラム
WO2019208199A1 (ja) * 2018-04-27 2019-10-31 日本電信電話株式会社 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム
JPWO2019208222A1 (ja) * 2018-04-27 2021-05-13 日本電信電話株式会社 回答選択装置、回答選択方法、回答選択プログラム
JP7099031B2 (ja) 2018-04-27 2022-07-12 日本電信電話株式会社 回答選択装置、モデル学習装置、回答選択方法、モデル学習方法、プログラム
JP7111154B2 (ja) 2018-04-27 2022-08-02 日本電信電話株式会社 回答選択装置、回答選択方法、回答選択プログラム
WO2020202731A1 (ja) 2019-04-04 2020-10-08 ソニー株式会社 情報処理システム及び情報処理方法
JP2021149615A (ja) * 2020-03-19 2021-09-27 本田技研工業株式会社 表示制御装置、表示制御方法、およびプログラム
JP7394674B2 (ja) 2020-03-19 2023-12-08 本田技研工業株式会社 表示制御装置、表示制御方法、およびプログラム

Also Published As

Publication number Publication date
US11646026B2 (en) 2023-05-09
US20200388281A1 (en) 2020-12-10
JPWO2017191696A1 (ja) 2019-03-07
US11074916B2 (en) 2021-07-27
US20210327430A1 (en) 2021-10-21
US20190115023A1 (en) 2019-04-18
JP7242736B2 (ja) 2023-03-20
JP2021108142A (ja) 2021-07-29
US20200152196A1 (en) 2020-05-14
US10559305B2 (en) 2020-02-11
CN109074397B (zh) 2022-04-15
US10777199B2 (en) 2020-09-15
CN114756648A (zh) 2022-07-15
CN109074397A (zh) 2018-12-21
JP6860010B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
JP7242736B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US10977452B2 (en) Multi-lingual virtual personal assistant
JP7056780B2 (ja) 通信システム、通信制御方法およびプログラム
US11475897B2 (en) Method and apparatus for response using voice matching user category
CN111737444B (zh) 对话生成方法、装置及电子设备
JP7099589B2 (ja) サーバ、通信制御方法、およびプログラム
CN110188177A (zh) 对话生成方法及装置
US11595331B2 (en) Communication system and communication control method
WO2017163509A1 (ja) 情報処理システムおよび情報処理方法
JP2007334732A (ja) ネットワークシステム及びネットワーク情報送受信方法
US11954794B2 (en) Retrieval of augmented parameters for artificial intelligence-based characters
CN117352132A (zh) 心理辅导方法、装置、设备及存储介质
JP2014109998A (ja) 対話装置及びコンピュータ対話方法
JP6993034B1 (ja) コンテンツ再生方法、及びコンテンツ再生システム
CN117315101A (zh) 虚拟对象动作生成方法、装置、电子设备

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018515390

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17792629

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17792629

Country of ref document: EP

Kind code of ref document: A1