WO2025253579A1 - 提示装置および提示方法 - Google Patents
提示装置および提示方法Info
- Publication number
- WO2025253579A1 WO2025253579A1 PCT/JP2024/020674 JP2024020674W WO2025253579A1 WO 2025253579 A1 WO2025253579 A1 WO 2025253579A1 JP 2024020674 W JP2024020674 W JP 2024020674W WO 2025253579 A1 WO2025253579 A1 WO 2025253579A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- risk
- expression
- unit
- value
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
Definitions
- the present invention relates to a presentation device and a presentation method.
- Non-Patent Document 1 In verbal communication, ambiguous expressions, overbearing expressions, expressions based on stereotypes, and other expressions that may hinder mutual respect and understanding are sometimes used. Previously, technology has been proposed to encourage the correction of ambiguous expressions (see Non-Patent Document 1).
- the presentation device of the present invention is characterized by having a memory unit that stores information regarding the risk of trouble for each expression that constitutes communication; a calculation unit that references the risk information stored in the memory unit and calculates a risk value that represents the magnitude of risk for the expression that constitutes communication; a discrimination unit that distinguishes the dialogue act, which is the speaker's action in the dialogue of the expression; and an adjustment unit that adjusts the calculated risk value of the expression in accordance with the distinguished dialogue act of the speaker.
- the present invention makes it possible to evaluate the risks inherent in expressions used in communication, taking into account differences in risk depending on the intention of the utterance and the flow of the conversation.
- FIG. 1 is a schematic diagram illustrating the schematic configuration of a presentation device according to the first embodiment.
- FIG. 2 is a diagram illustrating an example of the data structure of the master dictionary.
- FIG. 3 is a diagram illustrating an example of the data structure of the individual dictionary.
- FIG. 4 is a diagram illustrating an example of the data structure of the risk expression dictionary.
- FIG. 5 is a diagram for explaining risk types.
- FIG. 6 is a diagram illustrating an example of the data structure of the non-verbal risk expression DB.
- FIG. 7 is a diagram illustrating an example of the data structure of the relationship DB.
- FIG. 8 is a diagram illustrating an example of the data structure of the social attribute DB.
- FIG. 9 is a diagram illustrating an example of the data structure of the individual characteristic DB.
- FIG. 1 is a schematic diagram illustrating the schematic configuration of a presentation device according to the first embodiment.
- FIG. 2 is a diagram illustrating an example of the data structure of the master dictionary.
- FIG. 10 is a diagram illustrating an example of the data structure of the communication history DB.
- FIG. 11 is a diagram illustrating an example of the data structure of the dialogue act list.
- FIG. 12 is a diagram illustrating an example of the data structure of the risk adjustment DB.
- FIG. 13 is a diagram for explaining the processing of the individual dictionary generating unit.
- FIG. 14 is a diagram for explaining the processing of the individual dictionary generating unit.
- FIG. 15 is a diagram for explaining the processing of the language risk calculation unit.
- FIG. 16 is a diagram illustrating the presentation process according to the first embodiment.
- FIG. 17 is a diagram illustrating the presentation process according to the first embodiment.
- FIG. 18 is a diagram for explaining intervention information.
- FIG. 19 is a flowchart showing the procedure of the presentation process.
- FIG. 19 is a flowchart showing the procedure of the presentation process.
- FIG. 20 is a diagram for explaining the second embodiment.
- FIG. 21 is a diagram for explaining the second embodiment.
- FIG. 22 is a schematic diagram illustrating a schematic configuration of a presentation device according to the third embodiment.
- FIG. 23 is a diagram for explaining the third embodiment.
- FIG. 24 is a diagram for explaining the third embodiment.
- FIG. 25 is a schematic diagram illustrating a schematic configuration of a presentation device according to the fourth embodiment.
- FIG. 26 is a diagram for explaining the fourth embodiment.
- FIG. 27 is a diagram for explaining the fourth embodiment.
- FIG. 28 is a diagram for explaining the fourth embodiment.
- FIG. 29 illustrates an example of a computer that executes a presentation program.
- the presentation device of this embodiment calculates a risk value representing the degree of risk of the expression that constitutes the communication each time a user makes an utterance or other expression.
- the presentation device also adjusts the calculated risk value according to the intention of the utterance and the flow of the dialogue inferred from the type of dialogue act (dialogue act) in the dialogue, such as the speaker's request, response, or question.
- the presentation device intervenes to notify the user of the risk and prompts them to correct the risk representation.
- intervention means presenting information about expressions that contain risks (hereinafter referred to as risk expressions or ambiguous expressions). Furthermore, hereinafter, information presented during intervention will be referred to as intervention information.
- FIG. 1 is a schematic diagram illustrating the overall configuration of a presentation device according to a first embodiment.
- a presentation device 10 according to this embodiment is realized by a general-purpose computer such as a personal computer, and includes an input unit 11, an output unit 12, a communication control unit 13, a storage unit 14, and a control unit 15.
- the input unit 11 is implemented using input devices such as a keyboard, mouse, camera, and microphone, and inputs various instruction information, such as starting processing, to the control unit 15 in response to input operations by the operator.
- the output unit 12 is implemented by a display device such as an LCD display, a printing device such as a printer, etc. For example, the output unit 12 displays the results of the presentation processing described below.
- the communication control unit 13 is implemented using a NIC (Network Interface Card) or similar, and controls communication between the control unit 15 and external devices via telecommunications lines such as a LAN (Local Area Network) or the Internet.
- NIC Network Interface Card
- the communication control unit 13 controls communication between the control unit 15 and an external management device that manages various types of information.
- the storage unit 14 is realized by a semiconductor memory element such as RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or optical disk.
- the storage unit 14 stores in advance the processing programs that operate the presentation device 10 and data used during execution of the processing programs, or stores them temporarily each time processing is performed.
- the storage unit 14 may also be configured to communicate with the control unit 15 via the communication control unit 13.
- the memory unit 14 stores information regarding the risk of trouble for each expression that constitutes communication.
- the memory unit 14 stores information regarding risk according to usage status as information regarding risk.
- the memory unit 14 stores a master dictionary common to the entire device and individual dictionaries corresponding to usage status as information regarding risk.
- the memory unit 14 stores information regarding the risk of trouble due to words included in language and information regarding the risk of trouble due to non-verbal expressions as information regarding the risk of trouble due to non-verbal expressions.
- the memory unit 14 stores information regarding the risk of trouble due to one or more of speech speed, speech volume, number of characters, pitch, volume, amount of movement, movement speed, and amount of change in facial expression as information regarding the risk of trouble due to non-verbal expressions.
- the memory unit 14 stores a risk expression dictionary 14a.
- the risk expression dictionary 14a contains information about the risk of language trouble for each word that makes up the dialogue. Specifically, the risk expression dictionary 14a contains information about one or more of the risks of each word's part of speech, the number of meanings indicated by each word, or the ambiguity of the meaning indicated by each word. This information is collected via the input unit 11 or from a management device that manages various information, prior to or during the presentation process described below, and stored in the memory unit 14.
- the risk expression dictionary 14a is composed of a combination of a master dictionary 141 and individual dictionaries 142 subordinate to it.
- the master dictionary 141 contains information about risks that are common to all situations, regardless of individual usage.
- the individual dictionary 142 contains information about risks set for each individual domain.
- the individual dictionary 142 is not limited to being set for each domain, but may also be set for each individual.
- the risk expression dictionary 14a is generated by the individual dictionary generation unit 15b, which will be described later, based on the master dictionary 141 and the individual dictionary 142.
- Figure 2 is a diagram illustrating the data structure of the master dictionary.
- Figure 3 is a diagram illustrating the data structure of the individual dictionary.
- Figure 4 is a diagram illustrating the data structure of the risk expression dictionary.
- Figure 5 is a diagram for explaining risk types.
- the master dictionary 141, individual dictionary 142, and risk expression dictionary 14a include information items such as part of speech, meaning, number of meanings, risk level, and risk type for each word.
- the number of meanings is the number of different meanings for the same word.
- the number of homonyms may be added.
- the risk level is a value set by the user for each word, taking into account, for example, the part of speech, risk type, relevance to the business, etc.
- the risk level may be a value based on a pre-defined classification table of ambiguous words, etc.
- the risk type is, for example, a value ranging from 1 to 7, which indicates each class of ambiguity classification.
- Figure 5 shows an example of seven ambiguity classes.
- a risk type of 1 is set for words with multiple meanings.
- the master dictionary 141, individual dictionary 142, and risk expression dictionary 14a may also include information items that change dynamically during use, such as the importance of each word in a sentence. For example, it may be possible to individually set a low risk value for words that have a high risk value calculated in the presentation process described below, if the importance is not high.
- master dictionary 141, individual dictionary 142, and risk expression dictionary 14a are not limited to information items for individual words, but may also contain information items for individual expressions consisting of multiple words.
- expressions may include, for example, verbal expressions of facial expressions such as "smiling face” or "angry face.”
- the storage unit 14 also stores a non-verbal risk expression DB (Data Base) 14b, a relationship DB 14c, a social attribute DB 14d, a personal characteristic DB 14e, and a communication history DB 14f.
- the non-verbal risk expression DB 14b stores information regarding the risk of trouble with non-verbal expressions that make up communication.
- non-verbal risk expression DB 14b is a diagram illustrating the data structure of the non-verbal risk expression DB.
- non-verbal risk expression DB 14b is a DB that holds information on non-verbal risks related to each modal for each user.
- non-verbal risk expression DB 14b may be a single DB for the entire database, or may be created and used for each individual user, or may have a configuration similar to the risk expression dictionary, with a master dictionary and individual dictionaries, and individual adjustments made using the individual dictionaries. The following shows an example created for each individual user.
- Non-verbal risk expression DB14b includes non-verbal risk information such as "risk elements,” “calculation method,” “risk threshold,” and “risk importance.”
- “Risk elements” indicate information elements that could pose a risk to the user in each modal.
- “Calculation method” indicates the calculation method used by the non-verbal risk calculation unit 152, described below, to quantify risk elements and calculate risk values.
- the "risk threshold” is a threshold used to determine whether a value calculated based on a calculation method poses a high risk to the user.
- Multiple “risk thresholds” e.g., upper and lower limits
- the "risk threshold” indicates a value with units corresponding to the method (e.g., Hz), but it may also be a normalized (0.0 to 1.0) or standardized value using information obtained in advance (e.g., the upper and lower limits of the user's audible range). In this case, the calculation results of each calculation method will also be normalized or standardized values.
- the "risk threshold” may be either the risk threshold as a receiver when the user is receiving an expression, or the risk threshold as a sender when the user is making an expression, or both.
- the "risk importance” is the importance of the risk element in each row for each user; the higher the value, the more likely that element will lead to miscommunication.
- the relationship DB 14c contains information relating to the relationships between speakers.
- the social attribute DB 14d contains information representing the social attributes of the speaker and interlocutor.
- the personal characteristic DB 14e contains information representing the speaker's characteristics related to utterances.
- the communication history DB 14f contains dialogue history. This information is collected via the input unit 11 or from a management device that manages various information, prior to or during the presentation process described below, and stored in the memory unit 14.
- Figure 7 is a diagram illustrating the data structure of the relationship DB.
- the relationship DB 14c includes, for each user, information items that represent the relationship with a specific other user, such as a relationship score, relationship information, and non-work interactions.
- Figure 7 illustrates the relationship DB 14c for a user with user ID 002.
- the relationship score ranges from 0.0 to 1.0, with values closer to 1 indicating a closer relationship and values closer to 0 indicating a more distant relationship. For example, since a user with whom you interact more frequently is more likely to have a closer relationship, the relationship score may be calculated using the frequency of interactions in the communication history DB 14f, which will be described later. Alternatively, the relationship score may be set by referencing the job titles in the social attribute DB 14d, which will be described later, such that 0.5 is used for the same job title, and 0.1 is used for jobs with greater distance between them, such as between the president and an ordinary employee.
- the relationship score may be calculated comprehensively by referencing the information items in the communication history DB 14f, social attribute DB 14d, and personal characteristic DB 14e, which will be described later, or may be calculated from compatibility using factors such as the company's corporate culture and the individual's personality evaluation scores, such as the Big 5.
- Relationship information indicates the user's business relationship with a specific other user, such as a relationship with a superior in the same department.
- Non-work interactions indicate whether or not there is interaction outside of work.
- Figure 8 is a diagram illustrating the data structure of the social attribute DB.
- the social attribute DB 14d includes information items that represent the social attributes, i.e., social position, of the speaker and interlocutor, such as affiliation, position, and years of employment.
- the social attribute DB 14d is set for each topic or situation of the conversation.
- Figure 8 shows an example of the social attribute DB 14d for business topics.
- Figure 9 is a diagram illustrating the data structure of the personal characteristics DB.
- the personal characteristics DB 14e includes, for each user, information items that represent the speaker's characteristics regarding each utterance, such as frequency, degree of agreement with usage status, frequently occurring topics, and risk value evaluation.
- Frequency is a value between 0.0 and 1.0 that represents how often the statement occurs.
- Usage consistency is a value between 0.0 and 1.0 that represents the consistency of the topics in which the statement occurs.
- Risk value evaluation is a value between 0.0 and 1.0 that represents the user's self-evaluation of the history of risk values calculated for the word, with higher values indicating a higher assessment that the risk value is appropriate.
- Figure 10 is a diagram illustrating the data structure of the communication history DB.
- the communication history DB 14f represents a dialogue history, and for each utterance, includes information items such as the utterance ID, user ID, time, utterance content, risk value, topic, dialogue partner ID, and miscommunication record.
- the risk value is a risk value previously calculated by the presentation process described below.
- the topic is a label that indicates an overview of the conversation in which the statement was made, and this is used to select the appropriate social attribute DB14d.
- the miscommunication record indicates whether or not there is a record of any trouble caused by the statement.
- the communication history DB14f may also include non-verbal communication expressions such as facial expressions based on video data, etc.
- the memory unit 14 also stores a dialogue act list 14g and a risk adjustment DB 14h.
- Figure 11 is a diagram illustrating the data structure of a dialogue act list.
- the dialogue act list 14g shows a list of dialogue acts.
- a dialogue act is information that indicates the classification type of an act in the dialogue of the expression being processed, and the intention of the utterance and the flow of the dialogue can be inferred.
- the dialogue acts are classified into self-explanation, question (Yes/No), question (What), response (Yes/No), response (declarative), backchannel, filler, confirmation, and request.
- FIG. 12 is a diagram illustrating the data configuration of the risk adjustment DB.
- the risk adjustment DB 14h stores information that associates the dialogue act of the expression to be processed with the risk value adjustment method.
- the risk value adjustment method for the dialogue act "question (Yes/No)" is specified as the calculated risk value r i ⁇ 1.5. This indicates that if the dialogue partner misinterprets the question, a communication error will occur, and even if the dialogue partner misinterprets the utterance, it is difficult to notice the error from the answer (Yes/No), so the risk of ambiguous expressions (risky expressions) is evaluated higher.
- the risk value of the dialogue act "question (What)" is adjusted by the calculated risk value r i ⁇ 1.25. This indicates that the risk of ambiguous expressions (risky expressions) is evaluated higher, since a communication error may occur if the dialogue partner misinterprets the question.
- the risk value of the dialogue act “Response (Yes/No)” is adjusted by setting the calculated risk value r i ⁇ 0. This indicates that a simple response is not ambiguous and is therefore evaluated as having no risk.
- the method for adjusting the risk value of the dialogue act "reply (declarative)" is specified as the calculated risk value r i ⁇ 1.25. This indicates that the risk of ambiguous expressions (risky expressions) is evaluated higher, since a communication error occurs if the response to a question is misunderstood.
- the risk value of the dialogue act “backchannel” is adjusted by setting the calculated risk value r i ⁇ 0. This indicates that backchannels themselves do not have any significant meaning and are therefore evaluated as having no risk.
- the risk value of the dialogue act “filler” is adjusted by setting the calculated risk value r i ⁇ 0. This indicates that the filler itself does not have any important meaning, and therefore is evaluated as having no risk.
- the risk value of the dialogue act "request” is adjusted by the calculated risk value r i ⁇ 1.5. This indicates that the risk of ambiguous expressions (risky expressions) is evaluated higher because if the dialogue partner misinterprets the request content, a communication error will occur, and if the dialogue partner responds to the request with an incorrect understanding, it could result in a serious error.
- the method for adjusting the risk values in the risk adjustment DB 14h is not limited to the above, and for example, a function that changes the magnitude of the risk value, such as addition or subtraction, may be applied.
- the risk adjustment DB 14h may specify a change in the link with the presentation method. For example, instead of presenting high risk values in red and medium risk values in orange, a change in the presentation method may be specified such that high risk values are presented in orange and medium risk values are presented in red.
- control unit 15 is implemented using a CPU (Central Processing Unit) or the like, and executes processing programs stored in memory.
- the control unit 15 functions as an acquisition unit 15a, an individual dictionary generation unit 15b, a calculation unit 15c, a discrimination unit 15d, an adjustment unit 15e, and a presentation unit 15f, as illustrated in Figure 1, to perform the presentation process.
- each or some of these functional units may be implemented in different hardware.
- the control unit 15 may also have other functional units.
- the acquisition unit 15a acquires expressions that make up the communication to be processed.
- expressions that make up the communication to be processed refer to expressions that make up verbal or non-verbal communication.
- the acquisition unit 15a acquires words that make up the dialogue to be processed as expressions that make up verbal communication.
- the acquisition unit 15a accepts input of the dialogue to be processed via the input unit 11 or the communication control unit 13, and performs morphological analysis to extract the words that make up the dialogue.
- the acquisition unit 15a acquires audio data including the speech of the processing target, or image data or video data including the body movements and facial expressions of the processing target, using a built-in camera, microphone, keyboard, etc., as expressions constituting non-verbal communication.
- the acquisition unit 15a may store the acquired expressions in the storage unit 14 prior to the presentation process described below. Alternatively, the acquisition unit 15a may immediately transfer this information to the calculation unit 15c. The acquisition unit 15a may also acquire individual usage situations that correspond to the dialogue situations.
- the acquisition unit 15a may acquire information for determining the dialogue act of the speaker in the expression to be processed.
- the acquisition unit 15a may acquire speech information in addition to linguistic information of the spoken dialogue.
- the acquisition unit 15a may acquire the content of the utterance and the start time of the spoken sentence in addition to the speech information.
- the individual dictionary generation unit 15b generates risk-related information according to usage status as risk-related information, and stores the risk-related information in the memory unit 14. For example, the individual dictionary generation unit 15b obtains the necessary information from the user or from each DB in the memory unit 14 to generate the individual dictionary 142. Note that although the individual dictionary generation unit 15b is shown as part of the control unit 15 in Figure 1, it can also be held in the memory unit 14, in which case the input from the user required for generation is obtained from the user via the control unit 15, and the information from each DB is obtained directly within the memory unit 14.
- the individual dictionary generation unit 15b can generate the individual dictionary 142 based on the values set manually by an individual or group representative who requires individual adjustments to the master dictionary 141.
- the individual dictionary generation unit 15b may acquire feedback from the user at any time and automatically update the individual dictionary, such as by having the user provide feedback on the risk assessment results after the end of communication (for example, after the end of an utterance or a meeting) and reflecting the results in the individual dictionary, or by acquiring the user's feedback results in the personal characteristics DB 14e and updating the individual dictionary.
- the individual dictionary generation unit 15b may automatically generate the individual dictionary 142 using group trends obtained from the relationship DB 14c or communication history DB 14f. For example, the individual dictionary generation unit 15b may generate an individual dictionary so that the risk value of the "specific word” is lowered when a "specific word” appears frequently in the communication history DB 14f between specific members and the relationship score between the members is high (i.e., a close relationship).
- the individual dictionary generation unit 15b may use the social attribute DB 14d and personal characteristic DB 14e of the members participating in the communication to automatically generate the individual dictionary 142 so that it can take into account the risk of expressions used when speaking to people of a specific age group or position. For example, when there are members (veterans) with 15 years or more of service and members (younger people) with three years or less of service, the individual dictionary generation unit 15b may assume that the member with three years or less is younger and generate individual dictionaries tailored to both users that increase the risk of expressions frequently used by younger members (youth slang) and casual expressions frequently used by veterans (expressions that may be perceived as a little rough).
- the individual dictionary generation unit 15b may create the risk expression dictionary 14a by integrating the master dictionary 141 and the individual dictionary 142. For example, the individual dictionary generation unit 15b compares the master dictionary 141 with the individual dictionary 142, and if a word is included in both the master dictionary 141 and the individual dictionary 142 and the risk level of the word is lower in the individual dictionary 142 than in the master dictionary 141, the individual dictionary generation unit 15b may delete the word from the risk expression dictionary 14a. Furthermore, if there is a word that is not in the master dictionary 141 but is in the individual dictionary 142, the individual dictionary generation unit 15b may add the word to the risk expression dictionary 14a.
- Figures 13 and 14 are diagrams for explaining the processing of the individual dictionary generation unit.
- the individual dictionary generation unit 15b compares the master dictionary 141 with the individual dictionary 142, and if the word "kill" is included in both the master dictionary 141 and the individual dictionary 142 and the risk level of the word "kill" is lower in the individual dictionary 142 than in the master dictionary 141, the individual dictionary generation unit 15b deletes the word from the risk expression dictionary 14a. Also, as illustrated in Figure 13, if there is a word "probably” that is not in the master dictionary 141 but is in the individual dictionary 142, the individual dictionary generation unit 15b adds the word "probably” to the risk expression dictionary 14a as a word missing from the master dictionary 141.
- the individual dictionary generation unit 15b may compare the master dictionary 141 with the individual dictionary 142, and if the values (number of meanings, danger level, risk type, etc.) differ, apply the values in the individual dictionary 142. Furthermore, if there is a word that is not in the master dictionary 141 but is in the individual dictionary 142, the individual dictionary generation unit 15b may add that word to the risk expression dictionary 14a.
- the individual dictionary generation unit 15b compares the master dictionary 141 with the individual dictionary 142, and if the "risk level” of the word “kill” differs, it applies the risk level of "2" in the individual dictionary 142. Also, as illustrated in FIG. 14, if the individual dictionary generation unit 15b finds the word "probably” that is not in the master dictionary 141 but is in the individual dictionary 142, it adds the word "probably” to the risk expression dictionary 14a as a word missing from the master dictionary 141.
- the individual dictionary generation unit 15b can weight the individual dictionaries 142 and integrate them so that the setting values of the individual dictionaries 142 with higher weights are applied preferentially to the risk expression dictionary 14a. Furthermore, the individual dictionary generation unit 15b can store the generated risk expression dictionary 14a in the memory unit 14 or control unit 15 and reuse it when communicating in the same or similar circumstances, or generate it each time communication starts. Note that the integration process for the risk expression dictionary 14a may be performed on the memory unit 14 side.
- the calculation unit 15c refers to the risk-related information stored in the memory unit 14 and calculates a risk value that indicates the magnitude of risk associated with the expressions that make up the input communication. For example, the calculation unit 15c obtains, from the memory unit 14, information related to the risk that corresponds to the usage situation of the user who made the expression, refers to the information related to the risk, and calculates the risk value. For example, the calculation unit 15c generates a risk expression dictionary 14a by integrating the master dictionary 141 and the individual dictionary 142 according to the usage situation, and calculates the risk value by referring to the risk expression dictionary 14a.
- the calculation unit 15c has a linguistic risk calculation unit 151 and a non-linguistic risk calculation unit 152.
- the language risk calculation unit 151 retrieves from the storage unit 14 the risk expression dictionary 14a corresponding to the usage situation of the user who made the expression, and calculates a risk value by referencing information related to the risk.
- the language risk calculation unit 151 references the risk expression dictionary 14a stored in the storage unit 14 that corresponds to the usage situation of the input communication, and calculates a risk value that indicates the level of risk for each word that makes up the input dialogue.
- the risk value indicates an estimate of the level of risk of language trouble, i.e., miscommunication, occurring, for each word that appears in the sentence, or for the sentence as a whole.
- the language risk calculation unit 151 calculates the risk value using risk variables derived from the risk information contained in the risk expression dictionary 14a.
- the risk variable is derived based on, for example, the part of speech or risk level of the word. Alternatively, the risk variable is derived based on the number of meanings of the word. Alternatively, the risk variable is derived based on the risk type. Note that, for example, context-related risk variables based on information about the relationship between speakers are not used.
- the language risk calculation unit 151 may calculate a risk value for each group of expressions consisting of multiple words, which are the units of information in the risk expression dictionary 14a.
- expressions may include, for example, expressions using words that express facial expressions, such as "smiling face” or "angry face.”
- the language risk calculation unit 151 calculates a risk value using the product of multiple pieces of risk-related information that have been weighted in a predetermined manner. Specifically, the language risk calculation unit 151 calculates the risk value r i of the i-th word in a sentence using the following formula (1):
- the risk variable p i1 based on the part of speech and risk level of the word takes on three levels of values from 1 to 3, with the larger value indicating a higher risk.
- the part of speech is a modifier such as an adjective or adverb, it is ambiguous and high risk, so it is set to 3, if it is a demonstrative it is set to 2, and otherwise it is set to 1.
- the risk level may be applied as is, or a value based on the part of speech and a value of the risk level may be used in combination.
- the risk variable p i2 based on the number of meanings of a word may be, for example, a value registered in the risk expression dictionary 14 a as is, or may be a value classified into about three levels, similar to the risk variable p i1 .
- the risk variable p i3 based on the risk type of a word may be set to a value by a user who is familiar with the business situation.
- the risk type may be defined in seven stages, for example, as shown in Figure 5, and a risk variable having values in multiple stages may be set taking into account the importance of these stages.
- weight variables w 1 to w 3 and the risk variables p i1 to p i3 are adjusted so that the risk value r i takes a value greater than 0.0.
- Figure 15 is a diagram for explaining the processing of the language risk calculation unit.
- Figure 15 (1) illustrates risk levels defined in three levels, 1 to 3, as a risk variable p i3 based on the risk type of a word. This illustrated risk level is the misunderstanding risk, and the misunderstanding risk is an example of a variable whose importance is higher, 1, 3, or 4 in Figure 5. The higher the level, the higher the risk.
- Figure 15 (2) illustrates a risk variable p i2 based on the number of meanings of a word.
- 15(3) shows an example of calculating the risk value ri using the part of speech p i1 , number of meanings p i2 , and misunderstanding risk p i3 of the i-th word.
- the weight variable 1 (w 1 ) for the part of speech p i1 is set to 0, suppressing the influence of the part of speech p i1 and calculating the risk value ri using the number of meanings p i2 and misunderstanding risk p i3 .
- the language risk calculation unit 151 may calculate a risk value using the sum of multiple pieces of information related to risks that have been weighted in a predetermined manner. For example, the language risk calculation unit 151 calculates the risk value r i of the i-th word in a sentence using the following equation (2):
- each of the risk variables p i1 to p i3 is normalized to a value between 0.0 and 1.0, and the weight variables w 1 to w 3 are set to a value in the range of 0.0 to 1.0.
- the calculated risk value r i is also a value in the range of 0.0 to 1.0, making it easy to compare risk values.
- the language risk calculation unit 151 may further calculate the risk value using one or more of the following: information about the relationship between speakers, information representing the social attributes of the speaker and interlocutor, information representing the speaker's characteristics, or dialogue history. For example, the language risk calculation unit 151 calculates the risk value by referencing the relationship DB 14c, social attribute DB 14d, personal characteristic DB 14e, or communication history DB 14f. This makes it possible to calculate a risk value that takes context into account.
- the language risk calculation unit 151 calculates the risk value r i of the i-th word in the sentence, for example, using the following equation (3).
- the risk variables p i1 to p i3 are the same as those in the above formula (1). Furthermore, the weight variables w 1 to w 7 are set to values in the range of 0.0 to 1.0. Furthermore, the weight variables w 1 to w 7 and the risk variables p i1 to p i7 are adjusted so that the calculated risk value r i takes a value greater than 0.0.
- the risk variable p i4 based on the relationship between users may be, for example, a value obtained by subtracting the relationship score in the relationship DB 14c from 1, or may be a product of the value obtained by subtracting the relationship score from 1, where 1 is 1 if there is non-work-related interaction and 2 is 2 if there is no non-work-related interaction.
- the risk variable p i4 becomes a larger value the weaker the relationship is, and the larger the risk value becomes.
- the risk variable p i5 based on social attributes may be, for example, the difference between users in the number of years of employment in the social attribute DB 14d, or may be the difference in the quantified job titles between users currently interacting, with the higher the job title, the larger the numerical value.
- the risk variable p i5 becomes a larger value the greater the difference in positions within the organization, such as the number of years of employment or job title, and the larger the risk value.
- the product or sum of the risk variables p i4 and p i5 calculated as described above may be substituted for the risk variables p i4 and p i5 .
- the risk variable p i6 based on the personal characteristics may be, for example, a value obtained by subtracting the degree of agreement of the usage status in the personal characteristic DB 14e from 1, or may be the reciprocal of the degree of agreement of the usage status.
- the risk variable p i6 may be the frequency in the personal characteristic DB 14e, or may be the product of the value obtained by subtracting the degree of agreement of the usage status from 1 and the frequency.
- the risk variable p i7 based on the dialogue history may be, for example, the risk value of the communication history DB 14f, or may be the product of the risk value and a numerical value of a miscommunication record (2 if there is one, 1 if there is none).
- the risk variable p i7 may be set as a numerical value of the relationship between the topic and the business, and may be set to a larger value the deeper the relationship to the business.
- confidential information related to corporate strategy may be set to 1, general internal information to 0.5, and public information related to after-work recreational events to 0.1.
- the language risk calculation unit 151 may calculate the risk value r i of the i-th word in the sentence using the following equation (4).
- the risk variables p i1 to p i7 are values that are normalized to 0.0 to 1.0, similar to the above formula (3), and the weight variables w 1 to w 7 are values in the range of 0.0 to 1.0.
- the values of the risk variables p i1 to p i7 are not limited to those described above.
- values such as those exemplified below may be applied.
- the risk variables p i1 to p i3 using the risk expression dictionary 14 a may be the degree of occurrence of miscommunication due to the word, the degree of danger when miscommunication occurs due to the word, the frequency of occurrence of the word in general conversation, etc.
- the risk variable p i4 using the relationship DB 14 c or the risk variable p i5 using the social attribute DB 14 d may be the common background between the speakers, the degree of intensity or overlap of the attributes, the proportion of common understanding between the speakers, the interpersonal relationships between the speakers, etc.
- the risk variable p i6 using the individual characteristic DB 14e may be applied.
- the method for calculating the risk value is not limited to using the information (14a-14f) stored in the storage unit 14.
- the risk value may be calculated using the following information that can be collected during a conversation:
- the risk value may be calculated using the analysis results of biological signals such as facial expressions, electroencephalograms, and gaze, in combination with the content of statements stored in the communication history DB 14f.
- an evaluation value of the medical or objective changes in the physical condition of the person involved may also be applied as an additional risk variable.
- the severity of a problem that occurs after a conversation may be fed back and reflected in the risk or importance in the risk expression dictionary 14a or the risk value in the communication history DB 14f.
- the severity of this problem may also be subjectively evaluated by the user and reflected in the risk or importance in the risk expression dictionary 14a.
- the weight variables w1 to w7 are variables that adjust the influence of each risk variable and are set according to the topic and participants of the conversation that is the subject of the risk value calculation process. For example, if there is a participant who is not good at guessing the meaning of ambiguous statements, by increasing the values of the weight variables w1 to w3 , the values of the risk expression dictionary 14a will be more strongly reflected in the risk value.
- the weighting variable w7 for the value in the communication history DB 14f is increased. This allows the value of the risk variable based on frequently occurring expressions or expressions that are closely related to the business to be strongly reflected in the risk value.
- weight variables w1 to w7 may be dynamically adjusted based on a judgment of the quality of consensus reached in the most recent dialogue or discussion, measurements of satisfaction with past dialogues, measurements of proficiency with the topic that is the subject of the conversation, etc.
- the risk value of each word calculated by the above formulas (1) to (4) can also be used to calculate the risk of an entire sentence or a group of expressions consisting of multiple words (for example, a phrase or clause).
- the average value of the risk values r i calculated for the words contained in each sentence can be used as the risk value of the sentence.
- the risk values r 1 to r N can be weighted based on the risk level or importance in the risk expression dictionary 14 a or a preset value to calculate a weighted average, and this can be used as the risk value of the sentence.
- the sum or product of the risk values r i can be used.
- the non-verbal risk calculation unit 152 references information related to risk contained in the non-verbal risk expression DB 14b of the storage unit 14, and calculates a risk value that represents the magnitude of risk associated with the data related to the input non-verbal expression. For example, the non-verbal risk calculation unit 152 obtains information related to the risk corresponding to the usage status of the user who made the expression from the non-verbal risk expression DB 14b of the storage unit 14, references the information related to the risk, and calculates a risk value.
- the non-verbal risk calculation unit 152 obtains the calculation results of each calculation method using the following formula (5).
- P ij is the calculation result of calculation method j for the i-th expression in the series of expressions.
- f j (x m ) is a function that performs calculation according to calculation method j.
- i is a subscript indicating the number of expressions in the series of expressions (for example, in a conversation, the number of turn or word).
- j is a subscript indicating the calculation method.
- X m is a variable for calculating P ij related to risk element m, and may be composed of multiple values depending on f j .
- m is a subscript indicating the risk element.
- the non-verbal risk calculation unit 152 calculates a value for the risk element "speech rate” of audio data using the calculation method "number of characters/speech time.” Also, for example, the non-verbal risk calculation unit 152 calculates a value for the risk element "speech volume” of audio data using the calculation method "number of characters per utterance.” Also, for example, the non-verbal risk calculation unit 152 calculates a risk element "pitch” of audio data using the calculation method "average value of speech frequency” or “variance (range of change) of speech frequency.” Also, for example, the non-verbal risk calculation unit 152 calculates a risk element "volume” of audio data using the calculation method "average value of speech volume (amplitude of speech waveform)” or “maximum value of speech volume (amplitude of speech waveform).”
- the non-verbal risk calculation unit 152 calculates the "number of characters" risk element of text data as the "number of characters in one message" calculation method. For example, the non-verbal risk calculation unit 152 calculates the "amount of movement” risk element of video data related to the user's physical movements as the "amount of movement of extremities such as the hands and head” calculation method. For example, the non-verbal risk calculation unit 152 calculates the "speed" risk element of video data related to the user's physical movements as the "speed of movement of extremities such as the hands and head” calculation method.
- the non-verbal risk calculation unit 152 calculates the "average amount of movement of feature points from a neutral expression” or the “maximum amount of movement of feature points from a neutral expression” calculation method for the "amount of change" risk element of image data related to the user's facial expressions.
- facial expressions emotional information obtained from commercially available technology (emotion estimation from facial expressions) is used (for example, the presence or absence of negative emotions and their frequency are considered as a risk factor).
- the non-verbal risk calculation unit 152 calculates the speech rate and speech volume using text obtained by performing speech recognition on speech captured by a microphone. Furthermore, for example, the non-verbal risk calculation unit 152 calculates the number of characters from the number of characters in the message entered and sent from an input device such as a keyboard. Furthermore, for example, the non-verbal risk calculation unit 152 calculates the pitch and volume by analyzing the waveform of the speech captured by a microphone.
- the non-verbal risk calculation unit 152 can calculate specific risk expressions such as sighs and clicking of the tongue from speech waveforms using calculation models generated in advance, and may utilize a method for deriving whether or not these expressions occur and how often they occur as a calculation method (for example, to detect their occurrence, pattern matching of characteristic waveforms may be performed, or an estimation model that has undergone machine learning in advance may be used).
- the non-verbal risk calculation unit 152 may also calculate speech intonation (such as suddenly raising or raising the voice, age-specific intonation, etc.) using a pre-trained model as a specific speech pattern, and use a method for deriving whether or not such intonation occurs, its frequency, etc. as a calculation method.
- the non-verbal risk calculation unit 152 may detect sudden loud or high-pitched speech as an emotional expression, and use the occurrence of such speech as a non-verbal risk value, or it may detect intonation specific to young people and calculate the difference between this and the intonation of an older listener (such as similarity of waveforms), and use this as a non-verbal risk value for the older listener.
- the non-verbal risk calculation unit 152 may calculate movements and facial expressions using feature points (coordinates of the fingers or head, or coordinates of any feature points on the face) calculated using existing feature point extraction methods using video captured by a camera. Note that while the above description has been based on the assumption that an input device is built into a laptop PC, any dedicated device (such as a motion capture device or facial tracker) connected to the user terminal (whether wired or wireless) may also be used.
- the non-verbal risk calculation unit 152 determines whether the value calculated by each calculation method is within the range of the risk threshold using the following formula (6), and sets the result as the non-verbal risk value r'ij .
- the non-verbal risk value r'ij is the non-verbal risk value calculated for the i-th expression in the series of expressions using calculation method j.
- ⁇ j and ⁇ j are risk thresholds corresponding to calculation method j. Note that there may be one or more risk thresholds.
- non-verbal risk calculation unit 152 may calculate the non-verbal risk value r'ij by taking the absolute value of the difference between the value calculated by each calculation method and the risk threshold using the following equation ( 7 ).
- the non-verbal risk calculation unit 152 may calculate the non-verbal risk value r'ij by dividing the value calculated by each calculation method by a risk threshold using the following formula (8), and use the value obtained so that the further the quotient is from 1.0 , the larger the non-verbal risk value becomes. Any one or more of the non-verbal risk values calculated using any of formulas (6) to (8) can be used as the overall non-verbal risk evaluation value R i .
- the overall evaluation value R i is the overall non-verbal risk evaluation value for the ith expression in a series of expressions.
- the non-verbal risk calculation unit 152 may take the sum of values obtained by multiplying the values calculated by each calculation method by a weight, using the following formula (9), to obtain the overall non-verbal risk evaluation value R i , where w j is a weight variable that adjusts the influence of each risk variable, and N is the number of calculation methods used to calculate the non-verbal risk value.
- the non-verbal risk calculation unit 152 may calculate the overall non-verbal risk evaluation value R i by multiplying the values calculated by each calculation method by weights using the following formula (10), where i, j, m, and N are integers greater than 0.
- the non-verbal risk calculation unit 152 may combine the overall non-verbal risk evaluation value R i with the risk value calculated by the linguistic risk calculation unit 151, or may use it as one of the terms in the calculation formula to calculate a new risk value that incorporates risks from both the linguistic and non-linguistic aspects.
- the nonverbal risk calculation unit 152 when the nonverbal risk calculation unit 152 calculates the overall evaluation of the nonverbal risk values using the above-mentioned formulas (6) to (8), it can select the nonverbal risk value r'ij with the highest risk importance (for example, above a certain threshold, or in the top three, etc.) as the nonverbal risk value r'ij to be adopted in the overall evaluation value. Furthermore, for example, the nonverbal risk calculation unit 152 can use the risk importance corresponding to each calculation method as the weight coefficient wj in the above-mentioned formulas (9) and (10).
- the nonverbal risk calculation unit 152 may adjust the weight coefficient w j based on the values in the relationship DB 14 c and the social attribute DB 14 d. For example, when the relationship is not close or there is a large difference in the length of time that the parties have belonged to the organization or in their positions, the nonverbal risk calculation unit 152 adjusts the value of the weight coefficient w j to be larger by a certain percentage, thereby increasing the overall evaluation of the calculated nonverbal risk value.
- the nonverbal risk calculation unit 152 may quantitatively evaluate the difference in risk importance between users participating in the dialogue and adjust the weight coefficient w j according to the evaluation value. For example, the nonverbal risk calculation unit 152 may calculate the average of the risk importance according to each calculation method among users, adopt this value as the weight coefficient w j , and adjust the weight coefficients of the calculation methods used for the overall evaluation of the nonverbal risk values of all participants so that they are uniform.
- the non-verbal risk calculation unit 152 may use an existing method to detect characteristic movements such as nodding, and calculate the non-verbal risk value using the frequency, amount, speed, etc. of the movements. In this case, for example, the non-verbal risk calculation unit 152 may calculate the frequency of the sender's nodding, and calculate the risk that frequent nodding will bother the receiver.
- the non-verbal risk calculation unit 152 may also use existing methods to detect facial expressions, quantitatively calculate the proportion of specific emotions (facial expressions) included, and calculate this as a non-verbal risk value. For example, the non-verbal risk calculation unit 152 may calculate the risk that the recipient will become intimidated if a certain level of anger is included. In addition, the non-verbal risk calculation unit 152 may measure gaze information using an eye tracker and use the results in calculating the non-verbal risk value. For example, the non-verbal risk calculation unit 152 may calculate the risk that the recipient will feel glared at or intimidated when gazing at an area where a specific person is present for a certain period of time or longer.
- the discrimination unit 15d discriminates dialogue acts, which are actions in the dialogue of the speaker's expressions that constitute the communication.
- the discrimination unit 15d uses the dialogue characteristics of each element that constitutes the expression to be processed to discriminate which of the dialogue acts shown as examples in Figure 11 each dialogue component corresponds to.
- the determination unit 15d may determine the dialogue act using linguistic information of the expression to be processed, or may determine the dialogue act using input such as audio information.
- the determination unit 15d may also store the determined dialogue act of the speaker in the storage unit 14.
- the determination unit 15d may also determine the dialogue act only for sentences, out of the acquired sentences, that include expressions for which risk values have been calculated.
- the adjustment unit 15e adjusts the calculated risk values of the expressions that make up the communication in accordance with the determined dialogue act of the speaker.
- the adjustment unit 15e refers to the risk adjustment DB 14h illustrated in FIG. 12 and adjusts the risk value calculated for the expression to be processed using a risk value adjustment method that corresponds to the determined dialogue act for the expression.
- Figures 16 and 17 are diagrams for explaining the presentation process of the first embodiment.
- Figure 16 illustrates an example of the presentation process for the expression "Please give me more than usual” from the dialogue shown in Figure 16(a).
- the acquisition unit 15a acquires the audio information of the expression that constitutes the dialogue, "Please give me more than usual.”
- the calculation unit 15c calculates the risk value of the risk expression for each element that constitutes this expression, as illustrated in Figure 16(b).
- the discrimination unit 15d discriminates the dialogue act of the sentence "Please give me more than usual," which includes a risk expression, as a "request.”
- the adjustment unit 15e refers to the risk adjustment DB 14h illustrated in FIG. 12 and adjusts the risk value of the risk expression as illustrated in FIG. 16(c).
- Figure 17 illustrates an example of a presentation process for the expression "Is it OK?" from the dialogue shown in Figure 17(a).
- the acquisition unit 15a acquires the voice information "Is it OK?".
- the calculation unit 15c calculates the risk value of the risk expression for each element that makes up this expression, as illustrated in Figure 17(b).
- the presentation unit 15f presents to the user information generated based on the calculated risk value or the adjusted risk value.
- the presentation unit 15f presents to the user via the output unit 12, as intervention information for the risk expression that constitutes communication, the risk value calculated by the calculation unit 15c or the risk value adjusted by the adjustment unit 15e, or information such as a message, notification sound, or vibration generated based on the risk value.
- the presentation unit 15f presents information using the calculated language risk value, the overall evaluation value of non-verbal risk, or a risk value combined with language risk. Additionally, for example, the presentation unit 15f may present the results to the user separately as values indicating communication risk, such as non-verbal risk values using each calculation method, risk values based on language expressions, or risk values calculated by combining both.
- the presentation unit 15f may, for example, calculate at least one of the verbal and non-verbal risk values of the recipient of the conversation partner, and present information to the speaker according to the risk on the recipient's side.
- the presentation unit 15f may calculate a risk value for at least one of the verbal and non-verbal aspects of both the sender and the recipient, and present information according to the difference between them. For example, if the difference in the risk values is equal to or greater than a given threshold, or if the ratio of the risk values is equal to or greater than a given threshold, the presentation unit 15f presents the risk value or presentation information such as a message, notification sound, or vibration generated based on the risk value.
- the presentation unit 15f may, for example, calculate a risk value for at least one of the verbal and non-verbal expressions of each participant as a recipient, and if the average value exceeds a certain level, detect the expression as being risky for the conversation as a whole and present the information to all participants.
- the presentation unit 15f has been described as using a risk threshold for the receiver to calculate and use the communication risk (such as difficulty in understanding) when the receiver receives the sender's non-verbal expressions.
- a threshold may be set in terms of the sender's own ease of expression, and information may be presented. For example, if the amount of speech is less than the risk threshold, or the speech rate is slower than the risk threshold, the presentation unit 15f may indicate a risk of difficulty in explaining, and present a message encouraging reconsideration or improvement.
- Figure 18 is a diagram for explaining intervention information.
- information on the calculated risk value is presented on the online conference tool as intervention information notifying of risk.
- the presentation unit 15f highlights the text of words with high risk values.
- the presentation unit 15f changes the color of the text of words with high risk values, underlines them, makes the font larger, makes them bold, or highlights them.
- the presentation unit 15f may display text with a high risk value in a format that attracts the user's attention, such as by displaying it as a pop-up. Furthermore, the presentation unit 15f may display words with a high risk value in a position that is easily noticeable to the user.
- the presentation unit 15f may use audio information or tactile information to present words with a high risk value. For example, the volume of the notification sound for words with a high risk value may be increased, a sound that makes the user feel the need to take action, such as an incorrect answer sound, a stronger vibration, or a vibration frequency or pattern that is more likely to attract attention. Conversely, the presentation unit 15f may use the sound of a correct answer on a quiz show when the risk value is low.
- the presentation unit 15f may also display a CG or image agent on the screen and present words with a high risk value in the form of advice from the agent.
- the presentation unit 15f may present the same screen to user 1 and user 2, or different screens. For example, when the presentation unit 15f presents the same screen, both users are more likely to perceive themselves as equals, and mutual understanding is promoted. On the other hand, when the presentation unit 15f presents different screens, the promotion of mutual understanding is less likely, but users with better communication skills can more flexibly engage in dialogue, improving the efficiency of communication.
- the presentation unit 15f may adjust the presentation method or cancel the presentation itself. For example, if the risk value is lower than a predetermined threshold, or in response to a user operation or depending on the user's characteristics, the presentation unit 15f may present the information in a different format, such as by reducing the level of highlighting or turning off the highlighting for users who are bothered by the highlighting, or by changing visual information to audio information. Furthermore, the way in which user characteristics are reflected may differ depending on the composition of the conference participants.
- the presentation unit 15f presents intervention information based on the adjusted risk value, as illustrated in FIG. 16(d).
- the presentation unit 15f may present the intervention information using the presentation method changed by the adjustment unit 15e.
- the presentation method may be changed from presenting high risk values in red and medium risk values in orange to presenting high risk values in orange and medium risk values in red.
- Fig. 19 is a flowchart showing the procedure of the presentation process.
- the flowchart in Fig. 19 starts, for example, when a user performs an operation input to instruct the start of the process.
- the acquisition unit 15a acquires the individual usage status corresponding to the dialogue status (step S1). For example, the acquisition unit 15a acquires information about the user engaging in the dialogue or information about the work domain. Then, the acquisition unit 15a acquires expressions that make up the dialogue (step S2). For example, the acquisition unit 15a acquires words that make up the dialogue sentence to be processed as expressions that make up the dialogue. The acquisition unit 15a also acquires the speech rate, speech volume, and pitch identified from the audio data that makes up the dialogue to be processed, as well as image data, video data, or chat message text.
- the calculation unit 15c calculates a risk value for the trouble by referring to the risk expression dictionary 14a and non-verbal risk expression DB 14b according to the individual usage situation (step S3). For example, the calculation unit 15c calculates the risk value using the product of multiple pieces of information in the risk expression dictionary 14a that have been weighted in a predetermined manner. Alternatively, the calculation unit 15c calculates the risk value using the sum of multiple pieces of information in the risk expression dictionary 14a that have been weighted in a predetermined manner.
- the calculation unit 15c obtains information related to the risk corresponding to the usage situation of the user who made the expression from the non-verbal risk expression DB 14b in the storage unit 14, and calculates the risk value by referring to the information related to the risk.
- the calculation unit 15c may also calculate the risk value using one or more pieces of information from the relationship DB 14c, social attribute DB 14d, personal characteristic DB 14e, or communication history DB 14f.
- the discrimination unit 15d discriminates the dialogue act of the speaker of the expression that constitutes the communication (step S4). For example, the discrimination unit 15d discriminates the classification type of the dialogue act using the features of the dialogue of each element that constitutes the expression to be processed.
- the adjustment unit 15e adjusts the calculated risk values of the expressions that make up the communication in accordance with the determined dialogue act of the speaker (step S5).
- the adjustment unit 15e refers to the risk adjustment DB 14h and adjusts the risk value calculated for the expression to be processed using a risk value adjustment method that corresponds to the determined dialogue act for the expression.
- the presentation unit 15f presents to the user information generated based on the calculated risk value or the adjusted risk value (step S6).
- the presentation unit 15f presents to the user via the output unit 12, as intervention information for the risk expression that constitutes the communication, the risk value calculated by the calculation unit 15c or the risk value adjusted by the adjustment unit 15e, or intervention information such as a message, notification sound, or vibration generated based on the risk value. This completes the series of presentation processes.
- the processing of the presentation device 10 is not limited to the above embodiment. In the following, only differences from the presentation processing of the presentation device 10 of the above embodiment will be described, and a description of common points will be omitted.
- the presentation unit 15f may present the determined dialogue act to the user.
- the presentation unit 15f may associate the determined dialogue act with the adjusted risk value and present intervention information that notifies the user of the risk associated with the expressions that constitute the communication.
- the presentation unit 15f may also present information about the determined dialogue act.
- the presentation unit 15f may present information about the dialogue act regardless of whether or not a risk expression is included.
- the determination unit 15d may determine the dialogue acts only for sentences that include expressions for which risk values have been calculated, or may determine the dialogue acts for all acquired sentences.
- Figures 20 and 21 are diagrams for explaining the presentation process of the second embodiment.
- Figure 20 illustrates an example of the presentation process for the expression "Please give me more than usual” from the dialogue shown in Figure 20(a).
- the acquisition unit 15a acquires the audio information of the expression that constitutes the dialogue, "Please give me more than usual.”
- the calculation unit 15c calculates the risk value of the risk expression for each element that constitutes this expression, as illustrated in Figure 20(b).
- the discrimination unit 15d discriminates the dialogue act of the expression "Please give me more than usual” as a "request.”
- the adjustment unit 15e refers to the risk adjustment DB 14h illustrated in FIG. 12 and adjusts the risk value of the risk expression as illustrated in FIG. 20(c).
- the presentation unit 15f also displays the dialogue act when presenting intervention information with a risk expression (ambiguous expression).
- the dialogue act is presented as "Request (highest risk)."
- the presentation unit 15f may present a dialogue act to the user even when there is no risk expression.
- Figure 21 illustrates a presentation process for the expression "Is it okay?" from the dialogue shown in Figure 21(a).
- the acquisition unit 15a first acquires the voice information "Is it okay?".
- the calculation unit 15c calculates the risk value of the risk expression for each element that makes up this expression, as illustrated in Figure 21(b).
- the discrimination unit 15d discriminates the dialogue act of the expression "Is it okay?" as a "question (Yes/No)."
- the adjustment unit 15e does not process this expression.
- the presentation unit 15f presents the dialogue act as shown in Figure 21(c).
- the ambiguous expression is "none” and the dialogue act is presented as a "question (Yes/No) (high risk).”
- the adjustment unit 15e may adjust the calculated risk value of the risk expression based on the history of combinations of multiple speakers and dialogue acts. For example, when a speaker and a dialogue partner are engaged in mutual exchange, the risk is evaluated as low because there is a high possibility that sufficient questions and answers have been asked about the ambiguous expression (risk expression). In contrast, when a speaker is continuing to talk alone, the risk is evaluated as high.
- Figure 22 is a schematic diagram illustrating the general configuration of a presentation device according to the third embodiment.
- Figures 23 and 24 are diagrams for explaining the presentation process according to the third embodiment.
- the storage unit 14 stores a dialogue act history 14i.
- the dialogue act history 14i is a history of dialogue acts and their speakers, and includes the speakers and dialogue acts of each utterance over a predetermined period of time in the past, such as the past 10 sentences or the past 50 seconds.
- the dialogue act history 14i may also include the content of each utterance.
- Figure 23 illustrates an example of the data configuration of the risk adjustment DB in this case.
- the risk adjustment DB 14h defines a risk value adjustment method using a combination of dialogue act and speaker, as illustrated in Figure 23.
- the risk value adjustment method is defined depending on whether the speaker of the past sentence is only s or includes speakers other than s.
- the risk value adjustment method is defined depending on whether questions, etc., from speakers other than speaker s or self-disclosure are included.
- the risk value adjustment method is specified as the calculated risk value r i ⁇ 1.25. This indicates that the risk is adjusted higher because there is no reaction from the listener and speaker s continues to talk alone.
- the risk value adjustment method is specified as the calculated risk value r i ⁇ 1.75. This indicates that the risk is adjusted higher because there is no reaction from the listener and speaker s continues to talk alone.
- the risk value adjustment method is specified to be the calculated risk value r i ⁇ 1.5, as in the risk adjustment DB 14 h illustrated in FIG. 12 .
- the risk value adjustment method for T's dialogue act "question (What)" when s is the only speaker in the past 10 sentences is specified as the calculated risk value r i ⁇ 1.5. This indicates that the risk is adjusted higher because there is no reaction from the listener and speaker s continues to talk alone.
- the method for adjusting the risk value when the speaker of the past 10 sentences in T's dialogue act ⁇ question (What)'' includes someone other than s is specified to be the calculated risk value r i ⁇ 1.25, as in the risk adjustment DB 14h illustrated in Figure 12.
- the risk value of T's dialogue act "Response (Yes/No)" is adjusted by the calculated risk value r i ⁇ 0, as in the risk adjustment DB 14h illustrated in FIG.
- the risk value adjustment method is specified as the calculated risk value r i ⁇ 1.5. This indicates that the risk is adjusted higher because there is no reaction from the listener and speaker s continues to talk alone.
- the risk value adjustment method is specified to be the calculated risk value r i ⁇ 1.25, as in the risk adjustment DB 14 h illustrated in FIG. 12.
- the risk value of T's dialogue act "backchannel" is adjusted by the calculated risk value r i ⁇ 0, as in the risk adjustment DB 14h illustrated in FIG.
- the risk value of T's dialogue act "filler" is adjusted by the calculated risk value r i ⁇ 0, as in the risk adjustment DB 14h illustrated in FIG.
- the risk value adjustment method is specified as the calculated risk value r i ⁇ 1.25. This indicates that the risk is adjusted higher because there is no reaction from the listener and speaker s continues to talk alone.
- the risk value adjustment method is specified as the calculated risk value r i ⁇ 1.75. This indicates that the risk is adjusted higher because there is no reaction from the listener and speaker s continues to talk alone.
- the risk value adjustment method is specified to be the calculated risk value r i ⁇ 1.5, as in the risk adjustment DB 14h illustrated in FIG. 12 .
- the method for adjusting the risk value when the past 10 sentences include a dialogue act "Question (Yes/No)" or “Question (What)” from a speaker other than speaker s is specified as the calculated risk value r i ⁇ 0.5. This indicates that the risk is adjusted to a lower value because the listener is asking a question and there is a high possibility that the misunderstanding will be resolved during the dialogue.
- the risk value is adjusted to the calculated risk value r i ⁇ 0.75. This indicates that a two-way dialogue is taking place with the listener, and there is a high possibility that misperceptions will be resolved during the dialogue, so the risk is adjusted to a lower value.
- Figure 24 illustrates an example of a presentation process for the expression "When you go to the zoo, take lots of pictures of giraffes" from the dialogue shown in Figure 24(a).
- the acquisition unit 15a acquires audio information of the expression that constitutes the dialogue, "When you go to the zoo, take lots of pictures of giraffes.”
- the calculation unit 15c calculates a risk value for the risk expression for each element that constitutes this expression, as illustrated in Figure 24(b).
- the discrimination unit 15d discriminates the dialogue act of the expression "When you go to the zoo, take lots of pictures of giraffes" as a "request.” Furthermore, the discrimination unit 15d stores a dialogue act history 14i, including the speaker, utterance content, and dialogue act, in the storage unit 14, as illustrated in FIG. 24(c).
- the adjustment unit 15e refers to the dialogue act history 14i and the risk adjustment DB 14h illustrated in FIG. 23, and adjusts the risk value of the risk expression as illustrated in FIG. 24(d).
- the risk value is adjusted based on condition numbers 15 and 16 in the risk adjustment DB 14h illustrated in FIG. 23.
- the presentation unit 15f presents intervention information expressed in risk terms (ambiguous terms) based on the adjusted risk value, as illustrated in Figure 24(e).
- the adjustment unit 15e may adjust the calculated risk value based on the appropriate amount of dialogue acts of each speaker, which is derived using the dialogue act history of each speaker. That is, the adjustment unit 15e may adjust the risk value according to the tendency of each user's dialogue acts, for example, if there is a significant deviation from the tendency, it may be considered an unusual dialogue act. This makes it possible to adjust the risk higher, for example, if a speaker who, on average, makes a lot of backchannel responses and has a small amount of speech.
- the storage unit 14 further stores an individual appropriate amount DB14k.
- the individual appropriate amount DB14k indicates the appropriate amount of dialogue acts for each user using each user's average dialogue acts calculated from each user's dialogue act history.
- Figure 25 is a schematic diagram illustrating the general configuration of a presentation device according to the fourth embodiment.
- Figures 26 to 28 are diagrams for explaining the fourth embodiment.
- the storage unit 14 stores the personal optimum amount DB 14k.
- the average dialogue act of each user is calculated from each user's dialogue act history 14i of the past 100 sentences, and the appropriate amount of dialogue act for each user is calculated using the calculated average dialogue act.
- the appropriate individual amount may be calculated from the average value and standard deviation for each user. Alternatively, instead of calculating it from an individual's past history, a value considered appropriate may be set. Also, different appropriate individual amount DBs 14k may be applied depending on the purpose of the interaction, such as information transmission, discussion, or reporting.
- the individual optimum amount is not limited to calculation from dialogue acts of the past 100 sentences, but may be calculated from dialogue acts over a predetermined period of time, such as 10 minutes, or from dialogue acts over the entire period from the start of the dialogue, or from dialogue acts of the past 100 sentences for each speaker.
- the history of previous dialogues between the same speaker combination may be referenced.
- the number may be corrected to a number per 100 sentences by multiplying the current number of occurrences of dialogue acts by (100/current number of sentences), etc.
- Figure 26 shows an example of the data structure of the personal appropriate amount DB.
- the personal appropriate amount DB 14k includes the average frequency and appropriate range (personal appropriate amount) of each dialogue act for each speaker in the dialogue.
- Figure 27 illustrates an example of the data configuration of the risk adjustment DB in this case.
- the risk adjustment DB 14h specifies risk adjustment methods for cases where each dialogue act of each speaker falls outside the appropriate range indicated in the personal appropriate amount DB 14k ( Figure 27(a)), and for other cases, i.e., cases where each dialogue act falls within the appropriate range indicated in the personal appropriate amount DB 14k ( Figure 27(b)).
- the risk value is adjusted higher than when it is within the appropriate range shown in Figure 27(b).
- Figure 28 illustrates an example of the presentation process for the expression "When you go to the zoo, take lots of pictures of giraffes" shown in Figure 28(a).
- the acquisition unit 15a first acquires the audio information of the expression that constitutes the dialogue, "When you go to the zoo, take lots of pictures of giraffes.”
- the calculation unit 15c then calculates the risk value of the risk expression for each element that constitutes this expression, as illustrated in Figure 28(b).
- the discrimination unit 15d discriminates the dialogue act of the expression "When you go to the zoo, take lots of pictures of giraffes" as a "request.” Furthermore, the discrimination unit 15d stores a dialogue act history 14i, including the speaker, utterance content, and dialogue act, in the storage unit 14, as illustrated in FIG. 28(c).
- the adjustment unit 15e counts the number of each speech act for each speaker, as illustrated in FIG. 28(d). Then, the adjustment unit 15e refers to the dialogue act history 14i and the risk adjustment DB 14h illustrated in FIG. 27, and adjusts the risk value of the risk expression, as illustrated in FIG. 28(e). In the example shown in FIG. 28(e), the dialogue act "request" is outside the appropriate range, so the risk value is adjusted based on condition number 9 in the risk adjustment DB 14h illustrated in FIG. 27.
- the presentation unit 15f presents intervention information expressed in risk terms (ambiguous terms) based on the adjusted risk value, as illustrated in Figure 28 (f).
- risk values based on ambiguous expressions are calculated, but this is not limiting.
- the presentation device 10 can calculate risk values for stereotyped expressions instead of or in addition to risk values based on ambiguous expressions.
- the calculation unit 15c calculates the risk values using information on risks based on stereotypes.
- risk variables p i1 to p i3 based on the risk expression dictionary 14a may be risk levels set from the perspective of stereotypes, ambiguous expressions, or risk types set from the perspective of stereotypes.
- the background common to the speakers, the degree of intensity or overlap of attributes, etc. may be applied as the risk variable p i4 using the relationship DB 14c or the risk variable p i5 using the social attribute DB 14d.
- the speaker's background, attributes, etc. may be applied as the risk variable p i6 using the individual characteristic DB 14e.
- the values of the risk variables p i4 and p i6 are set to be large.
- the speaker's background such as gender and age, is compared with the backgrounds of the parties in past trouble cases, and the risk variable p i6 is set based on the risk values in the past trouble cases. This enables the calculation unit 15c to calculate a risk value based on stereotypes.
- the memory unit 14 stores information regarding the risk of trouble for each expression that constitutes communication.
- the calculation unit 15c refers to the risk information stored in the memory unit 14 and calculates a risk value that represents the magnitude of risk for the expression that constitutes communication.
- the discrimination unit 15d discriminates dialogue acts, which are acts in a dialogue of the speaker's expression.
- the adjustment unit 15e adjusts the calculated risk value of the expression depending on the discriminated dialogue act of the speaker.
- the adjustment unit 15e adjusts the calculated risk value based on the history of combinations of multiple speakers and dialogue acts. This makes it possible to more accurately assess risk, for example, by estimating whether or not there are questions regarding risk expressions.
- the adjustment unit 15e adjusts the calculated risk value based on the appropriate amount of dialogue acts for each speaker, which is derived using the dialogue act history of each speaker. This makes it possible to more accurately evaluate risk by taking into account the dialogue act tendencies of each speaker.
- a program written in a computer-executable language may be created to execute the processes executed by the presentation device 10 according to the above embodiment.
- the presentation device 10 can be implemented by installing a presentation program that executes the above presentation process as package software or online software on a desired computer.
- the information processing device can function as the presentation device 10.
- the information processing device referred to here includes desktop and notebook personal computers.
- Other information processing devices also include mobile communication devices such as smartphones, mobile phones, and PHS (Personal Handyphone System) phones, as well as slate devices such as PDAs (Personal Digital Assistants), and xR and metaverse-related devices.
- the functions of the presentation device 10 may also be implemented on a cloud server.
- FIG. 29 shows an example of a computer that executes a presentation program.
- the computer 1000 includes, for example, memory 1010, a CPU 1020, a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These components are connected by a bus 1080.
- Memory 1010 includes ROM (Read Only Memory) 1011 and RAM 1012.
- ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
- Hard disk drive interface 1030 is connected to hard disk drive 1031.
- Disk drive interface 1040 is connected to disk drive 1041.
- a removable storage medium such as a magnetic disk or optical disk is inserted into disk drive 1041.
- a mouse 1051 and a keyboard 1052 are connected to serial port interface 1050, for example.
- a display 1061 is connected to video adapter 1060, for example.
- the hard disk drive 1031 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094.
- the information described in the above embodiment is stored, for example, in the hard disk drive 1031 or memory 1010.
- the presentation program is stored on the hard disk drive 1031, for example, as a program module 1093 in which instructions to be executed by the computer 1000 are written.
- the program module 1093 in which each process executed by the presentation device 10 described in the above embodiment is written is stored on the hard disk drive 1031.
- program data 1094 data used for information processing by the presentation program is stored as program data 1094, for example, on the hard disk drive 1031.
- the CPU 1020 then reads the program module 1093 and program data 1094 stored on the hard disk drive 1031 into the RAM 1012 as needed, and executes each of the procedures described above.
- the program module 1093 and program data 1094 related to the presentation program do not necessarily have to be stored on the hard disk drive 1031, but may be stored on a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1041 or the like.
- the program module 1093 and program data 1094 related to the presentation program may be stored in another computer connected via a network such as a LAN or WAN (Wide Area Network), and read by the CPU 1020 via the network interface 1070.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
提示装置(10)において、記憶部(14)が、コミュニケーションを構成する表現ごとのトラブルのリスクに関する情報を記憶する。算出部(15c)が、記憶部(14)に記憶されたリスクに関する情報を参照し、コミュニケーションを構成する表現のリスクの大きさを表すリスク値を算出する。判別部(15d)が、話者のコミュニケーションを構成する表現の対話における行為である対話行為を判別する。調整部(15e)が、判別された話者の対話行為に応じて、算出された前記表現のリスク値を調整する。
Description
本発明は、提示装置および提示方法に関する。
言語を介したコミュニケーションにおいて、曖昧な表現や高圧的な表現、固定観念に基づく表現等、相互尊重・相互理解を阻害しかねない表現が使われる場合がある。従来、曖昧表現の補正を促す技術が提案されている(非特許文献1参照)。
西條涼平 他3名,"相互尊重を支援するWeb会議ツールの研究開発 ―多様性尊重社会を目指して―",2023年電子情報通信学会総合大会,通信講演論文集2, 2023年,pp. SS-84~SS-85
しかしながら、従来技術によれば、コミュニケーションにおいて、発話の意図や対話の流れによるリスクの違いを考慮して使われた表現が内包するリスクを評価することは困難である。
上述した課題を解決し、目的を達成するために、本発明の提示装置は、コミュニケーションを構成する表現ごとのトラブルのリスクに関する情報を記憶する記憶部と、前記記憶部に記憶されたリスクに関する情報を参照し、コミュニケーションを構成する表現のリスクの大きさを表すリスク値を算出する算出部と、話者の前記表現の対話における行為である対話行為を判別する判別部と、判別された話者の前記対話行為に応じて、算出された前記表現のリスク値を調整する調整部と、を有することを特徴とする。
本発明によれば、コミュニケーションにおいて、発話の意図や対話の流れによるリスクの違いを考慮して使われた表現が内包するリスクを評価することが可能となる。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
[第1の実施形態]
[提示装置の概要]
本実施形態の提示装置は、任意のユーザが発話するなどの表現を行った際に、その都度コミュニケーションを構成する表現のリスクの大きさを表すリスク値を算出する。また、提示装置は、話者の要求、応答、質問などの対話における行為種別(対話行為)から推察される発話の意図や対話の流れに応じて、算出されたリスク値を調整する。
[提示装置の概要]
本実施形態の提示装置は、任意のユーザが発話するなどの表現を行った際に、その都度コミュニケーションを構成する表現のリスクの大きさを表すリスク値を算出する。また、提示装置は、話者の要求、応答、質問などの対話における行為種別(対話行為)から推察される発話の意図や対話の流れに応じて、算出されたリスク値を調整する。
そして、提示装置は、リスク値が所定の閾値以上の場合に、ユーザに対してリスクを通知する介入を行い、リスク表現の補正を促す。
ここで、介入とは、リスクを内包する表現(以下、リスク表現、または曖昧表現とも記す)に関する情報を提示することを意味する。また、以下、介入の際に提示する情報を介入情報と記す。
[提示装置の構成]
図1は、第1の実施形態の提示装置の概略構成を例示する模式図である。図1に例示するように、本実施形態の提示装置10は、パソコン等の汎用コンピュータで実現され、入力部11、出力部12、通信制御部13、記憶部14、および制御部15を備える。
図1は、第1の実施形態の提示装置の概略構成を例示する模式図である。図1に例示するように、本実施形態の提示装置10は、パソコン等の汎用コンピュータで実現され、入力部11、出力部12、通信制御部13、記憶部14、および制御部15を備える。
入力部11は、キーボードやマウス、カメラ、マイク等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部15に対して処理開始などの各種指示情報を入力する。出力部12は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部12には、後述する提示処理の結果が表示される。
通信制御部13は、NIC(Network Interface Card)等で実現され、LAN(Local Area Network)やインターネットなどの電気通信回線を介した外部の装置と制御部15との通信を制御する。例えば、通信制御部13は、各種情報を管理する外部の管理装置等と制御部15との通信を制御する。
記憶部14は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14には、提示装置10を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。なお、記憶部14は、通信制御部13を介して制御部15と通信する構成でもよい。
本実施形態において、記憶部14は、コミュニケーションを構成する表現ごとのトラブルのリスクに関する情報を記憶する。例えば、記憶部14は、リスクに関する情報として、利用状況に応じたリスクに関する情報を記憶する。例えば、記憶部14は、リスクに関する情報として、自装置全体で共通するマスター辞書と利用状況に対応する個別辞書を記憶する。例えば、記憶部14は、リスクに関する情報として、言語に含まれる単語によるトラブルのリスクに関する情報と、非言語の表現によるトラブルのリスクに関する情報とを記憶する。例えば、記憶部14は、非言語の表現によるトラブルのリスクに関する情報として、話速、発話量、文字数、音程、音量、動作量、動作速度および表情の変化量のうちのいずれか一つまたは複数によるトラブルのリスクに関する情報を記憶する。
例えば、記憶部14は、リスク表現辞書14aを記憶する。リスク表現辞書14aは、対話文を構成する各単語について、言語トラブルのリスクに関する情報を含む。具体的には、リスク表現辞書14aは、各単語の品詞、各単語が示す意味数、または各単語の示す意味の曖昧さのいずれか1つ以上のリスクに関する情報を含む。これらの情報は、後述する提示処理に先立って、あるいは提示処理の最中に、入力部11を介して、または各種情報を管理する管理装置等から収集され、記憶部14に記憶される。リスク表現辞書14aは、マスター辞書141とそれに従属する個別辞書142の組み合わせで構成される。
マスター辞書141は、個別の利用状況に関係なく全ての状況において共通するリスクに関する情報を含む。また、個別辞書142は、個別のドメインごとに設定されたリスクに関する情報を含む。なお、個別辞書142は、ドメインごとに設定されるものに限定されるものではなく、個人ごとに設定されてもよい。また、リスク表現辞書14aは、マスター辞書141と個別辞書142と基づいて、後述する個別辞書生成部15bにより生成されるものである。
ここで、図2は、マスター辞書のデータ構成を例示する図である。図3は、個別辞書のデータ構成を例示する図である。図4は、リスク表現辞書のデータ構成を例示する図である。また、図5は、リスク種別を説明するための図である。まず、図2~図4に例示するように、マスター辞書141、個別辞書142およびリスク表現辞書14aは、単語ごとに、品詞、意味、意味数、危険度、リスク種別等の情報項目を含む。
意味数とは、同一の単語について異なる意味の数である。加えて、同音異義語の数を加算してもよい。危険度は、例えば、品詞やリスク種別、業務との関連等を加味して、単語ごとにユーザが設定する値である。あるいは、危険度は、予め規定された曖昧語の分類表等に基づく値が適用されてもよい。
リスク種別は、例えば、曖昧さの分類の各クラスを示す1~7の範囲の値である。ここで、図5には、曖昧さの7クラスの分類が例示されている。例えば、複数の意味をもつ単語には、リスク種別=1が設定される。
なお、マスター辞書141、個別辞書142およびリスク表現辞書14aには、各単語の文中での重要度等、利用中に動的に変化する情報項目が含まれていてもよい。例えば、後述する提示処理で算出されたリスク値が高い単語について、重要度が高くない場合には、リスク値が低く算出されるように個別に設定可能であってもよい。
また、マスター辞書141、個別辞書142およびリスク表現辞書14aは、単語ごとの情報項目に限定されず、複数の単語で構成される一まとまりの表現ごとの情報項目であってもよい。この場合の表現には、例えば、「笑顔」、「怒り顔」等といった表情の言葉による表現等が含まれてもよい。
また、記憶部14は、非言語リスク表現DB(Data Base)14b、関係性DB14c、社会属性DB14d、個人特性DB14e、コミュニケーション履歴DB14fを記憶する。非言語リスク表現DB14bは、コミュニケーションを構成する非言語の表現のトラブルのリスクに関する情報を記憶する。
ここで、図6を用いて、非言語リスク表現DB14bのデータ構成例について説明する。図6は、非言語リスク表現DBのデータ構成を例示する図である。図6に例示するように、非言語リスク表現DB14bは、ユーザごとの各モーダルに関する非言語リスクの情報を保持するDBである。なお、非言語リスク表現DB14bは、全体で1つのDBとしてもよいし、ユーザ個人ごとに作成し利用してもよいし、リスク表現辞書と同様にマスター辞書と個別辞書を持つ構成とし、個人ごとの調整については個別辞書を用いて対応する形式としてもよい。以下では、ユーザ個人ごとに作成される例を示すものとする。
非言語リスク表現DB14bは、非言語リスクの情報として、「リスク要素」、「算出方式」、「リスク閾値」および「リスク重要度」を含む。「リスク要素」は、各モーダルにおいてユーザにとってリスクとなり得る情報要素を示す。「算出方式」は、後述する非言語リスク算出部152でリスク要素を定量化してリスク値を算出する際の計算方式を示す。
「リスク閾値」は、算出方式に基づいて算出された値がユーザにとって高リスクとなるか否を判定するための閾値である。「リスク閾値」はDBの各行に対し複数(例えば、上限と下限など)設定されてもよい。「リスク閾値」は、上記例では方式に応じた単位(例えば、「Hz」など)を持つ値を示しているが、事前に得られた情報(例えば、ユーザの可聴域の上限と下限など)を用いて正規化(0.0~1.0)あるいは、標準化された値を用いてもよい。この場合には、各算出方式の計算結果も正規化あるいは標準化された値となる。また、「リスク閾値」は、ユーザが表現を受け取る側とした場合の、受信者としてのリスク閾値とユーザが表現を行う場合の発信者としてのリスク閾値のいずれか一つ、あるいは、両方を持ってもよい。「リスク重要度」は、各行のリスク要素のユーザごとの重要度であり、値が大きいほどその要素がミスコミュニケーションに繋がる可能性が高い。
関係性DB14cは、話者同士の関係性に関する情報を含む。社会属性DB14dは、発話者および対話者の社会属性を表す情報を含む。個人特性DB14eは、発言に関する話者の特性を表す情報を含む。コミュニケーション履歴DB14fは、対話履歴を含む。これらの情報は、後述する提示処理に先立って、あるいは提示処理の最中に、入力部11を介して、または各種情報を管理する管理装置等から収集され、記憶部14に記憶される。
ここで、図7は、関係性DBのデータ構成を例示する図である。図7に例示するように、関係性DB14cは、ユーザごとに、特定の相手ユーザとの関係性を表す情報項目として、関係性スコア、関係性情報、業務外交流等を含む。図7には、ユーザIDが002のユーザの関係性DB14cが例示されている。
関係性スコアは、0.0~1.0の範囲の値をとり、1に近いほど親密な関係であることを表し、0に近いほど疎遠な関係であることを表す。例えば、対話の頻度が高い相手ユーザは親密な関係になることから、関係性スコアは、後述するコミュニケーション履歴DB14fにおける対話頻度を用いて算出されてもよい。あるいは、関係性スコアは、後述する社会属性DB14dの役職を参照して、同一の役職であれば0.5、社長と平社員というように役職間の距離が離れると0.1というように設定されてもよい。または、関係性スコアは、後述するコミュニケーション履歴DB14f、社会属性DB14d、個人特性DB14eの情報項目を参照して、総合的に算出されてもよいし、企業の社風や本人のBig5等の性格の評価値等を用いた相性から算出されてもよい。
関係性情報は、ユーザからみた特定の相手ユーザとの業務上の関係を表し、例えば、同部署上司との関係等である。業務外交流とは、業務外での交流の有無を表す。
図8は、社会属性DBのデータ構成を例示する図である。図8に例示するように、社会属性DB14dは、発話者および対話者の社会属性すなわち社会的な立場を表す情報項目として、所属、役職、在籍年数等を含む。社会属性DB14dは、対話の話題あるいは場面ごとに設定される。図8には、ビジネス話題における社会属性DB14dが例示されている。
図9は、個人特性DBのデータ構成を例示する図である。図9に例示するように、個人特性DB14eは、ユーザごとに、各発言に関する話者の特性を表す情報項目として、頻度、利用状況の一致度、頻出する際の話題、リスク値に対する評価等が含まれる。
頻度は、当該発言の発生頻度を表す0.0~1.0の範囲の値である。利用状況の一致度とは、当該発言が発生する話題の一致度を表す0.0~1.0の範囲の値である。リスク値に対する評価とは、当該単語に対して算出されたリスク値の履歴に対するユーザによる自己評価を表す0.0~1.0の範囲の値であり、値が大きいほどリスク値が適切との評価が高いことを意味する。
図10は、コミュニケーション履歴DBのデータ構成を例示する図である。図10に例示するように、コミュニケーション履歴DB14fは、対話履歴を表し、発言ごとに、発言ID、ユーザID、時刻、発言内容、リスク値、話題、対話相手ID、ミスコミュニケーション記録等の情報項目を含む。
リスク値は、後述する提示処理により過去に算出されたリスク値である。話題は、当該発言がなされた会話の概要を示すラベルであり、これにより適切な社会属性DB14dが選択される。ミスコミュニケーション記録は、当該発言に起因するトラブルの記録の有無を示す。
なお、コミュニケーション履歴DB14fは、映像データ等による表情等の非言語コミュニケーション表現を含んでもよい。
また、記憶部14は、対話行為一覧14g、リスク調整DB14hを記憶する。
図11は、対話行為一覧のデータ構成を例示する図である。対話行為一覧14gは、対話行為の一覧を表す。ここで、対話行為とは、処理対象の表現の対話における行為の分類種別を表す情報であり、発話の意図や対話の流れが推察される。図11に示す例では、対話行為は、自己顕示、質問(Yes/No)、質問(What)、応答(Yes/No)、応答(平叙)、あいづち、フィラー、確認、要求に分類されている。
図12は、リスク調整DBのデータ構成を例示する図である。リスク調整DB14hは、処理対象の表現の対話行為とリスク値の調整方法とを対応づけた情報である。図12に示す例では、例えば、対話行為「質問(Yes/No)」のリスク値の調整方法は、算出されたリスク値ri×1.5とすることが規定されている。これは、対話相手が質問内容を誤って認識した場合、コミュニケーションエラーが生じ、また、対話相手が誤った認識で発話内容を認識していても、その回答(はい/いいえ)からは誤りに気づきにくいため、曖昧表現(リスク表現)のリスクをより大きく評価することを表している。
また、対話行為「質問(What)」のリスク値の調整方法は、算出されたリスク値ri×1.25とすることが規定されている。これは、対話相手が質問内容を誤って認識した場合、コミュニケーションエラーが生じるため、曖昧表現(リスク表現)のリスクをより大きく評価することを表している。
また、対話行為「応答(Yes/No)」のリスク値の調整方法は、算出されたリスク値ri×0とすることが規定されている。これは、簡易な応答自体に曖昧さはないため、リスクなしと評価することを表している。
また、対話行為「応答(平叙)」のリスク値の調整方法は、算出されたリスク値ri×1.25とすることが規定されている。これは、質問への応答を誤って認識した場合、コミュニケーションエラーが生じるため、曖昧表現(リスク表現)のリスクをより大きく評価することを表している。
また、対話行為「あいづち」のリスク値の調整方法は、算出されたリスク値ri×0とすることが規定されている。これは、あいづち自体が重要な意味を持たないため、リスクなしと評価することを表している。
また、対話行為「フィラー」のリスク値の調整方法は、算出されたリスク値ri×0とすることが規定されている。これは、フィラー自体が重要な意味を持たないため、リスクなしと評価することを表している。
また、対話行為「要求」のリスク値の調整方法は、算出されたリスク値ri×1.5とすることが規定されている。これは、対話相手が要求内容を誤って認識した場合、コミュニケーションエラーが生じ、また、対話相手が誤った認識のまま要求に応じた場合、重大なエラーとなり得るため、曖昧表現(リスク表現)のリスクをより大きく評価することを表している。
なお、リスク調整DB14hのリスク値の調整方法は、上記に限定されず、例えば、加算・減算等、リスク値の大きさを変更する関数が適用されてもよい。あるいは、リスク調整DB14hでは、リスク値の調整に変えて、提示方法との紐づけの変更が規定されてもよい。例えば、リスク値大の表現は赤字、リスク値中の表現はオレンジ字で提示するところ、リスク値大の表現をオレンジ字、リスク値中の表現を赤字で提示するというような提示方法の変更が規定されてもよい。
図1の説明に戻る。制御部15は、CPU(Central Processing Unit)等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部15は、図1に例示するように、取得部15a、個別辞書生成部15b、算出部15c、判別部15d、調整部15eおよび提示部15fとして機能して、提示処理を実行する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。また、制御部15は、その他の機能部を備えてもよい。
取得部15aは、処理対象のコミュニケーションを構成する表現を取得する。ここで、「処理対象のコミュニケーションを構成する表現」とは、言語または非言語によるコミュニケーションを構成する表現である。例えば、取得部15aは、言語によるコミュニケーションを構成する表現として、処理対象の対話文を構成する単語を取得する。具体的には、取得部15aは、入力部11あるいは通信制御部13を介して、処理対象の対話文の入力を受け付けて、形態素解析を行って対話文を構成する単語を抽出する。
また、例えば、取得部15aは、非言語によるコミュニケーションを構成する表現として、内蔵のカメラやマイク、キーボードなどを用いて、処理対象の発話を含む音声データまたは処理対象の身体動作および表情を含む画像データや動画データを取得する。
なお、取得部15aは、後述する提示処理に先立って取得した表現を記憶部14に記憶させてもよい。あるいは、取得部15aは、これらの情報を直ちに算出部15cに転送してもよい。また、取得部15aは、対話状況として該当する個別の利用状況を取得するようにしてもよい。
また、取得部15aは、処理対象の表現における話者の対話行為を判別するための情報を取得してもよい。例えば、取得部15aは、音声対話の言語情報以外に、音声情報を取得する。また、取得部15aは、音声情報にあわせて、発話内容および発話文章の開始時刻を取得してもよい。
個別辞書生成部15bは、リスクに関する情報として、利用状況に応じたリスクに関する情報を生成し、当該リスクに関する情報を記憶部14に格納する。例えば、個別辞書生成部15bは、必要な情報をユーザあるいは記憶部14内の各DBから取得して、個別辞書142を生成する。なお、個別辞書生成部15bは、図1では、制御部15の一部としているが、記憶部14で持つこともでき、その場合は生成に必要なユーザからの入力は制御部15を介してユーザから取得し、各DBからの情報は記憶部14内部で直接取得する。
個別辞書生成部15bは、マスター辞書141について個別の調整を必要とする個人あるいは集団の代表者などによって手動で必要な値を設定して、設定された値に基づいて、個別辞書142を生成することができる。
また、個別辞書生成部15bは、コミュニケーションの終了後(例えば、発話終了後や会議終了後など)にユーザがリスクの評価結果に対してフィードバックを行いその結果を個別辞書に反映する、あるいは、個人特性DB14eへのユーザのフィードバック結果を取得し個別辞書を更新するなど、随時ユーザからのフィードバックを取得して自動的に更新してもよい。
また、個別辞書生成部15bは、個別辞書142は特定のメンバ間(あるいは作業ドメイン内)に特化したものを生成する際には関係性DB14cやコミュニケーション履歴DB14fから取得した集団の傾向を用いて自動的に生成するようにしてもよい。例えば、個別辞書生成部15bは、特定のメンバ間でのコミュニケーション履歴DB14fに「特定の語」が頻出しかつメンバ間の関係性スコアが高い(つまり親密な関係)の場合には「特定の語」のリスク値が下がるように個別辞書を生成するようにしてもよい。
また、個別辞書生成部15bは、コミュニケーションに参加するメンバの社会属性DB14dと個人特性DB14eを用いて、特定の年代や役職の相手に対する表現のリスクを加味できるように個別辞書142を自動生成してもよい。例えば、個別辞書生成部15bは、勤続年数15年以上のメンバ(ベテラン)と3年以内のメンバ(若者)がいる際に、3年以内のメンバの方が年齢が若いと仮定して、若いメンバが多用する表現(若者言葉)やベテランが多用する砕けた表現(少し荒いように感じる表現)のリスクが高くなるような個別辞書をユーザ双方に合わせて生成するようにしてもよい。
また、個別辞書生成部15bは、マスター辞書141と個別辞書142とを統合してリスク表現辞書14aを作成してもよい。例えば、個別辞書生成部15bは、マスター辞書141と個別辞書142を比較し、マスター辞書141と個別辞書142との両方に含まれる単語であって、当該単語の危険度がマスター辞書141よりも個別辞書142の方が低い場合には、当該単語をリスク表現辞書14aから削除する。また、個別辞書生成部15bは、マスター辞書141に無い単語であって、個別辞書142にある単語があった場合には、当該単語をリスク表現辞書14aに追加してもよい。
ここで、図13および図14は、個別辞書生成部の処理を説明するための図である。例えば、個別辞書生成部15bは、図13に例示するように、マスター辞書141と個別辞書142を比較し、マスター辞書141と個別辞書142との両方に含まれる単語「殺す」であって、当該単語「殺す」の危険度がマスター辞書141よりも個別辞書142の方が低い場合には、当該単語をリスク表現辞書14aから削除する。また、図13に例示するように、個別辞書生成部15bは、マスター辞書141に無い単語であって、個別辞書142にある単語である単語「たぶん」があった場合には、当該単語「たぶん」をマスター辞書141に不足する単語として、リスク表現辞書14aに追加する。
また、個別辞書生成部15bは、マスター辞書141と個別辞書142を比較し、各値(意味数、危険度、リスク種別など)が異なる場合には、個別辞書142の値を適用してもよい。また、個別辞書生成部15bは、マスター辞書141に無い単語であって、個別辞書142にある単語があった場合には、当該単語をリスク表現辞書14aに追加してもよい。
例えば、個別辞書生成部15bは、図14に例示するように、マスター辞書141と個別辞書142を比較し、単語「殺す」の「危険度」が異なる場合には、個別辞書142の危険度「2」を適用する。また、図14に例示するように、個別辞書生成部15bは、マスター辞書141に無い単語であって、個別辞書142にある単語である単語「たぶん」があった場合には、当該単語「たぶん」をマスター辞書141に不足する単語として、リスク表現辞書14aに追加する。
また、個別辞書生成部15bは、複数の個別辞書142がある場合には、個別辞書142に重みづけを行い、重みが高いものの設定値を優先してリスク表現辞書14aに適用するように統合することができる。また、個別辞書生成部15bは、生成されたリスク表現辞書14aは記憶部14あるいは制御部15に保存し、同一あるいは類似の状況でコミュニケーションを行う際に再利用してもよいし、コミュニケーションの開始時に都度生成してもよい。なお、リスク表現辞書14aの統合処理は、記憶部14側で行ってもよい。
算出部15cは、記憶部14に記憶されたリスクに関する情報を参照し、入力されたコミュニケーションを構成する表現のリスクの大きさを表すリスク値を算出する。例えば、算出部15cは、表現を行ったユーザの利用状況に対応するリスクに関する情報を記憶部14から取得し、当該リスクに関する情報を参照し、リスク値を算出する。例えば、算出部15cは、利用状況に応じてマスター辞書141と個別辞書142を統合してリスク表現辞書14aを生成し、当該リスク表現辞書14aを参照し、リスク値を算出する。算出部15cは、言語リスク算出部151および非言語リスク算出部152を有する。
言語リスク算出部151は、表現を行ったユーザの利用状況に対応するリスク表現辞書14aを記憶部14から取得し、当該リスクに関する情報を参照し、リスク値を算出する。つまり、言語リスク算出部151は、記憶部14に記憶されたリスク表現辞書14aのうち、入力されたコミュニケーションの利用状況に対応するリスク表現辞書14aを参照し、入力された対話文を構成する各単語のリスクの大きさを表すリスク値を算出する。ここで、リスク値は、文章中に現れる単語ごとに、あるいは文章全体について、言語トラブルすなわちミスコミュニケーション発生のリスクの大きさの推定値を示す。言語リスク算出部151は、リスク表現辞書14aに含まれるリスクに関する情報から導出されるリスク変数を用いて、リスク値を算出する。
ここで、リスク変数は、例えば、単語の品詞や危険度に基づいて導出される。あるいは、リスク変数は、単語の意味数に基づいて導出される。または、リスク変数は、リスク種別に基づいて導出される。なお、例えば、話者同士の関係性に関する情報に基づく文脈に関するリスク変数は使用しないものとする。
また、言語リスク算出部151は、リスク表現辞書14aの情報の単位となっている、複数の単語で構成される一まとまりの表現ごとにリスク値を算出してもよい。この場合の表現には、例えば、「笑顔」、「怒り顔」等といった表情の言葉による表現等が含まれてもよい。
言語リスク算出部151は、所定の重み付けを行った複数のリスクに関する情報の積を用いてリスク値を算出する。具体的には、言語リスク算出部151は、次式(1)により、文章中のi番目の単語のリスク値riを算出する。
ここで、単語の品詞や危険度に基づくリスク変数pi1は、例えば、大きいほどリスクが高いことを示す1~3の3段階の値をとる。例えば、品詞が形容詞や副詞等の修飾語である場合には、曖昧でリスクが高いため3とし、指示語では2、その他は1とする。または、危険度をそのまま適用したり、品詞に基づく値と危険度の値とを組み合わせて用いたりしてもよい。
また、単語の意味数に基づくリスク変数pi2は、例えば、リスク表現辞書14aに登録されている値をそのまま適用してもよいし、リスク変数pi1と同様に、3段階程度の値に分類された値でもよい。
また、単語のリスク種別に基づくリスク変数pi3は、例えば、業務場面に精通したユーザによる値が設定されてもよい。また、リスク種別は、図5のように例えば7段階で定義されるものとし、これらの重要度を加味して、複数段階の値を持つリスク変数を設定してもよい。
また、リスク値riは、0.0より大きい値をとるように、重み変数w1~w3およびリスク変数pi1~pi3が調整される。
ここで、図15は、言語リスク算出部の処理を説明するための図である。図15(1)には、単語のリスク種別に基づくリスク変数pi3として、レベル1~3の3段階で定義された危険度が例示されている。この例示された危険度を誤解リスクとし、誤解リスクは図5の1,3,4の重要度が高いものとして、それらに該当するものほどリスクが高くなる変数の例である。また、図15(2)には、単語の意味数に基づくリスク変数pi2が例示されている。
そして、図15(3)には、i番目の単語の品詞pi1、意味数pi2、誤解リスクpi3を用いたリスク値riの算出例が示されている。ここで、図15(3)に示す例では、品詞pi1の重み変数1(w1)を0として、品詞pi1の影響を抑えて意味数pi2および誤解リスクpi3によりリスク値riが算出されている。
なお、図15(3)に示す例では、リスク値riが0となることを防ぐため、品詞pi1×重み変数1(w1)、意味数pi2×重み変数2(w2)、誤解リスクpi3×重み変数3(w3)のそれぞれに1が加算された上で乗算されている。
図1の説明に戻る。言語リスク算出部151は、所定の重み付けを行った複数のリスクに関する情報の和を用いてリスク値を算出してもよい。例えば、言語リスク算出部151は、次式(2)により、文章中のi番目の単語のリスク値riを算出する。
この場合には、各リスク変数pi1~pi3は0.0~1.0に正規化された値とし、重み変数w1~w3は0.0~1.0の範囲の値とする。これにより、算出されるリスク値riも0.0~1.0の範囲の値となり、リスク値間の比較が容易に可能となる。
言語リスク算出部151は、さらに話者同士の関係性に関する情報、発話者および対話者の社会属性を表す情報、話者の特性を表す情報、または対話履歴のいずれか1つ以上を用いて、リスク値を算出してもよい。例えば、言語リスク算出部151は、関係性DB14c、社会属性DB14d、個人特性DB14e、またはコミュニケーション履歴DB14fのいずれかを参照してリスク値を算出する。これにより、文脈を考慮したリスク値を算出することが可能となる。
この場合に、言語リスク算出部151は、例えば、次式(3)により、文章中のi番目の単語のリスク値riを算出する。
ここで、リスク変数pi1~pi3は、上記式(1)と同様である。また、重み変数w1~w7は0.0~1.0の範囲の値とする。また、算出されるリスク値riは0.0より大きい値をとるように、重み変数w1~w7およびリスク変数pi1~pi7が調整される。
ユーザ間の関係性に基づくリスク変数pi4は、例えば、関係性DB14cの関係性スコアを1から引いた値としてもよいし、業務外交流がありの場合に1、なしの場合に2として、1から関係性スコアを引いた値との積としてもよい。このようにして算出することにより、リスク変数pi4は、関係性が希薄であるほど大きい値となり、リスク値が大きくなる。
社会属性に基づくリスク変数pi5は、例えば、社会属性DB14dの在籍年数のユーザ間での差としてもよいし、役職が上位職であるほど大きい値として数値化し、対話中のユーザ間の数値化された役職の差としてもよい。このようにして算出することにより、リスク変数pi5は、在籍年数や職位等の組織内の立場の差が大きいほど大きい値となり、リスク値が大きくなる。
あるいは、上記のようにして算出したリスク変数pi4とリスク変数pi5との積または和を、リスク変数pi4およびリスク変数pi5として代替してもよい。
個人特性に基づくリスク変数pi6は、例えば、個人特性DB14eの利用状況の一致度を1から引いた値としてもよいし、利用状況の一致度の逆数としてもよい。あるいは、リスク変数pi6は、個人特性DB14eの頻度としてもよいし、1から利用状況の一致度を引いた値と頻度との積としてもよい。
対話履歴に基づくリスク変数pi7は、例えば、コミュニケーション履歴DB14fのリスク値としてもよいし、リスク値とミスコミュニケーション記録を数値化した値(ありの場合は2、なしの場合は1)との積としてもよい。あるいは、業務への関係が深いほどコミュニケーションの齟齬のリスクが大きいと仮定して、リスク変数pi7は、話題の業務との関係性等を数値化した値として、業務との関係が深いほど大きくなるように設定してもよい。例えば、企業戦略に関わる極秘情報は1、一般的な社内情報は0.5、業務後のリクリエーションイベントに関する公開情報は0.1等とする。
または、言語リスク算出部151は、次式(4)により、文章中のi番目の単語のリスク値riを算出してもよい。
ここで、リスク変数pi1~pi7は、上記式(3)と同様の値が0.0~1.0に正規化された値とし、重み変数w1~w7は0.0~1.0の範囲の値とする。
なお、リスク変数pi1~pi7の値は上記に限定されない。例えば、上記の記憶部14の各情報(14a~14f)に所定の情報項目を追加登録することにより、以下に例示するような値が適用されてもよい。
例えば、リスク表現辞書14aを用いるリスク変数pi1~pi3として、その単語によるミスコミュニケーションの発生度合い、その単語でミスコミュニケーションが発生した際の危険度、一般的な会話におけるその単語の出現頻度等が適用されてもよい。
また、関係性DB14cを用いるリスク変数pi4または社会属性DB14dを用いるリスク変数pi5として、話者同士の共通する背景、属性の濃さの度合いや重なり度合い、話者同士の共通認識の割合、話者同士の人間関係等が適用されてもよい。
また、個人特性DB14eを用いるリスク変数pi6として、話者のもつ背景、属性、過去の発言に対して算出されたリスク値に対する評価等が適用されてもよい。
また、コミュニケーション履歴DB14fを用いるリスク変数pi7として、現在の対話で出現回数が多い単語、過去の対話で出現回数が多い単語、過去の対話でミスコミュニケーションが発生した単語や共通認識が得られた単語等が適用されてもよい。
さらには、リスク値の算出方法は、上記の記憶部14の各情報(14a~14f)を用いる場合に限定されない。例えば、対話中に収集可能な以下に例示する情報を併用してリスク値が算出されてもよい。
例えば、リスク値は、表情、脳波、視線等の生体信号の分析結果と、コミュニケーション履歴DB14fの発言内容等とを併用して算出されてもよい。また、当事者の医学的もしくは客観的な体調変化の評価値がリスク変数として追加で適用されてもよい。
あるいは、対話後に発生したトラブルの深刻度をフィードバックして、リスク表現辞書14aの危険度または重要度、あるいはコミュニケーション履歴DB14fのリスク値に反映させてもよい。このトラブルの深刻度をユーザの主観により評価して、リスク表現辞書14aの危険度または重要度に反映させてもよい。また、これらの情報が併用されてもよい。
また、上記の重み変数w1~w7は、各リスク変数の影響を調整する変数であって、リスク値算出の処理対象の対話の話題や参加者に応じて設定される。例えば、曖昧な発言の意味の推察が苦手な参加者がいる場合に、重み変数w1~w3の値を大きくすることにより、リスク表現辞書14aの値がリスク値に強く反映されるようになる。
また、頻繁に開催される会議で参加者が互いに発言の背景の理解が深い場合には、コミュニケーション履歴DB14fの値に対する重み変数w7を大きくする。これにより、出現頻度の高い表現や業務との関連が深い表現に基づくリスク変数の値がリスク値に強く反映されるようになる。
また、上司と部下との1対1の対話等の特定の関係性がある場合には、重み変数w4、w5の値を大きくすることにより、関係性DB14cに基づくリスク変数pi4、社会属性DB14dに基づくリスク変数pi5の値がリスク値に強く反映されるようになる。
また、特定の優れた技能をもつ話者同士の対話等、その個人に固有の発言や表現が含まれる場合には、重み変数w4、w6の値を大きくすることにより、関係性DB14cに基づくリスク変数pi4、個人特性DB14eに基づくリスク変数pi6の値がリスク値に強く反映されるようになる。
また、重み変数w1~w7は、直前の対話や議論における合意形成の質の判断や、過去の対話に対する満足度の測定結果、会話のテーマとなっている話題についての熟練度の測定結果等により、動的に調整されてもよい。
上記式(1)~式(4)で算出された各単語のリスク値を用いて、文全体あるいは複数単語による一まとまりの表現(例えば、句や節など)のリスクを算出することもできる。その際には、各文に含まれる単語に対して算出されたリスク値riの平均値を文のリスク値としてもよい。また、リスク値r1~rNの各値にリスク表現辞書14aの危険度や重要度あるいは事前に設定した値に基づく重み付けを行った値の加重平均を算出し、文のリスク値としてもよい。その他、リスク値riの総和、積などを用いることもできる。
非言語リスク算出部152は、記憶部14の非言語リスク表現DB14bに含まれるリスクに関する情報を参照し、入力された非言語表現に関するデータのリスクの大きさを表すリスク値を算出する。例えば、非言語リスク算出部152は、表現を行ったユーザの利用状況に対応するリスクに関する情報を記憶部14の非言語リスク表現DB14bから取得し、当該リスクに関する情報を参照し、リスク値を算出する。
ここで、非言語リスク算出部152によるリスク値算出方法について説明する。まず、非言語リスク算出部152は、下記(5)式を用いて、各算出方式の計算結果を得る。Pijは、一連の表現中i番目の表現について算出方式jの計算結果である。また、fj(xm)は、算出方式jに応じた計算を行う関数である。また、iは、一連の表現の中で何番目の表現かを示す添え字(例えば、会話であれば、何ターン目、何単語目など)である。また、jは、算出方式を示す添え字である。xmは、リスク要素mに関するPijを算出するための変数であり、fjに応じて複数の値で構成される場合もある。mは、リスク要素を示す添え字である。
上述の算出方式については、各表現のリスク要素によって異なる。例えば、非言語リスク算出部152は、音声データのリスク要素「話速」については、算出方式として「文字数/発話時間」により値を算出する。また、例えば、非言語リスク算出部152は、音声データのリスク要素「発話量」については、算出方式として「一回の発話における文字数」を算出する。また、例えば、非言語リスク算出部152は、音声データのリスク要素「音程」については、算出方式として「発話音声の周波数の平均値」または「発話音声の周波数の分散(変化の幅)」を算出する。また、例えば、非言語リスク算出部152は、音声データのリスク要素「音量」については、算出方式として「発話音声の音量(音声波形の振幅)の平均値」または「発話音声の音量(音声波形の振幅)の最大値」を算出する。
また、例えば、非言語リスク算出部152は、テキストデータのリスク要素「文字数」については、算出方式として「一回のメッセージにおける文字数」を算出する。また、例えば、非言語リスク算出部152は、ユーザの身体動作に関する動画データのリスク要素「動作量」については、算出方式として「手先や頭部など末端部位の移動量」を算出する。また、例えば、非言語リスク算出部152は、ユーザの身体動作に関する動画データのリスク要素「速度」については、算出方式として「手先や頭部など末端部位の移動速度」を算出する。また、例えば、非言語リスク算出部152は、ユーザの表情に関する画像データのリスク要素「変化量」については、算出方式として「真顔状態から特徴点の移動量の平均値」または「真顔状態から特徴点の移動量の最大値」を算出する。ここで、表情については、市中技術(表情による感情推定)などから得られる感情情報を用いる(例えば、負の感情の有無や頻度の高低を見て、リスクの影響として加味するなど)。
例えば、非言語リスク算出部152は、話速、発話量については、マイクにより取得された音声を用いて音声認識を行い得られたテキストを用いて算出する。また、例えば、非言語リスク算出部152は、文字数については、キーボードなどの入力装置から入力され、送信されたメッセージの文字数から算出する。また、例えば、非言語リスク算出部152は、音程、音量に関してはマイクにより取得された音声の波形を解析することで算出する。
また、例えば、非言語リスク算出部152は、ため息や舌打ちといった特定のリスク表現も事前に生成した算出モデルを用いて音声波形から算出することができ、その発生の有無や発生頻度などの導出方法を算出方式として活用してもよい(例えば、発生の検出には、特徴的な波形のパターンマッチングを行う、あるいは事前に機械学習を行った推定モデルを用いる)。
そのほか、例えば、非言語リスク算出部152は、発話の抑揚のつけ方(急に声を大きくする、高くする、年代特有の抑揚など)についても、特定の発話パターンとして事前学習したモデルを用いて算出しその発生の有無、頻度などの導出方法を算出方式として活用してもよい。例えば、非言語リスク算出部152は、急な大声や高音での発声を感情的な表現として検知し、その発生を非言語リスク値とする、あるいは、若者特有のイントネーションのつけ方を検知し年上の聞き手のイントネーションとの差異(波形の類似度など)を算出し年上の聞き手の非言語リスク値としてもよい。
また、例えば、非言語リスク算出部152は、動作、表情については、カメラにより取得された映像を用いて、既存の特徴点抽出手法を用いて算出された特徴点(手先や頭部の座標、顔の任意の特徴点の座標)を用いて算出してもよい。なお、ここまで、ノートPCに内蔵されている入力装置を前提に記載したが、ユーザ端末に接続(有線、無線は問わない)された任意の専用機器(例えば、モーションキャプチャーデバイスやフェイシャルトラッカーなど)を利用してもよい。
そして、非言語リスク算出部152は、下記(6)式により、各算出方式で算出された値が、リスク閾値の範囲に入っているか否かを判定し、非言語リスク値r´ijとする。非言語リスク値r´ijは、一連の表現中i番目の表現について算出方式jを用いて算出された非言語リスク値である。また、αj,βjは、算出方式jに対応するリスク閾値である。なお、リスク閾値は、1つであっても複数であってもよい。
また、非言語リスク算出部152は、非言語リスク値r´ijの算出として、下記(7)式により、各算出方式で算出された値とリスク閾値の差の絶対値をとり、非言語リスク値r´ijとしてもよい。
また、非言語リスク算出部152は、非言語リスク値r´ijの算出として、下記(8)式により、各算出方式で算出された値をリスク閾値で割り、商が1.0から離れるほど非言語リスク値が大きくなるようにして得られた値を非言語リスク値r´ijとしてもよい。(6)式~(8)式のいずれかで求めた非言語リスク値のうち、いずれかひとつあるいは複数を非言語リスクの総合評価値Riとして用いることができる。総合評価値Riは、一連の表現中i番目の表現に関する非言語リスクの総合評価値である。
例えば、非言語リスク算出部152は、下記(9)式により、各算出方式で算出された値に重みをかけた値の和をとり非言語リスクの総合評価値Riとしてもよい。ここでwjは、各リスク変数の影響度調整する重み変数であり、Nは、非言語リスク値の算出に利用する算出方式の数である。
また、例えば、非言語リスク算出部152は、下記(10)式により、各算出方式で算出された値に重みをかけた値の積をとり非言語リスクの総合評価値Riとしてもよい。なお、i、j、m、Nは、0より大きい整数とする。
また、例えば、非言語リスク算出部152は、非言語リスクの総合評価値Riを、言語リスク算出部151により算出されたリスク値と組み合わせる、あるいは、算出式の項の一つとして利用し、言語、非言語の両側面でのリスクを内包するリスク値を新たに計算してもよい。
また、例えば、非言語リスク算出部152は、上述した(6)式~(8)式を用いて、非言語リスク値の総合評価を算出する場合、リスク重要度が大きいもの(例えば、一定の閾値以上、あるいは上位3つなど)を総合評価値に採用する非言語リスク値r´ijとして選択できる。また、例えば、非言語リスク算出部152は、上述した(9)式、(10)式においては重み係数wjに各算出方式に対応するリスク重要度を用いることができる。
また、例えば、非言語リスク算出部152は、関係性DB14cや社会属性DB14dの値に基づき重み係数wjを調整してもよい。例えば、非言語リスク算出部152は、関係性が親密でない、組織内の所属期間の長さや立場の違いが大きい場合に、一定の割合で重み係数wjの値が大きくなるように調整し、算出される非言語リスク値の総合評価が大きくなるようにする。
また、例えば、非言語リスク算出部152は、対話に参加しているユーザ同士のリスク重要度の差異を定量的に評価し、その評価値に応じて重み係数wjを調整してもよい。例えば、非言語リスク算出部152は、ユーザ間で各算出方式に応じたリスク重要度の平均をとりその値を重み係数wjとして採用し、参加者全体で非言語リスク値の総合評価に利用される計算方式の重み係数が統一されるように調整してもよい。
なお、算出方式は、上述したものに限定されるものではなく、例えば、非言語リスク算出部152は、既存の手法を用いて、うなずきなどの特徴的な動作を検出し、その頻度や量、速度などを用いて非言語リスク値を算出してもよい。この場合には、例えば、非言語リスク算出部152は、発信者のうなずきの頻度を算出し、高頻度で頷いていると受信者が気になってしまうリスクを算出してもよい。
また、非言語リスク算出部152は、既存の手法を用いて表情を検出し、特定の感情(表情)が含まれる割合を定量的に計算し非言語リスク値として算出してもよい。例えば、非言語リスク算出部152は、怒りの感情が一定以上含まれていると受信者が萎縮してしまうリスクを算出してもよい。そのほか、非言語リスク算出部152は、アイトラッカーを用いて視線情報を計測し、その結果を非言語リスク値の算出に利用してもよい。例えば非言語リスク算出部152は、一定時間以上特定の人物がいる領域を注視している際に、受信者が睨まれているまたは威圧されているように感じるリスクを算出してもよい。
図1の説明に戻る。判別部15dは、コミュニケーションを構成する話者の表現の対話における行為である対話行為を判別する。例えば、判別部15dは、処理対象の表現を構成する各要素の対話における特徴を用いて、各対話構成要素が図11に例示した対話行為のいずれに該当するかを判別する。
ここで、判別部15dは、処理対象の表現の言語情報を用いて対話行為を判別してもよいし、音声情報等の入力を用いて対話行為を判別してもよい。また、判別部15dは、判別した話者の対話行為を記憶部14に記憶させてもよい。また、判別部15dは、取得された文章のうち、リスク値が算出された表現を含む文章のみを対象に、対話行為を判別してもよい。
調整部15eは、判別された話者の対話行為に応じて、算出されたコミュニケーションを構成する表現のリスク値を調整する。例えば、調整部15eは、図12に例示したリスク調整DB14hを参照して、処理対象の表現について判別された対話行為に対応するリスク値の調整方法で、当該表現について算出されたリスク値を調整する。
ここで、図16および図17は、第1の実施形態の提示処理を説明するための図である。図16には、図16(a)に示した対話のうち、表現「いつもより多めにお願いするよ」に対する提示処理が例示されている。この場合に、まず、取得部15aが対話を構成する表現の音声情報「いつもより多めにお願いするよ」を取得する。また、算出部15cが、図16(b)に例示するように、この表現を構成する各要素について、リスク表現のリスク値を算出する。
次に、判別部15dが、リスク表現を含む文章「いつもより多めにお願いする」の対話行為を「要求」と判別する。この場合に、調整部15eは、図12に例示したリスク調整DB14hを参照し、図16(c)に例示するように、リスク表現のリスク値を調整する。
また、図17には、図17(a)に示した対話のうち、表現「いいかい?」に対する提示処理が例示されている。この場合に、まず、取得部15aが音声情報「いいかい?」を取得する。また、算出部15cが、図17(b)に例示するように、この表現を構成する各要素について、リスク表現のリスク値を算出する。
この場合には、リスク表現が含まれておらずに、リスク値が算出されていないため、この表現に対する判別部15dおよび調整部15eの処理は行われない。
図1の説明に戻る。提示部15fは、算出されたリスク値または調整されたリスク値に基づいて生成した情報をユーザに提示する。例えば、提示部15fは、コミュニケーションを構成するリスク表現に対する介入情報として、算出部15cが算出したリスク値または調整部15eが調整したリスク値、あるいはリスク値に基づいて生成したメッセージ、通知音、振動等の情報を、出力部12を介してユーザに提示する。
例えば、提示部15fは、算出された言語リスク値あるいは、非言語リスクの総合評価値あるいは、言語リスクと組み合わせたリスク値を用いて情報提示を行う。そのほか、例えば、提示部15fは、各算出方式を用いた非言語リスク値や言語表現に基づくリスク値または、両方を組み合わせて算出したリスク値を、コミュニケーションリスクを示す値として別個にユーザに結果を提示してもよい。
また、提示部15fは、例えば、情報提示の際には、対話相手の受信者としての言語および非言語の少なくとも一方のリスク値を算出し、受信者側のリスクに応じて話し手に情報提示を行ってもよい。
また、提示部15fは、例えば、発信者、受信者両方の言語および非言語の少なくとも一方のリスク値を算出して、その差異に応じて情報提示を行ってもよい。例えば、提示部15fは、リスク値の差が任意の閾値以上である場合やリスク値の比が任意の閾値以上である場合には、リスク値、あるいはリスク値に基づいて生成したメッセージ、通知音、振動等の提示情報を提示する。
また、提示部15fは、例えば、各参加者の受信者としての言語および非言語の少なくとも一方のリスク値を算出し、その平均値が一定を上回った場合に会話全体としてリスクがあった表現として、検知し、参加者全員に情報提示を行ってもよい。
また、提示部15fは、例えば、ここまで受信者としてのリスク閾値を活用して、発信者の非言語表現を受信者が受信する際のコミュニケーションリスク(伝わりにくさなど)を計算し、利用する例を述べたが発信者としての非言語リスクを算出する場合は、発信者自身の表現のしやすさの観点で閾値を設け、情報提示を行ってもよい。例えば、提示部15fは、発話量がリスク閾値より少ない、あるいは話速がリスク閾値より遅い場合に説明しづらいリスクがあるとして、再考や改善を促すメッセージ等を提示する。
ここで、図18は、介入情報を説明するための図である。図18に示す例では、リスクを通知する介入情報として、オンライン会議ツール上に、算出されたリスク値の情報が提示されている。例えば、提示部15fは、リスク値が高い単語のテキストを、強調表示により表示する。例えば、提示部15fは、リスク値が高い単語のテキストの色を変えたり下線を引いたりフォントを大きくしたり太字にしたりハイライト表示したりする。
あるいは、提示部15fは、リスク値が高いテキストをポップアップ表示する等、ユーザの注意をひく形式で表示する。また、提示部15fは、リスク値が高い単語を、ユーザの目につきやすい位置に配置して表示してもよい。
また、提示部15fは、テキストを表示する代わりに、あるいはテキスト表示に加えて、音声情報や触覚情報を利用して、リスク値が高い単語を提示してもよい。例えば、リスク値が高い単語の通知音の音量を大きくしたり、不正解音等の対処の必要性を感じさせ易い音を使用したり、振動を大きくしたり、注意を引き易い振動の周波数やパターンを使用したりする。また、提示部15fは、逆にリスク値が低い場合にはクイズ番組の正解の音を使用したりしてもよい。
また、提示部15fは、画面上にCGや画像のエージェントを配置して、エージェントからの助言といった形式でリスク値の高い単語を提示してもよい。
なお、図18に例示するオンライン会議ツールにおいて、提示部15fは、ユーザ1およびユーザ2に同一の画面を提示してもよいし、異なる画面を提示してもよい。例えば、提示部15fが同一の画面を提示することにより、両者が対等と感じ取り易く、相互理解が促進される。一方、提示部15fが異なる画面を提示することにより、相互理解促進の程度は薄れるものの、コミュニケーション能力がより高いユーザが機動的に対話に臨むことにより、コミュニケーションの効率が向上する。
さらに、提示部15fは、提示方法の調整や提示自体のキャンセル等を行ってもよい。例えば、提示部15fは、リスク値が所定の閾値より低い場合や、ユーザの操作により、あるいはユーザの特性に応じて、強調表示が気になるユーザに対しては程度を弱めて表示したり強調表示を止めたり、視覚情報を音情報に変更する等、異なる形式で提示したりしてもよい。また、ユーザ特性は、会議参加者のメンバ構成によって、反映の仕方が異なっても良い。
また、提示部15fは、判別部15dおよび調整部15eの処理によりリスク値が調整された場合には、図16(d)に例示したように、調整されたリスク値に基づいて介入情報の提示を行う。
なお、上記のように、リスク調整DB14hで、リスク値の調整に変えて、提示方法との紐づけの変更が規定されている場合には、提示部15fは、調整部15eにより変更された提示方法で介入情報を提示してもよい。これにより、例えば、リスク値大の表現は赤字、リスク値中の表現はオレンジ字で提示するという提示方法から、リスク値大の表現をオレンジ字、リスク値中の表現を赤字で提示するという提示方法に変更されてもよい。
[提示処理]
次に、図19を参照して、本実施形態に係る提示装置10による提示処理の一例について説明する。図19は、提示処理手順を示すフローチャートである。図19のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。
次に、図19を参照して、本実施形態に係る提示装置10による提示処理の一例について説明する。図19は、提示処理手順を示すフローチャートである。図19のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。
まず、取得部15aが、対話状況として該当する個別の利用状況を取得する(ステップS1)。例えば、取得部15aは、対話を行っているユーザの情報もしくは作業ドメインの情報を取得する。そして、取得部15aは、対話を構成する表現を取得する(ステップS2)。例えば、取得部15aは、対話を構成する表現として、処理対象の対話文を構成する単語を取得する。また、取得部15aは、処理対象の対話を構成する音声データから特定される話速、発話量、音程や、画像データもしくは動画データあるいはチャットメッセージのテキストを取得する。
次に、算出部15cが、個別の利用状況に応じたリスク表現辞書14aと非言語リスク表現DB14bを参照してトラブルのリスク値を算出する(ステップS3)。例えば、算出部15cは、リスク表現辞書14aの所定の重み付けを行った複数の情報の積を用いてリスク値を算出する。あるいは、算出部15cは、リスク表現辞書14aの所定の重み付けを行った複数の情報の和を用いてリスク値を算出する。また、例えば、算出部15cは、表現を行ったユーザの利用状況に対応するリスクに関する情報を記憶部14の非言語リスク表現DB14bから取得し、当該リスクに関する情報を参照し、リスク値を算出する。
また、算出部15cは、関係性DB14c、社会属性DB14d、個人特性DB14e、またはコミュニケーション履歴DB14fの情報のいずれか1つ以上を用いて、リスク値を算出してもよい。
判別部15dは、コミュニケーションを構成する表現の話者の対話行為を判別する(ステップS4)。例えば、判別部15dは、処理対象の表現を構成する各要素の対話における特徴を用いて、対話行為の分類種別を判別する。
調整部15eは、判別された話者の対話行為に応じて、算出されたコミュニケーションを構成する表現のリスク値を調整する(ステップS5)。例えば、調整部15eは、リスク調整DB14hを参照して、処理対象の表現について判別された対話行為に対応するリスク値の調整方法で、当該表現について算出されたリスク値を調整する。
提示部15fは、算出されたリスク値または調整されたリスク値に基づいて生成した情報をユーザに提示する(ステップS6)。例えば、提示部15fは、コミュニケーションを構成するリスク表現に対する介入情報として、算出部15cが算出したリスク値または調整部15eが調整したリスク値、あるいはリスク値に基づいて生成したメッセージ、通知音、振動等の介入情報を、出力部12を介してユーザに提示する。これにより一連の提示処理が終了する。
[第2の実施形態]
提示装置10の処理は上記の実施形態に限定されない。以下では、上記の実施形態の提示装置10の提示処理と異なる点についてのみ説明を行い、共通する点についての説明を省略する。
提示装置10の処理は上記の実施形態に限定されない。以下では、上記の実施形態の提示装置10の提示処理と異なる点についてのみ説明を行い、共通する点についての説明を省略する。
例えば、提示部15fは、判別された対話行為をユーザに提示してもよい。例えば、提示部15fは、判別された対話行為と調整されたリスク値とを対応づけて、コミュニケーションを構成する表現に対するリスクを通知する介入情報を提示してもよい。つまり、提示部15fは、調整されたリスク値に基づいて生成した介入情報をユーザに提示する際に、判別された対話行為の情報をあわせて提示してもよい。あるいは、提示部15fは、リスク表現の有無にかかわらずに対話行為の情報を提示してもよい。
また、判別部15dは、リスク値が算出された表現を含む文章のみを対象に、対話行為を判別してもよいし、取得された全文章を対象として、対話行為を判別してもよい。
ここで、図20および図21は、第2の実施形態の提示処理を説明するための図である。図20には、図20(a)に示した対話のうち、表現「いつもより多めにお願いするよ」に対する提示処理が例示されている。この場合に、まず、取得部15aが対話を構成する表現の音声情報「いつもより多めにお願いするよ」を取得する。また、算出部15cが、図20(b)に例示するように、この表現を構成する各要素について、リスク表現のリスク値を算出する。
次に、判別部15dが、表現「いつもより多めにお願いする」の対話行為を「要求」と判別する。この場合に、調整部15eは、図12に例示したリスク調整DB14hを参照し、図20(c)に例示するように、リスク表現のリスク値を調整する。
そして、提示部15fは、図20(d)に例示するように、リスク表現(曖昧表現)の介入情報を提示する際に、対話行為をあわせて表示する。図20(d)に示す例では、対話行為が「要求(リスク最高)」として提示されている。
なお、提示部15fは、リスク表現がない場合にも、対話行為をユーザに提示してもよい。例えば、図21には、図21(a)に示した対話のうち、表現「いいかい?」に対する提示処理が例示されている。この場合に、まず、取得部15aが音声情報「いいかい?」を取得する。また、算出部15cが、図21(b)に例示するように、この表現を構成する各要素について、リスク表現のリスク値を算出する。
次に、判別部15dが、表現「いいかい?」の対話行為を「質問(Yes/No)」と判別する。一方、この表現にはリスク表現が含まれておらずに、リスク値が算出されていないため、この表現に対して調整部15eの処理は行われない。この場合に、提示部15fは、図21(c)に例示するように、対話行為を提示する。図21(c)に示す例では、曖昧表現は「なし」、対話行為は「質問(Yes/No)(リスク高)」として提示されている。
[第3の実施形態]
調整部15eは、複数の話者と対話行為との組み合わせの履歴に基づいて、算出されたリスク表現のリスク値を調整してもよい。例えば、話者と対話相手とで相互にやり取りされている場合には、曖昧表現(リスク表現)に対する質疑が十分になされている可能性が高いことから、リスクを低く評価する。これに対し、話者が一人で話し続けている場合には、リスクを高く評価する。
調整部15eは、複数の話者と対話行為との組み合わせの履歴に基づいて、算出されたリスク表現のリスク値を調整してもよい。例えば、話者と対話相手とで相互にやり取りされている場合には、曖昧表現(リスク表現)に対する質疑が十分になされている可能性が高いことから、リスクを低く評価する。これに対し、話者が一人で話し続けている場合には、リスクを高く評価する。
ここで、図22は、第3の実施形態の提示装置の概略構成を例示する模式図である。また、図23~図24は、第3の実施形態の提示処理を説明するための図である。この場合には、図22に例示するように、記憶部14は、対話行為履歴14iを記憶する。対話行為履歴14iは、対話行為とその話者との履歴であり、例えば、過去10文章、あるいは過去50秒間等、過去の所定期間の各発話の話者、対話行為を含む。対話行為履歴14iには、各発話の発話内容が含まれていてもよい。
また、図23には、この場合のリスク調整DBのデータ構成が例示されている。この場合のリスク調整DB14hは、図23に例示するように、対話行為と話者との組み合わせを用いて、リスク値の調整方法を規定する。具体的は、処理対象の表現Tの話者sの各対話行為に対応して、過去の文章の話者がsのみか/s以外が含まれるかに応じて、リスク値の調整方法が規定されている。また、図23の条件16および条件17では、話者s以外からの質問等や自己開示を含むか否かに応じて、リスク値の調整方法が規定されている。
図23に示す例では、例えば、Tの対話行為「自己開示」で、過去10文章の話者がsのみである場合のリスク値の調整方法は、算出されたリスク値ri×1.25とすることが規定されている。これは、聞き手の反応がなく、話者sが一人で話し続けている状態であるため、リスクを高く調整することを表している。
これに対し、Tの対話行為「自己開示」で、過去10文章の話者にs以外が含まれる場合のリスク値の調整方法は、図12に例示したリスク調整DB14hと同様に、リスク値の調整は行わないことを表している。
また、Tの対話行為「質問(Yes/No)」で、過去10文章の話者がsのみである場合のリスク値の調整方法は、算出されたリスク値ri×1.75とすることが規定されている。これは、聞き手の反応がなく、話者sが一人で話し続けている状態であるため、リスクを高く調整することを表している。
これに対し、Tの対話行為「質問(Yes/No)」で、過去10文章の話者にs以外が含まれる場合のリスク値の調整方法は、図12に例示したリスク調整DB14hと同様に、算出されたリスク値ri×1.5とすることが規定されている。
また、Tの対話行為「質問(What)」で、過去10文章の話者がsのみである場合のリスク値の調整方法は、算出されたリスク値ri×1.5とすることが規定されている。これは、聞き手の反応がなく、話者sが一人で話し続けている状態であるため、リスクを高く調整することを表している。
これに対し、Tの対話行為「質問(What)」で、過去10文章の話者にs以外が含まれる場合のリスク値の調整方法は、図12に例示したリスク調整DB14hと同様に、算出されたリスク値ri×1.25とすることが規定されている。
また、Tの対話行為「応答(Yes/No)」のリスク値の調整方法は、図12に例示したリスク調整DB14hと同様に、算出されたリスク値ri×0とすることが規定されている。
また、Tの対話行為「応答(平叙)」で、過去10文章の話者がsのみである場合のリスク値の調整方法は、算出されたリスク値ri×1.5とすることが規定されている。これは、聞き手の反応がなく、話者sが一人で話し続けている状態であるため、リスクを高く調整することを表している。
これに対し、Tの対話行為「応答(平叙)」で、過去10文章の話者にs以外が含まれる場合のリスク値の調整方法は、図12に例示したリスク調整DB14hと同様に、算出されたリスク値ri×1.25とすることが規定されている。
また、Tの対話行為「あいづち」のリスク値の調整方法は、図12に例示したリスク調整DB14hと同様に、算出されたリスク値ri×0とすることが規定されている。
また、Tの対話行為「フィラー」のリスク値の調整方法は、図12に例示したリスク調整DB14hと同様に、算出されたリスク値ri×0とすることが規定されている。
また、Tの対話行為「確認」で、過去10文章の話者がsのみである場合のリスク値の調整方法は、算出されたリスク値ri×1.25とすることが規定されている。これは、聞き手の反応がなく、話者sが一人で話し続けている状態であるため、リスクを高く調整することを表している。
これに対し、Tの対話行為「確認」で、過去10文章の話者にs以外が含まれる場合のリスク値の調整方法は、図12に例示したリスク調整DB14hと同様に、リスク値の調整は行わないことを表している。
また、Tの対話行為「要求」で、過去10文章の話者がsのみである場合のリスク値の調整方法は、算出されたリスク値ri×1.75とすることが規定されている。これは、聞き手の反応がなく、話者sが一人で話し続けている状態であるため、リスクを高く調整することを表している。
これに対し、Tの対話行為「要求」で、過去10文章の話者にs以外が含まれる場合のリスク値の調整方法は、図12に例示したリスク調整DB14hと同様に、算出されたリスク値ri×1.5とすることが規定されている。
また、過去10文章に、話者s以外からの対話行為「質問(Yes/No)」もしくは「質問(What)」が含まれる場合のリスク値の調整方法は、算出されたリスク値ri×0.5とすることが規定されている。これは、聞き手から質問される状態であり、誤った認識が対話の中で解消される可能性が高いため、リスクを低く調整することを表している。
また、過去10文章に、話者s以外からの対話行為「自己開示」が含まれる場合のリスク値の調整方法は、算出されたリスク値ri×0.75とすることが規定されている。これは、聞き手と双方向の対話がされている状態であり、誤った認識が対話の中で解消される可能性が高いため、リスクを低く調整することを表している。
図24には、図24(a)に示した対話のうち、表現「動物園に行ったらきりんの写真を多めに撮ってきて」に対する提示処理が例示されている。この場合に、まず、取得部15aが対話を構成する表現の音声情報「動物園に行ったらきりんの写真を多めに撮ってきて」を取得する。また、算出部15cが、図24(b)に例示するように、この表現を構成する各要素について、リスク表現のリスク値を算出する。
次に、判別部15dが、表現「動物園に行ったらきりんの写真を多めに撮ってきて」の対話行為を「要求」と判別する。また、判別部15dは、図24(c)に例示するように、発話者、発話内容、対話行為を含む対話行為履歴14iを記憶部14に記憶する。
この場合に、調整部15eは、対話行為履歴14iおよび図23に例示したリスク調整DB14hを参照し、図24(d)に例示するように、リスク表現のリスク値を調整する。図24(d)に示す例では、図23に示したリスク調整DB14hの条件番号15、16に基づいてリスク値が調整されている。
そして、提示部15fが、図24(e)に例示するように、調整されたリスク値に基づいて、リスク表現(曖昧表現)の介入情報を提示する。
[第4の実施形態]
調整部15eは、各話者の対話行為の履歴を用いて導出された、各話者の対話行為の適正量に基づいて、算出されたリスク値を調整してもよい。すなわち、調整部15eは、ユーザそれぞれの対話行為の傾向に応じて、例えば傾向から大きく乖離している場合に通常とは異なる対話行為として、リスク値の調整を行ってもよい。これにより、例えば、平均して相槌や応答が多い話者の発話量が少ない場合には、リスクを高く調整すること等が可能となる。
調整部15eは、各話者の対話行為の履歴を用いて導出された、各話者の対話行為の適正量に基づいて、算出されたリスク値を調整してもよい。すなわち、調整部15eは、ユーザそれぞれの対話行為の傾向に応じて、例えば傾向から大きく乖離している場合に通常とは異なる対話行為として、リスク値の調整を行ってもよい。これにより、例えば、平均して相槌や応答が多い話者の発話量が少ない場合には、リスクを高く調整すること等が可能となる。
この場合に、記憶部14は、さらに個人適正量DB14kを記憶する。個人適正量DB14kは、各ユーザの対話行為履歴から算出された各ユーザの平均的な対話行為を用いて、各ユーザの対話行為の適正量を示す。
ここで、図25は、第4の実施形態の提示装置の概略構成を例示する模式図である。また、図26~図28は、第4の実施形態を説明するための図である。この場合には、図25に例示するように、記憶部14は、個人適正量DB14kを記憶する。
個人適正量DB14kでは、例えば、過去100文章の各ユーザの対話行為履歴14iから、各ユーザの平均的な対話行為が算出され、算出された平均的な対話行為を用いて、各ユーザの対話行為の適正量が算出されている。
なお、個人適正量は、各ユーザについての平均値と標準偏差から算出されてもよい。また、個人の過去の履歴から算出されるかわりに、適切と考えられる値が設定されてもよい。また、情報伝達、議論、報告というような対話の目的に応じて、異なる個人適正量DB14kが適用されてもよい。
また、個人適正量は、過去100文章の対話行為からの算出に限定されず、例えば10分間というように所定時間の期間の対話行為から、あるいは対話開始から全期間の対話行為から、あるいは、話者ごとに過去100文章の対話行為から算出されてもよい。
あるいは、対話の初期で過去100文章の履歴がない場合に過去の同じ話者組み合わせの対話の履歴を参照してもよい。あるいは、現状の対話行為の出現数×(100/現状の文章数)等により、100文章あたりの数に補正してもよい。
ここで、図26には、個人適正量DBのデータ構成が例示されている。具体的には、個人適正量DB14kは、図26に例示するように、対話の話者ごとに、各対話行為の平均頻度と適正範囲(個人適正量)とを含む。
また、図27には、この場合のリスク調整DBのデータ構成が例示されている。図27に例示するように、リスク調整DB14hは、各話者の各対話行為が個人適正量DB14kで示される適正範囲を外れる場合(図27(a))と、それ以外すなわち各対話行為が個人適正量DB14kで示される適正範囲内の場合(図27(b))とについて、それぞれリスクの調整方法が規定されている。図27(a)に示す例では、図27(b)に示す適正範囲内の場合より、リスク値が高く調整されている。
図28には、図28(a)に示した表現「動物園に行ったらきりんの写真を多めに撮ってきて」に対する提示処理が例示されている。この場合に、まず、取得部15aが対話を構成する表現の音声情報「動物園に行ったらきりんの写真を多めに撮ってきて」を取得する。また、算出部15cが、図28(b)に例示するように、この表現を構成する各要素について、リスク表現のリスク値を算出する。
次に、判別部15dが、表現「動物園に行ったらきりんの写真を多めに撮ってきて」の対話行為を「要求」と判別する。また、判別部15dは、図28(c)に例示するように、発話者、発話内容、対話行為を含む対話行為履歴14iを記憶部14に記憶する。
この場合に、調整部15eは、図28(d)に例示するように、話者ごとに各発話行為の数をカウントする。そして、調整部15eは、対話行為履歴14iおよび図27に例示したリスク調整DB14hを参照し、図28(e)に例示するように、リスク表現のリスク値を調整する。図28(e)に示す例では、対話行為「要求」が適正範囲を外れていることから、図27に示したリスク調整DB14hの条件番号9に基づいてリスク値が調整されている。
そして、提示部15fが、図28(f)に例示するように、調整されたリスク値に基づいて、リスク表現(曖昧表現)の介入情報を提示する。
[他の実施形態]
上記実施形態の提示装置10では、曖昧表現に基づくリスク値が算出されているが、これに限定されない。例えば、提示装置10は、曖昧表現に基づくリスク値に代えて、あるいは曖昧表現に基づくリスク値に加えて、固定観念に基づく表現のリスク値を算出することも可能である。この場合には、算出部15cは、固定観念に基づくリスクに関する情報を用いて、リスク値を算出する。
上記実施形態の提示装置10では、曖昧表現に基づくリスク値が算出されているが、これに限定されない。例えば、提示装置10は、曖昧表現に基づくリスク値に代えて、あるいは曖昧表現に基づくリスク値に加えて、固定観念に基づく表現のリスク値を算出することも可能である。この場合には、算出部15cは、固定観念に基づくリスクに関する情報を用いて、リスク値を算出する。
例えば、リスク表現辞書14aに基づくリスク変数pi1~pi3として、固定観念の観点で設定された危険度、曖昧表現のほかに固定観念の観点で設定されたリスク種別等が適用されてもよい。
また、関係性DB14cを用いるリスク変数pi4または社会属性DB14dを用いるリスク変数pi5として、話者同士に共通する背景、属性の濃さの度合いや重なり度合い等が適用されてもよい。
また、個人特性DB14eを用いるリスク変数pi6として、話者の持つ背景、属性等が適用されてもよい。
具体的には、例えば、話者同士に共通する背景の重なり度合いが少ない場合には、話者間で言語の解釈がすれ違う可能性が高いものとして、リスク変数pi4、リスク変数pi6の値を大きく設定する。また、性別、年齢等の話者の持つ背景と、過去のトラブル事例における当事者のもつ背景とを比較して、過去のトラブル事例におけるリスク値をもとにリスク変数pi6を設定する。これにより、算出部15cは、固定観念に基づくリスク値を算出することが可能となる。
[効果]
以上、説明したように、本実施形態の提示装置10において、記憶部14が、コミュニケーションを構成する表現ごとのトラブルのリスクに関する情報を記憶する。算出部15cが、記憶部14に記憶されたリスクに関する情報を参照し、コミュニケーションを構成する表現のリスクの大きさを表すリスク値を算出する。判別部15dが、話者の表現の対話における行為である対話行為を判別する。調整部15eが、判別された話者の対話行為に応じて、算出された表現のリスク値を調整する。
以上、説明したように、本実施形態の提示装置10において、記憶部14が、コミュニケーションを構成する表現ごとのトラブルのリスクに関する情報を記憶する。算出部15cが、記憶部14に記憶されたリスクに関する情報を参照し、コミュニケーションを構成する表現のリスクの大きさを表すリスク値を算出する。判別部15dが、話者の表現の対話における行為である対話行為を判別する。調整部15eが、判別された話者の対話行為に応じて、算出された表現のリスク値を調整する。
これにより、コミュニケーションにおいて、対話行為から推定される発話の意図や対話の流れによるリスクの違いを考慮して使われた表現が内包するリスクを評価することが可能となる。
調整部15eは、複数の話者と対話行為との組み合わせの履歴に基づいて、算出されたリスク値を調整する。これにより、例えば、リスク表現に対する質疑の有無を推定してより正確にリスクを評価することが可能となる。
また、調整部15eは、各話者の対話行為の履歴を用いて導出された、各話者の対話行為の適正量に基づいて、算出されたリスク値を調整する。これにより、各話者の対話行為の傾向を考慮して、より正確にリスクを評価することが可能となる。
[プログラム]
上記実施形態に係る提示装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、提示装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の提示処理を実行する提示プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の提示プログラムを情報処理装置に実行させることにより、情報処理装置を提示装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末、さらには、PDA(Personal Digital Assistant)などのスレート端末、xRおよびメタバース関連の端末などがその範疇に含まれる。また、提示装置10の機能を、クラウドサーバに実装してもよい。
上記実施形態に係る提示装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、提示装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の提示処理を実行する提示プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の提示プログラムを情報処理装置に実行させることにより、情報処理装置を提示装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末、さらには、PDA(Personal Digital Assistant)などのスレート端末、xRおよびメタバース関連の端末などがその範疇に含まれる。また、提示装置10の機能を、クラウドサーバに実装してもよい。
図29は、提示プログラムを実行するコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011およびRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1031に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1041に接続される。ディスクドライブ1041には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース1050には、例えば、マウス1051およびキーボード1052が接続される。ビデオアダプタ1060には、例えば、ディスプレイ1061が接続される。
ここで、ハードディスクドライブ1031は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093およびプログラムデータ1094を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ1031やメモリ1010に記憶される。
また、提示プログラムは、例えば、コンピュータ1000によって実行される指令が記述されたプログラムモジュール1093として、ハードディスクドライブ1031に記憶される。具体的には、上記実施形態で説明した提示装置10が実行する各処理が記述されたプログラムモジュール1093が、ハードディスクドライブ1031に記憶される。
また、提示プログラムによる情報処理に用いられるデータは、プログラムデータ1094として、例えば、ハードディスクドライブ1031に記憶される。そして、CPU1020が、ハードディスクドライブ1031に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した各手順を実行する。
なお、提示プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1031に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ1041等を介してCPU1020によって読み出されてもよい。あるいは、提示プログラムに係るプログラムモジュール1093やプログラムデータ1094は、LANやWAN(Wide Area Network)等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
10 提示装置
11 入力部
12 出力部
13 通信制御部
14 記憶部
14a リスク表現辞書
141 マスター辞書
142 個別辞書
14b 非言語リスク表現DB
14c 関係性DB
14d 社会属性DB
14e 個人特性DB
14f コミュニケーション履歴DB
14g 対話行為一覧
14h リスク調整DB
14i 対話行為履歴
14k 個人適正量DB
15 制御部
15a 取得部
15b 個別辞書生成部
15c 算出部
151 言語リスク算出部
152 非言語リスク算出部
15d 判別部
15e 調整部
15f 提示部
11 入力部
12 出力部
13 通信制御部
14 記憶部
14a リスク表現辞書
141 マスター辞書
142 個別辞書
14b 非言語リスク表現DB
14c 関係性DB
14d 社会属性DB
14e 個人特性DB
14f コミュニケーション履歴DB
14g 対話行為一覧
14h リスク調整DB
14i 対話行為履歴
14k 個人適正量DB
15 制御部
15a 取得部
15b 個別辞書生成部
15c 算出部
151 言語リスク算出部
152 非言語リスク算出部
15d 判別部
15e 調整部
15f 提示部
Claims (4)
- コミュニケーションを構成する表現ごとのトラブルのリスクに関する情報を記憶する記憶部と、
前記記憶部に記憶されたリスクに関する情報を参照し、コミュニケーションを構成する表現のリスクの大きさを表すリスク値を算出する算出部と、
話者の前記表現の対話における行為である対話行為を判別する判別部と、
判別された話者の前記対話行為に応じて、算出された前記表現のリスク値を調整する調整部と、
を有することを特徴とする提示装置。 - 前記調整部は、複数の話者と対話行為との組み合わせの履歴に基づいて、前記リスク値を調整することを特徴とする請求項1に記載の提示装置。
- 前記調整部は、各話者の対話行為の履歴を用いて導出された、各話者の対話行為の適正量に基づいて、前記リスク値を調整することを特徴とする請求項1に記載の提示装置。
- 提示装置が実行する提示方法であって、
前記提示装置は、コミュニケーションを構成する表現ごとのトラブルのリスクに関する情報を記憶する記憶部を有し、
前記記憶部に記憶されたリスクに関する情報を参照し、コミュニケーションを構成する表現のリスクの大きさを表すリスク値を算出する算出工程と、
話者の前記表現の対話における行為である対話行為を判別する判別工程と、
判別された話者の前記対話行為に応じて、算出された前記表現のリスク値を調整する調整工程と、
を含むことを特徴とする提示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/020674 WO2025253579A1 (ja) | 2024-06-06 | 2024-06-06 | 提示装置および提示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/020674 WO2025253579A1 (ja) | 2024-06-06 | 2024-06-06 | 提示装置および提示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025253579A1 true WO2025253579A1 (ja) | 2025-12-11 |
Family
ID=97960203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/020674 Pending WO2025253579A1 (ja) | 2024-06-06 | 2024-06-06 | 提示装置および提示方法 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025253579A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021140240A (ja) * | 2020-03-02 | 2021-09-16 | コニカミノルタ株式会社 | 対話支援システム、対話支援方法、対話支援プログラム |
| WO2023119671A1 (ja) * | 2021-12-24 | 2023-06-29 | 日本電信電話株式会社 | 推定方法、推定装置及び推定プログラム |
| WO2024089858A1 (ja) * | 2022-10-27 | 2024-05-02 | 日本電信電話株式会社 | 提示装置、提示方法および提示プログラム |
-
2024
- 2024-06-06 WO PCT/JP2024/020674 patent/WO2025253579A1/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021140240A (ja) * | 2020-03-02 | 2021-09-16 | コニカミノルタ株式会社 | 対話支援システム、対話支援方法、対話支援プログラム |
| WO2023119671A1 (ja) * | 2021-12-24 | 2023-06-29 | 日本電信電話株式会社 | 推定方法、推定装置及び推定プログラム |
| WO2024089858A1 (ja) * | 2022-10-27 | 2024-05-02 | 日本電信電話株式会社 | 提示装置、提示方法および提示プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11216784B2 (en) | Systems and methods for automating validation and quantification of interview question responses | |
| JP7810282B2 (ja) | 提示装置、提示方法および提示プログラム | |
| WO2022052084A1 (en) | Methods, systems, and media for context-aware estimation of student attention in online learning | |
| US20220147944A1 (en) | A method of identifying and addressing client problems | |
| Tran et al. | Us deaf community perspectives on automatic sign language translation | |
| US11790887B2 (en) | System with post-conversation representation, electronic device, and related methods | |
| JP7152453B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム | |
| WO2025253580A1 (ja) | 提示装置および提示方法 | |
| WO2025229744A1 (ja) | 提示装置および提示方法 | |
| WO2025238726A1 (ja) | 提示装置および提示方法 | |
| JP7152825B1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
| WO2024176469A1 (ja) | 提示装置、提示方法および提示プログラム | |
| Habel et al. | A Theory of Artificial Communication Intelligence in Sales | |
| JP7724569B2 (ja) | 動画像分析システム | |
| JP7734990B2 (ja) | 動画像分析システム | |
| US20260122313A1 (en) | Automated telecommunication session adjustment based on identified emotional states | |
| US20250363326A1 (en) | Simulated Interactions with Users for Assessment of Soft Skills | |
| JP7705177B2 (ja) | 動画像分析システム | |
| Domaneschi et al. | Multimodal injustices: Speech acts, gender bias, and speaker’s status | |
| US20250252403A1 (en) | Method and system for assessing virtual interaction | |
| GB2628841A (en) | Real-time linguistic assessment and dynamic feedback system for improved conversational engagement with participants in a meeting | |
| WO2022180852A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
| WO2022180862A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
| JP2024153494A (ja) | 会議管理装置、会議管理方法、及び会議管理プログラム | |
| Bakıner | Too Much Communication?”: Investigating Communication Fatigue and Digital Overload Among University Students |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24942667 Country of ref document: EP Kind code of ref document: A1 |