WO2023112745A1 - 情報処理方法、情報処理装置および情報処理プログラム - Google Patents

情報処理方法、情報処理装置および情報処理プログラム Download PDF

Info

Publication number
WO2023112745A1
WO2023112745A1 PCT/JP2022/044733 JP2022044733W WO2023112745A1 WO 2023112745 A1 WO2023112745 A1 WO 2023112745A1 JP 2022044733 W JP2022044733 W JP 2022044733W WO 2023112745 A1 WO2023112745 A1 WO 2023112745A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
plan
information processing
processing method
Prior art date
Application number
PCT/JP2022/044733
Other languages
English (en)
French (fr)
Inventor
正弘 高橋
充弘 宮嵜
健一郎 野武
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023567705A priority Critical patent/JPWO2023112745A1/ja
Publication of WO2023112745A1 publication Critical patent/WO2023112745A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance

Definitions

  • the present disclosure relates to an information processing method, an information processing device, and an information processing program.
  • the future plan is created through an interview with the expert.
  • a user interviews a life planner or a financial planner (hereinafter also referred to as LP/FP) to create a life plan chart.
  • LP/FP life planner or a financial planner
  • a method for creating a life plan chart for example, it is proposed to input various information with a keyboard or mouse to create a life plan sheet, and to evaluate the soundness of the created life plan sheet (Patent Reference 1).
  • the present disclosure proposes an information processing method, an information processing device, and an information processing program that enable immediate confirmation of plan information that reflects the content of speech.
  • the future plan when consulting a user's future plan through voice interaction, the future plan is discussed based on the user's basic information and the user's ideal plan.
  • a computer performs the process of generating and displaying representative plan information and modifying the future plan to update the plan information in response to the user's reaction information to the displayed plan information.
  • FIG. 4 is a diagram showing an example of interaction between a user and an AI agent;
  • FIG. 4 is a diagram showing an example of interaction between a user and an AI agent;
  • It is a figure which shows an example which reflects the information of a user's line of sight on a chart.
  • 1 is a diagram illustrating an example of a configuration of a terminal device according to an embodiment of the present disclosure;
  • FIG. 1 is a diagram illustrating an example of a configuration of a server according to an embodiment of the present disclosure;
  • FIG. It is a figure which shows an example of a user's basic information input screen. It is a figure which shows an example of the input screen of a life event.
  • FIG. 10 is a diagram showing an example of timeline display using a graph
  • 8 is a flowchart illustrating an example of chart generation processing
  • FIG. 10 is a sequence diagram showing an example of processing related to interaction between a user and an AI agent in case 1
  • FIG. 11 is a sequence diagram showing an example of processing related to interaction between a user and an AI agent in case 2
  • FIG. 11 is a sequence diagram showing an example of processing related to interaction between a user and an AI agent in Case 3
  • 1 is a hardware configuration diagram showing an example of a computer that implements functions of an information processing apparatus
  • FIG. 10 is a diagram showing an example of timeline display using a graph
  • 8 is a flowchart illustrating an example of chart generation processing
  • FIG. 10 is a sequence diagram showing an example of processing related to interaction between a user and an AI agent in case 1
  • FIG. 11 is a sequence diagram showing an example of processing related to interaction between a user and an AI agent in case 2
  • FIG. 11 is a sequence diagram showing an example of
  • Embodiment 1-1 Configuration of system according to embodiment 1-2.
  • Example of dialogue by AI agent 1-3 Configuration of terminal device according to embodiment 1-4.
  • Configuration of Server According to Embodiment 1-5 Information processing procedure according to the embodiment 1-6.
  • FIG. 1 is a diagram showing an example of the configuration of an information processing system according to an embodiment of the present disclosure.
  • the information processing system 1 has a terminal device 100 and a server 200 .
  • the terminal device 100 and the server 200 are connected via a network N, for example.
  • the terminal device 100 is an information processing device operated by a user who creates a life plan chart.
  • the terminal device 100 transmits information about the user to an AI (Artificial Intelligence) agent operating on the server 200, and displays the response of the AI agent and the created life plan chart.
  • the server 200 is an information processing device that provides a life plan chart creation service.
  • the server 200 operates the AI agent, creates a life plan chart, and the like. Note that the chart and life plan chart are examples of plan information. Details of each device will be described later.
  • the internal operation of the information processing system 1 may be expressed as the operation of the AI agent.
  • FIG. 2 and 3 are diagrams showing an example of interaction between a user and an AI agent.
  • the AI agent accepts the user's basic information such as the age and annual income of the user who creates the life plan chart, and the user's ideal future plan.
  • a life plan chart 10 is presented.
  • the AI agent presents a life plan chart 10 in which the future plan is revised based on the content of the user's utterances in the conversation with the user.
  • the AI agent presents the life plan chart 10 corresponding to the future plan revised by repeating the conversation with the user, and suggests consulting the LP/FP for detailed contents, for example.
  • FIG. 4 is a diagram showing an example of reflecting the user's line of sight information on the chart.
  • the AI agent detects that the user is looking at a map 14 of an area with a high price when purchasing a house, the AI agent changes the price of the house purchase according to the land price of the map 14.
  • a chart 10a is generated and displayed.
  • the user sees the life plan chart 10a and operates the map display, detects the line of sight looking at the map 15 of the area where the price is low, and acquires the utterance content such as "I like this place.”
  • a life plan chart 10b whose price is changed according to the land price of the map 15 is generated and displayed.
  • the AI agent can dynamically change the life plan chart 10 based on the voice and line-of-sight information.
  • a life plan chart is created based on information input by a user using a keyboard or mouse, and the soundness of the created life plan chart is evaluated.
  • the casual remarks made by the user are not reflected in the life plan chart. For this reason, it is difficult to create a better life plan chart while confirming the life plan chart that reflects the content casually remarked by the user.
  • the information processing system 1 executes the information processing described below in order to be able to immediately check the chart reflecting the content of the utterance. Specifically, the information processing system 1 creates a chart representing the future plan based on the user's basic information and the user's ideal plan when inquiring about the user's future plan through voice interaction. Generate and display. The information processing system 1 corrects the future plan and updates the chart according to the user's reaction information to the displayed chart.
  • FIG. 5 is a diagram illustrating an example of a configuration of a terminal device according to an embodiment of the present disclosure
  • the terminal device 100 has a display unit 101, an operation unit 102, a camera 103, a microphone 104, a speaker 105, a communication unit 110, a storage unit 120, and a control unit 130.
  • Examples of the terminal device 100 include a personal computer and a smart phone.
  • the display unit 101 is a display device for displaying various information.
  • the display unit 101 is realized by, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, or the like as a display device.
  • the display unit 101 displays various screens such as a user's basic information input screen, a product and term description screen, and a life plan chart screen.
  • the operation unit 102 is an input device that receives various operations from the user who operates the terminal device 100 .
  • the operation unit 102 is realized by, for example, a keyboard, mouse, touch panel, etc. as an input device.
  • the operation unit 102 receives input of basic information such as age and annual income from the user, for example.
  • the display device of the display unit 101 and the input device of the operation unit 102 may be integrated like a display with a touch panel.
  • the camera 103 captures an image of the user operating the terminal device 100 .
  • the camera 103 captures an image using, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor as an imaging device.
  • the camera 103 photoelectrically converts the light received by the imaging device and performs A/D conversion to generate an image.
  • Camera 103 outputs the captured image to control unit 130 .
  • the microphone 104 acquires the voice of the user operating the terminal device 100 .
  • Various microphones such as an electret condenser microphone can be used as the microphone 104, for example.
  • the microphone 104 outputs an audio signal of the acquired audio to the control unit 130 .
  • the speaker 105 outputs the contents of the AI agent's speech.
  • various speakers such as a dynamic type speaker and a capacitor type speaker can be used.
  • Speaker 105 outputs sound based on the audio signal input from control unit 130 .
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card), a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark), or the like.
  • the communication unit 110 is a communication interface that is connected to the server 200 via the network N in a wired or wireless manner and controls information communication with the server 200 .
  • the communication unit 110 receives from the server 200, for example, data such as semantic analysis result information by voice recognition, data of various screens, graph information, voice signals of the AI agent, and the like.
  • the communication unit 110 also transmits input information, voice information, captured images, instructions to the AI agent, and the like to the server 200 .
  • the storage unit 120 is implemented by, for example, a RAM (Random Access Memory), a semiconductor memory device such as flash memory, or a storage device such as a hard disk or optical disk.
  • the storage unit 120 has a line-of-sight position storage unit 121 and an area semantic information storage unit 122 .
  • the storage unit 120 also stores information (programs and data) used for processing in the control unit 130 .
  • the line-of-sight position storage unit 121 stores the user's line-of-sight position detected from the captured image captured by the camera 103 .
  • the line-of-sight position storage unit 121 stores, for example, line-of-sight positions on the screen displayed on the display unit 101 as a chronological history.
  • the area semantic information storage unit 122 stores what kind of information is displayed in a predetermined area of the screen displayed on the display unit 101 by associating the area on the screen with the displayed information.
  • the area semantic information storage unit 122 stores, for example, the 60-year-old graph area of the displayed life plan chart in association with the information "60 years old".
  • the control unit 130 is implemented by, for example, a CPU (Central Processing Unit), MPU (Micro Processing Unit), etc. executing a program stored in an internal storage device using the RAM as a work area. Also, the control unit 130 may be implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 130 includes a reception unit 131, a graph display unit 132, a line-of-sight detection unit 133, a corresponding position detection unit 134, and an audio processing unit 135, and implements the information processing functions and actions described below. or run. Note that the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 5, and may be another configuration as long as it performs information processing described later.
  • Receiving unit 131 receives user's basic information input screen, personality diagnosis screen, and ideal future plan (hereinafter also referred to as ideal plan) input screen received from server 200 via network N and communication unit 110 . is displayed on the display unit 101 .
  • the reception unit 131 receives input of basic information, personality diagnosis information, and ideal plan information from the user on the user's basic information input screen, personality diagnosis screen, and ideal plan input screen displayed on the display unit 101 .
  • the user's basic information includes, for example, information such as age, annual income, and marital status.
  • Personality diagnosis information includes, for example, answers to questions such as Big Five.
  • the ideal plan information includes, for example, the age at which a person buys a car or a house, the target amount of savings for retirement, and the like.
  • the ideal plan information is life plan data that the user wants in the future, and parameters include the occurrence of events, the balance and amount of savings for each age, and the like.
  • the receiving unit 131 transmits the received basic information of the user, personality diagnosis information, and ideal plan information to the server 200 via the communication unit 110 and the network N.
  • FIG. 1 is a diagrammatic representation of the ideal plan information.
  • the graph display unit 132 generates drawing data of the life plan chart based on the graph information received from the server 200 via the network N and the communication unit 110, and causes the display unit 101 to display the life plan chart screen.
  • the graph display unit 132 stores what kind of information is displayed in a predetermined area on the screen being displayed in the area semantic information storage unit 122 by associating the area on the screen with the displayed information.
  • the graph display unit 132 may cause the display unit 101 to display other screens, such as a material screen related to life plans.
  • the line-of-sight detection unit 133 detects the user's line of sight based on the captured image input from the camera 103 .
  • the line-of-sight detection unit 133 determines the line-of-sight position on the screen displayed on the display unit 101 based on the detected line of sight.
  • the line-of-sight detection unit 133 outputs the determined line-of-sight position to the corresponding position detection unit 134 and stores it in the line-of-sight position storage unit 121 .
  • the line-of-sight detection unit 133 may detect the facial expression of the user based on the input captured image, and transmit the facial expression data to the server 200 via the communication unit 110 and the network N.
  • the corresponding position detection section 134 When the line-of-sight position is input from the line-of-sight detection section 133, the corresponding position detection section 134 refers to the area semantic information storage section 122 and acquires the semantic information of the area where the line-of-sight position is located. The corresponding position detection unit 134 transmits the line-of-sight position and the semantic information of the area to the server 200 via the communication unit 110 and the network N as graph parameters.
  • the audio processing unit 135 samples the audio signal input from the microphone 104 to generate audio information. Audio processing unit 135 transmits the generated audio information to server 200 via communication unit 110 and network N.
  • FIG. The speech processing unit 135 receives semantic analysis result information corresponding to the transmitted speech information from the server 200 via the network N and the communication unit 110 .
  • the speech processing unit 135 transmits semantic analysis result information to the server 200 via the communication unit 110 and the network N as graph parameters.
  • the semantic analysis result information may be directly output from the later-described speech engine section 240 in the server 200 to the graph processing section 220 .
  • the voice processing unit 135 outputs to the speaker 105 a voice signal based on the AI agent's utterance information received from the server 200 via the network N and the communication unit 110 .
  • FIG. 6 is a diagram illustrating an example of a configuration of a server according to an embodiment of the present disclosure
  • the server 200 has a communication section 210 , a graph processing section 220 , a voice engine section 240 and a dialog processing section 260 .
  • Each processing unit included in the graph processing unit 220, the speech engine unit 240, and the dialogue processing unit 260 is configured such that a program stored in an internal storage device is executed by a CPU, an MPU, or the like using a RAM as a work area. It is realized by Further, each processing unit included in the graph processing unit 220, the speech engine unit 240, and the dialogue processing unit 260 may be realized by an integrated circuit such as ASIC or FPGA.
  • Each database (hereinafter also referred to as DB) included in the graph processing unit 220, the voice engine unit 240, and the dialogue processing unit 260 is included in a storage unit (not shown), and may be a semiconductor memory device such as a RAM or a flash memory. , a storage device such as a hard disk or an optical disk.
  • the storage unit also stores information (programs and data) used for processing in each processing unit included in the graph processing unit 220 , speech engine unit 240 and dialogue processing unit 260 .
  • the communication unit 210 is implemented by, for example, a NIC, a wireless LAN such as Wi-Fi (registered trademark), or the like.
  • the communication unit 210 is a communication interface that is wired or wirelessly connected to the terminal device 100 via the network N and controls information communication with the terminal device 100 .
  • the communication unit 210 receives, for example, input information, voice information, captured images, instructions to the AI agent, and the like from the terminal device 100 .
  • the communication unit 210 also transmits data such as semantic analysis result information by voice recognition, data of various screens, graph information, voice signals of the AI agent, and the like to the terminal device 100 .
  • the graph processing unit 220 includes, as databases, a user basic information DB 221, an ideal plan parameter DB 222, a user event DB 223, a current graph parameter DB 224, a history data DB 225, a score information DB 226, an event importance determination DB 227, an average It has balance DB228 and weighting DB229.
  • Each DB can also be accessed from the speech engine unit 240 and the dialogue processing unit 260 .
  • the user basic information DB 221 contains personal data such as the user's name, age, sex, annual income, occupation, etc. input by the user through the terminal device 100, and information on the user's personality determined by the personality information processing unit 232, which will be described later. memorize
  • the ideal plan parameter DB 222 stores various types of information in the ideal plan input by the user through the terminal device 100, such as retirement allowance, income and expenditure by age, and nursing care information.
  • the user event DB 223 stores information on events required for creating a life plan chart, for example, information on marriage, childbirth, family structure, retirement allowance, retirement age, etc. that are assumed at the present time.
  • the current graph parameter DB 224 stores the parameters of the currently displayed life plan chart.
  • the current graph parameter DB 224 stores, as parameters, information such as expenditure amount, income amount, and savings amount for each age, for example.
  • the history data DB 225 stores the history of life plan chart parameters stored in the current graph parameter DB 224 .
  • the history data DB 225 is referred to when displaying the update history of the life plan chart as a timeline.
  • the score information DB 226 compares the currently displayed life plan chart with the ideal plan, and compares the base points for each parameter of the life plan chart to be referred to when calculating the score representing how much the ideal plan is satisfied.
  • the comparison element parameters include, for example, current and future income and expenditure information, family composition, housing loans, investments, hobbies, and the like.
  • the score information DB 226 may store the score corresponding to each event of the currently displayed life plan chart and the total score.
  • the event importance determination DB 227 stores the importance of each event required for creating a life plan chart.
  • the event importance determination DB 227 stores information that, for example, if the event is a retirement allowance event, it is an income event with a high degree of importance.
  • the importance can be set, for example, in three levels of high, medium, and low for each event.
  • the average income/expenditure DB 228 stores information such as the amount of retirement allowance, payment age, and degree of importance as past statistical data. That is, the average balance DB 228 stores average life plan chart parameters for each of a plurality of model cases.
  • the weighting DB 229 stores weighting information for changing the weighting of life plan chart parameters in a specific user utterance or dialogue scenario with an AI agent.
  • the weighting DB 229 stores, for example, information for changing the weighting of the annual income parameter so as to increase the annual income if there is use of a high-end grocery store in a certain scenario, for example, weighting the annual income by 1.1 times.
  • Store information for example, the weighting DB 229 stores information for changing the expenditure to a lesser amount, for example, weighting information such as increasing the expenditure by 0.9 times, for example, when the user's personality information is cautious.
  • the graph processing unit 220 has a user information processing unit 231 , a personality information processing unit 232 and a parameter processing unit 233 .
  • the user information processing section 231 transmits the data of the user's basic information input screen to the terminal device 100 via the communication section 210 and the network N, and causes the terminal device 100 to display the user's basic information input screen.
  • the user information processing unit 231 acquires the user's basic information input on the displayed basic information input screen.
  • a wizard method or the like can be used for the user's basic information input screen.
  • the user information processing section 231 stores the acquired basic information of the user in the user basic information DB 221 . Further, the user information processing unit 231 may refer to the average balance DB 228 to compensate for missing information from the model case closest to the user's basic information.
  • the user information processing section 231 transmits the data of the personality diagnosis screen to the terminal device 100 via the communication section 210 and the network N, and causes the terminal device 100 to display the personality diagnosis screen.
  • the user information processing section 231 acquires the personality diagnosis information input on the displayed personality diagnosis screen.
  • the user information processing section 231 outputs the acquired personality diagnosis information to the personality information processing section 232 .
  • the user information processing section 231 transmits the data of the ideal plan input screen to the terminal device 100 via the communication section 210 and the network N, and causes the terminal device 100 to display the ideal plan input screen.
  • the user information processing unit 231 acquires the ideal plan information input on the displayed ideal plan input screen.
  • the user information processing section 231 stores the acquired ideal plan information in the ideal plan parameter DB 222 .
  • the user information processing unit 231 refers to the user basic information DB 221 and the average income/expenditure DB 228, and calculates the initial values of the parameters of the life plan chart based on the user's basic information, personality diagnosis results, and model cases. .
  • the user information processing unit 231 calculates initial values of life plan chart parameters reflecting general income and expenditure information from the current age to 90 years old, for example, based on the age, annual income, and model case.
  • the user information processing section 231 may refer to the ideal plan parameter DB 222 and calculate the initial values of the parameters of the life plan chart in consideration of the event information included in the ideal plan information. Note that the life plan chart with parameters as initial values may have a deficit.
  • the user information processing unit 231 stores the calculated life plan chart parameters in the current graph parameter DB 224 and the history data DB 225 . Further, the user information processing unit 231 transmits the calculated parameters of the life plan chart to the terminal device 100 via the communication unit 210 and the network N as graph information.
  • the personality information processing section 232 diagnoses the user's personality based on the input personality diagnosis information, and stores the personality diagnosis result in the basic user information DB 221.
  • Elements of personality diagnosis results include, for example, openness, conscientiousness, extroversion, agreeableness, neuroticism, and the like.
  • the parameter processing unit 233 recalculates the parameters of the life plan chart according to the user's reaction information based on the interaction between the AI agent operating in the interaction processing unit 260 and the user.
  • the parameter processing unit 233 receives a dialogue scenario in the dialogue between the AI agent operating in the dialogue processing unit 260 and the user, and semantic analysis result information based on speech recognition in the speech engine unit 240 .
  • the parameter processing unit 233 recalculates parameters of the life plan chart based on the dialogue scenario and semantic analysis result information.
  • the parameter processing unit 233 transmits the recalculated parameters of the life plan chart to the terminal device 100 via the communication unit 210 and the network N as graph information.
  • the parameter processing unit 233 refers to the user basic information DB 221 to the weighting DB 229 when recalculating the parameters. In addition, in FIG. 6, a part of the connection between each processing unit and each DB is omitted. Specifically, the parameter processing unit 233 determines the user's event based on the semantic analysis result information, and updates the user event DB 223 . For example, when the parameter processing unit 233 receives semantic analysis result information of a house-buying event from the speech engine unit 240, the parameter processing unit 233 changes the state of the house-buying event in the user event DB 223 to a confirmed state, and Attributes included in the information, such as price, age, type of house, etc., are set.
  • the parameter processing unit 233 influences the life plan based on the semantic information of the line-of-sight position and the area included in the graph parameters received from the terminal device 100 via the communication unit 210 and the network N, and the semantic analysis result information. Estimate the parameters for The parameter processing unit 233 updates the user event DB 223 using the estimation result. For example, the parameter processing unit 233 determines the age and amount in the user event DB 223 based on the fact that the user is looking at the 65-year-old area and the semantic analysis result information of the user's utterance such that the retirement allowance is 20 million yen. Set attributes.
  • the parameter processing unit 233 may refer to the weighting DB 229 to determine the weighting of the semantic analysis result information. For example, the parameter processing unit 233 can increase the annual income by 10% from the model case of the average income and expenditure DB 228 when the user answers that he/she often shop at high-end food stores. Also, for example, the parameter processing unit 233 may change the weighting according to attributes such as the user's educational background and place of work.
  • the parameter processing unit 233 calculates new life plan chart parameters based on the updated user event DB 223 and the current parameters in the current graph parameter DB 224 .
  • the parameter processing unit 233 stores the calculated parameters of the new life plan chart in the current graph parameter DB 224 and the history data DB 225, and transmits the graph information to the terminal device 100 via the communication unit 210 and the network N.
  • the parameter processing unit 233 determines the user's current facial expression based on the captured image acquired from the terminal device 100, the user's proficiency level for creating a life plan based on the semantic analysis result information, and the user's basic information DB 221 stored in the user basic information DB 221.
  • the parameters of the new life plan chart may be calculated with reference to the information on the personality of the person.
  • the parameter processing unit 233 compares the parameters of the ideal plan in the ideal plan parameter DB 222 with the parameters of the new life plan chart stored in the current graph parameter DB 224, and calculates the score of the parameters of the new life plan chart.
  • the parameter processing unit 233 stores the calculated score in the score information DB 226.
  • FIG. the parameter processing unit 233 may reduce the score for an event when data for a certain event is insufficient.
  • the scores stored in the score information DB 226 can be used for timeline display or the like.
  • the parameter processing unit 233 may assign an attribute such as highlighting, for example, the score of an event related to a topic on which a large amount of time has been spent for dialogue.
  • the speech engine unit 240 has an utterance history DB 241 and a semantic analysis DB 242 as databases. Each DB can also be accessed from the graph processing unit 220 and the interactive processing unit 260 .
  • the utterance history DB 241 stores, in chronological order, character strings (sentences) of user utterances whose voices have been recognized by the voice recognition unit 251, which will be described later.
  • the semantic analysis DB 242 stores learned data obtained by learning the correspondence between action commands (DG: Domain Goal) whose character strings have been context-converted or analyzed and corresponding slots for each attribute. For example, assume that DG “HOUSING” is associated with slots “AGE_SLOT”, “VALUE_SLOT”, and “TYPE_SLOT”. In this case, the semantic analysis unit 252, which will be described later, determines, for example, “DG:HOUSING” from the character string "I will buy a detached house of 80 million yen at the age of 40.” Acquire information such as "AGE_SLOT: 40", “VALUE_SLOT: 80 million”, and "TYPE_SLOT: detached house”.
  • the speech engine unit 240 performs speech recognition and speech synthesis in AI agent operations.
  • the speech engine section 240 has a speech recognition section 251 , a semantic analysis section 252 and a speech synthesis section 253 .
  • the speech recognition unit 251 performs speech recognition on the speech information received from the terminal device 100 via the communication unit 210 and the network N, executes termination detection and transcription, and generates a character string of the user's utterance.
  • the voice recognition unit 251 stores the generated character string of the user's utterance in the utterance history DB 241 and instructs the semantic analysis unit 252 to perform semantic analysis.
  • the semantic analysis unit 252 When instructed by the speech recognition unit 251 to perform semantic analysis, the semantic analysis unit 252 refers to the utterance history DB 241 and acquires the latest character string of the user's utterance. The semantic analysis unit 252 generates semantic analysis result information by performing DG conversion and slot extraction on the obtained character string. In the example of the semantic analysis DB 242 described above, "DG: HOUSING", “AGE_SLOT: 40”, “VALUE_SLOT: 80,000,000", and “TYPE_SLOT: detached house” are generated as semantic analysis result information. The semantic analysis unit 252 transmits the generated semantic analysis result information to the terminal device 100 via the communication unit 210 and the network N. FIG. The semantic analysis unit 252 may output the generated semantic analysis result information to the dialogue generation unit 271 (described later) of the dialogue processing unit 260 within the server 200 .
  • the speech synthesis unit 253 generates utterance information by speech synthesis when sentences to be spoken from the AI agent operating in the dialogue processing unit 260 are input. Speech synthesis unit 253 transmits the generated speech information to terminal device 100 via communication unit 210 and network N. FIG.
  • the dialog processing unit 260 has an important word DB 261, a scenario DB 262, an advice DB 263, and an AI utterance history DB 264 as databases. Each DB can also be accessed from the graph processing unit 220 and the speech engine unit 240 .
  • the important word DB 261 stores, among the user's utterances, words that are important for generating a life plan chart, together with weighting information according to the degree of importance.
  • the scenario DB 262 stores scenarios, which are the flow of the story, such as what kind of question should be asked next when the AI agent interacts with the user.
  • a scenario can be selected from a plurality of scenarios based on, for example, missing information, information input as an ideal plan, or the like.
  • the advice DB 263 stores information on advice given to the user according to the progress of the scenarios stored in the scenario DB 262.
  • the advice may be, for example, "Would you like to consult with Mr. LP?” regarding the portion marked in red in the life plan chart.
  • the AI utterance history DB 264 stores sentences uttered by AI agents in chronological order.
  • the dialogue processing unit 260 executes dialogue processing with the user as an AI agent.
  • the dialogue processing unit 260 has a dialogue generation unit 271 , a balance information calculation unit 272 , and a proficiency level determination unit 273 .
  • the dialog generation unit 271 is a processing unit that interacts with the user as an AI agent.
  • the dialog generation unit 271 determines whether or not the user has spoken within a predetermined time based on the semantic analysis result information received from the terminal device 100 or the semantic analysis result information input from the speech engine unit 240. do.
  • the dialogue generation unit 271 determines that the user has not spoken within the predetermined time, it refers to the scenario DB 262 and selects a scenario for dialogue with the user as an AI agent.
  • the dialogue generator 271 asks the user questions according to the selected scenario.
  • the dialog generation unit 271 may change the scenario selection and question content according to the user's proficiency level and literacy in creating a life plan.
  • the dialog generation unit 271 operating as an AI agent performs speech recognition and speech synthesis in the speech engine unit 240, and individual explanations of these are omitted.
  • the dialogue generation unit 271 acquires from the terminal device 100 the content of the user's utterance, which is an answer to the question, and the line-of-sight information including the line-of-sight position at the time of the utterance and the semantic information of the area. Similarly, when the dialogue generation unit 271 determines that the user has spoken within a predetermined period of time, the dialogue generation unit 271 acquires, from the terminal device 100, line-of-sight information including the content of the speech, the line-of-sight position at the time of the speech, and the semantic information of the area. .
  • the predetermined time for waiting for the user's utterance may be changed according to the user's personality information stored in the basic user information DB 221 and the literacy regarding life plans.
  • the dialog generation unit 271 determines whether the acquired user's utterance content is a question. If the content of the user's utterance is not a question, the dialog generation unit 271 instructs the parameter processing unit 233 to modify the parameters of the life plan chart according to the utterance content and line-of-sight information to update the life plan chart. At this time, the dialog generation unit 271 outputs the dialog scenario and the semantic analysis result information to the parameter processing unit 233 . The dialogue generation unit 271 conducts dialogue such as an answer corresponding to the modified life plan chart.
  • the dialogue generation unit 271 refers to each DB such as the scenario DB 262 and the advice DB 263 according to the utterance content and line-of-sight information to answer.
  • the dialog generation unit 271 determines whether the current scenario has ended, that is, whether to end the chart generation process. If the chart generation process is not finished, the dialog generation unit 271 waits for the user's utterance or proceeds to the next item in the scenario to continue the dialog with the user.
  • the dialogue generation unit 271 notifies the user of the end of generation of the life plan chart, and ends the process.
  • the data of the generated life plan chart may be sent by e-mail or the like to a terminal owned by the user, or may be printed by a printer (not shown).
  • the dialogue generation unit 271 may determine whether the content of the user's utterance is in the chat phase or the consultation phase. In this case, the dialog generation unit 271 does not ask or answer questions to the user if it determines that it is in the chat phase, but asks or answers to the user if it determines that it is in the consultation phase. Furthermore, the dialogue generation unit 271 may make an answer for confirmation to the user when the semantic analysis of the content of the user's utterance has a low degree of certainty, or when the chart changes significantly. Further, when there are a plurality of users, the dialogue generation unit 271 identifies the decision maker according to the utterances that contribute to the life plan chart and the number of utterances.
  • the dialogue generation unit 271 may instruct the parameter processing unit 233 to update the life plan chart according to the content of the speech of the identified decision maker. Further, the dialogue generation unit 271 may perform filtering by weighting important words and sentences included in the contents of the user's utterance.
  • the income/expenditure information calculation unit 272 refers to the current graph parameter DB 224 and determines whether or not there is a deficit age in the current life plan chart based on the income/expenditure and the amount of savings for each age. When the balance information calculation unit 272 determines that there is a deficit age, it instructs the dialogue generation unit 271 to ask a question that the AI agent has a deficit age. When the balance information calculation unit 272 determines that there is no deficit age, it notifies the interaction generation unit 271 that there is no deficit age.
  • the proficiency level determination unit 273 refers to the utterance history DB 241 and the AI utterance history DB 264, and determines the user's proficiency level and literacy in creating a life plan based on the interaction between the user and the AI agent.
  • the proficiency level determination unit 273 notifies the dialog generation unit 271 of the proficiency level and literacy determination results.
  • the dialogue generator 271 refers to the user event DB 223 and the scenario DB 262, and selects a scenario for dialogue about an event that has not yet been input. For example, if a house purchase event has not been entered, the AI agent asks questions such as "When do you want to buy a house?"
  • the dialogue generation unit 271 refers to semantic information about the line-of-sight position and area when the user speaks, the user event DB 223 and the scenario DB 262, and refers to the location where the user is looking and the event that has not been input yet.
  • choose a scenario to interact with For example, if the user is looking at the 60-year-old part of the life plan chart and no retirement event has been set, the AI agent asks a question such as "Would you like to set a retirement allowance?"
  • the dialog generation unit 271 refers to the current graph parameter DB 224 and extracts characteristic parts in the current life plan chart. As a characteristic portion, for example, a portion where the balance instructed by the balance information calculation unit 272 is in red.
  • the dialogue generation unit 271 refers to the scenario DB 262 and selects a scenario corresponding to the extracted characteristic part.
  • the dialogue generation unit 271 may refer to the advice DB 263 to give advice. For example, when there is a deficit in the 50-year-old part, the AI agent gives advice such as "Would you like to consult Mr. LP about the deficit at the age of 50?"
  • the dialogue generation unit 271 may refer to the user basic information DB 221 and the scenario DB 262, and select a scenario according to the user's personality based on the user's personality information. For example, when the user's optimism is high, the AI agent asks a question such as "How long will you travel abroad after retirement?"
  • the dialogue generation unit 271 may select a scenario from the scenario DB 262 in combination with the line-of-sight position and semantic information of the area. For example, when the user is looking at the child's education fund with an uneasy expression, the AI agent responds, "Do you care about your child's education fund?" Ask questions like.
  • FIG. 7 is a diagram showing an example of a user's basic information input screen.
  • a screen 18 shown in FIG. 7 is a screen for inquiring about the reason for consultation when the user's basic information is input.
  • buttons 19 corresponding to a plurality of triggers for consultation are arranged, and when the user selects one of the buttons 19, the screen transitions to an input screen for inputting the user's name, age, and the like.
  • FIG. 8 is a diagram showing an example of a life event input screen.
  • the screen 20 shown in FIG. 8 accepts input of life events in the user's life plan chart.
  • the tab area 21 is provided with an event design tab and a balance simulation tab, which can be switched by the user's selection.
  • Screen 20 is in a state where the event design tab is displayed.
  • event icons can be placed in the placement area 22 .
  • the event icon is arranged in the arrangement area 22 from the icon group 24 of the classification selected in the classification group 23, for example, by a drag & drop operation.
  • the screen 20 is provided with a button 25 for referring to help, a question input field 26 for the AI agent to answer the question, and a button 27 for transitioning to a screen for consulting Mr. LP.
  • the screen 20 is, for example, an example of an ideal plan input screen, and allows the user to input ideal plan information.
  • FIG. 9 is a diagram showing an example of a balance simulation screen.
  • the screen 30 shown in FIG. 9 is in a state where the balance simulation tab is displayed.
  • a balance simulation for a predetermined period that is, items such as estimated income, expenditure, and savings amount are graphically displayed in an area 31 .
  • the user can return to screen 20 by selecting the event design tab in tab area 21 .
  • the screen 30 is displayed, for example, when the user wants to confirm a specific period during input on the ideal plan input screen.
  • FIG. 10 is a diagram showing an example of an explanation screen and a life plan chart screen.
  • a screen 32 shown in FIG. 10 is a screen for explaining a material 33 on which LP/FP is displayed.
  • the example of FIG. 10 assumes that the user and the LP/FP are having an interview, for example, in an online conference system.
  • the facial image 34 may be a moving image of the LP/FP during the interview.
  • a life plan chart screen 36 based on the results of voice recognition of the conversation between the user and the LP/FP is displayed. be.
  • the life plan chart generation based on this embodiment can be applied not only to the conversation between the user and the AI agent, but also to the conversation between the user and the LP/FP. In this case, the effort of the LP/FP to generate the life plan chart can be reduced. Also, the life plan chart generated by the conversation between the user and the AI agent may be referred to when the user consults with the LP/FP at a later date. Note that the screen 32 is omitted in generating the life plan chart based on the conversation between the user and the AI agent.
  • the life plan chart screen 36 has, for example, a life plan chart 37, a timeline display 38a, a timeline display graph 38b, and a chat area 39.
  • the life plan chart 37 displays the current life plan chart.
  • an input such as pulling up the chart may be received from the user by operating a touch panel or a mouse, for example.
  • the AI agent may ask a question or the like according to the received content.
  • the timeline display 38a displays a history of updating the life plan chart according to the user's utterance content in a timeline.
  • the graph 38b graphs and displays each score in the history of the life plan chart. In other words, the graph 38b displays, as a graph, the history of the score of the life plan chart that changes according to the content of the user's utterance.
  • the chat area 39 displays the content of the dialogue between the user and the AI agent in chat format.
  • FIG. 11 is a diagram showing an example of a timeline display.
  • the screen 40 shown in FIG. 11 is displayed, for example, by selecting the timeline display 38a of the life plan chart screen 36 of FIG. 10 by clicking or the like.
  • the screen 40 has a deletion/change column 41, a time: point column 42, a chart column 43, an utterance content column 44, and a status column 45 as elements.
  • the deletion/change column 41 is provided with a check box, and the history of the life plan chart can be deleted or changed by checking the check box.
  • the time: point column 42 displays the time when the life plan chart was generated and the score of the life plan chart.
  • the chart column 43 displays a reduced image of the life plan chart.
  • the speech content field 44 displays the speech content of the user at the time of updating the life plan chart.
  • the status column 45 displays information about why the life plan chart was updated, such as the user's utterance priority, factor, and weighting when the life plan chart was updated.
  • the timelines are displayed in order of histories 46 to 48 from the top.
  • the lines 49 and 50 are shown to explain how to use the history, the lines 49 and 50 are not displayed on the screen 40 .
  • the life plan chart has been updated twice and the score is "70". Therefore, it is assumed that the user starts over from the history 48 .
  • the life plan chart has been updated twice and the score has improved to "95", as shown in line 50 .
  • the score can be a numerical value in the range of 0 to 100, for example, where the ideal plan is "100".
  • FIG. 12 is a diagram showing an example of a timeline display using a graph.
  • a graph 51 shown in FIG. 12 is an enlarged view of the graph 38b in FIG. Since the life plan chart changes rapidly due to the interaction between the user and the AI agent, it is difficult to compare past life plan charts. Therefore, by graphing the scores calculated for each life plan chart history, changes in the life plan chart can be easily known. For example, it is assumed that the history 52 is the chart shown in the life plan chart 53 and the history 54 is the chart shown in the life plan chart 55 . When comparing the history 52 and the history 54, it can be seen from the score graph 51 that the history 54 is a better life plan chart.
  • FIG. 13 is a flowchart illustrating an example of chart generation processing.
  • the user information processing unit 231 of the server 200 transmits the data of the user's basic information input screen to the terminal device 100, and causes the terminal device 100 to display the user's basic information input screen.
  • the user information processing unit 231 acquires the user's basic information input on the displayed basic information input screen (step S1).
  • the user information processing section 231 stores the acquired basic information of the user in the user basic information DB 221 .
  • the user information processing unit 231 transmits the data of the personality diagnosis screen to the terminal device 100 and causes the terminal device 100 to display the personality diagnosis screen.
  • the user information processing section 231 acquires the personality diagnosis information input on the displayed personality diagnosis screen (step S2).
  • the user information processing section 231 outputs the acquired personality diagnosis information to the personality information processing section 232 .
  • the personality information processing unit 232 diagnoses the user's personality based on the input personality diagnosis information, and stores the personality diagnosis result in the user basic information DB 221 .
  • the user information processing unit 231 transmits the data of the ideal plan input screen to the terminal device 100 and causes the terminal device 100 to display the ideal plan input screen.
  • the user information processing unit 231 acquires the ideal plan information input on the displayed ideal plan input screen (step S3).
  • the user information processing section 231 stores the acquired ideal plan information in the ideal plan parameter DB 222 .
  • the user information processing unit 231 refers to the user basic information DB 221 and the average income/expenditure DB 228, and calculates the initial values of the life plan chart parameters based on the user's basic information, personality diagnosis results, and model cases. That is, the user information processing section 231 generates the first life plan chart (step S4).
  • the user information processing unit 231 stores the calculated life plan chart parameters in the current graph parameter DB 224 and the history data DB 225 . Further, the user information processing unit 231 transmits the calculated parameters of the life plan chart as graph information to the terminal device 100 to display the life plan chart.
  • the voice engine unit 240 and the dialogue processing unit 260 start acquiring voice information and semantic information about the line-of-sight position and area as user reaction information on the terminal device 100 (step S5).
  • the dialogue generation unit 271 of the dialogue processing unit 260 starts dialogue by the AI agent (step S6).
  • the dialog generation unit 271 determines whether or not the user has spoken within a predetermined time based on the result information of the semantic analysis (step S7).
  • the dialogue generation unit 271 determines that the user has not spoken within the predetermined time (step S7: No)
  • it refers to the scenario DB 262 and selects a scenario for dialogue with the user as an AI agent.
  • the dialog generator 271 asks the user a question according to the selected scenario (step S8).
  • the dialogue generator 271 acquires the user's utterance content and line-of-sight information from the terminal device 100 (step S9).
  • the process proceeds to step S8 without asking the user a question.
  • the dialog generation unit 271 determines whether or not the acquired user's utterance content is a question (step S10). If the content of the user's utterance is not a question (step S10: No), the dialogue generation unit 271 corrects the parameters of the life plan chart according to the utterance content and line-of-sight information to update the life plan chart. 233 (steps S11 and S12). The dialogue generation unit 271 conducts dialogue such as an answer corresponding to the modified life plan chart. That is, the dialogue generator 271 makes an answer by the AI agent (step S13).
  • the dialogue generation unit 271 refers to each DB such as the scenario DB 262 and the advice DB 263 according to the utterance content and line-of-sight information to answer. That is, the dialogue generator 271 makes an answer by the AI agent (step S13).
  • the dialog generation unit 271 determines whether or not the current scenario has ended, that is, whether or not the chart generation process is to end (step S14). If the chart generation process is not finished (step S14: No), the dialog generation unit 271 returns to step S7 to wait for the user's utterance or proceed to the next item in the scenario to continue the dialog with the user. On the other hand, when determining to end the chart generation process (step S14: Yes), the dialog generation unit 271 notifies the user that generation of the life plan chart is to end, and ends the process. As a result, it is possible to immediately check the life plan chart reflecting the contents of the utterance.
  • FIG. 14 to 16 the subject of the processing executed by the information processing system 1 will be described as an AI agent.
  • FIG. 14 is a sequence diagram showing an example of processing related to interaction between the user and the AI agent in Case 1.
  • the AI agent first asks the user, "What is your family structure like?" (step S101).
  • the AI agent performs voice recognition (step S103) and semantic analysis (step S104).
  • the AI agent performs personality diagnosis based on the data previously input on the personality diagnosis screen (step S105).
  • the personality diagnosis result of step S105 is used in step S111, which will be described later.
  • the AI agent determines whether the semantic analysis result information is a direct parameter for the life plan chart (step S106). When the AI agent determines that the parameters are direct parameters (step S106: Yes), the AI agent determines chart parameters from the semantic analysis result information (step S107). On the other hand, when the AI agent determines that the parameter is not a direct parameter (step S106: No), it converts the utterance content into a chart parameter (step S108).
  • the expenditure parameter for the chart is increased by 40,000 yen from the current value. Also, for example, if the content of the utterance is "I want to change jobs in 5 years and increase my salary by 3 million”, “ID_CHANGE_OCCUPATION positive_flag SLOT 5 years later 3 million” is obtained as the semantic analysis result information.
  • the semantic analysis result information "ID_CHANGE_OCCUPATION positive_flag SLOT 5 years later 3 million yen” is not a direct parameter for the chart, so it is increased by 3 million yen from 5 years later among the annual income parameters of the chart.
  • the AI agent generates and displays a life plan chart based on the chart parameters (step S109).
  • the AI agent determines whether further questions are required to generate the life plan chart (step S110).
  • the AI agent determines the contents of the next dialogue from the specific values of the chart parameters, the contents of the answers, the results of the personality diagnosis, etc. (step S111). After that, for example, based on the question "Do you often shop at high-end grocery stores?" Similarly, for example, based on the question "How much is your annual income?" in step S131 and the answer "8 million.”
  • step S110 determines in step S110 that the question is not necessary (step S110: No), it ends the interaction with the user. As a result, it is possible to immediately check the life plan chart reflecting the contents of the utterance.
  • FIG. 15 is a sequence diagram showing an example of processing related to interaction between the user and the AI agent in Case 2.
  • the AI agent detects the line-of-sight position (step S141).
  • the AI agent performs matching between the life plan chart and the line-of-sight position (step S142), and generates questions regarding the area of the life plan chart that the user is gazing at (step S143).
  • step S144 the AI agent replies, for example, "I will answer why you are going down"
  • step S145 the AI agent subsequently asks, for example, "If you quit your job at the age of 60, your family will suffer financially until you get your pension. Would you like to work?"
  • step S145 the answer in step S144 may not be given.
  • the life plan chart reflecting the line-of-sight position and the utterance content can be immediately confirmed.
  • FIG. 16 is a sequence diagram showing an example of processing related to interaction between the user and the AI agent in Case 3.
  • the AI agent detects the line-of-sight position (step S141).
  • the AI agent performs matching between the life plan chart and the line-of-sight position (step S142).
  • step S153 when the user asks a question such as "Why does the mountain go down at 60 years old?" is performed (step S153), and an answer is generated (step S154).
  • the AI agent makes a response such as "Because I will retire at the age of 60" as a generated response, for example (step S155).
  • steps S103 to S111 are executed in the same manner as in FIG.
  • the life plan chart reflecting the line-of-sight position and the utterance content can be immediately confirmed.
  • the case of creating a life plan chart based on the interaction between the user and the AI agent was taken as an example, but the present invention is not limited to this.
  • it can be applied to education of FP/LP, support for career consultant work, consultation on curriculum formation at various schools and cram schools, consultation on various requirements for marriage information introduction services, simulation of estimate for purchasing a house, and the like.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the terminal device 100 may integrate the functions of the speech engine section 240 and the dialog processing section 260 of the server 200 .
  • FIG. 17 is a hardware configuration diagram showing an example of a computer that implements the functions of the information processing apparatus.
  • Computer 1000 has CPU 1100 , RAM 1200 , ROM (Read Only Memory) 1300 , HDD (Hard Disk Drive) 1400 , communication interface 1500 and input/output interface 1600 .
  • bus 1050 Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records an information processing program according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500, and transmits data generated by the CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk)
  • magneto-optical recording media such as MO (Magneto-Optical disk)
  • tape media magnetic recording media
  • magnetic recording media semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 implements the functions of the user information processing section 231 and the like by executing the information processing program loaded on the RAM 1200.
  • the HDD 1400 also stores an information processing program according to the present disclosure, data such as the user basic information DB 221 , and the like.
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the information processing system 1 generates and displays plan information representing the future plan based on the user's basic information and the user's ideal plan when consulting the user's future plan through voice interaction. do.
  • the information processing system 1 corrects the future plan and updates the plan information according to the user's reaction information to the displayed plan information. As a result, it is possible to immediately check the plan information reflecting the user's reaction information.
  • Reaction information is information about the user's line of sight. As a result, the user's line of sight can be reflected in the plan information.
  • Reaction information is information about the content of the user's utterance. As a result, the contents of the user's utterance can be reflected in the plan information.
  • the plan information is a life plan chart. As a result, the life plan chart reflecting the user's reaction information can be checked immediately.
  • a voice dialogue is a dialogue between a user and an AI agent.
  • the AI agent can guide the user to generate plan information.
  • the AI agent asks the user about the missing information in the plan information. Also, the AI agent (update unit) corrects the future plan according to the user's answer and updates the plan information. As a result, the AI agent can obtain information necessary for generating plan information from the user and reflect it in the plan information.
  • the AI agent asks a question to the user based on one or more of the area where the user's line of sight is directed and the contents of the user's utterance, which are reaction information. As a result, the AI agent can ask questions about matters of interest to the user.
  • the AI agent changes the content of the question according to the user's attributes. As a result, it is possible to generate a life plan chart (planning information) more desired by the user.
  • the AI agent responds according to the area and the content of the question. As a result, an appropriate answer can be given to the user's question.
  • the AI agent asks the user about future plan revisions regarding the area where the user's line of sight is directed to the plan information. Also, the AI agent modifies the future plan according to the user's answer and updates the plan information. As a result, the user can modify the life plan chart (planning information) of the area of interest.
  • the AI agent determines whether the voice dialogue is in the chat phase or the consultation phase, and if it determines that it is in the consultation phase, asks or answers the user. As a result, superfluous information in chat can be excluded.
  • the AI agent when the semantic analysis of the user's utterance content has a low degree of certainty, or when the plan information changes significantly, the AI agent will give the user a confirmation answer. As a result, information with low reliability can be excluded.
  • the AI agent will identify the decision maker according to the number of times they have spoken to contribute to the plan information.
  • the AI agent (update unit) updates the plan information by correcting the future plan according to the utterance content of the specified decision maker. As a result, it is possible to reduce rework when generating a life plan chart (planning information).
  • the AI agent displays the update history as a timeline. As a result, each modified life plan chart (plan information) can be displayed.
  • the AI agent calculates the score for the ideal plan of the updated plan information. Also, the AI agent displays the calculated score on the timeline. As a result, it is possible to display in an easy-to-understand way which point in time the life plan chart (plan information) is close to the ideal plan.
  • the AI agent displays the score as a graph. As a result, it is possible to display at a glance how the life plan chart (plan information) at which point in time is close to the ideal plan.
  • a voice dialogue is a dialogue between the user and the person in charge.
  • the person in charge can reduce the effort of creating a life plan chart (planning information).
  • the server 200 has an acquisition unit, a generation unit, and an update unit (user information processing unit 231, parameter processing unit 233).
  • the acquisition unit acquires the user's reaction information, the user's basic information, and the user's ideal plan when consulting the user's future plan through voice interaction.
  • the generator generates plan information representing a future plan based on the acquired basic information and the ideal plan.
  • the updating unit modifies the future plan and updates the plan information according to reaction information to the generated plan information. As a result, it is possible to immediately confirm the plan information reflecting the user's reaction information.
  • the present technology can also take the following configuration.
  • (2) The reaction information is information about the user's line of sight, The information processing method according to (1) above.
  • the reaction information is information on the utterance content of the user, The information processing method according to (1) or (2) above.
  • the future plan is a life plan plan, The information processing method according to any one of (1) to (3) above.
  • the plan information is a life plan chart, The information processing method according to any one of (1) to (4) above.
  • the voice interaction is interaction between the user and an AI (Artificial Intelligence) agent, The information processing method according to any one of (1) to (5) above.
  • AI Artificial Intelligence
  • the AI agent asks the user about missing information in the plan information.
  • a computer performs the processing, The updating process modifies the future plan according to the user's answer and updates the plan information.
  • (8) In the process of asking a question, a question is asked to the user based on one or more of the response information, namely, the area to which the user's gaze is directed and the content of the user's utterance.
  • the process of asking a question changes the content of the question according to the attribute of the user.
  • the AI agent asks the user about a modification of the future plan for an area where the user's line of sight is directed to the plan information.
  • a computer performs the processing, The updating process modifies the future plan according to the user's answer and updates the plan information.
  • the AI agent determines whether the voice interaction is in a chat phase or a consultation phase, and if it is determined to be in the consultation phase, asks or answers the user;
  • the AI agent makes a confirmation reply to the user.
  • the displaying process displays the score as a graph, The information processing method according to (16) above.
  • the voice interaction is interaction between the user and a person in charge.
  • the information processing method according to any one of (1) to (5) above. (19) an acquisition unit that acquires the user's reaction information, the user's basic information, and the user's ideal plan when consulting the user's future plan through voice interaction; a generation unit that generates plan information representing the future plan based on the acquired basic information and the ideal plan; an updating unit that modifies the future plan and updates the plan information according to the reaction information to the generated plan information;
  • Information processing device having (20) generating and displaying plan information representing the future plan based on the user's basic information and the user's ideal plan when consulting the user's future plan through voice interaction; modifying the future plan and updating the plan information according to reaction information of the user to the displayed plan information;
  • An information processing program that causes a computer to execute processing.
  • 1 information processing system 100 terminal device 101 display unit 102 operation unit 103 camera 104 microphone 105 speaker 110 communication unit 120 storage unit 121 line-of-sight position storage unit 122 area semantic information storage unit 130 control unit 131 reception unit 132 graph display unit 133 line-of-sight detection unit 134 corresponding position detection unit 135 voice processing unit 200 server 210 communication unit 220 graph processing unit 221 user basic information DB 222 ideal plan parameter DB 223 User Event DB 224 current graph parameter DB 225 History data DB 226 score information DB 227 Event Importance Judgment DB 228 Average Balance DB 229 Weighting DB 231 User information processing unit 232 Personality information processing unit 233 Parameter processing unit 240 Speech engine unit 241 Speech history DB 242 Semantic Analysis DB 251 speech recognition unit 252 semantic analysis unit 253 speech synthesis unit 260 dialogue processing unit 261 important word DB 262 Scenario DB 263 Advice DB 264 AI speech history DB 271 dialogue generation unit 272 balance information calculation unit 273 proficiency level

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

情報処理方法は、音声対話によって、ユーザの将来の計画を相談する際に、ユーザの基本情報と、ユーザの理想とする計画とに基づいて、将来の計画を表す計画情報を生成して表示し、表示した計画情報に対するユーザの反応情報に応じて、将来の計画を修正して計画情報を更新する、処理をコンピュータ（２００）が実行する。

Description

情報処理方法、情報処理装置および情報処理プログラム
　本開示は、情報処理方法、情報処理装置および情報処理プログラムに関する。
　ユーザの将来の計画を専門家に相談する場合、専門家との面談によって将来の計画を作成することが行われている。例えば、生命保険では、ユーザがライフプランナーやファイナンシャルプランナー（以下、ＬＰ／ＦＰともいう。）と面談を行って、ライフプランチャートを作成している。また、ライフプランチャートの作成方法としては、例えば、各種情報をキーボードやマウスで入力してライフプランシートを作成し、作成したライフプランシートの健全さに関する評価を行うことが提案されている（特許文献１）。
特開２０２０－６０８１９号公報
　しかしながら、上記の従来技術では、ユーザによってキーボードやマウスを用いて入力された情報に基づいて、ライフプランチャートを作成しているため、ユーザが疑問に思ったことや、ふとした質問等をライフプランチャートに反映することが困難である。
　そこで、本開示では、発話内容を反映した計画情報を直ちに確認できる情報処理方法、情報処理装置および情報処理プログラムを提案する。
　本開示の一態様による情報処理方法は、音声対話によって、ユーザの将来の計画を相談する際に、前記ユーザの基本情報と、前記ユーザの理想とする計画とに基づいて、前記将来の計画を表す計画情報を生成して表示し、表示した前記計画情報に対する前記ユーザの反応情報に応じて、前記将来の計画を修正して前記計画情報を更新する、処理をコンピュータが実行する。
本開示の実施形態に係る情報処理システムの構成の一例を示す図である。 ユーザとＡＩエージェントとのやり取りの一例を示す図である。 ユーザとＡＩエージェントとのやり取りの一例を示す図である。 ユーザの視線の情報をチャートに反映する一例を示す図である。 本開示の実施形態に係る端末装置の構成の一例を示す図である。 本開示の実施形態に係るサーバの構成の一例を示す図である。 ユーザの基本情報入力画面の一例を示す図である。 ライフイベントの入力画面の一例を示す図である。 収支シミュレーション画面の一例を示す図である。 説明画面とライフプランチャート画面の一例を示す図である。 タイムライン表示の一例を示す図である。 グラフを用いたタイムライン表示の一例を示す図である。 チャート生成処理の一例を示すフローチャートである。 ケース１におけるユーザとＡＩエージェントとのやり取りに関する処理の一例を示すシーケンス図である。 ケース２におけるユーザとＡＩエージェントとのやり取りに関する処理の一例を示すシーケンス図である。 ケース３におけるユーザとＡＩエージェントとのやり取りに関する処理の一例を示すシーケンス図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　　１－１．実施形態に係るシステムの構成
　　　１－２．ＡＩエージェントによる対話の例
　　　１－３．実施形態に係る端末装置の構成
　　　１－４．実施形態に係るサーバの構成
　　　１－５．実施形態に係る情報処理の手順
　　　１－６．ＡＩエージェントによる対話における処理の流れ
　　２．実施形態の変形例
　　３．ハードウェア構成
　　４．効果
（１．実施形態）
［１－１．実施形態に係るシステムの構成］
　図１は、本開示の実施形態に係る情報処理システムの構成の一例を示す図である。図１に示すように、情報処理システム１は、端末装置１００と、サーバ２００とを有する。端末装置１００およびサーバ２００は、例えば、ネットワークＮを介して接続されている。
　端末装置１００は、ライフプランチャートを作成するユーザが操作する情報処理装置である。端末装置１００は、サーバ２００で動作するＡＩ（Artificial　Intelligence）エージェントに対してユーザに関する情報の送信、および、ＡＩエージェントの応答や作成したライフプランチャートの表示等を行う。サーバ２００は、ライフプランチャートの作成サービスを提供する情報処理装置である。サーバ２００は、ＡＩエージェントの動作やライフプランチャートの作成等を行う。なお、チャートおよびライフプランチャートは、計画情報の一例である。また、各装置の詳細については、それぞれ後述する。さらに、ユーザとＡＩエージェントとのやり取りにおいて、情報処理システム１における内部の動作をＡＩエージェントの動作として表す場合がある。
［１－２．ＡＩエージェントによる対話の例］
　まず、図２から図４を用いて、本実施形態で想定するユーザとＡＩエージェントによる対話の例について説明する。図２および図３は、ユーザとＡＩエージェントとのやり取りの一例を示す図である。図２に示すように、ＡＩエージェントは、ライフプランチャートを作成するユーザの年齢や年収等のユーザの基本情報や、ユーザの理想とする将来の計画の入力後を受け付けた後に、入力内容に基づいたライフプランチャート１０を提示する。その後、ＡＩエージェントは、ユーザとの間の会話におけるユーザの発話内容に基づいて、将来の計画を修正したライフプランチャート１０を提示する。ＡＩエージェントは、ユーザとの会話を繰り返すことで修正された将来の計画に対応するライフプランチャート１０を提示して、例えばＬＰ／ＦＰに詳しい内容を相談することを提案する。
　図３に示すユーザとＡＩエージェントとの会話においては、状況１１に示すように、ＡＩエージェントは、端末装置１００に設けられたカメラでユーザの視線を検出し、ユーザがライフプランチャート１０のどこを見ているかの情報を取得してもよい。状況１１では、ユーザがライフプランチャート１０の６０歳付近の領域１２を見ながら、「もっと先まで働けると思う」と発言している。つまり、ＡＩエージェントは、ユーザの視線から「６０歳」という情報を、「もっと先まで働けると思う」という発言とともに取得することができる。また、状況１３に示すように、ＡＩエージェントが、例えば資産残高が減少するようなライフプランチャート１０を表示しながら、「６０歳以降はたらきますか？」といた質問をユーザにした場合に、カメラでユーザの表情を検出するようにしてもよい。この場合、ユーザの発言としては「うーん」と曖昧な発言であるが、検出した表情が曇っているのでユーザがネガティブな感情を抱いているとして、ＡＩエージェントは、次の質問を調整することができる。
　図４は、ユーザの視線の情報をチャートに反映する一例を示す図である。図４に示すように、ＡＩエージェントは、ユーザが住宅購入において、価格が高いエリアの地図１４を見ている視線を検出した場合、住宅購入の価格を地図１４の地価に応じて変更したライフプランチャート１０ａを生成して表示する。ユーザがライフプランチャート１０ａを見て地図表示の操作を行い、価格が安いエリアの地図１５を見ている視線を検出し、「ここはいいな。」といった発話内容を取得した場合、住宅購入の価格を地図１５の地価に応じて変更したライフプランチャート１０ｂを生成して表示する。つまり、ＡＩエージェントは、音声と視線の情報に基づいて、ライフプランチャート１０を動的に変えることができる。
　これに対し、上記の従来技術では、ユーザによってキーボードやマウスを用いて入力された情報に基づいて、ライフプランチャートを作成し、作成したライフプランチャートの健全さに関する評価を行っている。しかしながら、ＡＩエージェントとの対話は行っていないので、ユーザが何気なく発言した内容はライフプランチャートに反映されない。このため、ユーザが気軽に発言した内容を反映したライフプランチャートを確認しながら、よりよいライフプランチャートを作成することが困難である。
　本開示に係る情報処理システム１は、発話内容を反映したチャートを直ちに確認できるようにするため、下記に説明する情報処理を実行する。具体的には、情報処理システム１は、音声対話によって、ユーザの将来の計画を相談する際に、ユーザの基本情報と、ユーザの理想とする計画とに基づいて、将来の計画を表すチャートを生成して表示する。情報処理システム１は、表示したチャートに対するユーザの反応情報に応じて、将来の計画を修正してチャートを更新する。
［１－３．実施形態に係る端末装置の構成］
　図５は、本開示の実施形態に係る端末装置の構成の一例を示す図である。図５に示すように、端末装置１００は、表示部１０１と、操作部１０２と、カメラ１０３と、マイク１０４と、スピーカ１０５と、通信部１１０と、記憶部１２０と、制御部１３０とを有する。端末装置１００としては、例えば、パーソナルコンピュータやスマートフォンが挙げられる。
　表示部１０１は、各種情報を表示するための表示デバイスである。表示部１０１は、例えば、表示デバイスとして液晶ディスプレイや有機ＥＬ（Electro　Luminescence）ディスプレイ等によって実現される。表示部１０１は、ユーザの基本情報の入力画面、商品や用語の説明画面、ライフプランチャート画面等の各種画面を表示する。
　操作部１０２は、端末装置１００を操作するユーザから各種操作を受け付ける入力デバイスである。操作部１０２は、例えば、入力デバイスとして、キーボード、マウス、タッチパネル等によって実現される。操作部１０２では、例えば、ユーザから年齢や年収等の基本情報の入力を受け付ける。なお、表示部１０１の表示デバイスと操作部１０２の入力デバイスとは、タッチパネル付きディスプレイのように一体化されていてもよい。
　カメラ１０３は、端末装置１００を操作するユーザを撮像する。カメラ１０３は、例えば、撮像素子としてＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサまたはＣＣＤ（Charge　Coupled　Device）イメージセンサ等を用いて、画像を撮像する。カメラ１０３は、撮像素子が受光した光を光電変換しＡ／Ｄ変換を行って画像を生成する。カメラ１０３は、撮像画像を制御部１３０に出力する。
　マイク１０４は、端末装置１００を操作するユーザの音声を取得する。マイク１０４は、例えば、エレクトレットコンデンサマイク等の各種のマイクを用いることができる。マイク１０４は、取得した音声の音声信号を制御部１３０に出力する。
　スピーカ１０５は、ＡＩエージェントの発話内容を出力する。スピーカ１０５は、例えば、ダイナミック型やコンデンサ型等の各種のスピーカを用いることができる。スピーカ１０５は、制御部１３０から入力された音声信号に基づいて、音を出力する。
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）や、Ｗｉ－Ｆｉ（登録商標）等の無線ＬＡＮ（Local　Area　Network）等によって実現される。通信部１１０は、ネットワークＮを介してサーバ２００と有線または無線で接続され、サーバ２００との間で情報の通信を司る通信インタフェースである。通信部１１０は、例えば、サーバ２００から音声認識による意味解析の結果情報等のデータ、各種画面のデータ、グラフ情報、ＡＩエージェントの音声信号等を受信する。また、通信部１１０は、サーバ２００に、入力情報、音声情報、撮像画像、ＡＩエージェントへの指示等を送信する。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、視線位置記憶部１２１と、エリア意味情報記憶部１２２とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報（プログラムやデータ）を記憶する。
　視線位置記憶部１２１は、カメラ１０３で撮像された撮像画像から検出されたユーザの視線位置を記憶する。視線位置記憶部１２１は、例えば、表示部１０１に表示された画面における視線位置を時系列の履歴として記憶する。
　エリア意味情報記憶部１２２は、表示部１０１に表示された画面について、所定のエリアにどの様な情報が表示されているかを、画面におけるエリアと表示されている情報とを対応付けて記憶する。エリア意味情報記憶部１２２は、例えば、表示されたライフプランチャートの６０歳のグラフのエリアと、「６０歳」という情報とを対応付けて記憶する。
　制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されるようにしてもよい。
　制御部１３０は、受付部１３１と、グラフ表示部１３２と、視線検出部１３３と、対応位置検出部１３４と、音声処理部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　受付部１３１は、ネットワークＮおよび通信部１１０を介してサーバ２００から受信したユーザの基本情報入力画面、性格診断画面、および、理想とする将来の計画（以下、理想プランともいう。）の入力画面を表示部１０１に表示する。受付部１３１は、表示部１０１に表示されたユーザの基本情報入力画面、性格診断画面、および、理想プラン入力画面において、ユーザから基本情報、性格診断情報、および、理想プラン情報の入力を受け付ける。ユーザの基本情報は、例えば、年齢、年収、既婚未婚等の情報が挙げられる。性格診断情報は、例えば、ＢｉｇＦｉｖｅ等の質問の回答が挙げられる。理想プラン情報は、例えば、何歳で車や家を買う、老後の目標貯蓄額等の情報が挙げられる。つまり、理想プラン情報は、ユーザが将来こうあって欲しいというライフプランデータであり、イベントの発生、年齢ごとの収支や貯蓄額等がパラメータとなる。受付部１３１は、通信部１１０およびネットワークＮを介して、受け付けたユーザの基本情報と、性格診断情報と、理想プラン情報とをサーバ２００に送信する。
　グラフ表示部１３２は、ネットワークＮおよび通信部１１０を介してサーバ２００から受信したグラフ情報に基づいて、ライフプランチャートの描画データを生成し、表示部１０１にライフプランチャート画面を表示させる。また、グラフ表示部１３２は、表示中の画面において、所定のエリアにどの様な情報が表示されているかを、画面におけるエリアと表示されている情報とを対応付けてエリア意味情報記憶部１２２に記憶する。なお、グラフ表示部１３２は、他の画面、例えばライフプランに関する資料画面等を表示部１０１に表示させてもよい。
　視線検出部１３３は、カメラ１０３から入力された撮像画像に基づいて、ユーザの視線を検出する。視線検出部１３３は、検出した視線に基づいて、表示部１０１に表示された画面における視線位置を決定する。視線検出部１３３は、決定した視線位置を対応位置検出部１３４に出力するとともに、視線位置記憶部１２１に記憶する。また、視線検出部１３３は、入力された撮像画像に基づいて、ユーザの表情を検出し、表情データを通信部１１０およびネットワークＮを介してサーバ２００に送信してもよい。
　対応位置検出部１３４は、視線検出部１３３から視線位置が入力されると、エリア意味情報記憶部１２２を参照して、視線位置があるエリアの意味情報を取得する。対応位置検出部１３４は、通信部１１０およびネットワークＮを介して、視線位置とエリアの意味情報とをグラフパラメータとしてサーバ２００に送信する。
　音声処理部１３５は、マイク１０４から入力された音声信号をサンプリングして音声情報を生成する。音声処理部１３５は、生成した音声情報を通信部１１０およびネットワークＮを介してサーバ２００に送信する。音声処理部１３５は、ネットワークＮおよび通信部１１０を介してサーバ２００から、送信した音声情報に対応する意味解析の結果情報を受信する。音声処理部１３５は、通信部１１０およびネットワークＮを介して、意味解析の結果情報をグラフパラメータとしてサーバ２００に送信する。なお、意味解析の結果情報は、サーバ２００内の後述する音声エンジン部２４０からグラフ処理部２２０に直接出力するようにしてもよい。また、音声処理部１３５は、ネットワークＮおよび通信部１１０を介してサーバ２００から受信したＡＩエージェントの発話情報に基づく音声信号をスピーカ１０５に出力する。
［１－４．実施形態に係るサーバの構成］
　図６は、本開示の実施形態に係るサーバの構成の一例を示す図である。図６に示すように、サーバ２００は、通信部２１０と、グラフ処理部２２０と、音声エンジン部２４０と、対話処理部２６０とを有する。グラフ処理部２２０、音声エンジン部２４０および対話処理部２６０に含まれる各処理部は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、グラフ処理部２２０、音声エンジン部２４０および対話処理部２６０に含まれる各処理部は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。
　また、グラフ処理部２２０、音声エンジン部２４０および対話処理部２６０に含まれる各データベース（以下、ＤＢともいう。）は、図示しない記憶部に含まれ、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。また、記憶部は、グラフ処理部２２０、音声エンジン部２４０および対話処理部２６０に含まれる各処理部での処理に用いる情報（プログラムやデータ）を記憶する。
　通信部２１０は、例えば、ＮＩＣや、Ｗｉ－Ｆｉ（登録商標）等の無線ＬＡＮ等によって実現される。通信部２１０は、ネットワークＮを介して端末装置１００と有線または無線で接続され、端末装置１００との間で情報の通信を司る通信インタフェースである。通信部２１０は、例えば、端末装置１００から入力情報、音声情報、撮像画像、ＡＩエージェントへの指示等を受信する。また、通信部２１０は、音声認識による意味解析の結果情報等のデータ、各種画面のデータ、グラフ情報、ＡＩエージェントの音声信号等を端末装置１００に送信する。
　グラフ処理部２２０は、データベースとして、ユーザ基本情報ＤＢ２２１と、理想プランパラメータＤＢ２２２と、ユーザイベントＤＢ２２３と、カレントグラフパラメータＤＢ２２４と、履歴データＤＢ２２５と、スコア情報ＤＢ２２６と、イベント重要度判定ＤＢ２２７と、平均収支ＤＢ２２８と、重み付けＤＢ２２９とを有する。なお、各ＤＢは、音声エンジン部２４０および対話処理部２６０からもアクセス可能である。
　ユーザ基本情報ＤＢ２２１は、ユーザにより端末装置１００において入力された、ユーザの氏名、年齢、性別、年収、職業等の個人データと、後述する性格情報処理部２３２で判定されたユーザの性格の情報とを記憶する。
　理想プランパラメータＤＢ２２２は、ユーザにより端末装置１００において入力された、理想プランにおける各種の情報、例えば、退職金、年齢ごとの収支、介護等の情報を記憶する。
　ユーザイベントＤＢ２２３は、ライフプランチャートを作成する上で求められるイベントの情報、例えば、現時点で想定する、結婚、出産、家族構成、退職金、退職年齢等の情報を記憶する。
　カレントグラフパラメータＤＢ２２４は、現在表示中のライフプランチャートのパラメータを記憶する。カレントグラフパラメータＤＢ２２４は、例えば、年齢ごとの支出金額、収入金額、貯金額等の情報をパラメータとして記憶する。
　履歴データＤＢ２２５は、カレントグラフパラメータＤＢ２２４に記憶されるライフプランチャートのパラメータの履歴を記憶する。履歴データＤＢ２２５は、ライフプランチャートの更新の履歴をタイムラインとして表示する場合に参照される。
　スコア情報ＤＢ２２６は、現在表示中のライフプランチャートを理想プランと比較して、理想プランをどの程度満足しているかを表すスコアを算出する場合に参照する、ライフプランチャートのパラメータごとの基礎点を記憶する。スコア情報ＤＢ２２６では、比較要素のパラメータとして、例えば、現在および将来の収支情報、家族構成、住宅ローン、投資、趣味等のやりたいこと等が挙げられる。また、スコア情報ＤＢ２２６は、現在表示中のライフプランチャートの各イベントに対応するスコアと合計スコアとを記憶するようにしてもよい。
　イベント重要度判定ＤＢ２２７は、ライフプランチャートを作成する上で求められる各イベントの重要度を記憶する。イベント重要度判定ＤＢ２２７は、例えば、退職金のイベントであれば、重要度が高い収入のイベントである旨を記憶する。重要度は、例えば、イベントごとに、高、中、低の３段階で設定することができる。
　平均収支ＤＢ２２８は、過去の統計データとして、例えば、退職金の金額、支給年齢、重要度といった情報を記憶する。すなわち、平均収支ＤＢ２２８は、複数のモデルケースごとに、平均的なライフプランチャートのパラメータを記憶する。
　重み付けＤＢ２２９は、ユーザの特定の発話やＡＩエージェントとの対話シナリオにおいて、ライフプランチャートのパラメータの重み付けを変更するための重み付け情報を記憶する。重み付けＤＢ２２９は、例えば、あるシナリオにおいて、高級食材店の利用があれば、年収を高くするように当該年収のパラメータの重み付けを変更するための情報、例えば、年収を１．１倍にするといった重み付け情報を記憶する。また、重み付けＤＢ２２９は、例えば、ユーザの性格の情報が慎重な性格である場合に、支出を少なめに変更する情報、例えば、支出を０．９倍にするといった重み付け情報を記憶する。
　次に、グラフ処理部２２０における各処理部について説明する。グラフ処理部２２０は、ユーザ情報処理部２３１と、性格情報処理部２３２と、パラメータ処理部２３３とを有する。
　ユーザ情報処理部２３１は、通信部２１０およびネットワークＮを介して、端末装置１００に対してユーザの基本情報入力画面のデータを送信し、端末装置１００にユーザの基本情報入力画面を表示させる。ユーザ情報処理部２３１は、表示させた基本情報入力画面で入力されたユーザの基本情報を取得する。ユーザの基本情報入力画面は、例えばウィザード方式等を用いることができる。ユーザ情報処理部２３１は、取得したユーザの基本情報をユーザ基本情報ＤＢ２２１に記憶する。また、ユーザ情報処理部２３１は、平均収支ＤＢ２２８を参照して、ユーザの基本情報に最も近いモデルケースから不足する情報を補填してもよい。
　さらに、ユーザ情報処理部２３１は、通信部２１０およびネットワークＮを介して、端末装置１００に対して性格診断画面のデータを送信し、端末装置１００に性格診断画面を表示させる。ユーザ情報処理部２３１は、表示させた性格診断画面で入力された性格診断情報を取得する。ユーザ情報処理部２３１は、取得した性格診断情報を性格情報処理部２３２に出力する。
　また、ユーザ情報処理部２３１は、通信部２１０およびネットワークＮを介して、端末装置１００に対して理想プラン入力画面のデータを送信し、端末装置１００に理想プラン入力画面を表示させる。ユーザ情報処理部２３１は、表示させた理想プラン入力画面で入力された理想プラン情報を取得する。ユーザ情報処理部２３１は、取得した理想プラン情報を理想プランパラメータＤＢ２２２に記憶する。
　さらに、ユーザ情報処理部２３１は、ユーザ基本情報ＤＢ２２１および平均収支ＤＢ２２８を参照し、ユーザの基本情報と、性格診断結果と、モデルケースとに基づいて、ライフプランチャートのパラメータの初期値を算出する。ユーザ情報処理部２３１は、例えば、年齢、年収およびモデルケースに基づいて、現在の年齢から９０歳までの一般的な収支情報を反映したライフプランチャートのパラメータの初期値を算出する。また、ユーザ情報処理部２３１は、理想プランパラメータＤＢ２２２を参照し、理想プラン情報に含まれるイベント情報を加味してライフプランチャートのパラメータの初期値を算出してもよい。なお、パラメータを初期値としたライフプランチャートは、収支が赤字になる場合があってもよい。ユーザ情報処理部２３１は、算出したライフプランチャートのパラメータをカレントグラフパラメータＤＢ２２４および履歴データＤＢ２２５に記憶する。また、ユーザ情報処理部２３１は、算出したライフプランチャートのパラメータをグラフ情報として、通信部２１０およびネットワークＮを介して、端末装置１００に送信する。
　性格情報処理部２３２は、ユーザ情報処理部２３１から性格診断情報が入力されると、入力された性格診断情報に基づいて、ユーザの性格を診断し、性格診断結果をユーザ基本情報ＤＢ２２１に記憶する。性格診断結果の要素としては、例えば、開放性、誠実性、外向性、協調性、神経症的傾向等が挙げられる。
　パラメータ処理部２３３は、対話処理部２６０で動作するＡＩエージェントと、ユーザとの対話に基づくユーザの反応情報に応じて、ライフプランチャートのパラメータの再計算を行う。つまり、パラメータ処理部２３３には、対話処理部２６０で動作するＡＩエージェントとユーザとの対話における対話のシナリオと、音声エンジン部２４０での音声認識による意味解析の結果情報とが入力される。パラメータ処理部２３３は、対話のシナリオと、意味解析の結果情報とに基づいて、ライフプランチャートのパラメータの再計算を行う。パラメータ処理部２３３は、通信部２１０およびネットワークＮを介して、再計算したライフプランチャートのパラメータをグラフ情報として端末装置１００に送信する。
　パラメータ処理部２３３は、パラメータの再計算の際に、ユーザ基本情報ＤＢ２２１～重み付けＤＢ２２９を参照する。なお、図６では、各処理部と各ＤＢとの接続の一部を省略している。具体的には、パラメータ処理部２３３は、意味解析の結果情報に基づいて、ユーザのイベントを決定し、ユーザイベントＤＢ２２３を更新する。例えば、パラメータ処理部２３３は、家を買うイベントの意味解析の結果情報が音声エンジン部２４０から入力されると、ユーザイベントＤＢ２２３内の家を買うイベントを確認済状態に変更し、意味解析の結果情報に含まれる属性、例えば、価格、年齢、家の形態等を設定する。
　パラメータ処理部２３３は、通信部２１０およびネットワークＮを介して、端末装置１００から受信したグラフパラメータに含まれる視線位置およびエリアの意味情報と、意味解析の結果情報とに基づいて、ライフプランに影響するパラメータを推定する。パラメータ処理部２３３は、推定結果を用いてユーザイベントＤＢ２２３を更新する。例えば、パラメータ処理部２３３は、ユーザが６５歳のエリアを見ていることと、退職金は２０００万円といったユーザの発話の意味解析の結果情報とに基づいて、ユーザイベントＤＢ２２３の年齢と金額の属性を設定する。
　パラメータ処理部２３３は、ユーザイベントＤＢ２２３を更新する際に、重み付けＤＢ２２９を参照し、意味解析の結果情報の重み付けを決定してもよい。例えば、パラメータ処理部２３３は、ユーザが高級食材店で良く買い物をすると答えた場合、年収を平均収支ＤＢ２２８のモデルケースより１０％増加させることができる。また、例えば、パラメータ処理部２３３は、ユーザの学歴や勤務先等の属性に応じて、重み付けを変更してもよい。
　パラメータ処理部２３３は、更新されたユーザイベントＤＢ２２３と、カレントグラフパラメータＤＢ２２４の現在のパラメータとに基づいて、新たなライフプランチャートのパラメータを算出する。パラメータ処理部２３３は、算出した新たなライフプランチャートのパラメータをカレントグラフパラメータＤＢ２２４および履歴データＤＢ２２５に記憶するとともに、通信部２１０およびネットワークＮを介して、グラフ情報として端末装置１００に送信する。なお、パラメータ処理部２３３は、端末装置１００から取得した撮像画像に基づくユーザの現在の表情、意味解析の結果情報に基づくユーザのライフプランの作成に対する習熟度、ユーザ基本情報ＤＢ２２１に記憶されるユーザの性格の情報等を参照して、新たなライフプランチャートのパラメータを算出してもよい。
　パラメータ処理部２３３は、理想プランパラメータＤＢ２２２の理想プランにおけるパラメータと、カレントグラフパラメータＤＢ２２４に記憶された新たなライフプランチャートのパラメータとを比較して、新たなライフプランチャートのパラメータのスコアを算出してもよい。パラメータ処理部２３３は、算出したスコアをスコア情報ＤＢ２２６に記憶する。例えば、パラメータ処理部２３３は、あるイベントに関するデータが不足している場合、当該イベントに関するスコアを低下させてもよい。なお、スコア情報ＤＢ２２６に記憶されたスコアは、タイムライン表示等に用いることができる。また、パラメータ処理部２３３は、多くの対話時間が費やされた話題に関するイベントのスコアについて、例えばハイライト表示するといった属性を付与してもよい。
　続いて、音声エンジン部２４０について説明する。音声エンジン部２４０は、データベースとして、発話履歴ＤＢ２４１と、意味解析ＤＢ２４２とを有する。なお、各ＤＢは、グラフ処理部２２０および対話処理部２６０からもアクセス可能である。
　発話履歴ＤＢ２４１は、後述する音声認識部２５１で音声認識が行われたユーザの発話の文字列（文章）を時系列に記憶する。
　意味解析ＤＢ２４２は、文字列が文脈変換または解析された動作命令（ＤＧ：Domain　Goal）と、対応する属性ごとのスロットとの対応付けを学習させた学習済みデータを記憶する。例えば、ＤＧ「HOUSING」に、スロット「AGE_SLOT」、「VALUE_SLOT」、「TYPE_SLOT」が対応付けられているとする。この場合、後述する意味解析部２５２は、例えば、文字列「８０００万円の一戸建てを４０歳で買う。」からＤＧ変換により「DG:HOUSING」を決定し、意味解析ＤＢ２４２の対応するスロットにより、「AGE_SLOT:40」、「VALUE_SLOT:8000万」、「TYPE_SLOT:一戸建て」といった情報を取得する。
　次に、音声エンジン部２４０における各処理部について説明する。音声エンジン部２４０は、ＡＩエージェントの動作における音声認識と音声合成とを実行する。音声エンジン部２４０は、音声認識部２５１と、意味解析部２５２と、音声合成部２５３とを有する。
　音声認識部２５１は、通信部２１０およびネットワークＮを介して、端末装置１００から受信した音声情報について音声認識を行い、終端検出および文字起こしを実行し、ユーザの発話の文字列を生成する。音声認識部２５１は、生成したユーザの発話の文字列を発話履歴ＤＢ２４１に記憶するとともに、意味解析部２５２に対して意味解析の実行を指示する。
　意味解析部２５２は、音声認識部２５１から意味解析の実行を指示されると、発話履歴ＤＢ２４１を参照し、最新のユーザの発話の文字列を取得する。意味解析部２５２は、取得した文字列に対してＤＧ変換およびスロット抽出によって、意味解析の結果情報を生成する。上述の意味解析ＤＢ２４２での例では、「DG:HOUSING」、「AGE_SLOT:40」、「VALUE_SLOT:8000万」、「TYPE_SLOT:一戸建て」を意味解析の結果情報として生成する。意味解析部２５２は、生成した意味解析の結果情報を、通信部２１０およびネットワークＮを介して、端末装置１００に送信する。なお、意味解析部２５２は、生成した意味解析の結果情報をサーバ２００内で対話処理部２６０の後述する対話生成部２７１に出力するようにしてもよい。
　音声合成部２５３は、対話処理部２６０で動作するＡＩエージェントから発話する文章が入力されると、音声合成によって発話情報を生成する。音声合成部２５３は、生成した発話情報を、通信部２１０およびネットワークＮを介して、端末装置１００に送信する。
　続いて、対話処理部２６０について説明する。対話処理部２６０は、データベースとして、重要ワードＤＢ２６１と、シナリオＤＢ２６２と、アドバイスＤＢ２６３と、ＡＩ発話履歴ＤＢ２６４とを有する。なお、各ＤＢは、グラフ処理部２２０および音声エンジン部２４０からもアクセス可能である。
　重要ワードＤＢ２６１は、ユーザの発話内容のうち、ライフプランチャートの生成に重要な単語を、重要度に応じた重み付け情報とともに記憶する。
　シナリオＤＢ２６２は、ＡＩエージェントがユーザと対話する際に、次にどの様な質問をすればよいかといった話の流れであるシナリオを記憶する。シナリオは、例えば、不足する情報や、理想プランとして入力された情報等に基づいて複数のシナリオから選択可能である。
　アドバイスＤＢ２６３は、シナリオＤＢ２６２に記憶されているシナリオの進行に応じて、ユーザに対して行うアドバイスの情報を記憶する。アドバイスは、例えば、ライフプランチャートにおいて赤字となっている部分について、「ＬＰさんに相談してみますか。」といった内容が挙げられる。
　ＡＩ発話履歴ＤＢ２６４は、ＡＩエージェントが発話した内容の文章を時系列に記憶する。
　次に、対話処理部２６０における各処理部について説明する。対話処理部２６０は、ＡＩエージェントとしてユーザとの対話処理を実行する。対話処理部２６０は、対話生成部２７１と、収支情報算出部２７２と、習熟度判定部２７３とを有する。
　対話生成部２７１は、ＡＩエージェントとしてユーザとの対話を行う処理部である。対話生成部２７１は、端末装置１００から受信した意味解析の結果情報、または、音声エンジン部２４０から入力される意味解析の結果情報に基づいて、所定時間内にユーザが発話したか否かを判定する。対話生成部２７１は、所定時間内にユーザが発話していないと判定した場合、シナリオＤＢ２６２を参照し、ＡＩエージェントとしてユーザとの対話を行うシナリオを選択する。対話生成部２７１は、選択したシナリオに応じて、ユーザに対して質問を行う。対話生成部２７１は、シナリオの選択および質問内容について、ユーザのライフプラン作成の習熟度やリテラシに応じて変更してもよい。なお、以下の説明では、ＡＩエージェントとして動作する対話生成部２７１は、音声認識および音声合成を音声エンジン部２４０で行うものとして、これらの個別の説明は省略する。
　対話生成部２７１は、質問に対する回答であるユーザの発話内容、および、発話時の視線位置とエリアの意味情報とを含む視線情報を、端末装置１００から取得する。同様に、対話生成部２７１は、所定時間内にユーザが発話したと判定した場合、発話内容、および、発話時の視線位置とエリアの意味情報とを含む視線情報を、端末装置１００から取得する。なお、ユーザの発話を待つ所定時間は、ユーザ基本情報ＤＢ２２１に記憶されるユーザの性格の情報や、ライフプランに関するリテラシに応じて変更するようにしてもよい。
　対話生成部２７１は、取得したユーザの発話内容が質問であるか否かを判定する。対話生成部２７１は、ユーザの発話内容が質問でない場合、発話内容および視線情報に応じてライフプランチャートのパラメータを修正してライフプランチャートを更新するように、パラメータ処理部２３３に指示する。このとき、対話生成部２７１は、対話シナリオと意味解析の結果情報とをパラメータ処理部２３３に出力する。対話生成部２７１は、修正されたライフプランチャートに対応する回答等の対話を行う。
　一方、対話生成部２７１は、ユーザの発話内容が質問である場合、発話内容および視線情報に応じて、シナリオＤＢ２６２、アドバイスＤＢ２６３等の各ＤＢを参照して回答する。対話生成部２７１は、現在のシナリオが終了したか否か、つまり、チャート生成処理を終了するか否かを判定する。対話生成部２７１は、チャート生成処理を終了しない場合、ユーザの発話を待つか、シナリオの次の項目に進み、引き続きユーザと対話を行う。一方、対話生成部２７１は、チャート生成処理を終了すると判定した場合、ユーザにライフプランチャートの生成を終了する旨を通知し、処理を終了する。なお、生成したライフプランチャートのデータをメール等でユーザの所持する端末に送信したり、図示しないプリンタで印刷するようにしてもよい。
　また、対話生成部２７１は、ユーザの発話内容が雑談フェーズであるか、相談フェーズであるかを判定してもよい。この場合、対話生成部２７１は、雑談フェーズであると判定した場合、ユーザに対して質問や回答を行わず、相談フェーズであると判定した場合、ユーザに対して質問や回答を行う。さらに、対話生成部２７１は、ユーザの発話内容の意味解析での確信度が低い場合、または、チャートが大きく変化する場合に、ユーザに対して確認する回答を行うようにしてもよい。また、対話生成部２７１は、ユーザが複数である場合、ライフプランチャートに寄与する発話や発話回数に応じて、意思決定者を特定する。なお、意思決定者は、話題によって父親、母親というように分けてもよい。対話生成部２７１は、特定した意思決定者の発話内容に応じてライフプランチャートを更新するように、パラメータ処理部２３３に指示するようにしてもよい。さらに、対話生成部２７１は、ユーザの発話内容に含まれる重要なワードやセンテンスに重み付けによるフィルタ処理を行ってもよい。
　収支情報算出部２７２は、カレントグラフパラメータＤＢ２２４を参照し、現在のライフプランチャートにおいて、年齢ごとの収支と貯蓄額とに基づいて、赤字となる年齢の有無を判定する。収支情報算出部２７２は、赤字となる年齢があると判定した場合、ＡＩエージェントが赤字となる年齢がある旨の質問を行うように対話生成部２７１に指示する。収支情報算出部２７２は、赤字となる年齢がないと判定した場合、赤字となる年齢がない旨を対話生成部２７１に通知する。
　習熟度判定部２７３は、発話履歴ＤＢ２４１およびＡＩ発話履歴ＤＢ２６４を参照し、ユーザとＡＩエージェントとの対話に基づいて、ユーザのライフプラン作成の習熟度およびリテラシの有無について判定する。習熟度判定部２７３は、習熟度およびリテラシの判定結果を対話生成部２７１に通知する。
　ここで、ＡＩエージェントによる対話の例について説明する。例えば、対話生成部２７１は、ユーザイベントＤＢ２２３およびシナリオＤＢ２６２を参照し、入力済みでないイベントについての対話を行うシナリオを選択する。ＡＩエージェントは、例えば、家の購入イベントが入力されていない場合、「家はいつ買いたいですか？」、「物件の価格はいくらにしますか？」といった質問を行う。
　また、例えば、対話生成部２７１は、ユーザの発話時の視線位置およびエリアの意味情報と、ユーザイベントＤＢ２２３およびシナリオＤＢ２６２とを参照し、ユーザが見ている場所であって、入力済みでないイベントについての対話を行うシナリオを選択する。ＡＩエージェントは、例えば、ユーザがライフプランチャートの６０歳の部分を見ており、退職金イベントが設定されていない場合、「退職金を設定しますか？」といった質問を行う。
　また、例えば、対話生成部２７１は、カレントグラフパラメータＤＢ２２４を参照し、現在のライフプランチャートにおいて、特徴的な部分を抽出する。特徴的な部分としては、例えば、収支情報算出部２７２から指示された収支が赤字となる部分等が挙げられる。対話生成部２７１は、シナリオＤＢ２６２を参照し、抽出した特徴的な部分に対応するシナリオを選択する。このとき、対話生成部２７１は、アドバイスＤＢ２６３を参照し、アドバイスを行うようにしてもよい。ＡＩエージェントは、例えば、５０歳の部分において赤字がある場合、「５０歳の赤字について、ＬＰさんに相談してみますか？」といったアドバイスを行う。
　また、例えば、対話生成部２７１は、ユーザ基本情報ＤＢ２２１およびシナリオＤＢ２６２を参照し、ユーザの性格の情報に基づいて、ユーザの性格に応じたシナリオを選択するようにしてもよい。ＡＩエージェントは、例えば、ユーザの楽観度が高い場合、「退職後に海外旅行はどのくらい行きますか？」といった質問を行う。
　また、例えば、対話生成部２７１は、端末装置１００から表情データを取得可能な場合、視線位置およびエリアの意味情報と組み合わせて、シナリオＤＢ２６２からシナリオを選択するようにしてもよい。ＡＩエージェントは、例えば、ユーザが不安な表情で子供の教育資金を見ている場合、「お子さんの教育資金が気になりますか？」、「お子さんの教育資金を設定してみますか？」といった質問を行う。
　続いて、図７から図１２を用いて、各種入力画面やライフプランチャート画面等について説明する。図７は、ユーザの基本情報入力画面の一例を示す図である。図７に示す画面１８は、ユーザの基本情報を入力する際に、相談のきっかけを伺う画面である。画面１８では、複数の相談のきっかけに対応する複数のボタン１９が配置され、ユーザがいずれかのボタン１９を選択することで、ユーザの名前や年齢等を入力する入力画面に遷移する。
　図８は、ライフイベントの入力画面の一例を示す図である。図８に示す画面２０では、ユーザのライフプランチャートにおけるライフイベントの入力を受け付ける。タブ領域２１は、イベント設計タブと、収支シミュレーションタブとが設けられ、ユーザの選択により切り替えることができる。画面２０では、イベント設計タブが表示された状態である。イベント設計タブでは、イベントアイコンを配置領域２２に配置することができる。イベントアイコンは、分類群２３で選択された分類のアイコン群２４から、例えば、ドラッグ＆ドロップ操作によって配置領域２２に配置される。なお、画面２０には、ヘルプを参照するボタン２５、ＡＩエージェントが質問に答える質問入力欄２６、ＬＰさんに相談する画面に遷移するボタン２７が設けられている。画面２０は、例えば、理想プラン入力画面の一例であり、ユーザが理想プラン情報の入力を行うことができる。
　図９は、収支シミュレーション画面の一例を示す図である。図９に示す画面３０では、収支シミュレーションタブが表示された状態である。収支シミュレーションタブでは、領域３１に所定期間の収支シミュレーション、つまり、推定された収入、支出、貯金額といった項目がグラフ表示される。ユーザは、タブ領域２１でイベント設計タブを選択することで、画面２０に戻ることができる。画面３０は、例えば、理想プラン入力画面での入力の途中で、ユーザが特定の期間について確認したい場合に表示される。
　図１０は、説明画面とライフプランチャート画面の一例を示す図である。図１０に示す画面３２は、ＬＰ／ＦＰが画面内に表示された資料３３を説明するための画面である。図１０の例は、ユーザとＬＰ／ＦＰとが、例えば、オンライン会議システムで面談を行っている場面を想定している。顔画像３４は、面談中のＬＰ／ＦＰを撮影した動画像であってもよい。ユーザがＬＰ／ＦＰから資料３３の説明を受けた後、チャート表示ボタン３５が押下されると、ユーザとＬＰ／ＦＰとの会話内容を音声認識した結果に基づく、ライフプランチャート画面３６が表示される。つまり、本実施形態に基づくライフプランチャートの生成は、ユーザとＡＩエージェントとの会話だけでなく、ユーザとＬＰ／ＦＰとの会話に対しても適用することができる。この場合、ＬＰ／ＦＰがライフプランチャートを生成する労力を軽減することができる。また、ユーザとＡＩエージェントとの会話により生成されたライフプランチャートを、ユーザが後日ＬＰ／ＦＰに相談する場合に参照するようにしてもよい。なお、ユーザとＡＩエージェントとの会話に基づくライフプランチャートの生成では、画面３２は省略される。
　ライフプランチャート画面３６は、例えば、ライフプランチャート３７と、タイムライン表示３８ａと、タイムライン表示のグラフ３８ｂと、チャットエリア３９とを有する。ライフプランチャート３７は、現在のライフプランチャートを表示する。なお、ライフプランチャート３７において、例えばタッチパネルやマウスの操作により、チャートを引っ張り上げるといった入力をユーザから受け付けてもよい。この場合、受け付けた内容に応じて、ＡＩエージェントが質問等を行ってもよい。タイムライン表示３８ａは、ユーザの発話内容に応じてライフプランチャートが更新された履歴をタイムラインで表示する。グラフ３８ｂは、ライフプランチャートの履歴における各スコアをグラフ化して表示する。つまり、グラフ３８ｂは、ユーザの発話内容に応じて変化するライフプランチャートのスコアの履歴をグラフとして表示する。チャットエリア３９は、ユーザとＡＩエージェントとの対話内容をチャット形式で表示する。
　図１１は、タイムライン表示の一例を示す図である。図１１に示す画面４０は、例えば、図１０のライフプランチャート画面３６のタイムライン表示３８ａがクリック等により選択されることで表示される。画面４０は、要素として、削除・変更欄４１と、時刻：ポイント欄４２と、チャート欄４３と、発話内容欄４４と、ステータス欄４５とを有する。削除・変更欄４１は、チェックボックスが設けられ、チェックを付けることにより当該ライフプランチャートの履歴を削除または変更することができる。時刻：ポイント欄４２は、当該ライフプランチャートが生成された時刻と、ライフプランチャートのスコアとが表示される。チャート欄４３は、ライフプランチャートの縮小画像が表示される。発話内容欄４４は、ライフプランチャートの更新時におけるユーザの発話内容が表示される。ステータス欄４５は、ライフプランチャートの更新時におけるユーザの発話優先度、要因、重み付けといった、なぜライフプランチャートを更新したかに関する情報が表示される。
　画面４０では、上から履歴４６～４８の順に、タイムライン表示されている。なお、履歴の使い方の説明として、系統４９，５０を図示しているが、系統４９，５０は、画面４０に表示されない。まず、履歴４８に続いて、系統４９に示すように、ライフプランチャートが２回更新されてスコアが「７０」であったとする。そこで、ユーザは、履歴４８からやり直したとする。やり直した履歴は、系統５０に示すように、ライフプランチャートが２回更新されてスコアが「９５」に向上したとする。このように、タイムライン表示では、任意のライフプランチャートの履歴を選択することで、選択された履歴からライフプランチャートの更新を行うことができる。なお、スコアは、例えば、理想プランを「１００」として０～１００の範囲の数値とすることができる。
　図１２は、グラフを用いたタイムライン表示の一例を示す図である。図１２に示すグラフ５１は、図１０のグラフ３８ｂを拡大したものである。ライフプランチャートは、ユーザとＡＩエージェントとの対話により目まぐるしく変化するため、過去のライフプランチャートを比較することが難しい。そのため、ライフプランチャートの履歴ごとに算出されたスコアをグラフ化することで、ライフプランチャートの変化を容易に知ることができる。例えば、履歴５２は、ライフプランチャート５３に示すチャートであり、履歴５４は、ライフプランチャート５５に示すチャートであったとする。ここで、履歴５２と履歴５４とを比較する場合、スコアのグラフ５１を見ることで、履歴５４の方がよりよいライフプランチャートであることがわかる。
［１－５．実施形態に係る情報処理の手順］
　次に、図１３を用いてＡＩエージェントとの対話によってライフプランチャートを生成するチャート生成処理について説明する。図１３は、チャート生成処理の一例を示すフローチャートである。
　サーバ２００のユーザ情報処理部２３１は、端末装置１００に対してユーザの基本情報入力画面のデータを送信し、端末装置１００にユーザの基本情報入力画面を表示させる。ユーザ情報処理部２３１は、表示させた基本情報入力画面で入力されたユーザの基本情報を取得する（ステップＳ１）。ユーザ情報処理部２３１は、取得したユーザの基本情報をユーザ基本情報ＤＢ２２１に記憶する。
　ユーザ情報処理部２３１は、端末装置１００に対して性格診断画面のデータを送信し、端末装置１００に性格診断画面を表示させる。ユーザ情報処理部２３１は、表示させた性格診断画面で入力された性格診断情報を取得する（ステップＳ２）。ユーザ情報処理部２３１は、取得した性格診断情報を性格情報処理部２３２に出力する。性格情報処理部２３２は、入力された性格診断情報に基づいて、ユーザの性格を診断し、性格診断結果をユーザ基本情報ＤＢ２２１に記憶する。
　ユーザ情報処理部２３１は、端末装置１００に対して理想プラン入力画面のデータを送信し、端末装置１００に理想プラン入力画面を表示させる。ユーザ情報処理部２３１は、表示させた理想プラン入力画面で入力された理想プラン情報を取得する（ステップＳ３）。ユーザ情報処理部２３１は、取得した理想プラン情報を理想プランパラメータＤＢ２２２に記憶する。
　ユーザ情報処理部２３１は、ユーザ基本情報ＤＢ２２１および平均収支ＤＢ２２８を参照し、ユーザの基本情報と、性格診断結果と、モデルケースとに基づいて、ライフプランチャートのパラメータの初期値を算出する。つまり、ユーザ情報処理部２３１は、最初のライフプランチャートを生成する（ステップＳ４）。ユーザ情報処理部２３１は、算出したライフプランチャートのパラメータをカレントグラフパラメータＤＢ２２４および履歴データＤＢ２２５に記憶する。また、ユーザ情報処理部２３１は、算出したライフプランチャートのパラメータをグラフ情報として端末装置１００に送信し、ライフプランチャートを表示させる。
　音声エンジン部２４０および対話処理部２６０は、端末装置１００におけるユーザの反応情報として、音声情報、および、視線位置とエリアの意味情報の取得を開始する（ステップＳ５）。対話処理部２６０の対話生成部２７１は、ＡＩエージェントによる対話を開始する（ステップＳ６）。
　対話生成部２７１は、意味解析の結果情報に基づいて、所定時間内にユーザが発話したか否かを判定する（ステップＳ７）。対話生成部２７１は、所定時間内にユーザが発話していないと判定した場合（ステップＳ７：Ｎｏ）、シナリオＤＢ２６２を参照し、ＡＩエージェントとしてユーザとの対話を行うシナリオを選択する。対話生成部２７１は、選択したシナリオに応じて、ユーザに対して質問を行う（ステップＳ８）。対話生成部２７１は、ユーザの発話内容および視線情報を、端末装置１００から取得する（ステップＳ９）。一方、対話生成部２７１は、所定時間内にユーザが発話したと判定した場合（ステップＳ７：Ｙｅｓ）、ユーザに対して質問を行わずにステップＳ８に進む。
　対話生成部２７１は、取得したユーザの発話内容が質問であるか否かを判定する（ステップＳ１０）。対話生成部２７１は、ユーザの発話内容が質問でない場合（ステップＳ１０：Ｎｏ）、発話内容および視線情報に応じてライフプランチャートのパラメータを修正してライフプランチャートを更新するように、パラメータ処理部２３３に指示する（ステップＳ１１，Ｓ１２）。対話生成部２７１は、修正されたライフプランチャートに対応する回答等の対話を行う。つまり、対話生成部２７１は、ＡＩエージェントによる回答を行う（ステップＳ１３）。
　一方、対話生成部２７１は、ユーザの発話内容が質問である場合（ステップＳ１０：Ｙｅｓ）、発話内容および視線情報に応じて、シナリオＤＢ２６２、アドバイスＤＢ２６３等の各ＤＢを参照して回答する。つまり、対話生成部２７１は、ＡＩエージェントによる回答を行う（ステップＳ１３）。
　対話生成部２７１は、現在のシナリオが終了したか否か、つまり、チャート生成処理を終了するか否かを判定する（ステップＳ１４）。対話生成部２７１は、チャート生成処理を終了しない場合（ステップＳ１４：Ｎｏ）、ステップＳ７に戻り、ユーザの発話を待つか、シナリオの次の項目に進み、引き続きユーザと対話を行う。一方、対話生成部２７１は、チャート生成処理を終了すると判定した場合（ステップＳ１４：Ｙｅｓ）、ユーザにライフプランチャートの生成を終了する旨を通知し、処理を終了する。これにより、発話内容を反映したライフプランチャートを直ちに確認することができる。
［１－６．ＡＩエージェントによる対話における処理の流れ］
　続いて、図１４から図１６を用いて、具体的な質問に対するＡＩエージェントによる対話における処理の流れを説明する。なお、図１４から図１６の説明では、情報処理システム１で実行される処理の主体をＡＩエージェントとして説明する。
　図１４は、ケース１におけるユーザとＡＩエージェントとのやり取りに関する処理の一例を示すシーケンス図である。図１４に示すケース１では、まず、ＡＩエージェントがユーザに対して「家族構成はどのようになっていますか？」と質問する（ステップＳ１０１）。ユーザは、「妻と子供２人です。」と回答する（ステップＳ１０２）。ＡＩエージェントは、音声認識を行い（ステップＳ１０３）、意味解析を行う（ステップＳ１０４）。また、ＡＩエージェントは、予め性格診断画面で入力されたデータに基づいて性格診断を行う（ステップＳ１０５）。なお、ステップＳ１０５の性格診断結果は、後述するステップＳ１１１にて用いる。
　ＡＩエージェントは、意味解析の結果情報がライフプランチャートに対する直接的なパラメータであるか否かを判定する（ステップＳ１０６）。ＡＩエージェントは、直接的なパラメータであると判定した場合（ステップＳ１０６：Ｙｅｓ）、意味解析の結果情報からチャート用パラメータを決定する（ステップＳ１０７）。一方、ＡＩエージェントは、直接的なパラメータでないと判定した場合（ステップＳ１０６：Ｎｏ）、発話内容からチャート用パラメータに変換する（ステップＳ１０８）。
　ここで、パラメータ変換の一例について説明する。例えば、発話内容が「定年後も働こうかな。」であれば、意味解析の結果情報として「ID_WORK_AFTER_RETIRE　positive_flag」が得られる。意味解析の結果情報の「ID_WORK_AFTER_RETIRE　positive_flag」は、チャートに対する直接的なパラメータではないので、チャートの年収パラメータのうち、６０歳から６５歳のパラメータを２３０万円アップさせる。また、例えば、発話内容が「親の介護が大変になりそう。」であれば、意味解析の結果情報として「ID_CARE_FOR_PARENTS　negative_flag」が得られる。意味解析の結果情報の「ID_CARE_FOR_PARENTS　negative_flag」は、チャートに対する直接的なパラメータではないので、チャートの支出パラメータについて、現在から４万円アップさせる。また、例えば、発話内容が「５年後に転職して給料３００万アップしたい。」であれば、意味解析の結果情報として「ID_CHANGE_OCCUPATION　positive_flag　SLOT　５年後　３００万」が得られる。意味解析の結果情報の「ID_CHANGE_OCCUPATION　positive_flag　SLOT　５年後　３００万」は、チャートに対する直接的なパラメータではないので、チャートの年収パラメータのうち、５年後から３００万円アップさせる。
　ＡＩエージェントは、チャート用パラメータに基づいて、ライフプランチャートの生成および表示を行う（ステップＳ１０９）。ＡＩエージェントは、ライフプランチャートを生成するために、まだ質問が必要か否かを判定する（ステップＳ１１０）。ＡＩエージェントは、まだ質問が必要であると判定した場合（ステップＳ１１０：Ｙｅｓ）、チャート用パラメータの具体的な値、回答内容、性格診断結果等から次の対話内容を決定する（ステップＳ１１１）。その後、例えば、ステップＳ１２１の「高級食材店でよく買い物をしますか？」といった質問と、ステップＳ１２２の「いつも行っています。」といった回答に基づいて、ステップＳ１０３～Ｓ１１１の処理を繰り返す。同様に、例えば、ステップＳ１３１の「年収はいくらですか？」といった質問と、ステップＳ１３２の「８００万です。」といった回答に基づいて、ステップＳ１０３～Ｓ１１１の処理を繰り返す。
　一方、ＡＩエージェントは、ステップＳ１１０において、質問が必要でないと判定した場合（ステップＳ１１０：Ｎｏ）、ユーザとのやり取りを終了する。これにより、発話内容を反映したライフプランチャートを直ちに確認することができる。
　図１５は、ケース２におけるユーザとＡＩエージェントとのやり取りに関する処理の一例を示すシーケンス図である。図１５に示すケース２では、表示中のライフプランチャートをユーザが見ている場合に、ＡＩエージェントが視線位置検出を行う（ステップＳ１４１）。ＡＩエージェントは、ライフプランチャートと視線位置とのマッチングを行い（ステップＳ１４２）、ユーザが注視しているライフプランチャートの領域に関する質問を生成する（ステップＳ１４３）。
　ユーザがライフプランチャートの６０歳の領域を注視しているとすると、ＡＩエージェントは、例えば「何故下がるのか、お答えします。」と回答する（ステップＳ１４４）。また、引き続き、ＡＩエージェントは、例えば「６０歳で仕事を辞めると年金までの間、家計が苦しくなります。働いてみますか？」と質問を行う（ステップＳ１４５）。なお、ステップＳ１４４の回答は行わなくてもよい。ＡＩエージェントの質問に対し、ユーザが「６５歳までやっぱり働いてみる。」と回答すると（ステップＳ１４６）、ＡＩエージェントは、音声認識を行い（ステップＳ１０３）、以降、図１４と同様にステップＳ１０４～Ｓ１１１を実行する。これにより、視線位置と発話内容を反映したライフプランチャートを直ちに確認することができる。
　図１６は、ケース３におけるユーザとＡＩエージェントとのやり取りに関する処理の一例を示すシーケンス図である。図１６に示すケース３では、図１５と同様に、表示中のライフプランチャートをユーザが見ている場合に、ＡＩエージェントが視線位置検出を行う（ステップＳ１４１）。ＡＩエージェントは、ライフプランチャートと視線位置とのマッチングを行う（ステップＳ１４２）。ここで、ユーザにより例えば「なんで６０歳で山が下がるの？」といった質問が行われると（ステップＳ１５１）、ＡＩエージェントが音声認識を行い（ステップＳ１５２）、内部処理として意味解析やシナリオの参照等を行い（ステップＳ１５３）、回答を生成する（ステップＳ１５４）。ＡＩエージェントは、生成した回答として、例えば「６０歳で定年を迎えるからですよ。」といった回答を行う（ステップＳ１５５）。以降、図１４と同様にステップＳ１０３～Ｓ１１１を実行する。これにより、視線位置と発話内容を反映したライフプランチャートを直ちに確認することができる。
（２．実施形態の変形例）
　上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。
　上記実施形態では、ユーザとＡＩエージェントとのやり取りに基づいて、ライフプランチャートを作成する場合を一例として挙げたが、これに限定されない。例えば、ＦＰ／ＬＰの教育、キャリアコンサルタント業務の支援、各種学校や塾等におけるカリキュラムの編成相談、結婚情報紹介サービスにおける各種要件の相談、住宅購入における見積もりのシミュレーション等にも適用することができる。
　この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、端末装置１００が、サーバ２００の音声エンジン部２４０や対話処理部２６０の機能を統合するようにしてもよい。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
（３．ハードウェア構成）
　上述してきた各実施形態に係る端末装置１００やサーバ２００等の情報機器は、例えば図１７に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る情報処理装置であるサーバ２００を例に挙げて説明する。図１７は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インタフェース１５００、および入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係るサーバ２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、ユーザ情報処理部２３１等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、ユーザ基本情報ＤＢ２２１等のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
（４．効果）
　情報処理システム１は、音声対話によって、ユーザの将来の計画を相談する際に、ユーザの基本情報と、ユーザの理想とする計画とに基づいて、将来の計画を表す計画情報を生成して表示する。情報処理システム１は、表示した計画情報に対するユーザの反応情報に応じて、将来の計画を修正して計画情報を更新する。その結果、ユーザの反応情報を反映した計画情報を直ちに確認できる。
　反応情報は、ユーザの視線の情報である。その結果、ユーザの視線を計画情報に反映することができる。
　反応情報は、ユーザの発話内容の情報である。その結果、ユーザの発話内容を計画情報に反映することができる。
　将来の計画は、ライフプランに関する計画である。その結果、ユーザの反応情報を反映したライフプランチャート（計画情報）を直ちに確認できる。
　計画情報は、ライフプランチャートである。その結果、ユーザの反応情報を反映したライフプランチャートを直ちに確認できる。
　音声対話は、ユーザと、ＡＩエージェントとの対話である。その結果、ＡＩエージェントによりユーザによる計画情報の生成を誘導することができる。
　さらに、ＡＩエージェントは、計画情報において不足する情報をユーザに質問する。また、ＡＩエージェント（更新部）は、ユーザの回答に応じて将来の計画を修正して計画情報を更新する。その結果、ＡＩエージェントによりユーザから計画情報の生成に必要な情報を聞き出して計画情報に反映することができる。
　ＡＩエージェントは、反応情報である、ユーザの視線が向けられた領域、および、ユーザの発話内容のうち、１つまたは複数に基づいて、ユーザに対して質問を行う。その結果、ユーザが関心を持っている事項についてＡＩエージェントが質問を行うことができる。
　ＡＩエージェントは、ユーザの属性に応じて、質問の内容を変更する。その結果、よりユーザが求めるライフプランチャート（計画情報）を生成することができる。
　さらに、計画情報に対するユーザの視線が向けられた領域について、ユーザから質問されると、ＡＩエージェントが、領域と、質問の内容とに応じた回答を行う。その結果、ユーザの疑問に対して適切な回答を行うことができる。
　さらに、ＡＩエージェントは、計画情報に対するユーザの視線が向けられた領域について、ユーザに対して将来の計画の修正に関する質問を行う。また、ＡＩエージェントは、ユーザの回答に応じて将来の計画を修正して計画情報を更新する。その結果、ユーザが関心がある領域のライフプランチャート（計画情報）を修正することができる。
　さらに、ＡＩエージェントは、音声対話が雑談フェーズであるか、相談フェーズであるかを判定し、相談フェーズであると判定した場合に、ユーザに対して質問または回答を行う。その結果、雑談における余分な情報を除外することができる。
　さらに、ユーザの発話内容の意味解析での確信度が低い場合、または、計画情報が大きく変化する場合に、ＡＩエージェントが、ユーザに対して確認する回答を行う。その結果、信頼度の低い情報を除外することができる。
　さらに、ＡＩエージェントは、ユーザが複数である場合、計画情報に寄与する発話回数に応じて、意思決定者を特定する。ＡＩエージェント（更新部）は、特定した意思決定者の発話内容に応じて将来の計画を修正して計画情報を更新する。その結果、ライフプランチャート（計画情報）の生成時における手戻りを減少させることができる。
　ＡＩエージェントは、計画情報が更新されると、更新の履歴をタイムラインとして表示する。その結果、修正を行ったそれぞれのライフプランチャート（計画情報）を表示することができる。
　さらに、ＡＩエージェントは、更新した計画情報の理想とする計画に対するスコアを算出する。また、ＡＩエージェントは、タイムラインに算出したスコアを表示する。その結果、どの時点のライフプランチャート（計画情報）が理想プランに近いかを判りやすく表示することができる。
　ＡＩエージェントは、スコアをグラフとして表示する。その結果、どの時点のライフプランチャート（計画情報）が理想プランに近いかが一目でわかるように表示することができる。
　音声対話は、ユーザと、担当者との対話である。その結果、担当者がライフプランチャート（計画情報）を作成する労力を軽減することができる。
　サーバ２００は、取得部と、生成部と、更新部と（ユーザ情報処理部２３１、パラメータ処理部２３３）を有する。取得部は、音声対話によって、ユーザの将来の計画を相談する際に、ユーザの反応情報と、ユーザの基本情報と、ユーザの理想とする計画とを取得する。生成部は、取得した基本情報と、理想とする計画とに基づいて、将来の計画を表す計画情報を生成する。更新部は、生成した計画情報に対する反応情報に応じて、将来の計画を修正して計画情報を更新する。その結果、ユーザの反応情報を反映した計画情報を直ちに確認させることができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　音声対話によって、ユーザの将来の計画を相談する際に、前記ユーザの基本情報と、前記ユーザの理想とする計画とに基づいて、前記将来の計画を表す計画情報を生成して表示し、
　表示した前記計画情報に対する前記ユーザの反応情報に応じて、前記将来の計画を修正して前記計画情報を更新する、
　処理をコンピュータが実行する情報処理方法。
（２）
　前記反応情報は、前記ユーザの視線の情報である、
　前記（１）に記載の情報処理方法。
（３）
　前記反応情報は、前記ユーザの発話内容の情報である、
　前記（１）または（２）に記載の情報処理方法。
（４）
　前記将来の計画は、ライフプランに関する計画である、
　前記（１）～（３）のいずれか１つに記載の情報処理方法。
（５）
　前記計画情報は、ライフプランチャートである、
　前記（１）～（４）のいずれか１つに記載の情報処理方法。
（６）
　前記音声対話は、前記ユーザと、ＡＩ（Artificial　Intelligence）エージェントとの対話である、
　前記（１）～（５）のいずれか１つに記載の情報処理方法。
（７）
　さらに、前記ＡＩエージェントが、前記計画情報において不足する情報を前記ユーザに質問する、
　処理をコンピュータが実行し、
　前記更新する処理は、前記ユーザの回答に応じて前記将来の計画を修正して前記計画情報を更新する、
　前記（６）に記載の情報処理方法。
（８）
　前記質問する処理は、前記反応情報である、前記ユーザの視線が向けられた領域、および、前記ユーザの発話内容のうち、１つまたは複数に基づいて、前記ユーザに対して質問を行う、
　前記（７）に記載の情報処理方法。
（９）
　前記質問する処理は、前記ユーザの属性に応じて、前記質問の内容を変更する、
　前記（７）または（８）に記載の情報処理方法。
（１０）
　さらに、前記計画情報に対する前記ユーザの視線が向けられた領域について、前記ユーザから質問されると、前記ＡＩエージェントが、前記領域と、前記質問の内容とに応じた回答を行う、
　処理をコンピュータが実行する前記（６）～（９）のいずれか１つに記載の情報処理方法。
（１１）
　さらに、前記ＡＩエージェントが、前記計画情報に対する前記ユーザの視線が向けられた領域について、前記ユーザに対して前記将来の計画の修正に関する質問を行う、
　処理をコンピュータが実行し、
　前記更新する処理は、前記ユーザの回答に応じて前記将来の計画を修正して前記計画情報を更新する、
　前記（６）～（１０）のいずれか１つに記載の情報処理方法。
（１２）
　さらに、前記ＡＩエージェントが、前記音声対話が雑談フェーズであるか、相談フェーズであるかを判定し、前記相談フェーズであると判定した場合に、前記ユーザに対して質問または回答を行う、
　処理をコンピュータが実行する前記（６）～（１１）のいずれか１つに記載の情報処理方法。
（１３）
　さらに、前記ユーザの発話内容の意味解析での確信度が低い場合、または、前記計画情報が大きく変化する場合に、前記ＡＩエージェントが、前記ユーザに対して確認する回答を行う、
　処理をコンピュータが実行する前記（６）～（１２）のいずれか１つに記載の情報処理方法。
（１４）
　さらに、前記ユーザが複数である場合、前記計画情報に寄与する発話回数に応じて、意思決定者を特定する、
　処理をコンピュータが実行し、
　前記更新する処理は、特定した前記意思決定者の発話内容に応じて前記将来の計画を修正して前記計画情報を更新する、
　前記（６）～（１３）のいずれか１つに記載の情報処理方法。
（１５）
　前記表示する処理は、前記計画情報が更新されると、更新の履歴をタイムラインとして表示する、
　前記（１）～（１４）のいずれか１つに記載の情報処理方法。
（１６）
　さらに、更新した前記計画情報の前記理想とする計画に対するスコアを算出する、
　処理をコンピュータが実行し、
　前記表示する処理は、前記タイムラインに算出した前記スコアを表示する、
　前記（１５）に記載の情報処理方法。
（１７）
　前記表示する処理は、前記スコアをグラフとして表示する、
　前記（１６）に記載の情報処理方法。
（１８）
　前記音声対話は、前記ユーザと、担当者との対話である、
　前記（１）～（５）のいずれか１つに記載の情報処理方法。
（１９）
　音声対話によって、ユーザの将来の計画を相談する際に、前記ユーザの反応情報と、前記ユーザの基本情報と、前記ユーザの理想とする計画とを取得する取得部と、
　取得した前記基本情報と、前記理想とする計画とに基づいて、前記将来の計画を表す計画情報を生成する生成部と、
　生成した前記計画情報に対する前記反応情報に応じて、前記将来の計画を修正して前記計画情報を更新する更新部と、
　を有する情報処理装置。
（２０）
　音声対話によって、ユーザの将来の計画を相談する際に、前記ユーザの基本情報と、前記ユーザの理想とする計画とに基づいて、前記将来の計画を表す計画情報を生成して表示し、
　表示した前記計画情報に対する前記ユーザの反応情報に応じて、前記将来の計画を修正して前記計画情報を更新する、
　処理をコンピュータに実行させる情報処理プログラム。
　１　情報処理システム
　１００　端末装置
　１０１　表示部
　１０２　操作部
　１０３　カメラ
　１０４　マイク
　１０５　スピーカ
　１１０　通信部
　１２０　記憶部
　１２１　視線位置記憶部
　１２２　エリア意味情報記憶部
　１３０　制御部
　１３１　受付部
　１３２　グラフ表示部
　１３３　視線検出部
　１３４　対応位置検出部
　１３５　音声処理部
　２００　サーバ
　２１０　通信部
　２２０　グラフ処理部
　２２１　ユーザ基本情報ＤＢ
　２２２　理想プランパラメータＤＢ
　２２３　ユーザイベントＤＢ
　２２４　カレントグラフパラメータＤＢ
　２２５　履歴データＤＢ
　２２６　スコア情報ＤＢ
　２２７　イベント重要度判定ＤＢ
　２２８　平均収支ＤＢ
　２２９　重み付けＤＢ
　２３１　ユーザ情報処理部
　２３２　性格情報処理部
　２３３　パラメータ処理部
　２４０　音声エンジン部
　２４１　発話履歴ＤＢ
　２４２　意味解析ＤＢ
　２５１　音声認識部
　２５２　意味解析部
　２５３　音声合成部
　２６０　対話処理部
　２６１　重要ワードＤＢ
　２６２　シナリオＤＢ
　２６３　アドバイスＤＢ
　２６４　ＡＩ発話履歴ＤＢ
　２７１　対話生成部
　２７２　収支情報算出部
　２７３　習熟度判定部
　Ｎ　ネットワーク

Claims (20)

  1. 　音声対話によって、ユーザの将来の計画を相談する際に、前記ユーザの基本情報と、前記ユーザの理想とする計画とに基づいて、前記将来の計画を表す計画情報を生成して表示し、
    　表示した前記計画情報に対する前記ユーザの反応情報に応じて、前記将来の計画を修正して前記計画情報を更新する、
    　処理をコンピュータが実行する情報処理方法。
  2. 　前記反応情報は、前記ユーザの視線の情報である、
    　請求項１に記載の情報処理方法。
  3. 　前記反応情報は、前記ユーザの発話内容の情報である、
    　請求項１に記載の情報処理方法。
  4. 　前記将来の計画は、ライフプランに関する計画である、
    　請求項１に記載の情報処理方法。
  5. 　前記計画情報は、ライフプランチャートである、
    　請求項１に記載の情報処理方法。
  6. 　前記音声対話は、前記ユーザと、ＡＩ（Artificial　Intelligence）エージェントとの対話である、
    　請求項１に記載の情報処理方法。
  7. 　さらに、前記ＡＩエージェントが、前記計画情報において不足する情報を前記ユーザに質問する、
    　処理をコンピュータが実行し、
    　前記更新する処理は、前記ユーザの回答に応じて前記将来の計画を修正して前記計画情報を更新する、
    　請求項６に記載の情報処理方法。
  8. 　前記質問する処理は、前記反応情報である、前記ユーザの視線が向けられた領域、および、前記ユーザの発話内容のうち、１つまたは複数に基づいて、前記ユーザに対して質問を行う、
    　請求項７に記載の情報処理方法。
  9. 　前記質問する処理は、前記ユーザの属性に応じて、前記質問の内容を変更する、
    　請求項７に記載の情報処理方法。
  10. 　さらに、前記計画情報に対する前記ユーザの視線が向けられた領域について、前記ユーザから質問されると、前記ＡＩエージェントが、前記領域と、前記質問の内容とに応じた回答を行う、
    　処理をコンピュータが実行する請求項６に記載の情報処理方法。
  11. 　さらに、前記ＡＩエージェントが、前記計画情報に対する前記ユーザの視線が向けられた領域について、前記ユーザに対して前記将来の計画の修正に関する質問を行う、
    　処理をコンピュータが実行し、
    　前記更新する処理は、前記ユーザの回答に応じて前記将来の計画を修正して前記計画情報を更新する、
    　請求項６に記載の情報処理方法。
  12. 　さらに、前記ＡＩエージェントが、前記音声対話が雑談フェーズであるか、相談フェーズであるかを判定し、前記相談フェーズであると判定した場合に、前記ユーザに対して質問または回答を行う、
    　処理をコンピュータが実行する請求項６に記載の情報処理方法。
  13. 　さらに、前記ユーザの発話内容の意味解析での確信度が低い場合、または、前記計画情報が大きく変化する場合に、前記ＡＩエージェントが、前記ユーザに対して確認する回答を行う、
    　処理をコンピュータが実行する請求項６に記載の情報処理方法。
  14. 　さらに、前記ユーザが複数である場合、前記計画情報に寄与する発話回数に応じて、意思決定者を特定する、
    　処理をコンピュータが実行し、
    　前記更新する処理は、特定した前記意思決定者の発話内容に応じて前記将来の計画を修正して前記計画情報を更新する、
    　請求項６に記載の情報処理方法。
  15. 　前記表示する処理は、前記計画情報が更新されると、更新の履歴をタイムラインとして表示する、
    　請求項１に記載の情報処理方法。
  16. 　さらに、更新した前記計画情報の前記理想とする計画に対するスコアを算出する、
    　処理をコンピュータが実行し、
    　前記表示する処理は、前記タイムラインに算出した前記スコアを表示する、
    　請求項１５に記載の情報処理方法。
  17. 　前記表示する処理は、前記スコアをグラフとして表示する、
    　請求項１６に記載の情報処理方法。
  18. 　前記音声対話は、前記ユーザと、担当者との対話である、
    　請求項１に記載の情報処理方法。
  19. 　音声対話によって、ユーザの将来の計画を相談する際に、前記ユーザの反応情報と、前記ユーザの基本情報と、前記ユーザの理想とする計画とを取得する取得部と、
    　取得した前記基本情報と、前記理想とする計画とに基づいて、前記将来の計画を表す計画情報を生成する生成部と、
    　生成した前記計画情報に対する前記反応情報に応じて、前記将来の計画を修正して前記計画情報を更新する更新部と、
    　を有する情報処理装置。
  20. 　音声対話によって、ユーザの将来の計画を相談する際に、前記ユーザの基本情報と、前記ユーザの理想とする計画とに基づいて、前記将来の計画を表す計画情報を生成して表示し、
    　表示した前記計画情報に対する前記ユーザの反応情報に応じて、前記将来の計画を修正して前記計画情報を更新する、
    　処理をコンピュータに実行させる情報処理プログラム。
PCT/JP2022/044733 2021-12-17 2022-12-05 情報処理方法、情報処理装置および情報処理プログラム WO2023112745A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023567705A JPWO2023112745A1 (ja) 2021-12-17 2022-12-05

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021204935 2021-12-17
JP2021-204935 2021-12-17

Publications (1)

Publication Number Publication Date
WO2023112745A1 true WO2023112745A1 (ja) 2023-06-22

Family

ID=86774555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044733 WO2023112745A1 (ja) 2021-12-17 2022-12-05 情報処理方法、情報処理装置および情報処理プログラム

Country Status (2)

Country Link
JP (1) JPWO2023112745A1 (ja)
WO (1) WO2023112745A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008001549A1 (fr) * 2006-06-26 2008-01-03 Murata Kikai Kabushiki Kaisha Dispositif audio interactif, procédé audio interactif, et programme correspondant
JP2008090545A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 音声対話装置および音声対話方法
JP2017174124A (ja) * 2016-03-23 2017-09-28 株式会社野村総合研究所 目標達成ポートフォリオ生成装置、プログラム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008001549A1 (fr) * 2006-06-26 2008-01-03 Murata Kikai Kabushiki Kaisha Dispositif audio interactif, procédé audio interactif, et programme correspondant
JP2008090545A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 音声対話装置および音声対話方法
JP2017174124A (ja) * 2016-03-23 2017-09-28 株式会社野村総合研究所 目標達成ポートフォリオ生成装置、プログラム及び方法

Also Published As

Publication number Publication date
JPWO2023112745A1 (ja) 2023-06-22

Similar Documents

Publication Publication Date Title
US11868732B2 (en) System for minimizing repetition in intelligent virtual assistant conversations
US10885278B2 (en) Auto tele-interview solution
US11175814B2 (en) System and method for building and managing user experience for computer software interfaces
Timming The effect of foreign accent on employability: A study of the aural dimensions of aesthetic labour in customer-facing and non-customer-facing jobs
Möller et al. Evaluating spoken dialogue systems according to de-facto standards: A case study
JP6531323B1 (ja) プログラム、情報処理装置及び情報処理方法
JP6649461B1 (ja) プログラム、情報処理装置及び情報処理方法
CN107097234A (zh) 机器人控制系统
CN112084318B (zh) 一种对话辅助方法、系统及装置
JP6664818B1 (ja) プログラム、情報処理装置及び情報処理方法
CA3147634A1 (en) Method and apparatus for analyzing sales conversation based on voice recognition
WO2019155887A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6030659B2 (ja) メンタルヘルスケア支援装置、システム、方法およびプログラム
Tung et al. User experience research on social robot application
WO2023112745A1 (ja) 情報処理方法、情報処理装置および情報処理プログラム
JPWO2019003395A1 (ja) コールセンター会話内容表示システム、方法及びプログラム
JP2020154427A (ja) 情報処理装置、情報処理方法、および、プログラム
JP6724227B1 (ja) 会議支援装置、会議支援方法及び会議支援プログラム
WO2023233852A1 (ja) 判定装置および判定方法
US20220309085A1 (en) Service providing system, information processing apparatus, information processing method
CN116612844A (zh) 心理筛查方法、装置、设备及可读存储介质
KR20240040860A (ko) 비대면 심리지원 서비스 제공 장치 및 그 방법
Glass et al. Testing the Effect of Political Ideology on the Southern Vowel Shift Among White Georgians
Love Role of individual differences in dialogue engineering for automated telephone services
JP2023145358A (ja) 建物計画支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22907273

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023567705

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18710993

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE