WO2018179745A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018179745A1
WO2018179745A1 PCT/JP2018/002215 JP2018002215W WO2018179745A1 WO 2018179745 A1 WO2018179745 A1 WO 2018179745A1 JP 2018002215 W JP2018002215 W JP 2018002215W WO 2018179745 A1 WO2018179745 A1 WO 2018179745A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
user
change
information
information processing
Prior art date
Application number
PCT/JP2018/002215
Other languages
English (en)
French (fr)
Inventor
育英 細田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880008305.3A priority Critical patent/CN110214301B/zh
Priority to EP18774244.0A priority patent/EP3605439A1/en
Priority to JP2019508624A priority patent/JP7078035B2/ja
Priority to US16/480,558 priority patent/US20200016743A1/en
Publication of WO2018179745A1 publication Critical patent/WO2018179745A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a virtual agent is provided in the system, and information desired by the user is provided by the agent by voice or image.
  • a user can change his / her taste and hobbies by gradually changing and displaying the visual aspect of the character according to the amount of change in the user's characteristics.
  • An information terminal device that enables intuitive understanding is disclosed.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of presenting appropriate information so as to extract a more preferable user character.
  • the user character is determined, it is determined whether or not it is a timing to change to the predetermined character, and control is performed to output a trigger for prompting the change to the predetermined character at the timing to change.
  • An information processing apparatus including a control unit is proposed.
  • the processor determines a user character, determines whether it is a timing to change to a predetermined character, and outputs a trigger for prompting the change to the predetermined character at the timing to change.
  • An information processing method including controlling to perform is proposed.
  • the computer determines a user character, determines whether or not it is a timing to change to a predetermined character, and outputs a trigger to prompt the change to the predetermined character at the timing to change.
  • a program is proposed for functioning as a control unit for controlling the operation.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • a virtual agent V estimates a user character and provides information for changing the user character as necessary.
  • a “character” is an attitude, a way of thinking, a way of speaking, an action guideline, or the like that a person uses according to a place, environment, etc., and can be said to be a form of personality and personality. Characters are born to individuals, acquired by the growth process, created / made according to the situation and environment, given by others, on the system side What is given (derived) is assumed.
  • each individual can have a plurality of characters, and the appearance frequency of each character varies depending on the person, but a character with a high appearance frequency of the person is also referred to as a “main character” below.
  • a name of a character for example, a name expressing emotions (such as “Okorimbo Character”, “Lonely Character”, “Crying Cattle Character”, “Otoboke Character”, “Gifu Hard Character”, etc.) Names that represent roles and positions (such as “Mama Character”, “Daddy Character”, “Work Character”, “Clerk Character”, “Schoolgirl Character”, “Celebrity Character”, etc.), or a combination of these names (“ “Okiminbo Mama Character”, “Gokugen Clerk Character”, etc.) are given as examples.
  • the main character used by the user is “work character” from 9:00 to 17:00, “mom character” from 18:00 to 8:00 the next morning, and sometimes “loose character” from 18:00 to 20:00. "(Character that prefers to relax and relax with a gentle feeling), Agent V determines whether a character change is necessary based on the user's situation and environment. Specifically, as shown in the upper part of FIG.
  • Agent V provides the user with information (hereinafter also referred to as a change trigger) that triggers the user's character to change.
  • a change trigger For example, as shown in the middle part of FIG. 1, the change trigger makes a suggestion that encourages the user to return home, such as listening to music and children's voices that are often heard when momma characters are used, and “buy sweets and go home slowly.” As a result, the user can round up the work and change to a ma character thinking about the house (feelings also change) as shown in the lower part of FIG.
  • each character is a character that feels happiness (hereinafter referred to as a Happy character) and triggering a change trigger to prioritize the change to the Happy character, the user is more It can lead to a happy state.
  • the agent determines the necessity of character change from the user's situation and state and gives an appropriate change trigger.
  • the present embodiment is not limited to this, and the schedule input by the user in advance is used. A change to a linked character may be prompted. Thereby, a change trigger can be given at a timing desired by the user. The user may input when and where he / she wants to be with the schedule.
  • the virtual agent V in this system can give a change trigger to the user from the user terminal 1 (see FIG. 2) by voice, music, video, photograph, smell, vibration, or the like.
  • the user terminal 1 includes a wearable device (neckband type, smart eyeglass (binocular or monocular AR eyewear), smart earphone (for example, open air earphone), smart band (bracelet type), smart watch, ear-mounted headset. , Shoulder-type terminals), smartphones, mobile phone terminals, tablet terminals, and the like.
  • the change trigger output method differs depending on the function of the device. For example, sound information (sound, environmental sound, sound effect, etc.), display information (characters, agent images, photos, videos, etc. on the display screen), vibration, smell, etc. can be considered.
  • sound information sound, environmental sound, sound effect, etc.
  • display information characters, agent images, photos, videos, etc. on the display screen
  • vibration, smell, etc. can be considered.
  • the change trigger may be output by a sentence, a word, or a figure superimposed on a space or an object by AR technology.
  • the change trigger may be output by whispering at the ear, blowing wind, applying heat, etc. so as not to be heard by other people.
  • change triggers are given by sentences, words, figures, and characters that appear at the edge or part of the display screen.
  • a shoulder-type terminal basically, like an ear-mounted headset, a method of whispering at the ear so as not to be heard by other people, blowing wind, giving heat, and It is possible to give a change trigger by vibration, center of gravity movement, pulling of hair, and the like.
  • FIG. 2 is a diagram illustrating an example of the overall configuration of the information processing system according to the present embodiment.
  • the information processing system includes a user terminal 1 and a server 2.
  • the user terminal 1 and the server 2 can be connected by wireless or wired communication to transmit and receive data.
  • the user terminal 1 can be connected to the network 3 from the surrounding base station 4 and connected to the server 2 on the network 3 for data communication.
  • a neckband type user terminal 1 ⁇ / b> A and a smartphone user terminal 1 ⁇ / b> B are illustrated.
  • the user terminal 1 transmits, to the server 2, various types of information related to the user situation used for character determination and change determination, such as position information and user speech.
  • the server 2 has functions as a virtual agent such as determination of the user's character and activation of a change trigger based on the information transmitted from the user terminal 1.
  • a system configuration in which processing is mainly performed on the server 2 side (cloud server) is used.
  • the present disclosure is not limited to this, and part of various processing such as character determination and change trigger activation. May be performed on the user terminal 1 side, or all may be performed on the user terminal 1 side.
  • the processing according to the present embodiment may be performed by a plurality of external devices (distributed processing), or part of the processing may be performed by an edge server (edge computing).
  • FIG. 3 is a block diagram illustrating an example of the configuration of the user terminal 1 according to the present embodiment.
  • the user terminal 1 includes a control unit 10, a communication unit 11, an operation input unit 12, a voice input unit 13, a sensor 14, a display unit 15, a voice output unit 16, and a storage unit 17.
  • the control unit 10 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the user terminal 1 according to various programs.
  • the control unit 10 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 10 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • control unit 10 controls the communication unit 11 to transmit the voice information input by the voice input unit 13 and various sensor information detected by the sensor 14 to the server 2. Further, the control unit 10 performs control so that the change trigger received from the server 2 by the communication unit 21 is output from the display unit 15 or the audio output unit 16.
  • the communication unit 11 is connected to the network 3 by wire or wireless, and transmits / receives data to / from external devices (for example, peripheral devices, routers, base stations, servers 2 and the like).
  • the communication unit 11 is, for example, by a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), a mobile communication network (LTE (Long Term Evolution), 3G (third generation mobile communication system)) or the like. Connect to an external device.
  • the operation input unit 12 receives an operation instruction from the user and outputs the operation content to the control unit 10.
  • the operation input unit 12 may be a touch sensor, a pressure sensor, or a proximity sensor.
  • the operation input unit 12 may have a physical configuration such as a button, a switch, and a lever.
  • the audio input unit 13 is realized by a microphone, a microphone amplifier unit that amplifies the audio signal obtained by the microphone, and an A / D converter that digitally converts the audio signal, and outputs the audio signal to the control unit 10. .
  • Sensor 14 detects a user's situation, state, or surrounding environment, and outputs detection information to control unit 10.
  • the sensor 14 may be a plurality of sensor groups or a plurality of types of sensors.
  • the sensor 14 uses, for example, an indoor position measurement based on communication with a motion sensor (acceleration sensor, gyro sensor, geomagnetic sensor, etc.), a position sensor (Wi-Fi (registered trademark), Bluetooth (registered trademark), etc.) or GPS. Outdoor position measurement), biological sensors (heart rate sensor, pulse sensor, sweat sensor, body temperature sensor, electroencephalogram sensor, myoelectric sensor, etc.), image sensor (camera), environmental sensor (temperature sensor, humidity sensor, illuminance sensor, rain) Sensor).
  • the display unit 15 is a display device that outputs an operation screen, a menu screen, and the like.
  • the display unit 15 may be a display device such as a liquid crystal display (LCD) or an organic EL (Electroluminescence) display. Further, the display unit 15 according to the present embodiment can output video as a user questionnaire for character determination described later or a change trigger under the control of the control unit 10.
  • the audio output unit 16 includes a speaker that reproduces an audio signal and an amplifier circuit for the speaker.
  • the voice output unit 16 according to the present embodiment outputs a change trigger such as an agent voice or music under the control of the control unit 10.
  • the storage unit 17 is realized by a ROM (Read Only Memory) that stores programs and calculation parameters used for the processing of the control unit 10, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the configuration of the user terminal 1 according to the present embodiment has been specifically described above.
  • the configuration of the user terminal 1 is not limited to the example illustrated in FIG.
  • an odor output unit that outputs “odor” may be further included.
  • a configuration in which at least a part of the configuration illustrated in FIG. 3 is provided in an external device may be employed.
  • the neckband-type wearable device shown in FIG. 2 is a type of speaker (neckband-type speaker) that is worn around the neck, and sounds are output from the speakers provided at both ends.
  • mold speaker can give the auditory effect that a sound can be heard in an ear
  • an earphone (not shown) is connected to the neckband type speaker by wire / wireless, sound can be output from the earphone.
  • the earphone may be an open-type earphone (an earphone that does not block the ears), and in this case, it is easy to hear the ambient sound, so it is relatively safe even if worn on a daily basis. Kept.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the server 2 according to the present embodiment.
  • the server 2 includes a control unit 20, a communication unit 21, a character information storage unit 22a, and a user information storage unit 22b.
  • the control unit 20 functions as an arithmetic processing device and a control device, and controls the overall operation in the server 2 according to various programs.
  • the control unit 20 is realized by an electronic circuit such as a CPU (Central Processing Unit) and a microprocessor, for example.
  • the control unit 20 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • control unit 20 also functions as a user situation / action recognition unit 201, a character determination unit 202, a change trigger output control unit 203, and a user information management unit 204.
  • the user situation / behavior recognition unit 201 recognizes (including analysis) the user situation, the surrounding situation (surrounding environment), and the action based on the sensor information and voice information transmitted from the user terminal 1.
  • the user situation / behavior recognition unit 201 can also perform action recognition based on a schedule registered in advance by the user and contents posted to the social network service (text, image, location information, who is). is there.
  • the character determination unit 202 determines the character that the user has and the character that is currently appearing. For example, the character determination unit 202 performs determination based on an answer to a predetermined questionnaire input by the user, a history of posting to a social network service, a schedule history, and an action history based on sensor information. At this time, the character determination unit 202 may perform character determination with reference to a character determination rule registered in advance in the character information storage unit 22a, or may learn the appearance status of the user's character by machine learning. .
  • the change trigger output control unit 203 determines whether or not to change the current character of the user, and controls to output information that triggers the change of the character.
  • the change trigger includes, for example, some information presentation or voice call by agent voice, other voice, music, video, photograph, user's past history to social network service, smell, and the like.
  • the user information management unit 204 registers and manages various types of information related to the user, such as the character that the user has, the appearance pattern of each character, and the user's action history, in the user information storage unit 22b.
  • the communication unit 21 transmits / receives data to / from an external device by wire or wireless.
  • the communication unit 21 is connected to the user terminal 1 via the network 3 by, for example, a wired / wireless LAN (Local Area Network) or Wi-Fi (Wireless Fidelity, registered trademark).
  • the character information storage unit 22a stores various information related to the character.
  • the character information storage unit 22a stores a character determination rule. For example, when staying at a relatively same place during a weekday day, it is determined that it is a school or a workplace (which can be estimated from the user's age), and “work character” or “school character” There are rules for judging, and when staying at a relatively same place at night, it is presumed that it is a home, and further, a rule for judging “mama character” from the user's family structure and the like.
  • the character information storage unit 22a also stores character information (name, features, change trigger information, etc.) created on the system side.
  • the user information storage unit 22b stores various types of information related to the user, such as the character that the user has, the appearance pattern of each character, and the user's action history. Also, change trigger information for each character of the user can be stored.
  • the configuration of the server 2 according to the present embodiment has been specifically described above.
  • the configuration of the server 2 shown in FIG. 4 is an example, and the present embodiment is not limited to this.
  • at least a part of the configuration of the server 2 may be in an external device, or at least a part of each function of the control unit 20 is a user terminal 1 or a communication device in which a communication distance is relatively close to the user terminal 1 (For example, a so-called edge server) may be realized.
  • a so-called edge server may be realized.
  • FIG. 5 is a flowchart showing the character determination process according to the present embodiment.
  • the server 2 performs an initial setting for character determination using the user terminal 1 (step S103).
  • an attribute input screen or a questionnaire input screen is displayed on the user terminal 1 having a configuration including the operation input unit 12 and the display unit 15 such as a smartphone, a tablet terminal, or a PC, and the user is allowed to input initial setting information.
  • the input information is transmitted from the user terminal 1 to the server 2.
  • the attribute input for example, input of gender, age, occupation, family composition, birthplace, etc. is assumed.
  • the questionnaire personality diagnosis
  • the server 2 also acquires the user's past posting history (comments, images, interactions with friends), schedule history, location information history, action history, etc. Analyze what kind of behaviors and remarks are made, and what feelings they have.
  • one or more characters (main characters) possessed by the user are determined based on analysis results such as attribute information, questionnaire response information, posting history, schedule history, or action history acquired as initial settings.
  • analysis results such as attribute information, questionnaire response information, posting history, schedule history, or action history acquired as initial settings.
  • a single user can become a “genki character” (always energetic, loves festivals, appears when returning home or at a girls ’association),“ work character ”(protecting a serious image, Emphasizing the well-balanced balance, and not feeling my own feelings), "darkness character” (dark, negative feelings, unable to communicate my feelings, tired and not motivated to do anything), It turns out that it has four characters (personality), such as “Chatkari Chara” (a character who has given priority to his own interests).
  • the character information of the determined user is accumulated in the user information storage unit 22b. Moreover, the character determination part 202 may set the character from which a user becomes happy emotion and pleasant emotion among a user character as a Happy character.
  • FIG. 6 shows an example of the main character information of the user.
  • the character information includes the type of character that one user has and the parameters (appearance time zone and location) of the appearance of each character.
  • a character that makes the user happy and fun emotion is set as a Happy character.
  • the parameters of the situation in which each character appears are the attributes and questionnaire responses entered in the initial settings, past posting history, schedule information, action history, and pre-registered judgment rules ("work character” is the Appearing during a certain time zone (usually from 9:00 to 17:00 on weekdays). Such parameters can be modified as appropriate according to the accumulation of action history and the like described below.
  • the server 2 continuously accumulates the daily action history of the user (for example, every 5 minutes) (step S106).
  • the daily action history is, for example, the user's daily conversation acquired by the user terminal 1, position information (movement history), action history (when, where and what action (walked, ran, sat, train And the like, the music heard, the environmental sound of the city you walked in, the input information of the scheduler, posts to the social network, etc. are stored in the user information storage unit 22b.
  • the character determination part 202 learns the character corresponding to a user's 1 day action pattern based on the accumulated information (step). S112). Accumulation and learning are repeated periodically to improve the accuracy of character information.
  • FIG. 7 shows an example of a daily action pattern and an appearance character.
  • the user uses a plurality of characters differently in one day. For example, work characters at the office (place A) from 9:00 to 17:00, neutral characters that do not belong to any character while moving, relaxed characters at a dinner with friends from 17:30 to 19:30, the next morning from 20:00 At 8:00, it is recognized that he is a ma character with his family at home.
  • the character determination processing has been specifically described above. It is also possible to notify the user of the character determination result and have the user correct it. Further, the character information may be corrected and updated by periodically performing the questionnaire. In addition, the user may register himself as a XX character by himself / herself or may register as this character during this time period using a scheduler.
  • the present embodiment is not limited to this.
  • a user uses a plurality of social network services, there are cases where a character is used for each service. Therefore, as character information, it is possible to determine and register which character is which social network service.
  • FIG. 8 is a flowchart showing change trigger output processing according to the present embodiment.
  • the user situation / behavior recognition unit 201 of the server 2 is based on voice information input by the voice input unit 13 of the user terminal 1 and various sensor information detected by the sensor 14.
  • the user's situation and behavior are recognized in real time (step S123). For example, if the location information indicates that the user is at the office, it is recognized as working, and if the location information and acceleration sensor information indicate that the user leaves the company and walks to the station, he / she is returning home. It can be recognized.
  • the change trigger output control unit 203 determines whether or not a character change is necessary (step S126). For example, if the user is in the company and is a “working character” during the time period when “Mama character” is normal (see FIG. 7), the change trigger output is based on the criteria of the priority of the Happy character. The control unit 203 determines that it is necessary to change to “mama character” (at least one of the Happy characters).
  • the change trigger output control unit 203 is a biometric sensor in which the user sighs many times (detected by voice information, respiratory sensor information, etc.) or is tired (voice information (tweet of “tired” etc.)) In the case of detection by information, a motion sensor, etc., it may be determined that a change to any of the Happy characters is necessary.
  • the change trigger output control unit 203 controls to output a change trigger that triggers the change to a Happy character (step S129).
  • the change trigger is, for example, provision of information that prompts a change in behavior, and is related to a proposal by an agent (for example, a proposal that prompts the user to get out of at least “company” such as “If you buy even sweets”), and a Happy character.
  • Environmental sounds for example, voices pronounced of the “mama character” environment such as a child's voice
  • images for example, voices pronounced of the environment of the “mama character” such as children's pictures
  • smells for example, the smell of the house
  • the necessity for character change is automatically determined from the user's situation, but this embodiment is not limited to this, and the necessity for character change based on a schedule input in advance by the user. May be judged. For example, if the work is scheduled until 17:00, and the time of ma character is scheduled from 18:00, and the user stays at the work place and remains a work character even after 18:00 It can be judged that the character change is necessary.
  • the wearable device (user terminal 1) is also a shopping WEB site that is always checked after user A is busy with work based on the user's gait and sigh, biometric information, this week's schedule information, web history, etc. It walks the road to the station with a heavy gait without seeing, and recognizes that user A has changed from a “work character” to a “root dark character”.
  • each function of the server 2 shown in FIG. 4 is executed by agent software (application program) downloaded to the user terminal 1.
  • agent software application program
  • the character change trigger output (character change service according to the present embodiment) is set to OFF for business time (or “neutral character” is set with priority). It is also possible to set the character change trigger output to automatically turn on after 9 o'clock on Friday.
  • the user terminal 1 searches for the Happy character that the user A has. For example, user A's “local favorite character” (a character who has a strong love for his / her hometown and is a caregiver (a childhood friend, etc.) who can not care about (a child can be released)) is set as a Happy character. If the user terminal 1 returns to the local area and becomes a “local favorite character”, the user terminal 1 records history information (voices at a drinking party with local friends, laughter of friends, photos, videos , Posting history, etc.) and providing it to the user as a change trigger.
  • history information voices at a drinking party with local friends, laughter of friends, photos, videos , Posting history, etc.
  • the voice recorded at a drinking party with local friends and the laughing voice of a friend are mixed with the surrounding environmental sound (busy) slightly.
  • the output may be controlled so that it can be heard.
  • the photos taken when returning home can be shown as a slideshow within a range that does not interfere with the view.
  • a smartphone at the end of the display screen, You can make a friend's remarks in a balloon or post a post at that time.
  • the user A can be reminded of himself / herself when he / she was happy and energetic, and can be prompted to change himself into a Happy character.
  • the user A changes from a “darkness character” to a cheerful and cheerful character. For example, as a voluntary action, he makes a reservation for yoga thinking that “I can get up early tomorrow morning yoga” . When the morning yoga schedule is included in the schedule, the user terminal 1 can estimate that the character change has been successful (effective).
  • user A changes from “Neko character” to “local favorite character”, takes out the smartphone, calls a local friend, and sends a message.
  • the user terminal 1 can estimate that the character change was successful (effective).
  • parameter correction processing will be described with reference to FIGS.
  • a change trigger is output by the system, based on the action that the user voluntarily took, the change to the user's character after that, the change in the user's emotion and situation, etc. If a change trigger is given, it learns whether the transformation into a Happy character was successful, and when it was correct to prompt the transformation into a Happy character. Can be modified).
  • FIG. 9 is a flowchart showing the modification trigger priority correction process according to this embodiment. Since steps S203 to S209 shown in FIG. 9 are the same as the processes of steps S123 to S129 described with reference to FIG. 8, detailed description thereof is omitted here.
  • the priority when there are a plurality of change triggers for a certain character, the priority may be set as a default in advance.
  • the default priority may be random or may be arranged by estimating the priority from the tendency of the user's past history. For example, there will be described a case where there is a change trigger with priority set as follows and output is performed from the upper level.
  • the control unit 20 of the server 2 determines whether or not the character change is successful (step S212). For example, when a change trigger that prompts a change to a Happy character is output, the control unit 20 has entered a schedule for meeting or going out with someone, whether the user's sigh has decreased, the gait has become lighter, the smile has been reduced, Whether or not the character change is successful can be determined based on whether or not a Happy (happy, energetic, positive) behavioral change has occurred, such as contacting a friend or lover or feeling happy. Further, even when the character has completely changed to a Happy character, such as leaving the company, or when a change occurs from the situation (location, environment) that he / she wants to escape from, it may be determined to be successful.
  • step S212 when the character change is not successful (step S212 / No), the change trigger output control unit 203 changes to the next highest priority change trigger (step S215), and returns to step S209 to output the change trigger. (Step S209).
  • step S212 when the character change is successful (step S212 / Yes), the priority of the change trigger is corrected (step S218). That is, a change trigger (method and content) in which the character change is successful is learned.
  • FIG. 10 is a flowchart showing an operation process when parameter correction is requested by the user according to the present embodiment.
  • the control unit 20 of the server 2 corrects the character determination parameter according to the user's instruction (step S226).
  • the user terminal 1 presents a change trigger to a Happy character.
  • the parameter correction content may be manually input by the user, or may be automatically performed by recognizing the situation on the user terminal 1 side.
  • FIG. 11 shows an example of parameter correction according to the present embodiment.
  • the person is accompanied by a superior at an outside restaurant after 17:00 on weekdays, it is set as a work character.
  • the employee is accompanied by a superior at an outside restaurant after 17:00 on weekdays, it is possible to prioritize the “working character” and improve the accuracy of the character change service by the present system.
  • the trust relationship and reliability between the user and the system (agent) also increase.
  • the user can replenish the character he / she wants to be for a fee or free of charge.
  • the acquired character information is stored together with the main character in the user information storage unit 22b.
  • Celebrity character activation timing may be set by the user himself (such as input to a linked scheduler). In addition, it may be set up so that the system side appropriately determines.
  • the system determines that it is better to change to such a minor character according to the user situation, and to provide a change trigger for such a character.
  • FIG. 13 is a flowchart showing change trigger output processing for a minor character.
  • the user sets a minor character activation condition (parameter) (step S303).
  • the activation condition input by the user is stored in the user information storage unit 22b of the server 2 as a minor character parameter.
  • the change trigger output control unit 203 of the server 2 determines the change timing to the minor character based on the voice information and sensor information acquired by the user terminal 1 (step S309), and at a timing that satisfies the condition.
  • a change trigger is output (step S309).
  • the change trigger to the minor character an example as shown in Table 5 below can be considered, but can be changed as appropriate.
  • step S312 / No when the character change has failed (step S312 / No), it is changed to the next highest priority change trigger (step S318).
  • step S312 / Yes when the character change is successful (step S312 / Yes), the priority of the change trigger is corrected with the successful content (step S315).
  • the character information of each user is shared between agents among predetermined group members (for example, lovers, specific friend groups, family members, etc.) formed through mutual approval, and the agent is the character at the partner agent at the optimal timing. It is possible to request a change.
  • predetermined group members for example, lovers, specific friend groups, family members, etc.
  • FIG. 14 is a diagram for explaining an outline of change trigger output processing between a plurality of agents.
  • the agent Va determines that the character is a “lonely character” due to a sigh or whisper of the user A (“I want a call”, “I don't want to contact”, etc.).
  • the agent Va is lonely from the agent Vb of the user B who is a lover.
  • the user B is requested to change to a character that contacts the user A (specifically, a change to a specific character may be requested based on the character information of the user B).
  • the lover status can be determined from initial settings, schedule information, contents posted to a social network service, and the like. Although this is a lover here, the present embodiment is not limited to this, and a person who is in a happy state when the user A is together may be extracted from the user's action history or the like. Moreover, an example of the character information of each user shared is shown in FIG. 15 and FIG.
  • the character information of the user B includes a work character, a cute character, an active character, a neutral character, and a date character
  • the character estimated to contact the user A is a date character and Become.
  • the character of the user A there are a work character, an active character, a relaxed character, a neutral character, and a lonely character.
  • the agent Vb reminds the user A by showing the date photo with the user A to the user B who is going to have a free time, or playing the voice at the date of the date with the user A, and changes to the date character. Prompt.
  • the agent Va and the agent Vb are virtual, and the operation of each agent can be performed in the server 2 and each user terminal 1. Moreover, when the application which implement
  • FIG. 17 is a sequence diagram illustrating a change trigger output process between a plurality of agents according to the present embodiment.
  • the user terminal 1a of the user A recognizes the user's whisper (step S403). If the user terminal 1a is a lonely character (step S406 / Yes), the user terminal 1a The user terminal 1b is requested to change the character so as to give the user A a change trigger for changing the user A to a Happy character (step S409).
  • the user terminal 1b of the user B outputs a change trigger so as to change the user B to a date character that contacts the user A (giving a change trigger for changing the user A to a Happy character). (Step S412).
  • Advertisement> it is also possible to present an advertisement according to the user's character. Since the character sense, purchases, and services you want to use may differ depending on the character, it is possible to present the optimal advertisement to the user according to the character.
  • FIG. 18 is a diagram illustrating an example of advertisement presentation according to the character according to the present embodiment.
  • an advertisement for an English conversation school in the case of a ma character, an advertisement for children's clothing, and in the case of a relaxed character, a gourmet information or an advertisement for a restaurant can be presented.
  • advertisements corresponding to all characters advertisements according to user attributes (such as fashion, beauty, sweets-related advertisements, etc. depending on hobbies, preferences, gender, age, etc.) Advertisements for popular products and events may be presented at random.
  • the user's preference and tendency at the time of each character's appearance are analyzed, and the advertisement that matches the character Can also be provided.
  • the advertisement is provided by the user terminal 1 by image, sound, or other methods.
  • timing of advertisement provision may be suitable for the current character or may be suitable for the character expected to appear next.
  • FIG. 19 is a diagram for explaining a case of guiding to a potential character. For example, suppose that a user asks “I want to surf” half a year ago, but does not take any specific action and forgets himself.
  • the change trigger is not limited to the voice of the agent, and may be a method of reproducing and displaying the past whisper of the user or showing a surfing video.
  • a computer program for causing hardware such as the CPU, ROM, and RAM incorporated in the user terminal 1 or the server 2 described above to exhibit the functions of the user terminal 1 or the server 2.
  • a computer-readable storage medium storing the computer program is also provided.
  • this technique can also take the following structures. (1) Determine the user's character; Determine if it is time to change to a given character; An information processing apparatus comprising: a control unit that controls to output a trigger that prompts a change to the predetermined character at the change timing. (2) The information processing apparatus according to (1), wherein the control unit refers to information of one or more characters held by the user and determines the user's character according to a current time, place, or environment. (3) The control unit refers to information on one or more characters held by the user, and determines the user's character based on at least one of voice information, action recognition, and biological information. The information processing apparatus according to 2).
  • the control unit determines whether it is a timing to change to a predetermined character based on at least one of time, place, environment, voice information, action recognition, and biological information.
  • the information processing apparatus according to any one of 3).
  • One or more characters possessed by the user are set as to whether or not they are happy characters,
  • the information processing apparatus according to any one of (1) to (4), wherein the control unit controls to output a trigger for changing the user to a happy character.
  • the controller is 6.
  • the method according to any one of (1) to (5), wherein determination of a character and determination of change timing are performed based on character information including an appearance time, place, or environment of one or more characters possessed by the user.
  • Information processing device is
  • the controller is The character information including the appearance time, place, or environment of one or more characters held by the user is corrected based on the feedback of the user after outputting a trigger for changing to the predetermined character.
  • the information processing apparatus according to any one of (6).
  • the controller is Any one of (1) to (7), wherein one or more characters of the user are determined based on the user attribute information, questionnaire response information, action history, schedule history, voice history, or posting history.
  • the information processing apparatus according to item.
  • the controller is After outputting a trigger for changing to the predetermined character, if there is no change in the user's action, control is performed so as to output a trigger with the next highest priority.
  • the controller is The control device according to any one of (1) to (9), wherein control is performed so as to change a character of a predetermined other user estimated to affect the user as a trigger for prompting the change to the predetermined character.
  • Information processing device (11)
  • the controller is The information processing apparatus according to any one of (1) to (10), wherein the information is controlled so as to present advertisement information corresponding to the character of the user.
  • Computer Determine the user's character; Determine if it is time to change to a given character; A program for functioning as a control unit that controls to output a trigger for prompting a change to the predetermined character at the change timing.

Abstract

【課題】より好ましいユーザのキャラクターを引き出すよう適切な情報を提示することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】ユーザのキャラクターを判定し、所定のキャラクターへ変更するタイミングであるか否かを判断し、前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 従来、人は色々な場面(場所や環境等)に合わせて自分の中にある複数のキャラクターを使い分けている。例えば、会社に居る時と友達と居る時、また、学校に居る時と家に居る時とでは、態度や考え方、話し方等を、自然に若しくは意識して切り替えている。
 ここで、近年の情報提示技術では、システム内に仮想的なエージェントを設けて、ユーザが欲している情報をエージェントにより音声や画像で提供している。このような技術に関し、例えば下記特許文献1では、利用者の特性の変化量に応じてキャラクターの視覚的態様を徐々に変化させて表示することで、利用者が自己の嗜好や趣味の変化を直感的に理解できるようにする情報端末装置が開示されている。
特開2010-204070号公報
 しかしながら、従来の技術では、ユーザ自身が持つ複数のキャラクターの検知や分析には行われておらず、あくまでもユーザの嗜好や趣味の変化に応じてエージェントの視覚的な態様を変化させるのみである。
 また、疲労していたり多忙な場合等には、ユーザが自分で現在の場面に合った自身のキャラクターを意識したり、コントロールしたりすることが困難な場合もあった。
 そこで、本開示では、より好ましいユーザのキャラクターを引き出すよう適切な情報を提示することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、ユーザのキャラクターを判定し、所定のキャラクターへ変更するタイミングであるか否かを判断し、前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部を備える、情報処理装置を提案する。
 本開示によれば、プロセッサが、ユーザのキャラクターを判定し、所定のキャラクターへ変更するタイミングであるか否かを判断し、前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御することを含む、情報処理方法を提案する。
 本開示によれば、コンピュータを、ユーザのキャラクターを判定し、所定のキャラクターへ変更するタイミングであるか否かを判断し、前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部として機能させるための、プログラムを提案する。
 以上説明したように本開示によれば、より好ましいユーザのキャラクターを引き出すよう適切な情報を提示することが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成の一例を示す図である。 本実施形態によるユーザ端末の構成の一例を示すブロック図である。 本実施形態によるサーバの構成の一例を示すブロック図である。 本実施形態によるキャラクター判定処理を示すフローチャートである。 本実施形態によるユーザの主要キャラクター情報の一例を示す図である。 本実施形態による1日の行動パターンと出現キャラクターの一例を示す図である。 本実施形態による変更トリガ出力処理を示すフローチャートである。 本実施形態による変更トリガの優先度の修正処理を示すフローチャートである。 本実施形態によるユーザによるパラメータ修正が要求された際の動作処理を示すフローチャートである。 本実施形態によるパラメータ修正の一例を示す図である。 本実施形態によるマイナーキャラクターの情報の一例を示す図である。 本実施形態によるマイナーキャラクターへの変更トリガ出力処理を示すフローチャートである。 本実施形態による複数エージェント間での変更トリガ出力処理の概要を説明する図である。 本実施形態によるユーザAのキャラクター情報の一例を示す図である。 本実施形態によるユーザBのキャラクター情報の一例を示す図である。 本実施形態による複数エージェント間での変更トリガ出力処理を示すシーケンス図である。 本実施形態によるキャラクターに応じて広告提示の一例を説明する図である。 本実施形態による潜在的ななりたいキャラクターへ誘導する場合について説明する図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、説明は以下の順序で行うものとする。
 1.本開示の一実施形態による情報処理システムの概要
 2.構成
  2-1.ユーザ端末1の構成
  2-2.サーバ2の構成
 3.動作処理
  3-1.キャラクター判定処理
  3-2.変更トリガ出力処理
  3-3.パラメータ修正処理
  3-4.マイナーキャラクターへの変更トリガ出力処理
  3-5.複数エージェント間での変更トリガ出力処理
  3-6.広告
  3-7.潜在的ななりたいキャラクターへの誘導
 4.まとめ
 <<1.本開示の一実施形態による情報処理システムの概要>>
 図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システムでは、仮想的なエージェントVによりユーザのキャラクターを推定し、必要に応じてユーザのキャラクターを変化させるための情報を提供する。本明細書において、「キャラクター」とは、その人が場所や環境等に合わせて使い分ける態度や考え方、話し方、または行動指針等であって、広く人格や性格の一形態と言える。また、キャラクターは、生まれつき個人に備わっているもの、成長過程で身に付いたもの、その場の状況や環境に合わせて作った/作られたもの、他者から与えられたもの、システム側で与えたもの(誘導したもの)等が想定される。また、各個人は複数のキャラクターを持ち得て、それぞれのキャラクターの出現頻度は人によって異なるが、その人の出現頻度の高いキャラクターを、以下では「主要キャラクター」とも称する。
 また、本明細書では、キャラクターの名称として、例えば感情を表現した名称や(「おこりんぼキャラ」「寂しがりキャラ」「泣き虫キャラ」「おとぼけキャラ」、「気難しいキャラ」など)、社会における役割やポジションを表現した名称(「ママキャラ」、「パパキャラ」、「仕事キャラ」、「事務員キャラ」、「女子高生キャラ」、「セレブキャラ」など)、またはこれらを組合せた名称(「おこりんぼママキャラ」、「ごきげん事務員キャラ」など)を一例として適宜付与している。
 図1に示すように、例えばユーザが使い分けている主要キャラクターとして、9時から17時は「仕事キャラ」、18時から翌朝8時は「ママキャラ」、18時から20時は時々「ゆったりキャラ」(穏やかな気持ちでのんびりとリラックスすることを好むキャラクター)が予め把握されている場合に、エージェントVは、ユーザの状況や環境からキャラクター変更が必要であるか否かを判断する。具体的には、図1上段に示すように、例えばユーザがため息をついて疲れた様子である場合に、いつもはママキャラになって(具体的には、少なくとも職場以外の場所(通勤経路や自宅等)で)幸せな感情でいるはずの時間帯であるがまだ仕事キャラの状態(具体的には、職場にいる状態)である場合、キャラクター変更が必要であると判断する。
 キャラクターの変更が必要であると判断した場合、エージェントVは、ユーザのキャラクターが変化するきっかけとなる情報(以下、変更トリガとも称す)をユーザに提供する。変更トリガは、例えば図1中段に示すように、ママキャラの時によく聞いている音楽や子供の声を流すと共に、「スイーツでも買って帰って、ゆっくりしよう~」といった帰宅を促す提案を行う。これにより、ユーザは仕事を切り上げて、図1下段に示すように、家のことを考えるママキャラに変化(気持ちも変化)し得る。
 このように、本実施形態では、より好ましいキャラクターへの変更を促すことができる。なお、各キャラクターに、幸せを感じるキャラクター(以下、Happyキャラクターと称す)であるか否かを設定し、Happyキャラクターへの変化を優先するよう変更トリガを発動することで、結果的にユーザをより幸せな状態へ導くことができる。
 ここでは一例としてエージェントがユーザの状況や状態からキャラクター変更の必要性を判断して適切な変更トリガを与えるようにしているが、本実施形態はこれに限定されず、ユーザが予め入力したスケジュールに紐付いたキャラクターへの変更を促すようにしてもよい。これにより、ユーザが望むタイミングで変更トリガを与えることができる。ユーザは、スケジュールと共に、いつどこでどのキャラクターでいたいかを入力しておいてもよい。
 また、本システムにおける仮想的なエージェントVは、ユーザ端末1(図2参照)からユーザに対して音声や音楽、映像、写真、匂い、振動等により変更トリガを与えることが可能である。ユーザ端末1は、ウェアラブルデバイス(ネックバンド型、スマートアイグラス(双眼または単眼のARアイウェア)、スマートイヤフォン(例えばオープンエアーイヤホン)、スマートバンド(腕輪型)、スマートウォッチ、耳部装着型ヘッドセット、肩乗り型端末等)、スマートフォン、携帯電話端末、またはタブレット端末等が想定される。
 変更トリガの出力手法はデバイスの機能によって異なる。例えば、音情報(音声、環境音、効果音など)、表示情報(表示画面に文字やエージェントの画像、写真、映像等)、振動、匂い等が考えられる。例えばメガネ型端末(ARアイウエア)の場合、AR技術により空間上、または物体の上に重畳する文章、言葉、図形により変更トリガを出力してもよい。また、耳部装着型ヘッドセットやオープンエアーイヤホンの場合、他の人には聞かれないように耳元でささやく、または風を吹きかける、熱を与える等により変更トリガを出力してもよい。
 また、スマートフォンやタブレット端末等の場合、表示画面の端や一部に出現する文章、言葉、図形、キャラクターにより変更トリガを与える。また、肩乗り型端末の場合、基本的には耳部装着型ヘッドセットと同様に、他の人には聞かれないように耳元でささやく、または風を吹きかける、熱を与えるといった方法と、さらに振動や重心移動、髪の毛を引っ張る等により変更トリガを与えることが可能である。
 続いて、このような本実施形態による情報処理システムの全体構成について図2を参照して説明する。図2は、本実施形態による情報処理システムの全体構成の一例を示す図である。
 図2に示すように、本実施形態による情報処理システムは、ユーザ端末1とサーバ2を含む。ユーザ端末1とサーバ2は、無線または有線により通信接続し、データの送受信を行い得る。例えばユーザ端末1は、周辺の基地局4からネットワーク3に接続し、ネットワーク3上のサーバ2へデータと通信接続することが可能である。また、図2に示す例では、ユーザ端末1の一例として、ネックバンド型のユーザ端末1Aと、スマートフォンのユーザ端末1Bを図示している。
 ユーザ端末1は、位置情報やユーザの発話音声など、キャラクター判定や変更判断に用いられるユーザ状況に関する各種情報を、サーバ2に送信する。
 サーバ2は、ユーザ端末1から送信された情報に基づいて、ユーザのキャラクターの判定や、変更トリガの発動等、仮想的なエージェントとしての機能を有する。
 なお、本実施形態では一例として主にサーバ2側(クラウドサーバ)で処理を行うシステム構成としているが、本開示はこれに限定されず、キャラクターの判定や変更トリガの発動といった各種処理の一部をユーザ端末1側で行うようにしたり、全てをユーザ端末1側で行うようにしてもよい。また、本実施形態による処理を複数の外部装置で行うようにしてもよいし(分散処理)、一部の処理をエッジサーバで行うようにしてもよい(エッジコンピューティング)。
 以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
 <<2.構成>>
  <2-1.ユーザ端末1の構成>
 図3は、本実施形態によるユーザ端末1の構成の一例を示すブロック図である。図3に示すように、ユーザ端末1は、制御部10、通信部11、操作入力部12、音声入力部13、センサ14、表示部15、音声出力部16、および記憶部17を有する。
 制御部10は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末1内の動作全般を制御する。制御部10は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
 また、本実施形態による制御部10は、音声入力部13により入力された音声情報や、センサ14により検知した各種センサ情報を、通信部11からサーバ2に送信するよう制御する。また、制御部10は、通信部21によりサーバ2から受信した変更トリガを、表示部15や音声出力部16から出力するよう制御する。
 通信部11は、有線または無線によりネットワーク3と接続し、外部装置(例えば周辺機器、ルータ、基地局、サーバ2等)とデータの送受信を行う。通信部11は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等により外部装置と通信接続する。
 操作入力部12は、ユーザによる操作指示を受付け、その操作内容を制御部10に出力する。操作入力部12は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部12は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
 音声入力部13は、マイクロホンと、そのマイクロホンで得られた音声信号を増幅処理するマイクアンプ部と、音声信号にデジタル変換するA/D変換器により実現され、音声信号を制御部10に出力する。
 センサ14は、ユーザの状況、状態、または周辺環境を検知し、検知情報を制御部10に出力する。センサ14は、複数のセンサ群、または複数種類のセンサであってもよい。センサ14は、例えばモーションセンサ(加速度センサ、ジャイロセンサ、地磁気センサ等)、位置センサ(Wi-Fi(登録商標)やBluetooth(登録商標)等との通信に基づく屋内位置測位、またはGPS等を用いた屋外位置測位等)、生体センサ(心拍センサ、脈拍センサ、発汗センサ、体温センサ、脳波センサ、筋電センサ等)、撮像センサ(カメラ)、環境センサ(温度センサ、湿度センサ、照度センサ、雨センサ等)が挙げられる。
 表示部15は、操作画面やメニュー画面等を出力する表示装置である。この表示部15は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイなどの表示装置であってもよい。また、本実施形態による表示部15は、制御部10の制御により、後述するキャラクター判定のためのユーザアンケートや、変更トリガとして映像を出力し得る。
 音声出力部16は、音声信号を再生するスピーカと、スピーカに対するアンプ回路を有する。本実施形態による音声出力部16は、制御部10の制御により、エージェントの音声や音楽といった変更トリガを出力する。
 記憶部17は、制御部10の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
 以上、本実施形態によるユーザ端末1の構成について具体的に説明した。なおユーザ端末1の構成は、図3に示す例に限定されない。例えば、変更トリガの一例として「匂い」を出力する匂い出力部をさらに有していてもよい。また、図3に示す構成の少なくとも一部が外部装置に設けられる構成であってもよい。
 また、図3に示す構成の少なくとも一部を有さない構成であってもよい。例えばユーザ端末1が、図2に示すようなネックバンド型のウェアラブルデバイスにより実現される場合、表示部15を有さない場合もある。図2に示すネックバンド型のウェアラブルデバイスは、首に掛けるタイプのスピーカ(ネックバンド型スピーカ)であって、両端部に設けられたスピーカから音が出力される。また、かかるネックバンド型スピーカに設けられたスピーカは、例えばVPT(Virtual Phones Technology)技術を用いて、音が耳元で聞こえるような聴覚効果を与えることができる。また、ネックバンド型スピーカにイヤホン(不図示)が有線/無線で接続された場合、イヤホンから音を出力し得る。イヤホンは、オープンタイプのイヤホン(耳が塞がれないタイプのイヤホン)であってもよく、この場合は周辺環境音も聞こえ易い状況にあるため日常的に装着していても比較的安全性が保たれる。
  <2-2.サーバ2の構成>
 図4は、本実施形態によるサーバ2の構成の一例を示すブロック図である。図4に示すように、サーバ2は、制御部20、通信部21、キャラクター情報記憶部22a、およびユーザ情報記憶部22bを有する。
 (制御部20)
 制御部20は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ2内の動作全般を制御する。制御部20は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部20は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
 また、本実施形態による制御部20は、ユーザ状況・行動認識部201、キャラクター判定部202、変更トリガ出力制御部203、およびユーザ情報管理部204としても機能する。
 ユーザ状況・行動認識部201は、ユーザ端末1から送信されたセンサ情報や音声情報に基づいて、ユーザの状況、周辺状況(周辺環境)、および行動を認識(解析を含む)する。また、ユーザ状況・行動認識部201は、ユーザが予め登録したスケジュールや、ソーシャルネットワークサービスへの投稿内容(テキスト、画像、位置情報、誰といるか)に基づいて、行動認識を行うことも可能である。
 キャラクター判定部202は、ユーザが持つキャラクターや、現在出現しているキャラクターの判定を行う。例えばキャラクター判定部202は、ユーザが入力した所定のアンケートの回答、ソーシャルネットワークサービスへの投稿履歴、スケジュール履歴、センサ情報に基づく行動履歴に基づいて判定する。この際、キャラクター判定部202は、キャラクター情報記憶部22aに予め登録されたキャラクター判定ルールを参照してキャラクター判定を行ってもよいし、機械学習によりユーザのキャラクターの出現状況を学習してもよい。
 変更トリガ出力制御部203は、ユーザの現在のキャラクターを変更させるか否かを判断し、キャラクターを変更するためのきっかけとなる情報を出力するよう制御する。変更トリガは、例えばエージェント音声による何らかの情報提示や声掛け、また、他の音声や音楽、映像、写真、ユーザの過去のソーシャルネットワークサービスへの投稿履歴、匂い等が挙げられる。
 ユーザ情報管理部204は、ユーザが持つキャラクターや、各キャラクターの出現パターン、ユーザの行動履歴など、ユーザに関する各種情報をユーザ情報記憶部22bに登録して管理する。
 (通信部21)
 通信部21は、有線または無線により外部装置とデータの送受信を行う。通信部21は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(Wireless Fidelity、登録商標)等によりネットワーク3を介してユーザ端末1と通信接続する。
 (キャラクター情報記憶部22a)
 キャラクター情報記憶部22aは、キャラクターに関する各種情報を記憶する。例えば、キャラクター情報記憶部22aは、キャラクター判定ルールを記憶する。例えば、平日の日中に比較的同じ場所に定常的に留まっている場合、そこが学校または職場(ユーザの年齢から推定し得る)であると判断し、「仕事キャラ」または「学校キャラ」と判定するルールや、夜に比較的同じ場所に定常的に留まっている場合はそこが自宅であると推定し、さらにユーザの家族構成等から、「ママキャラ」と判定するルールが挙げられる。また、地図情報を参照し、ユーザが飲食店に友達と居る状況で、会話が盛り上がっている時には「女子会キャラ」、生体情報等からリラックスしていることが認識された場合は「ゆったりキャラ」などと判定するルールも挙げられる。また、キャラクター情報記憶部22aには、システム側で作成したキャラクターの情報(名称、特徴、変更トリガ情報等)も記憶されている。
 (ユーザ情報記憶部22b)
 ユーザ情報記憶部22bは、ユーザが持つキャラクターや、各キャラクターの出現パターン、ユーザの行動履歴など、ユーザに関する各種情報を記憶する。また、ユーザの各キャラクターへの変更トリガ情報も記憶され得る。
 以上、本実施形態によるサーバ2の構成について具体的に説明した。なお図4に示すサーバ2の構成は一例であって、本実施形態はこれに限定されない。例えばサーバ2の少なくとも一部の構成が外部装置にあってもよいし、制御部20の各機能のうち少なくとも一部がユーザ端末1または通信距離が比較的ユーザ端末1に近い場所にある通信機器(例えば、いわゆるエッジサーバなど)により実現されてもよい。サーバ2が有する構成や機能を適宜分散することで、リアルタイム性の向上や処理負担の軽減、セキュリティを担保することが可能となる。
 <<3.動作処理>>
 続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
  <3-1.キャラクター判定処理>
 まず、図5を参照してキャラクター判定処理について説明する。図5は、本実施形態によるキャラクター判定処理を示すフローチャートである。
 図5に示すように、まず、サーバ2は、ユーザ端末1を用いてキャラクター判定のための初期設定を行う(ステップS103)。例えばスマートフォンやタブレット端末、PC等の操作入力部12と表示部15を有する構成のユーザ端末1に属性入力画面やアンケート入力画面を表示させて、初期設定の情報をユーザに入力させる。入力された情報は、ユーザ端末1からサーバ2へ送信される。属性入力は、例えば性別、年代、職業、家族構成、出身地等の入力が想定される。また、アンケート(パーソナリティー診断)は、下記のような、ユーザの性格、深層心理や潜在的な望み等を分析し得る項目が想定される。
 ・待ち合わせの時間はきちんと守るか
 ・人に厳しくダメ出しをするか
 ・他人を卑下したり、でしゃばる事が多いか
 ・理想が高く、精一杯頑張るか
 ・世の中のルールは守る方か
 ・仕事が好きか
 ・なりたい自分は何か
 ・好きな場所はどこか
 ・よく行く場所はどこか
 ・好きなミュージシャン、楽曲、映画、俳優、台詞は何か
 ・楽しかった思い出は何か
 ・彼氏はいるか
 また、サーバ2は、ユーザの過去のソーシャルメディアサービスへの投稿履歴(コメント、画像、友人とのやり取り)、スケジュール履歴、位置情報履歴、行動履歴等を取得し、ユーザがどのような状況においてどのような行動や発言等を行ったり、どのような感情になっているかを分析する。
 このように、初期設定として取得した属性情報、アンケートの回答情報、投稿履歴、スケジュール履歴、または行動履歴等の分析結果に基づいて、ユーザが持つ1以上のキャラクター(主要キャラクター)を判定する。これにより、例えば一例として、一人のユーザが、「元気キャラ」(いつでも元気で、お祭り大好き、地元に帰った時や女子会で出現する)、「仕事キャラ」(真面目なイメージを守りつつ、組織の中でうまくやっていくバランスを重視し、自分の気持ちは出さない)、「根暗キャラ」(暗い、ネガティブな気持ち、自分の気持ちを発信できず、疲れて何もやる気が起きない)、「ちゃっかりキャラ」(したたかに、ちゃっかり、周りの人を操り、自分の利益を最優先するキャラ)といったような4つのキャラクター(人格)を持つことが判明する。
 判定されたユーザのキャラクター情報は、ユーザ情報記憶部22bに蓄積される。また、キャラクター判定部202は、ユーザのキャラクターのうち、ユーザが幸せな感情や楽しい感情になるキャラクターをHappyキャラクターとして設定しておいてもよい。ここで、図6に、ユーザの主要キャラクター情報の一例を示す。
 図6に示すように、キャラクター情報には、一人のユーザが持つキャラクターの種類と、各キャラクターが出現する状況のパラメータ(出現時間帯や場所)が含まれる。また、上述したようにユーザが幸せな感情や楽しい感情になるキャラクターはHappyキャラクターとして設定される。各キャラクターが出現する状況のパラメータは、初期設定において入力された属性やアンケート回答、また、過去の投稿履歴、スケジュール情報、行動履歴、また、予め登録された判定ルール(「仕事キャラ」は職場にいる時間帯(通常、平日の9時から17時)に出現する、など)に基づいて設定される。かかるパラメータは、次に説明する行動履歴等の蓄積に応じて適宜修正され得る。
 次に、サーバ2は、初期設定である程度のキャラクターを把握した後、継続的に(例えば5分毎に)ユーザの日々の行動履歴等を蓄積していく(ステップS106)。日々の行動履歴等とは、例えば、ユーザ端末1により取得されたユーザの毎日の会話、位置情報(移動履歴)、行動履歴(いつどこでどのような行動(歩いた、走った、座った、電車に乗った等)を取っていたか)、聞いた音楽、歩いた街の環境音、スケジューラの入力情報、ソーシャルネットワークへの投稿等を、ユーザ情報記憶部22bに蓄積する。
 そして、一定期間(例えば1週間分)蓄積した場合(ステップS109/Yes)、キャラクター判定部202は、蓄積した情報に基づいて、ユーザの1日の行動パターンに対応するキャラクターの学習を行う(ステップS112)。蓄積および学習は定期的に繰り返され、キャラクター情報の精度が向上される。
 ここで、図7に、1日の行動パターンと出現キャラクターの一例を示す。図7に示すように、ユーザは1日に複数のキャラクターを使い分けていることが分かる。例えば9時から17時は会社(場所A)で仕事キャラ、移動中は特に何のキャラクターにも属さないニュートラルキャラ、17時半から19時半は友人と食事会でゆったりキャラ、20時から翌朝8時は自宅で家族と一緒にいてママキャラであることが認識される。
 以上、キャラクター判定処理について具体的に説明した。なお、キャラクター判定結果をユーザに通知してユーザ自身に修正させることも可能である。また、上記アンケートを定期的に行ってキャラクター情報を補正、更新していってもよい。また、ユーザが自身で今は○○キャラと登録してもよいし、スケジューラを用いて、この時間帯は、このキャラクター、と登録してもよい。
 また、ユーザが使い分けるキャラクターの状況として、主に時間と場所を挙げたが、本実施形態はこれに限定されない。例えばユーザが複数のソーシャルネットワークサービスを利用している際に、それぞれのサービス毎にキャラクターを使い分けている場合もある。そこで、キャラクター情報として、どのソーシャルネットワークサービスの際にはどのキャラクターであるかを判定し、登録することも可能である。
  <3-2.変更トリガ出力処理>
 続いて、ユーザのキャラクターを変更させるための変更トリガをどのように出力するかについて図8を参照して説明する。図8は、本実施形態による変更トリガ出力処理を示すフローチャートである。
 図8に示すように、まず、サーバ2のユーザ状況・行動認識部201は、ユーザ端末1の音声入力部13により入力された音声情報や、センサ14により検知された各種センサ情報に基づいて、ユーザの状況や行動をリアルタイムに認識する(ステップS123)。例えば位置情報からユーザが会社に居ることが分かる場合は仕事中と認識し、また、位置情報および加速度センサ情報から、会社から出て駅までの道を歩いていることが分かる場合は帰宅中と認識し得る。
 次に、変更トリガ出力制御部203は、キャラクター変更が必要であるか否かを判断する(ステップS126)。例えば、通常であれば「ママキャラ」となっている時間帯に(図7参照)、ユーザが会社に居て「仕事キャラ」になっている場合、Happyキャラ優先の基準に基づき、変更トリガ出力制御部203は、「ママキャラ」(少なくともいずれかのHappyキャラ)に変更することが必要であると判断する。また、変更トリガ出力制御部203は、ユーザがため息を何回もついたり(音声情報、呼吸センサ情報等により検知)、疲労している(音声情報(「疲れたなぁ」等のつぶやき)、生体センサ情報、モーションセンサ等により検知)場合に、いずれかのHappyキャラへの変更が必要であると判断してもよい。
 そして、キャラクター変更が必要であると判断した場合(ステップS126/Yes)、変更トリガ出力制御部203は、Happyキャラへ変化するためのきっかけとなる変更トリガを出力するよう制御する(ステップS129)。変更トリガは、例えば行動の変化を促す情報の提供であって、エージェントによる提案(例えば、「スイーツでも買って帰ったら」等の少なくとも「会社」から出ることを促す提案)、Happyキャラに関連する環境音(例えば子供の声など、「ママキャラ」の環境を想起させる音声)、映像(例えば子供の写真など、「ママキャラ」の環境を想起させる音声)、匂い(例えば家の匂いなど、「ママキャラ」の環境を想起させる音声)等が想定される。
 以上、本実施形態による変更トリガの出力制御について説明した。なお、上述した例では、ユーザの状況からキャラクター変更の必要性を自動的に判断しているが、本実施形態はこれに限定されず、ユーザが予め入力したスケジュールに基づいてキャラクター変更の必要性を判断してもよい。例えば仕事の予定は17時までであって、18時からはママキャラの時間と予定が立てられている場合に、ユーザが18時を過ぎても仕事場に居て仕事キャラのままである場合は、キャラクター変更が必要と判断し得る。
 これにより、ユーザは自分のキャラクターをエージェントの支援の元、適切にコントロールし、自分にとって、有益で、幸運、好感な関係を築く行動を無意識的に、または意図的に取ることができる。
 例えば、会社に勤務している20代の女性ユーザAが、ある金曜日に夜9時までの会議を終えて10時過ぎに会社を出て街を歩いている際、ユーザAが装着しているウェアラブルデバイス(ユーザ端末1)は、ユーザの足取りや溜息、生体情報、今週のスケジュール情報、Web履歴等に基づいて、ユーザAが仕事で忙しい一週間を終え、いつもチェックしているショッピングWEBサイトも見ずに重い足取りで駅までの道を歩き、ユーザAが「仕事キャラ」から「根暗キャラ」に変化していることを認識する。
 なお、ここでは一例として図4に示すサーバ2の各機能を、ユーザ端末1にダウンロードされたエージェントソフトウェア(アプリケーションプログラム)により実行されるものとする。また、ユーザAは、スケジューラにより、今週は仕事に集中したかったためビジネスタイムはキャラクター変更トリガの出力(本実施形態によるキャラクター変更サービス)はOFFに設定し(若しくは「ニュートラルキャラ」を優先設定)、金曜日の会議が終わる9時過ぎにはキャラクター変更トリガの出力を自動的にONにするよう設定することも可能である。
 上述したようにユーザAが「根暗キャラ」に変化してしまっているため、ユーザ端末1は、ユーザAが持つHappyキャラを検索する。例えば、ユーザAの「地元大好きキャラ」(自身の出身地への愛が強く、気の置けない仲間(幼馴染等)に気を許している(自分を解放できる)キャラクター)がHappyキャラに設定されている場合、ユーザ端末1は、ユーザAが地元に帰省して「地元大好きキャラ」になっていた際の履歴情報(地元の仲間と盛り上がった飲み会での音声、友達の笑い声、写真、動画、投稿履歴等)を検索し、変更トリガとしてユーザに提供する。例えばユーザ端末1がユーザAの耳部に装着されたオープンエアーイヤホンの場合、地元の仲間と盛り上がった飲み会で録音した音声や友達の笑い声を、周辺の環境音(雑踏)に混ざって微かに聞こえるよう出力制御してもよい。
 なおユーザ端末1がメガネ型端末の場合は、地元に帰省した際の写真を視界の邪魔にならない範囲でさっとスライドショーにして流したり、スマートフォンの場合は表示画面の端に、地元の飲み会での友達の発言を吹き出しでうっすら出したり、その時の投稿記事を出したりしてもよい。
 このように、ユーザAに、楽しくて元気だった時の自分を想起させて、本人自らHappyキャラに変化するよう促すことができる。
 これにより、ユーザAが「根暗キャラ」から明るい元気なキャラに変わり、例えば自主的な行動として、「明日は早く起きてやりたかった朝ヨガでもやろうかな」と考えてヨガの予約を行う。スケジュールに朝ヨガの予定が入った場合、ユーザ端末1は、キャラクター変更が成功した(効果的だった)と推定することができる。
 また、ユーザAが「根暗キャラ」から「地元大好きキャラ」に変わり、スマートフォンを取り出して地元の友達に電話したりメッセージを送ったりする。友達への連絡が行われたり、友達と会う予定がスケジュールに入った場合、ユーザ端末1は、キャラクター変更が成功した(効果的だった)と推定することができる。
  <3-3.パラメータ修正処理>
 続いて、パラメータ修正処理について図9~図11を参照して説明する。すなわち、システムにより変更トリガを出力した際に、ユーザが自主的にとった行動や、そのあとのユーザのキャラクターに変化、ユーザの感情や状況の変化等に基づいて、どのような時にどのような変更トリガを与えたらHappyキャラへの変身が成功したか、また、どのような時にHappyキャラへの変身を促すことが正しかったかといったことを学習し、デフォルトのキャラクター情報のパラメータ(変更トリガの優先度を含む)を修正することが可能である。
 (変更トリガの優先度の修正)
 図9は、本実施形態による変更トリガの優先度の修正処理を示すフローチャートである。図9に示すステップS203~S209は、図8を参照して説明したステップS123~S129の処理と同様であるため、ここでの詳細な説明は省略する。
 なお、本実施形態において、あるキャラクターへの変更トリガが複数ある場合に、予めデフォルトとしてその優先度を設定しておいてもよい。デフォルトの優先度は、ランダムでもよいし、ユーザの過去履歴の傾向から優先度を推定して並べてもよい。例えば以下のように優先度が設定された変更トリガがあって上位から出力する場合について説明する。
Figure JPOXMLDOC01-appb-T000001
 優先度の最も高い手法で変更トリガを出力した後、サーバ2の制御部20は、キャラクター変更が成功したか否かを判断する(ステップS212)。例えば、Happyキャラクターへの変更を促す変更トリガを出力した場合、制御部20は、ユーザの溜息が減ったか、足取りが軽くなったか、笑顔になったか、誰かと会ったり出掛けるスケジュールを入力したか、友達や恋人に連絡を取ったか、幸せを感じているか、といった、Happy(幸せ、元気、ポジティブ)な行動変化が起きたか否かに基づいて、キャラクター変更が成功したか否かを判断し得る。また、会社から退社するなど、完全にHappyキャラクターに変更する前でも、脱却したい状況(場所、環境)から変化が生じた場合にも成功と判断してもよい。
 次いで、キャラクター変更が成功しなかった場合(ステップS212/No)、変更トリガ出力制御部203は、次に優先度の高い変更トリガに変更し(ステップS215)、ステップS209に戻って変更トリガの出力を行う(ステップS209)。
 次に、キャラクター変更が成功した場合(ステップS212/Yes)、変更トリガの優先度を修正する(ステップS218)。すなわち、キャラクター変更が成功した変更トリガ(手法、内容)を学習する。
 例えば、「エージェントの声」ではユーザに変化がなかった場合、「音楽」での変更トリガを与え、成功した場合は下記表2のように変更トリガの優先度を変更する。
Figure JPOXMLDOC01-appb-T000002
 また、「音楽」でもユーザに変化がなかった場合、次の「映像」で変更トリガを与え、成功した場合は下記表3のように変更トリガの優先度を変更する。
Figure JPOXMLDOC01-appb-T000003
 (ユーザによるパラメータの修正)
 図10は、本実施形態によるユーザによるパラメータ修正が要求された際の動作処理を示すフローチャートである。図10に示すように、ユーザによる明示的なキャラクター修正要求があった場合(ステップS223/Yes)、サーバ2の制御部20は、ユーザの指示に従ってキャラクター判定パラメータを修正する(ステップS226)。
 例えば、平日の20時に、通常であればママキャラの時間帯であるにも関わらずユーザが社外で仕事キャラになっている場合に(例えば言葉使い、会話内容、疲労度、笑顔度等から判定され得る)、ユーザ端末1によりHappyキャラクターへの変更トリガが提示される。しかし、実際は上長と取引先の人と飲食中であるため、仕事キャラでいることが正しい場合、ユーザは、操作入力部12により今は仕事キャラでいることが正しいため、パラメータの修正要求を行う。パラメータの修正内容は、ユーザが手動で入力してもよいし、ユーザ端末1側で状況を認識して自動で行ってもよい。例えば、時間帯、場所、およびユーザの周辺にいる人を認識し(カメラ、声紋、発話内容、スケジュール情報により認識可能)、パラメータを修正する。ここで、図11に、本実施形態によるパラメータ修正の一例を示す。図11に示すように、平日の17時以降に、社外の飲食店で、上長と同行している場合は、仕事キャラであると設定される。これにより、平日の17時以降に、社外の飲食店で上長と同行している場合は、「仕事キャラ」を優先することが可能となり、本システムによるキャラクター変更サービスの精度が向上する。また、ユーザとシステム(エージェント)との信頼関係、信頼度も上がる。
 (キャラクターの補充)
 また、ユーザは有償または無償で、自分がなりたいキャラクターの補充を行うことが可能である。入手したキャラクター情報は、ユーザ情報記憶部22bに、主要キャラクターと共に蓄積される。
 例えばセレブキャラクター(Happyキャラ)を入手した場合、セレブキャラクター情報として、例えば以下のような変更トリガが補充される。
Figure JPOXMLDOC01-appb-T000004
 セレブキャラクターの発動タイミング(時間、場所等のパラメータ)は、ユーザが自ら設定してもよい(連動するスケジューラへの入力など)。また、システム側で適宜判断するようお任せ設定にしてもよい。
  <3-4.マイナーキャラクターへの変更トリガ出力処理>
 続いて、日常の行動パターンからは滅多に検知されないレアキャラクターへの変更トリガ出力処理について説明する。初期設定におけるキャラクター判定の結果、ユーザの主要キャラに加えて、マイナーキャラクター(ある特定のシチュエーション下でのみ出現するキャラクター、普段は意図的に抑えているキャラクター)も抽出され得る。このようなマイナーキャラクターは、初期設定のアンケートや過去履歴によって把握はされるが、出現頻度が3カ月に1度というような場合は、1日の行動パターンに対応するキャラクターとして学習されず、また、ユーザ自ら意図的に抑えている場合は、連動するスケジューラにも登録されない可能性が高い。
 しかし、ユーザ状況に応じて、このようなマイナーキャラクターに変化させた方がよいとシステム側で判断し、かかるキャラクターへの変更トリガを提供することも可能である。
 例えば、ユーザAのマイナーキャラの中には、普段は滅多に出さない積極的女子キャラ(特に恋愛面で積極的な行動を起こすキャラクター)がいる。例えば図12に示すように、ユーザAにキャラクター診断結果として自分が積極的女子キャラを持っていることが把握できたが、出現は滅多にしない。
 しかし、結婚から10年経った現在では、ユーザAにそのキャラクターが出現することがほとんどなくなっている。ユーザAが夫との自宅でのくつろぎのひと時、元々口数が少ない夫と、読書に没頭してしまうユーザAとの間には会話もほとんどなく、コミュニケーション不足になってしまっている。もっと夫婦間のコミュニケーションを取りたい、デートに出掛けたり二人で幸せな時間を過ごしたいと考えたユーザAは、本システムにおいて、積極的女子キャラへの変化を促す変更トリガを出力するよう設定する。
 具体的には、例えば自宅で夫と一緒に居る時に、夫婦の会話が5分以上無いときに発動するようにしてもよいし、笑い声や笑顔が一定の時間検出されない状況で発動するようにしてもよい。以下、図13を参照して具体的に説明する。
 図13は、マイナーキャラクターへの変更トリガ出力処理を示すフローチャートである。図13に示すように、まず、ユーザは、マイナーキャラクターの発動条件(パラメータ)の設定を行う(ステップS303)。ユーザにより入力された発動条件は、マイナーキャラクターのパラメータとしてサーバ2のユーザ情報記憶部22bに保存される。
 次に、サーバ2の変更トリガ出力制御部203は、ユーザ端末1により取得された音声情報やセンサ情報に基づいて、マイナーキャラクターへの変更タイミングを判断し(ステップS309)、条件を満たしたタイミングで変更トリガを出力する(ステップS309)。マイナーキャラクターへの変更トリガは、例えば下記表5に示すような例が考えられるが、適宜変更可能である。
Figure JPOXMLDOC01-appb-T000005
 次いで、キャラクター変更が失敗した場合(ステップS312/No)、次に優先度の高い変更トリガに変更する(ステップS318)。
 次に、キャラクター変更が成功した場合(ステップS312/Yes)、成功した内容で変更トリガの優先度を修正する(ステップS315)。
  <3-5.複数エージェント間での変更トリガ出力処理>
 続いて、複数エージェント間での変更トリガ出力処理について図14~図17を参照して説明する。
 相互の承認を経て形成された所定グループメンバー間(例えば恋人同士、特定の友達グループ、家族など)で、各ユーザのキャラクター情報をエージェント間で共有し、エージェントが最適なタイミングで相手のエージェントにキャラクター変更を依頼することが可能である。
 図14は、複数エージェント間での変更トリガ出力処理の概要を説明する図である。図14に示すように、例えばユーザAの溜息や呟き(「電話欲しいな」「連絡無いなぁ」など)により、「寂しがりキャラ」になっていることをエージェントVaが判定する。ユーザAをHappyキャラに変更するトリガとして、恋人からの連絡であると判断した場合(変更トリガ情報)、エージェントVaは、恋人であるユーザBのエージェントVbに、ユーザAが寂しがっているため、ユーザBをユーザAに連絡するようなキャラクターへの変更を依頼する(具体的にユーザBのキャラクター情報に基づいて特定のキャラクターへの変更を依頼してもよい)。恋人ステータスは、初期設定や、スケジュール情報、ソーシャルネットワークサービスへの投稿内容等から判断され得る。ここでは恋人としたが、本実施形態はこれに限定されず、ユーザAが一緒にいるとHappyな状態になる人をユーザの行動履歴等から抽出してもよい。また、共有される各ユーザのキャラクター情報の一例を図15および図16に示す。
 図15に示すように、例えばユーザBのキャラクター情報として、仕事キャラ、ワイワイキャラ、アクティブキャラ、ニュートラルキャラ、デートキャラがある場合、ユーザAへの連絡を取ると推定されるキャラクターは、デートキャラとなる。また、図16に示すように、ユーザAのキャラクターとしては、仕事キャラ、アクティブキャラ、ゆったりキャラ、ニュートラルキャラ、寂しがりキャラがいる。
 次いで、エージェントVbは、暇そうにしているユーザBに、ユーザAとのデート写真を見せたり、ユーザAとのデートの時の音声を流したりしてユーザAを思い出させ、デートキャラへの変更を促す。
 キャラクターの変更が成功すると、ユーザBは、ユーザAに連絡を取ることが期待される。ユーザA側としては、連絡がなくて寂しいなと思っている時に相手から連絡が来るため、まるでテレパシーのようだと嬉しく思い、Happyな気持ちになる。
 以上概要を説明したが、ここでエージェントVa、エージェントVbとは、仮想的なものであって、各エージェントの動作は、サーバ2および各ユーザ端末1において行われ得る。また、図4に示すサーバ2の機能を実現するアプリケーションが、ユーザ端末1にダウンロードされている場合、ユーザ端末1単体で変更トリガ出力処理を実現することが可能である。
 続いて、図17を参照して複数エージェント間での変更トリガ出力処理について説明する。図17は、本実施形態による複数エージェント間での変更トリガ出力処理を示すシーケンス図である。
 図17に示すように、まず、ユーザAのユーザ端末1aは、ユーザの呟きを認識し(ステップS403)、寂しがりキャラになっている場合(ステップS406/Yes)、ユーザ端末1aは、ユーザBのユーザ端末1bに対し、ユーザAをHappyなキャラクターに変更させるための変更トリガをユーザBからユーザAに与えるよう、キャラクター変更の要求を行う(ステップS409)。
 次に、ユーザBのユーザ端末1bは、ユーザBを、ユーザAに連絡を取る(ユーザAをHappyなキャラクターに変更させるための変更トリガを与える)デートキャラに変更するよう、変更トリガを出力する(ステップS412)。
  <3-6.広告>
 また、本実施形態では、ユーザのキャラクターに応じた広告を提示することも可能である。キャラクターによって金銭感覚や購入する物、使いたいサービスが異なる場合もあるため、キャラクターに合わせて最適な広告をユーザに提示することが可能である。
 図18は、本実施形態によるキャラクターに応じて広告提示の一例を説明する図である。図18に示すように、例えば仕事キャラの場合には、英会話スクールの広告、ママキャラの場合には、子供服の広告、ゆったりキャラの場合はグルメ情報や飲食店の広告を提示し得る。また、ニュートラルキャラの場合は、全てのキャラクターに対応する広告や、ユーザ属性に応じた広告(趣味嗜好、性別、年代等に応じて、ファッション、ビューティ、スイーツ関連の広告など)、また、その時に流行っている商品やイベントの広告をランダムに提示してもよい。
 また、各キャラクターが出現している際のユーザの各種履歴(時間、場所、同行者、購入履歴等)に基づいて、各キャラクター出現時におけるユーザの嗜好や傾向を分析し、キャラクターにマッチした広告を提供することも可能である。広告は、ユーザ端末1により、画像、音声、その他の方法で提供される。
 また、広告提供のタイミングは、現在のキャラクターに合ったものでもよいし、次に出現することが予想されるキャラクターに合ったものでもよい。
 また、ママキャラなど家計を管理しているキャラクターが出現している時に、他のキャラクター向けの広告も含めて提示してもよいし、乗り物移動が一番多いニュートラルキャラクターの時に集中的に広告を提供してもよい。
  <3-7.潜在的ななりたいキャラクターへの誘導>
 本実施形態は、過去の呟きやソーシャルネットワークサービスへの投稿内容等に基づいて、ユーザの潜在的ななりたいキャラクターを判断し、かかるキャラクターに変化するきっかけを与えることも可能である。
 図19は、潜在的ななりたいキャラクターへ誘導する場合について説明する図である。例えば、ユーザが「サーフィンをやってみたいな」と半年前に呟いたが具体的な行動を起こさず、本人も忘れてしまっているような場合を想定する。
 このような場合に、図19上段に示すように、あるときユーザがサーフィンショップの近くを歩いていることを検知すると、図19中段に示すように、エージェントVが、「サーフィンやってみたいってこの前言ってたね!」と発言し、図19下段に示すように、ユーザのサーフィンへの興味を引き出させることが可能となる。変更トリガは、エージェントの音声に限定されず、ユーザの過去の呟きを再生、表示したり、サーフィンの映像を見せたりする方法であってもよい。
 このように、ユーザ自身も忘れていた潜在的ななりたい自分への変更トリガも、本システムにより与えることが可能となる。
 <<5.まとめ>>
 上述したように、本開示の実施形態による情報処理システムでは、より好ましいユーザのキャラクターを引き出すよう適切な情報を提示することが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上述したユーザ端末1、またはサーバ2に内蔵されるCPU、ROM、およびRAM等のハードウェアに、ユーザ端末1、またはサーバ2の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、本技術は以下のような構成も取ることができる。
(1)
 ユーザのキャラクターを判定し;
 所定のキャラクターへ変更するタイミングであるか否かを判断し;
 前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部を備える、情報処理装置。
(2)
 前記制御部は、前記ユーザが持つ1以上のキャラクターの情報を参照し、現在の時間、場所、または環境に応じて、前記ユーザのキャラクターを判定する、前記(1)に記載の情報処理装置。
(3)
 前記制御部は、前記ユーザが持つ1以上のキャラクターの情報を参照し、音声情報、行動認識、または生体情報の少なくともいずれかに基づいて、前記ユーザのキャラクターを判定する、前記(1)または(2)に記載の情報処理装置。
(4)
 前記制御部は、時間、場所、環境、音声情報、行動認識、または生体情報の少なくいずれかに基づいて、所定のキャラクターへ変更するタイミングであるか否かを判断する、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
 前記ユーザが持つ1以上のキャラクターには、幸せなキャラクターであるか否かの設定が行われ、
 前記制御部は、ユーザを幸せなキャラクターに変化させるためのトリガを出力するよう制御する、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
 前記制御部は、
 前記ユーザが持つ1以上のキャラクターの出現時間、場所、または環境を含むキャラクター情報に基づいて、キャラクターの判定および変更タイミングの判断を行う、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(7)
 前記制御部は、
 前記所定のキャラクターへ変更させるトリガを出力した後の前記ユーザのフィードバックに基づいて、前記ユーザが持つ1以上のキャラクターの出現時間、場所、または環境を含むキャラクター情報を修正する、前記(1)~(6)のいずれか1項に記載の情報処理装置。
(8)
 前記制御部は、
 前記ユーザの属性情報、アンケート回答情報、行動履歴、スケジュール履歴、音声履歴、または投稿履歴に基づいて、前記ユーザが持つ1以上のキャラクターを判定する、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
 前記制御部は、
 前記所定のキャラクターへ変更させるトリガを出力した後、前記ユーザの行動に変化がない場合、次に優先度の高いトリガを出力するよう制御する、前記(1)~(8)のいずれか1項に記載の情報処理装置。
(10)
 前記制御部は、
 前記所定のキャラクターへの変更を促すトリガとして、前記ユーザに影響を与えると推定される所定の他ユーザのキャラクターを変更するよう制御する、前記(1)~(9)のいずれか1項に記載の情報処理装置。
(11)
 前記制御部は、
 前記ユーザのキャラクターに応じた広告情報を提示するよう制御する、前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)
 プロセッサが、
 ユーザのキャラクターを判定し;
 所定のキャラクターへ変更するタイミングであるか否かを判断し;
 前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御することを含む、情報処理方法。
(13)
 コンピュータを、
 ユーザのキャラクターを判定し;
 所定のキャラクターへ変更するタイミングであるか否かを判断し;
 前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部として機能させるための、プログラム。
 1 ユーザ端末
 2 サーバ
 3 ネットワーク
 4 基地局
 10 制御部
 11 通信部
 12 操作入力部
 13 音声入力部
 14 センサ
 15 表示部
 16 音声出力部
 17 記憶部
 20 制御部
 21 通信部
 22a キャラクター情報記憶部
 22b ユーザ情報記憶部
 201 ユーザ状況・行動認識部
 202 キャラクター判定部
 203 変更トリガ出力制御部
 204 ユーザ情報管理部

Claims (13)

  1.  ユーザのキャラクターを判定し;
     所定のキャラクターへ変更するタイミングであるか否かを判断し;
     前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部を備える、情報処理装置。
  2.  前記制御部は、前記ユーザが持つ1以上のキャラクターの情報を参照し、現在の時間、場所、または環境に応じて、前記ユーザのキャラクターを判定する、請求項1に記載の情報処理装置。
  3.  前記制御部は、前記ユーザが持つ1以上のキャラクターの情報を参照し、音声情報、行動認識、または生体情報の少なくともいずれかに基づいて、前記ユーザのキャラクターを判定する、請求項1に記載の情報処理装置。
  4.  前記制御部は、時間、場所、環境、音声情報、行動認識、または生体情報の少なくいずれかに基づいて、所定のキャラクターへ変更するタイミングであるか否かを判断する、請求項1に記載の情報処理装置。
  5.  前記ユーザが持つ1以上のキャラクターには、幸せなキャラクターであるか否かの設定が行われ、
     前記制御部は、ユーザを幸せなキャラクターに変化させるためのトリガを出力するよう制御する、請求項1に記載の情報処理装置。
  6.  前記制御部は、
     前記ユーザが持つ1以上のキャラクターの出現時間、場所、または環境を含むキャラクター情報に基づいて、キャラクターの判定および変更タイミングの判断を行う、請求項1に記載の情報処理装置。
  7.  前記制御部は、
     前記所定のキャラクターへ変更させるトリガを出力した後の前記ユーザのフィードバックに基づいて、前記ユーザが持つ1以上のキャラクターの出現時間、場所、または環境を含むキャラクター情報を修正する、請求項1に記載の情報処理装置。
  8.  前記制御部は、
     前記ユーザの属性情報、アンケート回答情報、行動履歴、スケジュール履歴、音声履歴、または投稿履歴に基づいて、前記ユーザが持つ1以上のキャラクターを判定する、請求項1に記載の情報処理装置。
  9.  前記制御部は、
     前記所定のキャラクターへ変更させるトリガを出力した後、前記ユーザの行動に変化がない場合、次に優先度の高いトリガを出力するよう制御する、請求項1に記載の情報処理装置。
  10.  前記制御部は、
     前記所定のキャラクターへの変更を促すトリガとして、前記ユーザに影響を与えると推定される所定の他ユーザのキャラクターを変更するよう制御する、請求項1に記載の情報処理装置。
  11.  前記制御部は、
     前記ユーザのキャラクターに応じた広告情報を提示するよう制御する、請求項1~10のいずれか1項に記載の情報処理装置。
  12.  プロセッサが、
     ユーザのキャラクターを判定し;
     所定のキャラクターへ変更するタイミングであるか否かを判断し;
     前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御することを含む、情報処理方法。
  13.  コンピュータを、
     ユーザのキャラクターを判定し;
     所定のキャラクターへ変更するタイミングであるか否かを判断し;
     前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部として機能させるための、プログラム。
PCT/JP2018/002215 2017-03-31 2018-01-25 情報処理装置、情報処理方法、およびプログラム WO2018179745A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880008305.3A CN110214301B (zh) 2017-03-31 2018-01-25 信息处理设备、信息处理方法和程序
EP18774244.0A EP3605439A1 (en) 2017-03-31 2018-01-25 Information processing device, information processing method, and program
JP2019508624A JP7078035B2 (ja) 2017-03-31 2018-01-25 情報処理装置、情報処理方法、およびプログラム
US16/480,558 US20200016743A1 (en) 2017-03-31 2018-01-25 Information Processing Apparatus, Information Processing Method, And Program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017071508 2017-03-31
JP2017-071508 2017-03-31

Publications (1)

Publication Number Publication Date
WO2018179745A1 true WO2018179745A1 (ja) 2018-10-04

Family

ID=63674628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002215 WO2018179745A1 (ja) 2017-03-31 2018-01-25 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20200016743A1 (ja)
EP (1) EP3605439A1 (ja)
JP (1) JP7078035B2 (ja)
CN (1) CN110214301B (ja)
WO (1) WO2018179745A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7113570B1 (ja) 2022-01-28 2022-08-05 株式会社PocketRD 3次元画像管理装置、3次元画像管理方法及び3次元画像管理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6979115B2 (ja) * 2017-07-14 2021-12-08 達闥机器人有限公司 ロボットの性格設定方法、装置及びロボット

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010544A (ja) * 2001-06-28 2003-01-14 Hitachi Kokusai Electric Inc ゲーム機能を有する携帯端末
JP2005149481A (ja) * 2003-10-21 2005-06-09 Zenrin Datacom Co Ltd 音声認識を用いた情報入力を伴う情報処理装置
US20050216529A1 (en) * 2004-01-30 2005-09-29 Ashish Ashtekar Method and apparatus for providing real-time notification for avatars
JP2010204070A (ja) 2009-03-06 2010-09-16 Toyota Motor Corp 情報端末装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002210238A (ja) * 2001-01-24 2002-07-30 Sony Computer Entertainment Inc 記録媒体、プログラム、プログラム実行システム及びプログラム実行装置
KR20020003105A (ko) * 2001-07-21 2002-01-10 김길호 다중사용자를 지원하는 노래반주방법
JP2006065683A (ja) * 2004-08-27 2006-03-09 Kyocera Communication Systems Co Ltd アバタ通信システム
US7979798B2 (en) * 2005-12-30 2011-07-12 Sap Ag System and method for providing user help tips
US20080153432A1 (en) * 2006-12-20 2008-06-26 Motorola, Inc. Method and system for conversation break-in based on user context
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
KR101189053B1 (ko) * 2009-09-05 2012-10-10 에스케이플래닛 주식회사 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
CN107050852A (zh) * 2011-02-11 2017-08-18 漳州市爵晟电子科技有限公司 一种游戏系统及其穿套式定点控制设备
JP5966596B2 (ja) * 2012-05-16 2016-08-10 株式会社リコー 情報処理装置、投影システム及び情報処理プログラム
JP6021282B2 (ja) * 2012-05-29 2016-11-09 株式会社カプコン コンピュータ装置、ゲームプログラム、及びコンピュータ装置の制御方法
US10311482B2 (en) * 2013-11-11 2019-06-04 At&T Intellectual Property I, Lp Method and apparatus for adjusting a digital assistant persona
US10289076B2 (en) * 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
CN106956271B (zh) * 2017-02-27 2019-11-05 华为技术有限公司 预测情感状态的方法和机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010544A (ja) * 2001-06-28 2003-01-14 Hitachi Kokusai Electric Inc ゲーム機能を有する携帯端末
JP2005149481A (ja) * 2003-10-21 2005-06-09 Zenrin Datacom Co Ltd 音声認識を用いた情報入力を伴う情報処理装置
US20050216529A1 (en) * 2004-01-30 2005-09-29 Ashish Ashtekar Method and apparatus for providing real-time notification for avatars
JP2010204070A (ja) 2009-03-06 2010-09-16 Toyota Motor Corp 情報端末装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3605439A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7113570B1 (ja) 2022-01-28 2022-08-05 株式会社PocketRD 3次元画像管理装置、3次元画像管理方法及び3次元画像管理プログラム
JP2023110436A (ja) * 2022-01-28 2023-08-09 株式会社PocketRD 3次元画像管理装置、3次元画像管理方法及び3次元画像管理プログラム

Also Published As

Publication number Publication date
JPWO2018179745A1 (ja) 2020-02-06
US20200016743A1 (en) 2020-01-16
CN110214301B (zh) 2022-03-11
CN110214301A (zh) 2019-09-06
EP3605439A4 (en) 2020-02-05
EP3605439A1 (en) 2020-02-05
JP7078035B2 (ja) 2022-05-31

Similar Documents

Publication Publication Date Title
US11327556B2 (en) Information processing system, client terminal, information processing method, and recording medium
US20220278864A1 (en) Information processing system, information processing device, information processing method, and recording medium
US20150162000A1 (en) Context aware, proactive digital assistant
US9501745B2 (en) Method, system and device for inferring a mobile user's current context and proactively providing assistance
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
JP7424285B2 (ja) 情報処理システム、情報処理方法、および記録媒体
CN110996796B (zh) 信息处理设备、方法和程序
CN111226194A (zh) 提供交互界面的方法和系统
JP6692239B2 (ja) 情報処理装置、情報処理システム、端末装置、情報処理方法及び情報処理プログラム
JP2007026429A (ja) 誘導装置
WO2017168907A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20210272585A1 (en) Server for providing response message on basis of user's voice input and operating method thereof
WO2018179745A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220038406A1 (en) Communication system and communication control method
JP2016177443A (ja) 情報処理装置及び方法
JP7136099B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020209230A1 (ja) 情報処理システム、情報処理方法、及びプログラム
US11270682B2 (en) Information processing device and information processing method for presentation of word-of-mouth information
JPWO2018190099A1 (ja) 音声提供装置、音声提供方法及びプログラム
WO2022019119A1 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP2022190870A (ja) バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラム
JP2020166593A (ja) ユーザ支援装置、ユーザ支援方法及びユーザ支援プログラム
JP2019061302A (ja) 情報制御装置、情報制御システム、情報制御方法及び情報制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18774244

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508624

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018774244

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018774244

Country of ref document: EP

Effective date: 20191031