WO2024029135A1 - 表示プログラム、表示方法及び表示システム - Google Patents
表示プログラム、表示方法及び表示システム Download PDFInfo
- Publication number
- WO2024029135A1 WO2024029135A1 PCT/JP2023/014534 JP2023014534W WO2024029135A1 WO 2024029135 A1 WO2024029135 A1 WO 2024029135A1 JP 2023014534 W JP2023014534 W JP 2023014534W WO 2024029135 A1 WO2024029135 A1 WO 2024029135A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- character
- display
- displayed
- screen
- window
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 39
- 230000000694 effects Effects 0.000 claims abstract description 140
- 210000005069 ears Anatomy 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims description 50
- 230000004044 response Effects 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 28
- 230000001276 controlling effect Effects 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 abstract description 96
- 238000013473 artificial intelligence Methods 0.000 description 80
- 239000000463 material Substances 0.000 description 77
- 238000010586 diagram Methods 0.000 description 69
- 230000006870 function Effects 0.000 description 48
- 238000004891 communication Methods 0.000 description 44
- 210000003811 finger Anatomy 0.000 description 39
- 238000009223 counseling Methods 0.000 description 26
- 230000007704 transition Effects 0.000 description 18
- 238000013461 design Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 230000001976 improved effect Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000008451 emotion Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000004020 conductor Substances 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000012447 hatching Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000014616 translation Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 210000000695 crystalline len Anatomy 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000010813 municipal solid waste Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 241000238558 Eucarida Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000012769 display material Substances 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Definitions
- One aspect of the present disclosure relates to a display program, a display method, and a display system.
- This application claims priority based on Japanese Application No. 2022-124758 filed on August 4, 2022, and incorporates all the contents described in the said Japanese application.
- Patent Document 1 JP 2015-38725A discloses a speech animation generation device that generates a face image.
- This speech animation generation device uses a pre-prepared acoustic model, a language model, and a correspondence table between multiple phonemes and multiple visual elements to gradually perform speech recognition on the audio signal. Generate a visual element sequence.
- the speech animation generation device further smoothes the generated visual element sequence to generate mixture weights for each of the plurality of visual elements, and generates a plurality of face models corresponding to each of the plurality of visual elements according to the mixture weight for each of the plurality of visual elements.
- a facial image is generated by mixing the two.
- a display program is a display program that controls display of an activity in a virtual space using a character that can be operated by a user. Executing on a computer the steps of displaying a screen, and transitioning the display to a second screen that is different from the first screen and includes a character corresponding to the character on the first screen in response to an operation related to the character's movement.
- the character on the first screen and the character on the second screen differ in at least one of form, state, and function, and at least one of the character on the first screen and the character on the second screen responds to the user's operation.
- An animation that mimics that works.
- FIG. 1 is a diagram illustrating an example of a schematic configuration of a display system according to an embodiment.
- FIG. 2 is a diagram showing an example of functional blocks of a terminal and a server.
- FIG. 3 is a perspective view of the operating device.
- FIG. 4 is a diagram showing an example of functional blocks of the operating device shown in FIG. 4.
- FIG. 5 is a diagram showing an example of the operation of the ear animation.
- FIG. 6 is a diagram showing an example of an activity selection screen.
- FIG. 7 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 8 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 9 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 1 is a diagram illustrating an example of a schematic configuration of a display system according to an embodiment.
- FIG. 2 is a diagram showing an example of functional blocks of a terminal and a server.
- FIG. 3 is a
- FIG. 10 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 11 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 12 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 13 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 14 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 15 is a diagram showing an example of an ear animation operation and an example of a band graph.
- FIG. 16 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 17 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 18 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 19 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 20 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 21 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 22 is a diagram for explaining setting of character arrangement.
- FIG. 23 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 24 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 25 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 26 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 27 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 28 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 29 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 30 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 31 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 32 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 33 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 34 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 35 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 36 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 37 is a diagram showing an example of deformation of a character's body.
- FIG. 38 is a diagram illustrating an example of a form in which a display section is displayed on a character.
- FIG. 39 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 40 is a diagram showing an example of deformation of a character's body.
- FIG. 41 is a diagram showing an example of deformation of a character's body.
- FIG. 42 is a diagram showing an example of deformation of a character's body.
- FIG. 43 is a diagram illustrating an example of a form in which a display section is displayed on a character.
- FIG. 44 is a diagram showing an example of character deformation.
- FIG. 45 is a diagram showing an example of deformation of a character's body.
- FIG. 45 is a diagram showing an example of deformation of a character's body.
- FIG. 46 is a diagram illustrating an example of deformation of a character's body.
- FIG. 47 is a diagram showing an example of deformation of a character's body.
- FIG. 48 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 49 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 50 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 51 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 52 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 53 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 54 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 55 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 56 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 57 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 58 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 59 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 60 is a diagram showing an example of a screen displayed in the virtual space.
- FIG. 61 is a diagram showing a display form of a character and a display section.
- FIG. 62 is a diagram showing a recording time chart.
- An object of the present disclosure is to provide a display program, a display method, and a display system that can improve convenience for a user using a character when the character performs an activity in a virtual space.
- a display program is a display program that controls the display of an activity in a virtual space using a character that can be operated by a user, and includes the character and content based on the content of the activity. a step of displaying a first screen; and a step of transitioning the display to a second screen that is different from the first screen and includes a character corresponding to the character on the first screen in response to an operation related to the movement of the character.
- the character on the first screen and the character on the second screen differ in at least one of form, state, and function, and at least one of the character on the first screen and the character on the second screen responds to the user's operation.
- An animation imitating an ear moves.
- the display program when an operation related to a character's movement is performed on a first screen that includes a character and content based on the content of an activity, the character on the first screen is The display transitions to a second screen including the character corresponding to . Therefore, the display program can perform screen transitions according to the movement of the character operated by the user's intended operation. That is, in the display program, the screen changes according to the user's intended operation. Therefore, in the display program, when the character performs an activity in the virtual space, it is possible to improve the convenience for the user who uses the character.
- a plurality of display areas are displayed in the virtual space, a character is displayed in at least a part of the plurality of display areas, and a character is displayed in at least a portion of the plurality of display areas in which the character is displayed.
- Each is divided according to the attribute of the character, and the form of the character may be changed for each display area.
- a plurality of display areas are displayed in the virtual space, a character is displayed in at least a part of the plurality of display areas, and a plurality of display areas in which the character is displayed are displayed.
- the display area may include a display area where the output of the character's voice in the virtual space is restricted, and a display area where the character's voice in the space can be output.
- the characters displayed in the display area may be displayed in a distinguishable manner based on user attributes. With this configuration, the attributes of the users participating in the activity can be confirmed (understood) at a glance.
- the voice of the character displayed in one display area and the voice of the character displayed in the other display area may be made inaudible from each other. With this configuration, the characters can have a conversation in each display area.
- the second The character display may be changed between one display area and another display area on the screen.
- the display of the character is changed by dragging and dropping the character, which is an operation that involves moving the character. Therefore, it can be expected that the character's sense of movement time and movement will have the effect of making it easier to feel involved and empathize with new scene changes, etc.
- any one of the display programs (1) to (6) above if a predetermined operation is received from the user, the front or back orientation of multiple characters may be changed and displayed at once. good. With this configuration, the front or back orientations of the plurality of characters can be easily changed.
- the display section is displayed on a part of the character on the second screen by at least one of a predetermined operation and voice input by the user on the first screen. You may let them.
- the character can be displayed on the display section. Therefore, on the character display section, it is possible to display materials used for the character's presentation, translations of the character's conversation, and the like.
- the display section displays at least one of a conversation text obtained by converting the character's voice into text, a translated text of the conversation text, and a translated text of the content displayed on the display section. Good too. This configuration allows communication between different languages.
- the display section displays necessary drawings, texts, music, videos, still images and At least one of the sites may be displayed. With this configuration, the explanation by the characters becomes easier to understand.
- a display unit that displays content may be displayed in the virtual space. With this configuration, the content is displayed on the display section, making it easier to recognize the content.
- the input content input by the user may be displayed on the display unit.
- opinions regarding the content can be displayed on the display.
- a predetermined function may be executed on the display section.
- dragging and dropping the character which involves the movement of the character, it is easy to feel the movement time of the character, feel the feeling of participating in the movement, and empathize with the change of a new scene, etc. You can expect a positive effect.
- any one of the display programs (11) to (15) above it is possible to change the size of a character, and the size of one character among multiple characters displayed in the virtual space is changed. If so, the size of other characters may be changed in the same way. With this configuration, the sizes of all the characters are changed in the same way, so it is possible to realize activities with a sense of unity in the virtual space.
- the display program in (1) above displays, in the virtual space, a content display section that displays content, a text display section that displays conversation text obtained by converting characters' voices into text, and at least two characters. You can.
- a content display section that displays content
- a text display section that displays conversation text obtained by converting characters' voices into text
- the conversation text when an operation from the user on the conversation text displayed on the text display section is received, the conversation text may be displayed on the content display section.
- the conversation text is displayed on the content display section.
- one or more characters may be placed and one or more moving objects movably provided in the virtual space may be displayed.
- the character can be moved on a moving body in the virtual space.
- activities such as sightseeing and visiting museums can be carried out while riding on the mobile object.
- the animation of the character may be output as an editable video in the activity in the virtual space.
- the animation can be edited after the activity is created as a video.
- an image or video of the user's face may be displayed on part of the character.
- the face can be displayed temporarily, for example.
- one or more characters are displayed in the virtual space, and at least one of the one or more characters is operated by AI. may be done. This configuration can also be applied when the AI is the user.
- the character operated by the AI has an animation imitating ears operated by the operation of the AI, a display section corresponding to the character operated by the AI, and a display section corresponding to the character operated by the AI.
- the AI operates the ear animation according to the state and situation of the AI and the state and situation of the communication partner. In this way, by displaying ear animation, which is non-verbal information, it is possible to realize communication that is more emotionally rich than communication using only text. Furthermore, since information related to the text of the AI is displayed on the display section, it becomes easier to understand the explanation by the character (AI).
- the character may output a voice corresponding to the text generated by the AI.
- the state of the AI, etc. can be recognized by voice.
- the character is rotated in accordance with the position of a predetermined object so as to make the user imagine that the character is gazing at the predetermined object. You can.
- the character rotates in response to screen transitions and changes in at least one of the character's form, state, and function, so as to make it seem like the character is gazing at a predetermined target. In order to do so, it is made to imagine that one is interested in a given object.
- the character's rotational motion has the same nonverbal communication effect as gaze and posture changes, and expresses active interest in the dialogue. Therefore, it is possible to realize rich communication such as improved responsiveness to dialogue and improved sense of presence.
- a display method is a display method that controls the display of an activity in a virtual space using a character that can be operated by a user, and includes the character and content based on the content of the activity.
- the character on the first screen and the character on the second screen differ in at least one of form, state, and function, and at least one of the character on the first screen and the character on the second screen listens to the ears in response to the user's operation.
- the simulated animation works.
- the character on the first screen is The display transitions to a second screen including the character corresponding to . Therefore, in the display method, it is possible to perform screen transitions according to the movement of the character operated by the user's intended operation. That is, in the display method, the screen changes according to the user's intended operation. Therefore, in the display method, when the character performs an activity in the virtual space, it is possible to improve the convenience for the user who uses the character.
- a display system is a display system that controls the display of an activity in a virtual space using a character that can be operated by a user, and includes the character and content based on the content of the activity.
- the first screen is displayed, and depending on the operation related to the character's movement, the display transitions to a second screen that is different from the first screen and includes a character that corresponds to the character on the first screen.
- the character on the second screen differs in at least one of form, state, and function, and at least one of the character on the first screen and the character on the second screen moves an animation imitating ears in response to a user's operation.
- the character on the first screen is The display transitions to a second screen including the character corresponding to . Therefore, in the display system, screen transitions can be performed in accordance with the movement of the character operated by the user's intended operation. That is, in the display system, the screen changes according to the operation intended by the user. Therefore, in the display system, when the character performs an activity in the virtual space, convenience for the user using the character can be improved.
- FIG. 1 is a diagram showing an example of a schematic configuration of a display system (hereinafter sometimes simply referred to as "system").
- the system 100 is a character C (see pattern A in FIG. 5) that can be operated by users U1, U2, and U3, and has an ear animation E (see pattern A in FIG. 5) in response to the operations of users U1, U2, and U3.
- This is a computer system that supports activities in a virtual space R (see FIG. 7) using a moving character C.
- Character C represents users U1, U2, and U3.
- Character C is a dynamic character.
- the character C is generated from an image material independent of the actual images (imaging data, etc.) of the users U1, U2, and U3.
- the image material is a material for generating an animation character.
- the character C may be drawn by two-dimensional or three-dimensional computer graphics (CG).
- the character C is configured to include a body B (see pattern A in FIG. 5) and an ear animation E.
- body B and ear animation E are displayed integrally.
- Being displayed integrally means that when character C is viewed, body B and ear animation E are visually recognized as one unit. That is, being displayed integrally may be any state in which it can be recognized at a glance that the body B and the ear animation E are connected (corresponding). Therefore, being displayed integrally may be a state in which the body B and the ear animation E are in contact with each other, or a state in which the body B and the ear animation E are separated from each other.
- Body B may include at least one of an image representing the user and text representing the user. A shadow may be displayed for the character C.
- Body B has a spherical shape and may include text ("A", "B", "C") that can identify the user.
- the character C may include a speech animation (not shown), or may include an animation simulating arms, legs, etc.
- the ear animation E is an animation that expresses nonverbal information.
- the ear animation E is an animation that shows the state (motion) and emotion of the user.
- the ear animation E is an animation that expresses the user's state in a form different from the user's actual moving parts.
- the ear animation E may not include dynamically changing facial expressions, or may include dynamically changing facial expressions.
- the ear animation E is displayed outside the display area of the body B so as to protrude from the display area.
- the ear animation E is an animation that imitates the ears of an animal (for example, a rabbit, etc.), and operates according to changes in the user's state.
- the ear animation E operates according to the user's motion.
- the ear animation E performs movements such as stretching, bending, and rocking, for example.
- the ear animation E is deformable and visually deforms in a manner that evokes the states of the users U1, U2, and U3 in response to the states of the users U1, U2, and U3.
- the states, emotions, reactions, etc. of the users U1, U2, and U3 can be confirmed by the ear animation E of the character C.
- System 100 includes terminal 10, terminal 20, and terminal 30.
- the terminal 10 is a laptop personal computer (PC) used by a user U1.
- the terminal 20 is a mobile phone (such as a smartphone) used by the user U2.
- Terminal 30 is a desktop PC used by user U3.
- Terminal 10, terminal 20, and terminal 30 can be connected to network N.
- the terminal 10 is connected to the network N via the access point AP, the terminal 20 is connected to the base station BS, and the terminal 30 is connected to the network N by wire (not shown).
- the terminal 10 As the terminal 10, the terminal 20, and the terminal 30, in addition to the above-mentioned PC and mobile phone, a tablet terminal, a wearable terminal, a head-mounted display (HMD) terminal, and various other terminals may be used. Note that the number of terminals included in the system 100 is not limited to the example in FIG. 1.
- the system 100 includes a server 40.
- Server 40 is connected to network N. Therefore, the terminal 10, the terminal 20, the terminal 30, and the server 40 can communicate with each other via the network N. Note that the number of servers included in the system 100 is not limited to the example in FIG. 1.
- the configuration of network N is not limited.
- the network N may include the Internet (public network), a communication carrier network, a business operator network, and the like.
- FIG. 2 is a diagram showing an example of functional blocks of the terminal 10, the terminal 20, the terminal 30, and the server 40. Since the functional blocks of the terminal 20 and the terminal 30 are similar to the functional blocks of the terminal 10, the terminal 10 and the server 40 will be explained below. First, the terminal 10 will be explained, and then the server 40 will be explained.
- Terminal 10 includes an input section 11 .
- the input unit 11 is a part into which the user U1's audio data and image data are input.
- Video data of the user U1 may be input to the input unit 11.
- the video includes user U1's audio data and image data.
- the terminal 10 includes a control unit 12.
- the control unit 12 is a part that generates control data for the user U1.
- the control data for the user U1 is generated based on the motion data output from the operating device 50.
- the ear animation E of the character C is made to perform six actions: “nod,” “agree,” “praise (clap),” “question,” “raise hand,” and “surprise.” can generate data.
- the control unit 12 may generate control data regarding other operations (for example, operations indicating "YES” or "NO").
- the control data is associated with the operation data.
- motion data is associated with each control data of "nod,” “agree,” “praise (applause),” “question,” “raise hand,” and “surprise.”
- the operation data is data transmitted from the operating device 50.
- the control unit 12 generates control data when the operation data corresponds to control data.
- the control data may be generated based on the user U1's audio data and image data input to the input unit 11.
- Image data is composed of a plurality of consecutive unit frames.
- the unit frame typically includes image information of the user U1. For example, 60 frames/second image data includes 60 unit frames per second. Details of the generation of control data by the control unit 12 will be described later.
- the control unit 12 is also a part that controls the movement of the character C based on control data.
- the control unit 12 displays the character C in the virtual space R and controls the motion of the ear animation E of the character C based on the generated control data and the received control data.
- the control unit 12 generates video data of the virtual space R.
- the video data of the virtual space R includes video data of the character C controlled based on the control data.
- various objects appearing in the virtual space R may be included in the video data of the virtual space R.
- the method of generating the virtual space R by the control unit 12 is not particularly limited, and various known methods can be used.
- the control unit 12 may generate video data of the virtual space R, for example, based on images captured by a camera. Alternatively, the control unit 12 may generate video data of the virtual space R based on three-dimensional CAD data.
- the terminal 10 includes a storage unit 13.
- the storage unit 13 is a part that stores information necessary for controlling (processing) the terminal 10.
- a terminal program 13P is illustrated as information stored in the storage unit 13.
- the terminal program 13P is a program for operating the terminal 10, and operates the computer so that control etc. by the control unit 12 are executed. Since the system 100 is a display system, the terminal program 13P can also be said to be a display program.
- the terminal 10 includes a communication section 14.
- the communication unit 14 is a part that communicates with an external device of the terminal 10 via the network N (see FIG. 1). Examples of external devices for the terminal 10 are the terminal 20, the terminal 30, the server 40, and the operating device 50.
- the communication unit 14 transmits audio data and control data generated by the control unit 12 to the server 40, and receives audio data and control data from the server 40.
- the communication unit 14 is a part that communicates with the operating device 50.
- the communication unit 14 receives operation data from the operating device 50.
- the terminal 10 includes an output section 15.
- the output unit 15 outputs an image of the virtual space R.
- the video of the virtual space R is a video based on the video data of the virtual space R generated by the control unit 12.
- Server 40 includes a control unit 42 .
- the control unit 42 controls the operation of the server 40.
- Server 40 includes a storage unit 43.
- the storage unit 43 is a part that stores information necessary for controlling the server 40.
- FIG. 3 illustrates a server program 43P and received data 43S as information stored in the storage unit 43.
- the server program 43P is a program for operating the server 40, and operates the computer so that control etc. by the control unit 42 are executed.
- the received data 43S is data sent from the terminals 10, 20, and 30 to the server 40, and may include control data generated by the terminals 10, 20, and 30.
- the server 40 includes a communication section 44.
- the communication unit 44 is a part that communicates with an external device of the server 40 via the network N (see FIG. 1). Examples of external devices of the server 40 are the terminal 10, the terminal 20, and the terminal 30.
- the communication unit 44 receives the control data of the user U1, the control data of the user U2, and the control data of the user U3 from the terminal 10, the terminal 20, and the terminal 30, respectively, and receives the control data generated by the terminal 10, the terminal 20, and the terminal 30. is transmitted to each of the terminals 10, 20, and 30.
- the communication unit 44 of the server 40 may be configured using a network card or a wireless communication device to access the network N.
- the control unit 42 of the server 40 may be configured using a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), a clock, and a built-in memory.
- the control unit 42 may be configured as one piece of hardware (SoC: System On a Chip) that integrates a processor, a clock, a built-in memory, a storage unit 43, and a communication unit 44.
- SoC System On a Chip
- the control unit 42 causes the server computer to operate as the server 40 by operating based on the server program 43P.
- the storage unit 43 of the server 40 may be configured using a nonvolatile storage medium such as a flash memory, a hard disk, or a solid state disk (SSD).
- the input unit 11 of the terminal 10 may be configured using a microphone, a camera, etc.
- the microphone captures user U1's voice. That is, a microphone is a type of audio sensor that acquires audio. An image of the user U1 is acquired by the camera. That is, a camera is a type of image sensor that captures images.
- the input unit 11 may also be configured using an operating device such as a keyboard, a mouse, or a touch panel.
- the control unit 12 of the terminal 10 may be configured similarly to the control unit 42 of the server 40.
- the control unit 12 causes the general-purpose computer to operate as the terminal 10 by operating based on the terminal program 13P.
- the storage unit 13 of the terminal 10 may be configured similarly to the storage unit 43 of the server 40.
- the communication unit 14 of the terminal 10 may be configured similarly to the communication unit 44 of the server 40.
- the output unit 15 of the terminal 10 may be configured using a display device such as a liquid crystal panel, an organic EL panel, etc. (a touch panel may also be used). Furthermore, the output section 15 may also be configured using a speaker.
- FIG. 3 is a perspective view of the operating device 50.
- FIG. 3 is a diagram showing a state in which the operating device 50 is being operated by the fingers F of users U1, U2, and U3.
- the operating device 50 is a device operated by users U1, U2, and U3.
- the ear animation E is operated by the operation of the operating device 50 by the users U1, U2, and U3.
- the operating device 50 is a touch pad.
- As the touch pad method a capacitance method, a pressure-sensitive touch method, an ultrasonic method, etc. can be adopted.
- the operating device 50 includes a main body 51 as a hardware configuration.
- the main body 51 has an operation surface 51A.
- the operating device 50 is operated by the fingers F of the hands H of the users U1, U2, and U3.
- the operating device 50 may be provided alone, or may be provided as part of a remote control for operating a television display or the like. That is, the operating device 50 may be a part of the device.
- FIG. 4 is a diagram showing an example of functional blocks of the operating device 50.
- the operating device 50 includes a communication section 52.
- the communication unit 52 is a part that communicates with an external device by wireless communication or wired communication.
- Wireless communication is, for example, LAN, Bluetooth (registered trademark), Wifi, or the like.
- Examples of external devices are terminal 10, terminal 20, and terminal 30.
- the communication unit 52 transmits the operation data output from the control unit 54 to the terminals 10, 20, and 30.
- the operating device 50 includes an input section 53.
- the input unit 53 is a part for inputting operations by users U1, U2, and U3 on the operation surface 51A.
- the input unit 53 detects operations (gestures) on the operation surface 51A by the users U1, U2, and U3. Examples of operations include clicking, tapping, sliding, scrolling, and the like.
- the input section 53 outputs an operation signal to the control section 54.
- the operating device 50 includes a control section 54.
- the control unit 54 generates motion data based on the operation signal from the input unit 53.
- the control unit 54 outputs the operation data to the communication unit 52.
- the control unit 54 may be configured using a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), a clock, and a built-in memory.
- the control unit 54 may be configured as one piece of hardware (SoC: System On a Chip) in which a processor, a clock, a built-in memory, and a communication unit 52 are integrated.
- SoC System On a Chip
- the operating device 50 includes a battery 55.
- the battery 55 supplies power to each part of the operating device 50.
- the ear animation E of the character C is operated as, for example, “nod”, “agree”, “praise (applause)", “question”, “raise hand”, or “surprise”, the users U1, U2,
- the operation of the operating device 50 by U3 will be explained. That is, the relationship between the motion of the ear animation E of the character C and the motions of the users U1, U2, and U3 detected by the operating device 50 will be described.
- the motion of the ear animation E and the motion of the fingers F of the users U1, U2, and U3 for operating the ear animation E are similar (related).
- the user when operating the "nodding" ear animation E, the user performs an action similar to a nodding action using the finger F on the operating surface 51A of the operating device 50. That is, the users U1, U2, and U3 can operate the ear animation E by performing an operation similar to the ear animation E that they want to operate on the operating device 50.
- FIG. 5 is a diagram showing an example of the operation of the ear animation E.
- Pattern A in FIG. 5 shows the ear animation E in its normal state.
- Pattern B in FIG. 5 shows the "nodding" motion in the ear animation E.
- the upper half of the ear bends forward in the ear animation E of the character C.
- the users U1, U2, and U3 touch the operating surface 51A of the main body 51 of the operating device 50 with two fingers F (for example, index finger, middle finger). .
- the users U1, U2, and U3 slide their two fingers F while touching the operation surface 51A.
- the amount of sliding the finger F is, for example, 1 cm to 2 cm.
- the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, 30 as operation data.
- the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "nod" based on the motion data.
- Pattern C in FIG. 5 shows the "agree” action in ear animation E.
- the ears are entirely bent forward.
- the users U1, U2, U3 touch the operation surface 51A with two fingers F (for example, index finger, middle finger). In this state, slide two fingers F.
- the amount of sliding the finger F is, for example, longer than 2 cm, for example, 3 cm to 4 cm. That is, when the ear animation E performs the "agree” action, the users U1, U2, and U3 slide the finger F longer than when the ear animation E performs the "nod” action. .
- the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, 30 as operation data.
- the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as "agreement" based on the operation data.
- Pattern D in FIG. 5 shows the "clap (praise)" motion in the ear animation E.
- the ears move toward and away from each other.
- the users U1, U2, U3 touch the operation surface 51A with two fingers F (for example, thumb and index finger, or index finger and middle finger). In the touched state, the two fingers F are moved closer together (in contact) or separated.
- the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, 30 as operation data.
- the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as "clap (praise)" based on the operation data.
- the control unit 12 of the terminal 10, 20, 30 may generate control data for clapping multiple times in response to motion data related to a single motion of bringing two fingers F closer together or moving them apart. good.
- Pattern E in FIG. 5 shows the "question” action in ear animation E.
- the ears of the character C are entangled in the ear animation E.
- the users U1, U2, and U3 touch the operation surface 51A with two fingers F (for example, the index finger and the middle finger) and slide in a circular motion.
- the users U1, U2, and U3 touch the operation surface 51A with two fingers F (for example, the index finger and the middle finger), and press ⁇ ( You can also slide it to draw an infinity.
- the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, 30 as operation data.
- the control unit 12 of the terminal 10, 20, 30 generates control data for operating the ear animation E as a "question" based on the operation data.
- Pattern F in FIG. 5 shows the "raise hand” motion in ear animation E.
- the ears of the character C extend in the ear animation E.
- the users U1, U2, U3 touch the operation surface 51A with two fingers F (for example, index finger, middle finger). In this state, slide only one finger F (middle finger) upward.
- the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, 30 as operation data.
- the control unit 12 of the terminal 10, 20, 30 generates control data for operating the ear animation E as a "raised hand” based on the motion data.
- Pattern G in FIG. 5 shows the "surprise” motion in ear animation E.
- the tips of the ears become larger in the ear animation E of the character C.
- the body B of the character C curves backward.
- the users U1, U2, and U3 touch the operation surface 51A with two fingers F (for example, index finger, middle finger), Slide finger F upward and away.
- the operating device 50 detects the operation with the input unit 53 and transmits it to the terminals 10, 20, 30 as operation data.
- the control unit 12 of the terminal 10, 20, 30 generates control data that causes the ear animation E to operate as a "surprise” based on the operation data.
- the users U1, U2, and U3 may, for example, use the pattern B in FIG. 5, the pattern C in FIG. 5, the pattern D in FIG. 5, the pattern E in FIG. 5, the pattern F in FIG. An operation corresponding to any pattern G in FIG. 5 is performed. As a result, motion data is generated in the operating device 50.
- the operating device 50 transmits operation data to the terminals 10, 20, and 30.
- the terminals 10, 20, and 30 When the terminals 10, 20, and 30 receive the operation data, they generate control data corresponding to the operation data. As a result, in the virtual space R of the terminals 10, 20, and 30, the ear animation E of the character C can be displayed as a "nod,” “agree,” “praise (applause),” “question,” “raised hand,” or “surprise.” Perform the action. In this way, the motion of the ear animation E of the character C is controlled by the users U1, U2, and U3 operating the operating device 50.
- the activity of the character C in the virtual space R displayed based on the video data generated by the control unit 12 will be described.
- the character C performs activities.
- the characters C (users U1, U2, and U3) can converse and communicate with each other.
- a character C and content based on the content of the character C's activities are displayed.
- the screen changes based on the action of the character C. That is, in an activity in a virtual space, there is a step of displaying a first screen including a character C and content based on the content of the activity, and a step of displaying a second screen different from the first screen according to the action of the character C. and causing the computer to execute the steps.
- Examples of the content of the character C in the virtual space R include lectures, lectures, training, meetings, debriefings, counseling, consultation, entertainment, sightseeing, and video creation.
- an application software
- one application may be configured for each content, or one application may include a plurality of content.
- a screen for selecting an activity may be displayed on the output unit 15 of the terminal 10, 20, 30.
- selection buttons are displayed on the selection screen G1 for each of a plurality of activities (activity 1, activity 2, activity 3, activity 4, activity 5, and activity 6).
- Activity 1, Activity 2, Activity 3, Activity 4, Activity 5, and Activity 6 correspond to each activity described below.
- Activity 1 includes lectures, training sessions, lectures, etc. Below, a lecture will be explained as an example. In the lecture, character C, a professor (teacher, lecturer) and a student (pupil), may participate. As shown in FIG. 7, the screen G2 on which the video of the lecture virtual space R is displayed includes a moderator window (display area) W1, a presenter window (display area) W2, a participant window (display area) W3, and A document window (display area) W4 is displayed.
- a moderator window display area
- presenter window display area
- W3 participant window
- a document window (display area) W4 is displayed.
- a character C who will be the moderator of the lecture is displayed in the moderator window W1.
- the moderator window W1 is displayed, for example, on the upper right side of the screen G2.
- the professor can serve as the moderator (leader).
- the character C is displayed facing forward. That is, the character C in the moderator window W1 is displayed so as to face the users U1, U2, and U3 of the terminals 10, 20, and 30.
- camera videos (images) of users U1, U2, and U3 who will be moderators may be displayed. Users U1, U2, and U3 can switch between displaying the character C and displaying the camera image.
- a character C serving as a presenter is displayed in the presenter window W2.
- the presenter window W2 is displayed, for example, at the upper left side of the screen G2.
- professors and students can serve as presenters (leaders). That is, in a lecture, a professor can be both a moderator and a presenter.
- the character C is displayed facing forward.
- camera videos (images) of the users U1, U2, and U3 who will be presenters may be displayed. Users U1, U2, and U3 can switch between displaying the character C and displaying the camera image.
- the character C who is a participant in the lecture, is displayed in the participant window W3.
- the participant window W3 is displayed, for example, at the bottom of the screen G2 (at the bottom of the moderator window W1 and the presenter window W2).
- the seat (position) of the character C in the participant window W3 may be a reserved seat or a non-reserved seat.
- the seat of the character C may be allocated in the order in which the character C enters the participant window W3 based on a predetermined pattern set in advance.
- the character C is displayed with its back facing.
- the character C of the participant window W3 may be displayed so as to face the front.
- the character C voice displayed in the participant window W3 is turned off. That is, the output of the voice of the character C displayed in the participant window W3 in the virtual space R is restricted. This makes it possible to avoid, for example, the professor's progress being interrupted by the student's voice.
- the voice of the character C may be the voice of the users U1, U2, and U3, or may be the voice of the users U1, U2, and U3 converted (voice changed). That is, it may have a voice change function.
- the front or back directions of the plurality of characters C may be changed and displayed all at once when a predetermined operation is received from the users U1, U2, and U3.
- a scroll bar SB is displayed in the participant window W3.
- characters C of all participating students can be confirmed in the participant window W3.
- Identification information may be displayed on the character C displayed in the participant window W3.
- the identification information may be, for example, a student number, name, initials, etc.
- the character C in the participant window W3 is displayed smaller in size than the character C in the moderator window W1 and the presenter window W2. In other words, the character C in the moderator window W1 and the presenter window W2 is displayed larger than the character C in the participant window W3.
- Materials, etc. are displayed in the material window W4.
- the materials are contents based on the activities of the character C. That is, the materials displayed in the material window W4 in the lecture indicate the contents of the lecture in the character C's activity of attending the lecture.
- the material window W4 is displayed, for example, in the upper center of the screen G2 (between the moderator window W1 and the presenter window W2).
- the material window W4 can be operated by the moderator and the presenter.
- the moderator and presenter can operate the display content to be displayed in the document window W4 on a predetermined operation screen.
- the operation screen is displayed on the output unit 15 of the moderator or presenter, for example, when the moderator or presenter taps (clicks) the document window W4.
- materials text data, image data, presentation data, etc.
- handwritten input can be made on the displayed materials or on the board.
- the arrangement and size of the moderator window W1, presenter window W2, participant window W3, and document window W4 can be arbitrarily set by the administrator.
- the administrator is, for example, a lecturer.
- the character C may be displayed in a distinguishable manner depending on the attributes of the participants (users U1, U2, U3). Thereby, the attributes of the users U1, U2, and U3 participating in the activity can be confirmed (understood) at a glance.
- character C is classified into five attributes. Specifically, for example, attributes may be distinguished by hatching line type.
- the line types are, for example, a solid line (thin line), a solid line (thick line), a broken line, a dashed line, and a dashed double dotted line.
- the attributes may be, for example, faculty, department, etc.
- the attributes are set based on preset information about users U1, U2, and U3.
- the attributes of the users U1, U2, and U3 of the character C are shown in a distinguishable manner by the line type of the hatching, but the attributes of the users U1, U2, and U3 of the character C can be distinguished by the type of color. may be shown.
- the display size of the character C displayed in the participant window W3 can be changed.
- the size of the character C is displayed larger than in the example shown in FIG.
- the number of characters C displayed in the participant window W3 without scrolling can be set. If the size of the characters C is increased, the number of characters C displayed in the participant window W3 decreases, and if the size of the characters C is increased, the number of characters C displayed in the participant window W3 increases.
- Such settings can be arbitrarily set by the administrator. The administrator can make settings on a predetermined settings screen.
- the character C displayed in the presenter window W2 is displayed in the document window W4. It is possible to (move). Drag and drop of character C can be performed by the moderator and presenter. Identification information of the presenter is displayed on the character C dragged and dropped from the presenter window W2 to the material window W4. The identification information may be, for example, a student number, name, initials, etc. In the example shown in FIG. 10, "AAA" is displayed on the body B of the character C.
- the character C displayed in the moderator window W1 can also be displayed in the document window W4.
- the moderator character C may be displayed in the material window W4, and once the lecture starts, the moderator character C may be moved to the moderator window W1.
- the raised hand is displayed instead of the document window W4.
- a user window (display area) W5 is displayed.
- the characters C whose ear animations E perform the raising hand action are displayed in the order in which they performed the action.
- characters C who are quick to raise their hands are displayed in order from the left.
- the speaker window (display area) W6 is displayed.
- the speaker window W6 is displayed at the bottom of the moderator window W1 (between the moderator window W1 and the participant window W3).
- the character C displayed in the raised hand window W5 can be moved to the speaker window W6.
- the character C can be moved by clicking or dragging and dropping the character C. Clicking or dragging and dropping character C can be done by the moderator and presenter.
- information about the users U1, U2, and U3 of the character C may be displayed on the body B of the character C.
- the voice of the character C is automatically turned on. As a result, the contents of the utterances of the users U1, U2, and U3 of the character C are transmitted to the other users U1, U2, and U3 participating in the lecture.
- the ear animations E of the plurality of characters C raise their hands in response to a question or the like from the moderator and/or presenter, only the speaker window W6 is displayed.
- the character C who has performed the hand-raising motion can be moved to the speaker window W6.
- the character C can be moved by clicking or dragging and dropping the character C. Clicking or dragging and dropping character C can be done by the moderator and presenter.
- character C finishes speaking in speaker window W6, character C is moved to participant window W3.
- the character C can be moved by clicking or dragging and dropping the character C. Clicking or dragging and dropping character C can be done by the moderator and presenter. Character C returns to the predetermined position in participant window W3. As a result, the voice of character C is automatically turned off.
- the character C displayed in the participant window W3 can be moved to breakout rooms (display areas) BR1, BR2, BR3, and BR4.
- a plurality of breakout rooms BR1, BR2, BR3, and BR4 may be set depending on the number of characters C displayed in the participant window W3 (the number of students participating in the lecture).
- the moderator or presenter can arbitrarily allocate the character C to the breakout rooms BR1, BR2, BR3, and BR4.
- the character C can be automatically allocated to the breakout rooms BR1, BR2, BR3, and BR4 based on the character C's attributes. Movement to breakout rooms BR1, BR2, BR3, and BR4 is performed in response to an operation by the moderator or presenter. That is, when the moderator or presenter performs an operation (input) to instruct movement to the breakout room BR, the character C displayed in the participant window W3 moves to each breakout room BR1, BR2, BR3, BR4. do.
- a document window W7 is displayed on the screen G3 on which the images of the breakout rooms BR1, BR2, BR3, and BR4 are displayed. Materials and the like are displayed in the material window W7.
- the screen shown in FIG. 13 is displayed on the output unit 15 of the terminals 10, 20, and 30 of students participating in the lecture. That is, only the breakout rooms BR1, BR2, BR3, and BR4 to which the student has been assigned are displayed on the student's terminals 10, 20, and 30.
- the voices of characters C displayed in other breakout rooms BR1, BR2, BR3, BR4 cannot be heard from each other. That is, in each of the breakout rooms BR1, BR2, BR3, and BR4, the character C can have a conversation in each room.
- the moderator or presenter can check multiple breakout rooms BR1, BR2, BR3, and BR4.
- the example shown in FIG. 14 shows four breakout rooms BR1, BR2, BR3, and BR4.
- the moderator or presenter can display the breakout rooms BR1, BR2, BR3, BR4 as shown in FIG. 13 by clicking on one of the breakout rooms BR1, BR2, BR3, BR4.
- Pattern A in FIG. 15 shows the action of "I understand well” in the ear animation E.
- Pattern B in FIG. 15 shows the action of "somehow I understand” in the ear animation E.
- Pattern C in FIG. 15 shows the "I don't know” action in the ear animation E.
- the "I don't know” action in the ear animation E is similar to the "question" action shown in pattern E in FIG.
- Users U1, U2, and U3 operate the operating device 50 to operate the ear animation E of the character C in response to a question about their understanding level from the moderator or presenter.
- the operation of the ear animation E shown in pattern A in FIG. 15, pattern B in FIG. 15, and pattern C in FIG. It may be controlled by operating a button.
- the reactions of the participants that is, the actions of the ear animation E of the character C can be visualized and displayed.
- the statistics of the movement of the ear animation E of the character C are displayed, for example, in a band graph. This allows the moderator or presenter to grasp the degree of understanding of the students in the lecture.
- the activities of the character C (participation in lectures, etc.) in the virtual space R can be recorded. Recording may be performed by the administrator, or may be performed by all participants individually. When the administrator performs recording, the recorded video may be made available to the participants. Users U1, U2, and U3 can review lectures and the like using recorded videos.
- Activity 2 is a meeting, debriefing session, etc. First, let's take a conference as an example.
- the meeting can be a brainstorming session.
- a document window (display section) W9 is displayed on the screen G4 on which the video of the virtual space R of the meeting is displayed.
- the document window W9 is displayed in the center of the screen G4.
- the character C is displayed at a position sandwiching the document window W9.
- six characters C are displayed at opposing positions with the document window W9 in between.
- all characters C are displayed in the same size.
- the size of character C can be arbitrarily set by the administrator and participants. In the case of a conference, the administrator is, for example, the organizer. When the administrator or participant changes the size of one character C, the sizes of all characters C may be changed accordingly. Of course, it is also possible to change the size of only a specific character C.
- the position of the character C may be arbitrarily set by the users U1, U2, and U3 participating in the meeting, or may be set in advance by the organizer. If the position of the character C is not set (in the case of an unreserved seat), the position of the character C may be allocated in the order of participation in the meeting. The position of character C can be changed as appropriate.
- Materials, etc. are displayed in the material window W9.
- the materials are contents based on the activities of the character C. That is, the materials displayed in the material window W9 during the lecture indicate the contents of the meeting in the activity of character C's participation in the meeting.
- the conversation of the character C may be converted into text and displayed in the document window W9. Further, a translated text of the character C's conversation may be displayed in the document window W9.
- the document window W9 can be operated by the participant.
- the participant can operate the display content to be displayed in the document window W9 on a predetermined operation screen.
- the operation screen is displayed on the participant's output unit 15, for example, when the participant taps (clicks) the material window W9.
- materials text data, image data, presentation data, etc.
- handwritten input can be made on the displayed materials or on the board.
- the character C may be automatically rotated so as to face the position indicated by the pointer (predetermined target). That is, the character C may be rotated according to the position of the predetermined object so as to make the user imagine that the character C is gazing at the predetermined object.
- the user's own character C and the character C (predetermined target) of the conversation partner may face each other.
- the document window W9 can be set in advance and created by users U1, U2, and U3, such as the administrator and all participants. For example, the document window W9 can be created by clicking the document window on the task bar (not shown). The display of the document window W9 may be ended by pressing an end button (not shown).
- the arrangement and size of the document window W9 can be arbitrarily set by the administrator.
- the administrator is, for example, the organizer.
- the size of the character C is also changed in accordance with the change in the size of the document window W9. For example, when the size of the document window W9 is increased, the size of the character C is decreased.
- the character C is displayed in the outer area (margin) of the document window W9 on the screen G3.
- the size of the character C can be reduced to about 10 mm.
- the document window W9 may be displayed in full screen on the screen G3. In this case, the character C is displayed superimposed on the document window W9.
- each of the users U1, U2, and U3 can arbitrarily change the display viewpoint. For example, the viewpoint can be rotated in 3D.
- a participant when a participant writes text in the document window W9, it may be displayed so that it can be seen which participant is filling in the text.
- a pointer corresponding to the character C may be displayed in the document window W9, so that it can be seen at a glance that the character C written in the document window W9 corresponds to the pointer P.
- hatching can be displayed on the pointer P and the character C, or the pointer P and the character C can be displayed in the same color.
- the body B of the participant's character C may be deformed to become the material window CW.
- the character C written in the document window CW can be recognized at a glance.
- Switching the display from the material window W9 to the material window WC can be performed by dragging and dropping (drag-in) the character C onto the material window W9. That is, when an operation to drag and drop the character C onto the material window W9 is accepted, a predetermined function of switching the display is executed in the material window W9.
- the documents of the users U1, U2, U3 of the character C that have been dragged and dropped are displayed, and the contents input by the users U1, U2, U3 are displayed.
- the material window WC may be displayed so that it can be seen which participant is being displayed (who is the operator).
- the ear animation E of the participant's character C or a similar design may be provided outside or inside the window, or a frame color or frame pattern may be provided so that the participant can be clearly identified. can.
- the ear animation E of the same color, the same pattern, or a similar design is added to the outside of the window, but also the color and pattern of the corresponding window frame, etc. are added to the thickness of the frame, and the character C It is a good idea to match or resemble the color and pattern of the item so that they can be related to each other.
- the frame does not have to be a perfect square; it may have a slightly rounded design.
- a pointer P may be displayed in the document window WC.
- the color, frame, periphery, and background of the pointer P be the same as the color of the ear animation E of the character C, or in the same family.
- Switching the display from the material window WC to the material window W9 can be performed by dragging and dropping (dragging out) the character C displayed in the material window WC to an area other than the material window WC. That is, when character C is dragged and dropped onto material window W9, and then an operation to drag and drop character C displayed in material window WC to an area other than material window WC is accepted, Execution of the predetermined function of switching the display from the document window W9 to the document window WC is ended. Further, when another character C is dragged and dropped (drag-in) to the material window WC, the display may be changed to the material window WC of the other character C. Further, the display may be switched from the document window WC to the document window W9 by clicking an exit button (not shown).
- the deformation of the body B of the character C may have multiple patterns.
- body B may be deformed so that the display area becomes larger in stages.
- Users U1, U2, and U3 can change the deformation pattern of body B depending on the situation.
- the materials displayed in the material window there is no limit to the materials displayed in the material window, and the material displayed in the material window may be used as a pen input window, a video window, etc. as information display.
- pen input when the pen input operator changes and the character C to be replaced is dragged and dropped onto the pen input window, the state of the previous pen input window is inherited and additional writing is possible. If you leave it on, you can smoothly switch between pen inputs.
- a document window W10 is displayed on the screen G5 on which the video of the virtual space R of the meeting is displayed, and a document window CW in which the body B of the participant's character C is deformed is also displayed.
- the material window CW can be displayed by dragging and dropping the character C onto the material window (not shown), as described above. Switching the display from the document window WC to the document window (not shown) can be performed by dragging and dropping (dragout) the character C displayed in the document window WC to an area other than the document window WC. .
- the document window W10 is displayed at the upper center of the screen G5, for example.
- the document window W10 may be provided with tabs.
- a tab can be added by clicking the "+” displayed at the top right of the document window W10.
- three tabs (“1”, “2”, and “3”) are displayed. By clicking the tabs, the display of materials, etc. in the material window W10 can be switched.
- the material window CW made up of the body B of the character C is displayed, for example, at the lower center of the screen G5 (below the material window W10).
- a tab may be associated with each character C.
- tab “1” is character C with “1” displayed on body B
- tab “2” is character C with “2” displayed on body B
- tab “3” is character C with "1” displayed on body B.
- Users U1, U2, and U3 of character C can display arbitrary information in the document window W10 of their own tab.
- a conversation text in which the conversation of the character C is converted into text may be displayed. If the languages are different, text can be displayed in the language specified by each participant by linking with an automatic translation function. As a result, non-linguistic information using ear animation E and translated text between different languages are displayed. Therefore, it is possible to realize an automatic interpreting conversation with visual support for the states, emotions, and words (translated text) of the users U1, U2, and U3.
- the conversation text can be arbitrarily selected and dragged and dropped into the document window W10.
- the dragged and dropped conversation text is displayed in the window of the tab corresponding to character C.
- the predetermined words are, for example, "Yeah, hi,” “Eh, hi,” “I see,” “Yes, yes,” and the like.
- the ear animation E of the character C may be made to operate depending on the predetermined word. Further, the ear animation E of the character C that constitutes the material window CW may be expanded according to the volume of the character C's voice.
- sensuous and intuitive means not the operation of the screen operation board, which is far removed from the operation of the character displayed from the title bar at the top of the screen, etc., but refers to the operation of the character C by the users U1, U2, and U3 themselves.
- the feature is that it is possible to switch to the next scene by moving the objective and operating the character C itself.
- a participant window W11 and a document window W12 are displayed on the screen G6 on which the video of the virtual space R of the debriefing session is displayed.
- a character C who is a participant in the debriefing session is displayed in the participant window W11.
- the participant window W11 is displayed at the bottom of the screen G6, for example.
- the character C is displayed with its back facing.
- the voice of the character C displayed in the participant window W11 is turned off.
- a scroll bar SB is displayed in the participant window W11. By operating the scroll bar SB, all participating characters C can be confirmed in the participant window W11.
- Identification information may be displayed on the character C displayed in the participant window W11.
- the identification information may be, for example, a position, name, initials, etc.
- Materials, etc. are displayed in the material window W12.
- the materials are contents based on the activities of the character C. That is, the materials displayed in the document window W12 at the debriefing session indicate the contents of the debriefing session in the activity of character C's participation in the debriefing session.
- the material window W12 is displayed, for example, at the top of the screen G6 (above the participant window W11).
- the reporter character C who participates in the report meeting is displayed on the right side of the document window W12 on the screen G6. Note that the reporter character C may be displayed on the material window W12 (overlapping with the material window W12).
- the document window W12 can be operated by the reporter.
- the reporter can operate the display content to be displayed in the document window W12 on a predetermined operation screen.
- the operation screen is displayed on the reporter's output unit 15, for example, when the reporter taps (clicks) the document window W12.
- the participant may be given the authority to operate the material window W12 by dragging and dropping the participant's character C onto the material window W12.
- a predetermined mark may be displayed at the vacant seat. Thereby, it is possible to prevent another character C from sitting (positioning) in a vacant seat in the participant window W3 due to the movement to the material window W12.
- the arrangement and size of the participant window W11 and the material window W12 can be arbitrarily set by the administrator.
- the administrator is, for example, the organizer.
- the character C may be displayed in a distinguishable manner depending on the attributes of the participants (users U1, U2, U3). For example, attributes can be distinguished by the line type and color of hatching.
- the display size of the character C displayed in the participant window W11 can be changed. In the participant window W11, for example, the size of the character C displayed in the front row (upper side in the figure) can be increased, and the size of the character C displayed in the back row (lower side in the figure) can be decreased.
- a selection screen G1 is displayed as shown in FIG.
- a selection screen for “meeting” or “reporting session” is displayed.
- the invitation may include an explanation of the meeting, ID, and password. Further, a URL, a calendar, or the like may be displayed on the guide. You can join the meeting by clicking on the URL or calendar. Note that the invitation may include a description to support downloading of the application for users who are participating in the conference for the first time. When the time for a meeting, etc. arrives, a participant participates in the meeting, etc. by inputting an ID and password, or clicking a URL, etc.
- the activities of the character C (meetings, lectures, etc.) in the virtual space R can be recorded. Recording may be performed by the administrator, or may be performed by all participants individually. When the administrator performs recording, the recorded video may be made available to the participants. Users U1, U2, and U3 can review the meeting and the like using the recorded video.
- Activities 3 are one-on-one activities for character C, such as counseling, support and explanatory exchanges at a call center, meetings, telemedicine, and private lessons.
- activities 3 are one-on-one activities for character C, such as counseling, support and explanatory exchanges at a call center, meetings, telemedicine, and private lessons.
- an example in which activity 3 is counseling will be described.
- a counselor and a client character C may participate.
- a screen G7 on which an image of the counseling virtual space R is displayed includes a display board (content display section) B1, a chat board (text display section) B2, a character C, and a table T. is displayed.
- the content of counseling etc. is displayed on the display board B1.
- the content of counseling etc. is content based on the content of character C's activities. That is, the counseling contents displayed on the display board B1 during counseling indicate the contents of the counseling in the activity of the character C receiving counseling.
- the display board B1 is displayed at the top of the screen G7, for example.
- the display board B1 may be provided with a tab. A tab can be added by clicking the "+" displayed at the top right of the display board B1. In the example shown in FIG. 21, three tabs (“1”, “2”, and “3”) are displayed. By clicking the tabs, the display of materials, etc. on the display board B1 can be switched.
- the display board B1 can be operated by the counselor.
- the counselor can operate the display content to be displayed on the display board B1 on a predetermined operation screen.
- the operation screen is displayed on the counselor's output unit 15, for example, when the counselor taps (clicks) the display board B1.
- materials can be displayed on the display board B1 and input can be made by hand.
- chat board B2 On the chat board B2, a conversation text indicating the content of the conversation of the character C that has been converted into text is displayed in a chat format.
- the conversation text is the voice of the users U1, U2, and U3 converted into text by voice recognition processing.
- Chat board B2 displays a predetermined number of conversation texts, starting from the latest in chronological order, among a plurality of conversation texts created based on the voices of users U1, U2, and U3. In the example shown in FIG. 21, three conversation texts are displayed. Chat board B2 is displayed, for example, in the center of screen G7 (below display board B1). On chat board B2, a mark of character C may be displayed near the conversation text.
- chat board B2 may display not only text converted into text by voice recognition processing, but also text input by the users U1, U2, and U3 from a keyboard or the like. Displaying input text on chat board B2 is effective in cases where it is desired to avoid voice utterances. For example, when leaving or leaving a meeting during a meeting, by inputting this information and displaying it on chat board B2, it is possible to reduce obstacles to the current dialogue and notify participants of the situation. can. Of course, it can be used in a wide range of other applications. For example, it can be used in scenes where modest comments are to be conveyed. Chat Board B2 supports each type, such as providing scenes without sound, providing scenes with sound, or with sound effects, etc. Depending on the situation, sound on/off function, selection of sound content, automatic generation of standard types, etc. It is good to be able to do this.
- Character C is displayed at the bottom of screen G7 (below chat board B2), for example.
- the counselor character C is displayed on the left, and the client character C is displayed on the right.
- the characters C are arranged so as to face each other diagonally with the table T interposed therebetween.
- the arrangement of the character C can be set arbitrarily. Specifically, the distance L between the characters C, the angle ⁇ at which the characters C face each other, and the rotation angle of the character C can be set. The angle ⁇ at which the character C faces can be changed by adjusting the angle of the table T. When the arrangement of one character C is changed, the arrangement of the other characters C may also be changed in conjunction (at once). Further, the size of the character C can also be set arbitrarily. The size of the character C can be set for each of the two characters C. Moreover, when the size of one character C is changed, the size of the other character C may also be changed in conjunction. Furthermore, each of the users U1, U2, and U3 can arbitrarily change the display viewpoint. For example, the viewpoint can be rotated in 3D.
- the conversation text is displayed on display board B1.
- the users U1, U2, and U3 may drag and drop the conversation text displayed on the chat board B2 onto the display board B1.
- the display board B1 may be provided with a scroll bar SB. Thereby, a large amount of information can be displayed on the display board B1. As shown in FIG. 25, the display board B1 may be displayed on the table T. As shown in FIG. 26, the conversation text may be displayed in the body B of the character C. Note that the background of the character C can be arbitrarily set by the counselor. A plurality of images effective for counseling are stored in advance as the background, and the background may be selected and set from among them, or may be created by the counselor.
- the activity of character C (participation in counseling) in virtual space R can be recorded.
- the recording may be done by the counselor or by the client.
- the recorded video may be made available to the client. Users U1, U2, and U3 can review the counseling using the recorded video.
- the screen G7 on which the image of the virtual space R is displayed may be created based on the video (audio) of the real face-to-face counseling that was recorded.
- the counselor and client characters C are displayed on the screen G7.
- the ear animation E of the character C may operate in response to audio.
- the voice of the character C may be the voice of the users U1, U2, and U3, or may be the voice of the users U1, U2, and U3 converted (voice changed).
- a conversation text indicating the content of the conversation of the character C converted into text is displayed in a chat format on the chat board B2.
- Users U1, U2, and U3 who view the created video can cause the conversation text to be displayed on the display board B1 by operating the conversation text displayed on the chat board B2.
- Images from Virtual Space R are effective for retrospective observation after counseling, and make it easier to gain new insights.
- the text display of conversations (words) on the chat board B2 can be expected to act not only on auditory stimulation in real dialogue but also on visual stimulation, making it easier to notice.
- text can be converted offline, there is no need to worry about delays, which are an issue with real-time display.
- the character C the face of the client, etc. is not shown (no camera is used), which is effective in protecting privacy.
- you use a voice changer to output audio stronger privacy protection can be achieved.
- recording of counseling sessions has not been widely used due to privacy concerns, but this method makes it easier to review. It also makes it easier for supervisors to guide counselors.
- Activity 4 is, for example, entertainment. Entertainment includes music performances, games, and the like. First, music performance will be explained.
- the performer character C may participate.
- a display board B3 is displayed on the screen G8 on which the image of the virtual space R for music performance is displayed.
- FIG. 27 shows an example of a band performance.
- the musical score and the like are contents based on the content of the character C's activities. That is, the musical score and the like displayed on the display board B3 during a music performance indicates the contents of the music performance during the activity of the character C participating in the music performance.
- the display board B3 is displayed at the center of the screen G8, for example. The arrangement and size of the display board B3 can be set arbitrarily. On the display board B3, the display of the musical score may be changed (slided) depending on the performance.
- the character C is displayed around the display board B3.
- the body B of the character C is a guitar, a drum, a wood bass, a saxophone, and a keyboard. That is, the user of character C with guitar body B plays the guitar. Similarly, the user of character C in drum body B plays the drum.
- the size of the character C is also changed in accordance with the change in the size of the display board B3. For example, when the size of the display board B3 is increased, the size of the character C is decreased.
- the character C is displayed in the outer area (margin) of the display board B3 on the screen G8.
- the size of the character C can be reduced to about 10 mm.
- the display board B3 may be displayed in full screen on the screen G8. In this case, character C is displayed overlapping display board B3.
- the ear animation E of the character C may operate according to the actions of the users U1, U2, and U3.
- the actions of the users U1, U2, and U3 may be detected by sensors or the like.
- the control unit 12 generates control data for the ear animation E based on the detected movements of the users U1, U2, and U3.
- FIG. 28 shows an example of orchestral performance.
- the characters C are displayed so as to surround the display board B3.
- the body B of the character C is a violin, a clarinet, a wood bass, and a flute.
- character C is displayed as a conductor.
- the commanding actions of the users U1, U2, and U3, who are conductors, can be detected by a sensor or the like.
- the control unit 12 generates control data for the ear animation E based on the detected commanding movements of the users U1, U2, and U3.
- the ear animation E of the conductor character C conducts the command.
- users U1, U2, and U3 of other characters C can perform while watching the conductor.
- FIG. 29 shows an example of Go.
- a game board which is a Go board, is displayed on the display board B4.
- the game board is content based on the content of character C's activities. That is, the game board displayed on the display board B4 in the game indicates the content of the game in the activity of the character C participating in the game.
- the display board B4 is displayed at the center of the screen G10, for example.
- the character C who is a player, is displayed across the display board B4.
- Character C who is a viewer, may be displayed at the top of screen G10.
- the arrangement and size of the display board B4 can be changed.
- the display board B4 is displayed in an enlarged manner.
- the size of the character C can be reduced in accordance with the enlargement of the display board B4.
- the activities of the character C (music performance, games, etc.) in the virtual space R can be recorded. Recording may be performed by the administrator, or may be performed by all participants individually. When the administrator performs recording, the recorded video may be made available to the participants. Users U1, U2, and U3 can review music performances, games, and the like using recorded videos.
- Activity 5 is sightseeing, appreciation (watching sports, watching movies, watching concerts), etc. First, let's take tourism as an example. In sightseeing, tourist character C may participate. As shown in FIG. 31, a display board B5 and a moving stage (moving object) S are displayed on the screen G11 on which the image of the sightseeing virtual space R is displayed.
- Images of tourist spots, etc. are displayed on the display board B5.
- the images of tourist spots and the like are content based on the activities of the character C. That is, images of sightseeing spots and the like displayed on the display board B5 during sightseeing indicate the contents of sightseeing in the sightseeing activity of the character C.
- the display board B5 is displayed at the top of the screen G11, for example.
- the display board B5 can be operated by the sightseeing organizer.
- the organizer can operate the display content to be displayed on the display board B5 on a predetermined operation screen.
- the operation screen is displayed on the organizer's output unit 15, for example, when the organizer taps (clicks) the display board B5.
- On the operation screen it is possible to display an image on the display board B5 and to input handwriting to the displayed image.
- the arrangement and size of the display board B5 can be arbitrarily set by the administrator.
- the manager is, for example, the organizer.
- Information on participants, guide information, etc. may be displayed on the administrator's screen G11.
- a character C is placed on the moving stage S.
- the moving stage S is provided movably.
- Moving stage S is operated by users U1, U2, and U3. That is, users U1, U2, and U3 can move the moving stage S to any position.
- each of the users U1, U2, and U3 can arbitrarily change the display viewpoint. For example, the viewpoint can be rotated in 3D.
- a display board B5 and a plurality of moving stages S are displayed on the screen G12 on which the image of the sightseeing virtual space R is displayed.
- a guide character CG may participate.
- the user can receive an explanation from a guide about the video and the like displayed on the display board B5.
- the guide's voice is transmitted to all the characters C in the virtual space R.
- the voices of one or more characters C placed on one moving stage S and the voices of one or more characters C placed on another moving stage S can be made inaudible from each other.
- the display board B5 may be displayed in full screen on the screen G12.
- the character C and the moving stage S are displayed overlappingly on the display board B5. That is, the character C and the moving stage S are displayed on the image displayed on the display board B3.
- sightseeing with a sense of realism can be realized.
- the viewer's character C may participate in the viewing.
- display boards B6 and B7 and a moving stage S are displayed on the screen G13 on which the video of the virtual viewing space R is displayed.
- display board B8 is displayed.
- the display board B8 displays an explanation of the painting displayed on the display board B6.
- Activity 6 is, for example, video creation.
- the ear animation E of the character C is output as an editable video during the activity in the virtual space.
- a display board B9 and two characters C are displayed on the screen G13 on which the image of the virtual space R to be created is displayed.
- Various contents can be displayed on the display board B9.
- Character C uses a pointer to explain the content displayed on display board B9.
- the pointer can be color-coded for each character C.
- the character C who is giving an explanation using the pointer can be recognized.
- the direction of the character C may be automatically rotated in accordance with the display and position of the pointer. In this way, the character C rotates in response to (linked to) the movement of the pointer, thereby increasing the sense of realism in the explanation.
- the motion of the ear animation E of the character C, the arrangement and size of the character C, the arrangement and size of the display board B9, and the content displayed on the display board B9 can be edited.
- the created video can be uploaded to a video sharing service or the like.
- Operations related to the movement of character C include moving their own character C of users U1, U2, and U2, displaying the display section on character C, etc., as well as inputting text on the display section of character C. It may also include that a display section is generated on another character C (AI character C, etc.) by performing (keyboard input, voice input, etc.).
- the ear animation E operates in response to the operations of the users U1, U2, and U3.
- the ear animation E of the character C operates in response to the operations of the users U1, U2, and U3.
- U3, the ear animations E of other characters C may move (react, interlock).
- the character C included in the first screen (hereinafter also referred to as "first character C") and the character C included in the second screen (hereinafter also referred to as "second character C”) correspond to each other.
- the first character C and the second character C may have the same form (appearance, shape) or may have different forms.
- the first character C included in the first screen and the second character C included in the second screen have bodies B in the same form before and after the screen transition (for example, as shown in pattern A in FIG. 5). state).
- the first character C included in the first screen is in the state shown in pattern A in FIG. 5, and the second character C included in the second screen has body B deformed as shown in FIG.
- the document window CW may also be displayed.
- the first character C included in the first screen and the second character C2 included in the second screen may have different colors or patterns, or may have different functions. The point is that the second screen only needs to include the character C corresponding to the character C on the first screen.
- the character C means a character whose ear animation E imitating ears is a component of the avatars of the users U1, U2, and U3.
- Character C has a nonverbal information method that expresses the states and emotions of users U1, U2, and U3 through ear animation E. For the character C, it does not matter whether or not there is face information of the users U1, U2, and U3.
- a moderator window W1 and a presenter window W2 that display a character C who will be the leader of the activity, and a participant window W3 that displays the character C who will be a participant in the activity. is displayed.
- the size of the character C displayed in the moderator window W1 and the presenter window W2 may be displayed larger than the size of the character C displayed in the participant window W3.
- the size of the character C of the leader who gives an explanation of the lecture material is displayed in a large size, making it easier to understand the explanation.
- the character C when the ear animation E of the participant's character C performs an action indicating a raised hand in activity 1, the character C is moved from the participant window W3 and displayed.
- a speaker window W6 capable of outputting the voice of the character C in the virtual space R is displayed.
- the voice of the character C is enabled to be output in the speaker window W6.
- the character C when the ear animation E of the character C performs an action indicating raising a hand, the character C is displayed in the hand raiser window W5, so the leader can easily recognize the character C who raised the hand. . Furthermore, since the output of the voice is automatically switched on and off in response to the movement of the character C from the raised hand window W5 to the speaker window W6, the effort of turning on and off can be omitted. Furthermore, since only the voice of the character C displayed in the speaker window W6 is output, the voices of multiple characters C displayed in the raised hand window W5 may be output simultaneously, causing situations such as the voices being inaudible. can be suppressed.
- the system 100 in activity 1, tens to hundreds of students can participate in the lecture. In this case, if images of all participants (real images) are displayed in the virtual space R or avatars with facial expressions are displayed, a considerable amount of transmission capacity is required. This causes slow operation and distorted images. Regarding this, the system 100 displays a character C that does not include a dynamically changing facial expression. Therefore, even in lectures and the like where a large number of people participate, the transmission capacity can be reduced. Therefore, smooth activities are possible. Furthermore, when displaying images of students, etc., it is difficult to check the students' conditions and reactions. Regarding this, in the system 100, the state and reaction of the student etc. is indicated by the movement of the easily visible ear animation E of the character C. Therefore, in the system 100, it is possible to easily check the status and reactions of students and the like.
- the size of one character C among the plurality of characters C displayed in the virtual space R is changed in activities 2 to 5, etc.
- the size of the other characters C is changed in the same manner. You may change it to In this configuration, since the sizes of all the characters C are changed in the same way, it is possible to realize activities with a sense of unity in the virtual space R.
- a predetermined function is executed in the material window W9.
- the document window W9 is changed to a document window WC that can be operated by the users U1, U2, and U3 of the character C.
- This operation is considered to be similar to, for example, dragging a document to the trash can on the screen and discarding it.
- the erase click action is preferable, but when generating events carefully and wholeheartedly, it is better to have an action time that corresponds to a more natural feeling and provides a sense of preparation for moving the scene. It is also possible to generate .
- a display board B1 that displays content and a chat board B2 that displays a conversation text obtained by converting the voice of the character C into text are displayed.
- a chat board B2 that displays a conversation text obtained by converting the voice of the character C into text are displayed.
- chat board B2 among a plurality of conversation texts created based on the voice of the character C, a predetermined number of conversation texts starting from the latest in chronological order are displayed.
- character C is used for counseling in virtual space R.
- nonverbal information such as the client's nod, agreement, question, etc. can be expressed using the ear animation E.
- the character C does not have eyes that dynamically change, the counselor and the client can view the screen without worrying about each other's line of sight.
- the conversation text based on the voice of the character C is displayed on the chat board B2, attention can be paid to what the character C is saying.
- the conversation text displayed on chat board B2 disappears as the conversation progresses.
- the character C in activity 4, is displayed around the display board B3.
- the system 100 may detect the movements of the users U1, U2, and U3, and operate the ear animation E based on the movements of the users U1, U2, and U3.
- the ear animation E can reflect the rhythm when the users U1, U2, and U3 actually play the musical instruments. Thereby, it is possible to realize a sense of unity and presence in music performance.
- one or more moving stages S on which one or more characters are arranged and are movable in the virtual space R are displayed.
- the character C can be moved on the moving stage S in the virtual space R.
- activities such as sightseeing and visiting museums can be carried out while riding on the moving stage S.
- a sense of realism can be obtained.
- a sense of unity can be obtained.
- the voices of the plurality of characters C arranged on one moving stage S and the other may be made inaudible from each other.
- each group of characters C riding on the moving stage S can have a conversation. Therefore, the user can have a conversation without worrying about the users U1, U2, and U3 of other groups.
- the activity in the virtual space R is output as a video in which the animation of the character C can be edited.
- the animation can be edited after the activity is created as a video. Therefore, in post-editing of the video, it is possible to add or change the effect of the ear animation E of the character C.
- the activity of the character C in the virtual space R is recorded and output. With this configuration, the character's activities in the virtual space R can be reviewed later.
- the character C is rotated according to the position of the predetermined object so as to make the user imagine that the character C is gazing at the predetermined object.
- the user is gazing at a predetermined target (attention is directed toward the predetermined target) in response to screen transitions and changes in at least one of the form, state, and function of character C.
- Character C rotates in a way that makes you imagine. This makes it possible to imagine that the user is gazing at a predetermined object and has an interest in it, similar to a person's gaze movement or posture change toward an object of interest or a change object. Character C's rotation motion produces the same nonverbal communication effect as gaze and posture changes, and expresses active interest in dialogue. Therefore, it is possible to realize rich communication such as improved responsiveness to dialogue and improved sense of presence.
- the rotation motion of the character C in this embodiment may be expressed by the rotation of the ear animation E of the character C, or may be expressed by the rotation of the body B of the character C.
- the direction of rotation is not necessarily limited to the center of the gaze area.
- the gaze in this embodiment is not the gaze of the other person's eyes, but the other person's chest, the general direction of the other person, etc. It may also be a gaze that reminds you of the direction.
- the rotation angle may be small as long as the rotation toward the gaze area conveys the atmosphere of interest.
- the ear animation E is made to act as one of “nod”, “agree”, “praise (applause)", “question”, “raise hand”, or “surprise” as an example.
- the movement of the ear animation E according to the user's movement is not limited to this.
- the motion of the ear animation E may be other motions or may further include other motions.
- the bending angle and speed of the ear animation E can be set (changed) as appropriate. This makes it possible to express sensitive emotions, and also to adjust the intensity (stronger or weaker) of the emotional expression.
- the intensity of the motion in the ear animation E is set to be strong, for example, the expression of nonverbal information of a person who is not good at expressing emotions can be supported by expressing the content, intensity, and speed of the motion of the ear animation E. Furthermore, for communication between cultures that express non-verbal information differently, settings can be made to convert the motion form in accordance with the cultures of the users U1, U2, and U3.
- the operation device 50 detects the movement of the hand H or finger F of the users U1, U2, and U3 as an example.
- the hands H or fingers F of the users U1, U2, U3 may be detected by an image sensor (camera, laser, etc.).
- the operation of the ear animation E is basically executed based on the operations of the users U1, U2, and U3, but the facial expressions (face recognition by the camera) of the users U1, U2, and U3, It is also possible to combine voice, expression control using AI (Artificial Intelligence), etc.
- AI Artificial Intelligence
- the operation of character C is not limited to humans, and may be performed by AI (Chat GPT, Siri (registered trademark), Google Assistant (registered trademark), Alexa (registered trademark), Cortana (registered trademark)). That is, the user who operates the character C may be an AI.
- the user means a target who operates the character C.
- the words spoken by the AI are displayed as text, and the AI's state and actions corresponding to its emotions at that time are expressed as ear animations E. For example, when the AI understands and says "OK”, the AI's ear animation E displays an "OK mark", and when the AI does not understand and says "NG”, the AI's ear animation E displays an "NG mark".
- the ear animation E may perform an action of "clap” or an action of the ear animation E changing into two exclamation marks.
- the AI may read the emotions of the person on the other end of the call and react with the motion of the ear animation E. Since AI does not have its own unique facial information or figure information, expressing AI's nonverbal information using ear animation E can creatively enrich communication.
- An animation imitating an ear is not limited to the ear itself, and may be an animation similar to an ear.
- the animation imitating an ear may have a design reminiscent of an ear.
- An animation imitating an ear may be one in which the ear is used as a basic shape and the shape is transformed from the ear.
- the operating device may be any device that can detect acceleration and angular velocity.
- the operating device may be, for example, a mobile phone (such as a smartphone) having a display (display unit) that displays the ear animation E.
- operation data is generated by operating the mobile phone in the same manner as the operating device 50.
- control data may also be generated by the server 40.
- terminal 10, terminal 20, and terminal 30 transmit operational data to server 40, and server 40 generates control data based on the operational data.
- the body B, the ear animation E, etc. are displayed on the terminals 10, 20, and 30.
- the terminal is a wearable terminal or a head mounted display (HMD) terminal
- the body B, ear animation E, etc. may be displayed on a lens or the like, or may be displayed as a hologram. That is, character C is displayed in cyberspace.
- Cyberspace may include VR (Virtual Reality), AR (Augmented Reality), and MR (Mixed Reality).
- the display is switched from the document window W9 to the document window WC by dragging and dropping (drag-in) the character C to the document window W9.
- switching the display to the document window that is, displaying the display section on body B, may be performed using other methods.
- Display section D displays materials and functions as a whiteboard. Specifically, the display section D has a function of selecting and displaying materials, images, texts, camera images, user self-images, pen input whiteboards, and the like.
- a plurality of (two) display sections D1 and D2 are displayed. Good too.
- the display section D1 displays materials and input contents input by users U1, U2, and U3, and the display section D2 displays translated texts of the display contents displayed on the display section D1. may be displayed.
- the arrangement, size, etc. of the display sections D1 and D2 can be set as appropriate.
- body B functions as display part D (D1, D2) (a form in which body B serves as a display part, a form in which a display part is displayed on body B), as shown in FIG.
- the ear animation E may be displayed on the top of the body B, or a part (half) of the body B before the transformation may be displayed on the top of the body B after the transformation, as shown in pattern C in FIG. (a circular part) and an ear animation E may be displayed.
- a part of body B and ear animation E have a hat-like shape, and are arranged so that the hat is placed over the top of body B.
- the shape of a portion of the body B is not limited to a semicircular shape, but may be a rectangular shape or the like. As in the example shown in pattern C in FIG. 37, by displaying ear animation E and a part of body B before deformation, and leaving a part of body B that does not deform, it is possible to display the ear animation E and a part of body B before deformation. This has the effect of making it easier to recognize the connections between the two.
- the two characters C whose display parts D1 and D2 are displayed may be displayed so as to interact with each other.
- conversation text and the like may be displayed on the display sections D1 and D2.
- Display parts D1 and D2 acquire voice data of users U1, U2, and U3, link the data with AI, and display diagrams, text, videos, camera images, and video self-images taken with the camera according to the conversation.
- Text corresponding to a still image or voice may be displayed automatically or manually.
- the structure of the eyeball is automatically displayed on the display section D2 of the doctor's character C based on the content of the conversation.
- Another method for displaying the display part on body B is to click (touch) the upper side (ear animation E side) of body B of character C, as shown in pattern A in FIG.
- a "+" mark M2 is displayed on B.
- body B is enlarged and display portion D is formed (displayed) on body B.
- display section D is enlarged as shown in pattern B of FIG. 41.
- function buttons FB may be displayed on the display sections D1 and D2.
- One or more function buttons FB may be displayed.
- the function buttons FB may include, for example, a document display button, a handwritten input button, a translation button, an AI search button, and the like.
- the function of the selected function button FB is exhibited. For example, when the document button is selected as the function button FB on the display section D1, a screen of a personal computer or the like is displayed on the display section D1, and the document can be selected and displayed.
- a handwriting input button is selected as the function button FB on the display section D1
- tools for handwriting input are displayed on the display section D1.
- a translation button is selected on the display section D2
- a translated sentence is displayed on the display section D2.
- the AI search button is selected on the display section D2
- a diagram, text, video, still image, audio, etc. corresponding to the conversation is automatically displayed and output on the display section D2.
- a functional change element such as displaying the display section D (D1, D2) is added. Therefore, visual dialogue can be easily provided, and the changes become interesting, making the dialogue fun. Since the body B is operated by the users U1, U2, and U3, it can be easily understood visually, including by surrounding participants.
- display parts D (D1, D2) can be generated by transforming body B of character C, such as displaying them in multiple ways or changing the size, by dragging the "+" mark displayed on body B. By allowing for easy placement, the user interface is significantly improved. Therefore, it is highly effective as an audiovisual support tool for dialogue.
- character C can automatically transform (deform) in various places (environments, situations) such as a specific place in a virtual space, a pavilion, a classroom, a library, a cafeteria, etc., depending on the location, attributes, etc. good.
- the transformation of the body B includes a change in form (shape), a change in color, a change in design (pattern, etc.), etc. In this way, the body B transforms depending on the location, etc., so that the user can experience the atmosphere of the location even more.
- Whether or not body B can be transformed can be set by users U1, U2, and U3. Further, when the character C transforms, a plurality of modes may be displayed and selected.
- character C may be integrated with the avatar in the virtual space.
- Character C shown in pattern A of FIG. 44 may be displayed integrally with avatar AB, for example, as shown in pattern B of FIG. 44.
- Avatar AB may or may not include facial expressions.
- a part of character C for example, the upper part of body B including ear animation E, is added to the upper part of avatar AB.
- ear animation E By adding not only the ear animation E but also a part of the body B (for example, a semicircular part, identification information), character C can be transformed smoothly, and even if transformed, the original character will remain the same.
- a part of the design that gave the product its distinctiveness
- continuity and visibility of identification can be maintained, and the sense of discomfort caused by transformation can be reduced.
- the part added to avatar AB is not limited to the ear animation E and a part of the body B, and may be only the ear animation E. Further, the part added to the avatar AB may be a base body, a support body, etc. having the ear animation E, such as a hat or headphones having the ear animation E.
- the hat can have various shapes (top hat, baseball cap, crown, helmet, etc.). The hat form makes it possible to identify avatar AB.
- the hat may display textual information, a name, a nickname, an attribute, a mark, or an identifying NFT. This further improves the identifiability of avatar AB.
- ear animation E including part of body B and hat
- the function of ear animation E can be maintained even when avatar AB is used.
- ear animation E including part of body B and hat
- NFT Non-Fungible Token
- the character C is not limited to the humanoid avatar AB, but may be applied to "things” such as cars and displays that do not have facial expressions.
- the character C may not be a “thing” but may be a design such as an NFT, a mark such as a brand, a video, an image, text information, and an ear animation E added thereto. In this way, if the object or the like including the ear animation E has a certain role or effect as a specific group, attribute, or identification display, it can be widely applied as the character C.
- Another method for displaying the display part on body B is to display the display part on body B from the normal state of character C (state where the display part is not displayed).
- An animation may be displayed.
- the normal state of character C hereinafter also referred to as "first form”
- the state in which the display section is displayed on body B hereinafter also referred to as "second form”
- Animation AM such as smoke, clouds, and a tornado (whirlwind) may be displayed between the two.
- the animation AM only needs to have a different appearance from the first form and the second form, and various animations can be adopted.
- the first form and the second form allow users U1, U2, and U3 to be identified before and after the form changes.
- the identification information name, initial, specific design (NFT, pattern, etc.), brand mark
- the body B can have the same shape as the first form. That is, in the second form, the display portion D is displayed while maintaining the shape of the body B similar to the first form. Further, the first form and the second form can have the same color.
- a face image may be displayed on body B in the second form.
- the display of the face image is performed by, for example, acquiring the face part from an image including the faces of the users U1, U2, and U3 obtained by an imaging device such as a camera through face recognition using AI, and displaying the face part on the body B.
- identification information such as a name may be displayed in a frame portion formed by body B.
- the viewing angle of humans is generally about 120°.
- a clear visual field central visual field
- the viewing angle of the central visual field is 10 degrees at a position 50 cm to 60 cm away from the screen, this corresponds to an area with a diameter of about 8 cm to 10 cm.
- the viewing angle is preferably within 10 degrees. Even if it is difficult to set the viewing angle to 10°, it is preferable to make the viewing angle as small as possible.
- the same color and design as the character C can be used to form a frame around the display section D, or a part of the body B, for example, the upper part, can be used as identification information. It is preferable to display a name, initials, specific design (NFT, pattern, etc.), and brand mark as part of the frame design.
- the ear animation E and the display part D are Since the text information displayed on the screen is displayed in a close position, the viewing angle becomes small. Therefore, visibility is improved and information processing becomes easier. As a result, the ear animation E (nonverbal information) and text information can be understood simultaneously. Furthermore, in a configuration in which the display part D is displayed and integrated with the body B of the character C, the sense of unity between the ear animation E and the text information is improved compared to a configuration in which the character C and the display window are displayed separately. However, it can also be expected that it will be more familiar and the sense of dynamism will be improved.
- the character C in which the ear animation E and the display part D displaying the translated text are integrally displayed can be expected to be used as an application for realizing communication in different languages.
- GX Green Transformation
- transmission capacity reduced energy
- non-verbal expressions are expressed through ear animation E. This is very effective in reducing transmission capacity.
- a still image of the face or the like can be displayed on the body B of the character C, as shown in FIG.
- the character C may be clicked (touched, selected) on the screen G14 on which a plurality of characters C are displayed.
- Screen G14 is a screen displayed during conference activities, for example.
- a participant window W16 in which the character C is displayed and an operation window W17 are displayed on the screen G14.
- the character C participating in the conference is displayed in the participant window W16.
- information for example, "A" to "H" that allows the participant to be identified is displayed.
- a plurality of movement patterns of the ear animation E for the character C are displayed in the operation window W17.
- the ear animation E of the character C of the users U1, U2, and U3 moves in a predetermined pattern.
- a function selection window W18 is displayed near character C, as shown in FIG.
- the function selection window W18 is displayed as a pop-up near the character C like a speech bubble.
- a plurality of functions to be executed by the character C are displayed in the function selection window W18.
- the functions of "presentation”, "self-image”, and "design” are displayed in the function selection window W18.
- display section D (FIG. 54) is displayed on body B.
- the "self-image” function is selected, facial images (videos) of users U1, U2, and U3 are displayed on body B.
- the "self-image” function select the "self-image” function again.
- a screen for setting (changing) the design of character C is displayed. On the design setting screen, the text to be displayed on character C (such as "A"), the color of character C, etc. can be set.
- a display portion D is formed (displayed) on the body B of the character C, as shown in FIG.
- Identification information is displayed on the body B of the character C.
- the character C (“A”) having the display portion D is displayed in an enlarged manner in the participant window W16.
- the other characters C (“B” to “H”) are displayed in a reduced size.
- the other characters C (“B” to “H”) are arranged side by side at the top of the participant window W16, for example. Presentation materials and the like are displayed on the display section D of the body B of the character C.
- a "+” mark M5 and an "x” mark M6 are displayed on body B.
- the display section D can be enlarged or reduced.
- the "x" mark M6 is clicked, the display of the display section D of the body B ends. In this case, the display returns to the participant window W16 shown in FIG. 52.
- the function selection window W18 is displayed and the display section D is displayed on the body B of the character C by clicking "Presentation" in the function selection window W18.
- the method of displaying the display portion D on the body B of the character C may be any other method.
- the display section D may be displayed based on the voices of the users U1, U2, and U3. Specifically, when the users U1, U2, and U3 start talking, the display portion D may be automatically displayed on the body B of the character C. In this case, if the display part D is displayed for all complimentary words such as "Yeah hi" and "I see", the screen display will change frequently, which may make the users U1, U2, and U3 feel uncomfortable.
- the display unit D may be set to be displayed on the body B when the users U1, U2, and U3 continuously speak for 5 seconds or more.
- display section D may be displayed on body B of character C when the space bar of a keyboard or the like is pressed.As described above, display section D on body B may be displayed as follows. This can be done manually at an operational level that does not interfere with dialogue, or by automation depending on the situation.
- the operation of character C may be performed by AI.
- One or more characters C are displayed in the virtual space R, and at least one of the one or more characters C is operated by AI.
- a display window (display unit) W21 (see FIG. 56) corresponding to the character C operated by the AI may be displayed.
- the display window W21 displays at least one of a text generated by AI, a still image related to the text, a video related to the text, a sentence related to the text, and site information related to the text.
- the character C may output a voice corresponding to the text generated by the AI.
- the character C moves as follows, for example.
- the AI understands the input text and/or voice of the communication partner
- the AI operates the character C so that the ear animation E of the character C performs a nodding motion (pattern B in FIG. 5).
- the AI operates the character C so that the ears of the character C repeatedly become entangled in the ear animation E (pattern E in FIG. 5).
- the AI completes the process (results, etc. are obtained)
- the AI moves the character C so that the ear animation E of the character performs an action that makes one imagine an exclamation mark (!) (see Figure 59). Operate C.
- the AI If the AI cannot respond, the AI operates the character C so that the ear animation E of the character C repeatedly bends the ears deeply (pattern C in FIG. 5). If the communication partner understands and agrees, the AI operates the character C so that the ears of the character C's ear animation E clap.
- FIG. 55 An example of a form in which the AI operates the character C will be described.
- a participant window W19 in which the character C is displayed and an operation window W20 are displayed on the screen G15.
- the character C participating in the conference is displayed in the participant window W19.
- information that can identify the participant for example, "A” to "E", "AI" is displayed.
- a plurality of movement patterns of the ear animation E for the character C are displayed in the operation window W20.
- a display window (display unit) W21 is displayed near the AI character C, and a text window W22 is also displayed.
- the display window W21 is a display unit corresponding to the AI character C, and is displayed in a manner that allows the user to recognize that the AI character C and the display window W21 correspond.
- the display window W21 is displayed below the AI character C.
- Text can be input into the text window W22. Examples of text input methods include keyboard input, handwritten input, and voice input.
- text such as "What is it?" is displayed in display window W21.
- the user inputs text (for example, "Please tell me about ⁇ ") into the input window W23.
- Examples of text input methods include keyboard input, handwritten input, and voice input.
- the ear animation E of the questioner's character C performs an action in which the ears become entangled.
- the ear animation E of the AI character C performs a nodding motion. Note that the ear animation E of the AI character C at this time may be a motion of shaking from side to side.
- the ear animation E of the AI character C repeatedly performs an intertwining motion.
- the ear animation E of the AI character C performs an action reminiscent of an exclamation mark (!).
- the display window W21 displays an answer to the text (question) input in the input window W23.
- the display window W21 may display still images related to the text, videos related to the text, sentences related to the text, site information related to the text, and the like.
- the display window W21 may display a text and a translated text corresponding to the text, or a translated text of the text.
- audio corresponding to the text displayed in the display window W21 may be output.
- the ear animation E of the AI character C repeatedly makes the ears bend deeply.
- the screen changes to screen G19, as shown in FIG. 60.
- a text window W22 is displayed on the screen G19.
- the AI character C is one is described as an example, but the AI character C may be two or more.
- the users U1, U2, and U3 can click on the AI character C for which they want an answer.
- the display window (display unit) W21 is displayed below the AI character C.
- the form of the display section corresponding to the AI character C is not limited to this.
- the character C and the display section may be displayed separately, or as shown in pattern B of FIG. 61, the display section and the ear animation may be integrated.
- the display section and the character may be integrated (a part of the character's body may be the display section), or pattern D in FIG.
- the display unit and the character whose body has been deformed may be integrated.
- the interaction between the AI character C and the questioner character C is displayed in a chat format.
- the communication between the AI character C and the questioner character C may be as shown in FIG. 39.
- the character C of the dialogue partner the AI character C or the characters C of the users U1, U2 , click on the character C
- the character C of the dialogue partner is the character C of the user U1, U2, or U3, the content input into the input window W23 is transmitted to the AI.
- the ear animation E may have a function of automatically recording and playing back a certain period of time before and after the movement of the ear animation E as a signal, and displaying time position information, etc.
- the recording start position (time) using the movement of the ear animation E as a signal is the ear animation E. It is preferable that this occurs before the operation of E, for example, 5 seconds before.
- the recording end position (time) can be a certain period of time (for example, 15 seconds) after the movement of the ear animation E.
- the recording end position may be determined by the operations of the users U1, U2, and U3, or the recording may be extended manually.
- recording may be performed at timings (positions and times at which sticky notes are attached) set by the users U1, U2, and U3 during classes and the like.
- a display program that controls the display of activities in a virtual space using a character that can be operated by a user and that has an animation imitating ears that moves in response to the user's operations, the display program comprising: displaying a first screen including the character and content based on the content of the activity; A display program that causes a computer to execute a step of transitioning a display to a second screen different from the first screen in accordance with an action of the character.
- Additional note 2 Displaying a plurality of display areas in the virtual space, The display program according to supplementary note 1, which causes the content to be displayed in at least one of the plurality of display areas.
- the plurality of display areas are a first display area that displays the character who is the leader of the activity; a second display area for displaying the character who becomes a participant in the activity,
- the display program according to supplementary note 2, wherein the size of the character displayed in the first display area is displayed larger than the size of the character displayed in the second display area.
- the plurality of display areas are When the animation of the character of the participant performs an action indicating a raised hand, the character is displayed moving from the second display area, and the output of the voice of the character in the virtual space is regulated.
- a third display area At least one of the characters displayed in the third display area may be moved from the third display area and displayed, and the voice of the character may be output in the virtual space.
- a fourth display area The display program according to supplementary note 3, which enables output of the character's voice in the fourth display area in response to the character moving from the third display area to the fourth display area.
- Appendix 5 The display program according to appendix 2 or 3, wherein each of the plurality of display areas can change at least one of a size and a position in the virtual space.
- Appendix 6 The display program according to appendix 3 or 4, wherein the characters displayed in the second display area are displayed in a distinguishable manner based on attributes of the user.
- (Appendix 12) The display program according to supplementary note 11, which displays the user who operates the display unit in an identifiable manner.
- Appendix 13 After the character is dragged and dropped onto the display section, if an operation to drag and drop the character displayed on the display section to an area other than the display section is received, the predetermined The display program according to appendix 11, which terminates execution of the function of.
- Appendix 14 The display program according to appendix 9 or 10, which displays an operation screen for operating display content on the display unit when a predetermined operation from the user on the display unit is received.
- (Appendix 15) The display program according to appendix 8 or 10, which displays the character of the user who performs the input so as to be distinguishable from other characters.
- a display method for controlling the display of activities in a virtual space using a character that can be operated by a user and that has an animation imitating an ear that moves in response to the user's operation comprising: displaying a first screen including the character and content based on the content of the activity; A display method comprising the step of transitioning the display to a second screen different from the first screen in accordance with the action of the character.
- a display system that controls the display of activities in a virtual space using a character that can be operated by a user, and in which an animation imitating an ear moves in response to the user's operation, the display system comprising: displaying a first screen including the character and content based on the content of the activity; A display system that transitions a display to a second screen different from the first screen according to the action of the character.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
表示プログラムは、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、をコンピュータに実行させ、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
Description
本開示の一側面は、表示プログラム、表示方法及び表示システムに関する。
本出願は、2022年8月4日出願の日本出願第2022-124758号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
本出願は、2022年8月4日出願の日本出願第2022-124758号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
特開2015-38725号公報(特許文献1)は、顔画像を生成する発話アニメーション生成装置を開示する。この発話アニメーション生成装置は、予め用意された音響モデル、言語モデル、及び複数の音素と複数の視覚素との間の対応表を使用して、音声信号に対して音声認識を漸次的に行って視覚素系列を生成する。発話アニメーション生成装置はさらに、生成した視覚素系列を平滑化して複数の視覚素ごとの混合重みを生成し、複数の視覚素ごとの混合重みに従って、複数の視覚素それぞれに対応する複数の顔モデルを混合することにより、顔画像を生成する。
本開示の一実施形態に係る表示プログラムは、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、をコンピュータに実行させ、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
[本開示が解決しようとする課題]
近年、メタバース等、仮想空間においてアバター等のキャラクタを用いたサービスが提供されている。このような仮想空間におけるキャラクタの活動においては、ユーザの利便性の向上が求められている。
近年、メタバース等、仮想空間においてアバター等のキャラクタを用いたサービスが提供されている。このような仮想空間におけるキャラクタの活動においては、ユーザの利便性の向上が求められている。
本開示は、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる表示プログラム、表示方法及び表示システムを提供することを目的とする。
[本開示の効果]
本開示によれば、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる。
本開示によれば、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる。
[本開示の実施形態の説明]
最初に、本開示の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
最初に、本開示の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
(1)本開示の一側面に係る表示プログラムは、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、をコンピュータに実行させ、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
本開示の一側面に係る表示プログラムでは、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面において、キャラクタの動作に係る操作を行った場合には、それに応じて、第一画面のキャラクタに対応するキャラクタを含む第二画面に表示が遷移される。そのため、表示プログラムでは、ユーザの意図する操作により動作するキャラクタの動き応じた画面遷移を行うことができる。すなわち、表示プログラムでは、ユーザの意図する操作に応じて画面が遷移する。したがって、表示プログラムでは、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる。
(2)上記(1)の表示プログラムにおいて、仮想空間において、複数の表示領域を表示させ、複数の表示領域の少なくとも一部には、キャラクタが表示され、キャラクタが表示される複数の表示領域のそれぞれは、キャラクタの属性に対応して区分されており、表示領域毎にキャラクタの形態を変化させてもよい。この構成では、例えば、一つの表示領域においては、コンテンツについて説明等を行う主導者のキャラクタのサイズを大きく表示すること等ができる。そのため、説明等を理解し易くなる。
(3)上記(1)又は(2)の表示プログラムにおいて、仮想空間において、複数の表示領域を表示させ、複数の表示領域の少なくとも一部には、キャラクタが表示され、キャラクタが表示される複数の表示領域は、仮想空間におけるキャラクタの音声の出力が規制される表示領域と、空間におけるキャラクタの音声を出力可能な表示領域と、を含んでいてもよい。この構成では、表示領域において音声の出力のオンオフが自動で切り替わるため、オンオフの作業を行う手間を省略できる。
(4)上記(2)又は(3)の表示プログラムにおいて、表示領域に表示されるキャラクタは、ユーザの属性に基づいて区別可能に表示されてもよい。この構成では、活動に参加しているユーザの属性を一見して確認(把握)することができる。
(5)上記(2)~(4)のいずれか一つの表示プログラムにおいて、複数の表示領域において、一の表示領域に表示されるキャラクタの音声と、他の表示領域に表示されるキャラクタの音声とが互いに聞こえないようにしてもよい。この構成では、表示領域毎にキャラクタが会話をすることができる。
(6)上記(2)~(5)のいずれか一つの表示プログラムにおいて、第一画面においてキャラクタを一の表示領域から他の表示領域にドラッグ・アンド・ドロップする操作を受け付けた場合、第二画面において一の表示領域と他の表示領域とにおけるキャラクタの表示を変更させてもよい。この構成では、キャラクタをドラッグ・アンド・ドロップするという、キャラクタの移動を伴う操作を行うことによって、キャラクタの表示が変更される。そのため、キャラクタの移動時間感覚、移動動作において、参加する気持ち、新しいシーン切り替え等への感情移入がし易くなる効果が期待できる。
(7)上記(1)~(6)のいずれか一つの表示プログラムにおいて、ユーザから所定の操作を受け付けた場合、複数のキャラクタの正面又は背面の向きを一括して変更して表示させてもよい。この構成では、複数のキャラクタの正面又は背面の向きを容易に変更することができる。
(8)上記(1)~(7)のいずれか一つの表示プログラムにおいて、第一画面におけるユーザによる所定操作及び音声入力の少なくとも一つにより、第二画面のキャラクタの一部に表示部を表示させてもよい。この構成では、キャラクタに表示部を表示させることができる。そのため、キャラクタの表示部において、キャラクタのプレゼンテーションに使用する資料等や、キャラクタの会話の翻訳文等を表示させることができる。
(9)上記(8)の表示プログラムにおいて、表示部には、キャラクタの音声をテキスト化した会話テキスト、会話テキストの翻訳文、及び、表示部の表示内容の翻訳文の少なくとも一つが表示されてもよい。この構成では、異なる言語間でのコミュニケーションが可能となる。
(10)上記(8)又は(9)の表示プログラムにおいて、表示部には、キャラクタの音声及びテキスト入力の少なくとも一方に基づくAIの使用によって、必要な図、文章、音楽、動画、静止画及びサイトの少なくとも一つが表示されてもよい。この構成では、キャラクタによる説明をより理解し易くなる。
(11)上記(1)の表示プログラムにおいて、仮想空間において、コンテンツを表示する表示部を表示させてもよい。この構成では、コンテンツが表示部に表示されるため、コンテンツを認識し易くなる。
(12)上記(11)の表示プログラムにおいて、表示部に、ユーザから入力された入力内容を表示させてもよい。この構成では、コンテンツに対する意見等を表示に表示させることができる。
(13)上記(11)又は(12)の表示プログラムにおいて、表示部に対してキャラクタをドラッグ・アンド・ドロップする操作を受け付けた場合、表示部において所定の機能が実行されてもよい。この構成では、キャラクタをドラッグ・アンド・ドロップするという、キャラクタの移動を伴う操作を行うことによって、キャラクタの移動時間感覚、移動動作において、参加する気持ち、新しいシーン切り替え等への感情移入がし易くなる効果が期待できる。
(14)上記(13)の表示プログラムにおいて、表示部に対してキャラクタがドラッグ・アンド・ドロップされた後、表示部に表示されているキャラクタを表示部以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、所定の機能の実行を終了させてもよい。この構成では、キャラクタをドラッグ・アンド・ドロップする簡易な操作によって、所定の機能を終了させることができる。
(15)上記(11)~(14)のいずれか一つの表示プログラムにおいて、表示部に対するユーザからの所定の操作を受け付けた場合、表示部における表示内容を操作する操作画面を表示させてもよい。この構成では、ユーザによる所定の操作によって、操作画面を容易に表示させることができる。
(16)上記(11)~(15)のいずれか一つの表示プログラムにおいて、キャラクタのサイズの変更が可能であり、仮想空間に表示される複数のキャラクタのうち、一のキャラクタのサイズが変更された場合、他のキャラクタのサイズも同様に変更してもよい。この構成では、全てのキャラクタのサイズが同様に変更されるため、仮想空間において一体感のある活動を実現することができる。
(17)上記(1)の表示プログラムにおいて、仮想空間において、コンテンツを表示するコンテンツ表示部と、キャラクタの音声をテキスト化した会話テキストを表示するテキスト表示部と、少なくとも二つのキャラクタとを表示させてもよい。この構成では、例えば、活動がカウンセリングである場合において、カウンセリングの目的となるコンテンツ(相談内容等)や会話の内容を確認しながら、カウンセリングを進めることができる。
(18)上記(17)の表示プログラムにおいて、テキスト表示部に表示される会話テキストに対するユーザからの操作を受け付けた場合、当該会話テキストをコンテンツ表示部に表示させてもよい。この構成では、例えば、ユーザが会話テキストをクリックしたり、ドラッグ・アンド・ドロップしたりした場合には、会話テキストがコンテンツ表示部に表示される。これにより、会話において発生した新たな事項や、重要な事項等をコンテンツ表示部に表示させることができる。そのため、カウンセリングをより有効なものとすることができる。
(19)上記(17)又は(18)の表示プログラムにおいて、キャラクタの配置及びサイズの変更が可能であり、仮想空間に表示される二つのキャラクタのうち、一方のキャラクタの配置又はサイズが変更された場合、他方のキャラクタの配置又はサイズも一方のキャラクタの配置又はサイズに応じて変更してもよい。この構成では、二つのキャラクタの配置又はサイズが一つのキャラクタの配置又はサイズに応じて変更されるため、仮想空間において一体感のある活動を実現することができる。
(20)上記(11)の表示プログラムにおいて、一又は複数のキャラクタが配置されると共に、仮想空間において移動可能に設けられている一又は複数の移動体を表示させてもよい。この構成では、仮想空間において、キャラクタを移動体に乗せて移動させることができる。これにより、例えば、観光、美術館鑑賞等の活動を、移動体に乗りながら行うことができる。
(21)上記(20)の表示プログラムにおいて、複数の移動体のそれぞれに複数のキャラクタが配置される場合において、一の移動体に配置される複数のキャラクタの音声と、他の移動体に配置される複数のキャラクタの音声とが互いに聞こえないようにしてもよい。この構成では、移動体に乗るキャラクタのグループ毎に会話をすることができる。
(22)上記(11)の表示プログラムにおいて、表示部に表示されるコンテンツについての解説を表示させてもよい。この構成では、例えば、活動が美術館鑑賞である場合において、コンテンツである絵画の解説を表示させることができる。
(23)上記(11)の表示プログラムにおいて、仮想空間における活動において、キャラクタのアニメーションを編集可能な映像として出力してもよい。この構成では、活動を映像として作成した後、アニメーションを編集することができる。
(24)上記(1)~(23)のいずれか一つの表示プログラムにおいて、キャラクタの一部にユーザの顔の画像又は映像を表示させてもよい。この構成では、ユーザの顔の表示が必要な場合において、顔を例えば一時的に表示させることができる。
(25)上記(1)~(24)のいずれか一つの表示プログラムにおいて、仮想空間には一又は複数のキャラクタが表示され、一又は複数のキャラクタのうちの少なくとも一つのキャラクタは、AIによって操作されてもよい。この構成では、AIがユーザである場合にも適用できる。
(26)上記(25)の表示プログラムにおいて、AIによって操作されるキャラクタは、AIの操作によって耳を模したアニメーションが動作し、AIによって操作されるキャラクタに対応する表示部が表示され、表示部には、AIによって生成されたテキスト、当該テキストに関連する静止画、当該テキストに関連する動画、当該テキストに関連する文章、当該テキストに関連するサイト情報の少なくとも一つが表示されてもよい。この構成では、AIの状態、状況、及び、コミュニケーション相手の状態、状況に応じて、AIが耳アニメーションを動作させる。このように、非言語情報である耳アニメーションを表示することによって、テキストのみのコミュニケーションよりも、より感情豊かなコミュニケーションを実現できる。また、表示部にAIのテキストに係る情報が表示されるため、キャラクタ(AI)による説明等をより理解し易くなる。
(27)上記(25)又は(26)の表示プログラムにおいて、キャラクタは、AIが生成したテキストに対応する音声を出力してもよい。この構成では、AIの状態等を音声によって認識することができる。
(28)上記(1)~(27)のいずれか一つの表示プログラムにおいて、キャラクタが所定の対象を注視していることを想像させるように、所定の対象の位置に応じてキャラクタを回転動作させてもよい。この構成では、画面推移や、キャラクタの形態、状態、及び機能の少なくとも一つ以上の変化等に対応して、所定の対象を注視(注目)していることを想像させるようにキャラクタが回転動作するため、所定の対象に関心があることを想像させる。キャラクタの回転動作が、視線や姿勢変化と同様な非言語コミュニケーション効果となり、対話に対する積極的な関心を表出する。したがって、対話に対する反応感の向上、臨場感の向上等、豊かなコミュニケーションを実現できる。
(29)本開示の一側面に係る表示方法は、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示方法であって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、を含み、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
本開示の一側面に係る表示方法では、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面において、キャラクタの動作に係る操作を行った場合には、それに応じて、第一画面のキャラクタに対応するキャラクタを含む第二画面に表示が遷移される。そのため、表示方法では、ユーザの意図する操作により動作するキャラクタの動き応じた画面遷移を行うことができる。すなわち、表示方法では、ユーザの意図する操作に応じて画面が遷移する。したがって、表示方法では、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる。
(30)本開示の一側面に係る表示システムは、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示システムであって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させ、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させ、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
本開示の一側面に係る表示システムでは、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面において、キャラクタの動作に係る操作を行った場合には、それに応じて、第一画面のキャラクタに対応するキャラクタを含む第二画面に表示が遷移される。そのため、表示システムでは、ユーザの意図する操作により動作するキャラクタの動き応じた画面遷移を行うことができる。すなわち、表示システムでは、ユーザの意図する操作に応じて画面が遷移する。したがって、表示システムでは、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる。
[本開示の実施形態の詳細]
本開示の実施形態の具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
本開示の実施形態の具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
図1は、表示システム(以下、単に「システム」という場合もある。)の概略構成の例を示す図である。システム100は、ユーザU1,U2,U3が操作可能なキャラクタC(図5のパターンA参照)であって、ユーザU1,U2,U3の操作に応じて耳アニメーションE(図5のパターンA参照)が動作するキャラクタCを用いた仮想空間R(図7参照)における活動を支援するコンピュータシステムである。
キャラクタCは、ユーザU1,U2,U3を示すものである。キャラクタCは、ダイナミックなキャラクタである。キャラクタCは、ユーザU1,U2,U3の実際の像(撮像データ等)とは独立した画像素材によって生成される。画像素材は、アニメーションキャラクタを生成するための素材である。キャラクタCは二次元又は三次元のコンピュータグラフィック(CG)によって描画されてもよい。
一例として、キャラクタCは、ボディB(図5のパターンA参照)及び耳アニメーションEを含んで構成される。キャラクタCでは、ボディBと耳アニメーションEとが一体的に表示される。一体的に表示されるとは、キャラクタCを見たときに、視覚的にボディBと耳アニメーションEとが一つのまとまりとして認識されることを意味する。すなわち、一体的に表示されるとは、ボディBと耳アニメーションEとが結びついている(対応している)ことを一見して認識できる状態であればよい。そのため、一体的に表示されるとは、ボディBと耳アニメーションEとが接触している状態であってもよいし、ボディBと耳アニメーションEとが離隔している状態であってもよい。
ボディBは、ユーザを示す画像及びユーザを示すテキストの少なくとも一方を含んでいてもよい。キャラクタCには、影が表示され得る。ボディBは、球状を呈しており、ユーザを識別可能なテキスト(「A」、「B」、「C」)を含んでいてもよい。キャラクタCは、発話アニメーション(図示省略)を含んで構成されていてもよいし、腕や足等を模したアニメーションを含んで構成されていてもよい。
耳アニメーションEは、非言語情報を表現するアニメーションである。耳アニメーションEは、ユーザの状態(動作)、感情を示すアニメーションである。耳アニメーションEは、ユーザの状態を、ユーザの実際の動作部位とは異なる形態で表現したアニメーションである。耳アニメーションEは、動的に変化する顔表情を含まなくてもよいし、動的に変化する顔表情を含んでいてもよい。耳アニメーションEは、ボディBの表示領域の外側に表示領域から突出するように表示される。耳アニメーションEは、動物(例えば、うさぎ等)の耳を模したアニメーションであり、ユーザの状態の変化に応じて動作する。耳アニメーションEは、ユーザの動作に応じて動作する。耳アニメーションEは、例えば、伸縮、折り曲げ、揺動等の動作をする。耳アニメーションEは、変形自在であり、ユーザU1,U2,U3の状態に対応して、ユーザU1,U2,U3の状態を想起させるような視覚的変形をする。
システム100では、キャラクタCの耳アニメーションEによって、ユーザU1,U2,U3の状態、感情、リアクション等を確認することができる。
<システムの構成>
システム100は、端末10、端末20及び端末30を含む。図1に示される例では、端末10は、ユーザU1が使用するラップトップ型のパーソナルコンピュータ(PC)である。端末20は、ユーザU2が使用する携帯電話機(スマートフォン等)である。端末30は、ユーザU3が使用するデスクトップ型のPCである。端末10、端末20及び端末30は、ネットワークNに接続可能である。この例では、端末10はアクセスポイントAPを介して、端末20は基地局BSを介して、端末30は有線(不図示)により、それぞれネットワークNに接続される。端末10、端末20及び端末30には、上述のPC、携帯電話機以外にも、タブレット端末、ウェアラブル端末、ヘッドマウントディスプレイ(HMD)端末、その他さまざまな端末が用いられてよい。なお、システム100に含まれる端末の数は、図1の例に限定されない。
システム100は、端末10、端末20及び端末30を含む。図1に示される例では、端末10は、ユーザU1が使用するラップトップ型のパーソナルコンピュータ(PC)である。端末20は、ユーザU2が使用する携帯電話機(スマートフォン等)である。端末30は、ユーザU3が使用するデスクトップ型のPCである。端末10、端末20及び端末30は、ネットワークNに接続可能である。この例では、端末10はアクセスポイントAPを介して、端末20は基地局BSを介して、端末30は有線(不図示)により、それぞれネットワークNに接続される。端末10、端末20及び端末30には、上述のPC、携帯電話機以外にも、タブレット端末、ウェアラブル端末、ヘッドマウントディスプレイ(HMD)端末、その他さまざまな端末が用いられてよい。なお、システム100に含まれる端末の数は、図1の例に限定されない。
システム100は、サーバ40を含む。サーバ40は、ネットワークNに接続される。したがって、端末10、端末20、端末30及びサーバ40は、ネットワークNを介して互いに通信可能である。なお、システム100に含まれるサーバの数は、図1の例に限定されない。
ネットワークNの構成は限定されない。例えば、ネットワークNは、インターネット(公衆網)、通信キャリアネットワーク、事業者ネットワーク等を含んで構成されてよい。
図2は、端末10、端末20、端末30、及びサーバ40の機能ブロックの例を示す図である。端末20及び端末30の機能ブロックは、端末10の機能ブロックと同様であるので、以下では端末10及びサーバ40について説明する。はじめに端末10について説明し、次にサーバ40について説明する。
<端末の構成>
端末10は、入力部11を含む。入力部11は、ユーザU1の音声データ及び画像データが入力される部分である。入力部11は、ユーザU1の映像データが入力されてもよい。映像は、ユーザU1の音声データ及び画像データを含む。
端末10は、入力部11を含む。入力部11は、ユーザU1の音声データ及び画像データが入力される部分である。入力部11は、ユーザU1の映像データが入力されてもよい。映像は、ユーザU1の音声データ及び画像データを含む。
端末10は、制御部12を含む。制御部12は、ユーザU1の制御データを生成する部分である。ユーザU1の制御データは、操作装置50から出力された動作データに基づいて生成される。本実施形態では、例えば、制御データとして、キャラクタCの耳アニメーションEを、「うなずき」、「同意」「賞賛(拍手)」、「質問」、「挙手」及び「驚き」の6つの動作をさせるデータを生成し得る。制御部12は、他の動作(例えば、「YES」、「NO」を示す動作)についての制御データを生成してもよい。
制御データは、動作データに対応付けられている。本実施形態では、例えば、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置50から送信されるデータである。制御部12は、動作データが制御データに対応している場合、制御データを生成する。
制御データは、入力部11に入力されたユーザU1の音声データ及び画像データに基づいて生成されてもよい。画像データは、連続する複数の単位フレームによって構成される。単位フレームは、通常、ユーザU1の画像情報を含む。例えば60フレーム/秒の画像データは、一秒間に60個の単位フレームを含む。制御部12による制御データの生成の詳細については後述する。
制御部12は、制御データに基づいて、キャラクタCの動作を制御する部分でもある。制御部12は、生成した制御データ及び受信した制御データに基づいて、仮想空間RにキャラクタCを表示させると共に、キャラクタCの耳アニメーションEの動作を制御する。
制御部12は、仮想空間Rの映像データを生成する。仮想空間Rの映像データは、制御データに基づいて制御されるキャラクタCの映像データを含む。この他に、仮想空間Rに現れるさまざまなオブジェクトが、仮想空間Rの映像データに含まれてもよい。制御部12による仮想空間Rの生成手法は特に限定されず、公知の種々の手法を用いることができる。制御部12は、例えば、カメラによる撮影画像に基づいて、仮想空間Rの映像データを生成してもよい。あるいは、制御部12は、3次元CADデータに基づいて、仮想空間Rの映像データを生成してもよい。
端末10は、記憶部13を含む。記憶部13は、端末10の制御(処理)に必要な情報を記憶する部分である。図2には、記憶部13に記憶される情報として、端末プログラム13Pが例示される。端末プログラム13Pは、端末10を動作させるためのプログラムであり、制御部12による制御等が実行されるようにコンピュータを動作させる。システム100が表示システムであるので、端末プログラム13Pは、表示プログラムともいえる。
端末10は、通信部14を含む。通信部14は、ネットワークN(図1参照)を介して、端末10の外部装置と通信する部分である。端末10の外部装置の例は、端末20、端末30、サーバ40及び操作装置50である。通信部14は、音声データ及び制御部12が生成した制御データをサーバ40に送信したり、音声データ及び制御データをサーバ40から受信したりする。通信部14は、操作装置50と通信する部分である。通信部14は、動作データを操作装置50から受信する。
端末10は、出力部15を含む。出力部15は、仮想空間Rの映像を出力する。仮想空間Rの映像は、制御部12によって生成された仮想空間Rの映像データに基づく映像である。
<サーバの構成>
サーバ40は、制御部42を含む。制御部42は、サーバ40の動作を制御する。サーバ40は、記憶部43を含む。記憶部43は、サーバ40の制御に必要な情報を記憶する部分である。図3には、記憶部43に記憶される情報として、サーバプログラム43P及び受信データ43Sが例示される。サーバプログラム43Pは、サーバ40を動作させるためのプログラムであり、制御部42による制御等が実行されるようにコンピュータを動作させる。受信データ43Sは、端末10、端末20及び端末30からサーバ40に送られるデータであり、端末10、端末20及び端末30が生成した制御データを含み得る。
サーバ40は、制御部42を含む。制御部42は、サーバ40の動作を制御する。サーバ40は、記憶部43を含む。記憶部43は、サーバ40の制御に必要な情報を記憶する部分である。図3には、記憶部43に記憶される情報として、サーバプログラム43P及び受信データ43Sが例示される。サーバプログラム43Pは、サーバ40を動作させるためのプログラムであり、制御部42による制御等が実行されるようにコンピュータを動作させる。受信データ43Sは、端末10、端末20及び端末30からサーバ40に送られるデータであり、端末10、端末20及び端末30が生成した制御データを含み得る。
サーバ40は、通信部44を含む。通信部44は、ネットワークN(図1参照)を介して、サーバ40の外部装置と通信する部分である。サーバ40の外部装置の例は、端末10、端末20及び端末30である。通信部44は、ユーザU1の制御データ、ユーザU2の制御データ及びユーザU3の制御データを端末10、端末20及び端末30からそれぞれ受信したり、端末10、端末20及び端末30が生成した制御データを端末10、端末20及び端末30のそれぞれに送信したりする。
<ハードウェア構成>
端末10及びサーバ40の各機能部分に関するハードウェア構成の例を説明する。サーバ40の通信部44は、ネットワークNにアクセスできるように、ネットワークカード又は無線通信デバイスを用いて構成され得る。サーバ40の制御部42は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部42は、プロセッサ、クロック、内蔵メモリ、記憶部43及び通信部44を集積した一つのハードウェア(SoC:System On a Chip)として構成されてもよい。制御部42は、サーバプログラム43Pに基づいて動作することで、サーバコンピュータをサーバ40として動作させる。サーバ40の記憶部43は、フラッシュメモリ、ハードディスク、SSD(Solid State Disk)等の不揮発性記憶媒体を用いて構成され得る。
端末10及びサーバ40の各機能部分に関するハードウェア構成の例を説明する。サーバ40の通信部44は、ネットワークNにアクセスできるように、ネットワークカード又は無線通信デバイスを用いて構成され得る。サーバ40の制御部42は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部42は、プロセッサ、クロック、内蔵メモリ、記憶部43及び通信部44を集積した一つのハードウェア(SoC:System On a Chip)として構成されてもよい。制御部42は、サーバプログラム43Pに基づいて動作することで、サーバコンピュータをサーバ40として動作させる。サーバ40の記憶部43は、フラッシュメモリ、ハードディスク、SSD(Solid State Disk)等の不揮発性記憶媒体を用いて構成され得る。
端末10の入力部11は、マイクロフォン、カメラ等を用いて構成され得る。マイクロフォンにより、ユーザU1の音声が取得される。すなわち、マイクロフォンは、音声を取得する音声センサの一種である。カメラにより、ユーザU1の画像が取得される。すなわち、カメラは、画像を取得する画像センサの一種である。さらに、入力部11は、キーボード、マウス、タッチパネルの操作デバイスも用いて構成されてよい。端末10の制御部12は、サーバ40の制御部42と同様に構成され得る。制御部12は、端末プログラム13Pに基づいて動作することで、汎用コンピュータを端末10として動作させる。端末10の記憶部13は、サーバ40の記憶部43と同様に構成され得る。端末10の通信部14は、サーバ40の通信部44と同様に構成され得る。端末10の出力部15は、液晶パネル、有機ELパネル等(タッチパネルでもよい)等のディスプレイ装置を用いて構成され得る。さらに、出力部15は、スピーカも用いて構成されてよい。
<操作装置の構成>
図3は、操作装置50の斜視図である。図3では、操作装置50がユーザU1,U2,U3の指Fによって操作されている状態を示す図である。操作装置50は、ユーザU1,U2,U3によって操作される装置である。ユーザU1,U2,U3による操作装置50の操作によって、耳アニメーションEが動作する。操作装置50は、タッチパッドである。タッチパッドの方式としては、静電容量方式、感圧タッチ式、超音波方式等を採用することができる。
図3は、操作装置50の斜視図である。図3では、操作装置50がユーザU1,U2,U3の指Fによって操作されている状態を示す図である。操作装置50は、ユーザU1,U2,U3によって操作される装置である。ユーザU1,U2,U3による操作装置50の操作によって、耳アニメーションEが動作する。操作装置50は、タッチパッドである。タッチパッドの方式としては、静電容量方式、感圧タッチ式、超音波方式等を採用することができる。
操作装置50は、ハードウェア構成として、本体51を備えている。本体51は、操作面51Aを有する。操作装置50は、ユーザU1,U2,U3の手Hの指Fによって操作される。操作装置50は、単体で設けられていてもよいし、テレビディスプレイ等を操作するリモコンの一部に設けられていてもよい。すなわち、操作装置50は、機器の一部であってもよい。
図4は、操作装置50の機能ブロックの例を示す図である。図4に示されるように、操作装置50は、通信部52を含む。通信部52は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、LAN、Bluetooth(登録商標)、Wifi等である。外部装置の例は、端末10、端末20及び端末30である。通信部52は、制御部54から出力された動作データを端末10、端末20及び端末30に送信する。
操作装置50は、入力部53を含む。入力部53は、操作面51AにおけるユーザU1,U2,U3の操作を入力する部分である。入力部53は、ユーザU1,U2,U3による操作面51Aの操作(ジェスチャ)を検出する。操作としては、クリック、タップ、スライド、スクロール等が挙げられる。入力部53は、操作信号を制御部54に出力する。
操作装置50は、制御部54を含む。制御部54は、入力部53の操作信号に基づいて、動作データを生成する。制御部54は、動作データを通信部52に出力する。
制御部54は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部54は、プロセッサ、クロック、内蔵メモリ、通信部52を集積した一つのハードウェア(SoC:System On a Chip)として構成されてもよい。
操作装置50は、バッテリ55を含む。バッテリ55は、操作装置50の各部に電力を供給する。
続いて、キャラクタCの耳アニメーションEを、例えば、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザU1,U2,U3による操作装置50の操作について説明する。すなわち、キャラクタCの耳アニメーションEの動作と、操作装置50によって検出されるユーザU1,U2,U3の動作との関係について説明する。耳アニメーションEの動作と、耳アニメーションEを動作させるためのユーザU1,U2,U3の指Fの動作とは類似(関連)している。例えば、「うなずき」の耳アニメーションEを動作させる場合には、うなずく動作に似た動作を操作装置50の操作面51A上で指Fによって行う。すなわち、ユーザU1,U2,U3は、動作させたい耳アニメーションEと似た動作を操作装置50において行うことで、耳アニメーションEを動作させることができる。
図5は、耳アニメーションEの動作の一例を示す図である。図5のパターンAでは、耳アニメーションEの通常時を示している。
図5のパターンBでは、耳アニメーションEにおける「うなずき」の動作を示している。図5のパターンBに示されるように、「うなずき」の動作では、キャラクタCの耳アニメーションEにおいて、耳の上部1/2部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、操作装置50の本体51の操作面51Aを二本の指F(例えば、人差し指、中指)でタッチする。或いは、ユーザU1,U2,U3は、操作面51Aに二本の指Fをタッチさせた状態で、二本の指Fをスライドさせる。指Fをスライドさせるスライド量は、例えば、1cm~2cmである。
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「うなずき」として動作させる制御データを生成する。
図5のパターンCでは、耳アニメーションEにおける「同意」の動作を示している。「同意」の動作では、キャラクタCの耳アニメーションEにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指、中指)をタッチさせた状態で、二本の指Fをスライドさせる。指Fをスライドさせるスライド量は、例えば、2cmよりも長く、例えば、3cm~4cmである。すなわち、「同意」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、「うなずき」の動作を耳アニメーションEに実行させる場合よりも、指Fのスライド量を長くする。
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「同意」として動作させる制御データを生成する。
図5のパターンDでは、耳アニメーションEにおける「拍手(賞賛)」の動作を示している。「拍手(賞賛)」の動作では、キャラクタCの耳アニメーションEにおいて、耳が近づいたり離れたりする。「拍手(賞賛)」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、親指と人差し指、又は、人差し指と中指)をタッチさせた状態で、二本の指Fを近接(接触)させたり離間させたりする。
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「拍手(賞賛)」として動作させる制御データを生成する。端末10,20,30の制御部12は、二本の指Fを近接させたり離間させたりする一回の動作に係る動作データに対して、複数回拍手するように制御データを生成してもよい。
図5のパターンEでは、耳アニメーションEにおける「質問」の動作を示している。「質問」の動作では、キャラクタCの耳アニメーションEにおいて、耳が絡まる。「質問」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指と中指)をタッチさせた状態で、円(半円)を描くようにスライドさせる。なお、「質問」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3が操作面51Aに二本の指F(例えば、人差し指と中指)をタッチさせた状態で、∞(無限)を描くようスライドさせてもよい。
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「質問」として動作させる制御データを生成する。
図5のパターンFでは、耳アニメーションEにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタCの耳アニメーションEにおいて、耳が伸びる。「挙手」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指、中指)をタッチさせた状態で、一方の指F(中指)のみを上方にスライドさせる。
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「挙手」として動作させる制御データを生成する。
図5のパターンGでは、耳アニメーションEにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタCの耳アニメーションEにおいて、耳の先端が大きくなる。このとき、キャラクタCのボディBが後ろに反る。「驚き」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指、中指)をタッチさせた状態で、二本の指Fを上方にスライドさせつつ離間させる。
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「驚き」として動作させる制御データを生成する。
<耳アニメーションの動作の操作方法>
続いて、キャラクタCの耳アニメーションEの動作の操作方法について説明する。耳アニメーションEを操作する場合には、ユーザU1,U2,U3は、例えば、図5のパターンB、図5のパターンC、図5のパターンD、図5のパターンE、図5のパターンF又は図5のパターンGの何れかに対応する動作を行う。これにより、操作装置50において動作データが生成される。操作装置50は、動作データを端末10,20,30に送信する。
続いて、キャラクタCの耳アニメーションEの動作の操作方法について説明する。耳アニメーションEを操作する場合には、ユーザU1,U2,U3は、例えば、図5のパターンB、図5のパターンC、図5のパターンD、図5のパターンE、図5のパターンF又は図5のパターンGの何れかに対応する動作を行う。これにより、操作装置50において動作データが生成される。操作装置50は、動作データを端末10,20,30に送信する。
端末10,20,30は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末10,20,30の仮想空間Rにおいて、キャラクタCの耳アニメーションEが、「うなずき」、「同意」「賞賛(拍手)」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザU1,U2,U3による操作装置50の操作により、キャラクタCの耳アニメーションEの動作を操作する。
<仮想空間での活動>
続いて、制御部12によって生成される映像データに基づいて表示される仮想空間RにおけるキャラクタCの活動について説明する。仮想空間Rでは、キャラクタCの活動が行われる。仮想空間Rでは、キャラクタC同士(ユーザU1,U2,U3同士)が会話をしたり、コミュニケーションを取ったりすることができる。仮想空間Rには、キャラクタCと、キャラクタCの活動の内容に基づくコンテンツと、が表示される。仮想空間Rでは、キャラクタCの動作に基づいて、画面が遷移する。すなわち、仮想空間での活動では、キャラクタCと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタCの動作に応じて、第一画面とは異なる第二画面に表示を遷移させるステップと、をコンピュータに実行させる。
続いて、制御部12によって生成される映像データに基づいて表示される仮想空間RにおけるキャラクタCの活動について説明する。仮想空間Rでは、キャラクタCの活動が行われる。仮想空間Rでは、キャラクタC同士(ユーザU1,U2,U3同士)が会話をしたり、コミュニケーションを取ったりすることができる。仮想空間Rには、キャラクタCと、キャラクタCの活動の内容に基づくコンテンツと、が表示される。仮想空間Rでは、キャラクタCの動作に基づいて、画面が遷移する。すなわち、仮想空間での活動では、キャラクタCと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタCの動作に応じて、第一画面とは異なる第二画面に表示を遷移させるステップと、をコンピュータに実行させる。
仮想空間RにおけるキャラクタCの内容としては、例えば、講義、講演、研修、会議、報告会、カウンセリング、相談、エンターテイメント、観光、映像作成等が挙げられる。システム100では、内容毎にアプリケーション(ソフトウェア)が構成されていてもよいし、一つのアプリケーションに複数の内容が含まれていてもよい。一つのアプリケーションに複数の内容が含まれる場合には、端末10,20,30の出力部15に活動を選択する画面が表示され得る。例えば、図6に示されるように、選択画面G1には、複数の活動(活動1、活動2、活動3、活動4、活動5、活動6)のそれぞれについて、選択ボタンが表示される。活動1、活動2、活動3、活動4、活動5及び活動6は、後述する各活動に対応している。
(活動1)
活動1は、講義、研修会、講演会等である。以下では、講義を一例に説明する。講義では、教授(先生、講師)及び学生(生徒)のキャラクタCが参加し得る。図7に示されるように、講義の仮想空間Rの映像が表示される画面G2には、司会者ウィンドウ(表示領域)W1、プレゼンターウィンドウ(表示領域)W2、参加者ウィンドウ(表示領域)W3及び資料ウィンドウ(表示領域)W4が表示される。
活動1は、講義、研修会、講演会等である。以下では、講義を一例に説明する。講義では、教授(先生、講師)及び学生(生徒)のキャラクタCが参加し得る。図7に示されるように、講義の仮想空間Rの映像が表示される画面G2には、司会者ウィンドウ(表示領域)W1、プレゼンターウィンドウ(表示領域)W2、参加者ウィンドウ(表示領域)W3及び資料ウィンドウ(表示領域)W4が表示される。
司会者ウィンドウW1には、講義の司会者となるキャラクタCが表示される。司会者ウィンドウW1は、例えば、画面G2において右側の上部に表示される。講義においては、教授が司会者(主導者)に相当し得る。司会者ウィンドウW1において、キャラクタCは、正面を向くように表示される。すなわち、司会者ウィンドウW1のキャラクタCは、端末10,20,30のユーザU1,U2,U3と対面するように表示される。司会者ウィンドウW1においては、司会者となるユーザU1,U2,U3のカメラ映像(画像)等が表示されてもよい。ユーザU1,U2,U3は、キャラクタCの表示と、カメラ映像の表示との切り替えを行うことができる。
プレゼンターウィンドウW2には、プレゼンターとなるキャラクタCが表示される。プレゼンターウィンドウW2は、例えば、画面G2において左側の上部に表示される。講義においては、教授、学生がプレゼンター(主導者)に相当し得る。すなわち、講義においては、教授は、司会者及びプレゼンターの両方になり得る。プレゼンターウィンドウW2において、キャラクタCは、正面を向くように表示される。プレゼンターウィンドウW2においては、プレゼンターとなるユーザU1,U2,U3のカメラ映像(画像)等が表示されてもよい。ユーザU1,U2,U3は、キャラクタCの表示と、カメラ映像の表示との切り替えを行うことができる。
参加者ウィンドウW3には、講義の参加者であるキャラクタCが表示される。参加者ウィンドウW3は、例えば、画面G2において下部(司会者ウィンドウW1及びプレゼンターウィンドウW2の下部)に表示される。講義においては、学生が参加者に相当し得る。参加者ウィンドウW3におけるキャラクタCの席(位置)は、指定席であってもよいし、自由席であってもよい。キャラクタCの席は、予め設定された所定のパターンに基づいて、参加者ウィンドウW3に入室した順に割り振られてもよい。
参加者ウィンドウW3において、キャラクタCは、背面を向くように表示される。なお、司会者及びプレゼンターの端末10,20,30においては、参加者ウィンドウW3のキャラクタCが正面を向くように表示されてもよい。参加者ウィンドウW3に表示されるキャラクタC音声は、オフにされる。すなわち、参加者ウィンドウW3に表示されるキャラクタCの音声の仮想空間Rにおける出力が規制されている。これにより、例えば教授の進行等が学生の音声によって妨げられることを回避できる。キャラクタCの音声は、ユーザU1,U2,U3の音声であってもよいし、ユーザU1,U2,U3の音声を変換したもの(ボイスチェンジしたもの)であってよい。すなわち、ボイスチェンジ機能を有してもよい。複数のキャラクタCの正面又は背面の向きは、ユーザU1,U2,U3から所定の操作を受け付けた場合、一括して変更して表示させてもよい。
キャラクタCの表示数が多い場合(参加する学生の数が多い場合)には、参加者ウィンドウW3にスクロールバーSBが表示される。スクロールバーSBを操作することによって、参加している全ての学生のキャラクタCを参加者ウィンドウW3において確認することができる。
参加者ウィンドウW3に表示されるキャラクタCには、識別情報が表示されてもよい。識別情報は、例えば、学生番号、名前、イニシャル等であってもよい。参加者ウィンドウW3のキャラクタCは、司会者ウィンドウW1及びプレゼンターウィンドウW2のキャラクタCよりもサイズが小さく表示される。言い換えれば、司会者ウィンドウW1及びプレゼンターウィンドウW2のキャラクタCは、参加者ウィンドウW3のキャラクタCよりも大きく表示される。
資料ウィンドウW4には、資料等が表示される。資料等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、講義において資料ウィンドウW4に表示される資料等は、キャラクタCの講義の受講という活動において、講義の内容(中身)を示すものである。資料ウィンドウW4は、例えば、画面G2において上部の中央(司会者ウィンドウW1とプレゼンターウィンドウW2との間)に表示される。
資料ウィンドウW4は、司会者及びプレゼンターが操作可能である。司会者及びプレゼンターは、所定の操作画面において、資料ウィンドウW4に表示させる表示内容を操作できる。操作画面は、例えば、司会者又はプレゼンターが資料ウィンドウW4をタップ(クリック)することで、司会者又はプレゼンターの出力部15に表示される。操作画面では、資料ウィンドウW4に資料(テキストデータ、画像データ、プレゼンテーションデータ等)を表示させたり、表示させた資料やボードに手書きで入力したりすることができる。
司会者ウィンドウW1、プレゼンターウィンドウW2、参加者ウィンドウW3及び資料ウィンドウW4の配置及びサイズは、管理者によって任意に設定可能である。管理者は、講義の場合、例えば、講師である。
図8に示されるように、参加者ウィンドウW3では、キャラクタCは、参加者(ユーザU1,U2,U3)の属性によって区別可能に表示されてもよい。これにより、活動に参加しているユーザU1,U2,U3の属性を一見して確認(把握)することができる。図8に示される例では、キャラクタCは、五つの属性に区別されている。具体的には、例えば、ハッチングの線種によって属性が区別され得る。線種は、例えば、実線(細線)、実線(太線)、破線、一点鎖線、二点鎖線である。属性は、講義の場合には、例えば、学部、学科等であり得る。具体的には、例えば、文学部、工学部、理学部等である。属性は、予め設定されているユーザU1,U2,U3の情報に基づいて設定される。なお、図8に示す例では、ハッチングの線種によってキャラクタCのユーザU1,U2,U3の属性を区別可能に示しているが、色の種類によってキャラクタCのユーザU1,U2,U3の属性を示してもよい。
図9に示されるように、参加者ウィンドウW3に表示されるキャラクタCは、表示サイズが変更可能である。図9に示す例では、図8に示す例よりもキャラクタCのサイズが大きく表示されている。参加者ウィンドウW3では、前列側(図示上側)に表示されるキャラクタCのサイズを大きくし、後列側(図示下側)に表示されるキャラクタCのサイズを小さくすることもできる。キャラクタCのサイズを変更することによって、スクロールをしない状態において参加者ウィンドウW3に表示されるキャラクタCの数を設定することができる。キャラクタCのサイズを大きくした場合、参加者ウィンドウW3に表示されるキャラクタCの数は減少し、キャラクタCのサイズを大きくした場合、参加者ウィンドウW3に表示されるキャラクタCの数は増加する。このような設定は、管理者によって、任意に設定可能である。管理者は、所定の設定画面において設定を行うことができる。
図10に示されるように、プレゼンターウィンドウW2に表示されているキャラクタCを資料ウィンドウW4にドラッグ・アンド・ドロップすることにより、プレゼンターウィンドウW2に表示されていたキャラクタCを、資料ウィンドウW4に表示させる(移動させる)ことができる。キャラクタCのドラッグ・アンド・ドロップは、司会者及びプレゼンターが行うことができる。プレゼンターウィンドウW2から資料ウィンドウW4にドラッグ・アンド・ドロップされたキャラクタCには、プレゼンターの識別情報が表示される。識別情報は、例えば、学生番号、名前、イニシャル等であってもよい。図10に示す例では、キャラクタCのボディBに「AAA」が表示される。
また、司会者ウィンドウW1に表示されているキャラクタCを資料ウィンドウW4にドラッグ・アンド・ドロップすることにより、司会者ウィンドウW1に表示されていたキャラクタCを、資料ウィンドウW4に表示させることもできる。例えば、講義の開始前においては、司会者のキャラクタCを資料ウィンドウW4に表示させ、講義が開始されると、司会者のキャラクタCを司会者ウィンドウW1に移動させてもよい。
図11に示されるように、司会者及び/又はプレゼンターからの質問等の受け付けに対して、複数のキャラクタCの耳アニメーションEが挙手の動作を行った場合には、資料ウィンドウW4に代えて挙手者ウィンドウ(表示領域)W5が表示される。挙手者ウィンドウW5には、耳アニメーションEが挙手の動作を行ったキャラクタCが、動作を行った順番に表示される。挙手者ウィンドウW5には、例えば、挙手動作が早いキャラクタCが左から順番に表示される。なお、参加者ウィンドウW3から挙手者ウィンドウW5にキャラクタCが移動した場合、空席となった場所に所定の目印(識別情報等)が表示されてもよい。これにより、挙手者ウィンドウW5に移動したことによって、参加者ウィンドウW3において空席となった部分に、他のキャラクタCが座る(位置する)ことを回避できる。
また、キャラクタCの耳アニメーションEが挙手の動作を行った場合には、発話者ウィンドウ(表示領域)W6が表示される。発話者ウィンドウW6は、司会者ウィンドウW1の下部(司会者ウィンドウW1と参加者ウィンドウW3との間)に表示される。
図12に示されるように、挙手者ウィンドウW5に表示されたキャラクタCは、発話者ウィンドウW6に移動させることができる。キャラクタCの移動は、キャラクタCのクリック又はドラッグ・アンド・ドロップで行うことができる。キャラクタCのクリック又はドラッグ・アンド・ドロップは、司会者及びプレゼンターが行うことができる。発話者ウィンドウW6にキャラクタCが表示された場合、キャラクタCのボディBに、キャラクタCのユーザU1,U2,U3の情報が表示されてもよい。発話者ウィンドウW6にキャラクタCが表示されると、当該キャラクタCの音声が自動でオンになる。これにより、当該キャラクタCのユーザU1,U2,U3の発話内容が、講義に参加している他のユーザU1,U2,U3に伝わる。
司会者及び/又はプレゼンターからの質問等の受け付けに対して、複数のキャラクタCの耳アニメーションEが挙手の動作を行った場合には、発話者ウィンドウW6のみが表示される。挙手動作を行ったキャラクタCは、発話者ウィンドウW6に移動させることができる。キャラクタCの移動は、キャラクタCのクリック又はドラッグ・アンド・ドロップで行うことができる。キャラクタCのクリック又はドラッグ・アンド・ドロップは、司会者及びプレゼンターが行うことができる。
発話者ウィンドウW6におけるキャラクタCの発話が終了した場合、キャラクタCを参加者ウィンドウW3に移動させる。キャラクタCの移動は、キャラクタCのクリック又はドラッグ・アンド・ドロップで行うことができる。キャラクタCのクリック又はドラッグ・アンド・ドロップは、司会者及びプレゼンターが行うことができる。キャラクタCは、参加者ウィンドウW3の所定の位置に戻る。これにより、キャラクタCの音声が自動でオフになる。
図13に示されるように、参加者ウィンドウW3に表示されるキャラクタCを、ブレイクアウトルーム(表示領域)BR1,BR2,BR3,BR4に移動させることができる。ブレイクアウトルームBR1,BR2,BR3,BR4は、参加者ウィンドウW3に表示されるキャラクタCの数(講義に参加する学生の数)に応じて、複数設定され得る。
ブレイクアウトルームBR1,BR2,BR3,BR4へのキャラクタCの割り振りは、司会者又はプレゼンターが任意に行うことができる。ブレイクアウトルームBR1,BR2,BR3,BR4へのキャラクタCの割り振りは、キャラクタCの属性に基づいて、自動で行うこともできる。ブレイクアウトルームBR1,BR2,BR3,BR4への移動は、司会者又はプレゼンターの操作に応じて行われる。すなわち、司会者又はプレゼンターがブレイクアウトルームBRへの移動を指示する操作(入力)を行うと、参加者ウィンドウW3に表示されているキャラクタCが各ブレイクアウトルームBR1,BR2,BR3,BR4に移動する。
ブレイクアウトルームBR1,BR2,BR3,BR4の映像が表示される画面G3には、資料ウィンドウW7が表示される。資料ウィンドウW7には、資料等が表示される。講義に参加する学生の端末10,20,30の出力部15には、図13に示される画面が表示される。すなわち、学生の端末10,20,30には、自身が割り振られたブレイクアウトルームBR1,BR2,BR3,BR4のみが表示される。各ブレイクアウトルームBR1,BR2,BR3,BR4においては、他のブレイクアウトルームBR1,BR2,BR3,BR4に表示されるキャラクタCの音声が互いに聞こえないようになっている。すなわち、各ブレイクアウトルームBR1,BR2,BR3,BR4において、キャラクタCは、ルーム毎に会話をすることができる。
図14に示されるように、司会者又はプレゼンターは、複数のブレイクアウトルームBR1,BR2,BR3,BR4を確認することができる。図14に示す例では、四つのブレイクアウトルームBR1,BR2,BR3,BR4を示している。司会者又はプレゼンターは、ブレイクアウトルームBR1,BR2,BR3,BR4の一つをクリックすることにより、図13に示されるように、ブレイクアウトルームBR1,BR2,BR3,BR4を表示することができる。
講義においては、司会者又はプレゼンターからの理解度の問いかけに対して、学生は、キャラクタCにおいて、図15のパターンA、図15のパターンB及び図15のパターンCに示されるような耳アニメーションEで反応することができる。図15のパターンAでは、耳アニメーションEにおける「よく分かる」の動作を示している。図15のパターンBでは、耳アニメーションEにおける「なんとか分かる」の動作を示している。図15のパターンCでは、耳アニメーションEにおける「分からない」の動作を示している。耳アニメーションEにおける「分からない」の動作は、図5のパターンEに示される「質問」の動作と同様である。ユーザU1,U2,U3は、司会者又はプレゼンターからの理解度の問いかけに対して、操作装置50を操作して、キャラクタCの耳アニメーションEを動作させる。なお、図15のパターンA、図15のパターンB及び図15のパターンCに示される耳アニメーションEの動作は、操作装置50に対する所定の操作によって制御されてもよいし、参加者の画面に表示されるボタンの操作によって制御されてもよい。
参加者の反応、すなわちキャラクタCの耳アニメーションEの動作は、視覚化されて表示され得る。図15に示されるように、キャラクタCの耳アニメーションEの動作の統計は、例えば、帯グラフで表示される。これにより、司会者又はプレゼンターは、講義における学生の理解度を把握することができる。
続いて、上記講義への参加方法の一例について説明する。最初に、参加者である学生(ユーザU1,U2,U3)は、端末10,20,30において、学校のホームページを開く。続いて、学生は、ホームページにおいて、ID及びパスワード等を入力してログインする。ログイン後、所定の画面において、講義スケジュールが表示される。講義の時間になると、アプリケーションが起動し、ユーザU1,U2,U3のキャラクタCが参加者ウィンドウW3に表示される。これにより、学生は、講義への参加が完了する。
仮想空間RにおけるキャラクタCの活動(講義等への参加)は、録画することができる。録画は、管理者が行うようにしてもよいし、参加者全員がそれぞれに行うようにしてもよい。管理者が録画を行う場合、録画映像が参加者に対して公開されるようにしてもよい。ユーザU1,U2,U3は、録画映像によって、講義等を見直すことができる。
(活動2)
続いて、活動2について説明する。活動2は、会議、報告会等である。最初に、会議を一例に説明する。会議は、ブレインストーミングであり得る。
続いて、活動2について説明する。活動2は、会議、報告会等である。最初に、会議を一例に説明する。会議は、ブレインストーミングであり得る。
図16に示されるように、会議の仮想空間Rの映像が表示される画面G4には、資料ウィンドウ(表示部)W9が表示される。資料ウィンドウW9は、画面G4において中央に表示される。キャラクタCは、資料ウィンドウW9を挟む位置に表示される。図16に示す例では、六つのキャラクタCが、資料ウィンドウW9を挟んで対向する位置に表示されている。キャラクタCは、例えば、全て同じサイズで表示される。キャラクタCのサイズは、管理者及び参加者によって任意に設定可能である。管理者は、会議の場合、例えば、主催者である。管理者又は参加者が一つのキャラクタCのサイズを変更すると、これに応じて全てのキャラクタCのサイズが変更されてもよい。もちろん、特定のキャラクタCのみのサイズを変更することも可能である。
キャラクタCの位置は、会議に参加するユーザU1,U2,U3によって任意に設定されてもよいし、主催者によって予め設定されていてもよい。キャラクタCの位置が設定されていない場合(自由席の場合)、会議に参加した順にキャラクタCの位置が割り振られてもよい。キャラクタCの位置は、適宜変更することができる。
資料ウィンドウW9には、資料等が表示される。資料等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、講義において資料ウィンドウW9に表示される資料等は、キャラクタCの会議への参加という活動において、会議の内容(中身)を示すものである。資料ウィンドウW9には、キャラクタCの会話がテキスト化されて表示されてもよい。また、資料ウィンドウW9には、キャラクタCの会話の翻訳文が表示されてもよい。
資料ウィンドウW9は、参加者が操作可能である。参加者は、所定の操作画面において、資料ウィンドウW9に表示させる表示内容を操作できる。操作画面は、例えば、参加者が資料ウィンドウW9をタップ(クリック)することで、参加者の出力部15に表示される。操作画面では、資料ウィンドウW9に資料(テキストデータ、画像データ、プレゼンテーションデータ等)を表示させたり、表示させた資料やボードに手書きで入力したりすることができる。ポインタを用いた説明である場合、キャラクタCは、ポインタ(所定の対象)が示す位置を向くように自動で回転するようにしてもよい。すなわち、キャラクタCが所定の対象を注視していることを想像させるように、所定の対象の位置に応じてキャラクタCを回転動作させてもよい。また、特定のキャラクタCに対して話掛ける場合には、そのキャラクタCをクリックすることによって、自身のキャラクタCと対話相手のキャラクタC(所定の対象)とが向き合うようにしてもよい。
資料ウィンドウW9は、管理者、参加者全員等、事前に設定されユーザU1,U2,U3によって作成され得る。例えば、タスクバー(図示省略)での資料ウィンドウのクリックによって、資料ウィンドウW9を作成することができる。資料ウィンドウW9は、終了ボタン(図示省略)によって表示が終了されてもよい。
資料ウィンドウW9の配置及びサイズは、管理者によって任意に設定可能である。管理者は、会議の場合、例えば、主催者である。資料ウィンドウW9のサイズの変更に応じて、キャラクタCのサイズも変更される。例えば、資料ウィンドウW9のサイズを大きくした場合には、キャラクタCのサイズを小さくする。キャラクタCは、画面G3において、資料ウィンドウW9の外側領域(余白)に表示される。資料ウィンドウW9のサイズを最大まで大きくした場合、キャラクタCのサイズは、10mm程度まで縮小され得る。資料ウィンドウW9は、画面G3において、全画面表示されてもよい。この場合、キャラクタCは、資料ウィンドウW9に重ねて表示される。また、各ユーザU1,U2,U3は、表示視点を任意に変更することができる。例えば、視点を3D回転させることができる。
図17に示されるように、参加者が資料ウィンドウW9にテキストを記入する場合、どの参加者が記入しているのかが分かるように表示されてもよい。具体的には、資料ウィンドウW9にキャラクタCに対応するポインタを表示させ、資料ウィンドウW9に記入しているキャラクタCとポインタPとが対応していることが一見して分かるようにしてもよい。具体的には、例えば、ポインタPとキャラクタCとにハッチングを表示させたり、ポインタPとキャラクタCとを同じ色で表示させたりすることができる。
また、図18に示されるように、参加者のキャラクタCのボディBが変形して資料ウィンドウCWとなってもよい。これにより、資料ウィンドウCWに記入しているキャラクタCを一見して認識することができる。資料ウィンドウW9から資料ウィンドウWCへの表示の切り替えは、キャラクタCを資料ウィンドウW9にドラッグ・アンド・ドロップ(ドラッグイン)することによって実行され得る。すなわち、資料ウィンドウW9にキャラクタCがドラッグ・アンド・ドロップされる操作を受け付けた場合、資料ウィンドウW9において表示の切り替えという所定の機能が実行される。資料ウィンドウWCには、ドラッグ・アンド・ドロップされたキャラクタCのユーザU1,U2,U3の資料等が表示されたり、ユーザU1,U2,U3が入力した内容が表示されたりする。
資料ウィンドウWCは、どの参加者の表示であるのか(操作者が誰なのか)が分かるように表示されてもよい。具体的には、例えば、その参加者が一目瞭然で分かるように、参加者のキャラクタCの耳アニメーションE又はその類似デザインをウィンドウ外部や内部に設けたり、枠色や枠柄を設けたりすることができる。このとき、同色、同柄や、類似関連付けられるデザインの耳アニメーションEのウィンドウ外部への追加だけではなく、対応するウィンドウの枠等の色、柄等も、枠に太さを設けて、キャラクタCの色、柄と一致、類似させて関係付けられるようにしておくとよい。枠も完全な四角でなくて、若干の丸味あるデザインにしてもよい。また、資料ウィンドウWCには、ポインタP(図17参照)が表示されてもよい。ポインタPも同様に、色、枠、周辺、背景の色をキャラクタCの耳アニメーションEの色と同一、同系統色にしておくとよい。
資料ウィンドウWCから資料ウィンドウW9への表示の切り替えは、資料ウィンドウWCに表示されているキャラクタCが資料ウィンドウWC以外の領域にドラッグ・アンド・ドロップ(ドラッグアウト)することによって実行され得る。すなわち、資料ウィンドウW9に対してキャラクタCがドラッグ・アンド・ドロップされた後、資料ウィンドウWCに表示されているキャラクタCを資料ウィンドウWC以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、資料ウィンドウW9から資料ウィンドウWCへの表示の切り替えという所定の機能の実行を終了させる。また、資料ウィンドウWCに他のキャラクタCがドラッグ・アンド・ドロップ(ドラッグイン)された場合、他のキャラクタCの資料ウィンドウWCに表示が変更されてもよい。また、退出ボタン(図示省略)のクリックによって、資料ウィンドウWCから資料ウィンドウW9に表示が切り替えられてもよい。
なお、キャラクタCのボディBの変形は、複数のパターンを有していてもよい。例えば、ボディBは、段階的に表示領域が大きくなるように変形してもよい。ユーザU1,U2,U3は、状況等に応じて、ボディBの変形パターンを変更することができる。また、資料ウィンドウに表示される資料に限定はなく、情報表示として、ペン入力ウィンドウ、映像ウィンドウ等に活用してもよい。特に、ペン入力において、ペン入力操作者の交代において、交代するキャラクタCを、ペン入力ウィンドウにドラッグ・アンド・ドロップしたときは、前のペン入力ウィンドウの状態が引き継がれ、追加書き込みできるようにしておくと、ペン入力の交代がスムーズにできる。
図19に示されるように、会議の仮想空間Rの映像が表示される画面G5には、資料ウィンドウW10が表示されると共に、参加者のキャラクタCのボディBが変形した資料ウィンドウCWが表示されてもよい。資料ウィンドウCWは、上記のように、資料ウィンドウ(図示省略)にキャラクタCがドラッグ・アンド・ドロップされることによって表示され得る。資料ウィンドウWCから資料ウィンドウへ(図示省略)の表示の切り替えは、資料ウィンドウWCに表示されているキャラクタCが資料ウィンドウWC以外の領域にドラッグ・アンド・ドロップ(ドラッグアウト)することによって実行され得る。
資料ウィンドウW10は、例えば、画面G5において、中央の上部に表示される。資料ウィンドウW10には、タブが設けられていてもよい。タブは、資料ウィンドウW10の右上に表示される「+」をクリックすることによって、追加することができる。図19に示す例では、三つ(「1」、「2」、「3」)のタブが表示されている。タブをクリックすることによって、資料ウィンドウW10における資料等の表示を切り替えることができる。キャラクタCのボディBで構成される資料ウィンドウCWは、例えば、画面G5において、中央の下部(資料ウィンドウW10の下方)に表示される。
資料ウィンドウW10において、タブは、各キャラクタCに対応付けられていてもよい。例えば、タブの「1」は、ボディBに「1」が表示されているキャラクタC、タブの「2」は、ボディBに「2」が表示されているキャラクタC、タブの「3」は、ボディBに「3」が表示されているキャラクタCに対応付けられている。キャラクタCのユーザU1,U2,U3は、自身のタブの資料ウィンドウW10に、任意の表示をさせることができる。
また、資料ウィンドウCWでは、キャラクタCの会話がテキスト化された会話テキストが表示されてもよい。言語が異なる場合は、自動通訳機能と連動させて、各参加者の指定した言語でテキスト表示することができる。これにより、耳アニメーションEを用いた非言語情報と異なる言語間での翻訳テキストとが表示される。したがって、ユーザU1,U2,U3の状態、感情、言葉(翻訳テキスト)の視覚支援での自動通訳会話を実現できる。
会話テキストは、任意に選択して、資料ウィンドウW10にドラッグ・アンド・ドロップすることができる。ドラッグ・アンド・ドロップされた会話テキストは、キャラクタCに対応するタブのウィンドウに表示される。なお、キャラクタCの会話のテキスト化について、所定の言葉については、表示がされないようにしてもよい。所定の言葉は、例えば、「うん、うん」、「えーえー」、「なるほど」、「はい、はい」等である。所定の言葉が表示されないように設定される場合、所定の言葉によって、キャラクタCの耳アニメーションEが動作するようにしてもよい。また、資料ウィンドウCWを構成するキャラクタCの耳アニメーションEは、キャラクタCの音声の音量に応じて伸長してもよい。
また、仮想空間Rにおいて、リアル画像ウィンドウ(図示省略)を表示させ、リアル画像ウィンドウにキャラクタCをドラッグ・アンド・ドロップすると、キャラクタCがユーザU1,U2,U3のリアル画像(映像)に変わる機能を有していてもよい。リアル画像をオフにすると、キャラクタCの表示に戻るようにしてもよい。なお、リアル画像に切り替わる場合には、事前に、表示される画像の事前確認(承認)を行うことが好ましい。すなわち、画面推移の承認ステップを設けるとよい。
上記一連の操作、シーンの遷移は、キャラクタCにおける機能スイッチのクリックで実現してもよい。キャラクタC自体のドラッグによる「移動過程」や、キャラクタCのスイッチのクリックによるキャラクタCの「変身過程」を設けることによって、「状態遷移」を行い、感覚的、直感的操作によるシーン遷移を、時間感覚を有して実現できる。ここでいう、感覚的、直感的とは、画面上部のタイトルバー等から、表示されるキャラクタ操作とかけ離れた、画面操作板の操作ではなく、あくまでも、ユーザU1,U2,U3自身によるキャラクタCの目的移動、キャラクタC自体の操作により、次のシーンに切替操作できることに特徴がある。例えるなら、直感的な画面上での廃却物のゴミ箱移動か、非直感的なタイトルバーをクリックして、デリートキーを操作するかの違いと同じである。従来は、ファイル操作を対象としていたが、本実施形態では、リモート会議やメタバースで登場するキャラクタCにおける直感的操作を提供するものである。そして、非言語情報表出の耳アニメーションEを維持しながら遷移していくところにも特徴がある。
続いて、報告会を一例に説明する。図20に示されるように、報告会の仮想空間Rの映像が表示される画面G6には、参加者ウィンドウW11及び資料ウィンドウW12が表示される。参加者ウィンドウW11には、報告会の参加者であるキャラクタCが表示される。参加者ウィンドウW11は、例えば、画面G6において下部に表示される。参加者ウィンドウW11において、キャラクタCは、背面を向くように表示される。参加者ウィンドウW11に表示されるキャラクタCの音声は、オフにされる。キャラクタCの表示数が多い場合(参加者の数が多い場合)には、参加者ウィンドウW11にスクロールバーSBが表示される。スクロールバーSBを操作することによって、参加している全てのキャラクタCを参加者ウィンドウW11において確認することができる。参加者ウィンドウW11に表示されるキャラクタCには、識別情報が表示されてもよい。識別情報は、例えば、役職、名前、イニシャル等であってもよい。
資料ウィンドウW12には、資料等が表示される。資料等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、報告会において資料ウィンドウW12に表示される資料等は、キャラクタCの報告会への参加という活動において、報告会の内容(中身)を示すものである。資料ウィンドウW12は、例えば、画面G6において上部(参加者ウィンドウW11の上方)に表示される。報告会に参加する報告者のキャラクタCは、画面G6において資料ウィンドウW12の右側に表示される。なお、報告者のキャラクタCは、資料ウィンドウW12上に(資料ウィンドウW12にオーバーラップして)表示されてもよい。
資料ウィンドウW12は、報告者が操作可能である。報告者は、所定の操作画面において、資料ウィンドウW12に表示させる表示内容を操作できる。操作画面は、例えば、報告者が資料ウィンドウW12をタップ(クリック)することで、報告者の出力部15に表示される。なお、参加者のキャラクタCを資料ウィンドウW12にドラッグ・アンド・ドロップすることによって、参加者に資料ウィンドウW12の操作権限が与えられるようにしてもよい。この場合、参加者ウィンドウW3から資料ウィンドウW12にキャラクタCが移動した場合、空席となった場所に所定の目印(識別情報等)が表示されてもよい。これにより、資料ウィンドウW12に移動したことによって、参加者ウィンドウW3において空席となった部分に、他のキャラクタCが座る(位置する)ことを回避できる。
参加者ウィンドウW11及び資料ウィンドウW12の配置及びサイズは、管理者によって任意に設定可能である。管理者は、報告会の場合、例えば、主催者である。
参加者ウィンドウW11では、キャラクタCは、参加者(ユーザU1,U2,U3)の属性によって区別可能に表示されてもよい。例えば、ハッチングの線種や色によって属性が区別され得る。参加者ウィンドウW11に表示されるキャラクタCは、表示サイズが変更可能である。参加者ウィンドウW11では、例えば、前列側(図示上側)に表示されるキャラクタCのサイズを大きくし、後列側(図示下側)に表示されるキャラクタCのサイズを小さくすることもできる。
続いて、上記会議、報告会への参加方法の一例について説明する。主催者は、アプリケーションをダウンロードする。アプリケーションを開くと、図6に示されるように、選択画面G1が表示される。主催者が選択画面G1において「活動2」を選択すると、「会議」又は「報告会」の選択画面が表示される。主催者は、「会議」又は「報告会」を選択し、更に参加者を選択して、参加者に案内状を送信する。
案内状には、会議等の説明、ID、パスワードが記載され得る。また、案内状には、URL又はカレンダー等が表示されてもよい。URL又はカレンダーをクリックすることによって、会議に参加することができる。なお、案内状には、会議への参加が初めてのユーザに対してのアプリケーションのダウンロードをサポートするための記載がされていてもよい。参加者は、会議等の時間になった場合、ID、パスワードの入力やURL等のクリックにより、会議等に参加する。
仮想空間RにおけるキャラクタCの活動(会議、講演会等)は、録画することができる。録画は、管理者が行うようにしてもよいし、参加者全員がそれぞれに行うようにしてもよい。管理者が録画を行う場合、録画映像が参加者に対して公開されるようにしてもよい。ユーザU1,U2,U3は、録画映像によって、会議等を見直すことができる。
(活動3)
続いて、活動3について説明する。活動3は、キャラクタCの一対一での活動であり、カウンセリング、コールセンターにおけるサポートや説明のやり取り、打ち合わせ、遠隔診療、個人レッスン等である。本実施形態では、活動3がカウンセリングである形態を一例に説明する。カウンセリングでは、カウンセラー及びクライアントのキャラクタCが参加し得る。図21に示されるように、カウンセリングの仮想空間Rの映像が表示される画面G7には、表示ボード(コンテンツ表示部)B1と、チャットボード(テキスト表示部)B2と、キャラクタCと、テーブルTと、が表示される。
続いて、活動3について説明する。活動3は、キャラクタCの一対一での活動であり、カウンセリング、コールセンターにおけるサポートや説明のやり取り、打ち合わせ、遠隔診療、個人レッスン等である。本実施形態では、活動3がカウンセリングである形態を一例に説明する。カウンセリングでは、カウンセラー及びクライアントのキャラクタCが参加し得る。図21に示されるように、カウンセリングの仮想空間Rの映像が表示される画面G7には、表示ボード(コンテンツ表示部)B1と、チャットボード(テキスト表示部)B2と、キャラクタCと、テーブルTと、が表示される。
表示ボードB1には、カウンセリング内容等が表示される。カウンセリング内容等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、カウンセリングにおいて表示ボードB1に表示されるカウンセリング内容等は、キャラクタCのカウンセリングの受診という活動において、カウンセリングの内容(中身)を示すものである。表示ボードB1は、例えば、画面G7において上部に表示される。表示ボードB1には、タブが設けられていてもよい。タブは、表示ボードB1の右上に表示される「+」をクリックすることによって、追加することができる。図21示す例では、三つ(「1」、「2」、「3」)のタブが表示されている。タブをクリックすることによって、表示ボードB1における資料等の表示を切り替えることができる。
表示ボードB1は、カウンセラーが操作可能である。カウンセラーは、所定の操作画面において、表示ボードB1に表示させる表示内容を操作できる。操作画面は、例えば、カウンセラーが表示ボードB1をタップ(クリック)することで、カウンセラーの出力部15に表示される。操作画面では、表示ボードB1に資料を表示させたり、手書きで入力したりすることができる。
チャットボードB2には、テキスト化されたキャラクタCの会話内容を示す会話テキストがチャット形式で表示される。会話テキストは、ユーザU1,U2,U3の音声を音声認識処理によってテキスト化したものである。チャットボードB2には、ユーザU1,U2,U3の音声に基づいて作成される複数の会話テキストのうち、時系列において最新のものから所定数の会話テキストを表示させる。図21に示す例では、三つの会話テキストを表示させている。チャットボードB2は、例えば、画面G7において中央部(表示ボードB1の下方)に表示される。チャットボードB2では、会話テキストの近傍に、キャラクタCのマークが表示され得る。
なお、チャットボードB2には、音声認識処理によってテキスト化されたテキストだけではなく、ユーザU1,U2,U3によってキーボード等から入力されたテキストが表示されてもよい。チャットボードB2において、入力されたテキストの表示は、音声発言を避けたいケースに有効である。例えば、会議中に離席、退席するとき、その旨を入力してチャットボードB2に表示させることによって、現状の対話への障害を低減して、参加者に離席、退席状況を伝えることができる。もちろん、他にも広い用途において使用することができる。例えば、控え目なコメントを伝達するシーン等にも活用できる。チャットボードB2は、音無しでのシーン提供や、音響付き、効果音付きでのシーン提供等、状況に応じて、音響のオンオフ機能、音響内容の選択、標準型の自動生成等、タイプ別に対応できるようにしておくとよい。
キャラクタCは、例えば、画面G7において下部(チャットボードB2の下方)に表示される。例えば、カウンセラーのキャラクタCは、左側に表示され、クライアントのキャラクタCは、右側に表示される。キャラクタCは、テーブルTを介在させて、斜めに向き合うように配置される。
図22に示されるように、キャラクタCの配置は、任意に設定することができる。具体的には、キャラクタCとキャラクタCとの間の距離L、キャラクタCが向き合う角度θ、及び、キャラクタCの回転角度を設定することができる。キャラクタCが向き合う角度θは、テーブルTの角度を調整することによって変更することができる。一方のキャラクタCの配置を変更した場合、他のキャラクタCの配置も連動して(一括して)変更されるようにしてもよい。また、キャラクタCのサイズも任意に設定することができる。キャラクタCのサイズは、二つのキャラクタCのそれぞれについて設定することができる。また、一方のキャラクタCのサイズを変更した場合、他方のキャラクタCのサイズも連動して変更されるようにしてもよい。また、各ユーザU1,U2,U3は、表示視点を任意に変更することができる。例えば、視点を3D回転させることができる。
図23に示されるように、チャットボードB2に表示される会話テキストに対するユーザU1,U2,U3からの操作を受け付けた場合、会話テキストが表示ボードB1に表示される。例えば、ユーザU1,U2,U3がチャットボードB2に表示される会話テキストをクリックすると、クリックした会話テキストが表示ボードB1に表示される。なお、ユーザU1,U2,U3は、チャットボードB2に表示される会話テキストを表示ボードB1にドラッグ・アンド・ドロップしてもよい。
図24に示されるように、表示ボードB1には、スクロールバーSBが設けられてもよい。これにより、表示ボードB1において、多くの情報を表示することができる。図25に示されるように、表示ボードB1は、テーブルT上に表示されてもよい。図26に示されるように、会話テキストは、キャラクタCのボディBにおいて表示されてもよい。なお、キャラクタCの背景は、カウンセラーが任意に設定することができる。背景は、カウンセリングに効果的な画像等が予め複数記憶されており、その中から選択して設定してもよいし、カウンセラーが作成してもよい。
仮想空間RにおけるキャラクタCの活動(カウンセリングへの参加)は、録画することができる。録画は、カウンセラーが行うようにしてもよいし、クライアントが行うようにしてもよい。カウンセラーが録画を行う場合、録画映像がクライアントに対して公開されるようにしてもよい。ユーザU1,U2,U3は、録画映像によって、カウンセリングを見直すことができる。
また、録画(録音)されたリアルな対面カウンセリングの映像(音声)に基づいて、仮想空間Rの映像が表示される画面G7が作成されてもよい。この場合、画面G7には、カウンセラー及びクライアントのキャラクタCが表示される。キャラクタCの耳アニメーションEは、音声に応じて動作してもよい。キャラクタCの音声は、ユーザU1,U2,U3の音声であってもよいし、ユーザU1,U2,U3の音声を変換したもの(ボイスチェンジしたもの)であってよい。また、画面G7には、録画されたカウンセラー及びクライアントの会話の内容に基づいて、チャットボードB2には、テキスト化されたキャラクタCの会話内容を示す会話テキストがチャット形式で表示される。作成された映像を見るユーザU1,U2,U3は、チャットボードB2に表示される会話テキストに対する操作によって、会話テキストを表示ボードB1に表示させることができる。
仮想空間Rの映像は、カウンセリング後の振り返り観察に効果的であり、新しい気づきを得やすくなる。特に、チャットボードB2における会話(言葉)のテキスト化表示は、リアル対話での聴覚刺激だけでなく、視覚刺激にも作用し、より気付きを与え易くなることが期待できる。また、テキスト化もオフラインで行えるため、リアルタイム表示で課題となる遅延等を気にしなくてもよくなる。また、キャラクタCを用いることで、クライアント等の顔が出ない(カメラを用いない)ので、プライバシー保護にも効果的である。更に、ボイスチェンジャーを用いて、音声を出力させれば、より強いプライバシー保護ができる。従来、プライバシー保護の観点より、カウンセリングでの録音録画は、広く活用されていなかったが、本方式で、振り返りがやり易くなる。また、カウンセラーの指導としての、スーパーバイザーもやり易くなる。
なお、キャラクタCの動作操作に関しては、リアル対話では実施しないが、音声による耳アニメーションEの伸長等の表現は、自動的に表現できる。また、一定時間沈黙が続いたときは、キャラクタCの色変化等でも強調表現できる。また、例えば、リストバンドに取り付けられた心拍モニター、身体揺れ等の加速度センサの計測値と統合させることで、定量的、客観的なデータとのリンク、分析ができる。
(活動4)
続いて、活動4について説明する。活動4は、例えば、エンターテイメントである。エンターテイメントとしては、音楽演奏、ゲーム等が挙げられる。最初に、音楽演奏について説明する。
続いて、活動4について説明する。活動4は、例えば、エンターテイメントである。エンターテイメントとしては、音楽演奏、ゲーム等が挙げられる。最初に、音楽演奏について説明する。
音楽演奏では、演奏者のキャラクタCが参加し得る。図27に示されるように、音楽演奏の仮想空間Rの映像が表示される画面G8には、表示ボードB3が表示される。図27では、バンド演奏の例を示している。
表示ボードB3には、楽譜等が表示される。楽譜等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、音楽演奏において表示ボードB3に表示される楽譜等は、キャラクタCの音楽演奏への参加という活動において、音楽演奏の内容(中身)を示すものである。表示ボードB3は、例えば、画面G8において中央に表示される。表示ボードB3の配置及びサイズは、任意に設定可能である。表示ボードB3において、楽譜は、演奏に応じて表示が変更(スライド)されてもよい。
キャラクタCは、表示ボードB3の周囲に表示される。図27に示す例では、キャラクタCのボディBは、ギター、ドラム、ウッドベース、サックス、キーボードとなっている。すなわち、ギターのボディBのキャラクタCのユーザは、ギターを演奏する。同様に、ドラムのボディBのキャラクタCのユーザは、ドラムを演奏する。
表示ボードB3のサイズの変更に応じて、キャラクタCのサイズも変更される。例えば、表示ボードB3のサイズを大きくした場合には、キャラクタCのサイズを小さくする。キャラクタCは、画面G8において、表示ボードB3の外側領域(余白)に表示される。表示ボードB3のサイズを最大まで大きくした場合、キャラクタCのサイズは、10mm程度まで縮小され得る。表示ボードB3は、画面G8において、全画面表示されてもよい。この場合、キャラクタCは、表示ボードB3に重ねて表示される。
キャラクタCの耳アニメーションEは、ユーザU1,U2,U3の動作に応じて動作してもよい。ユーザU1,U2,U3の動作は、センサ等によって検出され得る。制御部12は、検出されたユーザU1,U2,U3の動作に基づいて、耳アニメーションEの制御データを生成する。
図28に示されるように、音楽演奏の仮想空間Rの映像が表示される画面G9には、表示ボードB3が表示される。図28では、オーケストラ演奏の例を示している。
キャラクタCは、表示ボードB3を囲うように表示される。図27に示す例では、キャラクタCのボディBは、バイオリン、クラリネット、ウッドベース、フルートとなっている。図28に示す例では、指揮者としてのキャラクタCが表示されている。指揮者であるユーザU1,U2,U3の指揮の動作は、センサ等によって検出され得る。制御部12は、検出されたユーザU1,U2,U3の指揮の動作に基づいて、耳アニメーションEの制御データを生成する。これにより、指揮者のキャラクタCの耳アニメーションEが指揮を行う。これにより、他のキャラクタCのユーザU1,U2,U3は、指揮を見ながら演奏することができる。
続いて、ゲームについて説明する。ゲームでは、ゲームのプレーヤーのキャラクタC及び観覧者のキャラクタCが参加し得る。図29に示されるように、ゲームの仮想空間Rの映像が表示される画面G10には、表示ボードB4が表示される。図29では、囲碁の例を示している。
表示ボードB4には、囲碁盤であるゲームボードが表示される。ゲームボードは、キャラクタCの活動の内容に基づくコンテンツである。すなわち、ゲームにおいて表示ボードB4に表示されるゲームボードは、キャラクタCのゲームへの参加という活動において、ゲームの内容(中身)を示すものである。表示ボードB4は、例えば、画面G10において中央に表示される。
プレーヤーであるキャラクタCは、表示ボードB4を挟むように表示される。観覧者であるキャラクタCは、画面G10において上部に表示され得る。図30に示されるように、表示ボードB4は、配置及びサイズの変更が可能である。図30に示す例では、表示ボードB4を拡大して表示させている。表示ボードB4の拡大に応じて、キャラクタCのサイズは縮小され得る。
仮想空間RにおけるキャラクタCの活動(音楽演奏、ゲーム等)は、録画することができる。録画は、管理者が行うようにしてもよいし、参加者全員がそれぞれに行うようにしてもよい。管理者が録画を行う場合、録画映像が参加者に対して公開されるようにしてもよい。ユーザU1,U2,U3は、録画映像によって、音楽演奏、ゲーム等を見直すことができる。
(活動5)
続いて、活動5について説明する。活動1は、観光、鑑賞(スポーツ鑑賞、映画鑑賞、コンサート鑑賞)等である。最初に、観光を一例に説明する。観光では、観光者のキャラクタCが参加し得る。図31に示されるように、観光の仮想空間Rの映像が表示される画面G11には、表示ボードB5と、ムービングステージ(移動体)Sと、が表示される。
続いて、活動5について説明する。活動1は、観光、鑑賞(スポーツ鑑賞、映画鑑賞、コンサート鑑賞)等である。最初に、観光を一例に説明する。観光では、観光者のキャラクタCが参加し得る。図31に示されるように、観光の仮想空間Rの映像が表示される画面G11には、表示ボードB5と、ムービングステージ(移動体)Sと、が表示される。
表示ボードB5には、観光地等の映像が表示される。観光地等の映像は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、観光において表示ボードB5に表示される観光地等の映像は、キャラクタCの観光という活動において、観光の内容(中身)を示すものである。表示ボードB5は、例えば、画面G11において上部に表示される。
表示ボードB5は、観光の主催者が操作可能である。主催者は、所定の操作画面において、表示ボードB5に表示させる表示内容を操作できる。操作画面は、例えば、主催者が表示ボードB5をタップ(クリック)することで、主催者の出力部15に表示される。操作画面では、表示ボードB5に映像を表示させたり、表示させた映像に手書きで入力したりすることができる。
表示ボードB5の配置及びサイズは、管理者によって任意に設定可能である。管理者は、観光の場合、例えば、主催者である。管理者の画面G11には、参加者の情報、ガイド情報等が表示されるようにしてもよい。
ムービングステージSには、キャラクタCが配置される。ムービングステージSは、移動可能に設けられている。ムービングステージSは、ユーザU1,U2,U3によって操作される。すなわち、ユーザU1,U2,U3は、任意の位置にムービングステージSを移動させることができる。また、各ユーザU1,U2,U3は、表示視点を任意に変更することができる。例えば、視点を3D回転させることができる。
図32に示されるように、観光の仮想空間Rの映像が表示される画面G12には、表示ボードB5と、複数のムービングステージSと、が表示される。図32に示す例では、観光者のキャラクタCの他に、ガイドのキャラクタCGが参加し得る。図32に示す例では、表示ボードB5に表示される映像等について、ガイドによる説明を受けることができる。このとき、ガイドの音声は、仮想空間RのキャラクタCの全員に伝えられる。また、一のムービングステージSに配置される一又は複数のキャラクタCの音声と、他のムービングステージSに配置される一又は複数のキャラクタCの音声とが互いに聞こえないようにすることができる。ガイドであるユーザU1,U2,U3は、状況に応じて、音声のオンオフを制御する。
図33に示されるように、表示ボードB5は、画面G12において、全画面表示されてもよい。この場合、キャラクタC及びムービングステージSは、表示ボードB5に重ねて表示される。すなわち、表示ボードB3に表示される映像上に、キャラクタC及びムービングステージSが表示される。この場合、臨場感のある観光を実現することができる。
続いて、絵画の鑑賞を一例に説明する。鑑賞では、鑑賞者のキャラクタCが参加し得る。図34に示されるように、鑑賞の仮想空間Rの映像が表示される画面G13には、表示ボードB6,B7と、ムービングステージSと、が表示される。図35に示されるように、例えば、表示ボードB6をクリックすると、表示ボードB8が表示される。表示ボードB8には、表示ボードB6に表示される絵画の解説が表示される。
(活動6)
活動6は、例えば、映像作成等である。映像作成では、仮想空間における活動において、キャラクタCの耳アニメーションEを編集可能な映像として出力する。図36に示されるように、作成される仮想空間Rの映像が表示される画面G13には、例えば、表示ボードB9と、二つのキャラクタCと、が表示される。表示ボードB9には、様々なコンテンツが表示され得る。キャラクタCは、ポインタを用いて、表示ボードB9に表示される内容を説明する。キャラクタC毎に、ポインタを色分けすることができる。これにより、ポインタを使用して説明等を行っているキャラクタCを認識することができる。また、ポインタの表示、位置に対応させて、キャラクタCの向きを自動回転させてもよい。このように、ポインタの動きに対応(連動)してキャラクタCが回転することにより、説明の臨場感が増す。
活動6は、例えば、映像作成等である。映像作成では、仮想空間における活動において、キャラクタCの耳アニメーションEを編集可能な映像として出力する。図36に示されるように、作成される仮想空間Rの映像が表示される画面G13には、例えば、表示ボードB9と、二つのキャラクタCと、が表示される。表示ボードB9には、様々なコンテンツが表示され得る。キャラクタCは、ポインタを用いて、表示ボードB9に表示される内容を説明する。キャラクタC毎に、ポインタを色分けすることができる。これにより、ポインタを使用して説明等を行っているキャラクタCを認識することができる。また、ポインタの表示、位置に対応させて、キャラクタCの向きを自動回転させてもよい。このように、ポインタの動きに対応(連動)してキャラクタCが回転することにより、説明の臨場感が増す。
作成された映像においては、キャラクタCの耳アニメーションEの動作、キャラクタCの配置及びサイズ、表示ボードB9の配置及びサイズ、表示ボードB9に表示する内容を編集することができる。作成された映像は、動画の共有サービス等にアップロードすることができる。
[効果]
以上説明したように、本実施形態に係るシステム100では、キャラクタCと、活動の内容に基づくコンテンツとを含む第一画面において、キャラクタCの動作動作に係る操作を行った場合には、それに応じて、第一画面のキャラクタCに対応するキャラクタCを含む第二画面に表示が遷移される。例えば、活動1において、ユーザU1,U2,U3の操作に応じて複数のキャラクタCの耳アニメーションEが挙手の動作を行った場合には、資料ウィンドウW4に代えて挙手者ウィンドウW5が表示される。挙手者ウィンドウW5には、耳アニメーションEが挙手の動作を行ったキャラクタCが、動作を行った順番に表示される。このように、システム100では、ユーザU1,U2,U3の意図する操作により動作するキャラクタCの動き応じた画面遷移を行うことができる。したがって、システム100では、仮想空間RでキャラクタCが活動を行う場合において、キャラクタCを使用するユーザU1,U2,U3の利便性の向上が図れる。
以上説明したように、本実施形態に係るシステム100では、キャラクタCと、活動の内容に基づくコンテンツとを含む第一画面において、キャラクタCの動作動作に係る操作を行った場合には、それに応じて、第一画面のキャラクタCに対応するキャラクタCを含む第二画面に表示が遷移される。例えば、活動1において、ユーザU1,U2,U3の操作に応じて複数のキャラクタCの耳アニメーションEが挙手の動作を行った場合には、資料ウィンドウW4に代えて挙手者ウィンドウW5が表示される。挙手者ウィンドウW5には、耳アニメーションEが挙手の動作を行ったキャラクタCが、動作を行った順番に表示される。このように、システム100では、ユーザU1,U2,U3の意図する操作により動作するキャラクタCの動き応じた画面遷移を行うことができる。したがって、システム100では、仮想空間RでキャラクタCが活動を行う場合において、キャラクタCを使用するユーザU1,U2,U3の利便性の向上が図れる。
キャラクタCの動作に係る操作とは、ユーザU1,U2,U2の自身のキャラクタCを移動させたり、キャラクタCに表示部を表示させたりすること等に加えて、キャラクタCの表示部にテキスト入力(キーボード入力、音声入力等)を行うことによって、他のキャラクタC(AIのキャラクタC等)に表示部が生成されること等も含み得る。また、ユーザU1,U2,U3の操作に応じて耳アニメーションEが動作するとは、ユーザU1,U2,U3の操作によって自身のキャラクタCの耳アニメーションEが動作することに加えて、ユーザU1,U2,U3の操作に応じて、他のキャラクタCの耳アニメーションEが動作する(反応する、連動する)ことも含み得る。ユーザU1,U2,U3のキャラクタCのテキスト入力、音声操作等に連動して、画面遷移や他のキャラクタCの耳アニメーションEの動作を誘起させることで、テキスト表示のみのコミュニケーションよりも、反応感、臨場感がより豊かな、ダイナミックなコミュニケーションを提供できる。
第一画面に含まれるキャラクタC(以下、「第一キャラクタC」とも称する。)と、第二画面に含まれるキャラクタC(以下、「第二キャラクタC」とも称する。)とは、対応している。第一キャラクタCと第二キャラクタCとは、同じ形態(外観、形状)であってもよいし、異なる形態であってもよい。例えば、第一画面に含まれる第一キャラクタC及び第二画面に含まれる第二キャラクタCは、画面の遷移前と遷移後とにおいてボディBが同じ形態(例えば、図5のパターンAに示される状態)であってよい。例えば、第一画面に含まれる第一キャラクタCは、図5のパターンAに示される状態であり、第二画面に含まれる第二キャラクタCは、図18に示されるようにボディBが変形して資料ウィンドウCWとなっている状態であってもよい。また、例えば、第一画面に含まれる第一キャラクタCと第二画面に含まれる第二キャラクタC2とは、色や模様が異なっていてもよいし、機能が異なっていてもよい。要は、第一画面のキャラクタCと対応するキャラクタCが第二画面に含まれていればよい。
なお、キャラクタCとは、耳を模した耳アニメーションEが、ユーザU1,U2,U3のアバターの構成要素になっているものを意味している。キャラクタCは、耳アニメーションEを通して、ユーザU1,U2,U3の状態、感情を表出する非言語情報手法を有する。キャラクタCでは、ユーザU1,U2,U3の顔情報の有無は問わない。
本実施形態に係るシステム100では、活動1において、活動の主導者となるキャラクタCを表示させる司会者ウィンドウW1及びプレゼンターウィンドウW2と、活動の参加者となるキャラクタCを表示させる参加者ウィンドウW3と、を表示させる。司会者ウィンドウW1及びプレゼンターウィンドウW2に表示されるキャラクタCのサイズを、参加者ウィンドウW3に表示されるキャラクタCよりも大きく表示させてもよい。この構成では、講義資料について説明等を行う主導者のキャラクタCのサイズが大きく表示されるため、説明等を理解し易くなる。
本実施形態に係るシステム100では、活動1において、参加者のキャラクタCの耳アニメーションEが挙手を示す動作を行った場合に、当該キャラクタCが参加者ウィンドウW3から移動して表示されると共に、当該キャラクタCの音声の仮想空間Rにおける出力が規制されている挙手者ウィンドウW5と、挙手者ウィンドウW5に表示されたキャラクタCの内の少なくとも一つのキャラクタCが挙手者ウィンドウW5から移動して表示されると共に、当該キャラクタCの音声を仮想空間Rにおいて出力することが可能である発話者ウィンドウW6と、を表示させる。挙手者ウィンドウW5から発話者ウィンドウW6にキャラクタCが移動したことに応じて、発話者ウィンドウW6におけるキャラクタCの音声の出力を可能にさせる。
上記構成では、キャラクタCの耳アニメーションEが挙手を示す動作を行った場合に、当該キャラクタCが挙手者ウィンドウW5に表示されるため、主導者は、挙手を行ったキャラクタCを容易に認識できる。また、挙手者ウィンドウW5から発話者ウィンドウW6にキャラクタCが移動したことに応じて、音声の出力のオンオフが自動で切り替わるため、オンオフの作業を行う手間を省略できる。さらに、発話者ウィンドウW6に表示されるキャラクタCの音声のみが出力されるため、挙手者ウィンドウW5に表示される複数のキャラクタCの音声が同時に出力され、音声が聞き取れない等といった事態が生じることを抑制できる。
本実施形態に係るシステム100において、活動1では、数十から数百人の学生が講義に参加し得る。この場合、仮想空間Rにおいて参加者全員の映像(リアル映像)を表示させたり、顔表情を有するアバターを表示させたりすると、伝送容量を相当量必要とする。これにより、動作が遅くなったり、映像が乱れたりする。これについて、システム100では、動的に変化する顔表情を含まないキャラクタCを表示させている。そのため、大人数が参加する講義等においても、伝送容量の低減が図れる。したがって、スムーズな活動が可能となる。また、学生等の映像を表示させる場合、学生等の状態や反応が確認し難い。これについて、システム100では、視認し易いキャラクタCの耳アニメーションEの動作によって、学生等の状態や反応が示される。したがって、システム100では、学生等の状態や反応を容易に確認できる。
本実施形態に係るシステム100では、活動2~5等において、仮想空間Rに表示される複数のキャラクタCのうち、一のキャラクタCのサイズが変更された場合、他のキャラクタCのサイズも同様に変更させてもよい。この構成では、全てのキャラクタCのサイズが同様に変更されるため、仮想空間Rにおいて一体感のある活動を実現することができる。
本実施形態に係るシステム100では、活動2において、資料ウィンドウW9に対してキャラクタCをドラッグ・アンド・ドロップする操作を受け付けた場合、資料ウィンドウW9において所定の機能が実行される。具体的には、資料ウィンドウW9が、キャラクタCのユーザU1,U2,U3が操作可能な資料ウィンドウWCに変更される。この構成では、キャラクタCをドラッグ・アンド・ドロップするという、キャラクタCの移動を伴う操作を行うことによって、単なるボタンクリックと異なり、キャラクタCの移動時間感覚、移動動作において、参加する気持ち、新しいシーン切り替え等への感情移入がし易くなる効果が期待できる。この操作は、例えば、画面でのごみ箱にドキュメントをドラッグして、廃却する雰囲気感と似ていると考えられる。素早く処理をするためには、消去クリック動作が好ましいが、慎重に心を込めて、イベントを生成させるときには、動作時間を有した方が、より自然感覚に対応して、シーン移動への準備感覚の生成ができるとも考えられる。
なお、シーン切り替えや、耳アニメーションEの変化の内容に応じて、効果音、短いBGM等の聴覚刺激又は音響等を併用すると、シーン発生、切り替えの伝達性及び認知性の向上が期待できる。変化の内容について、音響を対応させておくことで、音を通して、変化の認識が容易にできるようになり、コミュニケーションをより豊かにしてくれる。
本実施形態に係るシステム100では、活動2において、資料ウィンドウW9に対してキャラクタCがドラッグ・アンド・ドロップされた後、資料ウィンドウWCに表示されているキャラクタCを資料ウィンドウWC以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、所定の機能の実行を終了させる。具体的には、資料ウィンドウWCから資料ウィンドウW9に表示を変更する。この構成では、キャラクタをドラッグ・アンド・ドロップするという、キャラクタCの移動を伴う操作を行うことによって、退席処理、退席感覚を生成させることができる。
本実施形態に係るシステム100では、活動3の仮想空間Rにおいて、コンテンツを表示する表示ボードB1と、キャラクタCの音声をテキスト化した会話テキストを表示するチャットボードB2と、を表示させる。チャットボードB2には、キャラクタCの音声に基づいて作成される複数の会話テキストのうち、時系列において最新のものから所定数の会話テキストが表示される。この構成では、カウンセリングにおいて、カウンセリングの目的となるコンテンツ(相談内容等)や会話の内容を確認しながら、カウンセリングを進めることができる。したがって、有効なカウンセリングを実現できる。
また、仮想空間Rにおけるカウンセリングでは、キャラクタCを用いている。これにより、クライアントが顔を出したくない場合であっても、耳アニメーションEによって、クライアントのうなずき、同意、質問等の非言語情報を表出させることができる。また、キャラクタCは、動的に変化する目を有さないので、カウンセラー及びクライアントは、互いの視線を気にすることなく、画面を見ることができる。画面においては、キャラクタCの音声に基づく会話テキストがチャットボードB2に表示されるため、キャラクタCの発言に注目することができる。
また、チャットボードB2に表示される会話テキストは、対話の進行と共に表示されなくなる。カウンセリングでは、対話でのキーワードとなる言葉を抽出して、深めていくことが重要である。言葉の抽出は、対話の流れにできる限り支障を与えないで行うことが好ましい。そこで、システム100では、チャットボードB2に表示される会話テキストに対するユーザU1,U2,U3からの操作を受け付けた場合、会話テキストを表示ボードB1に表示させる。これにより、会話において発生した新たな事項や、重要な事項等を表示ボードB1に表示させることができる。そのため、対話の流れに支障を与えることなく、言葉を抽出することができる。
本実施形態に係るシステム100では、活動4において、表示ボードB3の周囲にキャラクタCを表示させる。システム100では、ユーザU1,U2,U3の動作を検出し、ユーザU1,U2,U3の動作に基づいて耳アニメーションEを動作させてもよい。この構成では、キャラクタCが楽器を演奏する場合に、実際にユーザU1,U2,U3が楽器を演奏する際のリズムを耳アニメーションEに反映させることができる。これにより、音楽演奏において、一体感、臨場感のある活動を実現することができる。
本実施形態に係るシステム100では、活動5において、一又は複数のキャラクタが配置されると共に、仮想空間Rにおいて移動可能に設けられている一又は複数のムービングステージSを表示させる。この構成では、仮想空間Rにおいて、キャラクタCをムービングステージSに乗せて移動させることができる。これにより、例えば、観光、美術館鑑賞等の活動を、ムービングステージSに乗りながら行うことができる。ムービングステージSに乗って移動することによって、臨場感を得ることができる。また、複数のキャラクタCがムービングステージSに乗って移動することによって、一体感を得ることができる。
本実施形態に係るシステム100では、活動5において、複数のムービングステージSのそれぞれに複数のキャラクタCが配置される場合において、一のムービングステージSに配置される複数のキャラクタCの音声と、他のムービングステージSに配置される複数のキャラクタCの音声とが互いに聞こえないようにしてもよい。この構成では、ムービングステージSに乗るキャラクタCのグループ毎に会話をすることができる。したがって、他のグループのユーザU1,U2,U3を気にせずに会話をすることができる。
本実施形態に係るシステム100では、活動6において、仮想空間Rにおける活動を、キャラクタCのアニメーションを編集可能な映像として出力する。この構成では、活動を映像として作成した後、アニメーションを編集することができる。そのため、映像の後編集において、キャラクタCの耳アニメーションEの演出を追加したり変更したりすることができる。
本実施形態に係るシステム100では、仮想空間RにおけるキャラクタCの活動を録画して出力する。この構成では、仮想空間Rにおけるキャラクタの活動を後から見直すことができる。
本実施形態に係るシステム100では、キャラクタCが所定の対象を注視していることを想像させるように、所定の対象の位置に応じてキャラクタCを回転動作させる。この構成では、画面推移や、キャラクタCの形態、状態、及び機能の少なくとも一つ以上の変化に対応して、所定の対象を注視している(所定の対象の方向に注目している)ことを想像させるようにキャラクタCが回転動作する。これにより、人における関心対象や、変化対象に対する視線移動、姿勢変化のように、所定の対象を注視している、関心があることを想像させる。キャラクタCの回転動作が、視線や姿勢変化と同様な非言語コミュニケーション効果となり、対話に対する積極的な関心を表出する。したがって、対話に対する反応感の向上、臨場感の向上等、豊かなコミュニケーションを実現できる。
なお、本実施形態におけるキャラクタCの回転動作とは、キャラクタCの耳アニメーションEの回転によって表出されてもよいし、キャラクタCのボディBの回転によって表出されてもよい。回転方向は、必ずしも注視領域の中心に限定されない。本実施形態での注視とは、例えば、所定の対象が人である場合を一例に説明すると、対象とする相手の目の凝視ではなく、相手の胸元、相手の概ねの方向等、所定の対象の方向を想起させる注視でもよい。回転角度は、注視領域方向への回転によって関心の雰囲気が伝われば小さくてもよい。
以上、本開示の実施形態について説明してきたが、本開示は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
上記実施形態では、耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」の何れかで動作させる形態を一例に説明した。しかし、ユーザの動作に応じた耳アニメーションEの動作はこれに限定されない。耳アニメーションEの動作は、他の動作であってもよいし、更に他の動作を含んでいてもよい。耳アニメーションEの折れ曲がり角度や速さは、適宜設定(変更)することができる。これにより、機微な感情を表出ができると共に、その感情表出の強度の調整(強め、弱め)もできる。耳アニメーションEにおいて、動作の強度を強めに設定した場合、例えば、感情表現の苦手な人の非言語情報表出を、耳アニメーションEの動作の内容、強度、速度表出で支援できる。また、非言語情報表現の異なる文化間のコミュニケーションに対しても、ユーザU1,U2,U3の文化に対応して、動作形態を変換する設定もできる。
上記実施形態では、操作装置50によってユーザU1,U2,U3の手H又は指Fの動作を検出する形態を一例に説明した。しかし、ユーザU1,U2,U3の手H又は指Fは、画像センサ(カメラ、レーザ等)によって検出してもよい。
また、耳アニメーションEの動作は、基本的にはユーザU1,U2、U3の操作に基づいて実行されるが、ユーザU1,U2,U3の表情(カメラによる顔認識)、ユーザU1,U2,U3の音声、AI(Artificial Intelligence:人工知能)による表出制御等を組み合わせてもよい。
キャラクタCの操作は、人に限らず、AI(Chat GPT、Siri(登録商標)、Googoleアシスタント(登録商標)、Alexa(登録商標)、Cortana(登録商標))が行ってもよい。すなわち、キャラクタCを操作するユーザがAIであってもよい。ユーザとは、キャラクタCを操作する対象を意味する。AIが話す言葉が、テキストとして表示され、その時のAIの状態、感情に対応する動作を耳アニメーションEで表出させる。例えば、AIが理解して「OK」のときは、AIの耳アニメーションEにおいて「OKマーク」、AIが理解できない「NG」ときは、AIの耳アニメーションEにおいて「NGマーク」の動作をさせる。AIが良い提案を見つけたときは、耳アニメーションEにおいて「拍手」の動作や耳アニメーションEが二つのビックリマークに変化する動作をさせてもよい。通話相手の感情をAIが読み取って、耳アニメーションEの動作で反応させてもよい。AIは、本来の固有の顔情報、姿情報は有していないので、AIの非言語情報を耳アニメーションEで表出することは、コミュニケーションを創造的に豊かにできる。
耳を模したアニメーションは、耳そのものに限られず、耳に類似したアニメーションであってもよい。耳を模したアニメーショは、耳を連想させるようなデザインであってもよい。耳を模したアニメーションは、耳を基本形として、耳から変形するものであってもよい。
上記実施形態において、操作装置は、加速度及び角速度を検出できるものであればよい。操作装置は、例えば、耳アニメーションEを表示するディスプレイ(表示部)を有する携帯電話機(スマートフォン等)であってもよい。携帯電話機である場合、操作装置50と同様に携帯電話機を操作することによって、動作データが生成される。
上記実施形態では、端末10、端末20及び端末30において制御データを生成する形態を一例に説明した。しかし、制御データは、サーバ40によって生成されてもよい。この構成では、端末10、端末20及び端末30は、動作データをサーバ40に送信し、サーバ40は、動作データに基づいて、制御データを生成する。
上記実施形態では、端末10,20,30にボディB及び耳アニメーションE等が表示される形態を一例に説明した。しかし、端末がウェアラブル端末、ヘッドマウントディスプレイ(HMD)端末である場合には、ボディB及び耳アニメーションE等がレンズ等に表示されてもよいし、ホログラムで表示されてもよい。すなわち、サイバー空間において、キャラクタCを表示させる。サイバー空間には、VR(Virtual Reality:仮想現実)、AR(Augmented Reality:拡張現実)、MR(Mixed Reality:混合現実)が含まれ得る。
上記実施形態では、図18に示される例において、資料ウィンドウW9から資料ウィンドウWCへの表示の切り替えが、キャラクタCを資料ウィンドウW9にドラッグ・アンド・ドロップ(ドラッグイン)することによって実行される形態を一例に説明した。しかし、資料ウィンドウへの表示の切り替え、すなわちボディBに表示部を表示させる方法は、他の方法によって行われてもよい。
例えば、図37のパターンAに示されるように、キャラクタCのボディBをクリック(タッチ)することにより、ボディBに「+」マークM1が表示される。図37のパターンBに示されるように、ボディBに表示された「+」マークM1を外側に向けてドラッグすると、ボディBが拡大され、ボディBに表示部Dが形成(表示)される。図37のパターンCに表示されるように、「+」マークM1を更に外側に向けてドラッグすると、ボディBが例えば略矩形状に変形し、所定サイズの表示部Dが表示される。ボディBのサイズを変更(拡大、縮小)することによって、表示部Dのサイズを適宜設定(調整)することができる。表示部Dは、資料を表示したり、ホワイトボードとして機能したりする。具体的には、表示部Dは、資料、画像、テキスト、カメラ画像、ユーザ自己像、ペン入力ホワイトボード等が、選択されて表示される機能を有している。
図38に示されるように、図37のパターンCに示される状態から、「+」マークM1を更に外側に向けてドラッグすることにより、複数(二つ)の表示部D1,D2が表示されてもよい。図38に示される例では、表示部D1には、資料等やユーザU1,U2,U3が入力した入力内容を表示し、表示部D2には、表示部D1に表示される表示内容の翻訳文を表示してもよい。
表示部D1,D2の配置、サイズ等は、適宜設定することができる。ボディBが表示部D(D1,D2)として機能する形態(ボディBが表示部となる形態、ボディBに表示部が表示される形態)では、図18に示されるように、ボディB全体が表示部となり、ボディBの上部に耳アニメーションEが表示されてもよいし、図37のパターンCに示されるように、変形後のボディBの上部に、変形前のボディBの一部(半円形状の部分)及び耳アニメーションEが表示されてもよい。図37のパターンCに示される例では、ボディBの一部及び耳アニメーションEが帽子のような形状を呈しており、ボディBの上部に帽子が被されるように配置される。ボディBの一部の形状は、半円形状に限られず、矩形状等であってもよい。図37のパターンCに示される例のように、耳アニメーションEと変形前のボディBの一部とを表示し、ボディBにおいて変形しない部分を一部残すことにより、ボディBの変形前と変形後とにおける繋がりを認識し易くなる効果が得られる。
図39に示されるように、表示部D1,D2が表示された二つのキャラクタCは、対話するように表示されてもよい。キャラクタC(ユーザU1,U2,U3)同士の対話において、表示部D1,D2には、会話テキスト等が表示され得る。表示部D1,D2には、ユーザU1,U2,U3の音声データを取得し、データをAIとリンクさせて、会話に応じた図、テキスト、動画、カメラ画像、カメラで撮影した動画自己像、静止画自己像又は音声に対応したテキスト等を自動的に、又は、手動操作で表示させてもよい。例えば、医者と患者との対話において、白内障手術の説明の際、会話内容に基づいて、眼球構造が医者のキャラクタCの表示部D2に自動で表示される。これにより、患者は、眼内レンズと水晶体の交換説明をより理解し易くなる。このように、キーワード、キーセンテンスに基づいて、AI活用により、最適な図、文章、音楽、動画、静止画、サイト等が、説明者のキャラクタCの表示部D1,D2に自動で表示、出力されることによって、対話がダイナミックに効率的に構成できる。
また、ボディBに表示部を表示させる別の方法として、図40のパターンAに示されるように、キャラクタCのボディBの上部側(耳アニメーションE側)をクリック(タッチ)することにより、ボディBに例えば「+」マークM2が表示される。図40のパターンBに示されるように、ボディBに表示された「+」マークM3をドラッグすると、ボディBが拡大され、ボディBに表示部Dが形成(表示)される。図41のパターンAに示されるように、表示部Dに表示された「+」マークM3を更にドラッグすると、図41のパターンBに示されるように、表示部Dが拡大される。
図42のパターンAに示されるように、キャラクタCのボディBの上部側(耳アニメーションE側)を再度クリック(タッチ)することにより、ボディBに「+」マークM2が表示される。ボディBに表示された「+」マークM2をクリックすることにより、新たな表示部D2が形成される。図42のパターンBに示されるように、表示部D1,D2に表示された「+」マークM3,M4を更に外側に向けてドラッグすると、表示部Dが拡大される。
図43に示されるように、表示部D1,D2には、機能ボタンFBが表示されてもよい。機能ボタンFBは、一又は複数表示され得る。機能ボタンFBをクリックすることによって、表示部D1,D2における機能を切り替えることができる。機能ボタンFBとしては、例えば、資料表示ボタン、手書き入力ボタン、翻訳ボタン、AIサーチボタン等が含まれ得る。各表示部D1,D2において、選択された機能ボタンFBの機能が発揮される。例えば、表示部D1において機能ボタンFBとして資料ボタンが選択されると、表示部D1にパソコン等の画面が表示され、資料を選択して表示させることができる。例えば、表示部D1において機能ボタンFBとして手書き入力ボタンが選択されると、表示部D1に手書き入力のためのツール(ペン、ペンの色・太さ選択、消しゴム等)が表示される。例えば、表示部D2において翻訳ボタンが選択されると、表示部D2に翻訳文が表示される。例えば、表示部D2においてAIサーチボタンが選択されると、表示部D2に、会話に応じた図、テキスト、動画、静止画又は音声等が自動的に表示、出力される。
上記のように、ユーザU1,U2,U3によってボディBを拡大(縮小)する操作により、表示部D(D1,D2)を表示させる等の機能変化要素が加わる。そのため、視覚的な対話を容易に提供できると共に、その変化に面白味が生じ、対話が楽しくなる。ユーザU1,U2,U3によるボディBの操作のため、周囲の参加者も含めて、視覚的に分かり易くできる。また、キャラクタCのボディBの変身による表示部D(D1,D2)の生成は、マルチに表示したりサイズを変更したりする等、ボディBに表示される「+」マークのドラッグで自在に容易に配置できるようにしておくことにより、ユーザーインターフェースが著しく向上する。そのため、対話の視聴覚支援ツールとしての効用が高い。
また、キャラクタCは、仮想空間における特定場所、パビリオン、教室、図書館、食堂等、様々な場所(環境、シチュエーション)において、ボディBが場所や属性等に応じて自動で変身(変形)してもよい。ボディBの変身としては、形態(形状)の変化、色の変化、デザイン(模様等)の変化等がある。このように、場所等に応じてボディBが変身することにより、その場の雰囲気をより一層体感することができる。ボディBの変身の可否は、ユーザU1,U2,U3が設定することができる。また、キャラクタCが変身する際、複数の態様が表示されて、選択できるようにしておいてもよい。
また、キャラクタCは、仮想空間において、アバターと一体化されてもよい。図44のパターンAに示されるキャラクタCは、図44のパターンBに示されるように、例えば、アバターABと一体的に表示されてもよい。アバターABは、顔表情を含んでいてもよいし、顔表情を含んでいなくてもよい。この場合、キャラクタCの一部、例えば耳アニメーションEを含むボディBの上部は、アバターABの上部に付加される。耳アニメーションEだけではなく、ボディBの一部(例えば、半円形状の部分、識別情報)も一緒に付加することにより、キャラクタCの変身をスムーズに行うことができ、変身しても、元の識別性を与えていたデザインの一部を受け継ぐことで、識別の連続性、視認性を維持実現でき、変身による識別に関する違和感を軽減できる。
アバターABに付加される部分は、耳アニメーションE及びボディBの一部に限られず、耳アニメーションEのみであってもよい。また、アバターABに付加される部分は、耳アニメーションEを有する基礎体、支持体等、例えば帽子や耳アニメーションEを有するヘッドフォン等であってもよい。帽子の形状は、様々な形状(シルクハット、野球帽、王冠、ヘルメット等)を採用することができる。帽子形態によって、アバターABを識別することが可能となる。帽子にテキスト情報、名前、ニックネーム、属性、マーク、又は、特定できるNFTが表示されてもよい。これにより、アバターABの識別性がより向上する。
上記のように、アバターABに耳アニメーションE(ボディBの一部、帽子を含む)を付加することにより、アバターABを使用する場合であっても、耳アニメーションEの機能を維持させることができる。このように、耳アニメーションE及びアバターABの融合により、アバターABにおいて非言語コミュニケーションの強化を図ることができると共に識別情報を表出させることができる、その場に適したブランドに対応できる。また、デザイン及び機能は、NFT(Non-Fungible Token)と融合することにより、サービスをより拡大できる。
なお、キャラクタCは、人型のアバターABに限らず、顔表情の無い車やディスプレイ等の「モノ」に適用してもよい。「モノ」に耳アニメーションEを適用することによって、「モノ」に生き物感覚を付与することができる。キャラクタCは、「モノ」ではなく、NFT等のデザイン、ブランド等マーク、映像、画像、テキスト情報に耳アニメーションEを付加したものであってもよい。このように、耳アニメーションEを含むモノ等が特定の集団、属性、識別表示として一定の役割、効果を有すれば、キャラクタCとして広く適用できる。
また、ボディBに表示部を表示させる別の方法(形態を変化させる方法)として、キャラクタCの通常状態(表示部が表示されていない状態)からボディBに表示部を表示させるときに、他のアニメーションを表示させてもよい。図45に示されるように、例えば、キャラクタCの通常状態(以下、「第一形態」とも称する。)とボディBに表示部が表示された状態(以下、「第二形態」とも称する。)との間に、煙、雲、竜巻(つむじ風)等のアニメーションAMを表示させてもよい。アニメーションAMは、第一形態及び第二形態とは外観が異なるものあればよく、様々なアニメーションを採用することができる。
このように、第一形態と第二形態との間にアニメーションAMを表示させることにより、第一形態から第二形態に即座に(急激に)変化する印象を緩和できる。この場合、例えば、第一形態から第二形態への変化に対するユーザU1,U2,U3の違和感を軽減できる効果が得られる。
第一形態と第二形態とは、形態の変化の前後において、ユーザU1,U2,U3を特定できるようにしておくことが好ましい。例えば、図46に示されるように、第一形態と第二形態とにおいて、ボディBに表示される識別情報(名前、イニシャル、特定デザイン(NFT、模様等)、ブランドマーク)を同じものとすることができる。また、第二形態において、第一形態と同様のボディBの形状とすることができる。すなわち、第二形態においては、第一形態と同様のボディBの形状を維持しつつ、表示部Dが表示される。また、第一形態と第二形態とにおいて、同じ色とすることができる。
図47のパターンAに示されるように、第二形態において、ボディBに顔画像(映像)を表示してもよい。顔画像の表示は、例えば、カメラ等の撮像装置によって得られたユーザU1,U2,U3の顔を含む画像から、AI等による顔認識によって顔部分を取得し、当該顔部分をボディBに表示させることにより実現される。また、図47のパターンBに示されるように、第二形態において、ボディBにより形成される枠部分に、名前等の識別情報を表示してもよい。
上記のように、第一形態から第二形態に変化する場合においては、第一形態と第二形態とにおいてユーザU1,U2,U3の同定し易さが維持されることが好ましい。ここで、人間の視野角は、一般には120°程度である。画面において情報を読み取る等、高性能を求める場合は、10°以内の視野角に鮮明な視野(中心視野)がある。そのため、画面を観察するとき、画面全面での情報を読み取り、注意を行き届かせることは困難である。例えば、画面から50cm~60cm離れた位置において、中心視野の視野角を10°とすると、直径8cm~10cm程度の領域に相当する。このように、画面において情報を読み取る場合には、視野角は、10°以内であることが好ましい。視野角を10°とすることが困難である場合であっても、できる限り視野角を小さくすることが好ましい。
視野角を10°以内、又は、視野角をできる限り小さくするためには、キャラクタCと表示部との単なる結合でなく、第一形態と第二形態とにおいて、識別情報(同定情報)を維持すると共に、キャラクタC全体としての同定性を維持して、キャラクタCにおいて表示部Dを一体的に表示することが好ましい。そのため、図46又は図47に示される例のように、キャラクタCと同じ色、デザインによって、表示部Dの周囲の枠を形成したり、ボディBの一部、例えば、上部に識別情報となる名前、イニシャル、特定デザイン(NFT、模様等)、ブランドマークを、枠デザインの一部として表示したりすることが好ましい。
例えば、画面にキャラクタCと翻訳文とが表示される場合、広い視野角の領域では、キャラクタCの耳アニメーションEの変化と翻訳文の文字とを同時に読み取ることは難しい。例えば、図48に示されるように、キャラクタCと翻訳文等が表示されるが表示ウィンドウW13とが別に表示される場合、視野角が大きくなるため、キャラクタCの耳アニメーションEの変化と翻訳文の文字とを同時に読み取ることが難しくなり得る。また、図49に示されるように、例えばプレゼンターとなるキャラクタCの下部に表示ウィンドウW14が表示される場合、図48に示す例よりも視野角は小さくなるものの、視野各は10°よりも大きくなる。図50に示されるように、アバターABと一体的に表示されているキャラクタCと表示ウィンドウW15とが表示される場合、視野角が大きくなる。
図51に示される例のように、キャラクタCにおいて、ボディBに表示部Dが表示される場合には、キャラクタCと表示ウィンドウとを別に表示する場合に比べて、耳アニメーションEと表示部Dに表示されるテキスト情報とが近い位置に表示されるため、視野角が小さくなる。そのため、視認性が向上し、情報処理がし易くなる。その結果、耳アニメーションE(非言語情報)とテキスト情報とを同時に理解することができる。さらに、キャラクタCにおいて、ボディBに表示部Dが表示されて一体化されている構成では、キャラクタCと表示ウィンドウとを別に表示する構成よりも、耳アニメーションEとテキスト情報との一体感が向上し、より親しみと、躍動感が向上することも期待できる。
今後、AIによる同時通訳技術の普及により、世界中において、異言語でのコミュニケーションが日常的に普及すると予測される。耳アニメーションEと通訳文を表示する表示部Dとが一体的に表示されるキャラクタCは、異言語でのコミュニケーションを実現するためのアプリケーションとして期待できる。特に、GX(グリーントランスフォーメーション)の視点からも、伝送容量の低減(エネルギーの低減)には、リアルな動画である顔情報を常時表示すのではなく、耳アニメーションEによって非言語表現を表出させることが、伝送容量の削減には大きく有効である。なお、顔情報認識が必要な場合は、図47に示されるように、キャラクタCのボディBに顔の静止画等を表示することができる。
また、ボディBに表示部を表示させる別の方法として、図52に示されるように、複数のキャラクタCが表示されている画面G14において、キャラクタCをクリック(タッチ、選択)してもよい。画面G14は、例えば会議の活動において表示される画面である。画面G14には、キャラクタCが表示される参加者ウィンドウW16と、操作ウィンドウW17と、が表示される。参加者ウィンドウW16には、会議に参加しているキャラクタCが表示される。キャラクタCのボディBには、参加者を識別可能な情報(例えば、「A」~「H」)が表示される。操作ウィンドウW17には、キャラクタCにおける耳アニメーションEの動作パターンが複数表示される。ユーザU1,U2,U3は、操作ウィンドウW17に表示されている動作パターンの一つをクリックする。これにより、ユーザU1,U2,U3のキャラクタCの耳アニメーションEが所定のパターンで動作する。
画面G14において、ユーザU1,U2,U3が自身のキャラクタCをクリックすると、図53に示されるように、キャラクタCの近傍に機能選択ウィンドウW18が表示される。機能選択ウィンドウW18は、キャラクタCの近傍に吹き出しのようにポップアップ表示される。機能選択ウィンドウW18には、キャラクタCにおいて実行させる複数の機能が表示される。機能選択ウィンドウW18には、例えば、「プレゼン」、「自己像」及び「デザイン」の機能が表示される。「プレゼン」の機能が選択されると、ボディBに表示部D(図54)が表示される。「自己像」の機能が選択されると、ボディBにユーザU1,U2,U3の顔画像(映像)が表示される。顔画像の表示を停止する場合には、「自己像」の機能を再度選択する。「デザイン」の機能が選択されると、キャラクタCのデザインを設定(変更)する画面が表示される。デザインの設定画面では、キャラクタCに表示されるテキスト(「A」等)、キャラクタCの色等を設定できる。
機能選択ウィンドウW18において、「プレゼン」を選択すると、図54に示されるように、キャラクタCのボディBに表示部Dが形成(表示)される。キャラクタCのボディBには、識別情報が表示される。表示部Dを有するキャラクタC(「A」)は、参加者ウィンドウW16において、拡大して表示される。他のキャラクタC(「B」~「H」)は、縮小して表示される。他のキャラクタC(「B」~「H」)は、例えば、参加者ウィンドウW16の上部に並んで配置される。キャラクタCのボディBに表示部Dには、プレゼンの資料等が表示される。
ボディBには、「+」マークM5と、「×」マークM6と、が表示される。「+」マークM5をドラッグすると、表示部Dを拡大又は縮小できる。「×」マークM6をクリックすると、ボディBの表示部Dの表示が終了する。この場合、図52に示される参加者ウィンドウW16の表示に戻る。
上記に示す例では、機能選択ウィンドウW18を表示し、機能選択ウィンドウW18において「プレゼン」をクリックすることにより、キャラクタCのボディBに表示部Dを表示させる形態を一例に説明した。しかし、キャラクタCのボディBに表示部Dを表示させる方法は、他の方法であってもよい。例えば、表示部Dは、ユーザU1,U2,U3の音声に基づいて表示されてもよい。具体的には、ユーザU1,U2,U3が話を始めると、自動的に、キャラクタCのボディBに表示部Dが表示されてもよい。この場合、「うんうん」、「なるほど」等の相槌言葉の全てにおいて表示部Dを表示させると、画面表示が頻繁に切り替わり、ユーザU1,U2,U3が違和感を覚えることがある。そのため、例えば、ユーザU1,U2,U3が5秒以上連続して発話した場合に、ボディBに表示部Dを表示するように設定してもよい。また、他の方法として、キーボード等のスペースバーを押下すると、キャラクタCのボディBに表示部Dが表示されるようにしてもよい上記のように、ボディBへの表示部Dの表示は、対話障害にならない操作レベルでの手動操作、状況に応じた自動化によって行われればよい。
上記実施形態では、ユーザU1,U2,U3によってキャラクタCが操作される形態を一例に説明した。しかし、上記のように、キャラクタCの操作は、AIが行ってもよい。仮想空間Rには一又は複数のキャラクタCが表示され、一又は複数のキャラクタCのうちの少なくとも一つのキャラクタCが、AIによって操作される。AIによって操作されるキャラクタCに対応する表示ウィンドウ(表示部)W21(図56参照)が表示されてもよい。表示ウィンドウW21には、AIによって生成されたテキスト、当該テキストに関連する静止画、当該テキストに関連する動画、当該テキストに関連する文章、当該テキストに関連するサイト情報の少なくとも一つが表示される。また、キャラクタCは、AIが生成したテキストに対応する音声を出力してもよい。
AIによるキャラクタCの操作により、キャラクタCは、例えば、以下のように動作する。AIがコミュニケーション相手の入力テキスト及び/又は音声を理解した場合には、AIは、キャラクタCの耳アニメーションEがうなずく動作(図5のパターンB)を行うように、キャラクタCを操作する。AIが処理中(考え中)である場合には、AIは、キャラクタCの耳アニメーションEの耳が絡まる動作(図5のパターンE)を繰り返し行うように、キャラクタCを操作する。AIにおいて処理が終了した場合(結果等が出た場合)には、AIは、キャラクタCの耳アニメーションEがエクスクラメーションマーク(!)を想像させる動作(図59参照)を行うように、キャラクタCを操作する。AIが対応できない場合には、AIは、キャラクタCの耳アニメーションEの耳が深く折り曲がる動作(図5のパターンC)を繰り返し行うように、キャラクタCを操作する。コミュニケーション相手が理解、納得した場合には、AIは、キャラクタCの耳アニメーションEの耳が拍手する動作を行うように、キャラクタCを操作する。
AIがキャラクタCを操作する形態の一例について説明する。図55に示されるように、画面G15には、キャラクタCが表示される参加者ウィンドウW19と、操作ウィンドウW20と、が表示される。参加者ウィンドウW19には、会議に参加しているキャラクタCが表示される。キャラクタCのボディBには、参加者を識別可能な情報(例えば、「A」~「E」、「AI」)が表示される。操作ウィンドウW20には、キャラクタCにおける耳アニメーションEの動作パターンが複数表示される。
画面G15において、ユーザ(ユーザU1,U2,U3等を含むユーザ)が「AI」のキャラクタCをクリックすると、図56に示されるように、画面G16に遷移する。画面G16には、AIのキャラクタCの近傍に表示ウィンドウ(表示部)W21が表示されると共に、テキストウィンドウW22が表示される。表示ウィンドウW21は、AIのキャラクタCに対応する表示部であり、AIのキャラクタCと表示ウィンドウW21とが対応していることが認識し得る態様で表示される。図56に示す例では、表示ウィンドウW21は、AIのキャラクタCの下方に表示される。テキストウィンドウW22には、テキストを入力することができる。テキストの入力方法としては、キーボード入力、手書き入力、音声入力等が挙げられる。
任意のキャラクタC(図56に示す例では、「D」のキャラクタ)をテキストウィンドウW22にドラッグ・アンド・ドロップすると、図57に示されるように、画面G17に遷移する。キャラクタCが複数の場合には、複数のキャラクタCをテキストウィンドウW22にドラッグ・アンド・ドロップする。以下では、「D」のキャラクタCのみの場合について説明する。画面G17には、AIのキャラクタC及び表示ウィンドウW21と、質問者のキャラクタC及び入力ウィンドウW23と、操作ウィンドウW20と、が表示される。入力ウィンドウW23は、質問者のキャラクタCに対応して表示される。図56に示す例では、入力ウィンドウW23は、質問者のキャラクタCの下方に表示される。画面G17において、質問者以外のキャラクタCは、所定の領域にまとめて表示される。質問者以外のキャラクタCは、AIのキャラクタC及び質問者のキャラクタCよりも小さく表示されてもよい。
画面G17において、表示ウィンドウW21には、「なんでしょうか?」等のテキストが表示される。ユーザは、入力ウィンドウW23にテキスト(例えば、「〇〇について教えて下さい」)を入力する。テキストの入力方法としては、キーボード入力、手書き入力、音声入力等が挙げられる。入力ウィンドウW23へのテキストの入力中、質問者のキャラクタCの耳アニメーションEは、耳が絡まる動作を行う。また、入力ウィンドウW23へのテキストの入力中、AIのキャラクタCの耳アニメーションEは、うなずく動作を行う。なお、このときのAIのキャラクタCの耳アニメーションEは、左右に揺れる動作であってもよい。
入力ウィンドウW23へのテキストの入力が完了すると、ユーザは、AIのキャラクタCをクリックする。これにより、図58に示されるように、画面G18に遷移する。入力ウィンドウW23に入力されたテキスト(質問)に対する処理をAIが行っている間、AIのキャラクタCの耳アニメーションEは、絡まる動作を繰り返し行う。AIによる処理が完了すると、図59に示されるように、AIのキャラクタCの耳アニメーションEは、エクスクラメーションマーク(!)を想像させる動作を行う。また、表示ウィンドウW21には、入力ウィンドウW23に入力されたテキスト(質問)に対する回答が表示される。表示ウィンドウW21には、AIによって生成されたテキストの他に、テキストに関連する静止画、テキストに関連する動画、テキストに関連する文章、テキストに関連するサイト情報等が表示されてもよい。表示ウィンドウW21には、テキストと当該テキストに対応する翻訳文、又は、テキストの翻訳文が表示されてもよい。また、表示ウィンドウW21に表示されたテキストに対応する音声が出力されてもよい。
入力ウィンドウW23に入力されたテキスト(質問)に対する処理を完了できなかった場合、AIのキャラクタCの耳アニメーションEは、耳が深く折り曲がる動作を繰り返し行う。AIによる処理が完了すると、図60に示されるように、画面G19に遷移する。画面G19には、テキストウィンドウW22が表示される。
上記の形態では、AIのキャラクタCが一つである場合を一例に説明したが、AIのキャラクタCは二以上であってもよい。AIのキャラクタCが二以上の場合、ユーザU1,U2,U3は、回答を求めるAIのキャラクタCをクリックすればよい。
また、上記の形態では、AIのキャラクタCの下方に表示ウィンドウ(表示部)W21が表示される形態を一例に説明した。しかし、AIのキャラクタCに対応する表示部の形態はこれに限定されない。図61のパターンAに示されるように、キャラクタCと表示部とが別々に表示されてもよいし、図61のパターンBに示されるように、表示部と耳アニメーションとが一体化されていてもよい。また、図61のパターンCに示されるように、表示部とキャラクタとが一体化されていてもよいし(キャラクタのボディの一部が表示部であってもよいし)、図61のパターンDに示されるように、表示部とボディが変形したキャラクタとが一体化されていてもよい。
上記の形態では、AIのキャラクタCと質問者のキャラクタCとのやり取りがチャット形式で表示される形態を一例に説明した。しかし、AIのキャラクタCと質問者のキャラクタCとのコミュニケーションは、図39に示されるような態様であってもよい。また、AIのキャラクタCと複数のユーザU1,U2,U3のキャラクタCとがいる場合には、自身の入力ウィンドウW23に入力した後、対話相手のキャラクタC(AIのキャラクタC又はユーザU1,U2,U3のキャラクタC)をクリックする。対話相手のキャラクタCがユーザU1,U2,U3のキャラクタCである場合、入力ウィンドウW23に入力された内容は、AIに送信される。
上記実施形態に加えて、耳アニメーションEの動作を信号として、前後の一定時間自動録画、再生、時間位置情報等を表示する機能を有していてもよい。自動録画について、耳アニメーションEは他のユーザU1,U2,U3の話を聞いてからの動作(反応)になるため、耳アニメーションEの動作を信号とする録画開始位置(時間)は、耳アニメーションEの動作より前、例えば、5秒前からであることが好ましい。録画終了位置(時間)は、耳アニメーションEの動作の一定時間後(例えば、15秒)とすることができる。録画終了位置は、ユーザU1,U2,U3の操作によって決定されてもよいし、録画の延長を手動でできるようにしておいてもよい。また、録画は、授業中等において、ユーザU1,U2,U3によって設定されたタイミング(付箋が付与された位置、時間)で行われてもよい。
図62に示されるように、録画を再生する場合には、タイムチャートにおいて、耳アニメーションEの動作パターンをクリックする。例えば、拍手の動作パターンをクリックすると、耳アニメーションEの動作の5秒前から動作後15秒の動画が再生される。これにより、録画を効率的に閲覧することができる。
上記のように、耳アニメーションEの動作を起点として録画がされるため、特別な操作を行うことなく、録画を行うことができる。そのため、授業等の振り返り等を容易に行うことができる。また、プレゼンター等も、耳アニメーションEの動作を基に反応を確認できるため、プレゼンの振り返りに役立つ。更に、例えば、授業全体の統計でなく、特定のユーザの反応に着目しての、個人別記録も可能になる。そのため、詳細な反応分析ができる。分析結果のまとめは、AIに実行させてもよい。
[付記]
上記の様々な例から把握されるとおり、本開示は以下に示す態様を含む。
(付記1)
ユーザが操作可能なキャラクタであって、前記ユーザの操作に応じて耳を模したアニメーションが動作する前記キャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に応じて、前記第一画面とは異なる第二画面に表示を遷移させるステップと、をコンピュータに実行させる、表示プログラム。
(付記2)
前記仮想空間において、複数の表示領域を表示させ、
複数の前記表示領域の少なくとも一つに、前記コンテンツを表示させる、付記1に記載の表示プログラム。
(付記3)
複数の前記表示領域は、
前記活動の主導者となる前記キャラクタを表示させる第一表示領域と、
前記活動の参加者となる前記キャラクタを表示させる第二表示領域と、を含み、
前記第一表示領域に表示される前記キャラクタのサイズを、前記第二表示領域に表示される前記キャラクタよりも大きく表示させる、付記2に記載の表示プログラム。
(付記4)
複数の前記表示領域は、
前記参加者の前記キャラクタの前記アニメーションが挙手を示す動作を行った場合に、当該キャラクタが前記第二表示領域から移動して表示されると共に、当該キャラクタの音声の前記仮想空間における出力が規制されている第三表示領域と、
前記第三表示領域に表示された前記キャラクタの内の少なくとも一つの前記キャラクタが前記第三表示領域から移動して表示されると共に、当該キャラクタの音声を前記仮想空間において出力することが可能である第四表示領域と、を含み、
前記第三表示領域から前記第四表示領域に前記キャラクタが移動したことに応じて、前記第四表示領域における前記キャラクタの音声の出力を可能にさせる、付記3に記載の表示プログラム。
(付記5)
複数の前記表示領域のそれぞれは、サイズ及び前記仮想空間における位置の少なくとも一方を変更可能である、付記2又は付記3に記載の表示プログラム。
(付記6)
前記第二表示領域に表示される前記キャラクタは、前記ユーザの属性に基づいて区別可能に表示される、付記3又は付記4に記載の表示プログラム。
(付記7)
前記第二表示領域に表示される前記キャラクタにおいて、当該キャラクタの音声の前記仮想空間における出力を規制する、付記3又は付記4に記載の表示プログラム。
(付記8)
前記コンテンツが表示される前記表示領域に、前記ユーザから入力された入力内容を表示させる、付記2に記載の表示プログラム。
(付記9)
前記仮想空間において、前記コンテンツを表示する表示部を表示させる、付記1に記載の表示プログラム。
(付記10)
前記表示部に、前記ユーザから入力された入力内容を表示させる、付記9に記載の表示プログラム。
(付記11)
前記表示部に対して前記キャラクタをドラッグ・アンド・ドロップする操作を受け付けた場合、前記表示部において所定の機能が実行される、付記9又は付記10に記載の表示プログラム。
(付記12)
前記表示部を操作する前記ユーザを識別可能に表示させる、付記11に記載の表示プログラム。
(付記13)
前記表示部に対して前記キャラクタがドラッグ・アンド・ドロップされた後、前記表示部に表示されている前記キャラクタを前記表示部以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、前記所定の機能の実行を終了させる、付記11に記載の表示プログラム。
(付記14)
前記表示部に対する前記ユーザからの所定の操作を受け付けた場合、前記表示部における表示内容を操作する操作画面を表示させる、付記9又は付記10に記載の表示プログラム。
(付記15)
前記入力を行う前記ユーザの前記キャラクタを、他の前記キャラクタとは識別可能に表示させる、付記8又は付記10に記載の表示プログラム。
(付記16)
前記仮想空間における前記キャラクタ及び前記表示部の位置を変更可能である、付記9に記載の表示プログラム。
(付記17)
前記キャラクタのサイズの変更が可能であり、
前記仮想空間に表示される複数の前記キャラクタのうち、一の前記キャラクタのサイズが変更された場合、他の前記キャラクタのサイズも同様に変更する、付記9又は付記10に記載の表示プログラム。
(付記18)
前記仮想空間において、前記コンテンツを表示するコンテンツ表示部と、前記キャラクタの音声をテキスト化した会話テキストを表示するテキスト表示部と、少なくとも二つの前記キャラクタとを表示させる、付記1に記載の表示プログラム。
(付記19)
前記テキスト表示部には、前記キャラクタの音声に基づいて作成される複数の前記会話テキストのうち、時系列において最新のものから所定数の前記会話テキストを表示させる、付記18に記載の表示プログラム。
(付記20)
前記テキスト表示部に表示される前記会話テキストに対する前記ユーザからの操作を受け付けた場合、当該会話テキストを前記コンテンツ表示部に表示させる、付記18又は付記19に記載の表示プログラム。
(付記21)
前記キャラクタの配置及びサイズの変更が可能であり、
前記仮想空間に表示される二つの前記キャラクタのうち、一方の前記キャラクタの配置又はサイズが変更された場合、他方の前記キャラクタの配置又はサイズも一方の前記キャラクタの配置又はサイズに応じて変更する、付記18又は付記19に記載の表示プログラム。
(付記22)
前記表示部の周囲に前記キャラクタを表示させ、
前記ユーザの動作を検出し、前記ユーザの動作に基づいて前記アニメーションを動作させる、付記9又は付記10に記載の表示プログラム。
(付記23)
一又は複数の前記キャラクタが配置されると共に、前記仮想空間において移動可能に設けられている一又は複数の移動体を表示させる、付記9に記載の表示プログラム。
(付記24)
複数の前記移動体のそれぞれに複数の前記キャラクタが配置される場合において、一の前記移動体に配置される複数の前記キャラクタの音声と、他の前記移動体に配置される複数の前記キャラクタの音声とが互いに聞こえないようにする、付記23に記載の表示プログラム。
(付記25)
前記表示部に表示される前記コンテンツについての解説を表示させる、付記9に記載の表示プログラム。
(付記26)
前記仮想空間における前記活動において、前記キャラクタの前記アニメーションを編集可能な映像として出力する、付記9に記載の表示プログラム。
(付記27)
前記仮想空間における前記キャラクタの前記活動を録画して出力する、付記1又は付記2に記載の表示プログラム。
(付記28)
ユーザが操作可能なキャラクタであって、前記ユーザの操作に応じて耳を模したアニメーションが動作する前記キャラクタを用いた仮想空間における活動の表示を制御する表示方法であって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に応じて、前記第一画面とは異なる第二画面に表示を遷移させるステップと、を含む、表示方法。
(付記29)
ユーザが操作可能なキャラクタであって、前記ユーザの操作に応じて耳を模したアニメーションが動作する前記キャラクタを用いた仮想空間における活動の表示を制御する表示システムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させ、
前記キャラクタの動作に応じて、前記第一画面とは異なる第二画面に表示を遷移させる、表示システム。
上記の様々な例から把握されるとおり、本開示は以下に示す態様を含む。
(付記1)
ユーザが操作可能なキャラクタであって、前記ユーザの操作に応じて耳を模したアニメーションが動作する前記キャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に応じて、前記第一画面とは異なる第二画面に表示を遷移させるステップと、をコンピュータに実行させる、表示プログラム。
(付記2)
前記仮想空間において、複数の表示領域を表示させ、
複数の前記表示領域の少なくとも一つに、前記コンテンツを表示させる、付記1に記載の表示プログラム。
(付記3)
複数の前記表示領域は、
前記活動の主導者となる前記キャラクタを表示させる第一表示領域と、
前記活動の参加者となる前記キャラクタを表示させる第二表示領域と、を含み、
前記第一表示領域に表示される前記キャラクタのサイズを、前記第二表示領域に表示される前記キャラクタよりも大きく表示させる、付記2に記載の表示プログラム。
(付記4)
複数の前記表示領域は、
前記参加者の前記キャラクタの前記アニメーションが挙手を示す動作を行った場合に、当該キャラクタが前記第二表示領域から移動して表示されると共に、当該キャラクタの音声の前記仮想空間における出力が規制されている第三表示領域と、
前記第三表示領域に表示された前記キャラクタの内の少なくとも一つの前記キャラクタが前記第三表示領域から移動して表示されると共に、当該キャラクタの音声を前記仮想空間において出力することが可能である第四表示領域と、を含み、
前記第三表示領域から前記第四表示領域に前記キャラクタが移動したことに応じて、前記第四表示領域における前記キャラクタの音声の出力を可能にさせる、付記3に記載の表示プログラム。
(付記5)
複数の前記表示領域のそれぞれは、サイズ及び前記仮想空間における位置の少なくとも一方を変更可能である、付記2又は付記3に記載の表示プログラム。
(付記6)
前記第二表示領域に表示される前記キャラクタは、前記ユーザの属性に基づいて区別可能に表示される、付記3又は付記4に記載の表示プログラム。
(付記7)
前記第二表示領域に表示される前記キャラクタにおいて、当該キャラクタの音声の前記仮想空間における出力を規制する、付記3又は付記4に記載の表示プログラム。
(付記8)
前記コンテンツが表示される前記表示領域に、前記ユーザから入力された入力内容を表示させる、付記2に記載の表示プログラム。
(付記9)
前記仮想空間において、前記コンテンツを表示する表示部を表示させる、付記1に記載の表示プログラム。
(付記10)
前記表示部に、前記ユーザから入力された入力内容を表示させる、付記9に記載の表示プログラム。
(付記11)
前記表示部に対して前記キャラクタをドラッグ・アンド・ドロップする操作を受け付けた場合、前記表示部において所定の機能が実行される、付記9又は付記10に記載の表示プログラム。
(付記12)
前記表示部を操作する前記ユーザを識別可能に表示させる、付記11に記載の表示プログラム。
(付記13)
前記表示部に対して前記キャラクタがドラッグ・アンド・ドロップされた後、前記表示部に表示されている前記キャラクタを前記表示部以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、前記所定の機能の実行を終了させる、付記11に記載の表示プログラム。
(付記14)
前記表示部に対する前記ユーザからの所定の操作を受け付けた場合、前記表示部における表示内容を操作する操作画面を表示させる、付記9又は付記10に記載の表示プログラム。
(付記15)
前記入力を行う前記ユーザの前記キャラクタを、他の前記キャラクタとは識別可能に表示させる、付記8又は付記10に記載の表示プログラム。
(付記16)
前記仮想空間における前記キャラクタ及び前記表示部の位置を変更可能である、付記9に記載の表示プログラム。
(付記17)
前記キャラクタのサイズの変更が可能であり、
前記仮想空間に表示される複数の前記キャラクタのうち、一の前記キャラクタのサイズが変更された場合、他の前記キャラクタのサイズも同様に変更する、付記9又は付記10に記載の表示プログラム。
(付記18)
前記仮想空間において、前記コンテンツを表示するコンテンツ表示部と、前記キャラクタの音声をテキスト化した会話テキストを表示するテキスト表示部と、少なくとも二つの前記キャラクタとを表示させる、付記1に記載の表示プログラム。
(付記19)
前記テキスト表示部には、前記キャラクタの音声に基づいて作成される複数の前記会話テキストのうち、時系列において最新のものから所定数の前記会話テキストを表示させる、付記18に記載の表示プログラム。
(付記20)
前記テキスト表示部に表示される前記会話テキストに対する前記ユーザからの操作を受け付けた場合、当該会話テキストを前記コンテンツ表示部に表示させる、付記18又は付記19に記載の表示プログラム。
(付記21)
前記キャラクタの配置及びサイズの変更が可能であり、
前記仮想空間に表示される二つの前記キャラクタのうち、一方の前記キャラクタの配置又はサイズが変更された場合、他方の前記キャラクタの配置又はサイズも一方の前記キャラクタの配置又はサイズに応じて変更する、付記18又は付記19に記載の表示プログラム。
(付記22)
前記表示部の周囲に前記キャラクタを表示させ、
前記ユーザの動作を検出し、前記ユーザの動作に基づいて前記アニメーションを動作させる、付記9又は付記10に記載の表示プログラム。
(付記23)
一又は複数の前記キャラクタが配置されると共に、前記仮想空間において移動可能に設けられている一又は複数の移動体を表示させる、付記9に記載の表示プログラム。
(付記24)
複数の前記移動体のそれぞれに複数の前記キャラクタが配置される場合において、一の前記移動体に配置される複数の前記キャラクタの音声と、他の前記移動体に配置される複数の前記キャラクタの音声とが互いに聞こえないようにする、付記23に記載の表示プログラム。
(付記25)
前記表示部に表示される前記コンテンツについての解説を表示させる、付記9に記載の表示プログラム。
(付記26)
前記仮想空間における前記活動において、前記キャラクタの前記アニメーションを編集可能な映像として出力する、付記9に記載の表示プログラム。
(付記27)
前記仮想空間における前記キャラクタの前記活動を録画して出力する、付記1又は付記2に記載の表示プログラム。
(付記28)
ユーザが操作可能なキャラクタであって、前記ユーザの操作に応じて耳を模したアニメーションが動作する前記キャラクタを用いた仮想空間における活動の表示を制御する表示方法であって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に応じて、前記第一画面とは異なる第二画面に表示を遷移させるステップと、を含む、表示方法。
(付記29)
ユーザが操作可能なキャラクタであって、前記ユーザの操作に応じて耳を模したアニメーションが動作する前記キャラクタを用いた仮想空間における活動の表示を制御する表示システムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させ、
前記キャラクタの動作に応じて、前記第一画面とは異なる第二画面に表示を遷移させる、表示システム。
10…端末、11…入力部、12…制御部、13…記憶部、13P…端末プログラム、14…通信部、15…出力部、20…端末、30…端末、40…サーバ、42…制御部、43…記憶部、43P…サーバプログラム、43S…受信データ、44…通信部、50…操作装置、51A…操作面、52…通信部、53…入力部、54…制御部、55…バッテリ、100…表示システム、AB…アバター、AM…アニメーション、AP…アクセスポイント、B…ボディ、B1…表示ボード(コンテンツ表示部)、B2…チャットボード(テキスト表示部)、B3…表示ボード、B4…表示ボード、B5…表示ボード、B6…表示ボード、B7…表示ボード、B8…表示ボード、B9…表示ボード、BR1…ブレイクアウトルーム、BR2…ブレイクアウトルーム、BR3…ブレイクアウトルーム、BR4…ブレイクアウトルーム、BS…基地局、C…キャラクタ、CG…キャラクタ、CW…資料ウィンドウ、D,D1,D2…表示部、E…耳アニメーション、F…指、G1…選択画面、G2…画面、G3…画面、G4…画面、G5…画面、G6…画面、G7…画面、G8…画面、G9…画面、G10…画面、G11…画面、G12…画面、G13…画面、G14…画面、G15…画面、G16…画面、G17…画面、G18…画面、G19…画面、H…手、L…距離、M1…マーク、M2…マーク、M3…マーク、M4…マーク、M5…マーク、N…ネットワーク、P…ポインタ、R…仮想空間、S…ムービングステージ、SB…スクロールバー、T…テーブル、U1…ユーザ、U2…ユーザ、U3…ユーザ、W1…司会者ウィンドウ(表示領域)、W2…プレゼンターウィンドウ(表示領域)、W3…参加者ウィンドウ(表示領域)、W4…資料ウィンドウ(表示領域)、W5…挙手者ウィンドウ(表示領域)、W6…発話者ウィンドウ(表示領域)、W7…資料ウィンドウ、W9…資料ウィンドウ、W10…資料ウィンドウ、W11…参加者ウィンドウ、W12…資料ウィンドウ、W13…表示ウィンドウ、W14…表示ウィンドウ、W16…参加者ウィンドウ、W17…操作ウィンドウ、W18…機能選択ウィンドウ、W19…参加者ウィンドウ、W20…操作ウィンドウ、W21…表示ウィンドウ、W22…テキストウィンドウ、W23…入力ウィンドウ。
Claims (30)
- ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に係る操作に応じて、前記第一画面とは異なると共に前記第一画面の前記キャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、をコンピュータに実行させ、
前記第一画面の前記キャラクタと前記第二画面の前記キャラクタとは、形態、状態及び機能の少なくとも一つが異なり、
前記第一画面の前記キャラクタ及び前記第二画面の前記キャラクタの少なくとも一方は、前記ユーザの操作に応じて耳を模したアニメーションが動作する、表示プログラム。 - 前記仮想空間において、複数の表示領域を表示させ、
複数の前記表示領域の少なくとも一部には、前記キャラクタが表示され、
前記キャラクタが表示される複数の前記表示領域のそれぞれは、前記キャラクタの属性に対応して区分されており、
前記表示領域毎に前記キャラクタの形態を変化させる、請求項1に記載の表示プログラム。 - 前記仮想空間において、複数の表示領域を表示させ、
複数の前記表示領域の少なくとも一部には、前記キャラクタが表示され、
前記キャラクタが表示される複数の前記表示領域は、
前記仮想空間における前記キャラクタの音声の出力が規制される前記表示領域と、
前記空間における前記キャラクタの音声を出力可能な前記表示領域と、を含む、請求項1又は請求項2に記載の表示プログラム。 - 前記表示領域に表示される前記キャラクタは、前記ユーザの属性に基づいて区別可能に表示される、請求項3に記載の表示プログラム。
- 複数の前記表示領域において、一の前記表示領域に表示される前記キャラクタの音声と、他の前記表示領域に表示される前記キャラクタの音声とが互いに聞こえないようにする、請求項2に記載の表示プログラム。
- 前記第一画面において前記キャラクタを一の前記表示領域から他の前記表示領域にドラッグ・アンド・ドロップする操作を受け付けた場合、前記第二画面において一の前記表示領域と他の前記表示領域とにおける前記キャラクタの表示を変更させる、請求項2に記載の表示プログラム。
- 前記ユーザから所定の操作を受け付けた場合、複数の前記キャラクタの正面又は背面の向きを一括して変更して表示させる、請求項1又は請求項2に記載の表示プログラム。
- 前記第一画面における前記ユーザによる所定操作及び音声入力の少なくとも一つにより、前記第二画面の前記キャラクタの一部に表示部を表示させる、請求項1又は請求項2に記載の表示プログラム。
- 前記表示部には、前記キャラクタの音声をテキスト化した会話テキスト、前記会話テキストの翻訳文、及び、前記表示部の表示内容の翻訳文の少なくとも一つが表示される、請求項8に記載の表示プログラム。
- 前記表示部には、前記キャラクタの音声及びテキスト入力の少なくとも一方に基づくAIの使用によって、必要な図、文章、音楽、動画、静止画及びサイトの少なくとも一つが表示される、請求項9に記載の表示プログラム。
- 前記仮想空間において、前記コンテンツを表示する表示部を表示させる、請求項1に記載の表示プログラム。
- 前記表示部に、前記ユーザから入力された入力内容を表示させる、請求項11に記載の表示プログラム。
- 前記表示部に対して前記キャラクタをドラッグ・アンド・ドロップする操作を受け付けた場合、前記表示部において所定の機能が実行される、請求項11又は請求項12に記載の表示プログラム。
- 前記表示部に対して前記キャラクタがドラッグ・アンド・ドロップされた後、前記表示部に表示されている前記キャラクタを前記表示部以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、前記所定の機能の実行を終了させる、請求項13に記載の表示プログラム。
- 前記表示部に対する前記ユーザからの所定の操作を受け付けた場合、前記表示部における表示内容を操作する操作画面を表示させる、請求項11又は請求項12に記載の表示プログラム。
- 前記キャラクタのサイズの変更が可能であり、
前記仮想空間に表示される複数の前記キャラクタのうち、一の前記キャラクタのサイズが変更された場合、他の前記キャラクタのサイズも同様に変更する、請求項11又は請求項12に記載の表示プログラム。 - 前記仮想空間において、前記コンテンツを表示するコンテンツ表示部と、前記キャラクタの音声をテキスト化した会話テキストを表示するテキスト表示部と、少なくとも二つの前記キャラクタとを表示させる、請求項1に記載の表示プログラム。
- 前記テキスト表示部に表示される前記会話テキストに対する前記ユーザからの操作を受け付けた場合、当該会話テキストを前記コンテンツ表示部に表示させる、請求項17に記載の表示プログラム。
- 前記キャラクタの配置及びサイズの変更が可能であり、
前記仮想空間に表示される二つの前記キャラクタのうち、一方の前記キャラクタの配置又はサイズが変更された場合、他方の前記キャラクタの配置又はサイズも一方の前記キャラクタの配置又はサイズに応じて変更する、請求項16に記載の表示プログラム。 - 一又は複数の前記キャラクタが配置されると共に、前記仮想空間において移動可能に設けられている一又は複数の移動体を表示させる、請求項11に記載の表示プログラム。
- 複数の前記移動体のそれぞれに複数の前記キャラクタが配置される場合において、一の前記移動体に配置される複数の前記キャラクタの音声と、他の前記移動体に配置される複数の前記キャラクタの音声とが互いに聞こえないようにする、請求項20に記載の表示プログラム。
- 前記表示部に表示される前記コンテンツについての解説を表示させる、請求項11に記載の表示プログラム。
- 前記仮想空間における前記活動において、前記キャラクタの前記アニメーションを編集可能な映像として出力する、請求項11に記載の表示プログラム。
- 前記キャラクタの一部に前記ユーザの顔の画像又は映像を表示させる、請求項1又は請求項2に記載の表示プログラム。
- 前記仮想空間には一又は複数の前記キャラクタが表示され、
一又は複数の前記キャラクタのうちの少なくとも一つの前記キャラクタは、AIによって操作される、請求項1に記載の表示プログラム。 - 前記AIによって操作される前記キャラクタは、前記AIの操作によって前記耳を模したアニメーションが動作し、
前記AIによって操作される前記キャラクタに対応する表示部が表示され、
前記表示部には、前記AIによって生成されたテキスト、当該テキストに関連する静止画、当該テキストに関連する動画、当該テキストに関連する文章、当該テキストに関連するサイト情報の少なくとも一つが表示される、請求項25に記載の表示プログラム。 - 前記キャラクタは、前記AIが生成したテキストに対応する音声を出力する、請求項25又は請求項26に記載の表示プログラム。
- 前記キャラクタが所定の対象を注視していることを想像させるように、前記所定の対象の位置に応じて前記キャラクタを回転動作させる、請求項1に記載の表示プログラム。
- ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示方法であって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に係る操作に応じて、前記第一画面とは異なると共に前記第一画面の前記キャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、を含み、
前記第一画面の前記キャラクタと前記第二画面の前記キャラクタとは、形態、状態及び機能の少なくとも一つが異なり、
前記第一画面の前記キャラクタ及び前記第二画面の前記キャラクタの少なくとも一方は、前記ユーザの操作に応じて耳を模したアニメーションが動作する、を含む、表示方法。 - ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示システムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させ、
前記キャラクタの動作に係る操作に応じて、前記第一画面とは異なると共に前記第一画面の前記キャラクタに対応するキャラクタを含む第二画面に表示を遷移させ、
前記第一画面の前記キャラクタと前記第二画面の前記キャラクタとは、形態、状態及び機能の少なくとも一つが異なり、
前記第一画面の前記キャラクタ及び前記第二画面の前記キャラクタの少なくとも一方は、前記ユーザの操作に応じて耳を模したアニメーションが動作する、表示システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023542893A JP7347725B1 (ja) | 2022-08-04 | 2023-04-10 | 表示プログラム、表示方法及び表示システム |
CN202380013728.5A CN117980872A (zh) | 2022-08-04 | 2023-04-10 | 显示程序、显示方法以及显示系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-124758 | 2022-08-04 | ||
JP2022124758 | 2022-08-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024029135A1 true WO2024029135A1 (ja) | 2024-02-08 |
Family
ID=89849137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/014534 WO2024029135A1 (ja) | 2022-08-04 | 2023-04-10 | 表示プログラム、表示方法及び表示システム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024029135A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004078238A (ja) * | 2003-09-25 | 2004-03-11 | Digital Passage:Kk | インターネットを通じた語学レッスン方法、語学レッスンシステム及び記録媒体 |
JP2011209787A (ja) * | 2010-03-29 | 2011-10-20 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
WO2020203999A1 (ja) * | 2019-04-01 | 2020-10-08 | 住友電気工業株式会社 | コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム |
WO2022079933A1 (ja) * | 2020-10-14 | 2022-04-21 | 住友電気工業株式会社 | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム |
-
2023
- 2023-04-10 WO PCT/JP2023/014534 patent/WO2024029135A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004078238A (ja) * | 2003-09-25 | 2004-03-11 | Digital Passage:Kk | インターネットを通じた語学レッスン方法、語学レッスンシステム及び記録媒体 |
JP2011209787A (ja) * | 2010-03-29 | 2011-10-20 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
WO2020203999A1 (ja) * | 2019-04-01 | 2020-10-08 | 住友電気工業株式会社 | コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム |
WO2022079933A1 (ja) * | 2020-10-14 | 2022-04-21 | 住友電気工業株式会社 | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11798431B2 (en) | Public speaking trainer with 3-D simulation and real-time feedback | |
JP7193015B2 (ja) | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム | |
Cisneros et al. | Virtual reality and choreographic practice: The potential for new creative methods | |
JP2009145883A (ja) | 学習システム、記憶媒体及び学習方法 | |
Oviatt et al. | Designing and evaluating conversational interfaces with animated characters | |
KR20090132914A (ko) | 페이셜애니메이션제어방법 및 3차원 게임 엔진 기반의실시간 대화형 원격강의시스템 | |
JP2020080154A (ja) | 情報処理システム | |
CN110046290B (zh) | 一种个性化自主教学课程系统 | |
Vilhjálmsson | Avatar augmented online conversation | |
Johnston et al. | Amplifying reflective thinking in musical performance | |
JP2023164439A (ja) | 授業コンテンツの配信方法、授業コンテンツの配信システム、端末及びプログラム | |
JP7347725B1 (ja) | 表示プログラム、表示方法及び表示システム | |
WO2024029135A1 (ja) | 表示プログラム、表示方法及び表示システム | |
JP7130290B2 (ja) | 情報抽出装置 | |
Carvalho et al. | Investigating and comparing the perceptions of voice interaction in digital games: Opportunities for health and wellness applications | |
Men et al. | Supporting sonic interaction in creative, shared virtual environments | |
JP2008032788A (ja) | 語学教材データ作成用プログラム | |
JP7505666B1 (ja) | コミュニケーション支援プログラム、コミュニケーション支援方法及びコミュニケーション支援システム | |
Fencott | Computer Musicking: Designing for Collaborative Digital Musical Interaction. | |
Inoue et al. | Multimodal corpus for psychotherapeutic situations | |
Burnham et al. | From talking to thinking heads: report 2008. | |
Paul | The Voice Actor and Their Double: Working as a voice actor and teaching voice acting in the age of AI voice cloning | |
WO2021140800A1 (ja) | コミュニケーション支援システムおよびコミュニケーション支援プログラム | |
Saufnay et al. | Improvement of Public Speaking Skills using Virtual Reality: Development of a Training System | |
MacDonald et al. | The development of a method for designing auditory displays based on soundtrack composition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2023542893 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202380013728.5 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23849698 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202447048920 Country of ref document: IN |