WO2021210585A1 - コンピュータプログラム、サーバ装置、端末装置、及び方法 - Google Patents

コンピュータプログラム、サーバ装置、端末装置、及び方法 Download PDF

Info

Publication number
WO2021210585A1
WO2021210585A1 PCT/JP2021/015347 JP2021015347W WO2021210585A1 WO 2021210585 A1 WO2021210585 A1 WO 2021210585A1 JP 2021015347 W JP2021015347 W JP 2021015347W WO 2021210585 A1 WO2021210585 A1 WO 2021210585A1
Authority
WO
WIPO (PCT)
Prior art keywords
predetermined
facial expression
avatar
gift
distributor
Prior art date
Application number
PCT/JP2021/015347
Other languages
English (en)
French (fr)
Inventor
匡志 渡邊
Original Assignee
グリー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020072287A external-priority patent/JP7398655B2/ja
Priority claimed from JP2020078079A external-priority patent/JP7329217B2/ja
Priority claimed from JP2020093438A external-priority patent/JP2021189674A/ja
Application filed by グリー株式会社 filed Critical グリー株式会社
Publication of WO2021210585A1 publication Critical patent/WO2021210585A1/ja
Priority to US17/956,873 priority Critical patent/US20230023653A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Definitions

  • the technology disclosed in this application relates to computer programs, server devices, terminal devices and methods.
  • a service called "custom cast” is known as a service using a technique of controlling the facial expression and movement of an avatar object based on the movement of a performer or the like ("custom cast” is known.
  • Non-Patent Document 1 the performer assigns one of a large number of prepared facial expressions or movements in advance to each of the plurality of flick directions with respect to the screen of the smartphone, and obtains the desired facial expression or movement. By flicking the screen of the smartphone along the corresponding direction, the avatar object displayed in the moving image can express the facial expression or movement.
  • Non-Patent Document 1 the performer must flick the screen of the smartphone while speaking, which makes it difficult for the performer to operate the flick.
  • Some embodiments disclosed in this application provide computer programs, server devices, terminal devices, and methods that can better represent avatars.
  • the computer program acquires information relating to the gift of the object provided from the viewer to the distributor by being executed by one or more processors, and the information relating to the acquired gift is described above. It is determined whether or not the predetermined condition is satisfied using the information related to the gift, and when it is determined that the information related to the acquired gift satisfies the predetermined condition, the facial expression or pose related to the distributor is displayed. The information for making the facial expression or pose of the avatar related to the distributor, which was generated based on the above, into a predetermined facial expression or pose corresponding to the predetermined condition is generated.
  • the predetermined condition includes a condition that is satisfied at the timing when the avatar wears the gift.
  • the predetermined facial expression is a facial expression having the same motif as the attached gift.
  • the portion where the predetermined facial expression is activated is the same portion as the attachment portion of the attached gift.
  • the portion where the predetermined facial expression is activated is a portion different from the attachment portion of the attached gift.
  • the predetermined condition includes that the position related to the avatar and the position related to the gift are within a predetermined distance.
  • the position related to the avatar is any one of the position of the avatar in the virtual space, the part that activates the predetermined facial expression, the predetermined part of the avatar, or the collider of the avatar. It is a thing.
  • the predetermined condition uses the priority related to the gift.
  • the priority related to the gift is used by the price of the gift, the displayed size of the gift, the level of the gift, and / or the information related to the provider of the gift. It is something that can be done.
  • the predetermined condition is to use the type to which the avatar belongs, which is one of a plurality of types to which the avatar belongs.
  • the predetermined facial expression uses a predetermined facial expression parameter or a facial expression parameter obtained by correcting a facial expression parameter based on the distributor's facial expression based on a predetermined rule. It is a facial expression that is displayed.
  • the predetermined facial expression changes in conjunction with the direction in which the gift is displayed.
  • the information related to the gift includes information on the display start of the gift, information on the display change of the gift, information on the gift as an attribute, and / or information on the end of the display of the gift. , Including.
  • the information relating to the gift includes information relating to the first gift and information relating to the second gift
  • the predetermined condition includes the information relating to the first gift and the information.
  • the information for making the predetermined facial expression or pose is generated without acquiring the information for operating the avatar from the distributor terminal.
  • the information related to the gift is acquired from the viewer terminal.
  • the one or more processors are provided in the viewer terminal.
  • the one or more processors are provided in the distributor terminal.
  • the generated information is used to set the facial expression or pose of the avatar.
  • the one or more processors are provided in the distributor terminal. Using the generated information, an animation is generated by setting the facial expression or pose of the avatar.
  • the one or more processors are provided in the server, and the generated information is used to set the facial expression or pose of the avatar.
  • the one or more processors use the generated information provided in the server to set the facial expression or pose of the avatar to generate an image. ..
  • the plurality of processors are provided in any part or all of a server, a viewer terminal, and a distributor terminal.
  • the processor is a central processing unit (CPU), a microprocessor, or a graphics processing unit (GPU).
  • CPU central processing unit
  • microprocessor microprocessor
  • GPU graphics processing unit
  • the server device includes one or more processors, and the one or more processors execute an instruction readable by a computer, so that the object is provided from the viewer to the distributor.
  • the information related to the gift is acquired, it is determined whether or not the information related to the acquired gift satisfies the predetermined condition using the information related to the gift, and the information related to the acquired gift satisfies the predetermined condition.
  • a predetermined facial expression or pose corresponding to the predetermined condition when it is determined to be satisfied It is the one that generates the information of.
  • the predetermined condition includes a condition that is satisfied at the timing when the avatar wears the gift.
  • the method according to one aspect is a method executed by one or a plurality of processors that execute a computer-readable instruction, and the processor executes the instruction from the viewer to the distributor.
  • the information related to the gift of the provided object is acquired, it is determined whether or not the information related to the acquired gift satisfies a predetermined condition using the information related to the gift, and the information related to the acquired gift is obtained.
  • the facial expression or pose of the avatar related to the distributor generated based on the facial expression or pose related to the distributor is changed to the predetermined facial expression corresponding to the predetermined condition. Or, it generates information for making a pose.
  • the predetermined condition includes a condition that is satisfied at the timing when the avatar wears the gift.
  • the viewer terminal includes one or more processors, and the one or more processors execute an instruction readable by a computer, so that the object is provided by the viewer to the distributor.
  • the information related to the gift is acquired, it is determined whether or not the information related to the acquired gift satisfies the predetermined condition using the information related to the gift, and the information related to the acquired gift is the predetermined condition.
  • the facial expression or pose of the avatar related to the distributor which is generated based on the facial expression or pose related to the distributor, is set as a predetermined facial expression or pose corresponding to the predetermined condition. It is the one that generates the information for.
  • the distributor terminal includes one or more processors, and the one or more processors execute an instruction readable by a computer, so that the object is provided by the viewer to the distributor.
  • the information related to the gift is acquired, it is determined whether or not the information related to the acquired gift satisfies the predetermined condition using the information related to the gift, and the information related to the acquired gift is the predetermined condition.
  • the facial expression or pose of the avatar related to the distributor which is generated based on the facial expression or pose related to the distributor, is set as a predetermined facial expression or pose corresponding to the predetermined condition. It is the one that generates the information for.
  • the computer program is executed by one or more processors to perform a predetermined operation by the distributor, the facial expression of the distributor, the complexion of the distributor, the voice of the distributor, or the distributor.
  • information relating to one or more of the predetermined situations that occur with respect to the above is detected, it is determined whether or not the detected information satisfies the predetermined conditions, and it is determined that the predetermined conditions are satisfied.
  • the information for making the facial expression or pose of the avatar related to the distributor, which was generated based on the facial expression or pose related to the distributor, into a predetermined facial expression or pose corresponding to the predetermined condition is generated, and the above-mentioned It causes the one or more processors to display the avatar to which a predetermined facial expression or pose is applied.
  • the computer program is executed by one or a plurality of processors, so that a predetermined operation by the distributor, the facial expression of the distributor, the complexion of the distributor, the voice of the distributor, or the above. It detects information relating to one or more of the predetermined situations that occur to the distributor, determines whether or not the detected information satisfies the predetermined conditions, and determines that the predetermined conditions are satisfied. In this case, information is generated to make the facial expression or pose of the avatar related to the distributor, which was generated based on the facial expression or pose related to the distributor, into a predetermined facial expression or pose corresponding to the predetermined condition.
  • the one or more processors are made to function so as to transmit information for making the predetermined facial expression or pose.
  • the server device includes one or a plurality of processors, and the processor executes a computer-readable instruction to perform a predetermined operation by the distributor, the facial expression of the distributor, and the distribution. Whether or not information relating to one or more of a person's facial expression, the voice of the distributor, or a predetermined situation that occurs for the distributor is detected, and the detected information satisfies a predetermined condition. When it is determined that the predetermined condition is satisfied, the facial expression or pose of the avatar related to the distributor, which is generated based on the facial expression or pose of the distributor, corresponds to the predetermined condition. It generates information for making a predetermined facial expression or pose, and transmits the information for making the predetermined facial expression or pose.
  • the method according to one aspect is a method executed by one or a plurality of processors that execute a computer-readable instruction, and is a predetermined operation by the distributor, the facial expression of the distributor, and the complexion of the distributor.
  • the facial expression or pose of the avatar related to the distributor which is generated based on the facial expression or pose related to the distributor, is changed to the predetermined facial expression corresponding to the predetermined condition.
  • it generates information for making a pose and displays the avatar to which the predetermined facial expression or pose is applied.
  • the method according to one aspect is a method executed by one or a plurality of processors that execute a computer-readable instruction, and is a predetermined operation by the distributor, the facial expression of the distributor, and the complexion of the distributor.
  • the facial expression or pose of the avatar related to the distributor which is generated based on the facial expression or pose related to the distributor, is changed to the predetermined facial expression corresponding to the predetermined condition.
  • the information for making a pose is generated, and the information for making the predetermined facial expression or pose is transmitted.
  • the viewer terminal includes one or a plurality of processors, and the processor executes a computer-readable instruction to perform a predetermined operation by the distributor, the facial expression of the distributor, and the above. Whether or not information relating to one or more of the facial expression of the distributor, the voice of the distributor, or the predetermined situation that occurs for the distributor is detected, and the detected information satisfies the predetermined conditions. When it is determined that the predetermined condition is satisfied, the facial expression or pose of the avatar related to the distributor, which is generated based on the facial expression or pose of the distributor, corresponds to the predetermined condition. It generates information for making a predetermined facial expression or pose, and displays the avatar to which the predetermined facial expression or pose is applied.
  • the distributor terminal includes one or a plurality of processors, and the processor executes a computer-readable instruction to perform a predetermined operation by the distributor, the facial expression of the distributor, and the above. Whether or not information relating to one or more of the facial expression of the distributor, the voice of the distributor, or the predetermined situation that occurs for the distributor is detected, and the detected information satisfies the predetermined conditions. When it is determined that the predetermined condition is satisfied, the facial expression or pose of the avatar related to the distributor, which is generated based on the facial expression or pose of the distributor, corresponds to the predetermined condition. The information for making a predetermined facial expression or pose is generated, and the information for making the predetermined facial expression or pose is transmitted.
  • the computer program is executed by one or more processors to perform a predetermined action of the avatar played by the distributor, the expression of the avatar, the complexion of the avatar, the voice of the avatar, and the like.
  • the information relating to any one or more of the predetermined situations occurring with respect to the avatar is acquired, it is determined whether or not the acquired information satisfies the predetermined conditions, and the predetermined information relating to the acquired information is determined.
  • the avatar's facial expression or pose related to the distributor which was generated based on the facial expression or pose related to the distributor, is changed to the predetermined facial expression or pose corresponding to the predetermined condition. It is for displaying the avatar to which the predetermined facial expression or pose is applied, which generates information for making the avatar's facial expression.
  • the computer program is executed by one or more processors to perform a predetermined action of the avatar played by the distributor, the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, and the like. Alternatively, it acquires information relating to any one or more of the predetermined situations that occur with respect to the avatar, determines whether or not the acquired information satisfies the predetermined conditions, and determines that the predetermined conditions are satisfied. In this case, information is generated to make the facial expression or pose of the avatar related to the distributor, which was generated based on the facial expression or pose related to the distributor, into a predetermined facial expression or pose corresponding to the predetermined condition. Then, the information for making the predetermined facial expression or pose is transmitted.
  • the server device includes one or more processors, and the processor executes a computer-readable instruction to perform a predetermined operation of the avatar played by the distributor in the virtual space. Whether or not information relating to one or more of facial expressions, the complexion of the avatar, the voice of the avatar, or a predetermined situation occurring with respect to the avatar is acquired, and the acquired information satisfies the predetermined conditions. When it is determined that the predetermined condition is satisfied, the facial expression or pose of the avatar related to the distributor, which has been generated based on the facial expression or pose related to the distributor, corresponds to the predetermined condition. It generates information for making a predetermined facial expression or pose, and transmits the information for making the predetermined facial expression or pose.
  • the method according to one aspect is a method executed by one or more processors that execute a command readable by a computer, and a predetermined action of an avatar played by a distributor in a virtual space, the expression of the avatar, the above-mentioned.
  • the facial expression or pose of the avatar related to the distributor which was generated based on the facial expression or pose related to the distributor, is set to the predetermined condition.
  • Information for making the corresponding predetermined expression or pose into the expression of the avatar is generated, and the avatar to which the predetermined expression or pose is applied is displayed.
  • the method according to one aspect is a method executed by one or more processors that execute a computer-readable instruction, such as a predetermined action of the avatar played by the distributor, the facial expression of the avatar, and the above.
  • the facial expression or pose of the avatar related to the distributor which has been generated based on the facial expression or pose related to the distributor, is changed to the predetermined facial expression corresponding to the predetermined condition.
  • the information for making a pose is generated, and the information for making the predetermined facial expression or pose is transmitted.
  • the viewer terminal device includes one or more processors, and the processor executes a computer-readable instruction to perform a predetermined operation of the avatar played by the distributor in the virtual space. Whether to acquire information relating to any one or more of the avatar's facial expression, the avatar's complexion, the avatar's voice, or the predetermined situation occurring with respect to the avatar, and whether the acquired information satisfies the predetermined conditions. When it is determined whether or not, and it is determined that the predetermined condition related to the acquired information is satisfied, the expression or pose of the avatar related to the distributor generated based on the expression or pose related to the distributor is displayed. It generates information for making a predetermined expression or pose corresponding to the predetermined condition into the expression of the avatar, and displays the avatar to which the predetermined expression or pose is applied.
  • the distributor terminal device includes one or more processors, and the processor executes a computer-readable instruction to perform a predetermined operation of the avatar played by the distributor in the virtual space. Whether to acquire information relating to one or more of the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, or the predetermined situation occurring with respect to the avatar, and whether the acquired information satisfies the predetermined conditions. When it is determined whether or not the condition is satisfied, the facial expression or pose of the avatar related to the distributor, which has been generated based on the facial expression or pose related to the distributor, is set to the predetermined condition. It generates information for making a corresponding predetermined facial expression or pose, and transmits the information for making the predetermined facial expression or pose.
  • FIG. 1 is a block diagram showing an example of a system configuration according to an embodiment.
  • FIG. 2 is a block diagram schematically showing an example of the hardware configuration of the server device 20 (terminal device 30) shown in FIG.
  • FIG. 3 is a block diagram schematically showing an example of the function of the system according to the embodiment.
  • FIG. 4 is an example of data possessed by the system according to the embodiment.
  • FIG. 5 is an example of data possessed by the system according to the embodiment.
  • FIG. 6 is an example of data possessed by the system according to the embodiment.
  • FIG. 7 is an example of data possessed by the system according to the embodiment.
  • FIG. 8 is an example of data possessed by the system according to the embodiment.
  • FIG. 9 is an example of data possessed by the system according to the embodiment.
  • FIG. 10 is an example of data possessed by the system according to the embodiment.
  • FIG. 11 is an example of data possessed by the system according to the embodiment.
  • FIG. 12 is an example of a flow processed by the system according to the embodiment.
  • FIG. 13 is an example of a flow processed by the system according to the embodiment.
  • FIG. 14 is an example of a flow processed by the system according to the embodiment.
  • FIG. 15 is an example of a flow processed by the system according to the embodiment.
  • FIG. 16 is an example of a flow processed by the system according to the embodiment.
  • FIG. 17 is an example of a flow processed by the system according to the embodiment.
  • FIG. 18 is a block diagram showing an example of the configuration of the system according to the embodiment.
  • the various systems, methods and devices described herein should not be construed as being limited by any method. In practice, the present disclosure is among the various disclosed embodiments, one in which these various embodiments are combined with each other, and one in which some of these various embodiments are combined with each other. It is aimed at all new features and aspects.
  • the various systems, methods and devices described herein are not limited to, and are not limited to, a particular aspect, a particular feature, or a combination of such particular aspects and a particular feature.
  • the materials and methods described in No. 1 do not require the existence of one or more specific effects or the resolution of the problem.
  • various features or aspects of the various embodiments described herein, or some of such features or embodiments may be used in combination with each other.
  • any of the various methods disclosed herein are computer readable on one or more media (eg, one or more optical media disks, multiple volatile memory components, or multiple non-volatile media). It can be implemented using multiple computer-executable instructions stored in a non-volatile computer-readable storage medium, such as a sex memory component, and can also be executed in the computer.
  • the plurality of volatile memory components include, for example, DRAM or SRAM.
  • the plurality of non-volatile memory components include, for example, a hard drive and a solid state drive (SSD).
  • the computer includes any computer available on the market, including, for example, smartphones and other mobile devices having hardware to perform calculations.
  • any of such computer-executable instructions for implementing the techniques disclosed herein are generated and used during the implementation of the various embodiments disclosed herein.
  • it may be stored on one or more computer-readable media (eg, a non-transitory computer-readable storage medium).
  • the instructions that can be executed by such a computer can be, for example, part of a separate software application, or accessed or downloaded through a web browser or other software application (such as a remote computing application).
  • Such software can be used in a network environment, for example, on a single local computer (eg, as an agent running on any suitable computer available on the market), or with one or more network computers. It can be performed on (eg, the Internet, wide area networks, local area networks, client server networks (such as cloud computing networks), or other such networks).
  • Such suitable means of communication include, for example, the Internet, worldwide web, intranets, software applications, cables (including fiber optic cables), magnetic communications, electromagnetic communications (including RF communications, microwave communications, infrared communications), and the like. Includes electronic communication, or other such means of communication.
  • Web pages also include HTML documents, for example, HTML documents that encode executable code such as Javascript or PHP code in some examples.
  • FIG. 1 is a block diagram showing an example of a system configuration according to an embodiment.
  • the system 1 may include one or more server devices 20 connected to the communication network 10 and one or more terminal devices 30 connected to the communication network 10.
  • three server devices 20A to 20C are exemplified as an example of the server device 20, and three terminal devices 30A to 30C are exemplified as an example of the terminal device 30, but the server device 20 is used.
  • One or more server devices 20 other than these can be connected to the communication network 10
  • one or more terminal devices 30 other than these can be connected to the communication network 10 as the terminal device 30.
  • the term system may be used to indicate both a server and a terminal device, a server only, or a terminal device only. That is, the system may be in any mode of server only, terminal device only, and both server and terminal device.
  • system may be an information processing device on the cloud. Further, the system constitutes a virtual information processing device, and may be logically configured as one information processing device. Also, the owner and administrator of the system may be different.
  • the communication network 10 may be, and is not limited to, a mobile phone network, a wireless LAN, a fixed telephone network, the Internet, an intranet, an Ethernet (registered trademark), and / or a combination thereof.
  • various data disclosed in the documents of the present application may be communicated.
  • the communication network 10 includes a mobile phone network, a wireless network (for example, RF connection via Bluetooth, WiFi, WiMax, cellular, satellite, laser, infrared ray, etc.), Fixed telephone networks, the Internet, intranets, local area networks (LANs), wide area networks (WANs), and / or Ethernet networks can be included without limitation.
  • a wireless network for example, RF connection via Bluetooth, WiFi, WiMax, cellular, satellite, laser, infrared ray, etc.
  • Fixed telephone networks for example, the Internet, intranets, local area networks (LANs), wide area networks (WANs), and / or Ethernet networks can be included without limitation.
  • the server device 20 acquires information related to the gift of the object provided from the viewer to the distributor by executing the installed specific application. When it is determined whether or not the information relating to the acquired gift satisfies the predetermined condition using the information relating to the gift, and when it is determined that the information relating to the acquired gift satisfies the predetermined condition, it is determined.
  • An operation of generating information for making a predetermined facial expression or pose corresponding to the predetermined condition from the facial expression or pose of the avatar related to the distributor, which was generated based on the facial expression or pose related to the distributor. Etc. may be executed.
  • the server device 20 may perform a predetermined operation by the distributor, the facial expression of the distributor, the complexion of the distributor, the voice of the distributor, or the distributor.
  • the delivery is performed when information relating to one or more of the predetermined situations that occur is detected, it is determined whether or not the detected information satisfies the predetermined conditions, and it is determined that the predetermined conditions are satisfied.
  • the server device 20 executes a predetermined action of the avatar played by the distributor, the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, or the voice of the avatar in the virtual space.
  • a predetermined action of the avatar played by the distributor When information on any one or more of the predetermined situations that occur with respect to the avatar is acquired, it is determined whether or not the acquired information satisfies the predetermined conditions, and it is determined that the predetermined conditions are satisfied.
  • the terminal device 30 obtains information regarding the gift of the object provided from the viewer to the distributor by executing the installed web browser or a specific application.
  • the terminal device 30 determines whether or not the information relating to the acquired gift satisfies the predetermined condition using the information relating to the gift, and when it is determined that the information relating to the acquired gift satisfies the predetermined condition, it is determined.
  • An operation of generating information for making a predetermined facial expression or pose corresponding to the predetermined condition from the facial expression or pose of the avatar related to the distributor, which was generated based on the facial expression or pose related to the distributor. Etc. may be executed.
  • the terminal device 30 may perform a predetermined operation by the distributor, the facial expression of the distributor, the complexion of the distributor, the voice of the distributor, or the voice of the distributor. Detects information relating to one or more of the predetermined situations that occur to the distributor, determines whether or not the detected information satisfies the predetermined conditions, and determines that the predetermined conditions are satisfied. In this case, information is generated to make the facial expression or pose of the avatar related to the distributor, which was generated based on the facial expression or pose related to the distributor, into a predetermined facial expression or pose corresponding to the predetermined condition. It may be possible to execute an operation such as "to do".
  • the terminal device 30 executes a predetermined action of the avatar played by the distributor, the facial expression of the avatar, the complexion of the avatar, and the avatar in the virtual space.
  • the information relating to any one or more of the voice of the avatar and the predetermined situation occurring with respect to the avatar is acquired, and it is determined whether or not the acquired information satisfies the predetermined condition, and the predetermined condition is satisfied.
  • a predetermined facial expression or pose corresponding to the predetermined condition when it is determined that the condition is satisfied. It may be possible to execute an operation such as generating information.
  • the terminal device 30 is an arbitrary terminal device capable of performing such an operation, and may be a smartphone, a tablet, a mobile phone (feature phone) and / or a personal computer, and is not limited thereto.
  • FIG. 2 is a block diagram schematically showing an example of the hardware configuration of the server device 20 (terminal device 30) shown in FIG. 1. (Note that reference numerals in parentheses in FIG. 2 are as described later. It is described in relation to each terminal device 30.)
  • the server device 20 can mainly include an arithmetic unit 21, a main storage device 22, and an input / output interface device 23.
  • the server device 20 can further include an input device 24 and an auxiliary output device 26. These devices may be connected by a data bus and / or a control bus.
  • the arithmetic unit 21 performs an calculation using the instructions and data stored in the main storage device 22, and stores the result of the calculation in the main storage device 22. Further, the arithmetic unit 21 can control the input device 24, the auxiliary storage device 25, the output device 26, and the like via the input / output interface device 23.
  • the server device 20 may include one or more arithmetic units 21.
  • the arithmetic unit 21 may include one or more central processing units (CPUs), microprocessors, and / or graphics processing units (GPUs).
  • the main storage device 22 has a storage function, and commands and data received from the input device 24, the auxiliary storage device 25, the communication network 10 and the like (server device 20 and the like) via the input / output interface device 23, and It stores the calculation result of the calculation device 21.
  • the main storage device 22 can include RAM (random access memory), ROM (read-only memory) and / or flash memory without limitation.
  • the main storage device 22 includes volatile memory (eg, register, cache, random access memory (RAM)), non-volatile memory (eg, read-only memory (ROM), EEPROM, flash memory), and storage (eg, hard disk).
  • volatile memory eg, register, cache, random access memory (RAM)
  • non-volatile memory eg, read-only memory (ROM), EEPROM, flash memory
  • storage eg, hard disk
  • Computer-readable media such as drives (HDDs), solid state drives (SSDs), magnetic tapes, optical media
  • HDDs drives
  • SSDs solid state drives
  • magnetic tapes e.g., magnetic tapes, optical media
  • the auxiliary storage device 25 is a storage device. Instructions and data (computer programs) constituting the specific application, web browser, etc. may be stored, and these instructions and data (computer programs) can be stored in the input / output interface device 23 by being controlled by the arithmetic unit 21. It may be loaded into the main storage device 22 via.
  • the auxiliary storage device 25 may be a magnetic disk device and / or an optical disk device, a file server, or the like, and is not limited thereto.
  • the input device 24 is a device that takes in data from the outside, and may be a touch panel, a button, a keyboard, a mouse and / or a sensor or the like.
  • the output device 26 may include a display device, a touch panel, and / or a printer device, etc. without limitation. Further, the input device 24 and the output device 26 may be integrated.
  • the arithmetic unit 21 sequentially loads the instructions and data (computer programs) that constitute a specific application stored in the auxiliary storage device 25 into the main storage device 22, and the loaded instructions. And by computing the data, the output device 26 is controlled via the input / output interface device 23, or another device (for example, the server device 20 and the server device 20 and) via the input / output interface device 23 and the communication network 10. Various information may be transmitted / received to / from other terminal devices (30, etc.).
  • the server device 20 has such a configuration, and by executing a specific installed application, the information related to the gift of the object provided from the viewer to the distributor as defined below is acquired, and the acquisition is described above. It is determined whether or not the information related to the gift is satisfied with the predetermined condition using the information related to the gift, and when it is determined that the information related to the acquired gift satisfies the predetermined condition, the delivery is performed.
  • An operation of generating information for making a predetermined facial expression or pose corresponding to the predetermined condition from the facial expression or pose of the avatar related to the distributor, which was generated based on the facial expression or pose related to the person It may be possible to perform some or all of (including various actions described in detail later).
  • the server device 20 has such a configuration, and by executing the installed specific application, a predetermined operation by the distributor, the facial expression of the distributor, the complexion of the distributor, and the distribution defined below.
  • Information relating to one or more of a person's facial expression or a predetermined situation occurring for the distributor is detected, and it is determined whether or not the detected information satisfies a predetermined condition, and the predetermined condition is determined.
  • the condition of It may be possible to perform part or all of the operation of generating information for the purpose (including various operations described in detail later).
  • the server device 20 has such a configuration, and by executing a specific installed application, a predetermined action of the avatar played by the distributor in the virtual space defined below, the expression of the avatar, the above. Acquires information relating to any one or more of the complexion of the avatar, the voice of the avatar, or the predetermined situation that occurs with respect to the avatar, and determines whether or not the acquired information satisfies the predetermined conditions. , When it is determined that the predetermined condition is satisfied, the facial expression or pose of the avatar related to the distributor, which is generated based on the facial expression or pose related to the distributor, is changed to the predetermined facial expression corresponding to the predetermined condition.
  • an operation such as generating information for making a pose.
  • an operation or the like may be performed by the user giving an instruction to the system of the example of the invention disclosed in the documents of the present application by using the input device 24 or the input device 34 according to the terminal device 30 described later.
  • the program when executed on the arithmetic device 21, it may be displayed by the output device 26 of the server device 20 as the system used by the user, or the output device of the terminal device 30 as the system used by the user. It may be configured to be displayed on 36.
  • FIG. 30 A hardware configuration example of the terminal device 30 will be described with reference to FIG. As the hardware configuration of each terminal device 30, for example, the same hardware configuration as that of each server device 20 described above can be used. Therefore, reference numerals for the components of each terminal device 30 are shown in parentheses in FIG.
  • each terminal device 30 mainly includes an arithmetic unit 31, a main storage device 32, an input / output interface device 33, an input device 34, an auxiliary storage device 35, and an output device 36. , Can be included. These devices are connected by a data bus and / or a control bus.
  • the arithmetic device 31, the main storage device 32, the input / output interface device 33, the input device 34, the auxiliary storage device 35, and the output device 36 are included in each of the server devices 20 described above, respectively.
  • the input / output interface device 23, the input device 24, the auxiliary storage device 25, and the output device 26 may be substantially the same as or different from each other. Further, the capacities and capacities of the arithmetic unit and the storage device may be different.
  • the input device 34 and the output device 36 will be described in detail below.
  • the arithmetic unit 31 sequentially loads the instructions and data (computer programs) that constitute a specific application stored in the auxiliary storage device 35 into the main storage device 32, and the loaded instructions. And by calculating data, the output device 36 is controlled via the input / output interface device 33, or another device (for example, each server device 20) is controlled via the input / output interface device 33 and the communication network 10. Etc.), and various information can be sent and received.
  • the terminal device 30 has such a configuration that the position of at least one gift is moved by a transparent object in the virtual space between the subject and the camera that images the subject, and the movement of the position of the gift causes the camera to move the position of the gift. It may be possible to perform a part or all of an operation (including various operations described in detail later) such as increasing the display area of the subject to be imaged. Further, the terminal device 30 is provided with such a configuration, that is, a predetermined operation by the distributor, the facial expression of the distributor, the complexion of the distributor, the voice of the distributor, or a predetermined situation that occurs for the distributor.
  • Information relating to one or more of them is detected, it is determined whether or not the detected information satisfies a predetermined condition, and when it is determined that the predetermined condition is satisfied, the facial expression or pose relating to the distributor is determined.
  • the operation of generating information for making the facial expression or pose of the avatar related to the distributor, which was generated based on the above, into a predetermined facial expression or pose corresponding to the predetermined condition (various operations described in detail later). It may be possible to perform part or all of (including operation).
  • the terminal device 30 is provided with such a configuration, and in the virtual space, a predetermined action of the avatar played by the distributor, the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, or a predetermined situation occurring with respect to the avatar.
  • any one or more of the above is acquired, it is determined whether or not the acquired information satisfies the predetermined conditions, and when it is determined that the predetermined conditions are satisfied, the distributor is concerned.
  • Such an operation or the like may be performed by the user using the input device 34 to give an instruction to the system of the example of the invention disclosed in the documents of the present application.
  • the program when executed on the arithmetic unit 31, it may be configured to be displayed on the output device 36 of the terminal device 30 as the system used by the user.
  • the terminal device may have two types of terminal devices, a "distributor terminal” and a “viewer terminal”, in the documents of the present application. These may be names given to the role of the terminal, and one terminal device may be a viewer terminal or a distributor terminal, and may be a viewer terminal and simultaneously distributed. It may be a personal terminal.
  • the distributor terminal may be a terminal used by a distributor who appears as a subject such as an avatar in what is distributed.
  • the viewer terminal may be a terminal mainly used by a viewer who is a viewer of what is being distributed.
  • the viewer also gives a certain influence to what the viewer delivers by giving a gift to the subject such as an avatar so that the gift appears in the delivered one. May be good.
  • the viewer may have a certain influence on what is delivered in the form of audio, comments, etc.
  • What is delivered may be a video, a video, or an animation, and may be a person in which a subject such as an avatar played by the distributor appears in a part of these. ..
  • the above description is merely an example in which one embodiment of the present invention is applied, and each embodiment of the present invention may be applied even in a virtual space in which a subject without such a premise appears.
  • the animation may be virtual reality or augmented reality.
  • the viewer terminal may be configured to be capable of voice input, comment input, gifting, and the like.
  • the user terminal may have a keyboard, a touch panel, or the like as the input device 34, which can input a comment and can acquire a comment which is text information.
  • the user terminal may have a function of generating a certain comment or gift by the arithmetic unit 34.
  • These acquired comments and gifts may be similarly transmitted to the communication network 10 via the input / output interface device 23. Also, these comments and gifts may be used to generate what is delivered.
  • the comment according to the present invention may be automatically generated by the system in addition to the comment input by the user terminal. Such a comment may be transmitted to the user terminal and displayed on the user terminal.
  • the terminal may include a microphone capable of acquiring sound as the input device 34.
  • the human voice may be acquired by the microphone as the input device 34 and treated as sound. Further, the human voice may be acquired by the microphone as the input device 34 and then converted into text by voice recognition by the arithmetic unit 31 and treated as a comment. The user terminal may generate sound by the arithmetic unit 31. These acquired sounds or comments may be similarly transmitted to the communication network 10 via the input / output interface device 23.
  • the distributor terminal may include a motion sensor capable of detecting the movement of a person as the input device 34.
  • the motion sensor may be attached to the body of the distributor and may have a function of detecting the movement of each part of the body.
  • Each part of the body may include various parts such as the head, face, upper arm, forearm, hand, thigh, lower leg, leg, and trunk, but the movement of the body is not limited to a part or all of them. It may be mounted in a detectable position.
  • Such a sensor may be able to track the facial expression or pose of the distributor and generate it as information.
  • the motion sensor may include an acceleration sensor, a gyro sensor, a geomagnetic sensor, and the like.
  • the acquired information may be similarly transmitted to the communication network 10 via the input / output interface device 23.
  • the distributor terminal may include a camera capable of capturing a moving image as the input device 34.
  • the camera may image the distributor's head, face, eyes, body part, whole body, and the like. When the camera captures the head or face, it may be possible to detect the direction of the face.
  • the camera may be able to detect facial expressions when photographing the face.
  • the camera may be able to detect the line of sight when photographing the eyes.
  • the camera may be capable of detecting the movement of the body together with or in place of the motion sensor described above when photographing a part or the whole body of the body.
  • Information acquired about the face direction, the line of sight, the facial expression, and the movement of the body based on the captured information may be similarly transmitted to the communication network 10 via the input / output interface device 23.
  • the output device 36 in the viewer terminal and the distributor terminal may be a display device or a sound generator.
  • the display device may be various devices as long as it has a displayable function.
  • a liquid crystal display, a plasma display, an organic EL display, a micro LED display, a head-mounted display, and the like can be mentioned, but the present invention is not limited to these, and various devices may be used.
  • the sound generator may be a speaker, headphones, earphones, or the like.
  • the information output by the output device 36 may be the information generated by the arithmetic unit 31 or the information received from the communication network 10.
  • the distributor terminal may be a studio device dedicated to a sensor that acquires information about the performer. In this case, there is an advantage that the information of the performer can be acquired more accurately.
  • the distributor may also include a performer who plays the avatar.
  • FIG. 3 is a block diagram schematically showing an example of the function of the system shown in FIG.
  • an example system may have an acquisition unit that acquires information that can be used to generate an object, and a generation unit that generates an object using the acquired information.
  • the acquisition unit has a function of acquiring information that can be used to determine whether or not a predetermined condition described later can be applied.
  • the information acquired by the acquisition unit may include information relating to one or more gifts and / or information relating to an avatar regarding the gift of the object provided by the viewer to the distributor.
  • the information related to the gift may include the priority related to the gift, the position related to the gift, the attribute of the gift, the information identifying the avatar to which the gift was provided, and / or the information related to a plurality of gifts.
  • the information related to the avatar may include the position related to the avatar, the type of the avatar, the parameters of the facial expression related to the avatar, the operation related to the avatar, and / or the situation related to the avatar.
  • the information relating to the avatar may be the information relating to the avatar to which the gift is provided and specified.
  • the avatar to which the gift is provided is not specified, it may be all one or more avatars in the virtual space, or a part of the avatars appearing in the virtual space. Alternatively, it may be a plurality of avatars.
  • the acquisition department may acquire information for identifying the avatar to whom the gift is provided.
  • the information acquired by the acquisition unit includes a predetermined operation by the distributor, the facial expression of the distributor, the complexion of the distributor, the voice of the distributor, or a predetermined situation that occurs for the distributor. Information relating to one or more of them (sometimes referred to as a predetermined operation, etc. in the documents of the present application) may be included.
  • the information acquired by the acquisition unit may be information detected by an information processing device to which the system according to the present invention is connected or information based on the detected information.
  • the detected information may be information according to the detector to be detected.
  • the detected information may be acquired by the acquisition unit as it is, or the corresponding information corresponding to a predetermined threshold value or range may be acquired by the acquisition unit for the detected specific measurement information.
  • the detected information may be motion data motion information, alcohol amount information by an alcohol detector, temperature information of a thermal sensor, and the like. Then, as the corresponding information with respect to these specific measurement information, information on a specific facial expression or a specific movement of the motion data, information on the amount of drinking with respect to the amount of alcohol, etc., according to the predetermined conditions according to the present invention. It may be processed into information.
  • the specific contents of the information acquired by the acquisition unit will be described in the condition application unit. Note that FIG. 5 shows an example of a part of the information acquired by these acquisition units.
  • the detected information may include information detected by image processing using images captured by one or more imaging devices that image the distributor.
  • the information acquired by such image processing may detect, for example, a blend shape based on motion data.
  • the sound may be detected by detecting the sound by the microphone that acquires the sound in the room where the distributor is located, or by detecting the operation of the sound generating device operated by the distributor.
  • the movement of the hand or arm may be detected by using the movement of the sensor attached to the distributor's hand or arm, or the movement of the throat may be detected and eaten by using the sensor wrapped around the throat. And drinking movements may be detected.
  • the alcohol detector may be used to detect the drinking behavior of the distributor.
  • the system according to the present application may be connected to these detectors to detect information about the behavior of the distributor and the like.
  • the distributor may include a performer who can operate the avatar.
  • FIG. 6 shows an example of the means for detecting and an example of the information to be detected.
  • the information acquired by the acquisition unit is any of a predetermined action of the avatar played by the distributor, the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, or the predetermined situation occurring with respect to the avatar in the virtual space. It may include information relating to one or more of them (in the documents of the present application, it may be a predetermined operation, etc.).
  • FIG. 7 shows an example of a part of the information acquired by these acquisition units.
  • the information processing device from which the acquisition unit acquires information may be the same as or different from the information processing device having the function of the acquisition unit.
  • acquisition may be a superordinate concept of the meaning of receiving information from another information processing device, a superordinate concept of the meaning of reading information from a storage device, or another. It may be a superordinate concept of the meaning of receiving information from a program via a storage device, or may be a superordinate concept of the meaning of being detected by an information processing device.
  • Condition application unit determines whether or not the information related to the acquired gift satisfies a predetermined condition using the information related to the gift, and the information related to the acquired gift satisfies the predetermined condition.
  • a predetermined facial expression or pose corresponding to the predetermined condition when it is determined to be satisfied may have a function of generating the information of.
  • condition application unit determines whether or not the detected information satisfies the predetermined condition, and when it is determined that the predetermined condition is satisfied, the condition application unit is generated based on the facial expression or pose related to the distributor. It may have a function of generating information for making the facial expression or pose of the avatar related to the distributor into a predetermined facial expression or pose corresponding to the predetermined condition.
  • the condition application unit determines whether or not the acquired information satisfies a predetermined condition, and when it is determined that the predetermined condition related to the acquired information is satisfied, the condition application unit is based on the facial expression or pose related to the distributor. It may have a function of generating information for changing the facial expression or pose of the avatar related to the distributor to the predetermined facial expression or pose corresponding to the predetermined condition.
  • the facial expression or pose of the avatar related to the distributor which was generated based on the facial expression or pose related to the distributor, is generated to be the predetermined facial expression or pose corresponding to the predetermined condition.
  • the facial expression of the avatar related to the distributor which is generated based on the facial expression related to the distributor, is set as a predetermined facial expression corresponding to the predetermined condition.
  • a predetermined pose corresponding to the predetermined condition is set to the predetermined conditions corresponding to the predetermined conditions.
  • a predetermined facial expression and / or pose specified in accordance with a predetermined condition may be referred to as a predetermined facial expression
  • the facial expression and / or pose may be referred to as a facial expression or the like. ..
  • the predetermined facial expression and the like are displayed by using 1) a predetermined facial expression parameter or a facial expression parameter obtained by correcting a facial expression parameter based on the distributor's facial expression based on a predetermined rule. It may be 2) a facial expression displayed by a predetermined shape or movement setting, or 3) a pose based on a predetermined pose parameter or a distributor's pose. The pose may be displayed using the pose parameter corrected based on a predetermined rule, or 4) the pose may be displayed by setting a predetermined shape or movement. .
  • the predetermined facial expression parameters indicate a plurality of parameters that affect the movement of each part of the face, and by setting the plurality of parameters to predetermined values, one facial expression is indicated. May be.
  • the one or more parameters may be parameters that affect the movement of each part of the face, and each parameter may be for a specific part of the face or for the entire face (or a part of the face). However, the shape of the entire face (or a part of the face) may be different for each parameter.
  • the latter is a technique of preparing a plurality of products having the same area but different shapes, and expressing one facial expression by synthesizing a part or a plurality of them.
  • An example of the latter is a brand shape, and in such a technique, a plurality of face shapes having different shapes are prepared in advance, and one facial expression is generated by synthesizing the plurality of shapes. ..
  • a predetermined shape may be prepared in advance to give a special facial expression.
  • a shape indicating the vertical line of the face is prepared in advance, it is possible to produce the vertical line of the face, and when the element of the effect of the cross is prepared in advance, the eye is It is possible to produce a cross.
  • the facial expression or the like is reproduced regardless of the facial expression of the distributor. Therefore, when an appropriate parameter indicating the facial expression or the like is selected, the facial expression or the like that is easy to understand is always displayed. There is an advantage that it can be reproduced. Even in this case, the predetermined facial expressions and the like may be set differently depending on the avatar.
  • the predetermined facial expressions and the like applied when the same predetermined conditions are satisfied may differ between Avatar A and Avatar B.
  • it may be set for each avatar, or it may be set according to the type of avatar.
  • the predetermined facial expression or the like is a parameter such as a facial expression obtained by correcting a parameter such as a facial expression based on the distributor's facial expression or the like based on a predetermined rule
  • the predetermined facial expression or the like becomes the distributor's facial expression or the like. It may be a facial expression based on it. For example, suppose a distributor looks surprised at some gift. At this time, the facial expression of the avatar is set to the facial expression corresponding to the surprise by one or a plurality of parameters in response to the detection of the facial expression of the distributor, but a plurality of parameters related to the surprise as a predetermined facial expression corresponding to a predetermined condition.
  • the above technique is absolute in that one or more parameters are determined with the above technique as a predetermined facial expression, this technique is, so to speak, relative to the information obtained from the facial expression of the current distributor. Parameters may be used. Therefore, even if the same avatar played by the same distributor is applied with the same predetermined conditions, the parameters such as facial expressions based on the facial expressions that the distributor himself has at that time may be the same. If so, the facial expressions and the like according to the different parameters may be the predetermined facial expressions and the like because they may be different. Therefore, there is a possibility that more variations such as facial expressions can be given.
  • the facial expression displayed by setting the predetermined shape or movement may indicate a facial expression in which the predetermined shape itself such as a mask is used as a predetermined facial expression, and may be such a facial expression. ..
  • predetermined facial expressions have been described, but similarly, the corresponding techniques may be used for the predetermined poses.
  • the predetermined facial expression or the like may be a facial expression or the like related to the gift to be provided.
  • the viewer has an advantage that the reason why a predetermined facial expression or the like is expressed can be easily understood in association with the gift.
  • the related facial expressions may be, for example, facial expressions with the same motif as the gift.
  • the facial expression or the like of the same motif may include a facial expression or the like that makes the gift more effective by giving a predetermined facial expression or the like to the given gift.
  • the facial expression of the avatar may become the predetermined facial expression within a predetermined time after the gift is attached. That is, the predetermined condition may include a condition that is satisfied at the timing when the avatar wears the gift.
  • predetermined time may be simultaneous or almost simultaneous, or may be changed to a predetermined facial expression or the like with the wearing of the gift. Further, at almost the same time, a time difference may be included to the extent that the viewer feels that the facial expression has been changed to a predetermined expression or the like at the same timing as when the gift is attached.
  • the predetermined condition may be a rule that the given gift has a predetermined expression of the same motif for the predetermined gift and the gift.
  • the condition application unit may apply such a rule to a given gift by using such a predetermined rule, and specify a predetermined facial expression or the like.
  • the rule may be a rule applied to individual gifts, or may be a rule applied to the type of gift to which each gift belongs.
  • information for specifying the corresponding facial expression or the like may be generated by similarly using a predetermined rule for the following various conditions.
  • the related facial expressions may be, for example, a facial expression that is in harmony with the schedule when the gift is given.
  • the planned harmonious facial expression and the like may include a facial expression and the like that occur in the situation that occurs in animation, manga, and the like.
  • a facial expression such as a drooling expression within a predetermined time when the meat gift approaches the mouth, or a facial expression with a drooling expression within a predetermined time when trying to pick up the meat gift by hand.
  • you may have a drooling expression. The same may be applied to the above within a predetermined time.
  • the predetermined facial expression or the like may be the opposite facial expression to the gift motif provided.
  • the viewer may feel a sense of discomfort, but there is an advantage that the sense of discomfort becomes a new stimulus.
  • a predetermined facial expression or the like may act on parameters for all the parts (parts) constituting the facial expression or the like, or may act on some parameters thereof.
  • a predetermined facial expression or the like acts only on a parameter for the mouth, and a parameter for a portion other than the mouth may be a parameter linked to the facial expression of the distributor.
  • the part where the predetermined facial expression or the like is activated may be the same part as the part where the gift is attached.
  • the expression may be such that the mouth is deflated.
  • the expression of the mouth is an appropriate facial expression for inflating the balloon, the viewer has an advantage that the gift of the balloon does not give a sense of discomfort.
  • the part where the predetermined facial expression or the like is activated may be a part different from the part where the gift is attached.
  • the facial expression may be such that the eyes become horizontal lines on the eyes, which are different parts from the head, at the same time when the gift is attached with the hot spring towel placed on the head.
  • the gift of the ring to be worn on the finger may be an expression such that the eyes become a heart for the eyes, which are different parts from the fingers, as the ring is worn.
  • the Pocky gift may have facial expressions such as closing the eyes and reddening the cheeks of the eyes and cheeks, which are different parts from the mouth, as the Pocky is attached to the mouth while eating.
  • the predetermined facial expression or the like may change in conjunction with the direction in which the gift is displayed.
  • the distributor may not know where the gift will appear in the virtual space. At this time, even if the gift is provided, the distributor does not notice it, and as a result, the avatar related to the distributor may not be able to respond to the gift. Therefore, since the facial expression related to the avatar changes in conjunction with the direction in which the gift is displayed, the viewer who provided the gift understands that the avatar has reacted, and has an advantage that communication can be activated more.
  • a predetermined facial expression or the like may include 1) eyes that direct the line of sight in the direction in which the gift is displayed, or 2) a mode in which the mouth or eyebrows change with respect to the direction in which the gift is displayed. You may 3) turn your face in the direction in which the gift is displayed, or 4) place your palm in front of your eyebrows and pose to look into the distance.
  • the facial expression may be a muffled mouth on the display side of the meat gift.
  • the tower gift when the tower gift is provided, the tower gift may be turned in the direction in which the tower gift is displayed, and the facial expression may be surprised and eye-catching.
  • the rotation information of the gift may be used as the information related to the position of the gift.
  • the predetermined pose may be various poses.
  • the pose may be only a part of the avatar's body or the entire avatar's body.
  • the pose of bending the neck may be a pose of only the area around the head, a pose of only the upper body such as a guts pose, or an overall pose such as a pose of holding a gun.
  • the avatar that has a predetermined facial expression when the conditions are applied is a process for the specified avatar. You can.
  • information related to gifts and / or information related to avatars may be used.
  • gift information includes gift attributes, gift priorities, gift positions, gift display start, gift display changes, gift display end, and / or information related to multiple gifts. May include.
  • the information related to the avatar may include the position related to the avatar, the type of the avatar, the parameters of the facial expression related to the avatar, the action related to the avatar, and / or the situation related to the avatar.
  • the priority for gifts is, when multiple gifts are provided within a predetermined time, and when a predetermined facial expression or the like is applied by using some of the gifts among the plurality of gifts. It may be used to set a predetermined facial expression or the like based on some gifts. In this case, as a part of the gift, the information related to one gift may be used, or the information related to a plurality of gifts may be used. By setting the priority for gifts, there is an advantage that the processing of gifts provided within a predetermined time can be appropriately handled.
  • the given conditions are applied to the gift information for only one of the five gifts with the highest priority.
  • Predetermined conditions may be applied to 2) gift information about only one gift with the highest priority and other gifts with the next highest priority, and 3) predetermined priority.
  • Predetermined conditions may apply to gift information for other gifts within the ranking.
  • the priority related to the gift may have a function as a precondition for the application of the predetermined condition in the sense that the target to which the predetermined condition is applied is selected.
  • the predetermined condition may be applied to the gift for which the information related to the gift is acquired in the order of the time when the information related to the gift is acquired.
  • the time order acquired here may be the time order of acquisition of the information related to the gift finally acquired according to the degree of network congestion and the progress of information processing, or the viewer terminal, the distributor terminal, or the server. It may be in the order of time when the instruction to provide the gift is obtained in. In the latter case, for example, the time order may be determined by associating the instruction with the time information in the time order in which the instructions are acquired in the terminal or the server.
  • the setting of the predetermined facial expression based on the information related to the previous gift is replaced with the predetermined facial expression etc. based on the information related to the next gift, and the previous predetermined expression is set.
  • Information such as facial expressions may be deleted, or information such as the previous predetermined facial expression may be continued and the predetermined facial expression or the like for the information related to the next gift may not be set.
  • the predetermined condition is determined by using the information related to the time between the first gift and the second gift, which is the time interval between the time when the first gift is provided and the time interval when the second gift is provided.
  • the facial expression and the like may be specified.
  • Gift priorities include the price of the gift, the size of the gift displayed, the level of the gift, the location of the gift in the virtual space, the type of gift, the information about the gift provider, and / or the gift. It may be generated using the provided timing, etc.
  • the size of gifts displayed, and the level of gifts gifts with a large price, size, and number of levels have higher priority than gifts with a small price, size, and number of levels.
  • the degree may be set. In this case, when a gift having a large price, size, and number of levels is provided, it may have a function of affecting a predetermined facial expression or the like and activating it more. Further, it may be set in the opposite direction.
  • the gift appearing in the center of the virtual space may be set to have a higher priority than the gift appearing at the left and right edges of the virtual space. If the priority of the gift that appears in a conspicuous place in the virtual space is high, the viewer can see the gift that appears in the conspicuous place, so that the viewer can understand the meaning of a predetermined facial expression or the like. It has the advantage of being easier to understand.
  • the priority related to the gift may be static information preset for the gift, or dynamic information set for the first time when the gift is provided.
  • the former may include, for example, the price of the gift, the size of the gift to be displayed, the type of gift, and the like.
  • the latter may be the place of appearance of the gift in the virtual space, the gift provider, the timing at which the gift was provided, and the like.
  • the price of the gift may be dynamically set information such as an auction format.
  • the type of gift may be the specific content of the gift and may be various.
  • the timing at which the gift is provided may set the gift provided earlier to have a higher priority than the gift provided later.
  • the priority related to the gift it is conceivable to set the priority related to the gift differently depending on the provider of the gift. For example, if a viewer has a specific position in a given distribution, the gift of the person with such position is prioritized over the gift of the person who does not have such position. You may. Such a position may be based on the viewer being a specific member in the distribution, a specific preferential position, or the like. In addition, the frequency of viewing the delivery and the total time of viewing the distribution for the provided gift provider, the frequency of viewing the distribution and the total time of viewing the avatar for which the gift is provided, and the gift are provided.
  • the information related to the support ranking may include, for example, ranking information calculated from the information related to the activity of the viewer.
  • Information related to the viewer's activity includes, for example, the total number of gifts provided by the viewer, the total price of the gift, the total value of the gift level, the evaluation value using the information related to the gift, and the comment of the viewer. It may include numbers, viewer likes, or information using them.
  • the action may work.
  • the above-mentioned priority for gifts may be 1) used to select a part of a plurality of gifts as a part of a predetermined condition, or 2) a predetermined priority corresponding to the priority. It may be used to set facial expressions, etc., and 3) a predetermined facial expression, etc. that is used to select a part of a plurality of gifts that are both of them and corresponds to the priority concerned. It may be used to identify. For example, a predetermined facial expression or the like applied when information relating to a gift having a gift level of 5 is acquired, and a predetermined facial expression or the like applied when information relating to a gift having the same gift level of 3 is acquired. May be different.
  • a predetermined facial expression or the like when the gift level is 3 is set to a predetermined facial expression or the like that defines only the mouth and mustache, whereas a predetermined facial expression or the like when the gift level is 5 or the like.
  • a predetermined facial expression or the like is set to a mustache, eyebrows, and a predetermined facial expression that defines the mode of the eyes (there is no setting for the mouth), and when the gift level is high, the level is low. It may be a facial expression that includes a facial expression.
  • a predetermined facial expression or the like in the case of the gift level 3 is set to a predetermined facial expression or the like that defines only the mouth and the eyebrows, whereas the gift level is 5.
  • the prescribed facial expression, etc., which defines the mouth, and the prescribed facial expression, etc., which defines the mustache and eyebrows is set. It is not necessary to include a predetermined facial expression or the like when the level is low.
  • the predetermined conditions include those with a gradual condition, and the corresponding predetermined facial expressions and the like are also correspondingly gradual and the same. Each predetermined facial expression or the like may be different.
  • both the information related to the gift and the information related to the avatar may be used.
  • the predetermined condition may include that the position related to the avatar and the position related to the gift fall within a predetermined distance.
  • the position related to the gift may be the position set in advance for the gift, the position related to the outer circle or polygon when the gift is displayed, or the position of the center of gravity when the gift is displayed. It may be a position.
  • the position related to the outer circle may be a position specified by using the center of the outer circle or the tangent line of the outer circle.
  • the position related to the polygon may be a position specified by using the center of the polygon, the vertices and sides of the polygon, and the like.
  • the position related to the avatar may be any of the position of the avatar in the virtual space, the part that activates the predetermined facial expression, the predetermined part of the avatar, or the collider of the avatar.
  • the position related to the avatar and the position related to the gift fall within a range of a predetermined distance under a predetermined condition, it means that the viewer has a predetermined facial expression or the like. Has the advantage of being easy to understand.
  • the position related to the avatar and the position related to the gift are outside the range of the predetermined distance under a predetermined condition.
  • it may include that the position related to the avatar and the position related to the gift are separated by a predetermined distance within a predetermined time.
  • a facial expression such as tears appearing as a predetermined facial expression of the avatar may be set.
  • the type to which the avatar belongs may be used as the information related to the avatar.
  • the predetermined condition may use the type to which the avatar belongs, which is one of a plurality of types to which the avatar belongs. This may be such that when the information relating to a certain gift is acquired, the first avatar type has a predetermined facial expression or the like, but the second avatar type does not have a predetermined facial expression or the like. For example, some types of avatars may be more likely to have a scary look when given a ghost gift, given that they have a bearish personality setting.
  • a certain type of avatar has a cheerful personality setting, and the condition of a facial expression including a smile as a predetermined facial expression or the like may be set to be looser than that of other avatars.
  • the avatar may be provided with personality characteristics such as bearish, cheerful, bullish, and unyielding, and the satisfaction of a predetermined condition may be determined using such personality characteristics.
  • the personality may be set according to the type to which the avatar belongs, or may be set for each avatar separately from the type to which the avatar belongs.
  • the predetermined condition may include the probability. That is, the predetermined condition includes a pseudo-random number function or the like, and when the function value satisfies the predetermined condition, a predetermined facial expression or the like may be generated. When such a probability is included, a predetermined facial expression or the like is not always generated, so that the viewer's interest can be continuously attracted. Further, for example, when the probability value is made lower than a predetermined value and a rare facial expression is used, the viewer can be interested in the fact that the viewer can see a valuable facial expression.
  • the information related to the avatar may include the operation of the avatar.
  • the information about the gift of a pistol and the action of an avatar that shoots a gun may be a brave face aiming at the pistol.
  • different facial expressions may be given depending on the type of gun.
  • a gun for example, a gun, a sniper rifle, a pistol, and a machine gun may have the same facial expression or different facial expressions in some combinations thereof.
  • the information related to the avatar may include the situation related to the avatar. For example, if the avatar is in a situation where it cannot fall into a specific hole and is provided with a rope ladder gift, a predetermined facial expression indicating a full smile may be set as the predetermined facial expression. ..
  • the satisfaction of the predetermined conditions is satisfied by using the timing of displaying individual gifts such as information on the start of display of the gift, information on the change in the display of the gift, and / or information on the end of the display of the gift. You may judge.
  • the avatar's facial expression and pose change in response to the gift display such as the start, change, and end of the gift display. Therefore, the viewer can give the meaning of the change in the avatar's facial expression and pose as a gift. It has the advantage of being easier to understand in association with.
  • a predetermined condition the information that the gift has as an attribute may be used.
  • Gift attributes may or may not include the characteristics of the gift, such as the type of gift, the level of the gift, and so on.
  • a predetermined condition may be set so that the predetermined condition is satisfied according to a specific feature of the gift, and a corresponding predetermined facial expression or the like may be set.
  • the type of gift may include, for example, information on when the gift is provided, information on the classification of the gift, the part where the gift is attached, and the like.
  • the timing information on which the gift is provided may be newly released, within a predetermined period after the release, or corresponding to a predetermined timing event such as Halloween only.
  • Information on the classification of gifts may be free gifts, accessories, cheering goods, and the like.
  • the part to which the gift is attached may be eyes, mouth, nose, forehead, ears, hands, feet, or a combination thereof.
  • the gift level may be raised by combining it with other gifts that are the same or different. And even if it is the same gift, when the first level gift and the second level gift are obtained, the higher level gift is set with a luxurious predetermined expression and the like. good. For example, the fact that the first predetermined facial expression or the like is more luxurious than the second predetermined facial expression or the like is affected by the predetermined facial expression or the like when there are many parameters set as the predetermined facial expression or the like. There are many parts, and so on.
  • the information related to the gift includes information related to the first gift and information related to the second gift
  • the predetermined condition includes the information related to the first gift and the information related to the second gift.
  • / or the combination, order, and / or information relating to the time of the first gift and the second gift may be used.
  • the facial expression of the avatar may be a predetermined facial expression or the like. More specifically, for example, when an avatar is provided with three types of gifts, a hero's shield, a hero's sword, and a hero's cloak as RPG gifts, the avatar's facial expression is a brave face of the hero. May be set.
  • the predetermined facial expression or the like set in such a case may be suggested from the combination of the given gifts.
  • a frog shield, a frog case, or a frog cloak can look like a frog.
  • the predetermined conditions may be satisfied only when the information related to the gift is acquired in the predetermined order.
  • a mellow expression that makes your eyes burn when you are given a headband is set, and when you are given sunglasses as a gift, your eyes are mellow even if you are wearing sunglasses.
  • the facial expression may be set so that the display with mellow eyes is larger than the display with mellow eyes when only the headband is worn so that the situation can be understood.
  • the facial expression of such a large-eyed mellow display may not be applied when a headband is given after the sunglasses, or may be set to have the same facial expression.
  • the condition application unit may use the facial expression specified by satisfying the predetermined condition as the facial expression of the avatar to which the gift is provided. More specifically, the information indicating the facial expression specified by satisfying a predetermined condition may be an ID indicating the specified facial expression or one or a plurality of parameters of the facial expression indicating the specified facial expression, and the specific expression may be used.
  • the facial expression of the avatar may be set by using the information indicating the specified facial expression so that the facial expression can be the facial expression of the avatar.
  • the ID and parameter information may be specified or generated by the condition application unit, and then the information may be transmitted to a server or terminal for generating a video or animation and used for a predetermined period of time.
  • the condition application unit may store information indicating a specified facial expression in association with each predetermined condition, and when each of the predetermined conditions is satisfied, information indicating the corresponding specified facial expression. May be configured to identify.
  • the condition application unit is determined by the condition application unit.
  • the facial expression specified by satisfying the above condition may be used to set the facial expression of the avatar.
  • the condition application unit specifies by satisfying a predetermined condition.
  • the first information processing device may transmit the facial expression to the second information processing device, and the second information processing device may process the second information processing device so as to set the facial expression as the facial expression of the avatar using the specified facial expression.
  • the specified facial expression or the like is applied from the server of the first information processing device to the server of the second information processing device.
  • Information indicating that may be transmitted.
  • the server of the first information processing device identifies the viewer terminal of the second information processing device.
  • Information indicating the information processing and the like may be transmitted.
  • the server of the first information processing device identifies the distributor terminal of the second information processing device.
  • Information indicating the information processing and the like may be transmitted.
  • the specific information processing device from the viewer terminal of the first information processing device to the server of the second information processing device.
  • Information indicating the facial expression or the like may be transmitted.
  • the viewer terminal of the first information processing device is transferred to the viewer terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • the first information processing device is a viewer terminal and the second information processing device is a distributor terminal
  • the viewer terminal of the first information processing device is transferred to the distributor terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • the specific information processing device from the distributor terminal of the first information processing device to the server of the second information processing device.
  • Information indicating the facial expression or the like may be transmitted.
  • the distributor terminal of the first information processing device reaches the distributor terminal of the second information processing device.
  • Information indicating the specified facial expression or the like may be transmitted.
  • the distributor terminal of the first information processing device is transferred to the viewer terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • condition application unit is executed in a single information processing device, but the condition application unit may be distributed and processed in a plurality of information processing devices.
  • the predetermined condition may include the timing at which a predetermined facial expression or the like is set.
  • a predetermined facial expression or the like is set according to the timing when the position related to the avatar and the position related to the gift are within a predetermined distance range, and the information including the information such as the predetermined facial expression is released. It may be transmitted to the displayed information processing device and displayed.
  • the timing difference in this case may include a time lag in communication and processing.
  • a separately set timing may be used for setting a predetermined facial expression or the like after the predetermined conditions are satisfied.
  • a predetermined facial expression or the like may be obtained 2 seconds after the predetermined condition is set.
  • a situation in which the avatar is surprised may occur, and a predetermined surprised facial expression may be set at a timing intentionally delayed 2 seconds later.
  • the function of the condition application unit enables the corresponding predetermined facial expressions and the like to be realized when the predetermined conditions are satisfied, and has an advantage that the facial expressions and poses of the avatars in the virtual space can be varied.
  • the performer can specify the facial expression of butter by himself / herself using a tablet or the like, when the wearing gift is worn by the operator in the studio distribution, the performer may not be aware that the wearing gift has been worn.
  • the facial expression or pose corresponding to the gift can be applied to the avatar without any operation by the performer. That is, the information for making a predetermined facial expression or pose may be generated without any operation other than providing a gift from the distributor.
  • the function of the condition application unit can automatically realize the corresponding predetermined facial expression when the predetermined condition is satisfied, and the viewer terminal can only provide a gift to perform other functions. There is an advantage that you can enjoy the reaction that results in changing the facial expression of the avatar without any operation from the viewer terminal.
  • the predetermined facial expression or the like may be a facial expression or the like related to the predetermined movement or the like that occurs.
  • the viewer has an advantage that the reason why the predetermined facial expression or the like is expressed can be easily understood by associating it with the predetermined motion or the like.
  • a predetermined facial expression or the like may act on parameters for all the parts constituting the facial expression or the like, or may act on some parameters thereof.
  • a predetermined facial expression or the like acts only on the parameters for the mouth, and the parameters for the parts other than the mouth are parameters linked to the facial expression of the distributor and correspond to the movement of the facial expression of the distributor from the distributor terminal. It may be a parameter based on the information provided.
  • the predetermined facial expression and the like may include the appearance of the avatar.
  • a predetermined facial expression or the like may include an effect that the avatar is charred.
  • a numerical value indicating a parameter indicating the opening degree of the eyes or the mouth may be included, or a parameter indicating the left-right position or the vertical position of both ends of the mouth may be included. Alternatively, it may include a parameter indicating the vertical position of the eyebrows.
  • the predetermined pose may be various poses.
  • the pose may be only a part of the avatar's body or the entire avatar's body. For example, it may be a pose with only the head as a pose to bend the neck, a pose with only hands including a production in which the hands are enlarged or the hands are swollen red, a pose with only the upper body such as a guts pose, or a gun. It may be a pose that holds the body or a whole pose that jumps with the whole body.
  • the predetermined condition is information relating to any one or more of a predetermined action of the avatar played by the distributor, the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, or the predetermined situation occurring with respect to the avatar. , May be used.
  • the predetermined action of the distributor may be a predetermined action perceived by the distributor with all five senses.
  • the predetermined operation of the distributor may include an operation of viewing a predetermined target. For example, when a distributor is surprised to see a predetermined object such as another distributor or a predetermined object at a place such as a stage or a living room where the distributor is present, a surprised facial expression is set as a predetermined facial expression or the like. good.
  • the predetermined target is not limited to the one that brings a surprise feeling to the distributor, but may be the one that brings other emotions and sensations. It may be something that brings a certain feeling or sensation when a person looks at the object, such as something that brings a feeling of dislike such as natto. Further, as for a predetermined facial expression or the like when looking at such an object, a predetermined facial expression or the like indicating a face generally generated by a person when looking at such an object may be set.
  • the above-mentioned things that bring about the feeling of scary, the things that bring about the feeling of like, and the things that bring about the feeling of dislike may be correspondingly horrifying facial expressions, smiles, disgusting facial expressions, and the like.
  • the action of looking at the predetermined target may include looking at the line of sight of one distributor and the eyes of another distributor.
  • the other distributor also sees the eyes of the one distributor, the line of sight of the one distributor and the other distributor will be aligned.
  • the avatar may be set to a predetermined facial expression or the like.
  • a predetermined facial expression or the like may be set for only one avatar, or a predetermined facial expression or the like may be set for both avatars. In the latter case, for example, the facial expressions of both avatars may be reddish or throbbing when the eyes are aligned.
  • the set facial expression or the like may be the same predetermined facial expression or the like, or may be a different predetermined facial expression or the like. ..
  • the reason for the different predetermined facial expressions may be a predetermined facial expression or the like according to the type to which the avatar belongs, or a predetermined facial expression or the like according to the preference or property of the avatar. It may be a predetermined facial expression or the like that is stochastically selected.
  • the distributor is imaged by an imaging device having an imaging field of view around the distributor including the distributor, and the distance between the distributor and another distributor in the captured image is equal to or less than a predetermined distance.
  • a predetermined expression or the like may be set.
  • the direction of the distributor's eye is calculated by Raycasting the distributor's line of sight as image processing in the image, and the line of sight is the other distributor. If it intersects with, it may be determined to see another distributor.
  • a predetermined facial expression or the like may be set.
  • the predetermined operation of the distributor may include an operation of contacting a predetermined target.
  • the predetermined target may be predetermined, and the contact operation is performed by imaging the distributor with an imaging device having an imaging field of view around the distributor including the distributor as described above.
  • a predetermined expression or the like may be set. ..
  • the timing at which the distributor contacts a predetermined object and the contact between the contour of the distributor and the contour of the predetermined object in the image may be different timings. ..
  • the contour of the distributor and the contour of the predetermined object may overlap on the image even though the distributor itself is not in contact with the predetermined object. Therefore, in addition to the determination using image processing, or instead of the determination using image processing, a sensor worn by the distributor may be used.
  • the distributor may wear a glove with a sensor, and the contact between the glove and a predetermined object may be detected by a sensor in the glove.
  • a sensor provided by the distributor on the body may be used to detect a situation in which the distributor is in contact with another distributor or is in contact with another object.
  • the sensor attached to the body by the distributor may be a marker type tracker.
  • the relationship between the distributor and the object is determined by the relationship between the tracker provided for the object and the tracker provided for the distributor's body. You can.
  • an operation of shaking hands may be included.
  • the handshake may be determined to be shaking when the movement of the finger is detected by a glove with a sensor worn by the distributor and the movement of the finger of the handshake is detected.
  • the predetermined action of the distributor may include a predetermined target eating and drinking action.
  • the eating and drinking movement it may be detected that the distributor is eating and drinking by detecting the movement of the throat using a sensor wrapped around the throat of the distributor.
  • a predetermined action or the like when the distributor eats or drinks there is an action in which the avatar related to the distributor moves the mouth with food in the mouth.
  • the facial expression may be muffled. The facial expression during eating and drinking may correspond to the movement of the mouth, and the movement of the mouth may correspond to the above-mentioned movement of the throat.
  • a predetermined operation or the like may be set together with the above-mentioned technique or instead of the above-mentioned technique based on the information in the image captured by the distributor. For example, it may be determined that the distributor is eating a predetermined food based on the information in the image, and the facial expression may indicate a corresponding way of eating the predetermined food. For example, when a distributor eats ramen, curry, meat, fish, vegetables, etc., the corresponding food item (ramen, curry, meat, meat, etc.) (Fish, vegetables, etc.) may be produced as an item or animation in the virtual space, and the eating method corresponding to the food may be given as a predetermined expression or the like.
  • the method of eating meat with bones from the side may be used, and in the case of curry, the method of eating with a spoon may be used.
  • an item corresponding to the predetermined object may be generated in the virtual space. If it is a food-eating expression, the corresponding food item described above may be generated and produced.
  • food or drink items corresponding to eating and drinking actions have been described as items displayed as effects in the virtual space, but the newly displayed items are not limited to these.
  • an item of an object corresponding to an object perceived by the distributor in the real space may be displayed as an item produced in the virtual space.
  • the musical instrument may be displayed as an item.
  • the corresponding tub or ball item may be displayed as an effect on the screen.
  • the item displayed as such an effect may be displayed according to the timing when the avatar related to the distributor is set to a predetermined facial expression or the like. Further, when the predetermined facial expression or the like set for the avatar related to the distributor returns to the facial expression or the like of the avatar corresponding to the original distributor, the item displayed as such an effect may disappear from the screen. As for the item displayed as the effect, such an item may be displayed correspondingly while the avatar related to the distributor is set with a predetermined facial expression or the like.
  • the item displayed as such an effect may be moved after the position of the item is determined in relation to a predetermined action or the like related to the distributor.
  • the position, movement, and size of the corresponding item may differ depending on the strength of the sound, the speed of the operation, the distance of the operation, and the like. More specifically, for example, when the sound is strong, the position of the item may be close, and when the sound is weak, the position of the item may be far. Further, for example, if the eating action is fast, the food items may be reduced quickly.
  • the item of the ball corresponding to the ball is displayed in the virtual space, and the speed of the ball in the virtual space is adjusted according to the speed and size of the flying ball in the real space.
  • the pod sizes may be associated and displayed.
  • the speed of the ball in the real space may correspond to the speed of the ball in the virtual space
  • the size of the ball in the real space may be associated with the size of the ball in the virtual space.
  • balls may be associated alternately.
  • a facial expression under the influence of alcohol may be given as a predetermined facial expression such as making the complexion of the avatar related to the distributor red.
  • Drinking may be determined by an alcohol detector.
  • the complexion of the avatar may be changed according to the amount of alcohol detected by the alcohol detector. For example, when the amount of alcohol is detected within the first predetermined range, the complexion of the avatar is set to pink, and the amount of alcohol is larger than the amount within the first predetermined range. When the amount within the range is detected, the complexion of the avatar is set to red, and when the amount of alcohol is higher than the amount within the second predetermined range, it is dark when the amount within the third predetermined range is detected. You may set red, etc.
  • the predetermined action of the distributor may include a predetermined gesture of smelling or smelling.
  • Predetermined scenting gestures may include nasal movements. For example, it may include a case where the nose makes a gesture indicating that the general public feels an odor, such as a so-called squeaking motion or a squeezing motion.
  • the prescribed gestures that smell are gestures that indicate that the general public feels an odor, such as an action to close the nostrils, an action to stop breathing, and an action to move the air in front of the nose by hand. May include.
  • the predetermined odorous gesture may be only the movement of the nose and face, may be only the movement of the hand, or may be both of them. Such an action may be a facial expression or the like.
  • the nose information may be acquired based on the motion data and the blend shape.
  • information may be acquired by an optical sensor or image processing.
  • the avatar related to the distributor may have a scented or odorous facial expression or the like in response to the scented or odorous action by the distributor.
  • the avatar's scented or odorous facial expression as a predetermined facial expression or the like may be a predetermined scented or odorous action that the general public feels to be producing the scent or odor.
  • the facial expression that smells or smells from the avatar may have the same facial expression as the facial expression that smells or smells from the distributor, or may have a different facial expression.
  • the facial expression that smells or smells from the avatar makes the facial expression that smells or smells from the distributor wider, the speed of movement is clarified, and so on. It may be clear that the expression is odorous or odorous.
  • the predetermined action of the distributor may include a predetermined gesture for listening / listening to a sound.
  • the predetermined gesture for listening / listening to a sound may be an ear-only movement, a head-only movement, a hand-only movement, or some or all of these movements.
  • Examples of ear movements include movements of the ears.
  • Examples of the movement of the head include the movement of turning the ears in a certain direction.
  • the certain direction may be the direction in which the distributor feels that the sound can be heard.
  • the movement of the hand may include a movement of bringing the hand closer to a predetermined range of the ear.
  • the movement of the hand may include the movement of turning the palm toward the ear side, and may be in the form of collecting only the sounds coming from a specific direction.
  • the movement may be performed with only one hand, or may be performed with both hands.
  • the palm When the palm is shaped to collect only the sounds coming from a specific direction for one ear, the body may be turned so that the ear in the specific direction approaches, or the head may be turned. good.
  • the movement of the distributor may include a gesture that the general public recognizes as the movement of listening / listening to the sound as described above. Such an action may be a facial expression or the like.
  • the predetermined facial expression of the avatar related to the distributor is the facial expression recognized by the general public as being heard / listening to the sound as described above. It may be there.
  • the facial expression of listening / listening to the sound of the avatar may be the same as the facial expression of listening / listening to the sound of the distributor, or may be a different facial expression. There may be.
  • the facial expressions of the avatar clearly indicate the speed of movement, which makes the range of movement wider than the facial expressions of listening / listening to the sound by the distributor. It may be made clear that the facial expression is listening / listening to the sound.
  • the predetermined situation that occurs for the distributor may include the occurrence of a predetermined sound.
  • the predetermined sound may be a human voice, a natural sound, a sound produced by a musical instrument, an artificial sound, or a directing sound. It does not have to be limited to the type of sound.
  • the human voice may be various voices generated by a person, such as a person's normal voice, a person's unusual voice, a person's strange voice, and a person's scream.
  • the sound of nature may be various, such as the sound of wind, the sound of water, the sound of flames, the sound of typhoons, the sound of floods, and so on.
  • the sound produced by the musical instrument may be the sound of various musical instruments such as a violin, a piano, and a flute.
  • the artificial sound may be, for example, various sound effects such as a ping-pong sound effect indicating a correct answer to a problem and a boo sound effect indicating an incorrect answer.
  • the directing sound may be, for example, a sound generally used when a ghost appears and a muddy sound in which the general public can recognize the appearance of the ghost.
  • the predetermined sound may be detected by various methods. For example, a microphone installed in a room or studio where the distributor is located may detect a sound that can be heard by the distributor, or is generated by an operator's instruction in the studio or an instruction input by the distributor himself. Information from a sound generator capable of letting the distributor hear the sound, such as sound, may be detected.
  • the predetermined facial expression or the like of the avatar related to the distributor may be a predetermined facial expression or the like corresponding to the sound.
  • the avatar when a person's strange voice or a person's scream is detected, the avatar may be set to a facial expression that makes a strange voice or a scream as a predetermined facial expression or the like.
  • the facial expression may be set so that an ordinary person who opens his mouth up and down and moves his eyes and eyebrows up and down can recognize that he is screaming or making a strange voice.
  • a flashing facial expression may be used as a predetermined facial expression of the avatar.
  • an exclamation mark may be displayed around a predetermined range from the head of the avatar to further indicate the state in which the avatar is flashing.
  • the avatar may have a frightened facial expression as a predetermined facial expression or the like in response to the muddy sound that the general public can recognize the appearance of the ghost.
  • the facial expression of the avatar may be sung as a predetermined facial expression or the like.
  • the mouth of the avatar may move according to the sound of the musical instrument.
  • the avatar's mouth may move as the sound of the instrument changes.
  • a predetermined facial expression or the like of the avatar related to the distributor may be set according to the volume.
  • a pose that closes the ears may be set as a predetermined facial expression of the avatar related to the distributor.
  • the distance between the ear and the hand becomes shorter than the predetermined distance as a predetermined expression of the avatar related to the distributor, and the hand comes into contact with the ear.
  • a pose may be set to hold the hand over the ear as a distance.
  • a predetermined facial expression of the avatar related to the distributor may be set according to the sound quality of the sound.
  • a strict facial expression may be set as a predetermined facial expression of the avatar related to the distributor.
  • a falsetto set as a predetermined sound quality is detected, a drunken facial expression may be set as a predetermined facial expression of the avatar related to the distributor.
  • the predetermined situation that occurs for the distributor may include contacting the distributor with a predetermined object.
  • the predetermined object may be various. For example, it may be a ball, a bat, a basin, or the like. However, when an object actually comes into contact with the distributor, for safety reasons, it may not be the genuine article but may be a copy of the genuine article.
  • the corresponding facial expression may be used as the predetermined facial expression of the avatar related to the distributor. For example, the facial expression may be surprised or painful due to contact.
  • an effect that generally indicates pain such as a star mark may be displayed around a predetermined range from the head of the avatar. good.
  • the complexion of the distributor may include a change in complexion.
  • the change in complexion may be determined based on the image processing in which the distributor is imaged.
  • the change in complexion may be measured using the temperature of the distributor's face using a thermal sensor.
  • the change in complexion may be used in combination with other information to set a predetermined facial expression or the like.
  • the degree of drinking may be detected by using the change in complexion and the information on detecting alcohol. More specifically, a predetermined avatar whose complexion is associated with a color change such as pink, red, etc. from a normal skin color and the degree of the detected amount of alcohol.
  • the facial expression and the like may be set.
  • the predetermined facial expression of the avatar may be the facial expression drunk by alcohol as described above.
  • the movements of the avatar's legs and body may include the movements of the staggered legs as facial expressions that are drunk by alcohol.
  • a scared facial expression may be set as a predetermined facial expression related to the avatar by using a change in complexion from a normal skin color to a pale color or a white color and a predetermined item such as a ghost character.
  • the voice of the distributor may include that the sound quality of the voice of the distributor changes by a predetermined range or more, or that the volume of the voice of the distributor changes by a predetermined amount or more.
  • the sound quality of the voice and the volume of the voice may be determined using the information detected from the microphone. If there is a certain change in the voice of the distributor, a predetermined facial expression or the like may be set according to the change. In addition, such information may be detected together with other information. For example, a predetermined facial expression of the avatar may be set using the sound quality and / or volume of the voice of the distributor and the information based on the image obtained by the image pickup device that images the distributor.
  • the volume of the distributor's voice is detected to be louder than the predetermined volume, and the distributor's hand and mouth are within a predetermined distance so that the distributor touches the mouth. If it is determined that, the face of the avatar may be red and the eyes may be closed as a predetermined facial expression of the avatar related to the distributor.
  • a megaphone may be displayed and / or a lightning-like illustration showing the loudness of the voice may be displayed.
  • the lightning-like illustration may be loud according to the loudness of the voice.
  • the predetermined avatar of the distributor is determined.
  • a mark indicating anger may be attached to the face of the avatar.
  • the fact that the distance between the eyebrows is shorter than the predetermined length may be a so-called state in which the eyebrows are wrinkled.
  • the distributor has issued a specific keyword such as "transformation” and it is determined that the distributor has made a predetermined pose, it is determined as a predetermined facial expression of the avatar related to the distributor.
  • the transformation animation of may be displayed. For example, when the distributor moves one hand in a circular motion in front of the body and at the same time emits a voice such as "transformation", for example, the transformation animation of the Kamen Rider is activated, and the predetermined avatar related to the distributor is determined. It may be displayed as a facial expression or the like.
  • the detected information may include information detected due to input by a third party.
  • information input by a third party different from the director may be detected.
  • the sound of ping-pong when the director answers the question correctly is the third person who inputs the sound of ping-pong in addition to or instead of detecting the sound itself. It may be information obtained by detecting input information by a person.
  • a third party may input information indicating that the director has come into contact with another person including another director or something.
  • the director may input the corresponding information about the eating and drinking behavior such as eating and drinking food, or the third party may input the information that the odor or the odor is generated. You may.
  • the information that the distributor can recognize with the five senses may be the information that detects the input by the distributor himself or a third party.
  • a plurality of predetermined conditions may be satisfied. For example, when one distributor sees another distributor and at the same time, a third distributor contacts the one distributor. In such a case, if the predetermined facial expressions and the like corresponding to each condition of seeing another distributor and the distance to the third distributor being within the predetermined distance range are different, a plurality of predetermined conditions The processing when is satisfied may be defined. For example, when the first predetermined condition is satisfied and the second predetermined condition is satisfied within a predetermined time, priority is given to the first predetermined condition or the second predetermined condition. When a predetermined condition set to a high degree is satisfied, a corresponding predetermined facial expression or pose may be applied.
  • the priority may be associated with each predetermined condition and stored, or may be set as a rule when a plurality of predetermined conditions are satisfied. For example, when there are A1, A2, A3, A4 and the like as predetermined conditions, it is sufficient that the predetermined conditions that are prioritized can be selected after comparing the predetermined conditions with each other.
  • the function using such a priority has an advantage that even when a plurality of predetermined conditions are satisfied, particularly when a plurality of predetermined conditions are satisfied almost at the same time, processing can be performed appropriately.
  • a probability may be used as the priority.
  • the pseudo-random number function value is equal to or less than the predetermined value.
  • the predetermined facial expression or the like corresponding to the first predetermined condition is applied, and when the value exceeds the predetermined value, the predetermined facial expression or the like corresponding to the second predetermined condition is applied. It's okay. In this case, the variation of the production will increase, and there is a possibility that the viewer's interest can be further attracted.
  • the judgment is made after waiting for the passage of a predetermined time. Therefore, when the predetermined time is set to a certain time or longer, the production of a predetermined facial expression, etc. There may be a time lag. Therefore, when the above-mentioned plurality of conditions are satisfied without providing such a priority, a predetermined facial expression or the like corresponding to the predetermined conditions satisfied in advance in time may be set.
  • "preceding in time” means that the processing unit first determines that the predetermined conditions are satisfied even when the predetermined conditions are satisfied substantially at the same time as a result of the network or information processing. good.
  • a predetermined facial expression or the like corresponding to a predetermined condition satisfied earlier can be set without waiting for the elapse of a predetermined time.
  • a predetermined facial expression or the like corresponding to a predetermined condition satisfied later may or may not be set.
  • the predetermined facial expression or the like corresponding to the predetermined condition satisfied earlier is overwritten, but there is an advantage that the predetermined facial expression or the like corresponding to the predetermined condition satisfied later can also be produced to the viewer.
  • it is not set there is an advantage that the viewer can fully enjoy the preceding predetermined facial expression and the like.
  • a predetermined facial expression or the like may be set accordingly. For example, when the time between the first timing when the first predetermined condition is satisfied and the second timing when the second predetermined condition is satisfied is shorter than the predetermined time, the first predetermined condition is satisfied.
  • the process may be such that only the corresponding first predetermined facial expression or the like is produced, and the second predetermined facial expression or the like corresponding to the second predetermined condition is not produced. In this case, there is an advantage that the viewer can enjoy the first predetermined facial expression and the like without being changed on the way.
  • the second predetermined condition is satisfied at the timing when the second predetermined condition is satisfied.
  • a predetermined facial expression or the like may be set. In this case, the viewer has an advantage that the second predetermined facial expression and the like can enjoy both effects following the first predetermined facial expression and the like.
  • the above-mentioned predetermined time for determining the time between the first timing and the second timing may be set according to a set of predetermined conditions to be satisfied. For example, when the first predetermined condition is satisfied, a first predetermined facial expression or the like is produced, and when the second predetermined condition is satisfied, a second predetermined facial expression or the like is produced, and a third predetermined expression or the like is produced. It is assumed that a third predetermined facial expression or the like is produced when the above conditions are satisfied. Further, it is assumed that the first predetermined condition is satisfied at the first timing, the second predetermined condition is satisfied at the second timing, and the third predetermined condition is satisfied at the third timing.
  • the second predetermined facial expression or the like is not produced, and the time is equal to or longer than the twelfth predetermined time. It is assumed that a second predetermined facial expression or the like is produced. Further, when the time between the first timing and the third timing is shorter than the thirteenth predetermined time, the third predetermined facial expression or the like is not produced, and when it is equal to or longer than the thirteenth predetermined time. It is assumed that a third predetermined facial expression or the like is produced. At this time, the twelfth predetermined time and the thirteenth predetermined time may be the same or different.
  • the third predetermined condition is satisfied.
  • the second predetermined condition is satisfied after the first predetermined condition is satisfied
  • the third predetermined condition is satisfied.
  • the production time of the first predetermined facial expression or the like changes. In this case, the variation of the production will increase, and there is a possibility that the viewer's interest can be further attracted.
  • the priority is an object or event within the predetermined condition. , Situation, etc.
  • the priority of objects, events, and situations (sometimes referred to as objects in the documents of the present application) related to predetermined conditions is the size of the objects displayed, the place where the objects appear, and the timing of the appearance of the objects. , Etc. may be used.
  • the displayed size of an object or the like when the displayed size of the second object or the like is larger than the size of the first object or the like, it is applied to the second object or the like.
  • a higher priority may be set than the first item or the like. In this case, the larger one displayed is more noticed by the viewer, and it is considered that giving priority is in line with the intention of the viewer.
  • it may be set in the opposite direction to the above. If it is set in reverse, there is an advantage that it is unexpected.
  • the item may be the price if the item has a price, or it may be the consumption point if the item has consumption points.
  • the second item or the like is given a higher priority than the first item or the like. good.
  • the higher the price the more attention the viewer will get, and it is considered that giving priority is in line with the viewer's intention.
  • it may be set in the opposite direction to the above. If it is set in reverse, there is an advantage that it is unexpected.
  • the consumption points for example, when the consumption points of the second item or the like are higher than the consumption points of the first item or the like, the first item is relative to the second item or the like. Etc., a higher priority may be set. In this case, the higher the price, the more attention the viewer will get, and it is considered that giving priority is in line with the viewer's intention. On the other hand, it may be set in the opposite direction to the above. If it is set in reverse, there is an advantage that it is unexpected.
  • an object appearing in the center of the virtual space may be set to have a higher priority than an object appearing at the left and right edges in the virtual space. ..
  • the priority of objects appearing in a conspicuous place in the virtual space is raised, the viewer can see the objects appearing in a conspicuous place, so that the viewer can see a predetermined facial expression or the like. It has the advantage of making it easier to understand the meaning.
  • the priority related to the thing or the like may be static information preset for the thing or the like, or dynamic information set for the first time when the thing or the like is provided. good.
  • the latter may be, for example, information set according to the position where an object or the like appears.
  • the priority may be set according to the relationship between the position where an object or the like appears in the virtual space and the position with the avatar.
  • the distance itself may play the role of priority, or the distance may be used as one piece of information for setting the priority. For example, when the distance between the avatar and the position of the first object that appears is the first distance, and the distance between the avatar and the position of the second object that appears is the second distance, the first distance is the second.
  • the priority may be set higher for the first object than for the second object.
  • the first distance between the center of the screen and the position related to the first object is shorter than the second distance between the center of the screen and the position related to the second object, the first object is more. Since it appears in the center of the screen, the priority of the first object may be set higher than that of the second object.
  • the predetermined facial expression or the like to be applied may be a type to which the avatar related to the avatar to which the predetermined facial expression or the like is applied belongs.
  • the predetermined condition may use the type to which the avatar belongs, which is one of a plurality of types to which the avatar belongs. This may be such that when certain information is acquired, the first avatar type has a predetermined facial expression or the like, but the second avatar type does not have a predetermined facial expression or the like. For example, one type of avatar may be more likely to be surprised when the distance to another distributor is within the first distance, given that it is a bearish personality setting.
  • a certain type of avatar has a cheerful personality setting, and the condition of a facial expression including a smile as a predetermined facial expression or the like may be set to be looser than that of other avatars.
  • the avatar may be provided with personality characteristics such as bearish, cheerful, bullish, and unyielding, and the satisfaction of a predetermined condition may be determined using such personality characteristics.
  • the personality may be set according to the type to which the avatar belongs, or may be set for each avatar separately from the type to which the avatar belongs.
  • the type of the avatar may be the personality set at the time of setting the avatar, or may be determined from the parts and clothes that the avatar is equipped with when a predetermined condition is determined.
  • the predetermined condition may include the probability. That is, the predetermined condition includes a pseudo-random number function or the like, and when it is determined that the function value satisfies the predetermined condition, a predetermined facial expression or the like may be generated. When such a probability is included, a predetermined facial expression or the like is not always generated, so that the viewer's interest can be continuously attracted. Further, for example, when the probability value is made lower than a predetermined value and a rare facial expression is used, the viewer can be interested in the fact that the viewer can see a valuable facial expression.
  • the condition application unit may use the facial expression or the like specified by satisfying the predetermined conditions for the distributor as the facial expression or the like for the avatar played by the distributor. More specifically, the information indicating the facial expression or the like specified by satisfying a predetermined condition may be an ID indicating the specified facial expression or the like or one or a plurality of parameters of the facial expression indicating the specified facial expression or the like. , The facial expression of the avatar or the like may be set by using the information indicating the specified facial expression or the like so that the specified facial expression or the like can be the facial expression of the avatar.
  • the ID and parameter information may be specified or generated by the condition application unit, and then the information may be transmitted to a server or terminal for generating a video or animation and used for a predetermined period of time.
  • the condition application unit may store information indicating a specified facial expression or the like in association with each predetermined condition, and when each of the predetermined conditions is satisfied, the corresponding specified facial expression or the like is stored. It may be configured to identify the information to be shown. After a predetermined facial expression or the like applied by satisfying a predetermined condition is set on the avatar for a predetermined period, the operation of the original avatar may be restored. That is, since the avatar is played by the distributor, the facial expression or pose of the avatar may be based on the information of the distributor's facial expression or pose after a predetermined period.
  • the operation of the avatar may be defined by the information detected by the optical sensor and the inertial sensor on the facial expression and pose of the distributor.
  • the condition application unit is determined by the condition application unit.
  • the information indicating the facial expression of the avatar may be set by using the facial expression specified by satisfying the above condition.
  • the condition application unit has a predetermined condition.
  • the first information processing apparatus transmits information indicating a facial expression or the like specified by satisfaction to the second information processing apparatus, and the second information processing apparatus uses the information indicating the specified facial expression or the like to display the avatar. Processing may be performed so as to set information indicating facial expressions and the like.
  • the specified facial expression or the like is applied from the server of the first information processing device to the server of the second information processing device.
  • Information indicating that may be transmitted.
  • the server of the first information processing device identifies the viewer terminal of the second information processing device.
  • Information indicating the information processing and the like may be transmitted.
  • the server of the first information processing device identifies the distributor terminal of the second information processing device.
  • Information indicating the information processing and the like may be transmitted.
  • the specific information processing device from the viewer terminal of the first information processing device to the server of the second information processing device.
  • Information indicating the facial expression or the like may be transmitted.
  • the viewer terminal of the first information processing device is transferred to the viewer terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • the first information processing device is a viewer terminal and the second information processing device is a distributor terminal
  • the viewer terminal of the first information processing device is transferred to the distributor terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • the specific information processing device from the distributor terminal of the first information processing device to the server of the second information processing device.
  • Information indicating the facial expression or the like may be transmitted.
  • the distributor terminal of the first information processing device is transferred to the distributor terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • the distributor terminal of the first information processing device is transferred to the viewer terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • condition application unit is executed in a single information processing device, but the condition application unit may be distributed and processed in a plurality of information processing devices.
  • condition application unit may set information indicating a predetermined facial expression or the like by using the timing at which the predetermined facial expression or the like is set.
  • the timing may be, for example, as described above, the timing at which one distributor and the other distributor are aligned with the avatar and the avatar or the character's line of sight, the timing at which the avatar comes into contact with an object, and the like.
  • information including information indicating such a predetermined facial expression or the like may be transmitted to the displayed information processing apparatus and displayed.
  • the timing difference in this case may include a time lag in communication and processing.
  • the timing at which the information indicating the predetermined facial expression or the like is set may be set separately.
  • a predetermined facial expression or the like may be obtained 2 seconds after the predetermined condition is set.
  • a situation in which the avatar is surprised may occur, and a predetermined surprised facial expression may be set at a timing intentionally delayed 2 seconds later.
  • FIG. 10 is an example showing the relationship between a predetermined facial expression and the like with respect to a predetermined condition.
  • the function of the condition application unit enables the corresponding predetermined facial expressions and the like to be realized when the predetermined conditions are satisfied, and has an advantage that the facial expressions and poses of the avatars in the virtual space can be varied.
  • facial expressions and the like can be set for the avatar in the virtual space in response to the events that actually happened to the performer in the real world.
  • the information for making the predetermined facial expression or pose may be generated without acquiring the information for operating the avatar from the distributor terminal. In this case, since the performer responds to the situation in the real world, there is an advantage that the facial expression of the avatar can be changed without any information from the performer without the burden of inputting the change of the facial expression of the avatar.
  • the predetermined facial expression or the like may be a facial expression or the like related to the predetermined movement or the like that occurs.
  • the viewer has an advantage that the reason why the predetermined facial expression or the like is expressed can be easily understood by associating it with the predetermined motion or the like.
  • a predetermined facial expression or the like may act on parameters for all the parts constituting the facial expression or the like, or may act on some parameters thereof.
  • a predetermined facial expression or the like acts only on the parameters for the mouth, and the parameters for the parts other than the mouth are parameters linked to the facial expression of the distributor and correspond to the movement of the facial expression of the distributor from the distributor terminal. It may be a parameter based on the information provided.
  • the predetermined facial expression and the like may include the appearance of the avatar.
  • a predetermined facial expression or the like may include an effect that the avatar is charred.
  • the predetermined facial expression or the like may change in conjunction with the direction of the predetermined movement or the like.
  • the distributor may not know where the objects described below appear.
  • the distributor may not notice the place where the object or the like appears, and as a result, the avatar related to the distributor may not be able to react to the object or the like.
  • the viewer can be more interested in the behavior of the avatar by changing the predetermined facial expression or the like related to the avatar in conjunction with the direction in which the predetermined movement or the like is displayed.
  • a predetermined facial expression or the like to be set may be oriented with respect to the direction in which the ghost character is in contact or the direction in which the zombie character is approaching.
  • a part of the avatar may be changed in conjunction with the change, or a plurality of parts of the avatar may be changed in conjunction with each other.
  • the entire body may be oriented in the direction in which the whole body is applied, only the head may be oriented in the direction in which only the head is applied, or only a part of the face such as the eyes is applied. You may.
  • the predetermined pose may be various poses.
  • the pose may be only a part of the avatar's body or the entire avatar's body. For example, it may be a pose with only the head as a pose to bend the neck, a pose with only hands including a production in which the hands are enlarged or the hands are swollen red, a pose with only the upper body such as a guts pose, or a gun. It may be a pose that holds the body or a whole pose that jumps with the whole body.
  • the predetermined condition is information relating to any one or more of a predetermined action of the avatar played by the distributor, the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, or the predetermined situation occurring with respect to the avatar. , May be used.
  • the predetermined action of the avatar played by the distributor may be a predetermined action perceived by the avatar with all five senses if the avatar is a living thing.
  • the predetermined action of the avatar may include an action of viewing a predetermined target. For example, when the avatar is surprised to see something, a surprised facial expression may be set as a predetermined facial expression or the like. In this case, an object that is natural for the avatar to make a surprised expression may be set in advance, and when the object is on an extension of the line of sight, it may be determined that the avatar has seen the object.
  • the predetermined condition is to move the line of sight of the avatar so that the predetermined target is in the line of sight of the avatar, or It may include the presence of the predetermined object in the line of sight of the avatar.
  • a surprised object when the avatar independently moves the viewing direction to change the line of sight, if a surprised object is located on an extension of the line of sight, a surprised facial expression may be set as a predetermined facial expression or the like.
  • the latter may be a case where a predetermined target exists, and there may be a case where a predetermined target is generated and displayed in that direction when the avatar is looking in a predetermined direction.
  • the thing that brings a surprise feeling to the avatar has been described, but it is not limited to the thing that brings a surprise feeling, and it may be a thing that brings other feelings and sensations.
  • things that bring about scary feelings such as ghosts, things that bring about feelings like steak, things that bring about feelings of dislike such as natto, etc.
  • a person looks at an object certain feelings and sensations occur. It may be a thing.
  • a predetermined facial expression or the like when looking at such an object a predetermined facial expression or the like indicating a face generally generated by a person when looking at such an object may be set.
  • the above-mentioned things that bring about the feeling of scary, the things that bring about the feeling of like, and the things that bring about the feeling of dislike may be correspondingly horrifying facial expressions, smiles, disgusting facial expressions, and the like.
  • the object to be viewed has been described as an object, but the object to be viewed may be another character or another avatar. That is, when the predetermined target is another avatar or character, the predetermined operation of the avatar may include that the line of sight of the avatar and the line of sight of the predetermined target match. In this way, when the line of sight matches with another character or another avatar, a predetermined facial expression or the like may be set. When the lines of sight of the avatars match, a predetermined facial expression or the like may be set only for one avatar, or a predetermined facial expression or the like may be set for both avatars. In the latter case, for example, it is conceivable that the eyes are aligned and both avatars have a throbbing facial expression such as a red face.
  • the set facial expression or the like may be the same predetermined facial expression or the like, or may be a different predetermined facial expression or the like. ..
  • the reason for the different predetermined facial expressions may be a predetermined facial expression or the like according to the type to which the avatar belongs, or a predetermined facial expression or the like according to the preference or property of the avatar. It may be a predetermined facial expression or the like that is stochastically selected.
  • the face of the avatar may be set to turn pale as a predetermined facial expression of the avatar. Satisfiability of such a predetermined condition may be determined by determining the presence or absence of an intersection between the line-of-sight direction of the avatar and an object such as a ghost character.
  • the object to be viewed has been described as an object, but the object to be viewed may be some kind of event.
  • Events can vary in size and target, and are not limited. For example, it could be a scary event where a horde of crickets rushes, is washed away by flooded river water, or a gust of wind strikes, or a pain such as a fall or bloodshed of another character or avatar. That may be the situation. Even in the case of such an event, similarly, the avatar who saw the event may be set to a corresponding predetermined facial expression or the like.
  • the predetermined action of the avatar may include the action of contacting a predetermined target.
  • the predetermined condition is that the distance between the position related to the avatar and the position related to the predetermined target is within a predetermined distance. It may include that.
  • the position related to the avatar is either the position of the avatar in the virtual space, the part that activates the predetermined facial expression, the predetermined part of the avatar, or the position of the collider of the avatar. good.
  • the contacting action means a mode in which the avatar contacts from the avatar regardless of whether the avatar is independent or passive, but does not mean a mode in which the avatar is contacted by a third party. Aspects of being contacted by a third party, whether independent or passive, are included in the given circumstances that arise with respect to the avatar.
  • the passive means, for example, a case where the avatar or the third party is contacted as a result of objective movement regardless of the intention of the avatar or the third party.
  • Examples of actions that the avatar touches include, for example, when the object touched by the avatar is hot, the avatar may have a surprising facial expression, or a predetermined facial expression such that the touched part is swollen by heat. May be. More specifically, for example, when a hot object is touched by a hand, the hand may have a predetermined facial expression such that the hand becomes large and swells red.
  • the predetermined action of the avatar includes the eating and drinking action of the predetermined target.
  • the predetermined eating and drinking action may be a predetermined eating and drinking action of the avatar, and may be detected by an ID or the like indicating such eating and drinking action.
  • the ID indicating such eating and drinking movement may be an ID given to a specific movement predetermined as a eating and drinking movement, or an ID given to a predetermined movement based on one or a plurality of motion data. You may.
  • the technical significance of incorporating the eating and drinking motion as a predetermined motion is to set a predetermined facial expression or the like by combining with other information described later.
  • a predetermined facial expression or the like expressing an elegant way of eating is set, while another avatar is set.
  • a predetermined facial expression or the like expressing a wild way of eating is set.
  • the set taste is set.
  • a predetermined facial expression or the like expressing different eating styles is set depending on the taste and taste.
  • the type of such an avatar may be the personality set at the time of setting the avatar, or may be determined from the parts and clothes that the avatar is equipped with at the time when a predetermined condition is determined.
  • the predetermined action of the avatar may include a scent or a predetermined gesture for the odor.
  • a predetermined gesture a gesture such as moving the nose, a gesture of moving the air in front of the nose to the left or right by a hand, and the like can be mentioned.
  • Such a gesture may be detected, for example, by using an optical sensor, an inertial sensor, or the like to detect the movement of the nose or the movement of a hand such as the right hand or the left hand. That is, the predetermined condition may use the detection of the predetermined gesture of the avatar.
  • the predetermined action of the avatar may include a predetermined gesture for listening / listening to a sound.
  • a predetermined gesture for listening / listening to a sound for example, a gesture of moving a hand along the ear or a gesture of moving one ear in a certain direction can be considered.
  • a predetermined facial expression corresponding to such a gesture it is considered that the hand is enlarged in the case of a gesture in which the hand is along the ear, and the ear is enlarged in the case of a gesture of moving one ear in a certain direction. Can be considered.
  • the predetermined condition including the facial expression of the avatar played by the distributor is, for example, a predetermined facial expression when the facial expression of the avatar is one or more specific parameters. Further, even if a predetermined facial expression or the like is not always obtained, it is conceivable to obtain a predetermined facial expression or the like when other predetermined conditions are satisfied. For example, as a face with a surprised expression of a distributor, normally, even if a predetermined facial expression or the like is not set, when a specific event occurs and the distributor shows a face with a surprised expression, it is predetermined.
  • the facial expression and the like may be set.
  • the complexion of the avatar played by the distributor may include a change in complexion.
  • the facial expression of the avatar may be set to a different predetermined facial expression or the like according to the complexion.
  • the voice of the avatar played by the distributor may include that the sound quality of the voice of the avatar changes by a predetermined range or more, or that the volume of the voice of the avatar changes by a predetermined amount or more.
  • the voice of the avatar has an unusual voice property due to tension or anger.
  • a predetermined facial expression or the like corresponding to the voice may be set.
  • the predetermined situation that occurs with respect to the avatar may include the occurrence of a predetermined sound in the virtual space.
  • the predetermined sound may be, for example, a loud sound.
  • a surprised facial expression may be given as a predetermined facial expression, or a pose that expresses the surprise with the whole body, for example, jumping up, may be performed.
  • the predetermined situation that occurs with respect to the avatar may include that the distance between the position relating to the predetermined object and the position relating to the avatar is within a predetermined range.
  • the positions related to the predetermined object are, for example, the positions of the center of gravity of the predetermined object, the center of the predetermined object, the center of the circumscribed circle of the predetermined object, and the inscribed circle of the predetermined object. It may be the center, the center of the circumscribed circle on the display of the predetermined object, the center of the inscribed circle on the display of the predetermined object, and the like.
  • the position relating to the predetermined object may be an intersection of the circle or polygon relating to the predetermined object and the circle or polygon on the tangent line of the linear distance between the position relating to the avatar.
  • a collider may be set for the predetermined object, and a collider may be set for the avatar, and a contact determination using the collider may be performed.
  • the position of the avatar may be as described above. When the position related to the avatar is the position of the collider, it may be determined that the avatar is in contact with a predetermined object.
  • the predetermined item may be the above-mentioned various items.
  • the eyes may be set to cross (x) as a predetermined facial expression or the like.
  • lightning strikes (contacts) the avatar the whole body may be charred as a predetermined facial expression or the like.
  • a character or another avatar may be used, for example, a character or another avatar.
  • the distance between the position related to the zombie character and the position related to the avatar may be within a predetermined range.
  • a vertical line may be drawn on the face of the avatar when the distance is within a predetermined distance.
  • a predetermined facial expression or the like may change depending on the degree of the distance. For example, when the distance is changed to a first distance and a second distance shorter than the first distance, a predetermined facial expression or the like at the first distance, a predetermined facial expression or the like at the second distance, or the like. And may be different.
  • a predetermined facial expression at the first distance there are 10 vertical lines in the facial expression
  • a predetermined facial expression at the second distance there are 20 vertical lines in the facial expression.
  • the width of the vertical line may be doubled.
  • the position related to the avatar and the position related to the character or the avatar are outside the range of the predetermined distance under a predetermined condition. In this case, the situation where the avatar or the character moves relatively in the direction away from the avatar is shown, but for example, a facial expression such as tears appearing as a predetermined facial expression of the avatar may be set.
  • a given situation that arises with respect to an avatar may include a case where a first avatar and a second avatar have a given relationship.
  • the eyes of the second avatar may be set as a heart as a predetermined facial expression or the like.
  • a collider may be set for each of the first avatar and the second avatar, and the contact determination may be used for determination.
  • the predetermined situation that occurs with respect to the avatar may include that the predetermined situation that occurs with respect to the avatar is a predetermined combination of the predetermined target and the predetermined pose of the avatar.
  • the predetermined target may be a thing, a predetermined situation, or a predetermined event.
  • the item may also include a gift.
  • a pistol gift is attached as an object and the avatar poses for shooting, a brave facial expression may be set as a predetermined facial expression or the like.
  • the shooting pose may be determined by setting a collider from the center position of the avatar and determining the collision at each position of the body such as the right hand, the left hand, the right foot, the left foot, and the head.
  • each distributor in the distributor may be detected by an optical sensor or an inertial sensor.
  • the predetermined facial expression or the like set in such a case may be suggested from the combination of the given gifts.
  • a frog shield, a frog sword, or a frog cloak can look like a frog.
  • a plurality of conditions may be satisfied. For example, when the avatar matches the line of sight with the ghost character, and at the same time, the distance between the position related to the avatar and the position related to the ghost character is within a predetermined distance range. In such a case, if the predetermined facial expressions and the like corresponding to the conditions that the line of sight is matched and the distance is within the range are different, the processing when a plurality of predetermined conditions are satisfied may be defined. For example, when the first predetermined condition is satisfied and the second predetermined condition is satisfied within a predetermined time, priority is given to the first predetermined condition or the second predetermined condition.
  • a corresponding predetermined facial expression or pose may be applied.
  • the priority may be associated with each predetermined condition and stored, or may be set as a rule when a plurality of predetermined conditions are satisfied. For example, when there are A1, A2, A3, A4 and the like as predetermined conditions, it is sufficient that the predetermined conditions that are prioritized can be selected after comparing the predetermined conditions with each other.
  • the function using such a priority has an advantage that even when a plurality of predetermined conditions are satisfied, particularly when a plurality of predetermined conditions are satisfied almost at the same time, processing can be performed appropriately.
  • a probability may be used as the priority.
  • the pseudo-random number function value is a predetermined value.
  • a predetermined facial expression or the like corresponding to the first predetermined condition is applied, and in the case of another predetermined value, a predetermined facial expression or the like corresponding to the second predetermined condition is applied. It's okay. In this case, the variation of the production will increase, and there is a possibility that the viewer's interest can be further attracted.
  • the judgment is made after waiting for the passage of a predetermined time. Therefore, when the predetermined time is set to a certain time or longer, the production of a predetermined facial expression, etc. There may be a time lag. Therefore, when the above-mentioned plurality of conditions are satisfied without providing such a priority, a predetermined facial expression or the like corresponding to the predetermined conditions satisfied in advance in time may be set.
  • "preceding in time” means that the processing unit first determines that the predetermined conditions are satisfied even when the predetermined conditions are satisfied substantially at the same time as a result of the network or information processing. good.
  • a predetermined facial expression or the like corresponding to a predetermined condition satisfied earlier can be set without waiting for the elapse of a predetermined time.
  • a predetermined facial expression or the like corresponding to a predetermined condition satisfied later may or may not be set.
  • the predetermined facial expression or the like corresponding to the predetermined condition satisfied earlier is overwritten, but there is an advantage that the predetermined facial expression or the like corresponding to the predetermined condition satisfied later can also be produced to the viewer.
  • it is not set there is an advantage that the viewer can fully enjoy the preceding predetermined facial expression and the like.
  • a predetermined facial expression or the like may be set accordingly. For example, when the time between the first timing when the first predetermined condition is satisfied and the second timing when the second predetermined condition is satisfied is shorter than the predetermined time, the first predetermined condition is satisfied.
  • the process may be such that only the corresponding first predetermined facial expression or the like is produced, and the second predetermined facial expression or the like corresponding to the second predetermined condition is not produced. In this case, there is an advantage that the viewer can enjoy the first predetermined facial expression and the like without being changed on the way.
  • the second predetermined condition is satisfied at the timing when the second predetermined condition is satisfied.
  • a predetermined facial expression or the like may be set. In this case, the viewer has an advantage that the second predetermined facial expression and the like can enjoy both effects following the first predetermined facial expression and the like.
  • the above-mentioned predetermined time for determining the time between the first timing and the second timing may be set according to a set of predetermined conditions to be satisfied. For example, when the first predetermined condition is satisfied, a first predetermined facial expression or the like is produced, and when the second predetermined condition is satisfied, a second predetermined facial expression or the like is produced, and a third predetermined expression or the like is produced. It is assumed that a third predetermined facial expression or the like is produced when the above conditions are satisfied. Further, it is assumed that the first predetermined condition is satisfied at the first timing, the second predetermined condition is satisfied at the second timing, and the third predetermined condition is satisfied at the third timing.
  • the second predetermined facial expression or the like is not produced, and the time is equal to or longer than the twelfth predetermined time. It is assumed that a second predetermined facial expression or the like is produced. Further, when the time between the first timing and the third timing is shorter than the thirteenth predetermined time, the third predetermined facial expression or the like is not produced, and when it is equal to or longer than the thirteenth predetermined time. It is assumed that a third predetermined facial expression or the like is produced. At this time, the twelfth predetermined time and the thirteenth predetermined time may be the same or different.
  • the first predetermined facial expression or the like is produced. It means that there is no change in time.
  • the second predetermined condition is satisfied after the satisfaction of the first predetermined condition and the case where the third predetermined condition is satisfied, the first predetermined facial expression or the like
  • the production time will change. In this case, the variation of the production will increase, and there is a possibility that the viewer's interest can be further attracted.
  • the priority is an object or event within the predetermined condition. , Situation, etc.
  • the gift may be associated with a priority.
  • the priority of objects, events, and situations (sometimes referred to as objects in the documents of the present application) related to predetermined conditions is the size of the objects displayed, the place where the objects appear, and the timing of the appearance of the objects. , Etc. may be used.
  • the displayed size of an object or the like when the displayed size of the second object or the like is larger than the size of the first object or the like, it is applied to the second object or the like.
  • a higher priority may be set than the first item or the like. In this case, the larger one displayed is more noticed by the viewer, and it is considered that giving priority is in line with the intention of the viewer.
  • it may be set in reverse. If it is set in reverse, there is an advantage that it is unexpected.
  • the item may be the price if the item has a price, or it may be the consumption point if the item has consumption points.
  • the second item or the like is given a higher priority than the first item or the like. good.
  • the higher the price the more attention the viewer will get, and it is considered that giving priority is in line with the viewer's intention.
  • it may be set in reverse. If it is set in reverse, there is an advantage that it is unexpected.
  • the consumption points for example, when the consumption points of the second item or the like are higher than the consumption points of the first item or the like, the first item is relative to the second item or the like. Etc., a higher priority may be set. In this case, the higher the consumption point, the more attention the viewer will get, and it is considered that giving priority is in line with the viewer's intention. On the other hand, it may be set in reverse. If it is set in reverse, there is an advantage that it is unexpected.
  • an object appearing in the center of the virtual space may be set to have a higher priority than an object appearing at the left and right edges in the virtual space. ..
  • the priority of objects appearing in a conspicuous place in the virtual space is raised, the viewer can see the objects appearing in a conspicuous place, so that the viewer can see a predetermined facial expression or the like. It has the advantage of making it easier to understand the meaning.
  • the priority related to the thing or the like may be static information preset for the thing or the like, or dynamic information set for the first time when the thing or the like is provided. good.
  • the latter may be, for example, information set according to the position where an object or the like appears.
  • the priority may be set according to the relationship between the position where an object or the like appears in the virtual space and the position with the avatar.
  • the distance itself may play the role of priority, or the distance may be used as one piece of information for setting the priority. For example, when the distance between the avatar and the position of the first object that appears is the first distance, and the distance between the avatar and the position of the second object that appears is the second distance, the first distance is the second.
  • the priority may be set higher for the first object than for the second object.
  • the first distance between the center of the screen and the position related to the first object is shorter than the second distance between the center of the screen and the position related to the second object, the first object is used. Since it appears in the center of the screen, the priority of the first object may be set higher than that of the second object.
  • the type to which the avatar belongs may be used as the information related to the avatar.
  • the predetermined condition may use the type to which the avatar belongs, which is one of a plurality of types to which the avatar belongs. This may be such that when certain information is acquired, the first avatar type has a predetermined facial expression or the like, but the second avatar type does not have a predetermined facial expression or the like.
  • a certain type of avatar may have a bearish personality setting, and when the distance between the ghost character and the avatar is within the range of the first distance, a scared expression may easily appear.
  • a certain type of avatar has a cheerful personality setting, and the condition of a facial expression including a smile as a predetermined facial expression or the like may be set to be looser than that of other avatars.
  • the avatar may be provided with personality characteristics such as bearish, cheerful, bullish, and unyielding, and the satisfaction of a predetermined condition may be determined using such personality characteristics.
  • the personality may be set according to the type to which the avatar belongs, or may be set for each avatar separately from the type to which the avatar belongs.
  • the predetermined condition may include the probability. That is, the predetermined condition includes a pseudo-random number function or the like, and when the function value satisfies the predetermined condition, a predetermined facial expression or the like may be generated. When such a probability is included, a predetermined facial expression or the like is not always generated, so that the viewer's interest can be continuously attracted. Further, for example, when the probability value is made lower than a predetermined value and a rare facial expression is used, the viewer can be interested in the fact that the viewer can see a valuable facial expression.
  • the facial expression and pose of the avatar change in response to the display of the object, such as the start, change, and end of the display of the object, so that the viewer can understand the meaning of the change in the facial expression and pose of the avatar. , There is an advantage that it becomes easier to understand in relation to the situation of things.
  • a predetermined condition information possessed by an object or the like as an attribute may be used.
  • the attributes of the thing or the like may or may not include the characteristics of the thing or the like such as the type of the thing or the like and the level of the thing or the like.
  • a predetermined condition may be set so that the predetermined condition is satisfied according to a specific feature of the object or the like, and a corresponding predetermined facial expression or the like may be set.
  • the predetermined conditions may specify the order and timing of the acquired information.
  • a predetermined facial expression A is set when the bat character appears on the screen within a predetermined time after the ghost character appears on the screen, and the bat character appears.
  • a predetermined facial expression B may be set.
  • the condition application unit may use the facial expression or the like specified by satisfying the predetermined condition as the facial expression or the like of the avatar to which the gift is provided. More specifically, the information indicating the facial expression or the like specified by satisfying a predetermined condition may be an ID indicating the specified facial expression or the like or one or a plurality of parameters of the facial expression indicating the specified facial expression or the like. , The facial expression of the avatar or the like may be set by using the information indicating the specified facial expression or the like so that the specified facial expression or the like can be the facial expression of the avatar.
  • the ID and parameter information may be specified or generated by the condition application unit, and then the information may be transmitted to a server or terminal for generating a video or animation and used for a predetermined period of time.
  • the condition application unit may store information indicating a specified facial expression or the like in association with each predetermined condition, and when each of the predetermined conditions is satisfied, the corresponding specified facial expression or the like is stored. It may be configured to identify the information to be shown. After a predetermined facial expression or the like applied by satisfying a predetermined condition is set on the avatar for a predetermined period, the operation of the original avatar may be restored. That is, since the avatar is played by the distributor, the facial expression or pose of the avatar may be based on the information of the distributor's facial expression or pose after a predetermined period.
  • the operation of the avatar may be defined by the information detected by the optical sensor and the inertial sensor on the facial expression and pose of the distributor.
  • the condition application unit is the condition application unit.
  • processing may be performed so as to set the facial expression of the avatar or the like.
  • the condition application unit specifies by satisfying a predetermined condition.
  • the first information processing apparatus may transmit the facial expression or the like to the second information processing apparatus, and the second information processing apparatus may process the second information processing apparatus so as to set the facial expression or the like as the facial expression of the avatar using the specified facial expression or the like.
  • the specified facial expression or the like is applied from the server of the first information processing device to the server of the second information processing device.
  • Information indicating that may be transmitted.
  • the server of the first information processing device identifies the viewer terminal of the second information processing device.
  • Information indicating the information processing and the like may be transmitted.
  • the server of the first information processing device identifies the distributor terminal of the second information processing device.
  • Information indicating the information processing and the like may be transmitted.
  • the specific information processing device from the viewer terminal of the first information processing device to the server of the second information processing device.
  • Information indicating the facial expression or the like may be transmitted.
  • the viewer terminal of the first information processing device is transferred to the viewer terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • the first information processing device is a viewer terminal and the second information processing device is a distributor terminal
  • the viewer terminal of the first information processing device is transferred to the distributor terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • the specific information processing device from the distributor terminal of the first information processing device to the server of the second information processing device.
  • Information indicating the facial expression or the like may be transmitted.
  • the distributor terminal of the first information processing device is transferred to the distributor terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • the distributor terminal of the first information processing device is transferred to the viewer terminal of the second information processing device.
  • Information indicating such a identified facial expression or the like may be transmitted.
  • condition application unit is executed in a single information processing device, but the condition application unit may be distributed and processed in a plurality of information processing devices.
  • condition application unit may set a predetermined facial expression or the like by using the timing at which the predetermined facial expression or the like is set.
  • the timing may be, for example, as described above, the timing at which the line of sight of the avatar and the avatar or the character match, the timing at which the avatar comes into contact with an object, and the like.
  • information including information indicating such a predetermined facial expression or the like may be transmitted to the displayed information processing apparatus and displayed.
  • the timing difference in this case may include a time lag in communication and processing.
  • a separately set timing may be used for setting a predetermined facial expression or the like after the predetermined conditions are satisfied.
  • a predetermined facial expression or the like may be obtained 2 seconds after the predetermined condition is set.
  • a situation in which the avatar is surprised may occur, and a predetermined surprised facial expression may be set at a timing intentionally delayed 2 seconds later.
  • FIG. 11 is an example showing the relationship between a predetermined facial expression and the like with respect to a predetermined condition.
  • the function of the condition application unit enables the corresponding predetermined facial expressions and the like to be realized when the predetermined conditions are satisfied, and has an advantage that the facial expressions and poses of the avatars in the virtual space can be varied.
  • the performer can specify the facial expression of the avatar by himself / herself using a tablet or the like, when the wearing gift is worn by the operator in the studio distribution, the performer may not be aware that the wearing gift has been worn.
  • the facial expression or pose corresponding to the gift can be applied to the avatar without any operation by the performer. That is, the information for making a predetermined facial expression or pose may be generated without any operation other than providing a gift from the distributor.
  • the function of the condition application unit can automatically realize the corresponding predetermined facial expression when the predetermined condition is satisfied, and the facial expression of the avatar can be changed without any operation from the viewer terminal. There is an advantage that you can enjoy the reaction that results in the result.
  • Embodiment 4-1 Embodiment 1
  • the first embodiment is an example in which the condition application unit operates in the viewer terminal.
  • the acquisition unit may operate on the viewer terminal. This example will be described with reference to FIG. Since the condition application unit operates on the viewer terminal, it may be possible to change the expression of the avatar for each viewer terminal by including the information based on the viewer terminal as a predetermined condition. ..
  • Step 1 The acquisition unit acquires the information related to the gift (step 001).
  • the information related to the gift may be input in the viewer terminal on which the condition application unit operates, or the information related to the gift input in the other viewer terminal may be input by the condition application unit via a server or the like. It may be acquired by a working viewer terminal.
  • the acquisition unit may acquire information related to other avatars.
  • Step 2 the condition application unit determines a predetermined condition using at least the information related to the gift, and when it is determined that the predetermined condition is satisfied, the facial expression or the like corresponding to the satisfied predetermined condition is specified (step 002). ). For this reason, the condition application unit may have information indicating at least a part of the predetermined conditions and a predetermined facial expression when the conditions are satisfied.
  • Step 3 The specified facial expression or the like is set to the facial expression or the like related to the avatar used to satisfy the predetermined condition on the viewer terminal (step 003).
  • the viewer has the advantage of being able to watch the reaction in which the facial expression of the avatar is changed in response to the provision of the gift.
  • Embodiment 2 The second embodiment is an example in which the condition application unit operates in the server.
  • the acquisition unit may operate on the server.
  • this example will be described with reference to FIG. 13 on the premise that the animation is generated on the viewer terminal.
  • Step 1 The acquisition unit acquires the information related to the gift (step 001).
  • the acquisition unit may acquire information related to other avatars.
  • Step 2 the condition application unit determines a predetermined condition using at least the information related to the gift, and when it is determined that the predetermined condition is satisfied, the facial expression or the like corresponding to the satisfied predetermined condition is specified (step 002). ).
  • Step 3 The server transmits information indicating the specified facial expression to each viewer terminal viewing the distribution of the avatar (step 003).
  • Step 4 In each viewer terminal, the facial expression and the like of the avatar are set by using the information indicating the facial expression and the like acquired from the server (step 004).
  • an animation may be generated using the facial expression of the set avatar or the like.
  • Step 5 On each viewer terminal, the facial expression of the avatar using the information indicating the facial expression acquired from the server is displayed for a predetermined period, and then the facial expression is set based on the facial expression of the distributor related to the original avatar. (Step 005).
  • an animation When an animation is generated, it is displayed in each animation using the generated facial expression for a predetermined period, and after that, it is obtained by tracking based on the facial expression of the distributor related to the avatar.
  • the facial expression or the like may be used as the facial expression or the like of the avatar.
  • Embodiment 3 The third embodiment is an example in which the condition application unit operates in the server.
  • the acquisition unit may operate on the server. Note that this example will be described with reference to FIG. 14 on the premise that a video including the facial expression of the avatar is generated on the server.
  • Step 1 The acquisition unit acquires the information related to the gift (step 001).
  • the acquisition unit may acquire information related to other avatars.
  • Step 2 the condition application unit determines a predetermined condition using at least the information related to the gift, and when it is determined that the predetermined condition is satisfied, the facial expression or the like corresponding to the satisfied predetermined condition is specified (step 002). ).
  • Step 3 The server generates a video about the distribution of the avatar by using the information indicating the specified facial expression (step 003).
  • the server that executes the condition application unit generates the video for the distribution of the avatar. You can.
  • the server that generates the video about the distribution of the avatar and the server that executes the condition application unit are different servers, the server that executes the condition application unit identifies the server that generates the video.
  • Information indicating a facial expression is transmitted, and the information indicating the specified facial expression may be used in the server that generates such an image.
  • an animation for distribution of the avatar may be generated together with the video or in place of the video. In this case, the animation is used together with the video or in place of the video. May be done.
  • Step 4 An avatar image generated using the specified facial expression based on the information indicating the specified facial expression is transmitted to each viewer terminal (step 004).
  • Step 5 On each viewer terminal, an image using information indicating facial expressions acquired from the server is displayed for a predetermined period, and then an avatar image based on the facial expression of the distributor related to the original avatar is displayed. It is displayed (step 005).
  • Embodiment 4 is an example in which the condition application unit operates in the viewer terminal.
  • the acquisition unit may operate on the viewer terminal. This example will be described with reference to FIG. Since the condition application unit operates on the viewer terminal, it may be possible to change the expression of the avatar for each viewer terminal by including the information based on the viewer terminal as a predetermined condition. ..
  • Step 1 The acquisition unit acquires information such as a predetermined operation (step 001).
  • the information such as the predetermined operation may be acquired by the distributor terminal or may be acquired by the server, and these may be acquired by the viewer terminal on which the condition application unit operates via the server or the like. You may. Further, the information such as the predetermined operation may be input in the viewer terminal in which the condition application unit operates, or the information input in the other viewer terminal or the information generated in the server as an effect may be used. , The viewer terminal on which the condition application unit operates may acquire the information via a server or the like.
  • the condition application unit determines a predetermined condition using at least information such as a predetermined operation, and when it is determined that the predetermined condition is satisfied, the facial expression or the like corresponding to the satisfied predetermined condition is specified ( Step 002). For this reason, the condition application unit may have information indicating at least a part of the predetermined conditions and a predetermined facial expression when the conditions are satisfied.
  • Step 3 The specified facial expression or the like is set to the facial expression or the like related to the avatar used to satisfy the predetermined condition on the viewer terminal (step 003).
  • the viewer has the advantage of being able to view the reaction in which the facial expression of the avatar is changed in response to a predetermined operation or the like.
  • Step 4 After the predetermined facial expression or the like of the avatar is displayed for a predetermined period on each viewer terminal, the facial expression or the like related to the avatar returns to the facial expression based on the original facial expression of the distributor related to the avatar (step 004).
  • Embodiment 5 is an example in which the condition application unit operates in the server.
  • the acquisition unit may operate on the server.
  • this example will be described with reference to FIG. 16 on the premise that the animation is generated on the viewer terminal.
  • Step 1 The acquisition unit acquires information such as a predetermined operation (step 001).
  • Step 2 the condition application unit determines a predetermined condition using at least information such as a predetermined operation, and when it is determined that the predetermined condition is satisfied, the facial expression or the like corresponding to the satisfied predetermined condition is specified ( Step 002).
  • Step 3 The server transmits information indicating the specified facial expression or the like to each viewer terminal viewing the distribution of the avatar (step 003).
  • Step 4 In each viewer terminal, the facial expression and the like of the avatar are set by using the information indicating the facial expression and the like acquired from the server (step 004).
  • an animation may be generated using the facial expression of the set avatar or the like.
  • Step 5 On each viewer terminal, the facial expression of the avatar using the information indicating the facial expression acquired from the server is displayed for a predetermined period, and then the facial expression is set based on the facial expression of the distributor related to the original avatar. (Step 005).
  • an animation When an animation is generated, it is displayed in each animation using the generated facial expression for a predetermined period, and after that, it is obtained by tracking based on the facial expression of the distributor related to the avatar.
  • the facial expression or the like may be used as the facial expression or the like of the avatar.
  • Embodiment 6 The third embodiment is an example in which the condition application unit operates in the server.
  • the acquisition unit may operate on the server. Note that this example will be described with reference to FIG. 17 on the premise that a video including the facial expression of the avatar is generated on the server.
  • Step 1 The acquisition unit acquires information such as a predetermined operation (step 001).
  • Step 2 the condition application unit determines a predetermined condition using at least information such as a predetermined operation, and when it is determined that the predetermined condition is satisfied, the facial expression or the like corresponding to the satisfied predetermined condition is specified ( Step 002).
  • Step 3 The server uses information or the like indicating the specified facial expression or the like to generate a video about the distribution of the avatar (step 003).
  • the server that generates the video about the distribution of the avatar and the server that executes the condition application unit are the same server, the server that executes the condition application unit generates the video for the distribution of the avatar. You can.
  • the server that generates the video about the distribution of the avatar and the server that executes the condition application unit are different servers, the server that executes the condition application unit identifies the server that generates the video.
  • Information indicating a facial expression or the like is transmitted, and the information indicating the specified facial expression or the like may be used in the server that generates such an image.
  • an animation for distribution of the avatar may be generated together with the video or in place of the video. In this case, the animation is used together with the video or in place of the video. May be done.
  • Step 4 An image of an avatar generated using the specified facial expression based on the information indicating the specified facial expression or the like is transmitted to each viewer terminal (step 004).
  • Step 5 On each viewer terminal, an image using information indicating facial expressions acquired from the server is displayed for a predetermined period, and then an avatar image based on the facial expression of the distributor related to the original avatar is displayed. It is displayed (step 005). 4-7.
  • the computer program according to the first A aspect is described as "By being executed by one or more processors, a predetermined operation by the distributor, the facial expression of the distributor, the complexion of the distributor, the complexion of the distributor, and the like. Information relating to one or more of the voice or a predetermined situation that occurs for the distributor is detected, and it is determined whether or not the detected information satisfies the predetermined condition, and the predetermined condition is determined.
  • a predetermined facial expression or pose corresponding to the predetermined condition when it is determined that the above conditions are satisfied The one or more processors are made to function so as to generate the information of the above and display the avatar to which the predetermined facial expression or pose is applied.
  • the computer program according to the second aspect A is the one in the first aspect A that "the predetermined action of the distributor is a predetermined action perceived by the distributor with all five senses".
  • the computer program according to the third A aspect is one in the first aspect A or the second A aspect, "the predetermined operation of the distributor includes an operation of viewing a predetermined object”.
  • the computer program according to the fourth A aspect is one in any one of the first A to the third A aspects, "the predetermined operation of the distributor includes an operation of contacting a predetermined target".
  • the computer program according to the fifth A aspect is one in any one of the first A to the fourth A aspects, "the predetermined operation of the distributor includes the eating and drinking operation of a predetermined target".
  • the computer program according to the sixth A aspect is to "generate an item that produces an item corresponding to the predetermined object in the virtual space" in any one of the first A to the fifth A aspects.
  • the computer program according to the seventh A aspect is one in any one of the first A to the sixth A aspects, "the predetermined action of the distributor includes a predetermined gesture of smelling or smelling".
  • the computer program according to the eighth A aspect is one in any one of the first A to the seventh A aspects, "the predetermined action of the distributor includes a predetermined gesture for listening / listening to a sound". ..
  • the computer program according to the ninth A aspect is one in any one of the first A to the eighth A aspects, "the detected information includes information detected due to input by a third party”. ..
  • the detected information uses an image captured by one or a plurality of imaging devices that image the distributor. It includes information detected by image processing.
  • the computer program according to the eleventh aspect is one in any one of the first A to the tenth A aspects, "a predetermined situation that occurs for the distributor includes a predetermined sound.”
  • the computer program according to the twelfth aspect has the aspect of any one of the first A to the eleventh A, "a predetermined situation that occurs for the distributor includes contact of a predetermined object with the distributor". It is a thing.
  • the computer program according to the thirteenth aspect is "the complexion of the distributor includes a change in complexion" in any one aspect of the first A to the twelfth A.
  • the computer program according to the 14A aspect is described in any one aspect of the first A to the thirteenth A as follows: "The voice of the distributor changes the sound quality of the voice of the distributor by a predetermined range or more, or This includes that the volume of the distributor's voice changes by a predetermined amount or more. "
  • the first predetermined condition is satisfied and the second predetermined condition is satisfied within a predetermined time.
  • the predetermined facial expression or pose corresponding to the case where the predetermined condition set with a high priority among the first predetermined condition or the second predetermined condition is satisfied is applied.
  • the computer program according to the sixteenth aspect "acquires the information for operating the avatar from the distributor terminal as the information for making the predetermined facial expression or pose. "Generate without doing”.
  • the computer program according to the 17A aspect is "a computer program, which is executed by one or more processors to perform a predetermined operation by a distributor, a facial expression of the distributor, a complexion of the distributor, and the distributor. Detects information relating to one or more of the voice of the distributor or a predetermined situation that occurs for the distributor, determines whether or not the detected information satisfies a predetermined condition, and determines whether or not the detected information satisfies the predetermined condition. When it is determined that the condition is satisfied, the facial expression or pose of the avatar related to the distributor generated based on the facial expression or pose related to the distributor is set as a predetermined facial expression or pose corresponding to the predetermined condition. The one or more processors are made to function so as to generate information for the purpose and transmit the information for making the predetermined facial expression or pose. "
  • the computer program according to the 18A aspect is that in the 17A aspect, "the predetermined operation of the distributor is a predetermined operation perceived by the distributor with all five senses".
  • the server device is "equipped with one or more processors, and the processor executes a computer-readable instruction to perform a predetermined operation by the distributor, the facial expression of the distributor, and the distribution. Whether or not information relating to one or more of a person's facial expression, the voice of the distributor, or a predetermined situation that occurs for the distributor is detected, and the detected information satisfies a predetermined condition. When it is determined that the predetermined condition is satisfied, the facial expression or pose of the avatar related to the distributor, which is generated based on the facial expression or pose of the distributor, corresponds to the predetermined condition. It generates information for making a predetermined facial expression or pose, and transmits the information for making the predetermined facial expression or pose. "
  • the server device is the one in the aspect 19A that "the predetermined operation of the distributor is a predetermined operation perceived by the distributor with all five senses".
  • the method according to the 21A aspect is "a method executed by one or a plurality of processors that execute a computer-readable instruction, and is a predetermined operation by the distributor, the facial expression of the distributor, and the complexion of the distributor.
  • the facial expression or pose of the avatar related to the distributor which is generated based on the facial expression or pose related to the distributor, is changed to the predetermined facial expression corresponding to the predetermined condition.
  • information for making a pose is generated, and the avatar to which the predetermined facial expression or pose is applied is displayed.
  • the method according to the 22nd aspect is that in the 21st aspect, "the predetermined action of the distributor is a predetermined action perceived by the distributor with all five senses".
  • the method according to the 23A aspect is "a method executed by one or a plurality of processors that execute a computer-readable instruction, and is a predetermined operation by the distributor, the facial expression of the distributor, and the complexion of the distributor.
  • the facial expression or pose of the avatar related to the distributor which is generated based on the facial expression or pose related to the distributor, is changed to the predetermined facial expression corresponding to the predetermined condition.
  • the information for making the pose is generated, and the information for making the predetermined facial expression or the pose is transmitted.
  • the method according to the 24A aspect is that in the 23A aspect, "the predetermined action of the distributor is a predetermined action perceived by the distributor with all five senses".
  • the viewer terminal device is described as "a predetermined operation by a distributor, a facial expression of the distributor, by including one or a plurality of processors, and the processor executes a command readable by a computer. Whether the information relating to one or more of the facial expression of the distributor, the voice of the distributor, or the predetermined situation occurring for the distributor is detected, and the detected information satisfies the predetermined condition. When it is determined whether or not the condition is satisfied, the facial expression or pose of the avatar related to the distributor, which has been generated based on the facial expression or pose related to the distributor, is set to the predetermined condition. It generates information for making a corresponding predetermined facial expression or pose, and displays the avatar to which the predetermined facial expression or pose is applied. "
  • the distributor terminal device is described as "a predetermined operation by the distributor, a facial expression of the distributor, by including one or a plurality of processors, and the processor executes a command readable by a computer. Whether the information relating to one or more of the facial expression of the distributor, the voice of the distributor, or the predetermined situation occurring for the distributor is detected, and the detected information satisfies the predetermined condition. When it is determined whether or not the condition is satisfied, the facial expression or pose of the avatar related to the distributor, which has been generated based on the facial expression or pose related to the distributor, is set to the predetermined condition. It generates information for the corresponding predetermined facial expression or pose, and transmits the information for the predetermined facial expression or pose. "
  • the computer program according to the first aspect B is "a computer program, which is executed by one or more processors, and thus, in a virtual space, a predetermined action of an avatar played by a distributor, an expression of the avatar, and the avatar. Acquires information relating to any one or more of the complexion of the avatar, the voice of the avatar, or a predetermined situation that occurs with respect to the avatar, and determines whether or not the acquired information satisfies the predetermined conditions. When it is determined that the predetermined conditions related to the acquired information are satisfied, the facial expressions or poses of the avatar related to the distributor, which are generated based on the facial expressions or poses related to the distributor, correspond to the predetermined conditions. "Display the avatar to which the predetermined expression or pose is applied, which generates information for making the predetermined expression or pose to be the expression of the avatar.”
  • the computer program according to the second aspect B is, in the first aspect, "a predetermined action of the avatar is a predetermined action perceived by the avatar with all five senses if the avatar is a living thing". ..
  • the computer program according to the third aspect B is the one in the first aspect B or the second aspect B that "the predetermined operation of the avatar includes the operation of viewing a predetermined object".
  • the computer program according to the fourth B aspect is described in any one aspect of the first B to the third B as follows: "When the predetermined target is another avatar or character, the predetermined action of the avatar is the line of sight of the avatar. And the line of sight of the predetermined object are aligned with each other. "
  • the computer program according to the fifth B aspect in any one of the first B to the fourth B aspects, states that "when the predetermined operation includes an operation of viewing the predetermined object, the predetermined condition is the predetermined condition. It includes moving the line of sight of the avatar so that the target is in the line of sight of the avatar, or the presence of the predetermined target in the line of sight of the avatar. "
  • the computer program according to the sixth B aspect is one in any one of the first B to the fifth B aspects, "a predetermined action of the avatar includes an action of contacting a predetermined target”.
  • the computer program according to the seventh B aspect in any one of the first B to the sixth B aspects, states that "when the predetermined operation includes an operation of contacting the predetermined target, the predetermined condition is the avatar. The distance between the position according to the above and the position according to the predetermined object is within a predetermined distance. "
  • the computer program according to the eighth B aspect in any one of the first B to the seventh B aspects, states that "the position of the avatar is the position of the avatar in the virtual space, the part that activates the predetermined facial expression, the said. It is either a predetermined part of the avatar or the position of the collider of the avatar. "
  • the computer program according to the ninth B aspect is one in any one of the first B to the eighth B aspects, "the predetermined action of the avatar includes the eating and drinking action of a predetermined target".
  • the computer program according to the tenth aspect B is, in any one aspect of the first B to the ninth B, "a predetermined action of the avatar includes a predetermined gesture for an odor or an odor".
  • the computer program according to the eleventh aspect is one in any one of the first B to the tenth B aspects, "a predetermined action of the avatar includes a predetermined gesture for listening to or / listening to a sound”. ..
  • the computer program according to the twelfth aspect is "the predetermined condition uses the detection of the predetermined gesture of the avatar" in any one aspect of the first B to the eleventh B.
  • the computer program according to the thirteenth aspect is "a predetermined situation that occurs with respect to the avatar includes a predetermined sound that occurs in the virtual space" in any one aspect of the first B to the twelfth B.
  • the computer program according to the 14B aspect is described in any one aspect of the first B to the thirteenth B as follows: "The predetermined situation that occurs with respect to the avatar is the distance between the position relating to the predetermined object and the position relating to the avatar. Includes being within a predetermined range. "
  • the computer program according to the fifteenth aspect has a predetermined combination of a predetermined object and a predetermined pose of the avatar in any one aspect of the first B to the 14th B. Including that. "
  • the computer program according to the 16th aspect is "the complexion of the avatar includes a change in complexion" in any one of the first B to the 15B aspects.
  • the computer program according to the 17B aspect has the aspect of any one of the first B to the 16th B, "The voice of the avatar changes the sound quality of the voice of the avatar by a predetermined range or more, or the voice of the avatar. Including that the volume of the voice changes by a predetermined amount or more. "
  • the first predetermined condition is satisfied and the second predetermined condition is satisfied within a predetermined time.
  • the predetermined facial expression or pose corresponding to the case where the predetermined condition set with a high priority among the first predetermined condition or the second predetermined condition is satisfied is applied.
  • the computer program according to the 19th aspect has the aspect of any one of the first B to the 18th B, "the information for making the predetermined facial expression or pose obtains the information for operating the avatar from the distributor terminal. It is generated without it. "
  • the computer program according to the 20B aspect is "a computer program, which is executed by one or more processors, and thus, in a virtual space, a predetermined action of an avatar played by a distributor, an expression of the avatar, and the avatar. Acquires information relating to any one or more of the complexion of the avatar, the voice of the avatar, or a predetermined situation that occurs with respect to the avatar, and determines whether or not the acquired information satisfies the predetermined conditions. When it is determined that the predetermined condition is satisfied, the facial expression or pose of the avatar related to the distributor, which is generated based on the facial expression or pose related to the distributor, is changed to the predetermined facial expression or pose corresponding to the predetermined condition. The information for making a pose is generated, and the information for making the predetermined expression or pose is transmitted. "
  • the computer program according to the 21st aspect is the one in the 20th aspect, "a predetermined action of the avatar is a predetermined action perceived by the avatar with all five senses if the avatar is a living thing". ..
  • the server device is described as "a predetermined operation of an avatar played by a distributor in a virtual space by including one or a plurality of processors, and the processor executes a computer-readable instruction.
  • Information relating to one or more of the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, or the predetermined situation occurring with respect to the avatar is acquired, and the acquired information satisfies the predetermined condition.
  • the facial expression or pose of the avatar related to the distributor which has been generated based on the facial expression or pose related to the distributor, is set to the predetermined condition.
  • the information for making the predetermined facial expression or pose corresponding to the above is generated, and the information for making the predetermined facial expression or pose is transmitted.
  • the server device is "a predetermined operation of the avatar is a predetermined operation perceived by the avatar with all five senses if the avatar is a living thing". ..
  • the method according to the 24B aspect is "a method executed by one or more processors that execute a computer-readable instruction, a predetermined action of an avatar played by a distributor in virtual space, of the avatar. Whether or not information relating to any one or more of the facial expression, the complexion of the avatar, the voice of the avatar, or the predetermined situation occurring with respect to the avatar is acquired, and the acquired information satisfies the predetermined conditions. When it is determined that the predetermined condition related to the acquired information is satisfied, the avatar's facial expression or pose related to the distributor, which was generated based on the facial expression or pose related to the distributor, is determined. Information for making a predetermined expression or pose corresponding to the condition of the above into the expression of the avatar is generated, and the avatar to which the predetermined expression or pose is applied is displayed. "
  • a predetermined action of the avatar is a predetermined action perceived by the avatar with all five senses if the avatar is a living thing.
  • the method according to the 26B aspect is "a method executed by one or a plurality of processors that execute a computer-readable instruction, and is a predetermined action of an avatar played by a distributor in a virtual space, that of the avatar. Whether or not information relating to one or more of facial expressions, the complexion of the avatar, the voice of the avatar, or a predetermined situation occurring with respect to the avatar is acquired, and the acquired information satisfies the predetermined conditions. When it is determined that the predetermined condition is satisfied, the facial expression or pose of the avatar related to the distributor, which has been generated based on the facial expression or pose related to the distributor, corresponds to the predetermined condition. It generates information for making a predetermined facial expression or pose, and transmits the information for making the predetermined facial expression or pose. "
  • a predetermined action of the avatar is a predetermined action perceived by the avatar with all five senses if the avatar is a living thing.
  • the viewer terminal device is described as "a predetermined avatar played by a distributor in a virtual space by comprising one or a plurality of processors, the processors executing instructions readable by a computer.
  • Information on any one or more of the operation, the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, or the predetermined situation occurring with respect to the avatar is acquired, and the acquired information satisfies a predetermined condition.
  • the facial expression or the avatar's facial expression related to the distributor which was generated based on the facial expression or pose related to the distributor, or Generates information for making a pose a predetermined expression or pose corresponding to the predetermined condition as the expression of the avatar, and displays the avatar to which the predetermined expression or pose is applied.
  • the viewer terminal device is the one in the 28B aspect, "the predetermined action of the avatar is a predetermined action perceived by the avatar with all five senses if the avatar is a living thing". Is.
  • the distributor terminal device is described as "a predetermined avatar played by the distributor in the virtual space by including one or a plurality of processors, and the processor executes a computer-readable instruction.
  • Information on any one or more of the operation, the facial expression of the avatar, the complexion of the avatar, the voice of the avatar, or the predetermined situation occurring with respect to the avatar is acquired, and the acquired information satisfies a predetermined condition.
  • the facial expression or pose of the avatar related to the distributor generated based on the facial expression or pose related to the distributor is set as the predetermined condition.
  • the information for making a predetermined facial expression or pose corresponding to the condition of the above is generated, and the information for making the predetermined facial expression or pose is transmitted.
  • the distributor terminal device is "a predetermined action of the avatar is a predetermined action perceived by the avatar with all five senses if the avatar is a living thing" in the thirtieth aspect. Is.
  • motion data can be acquired using a motion capture system.
  • a motion capture system As will be readily appreciated by those skilled in the art who benefit from this disclosure, some suitable motion capture systems that may be used with the devices and methods disclosed in this application used passive or active markers. Alternatively, it includes an optical motion capture system without markers and an inertial and magnetic non-optical system.
  • Motion data uses an image capture device (such as a CCD (charge-coupled device) or CMOS (complementary metal oxide semiconductor) image sensor) that is coupled to a computer that converts the motion data into moving images or other image data. Can be obtained.
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • the operation data can include one or more of the following data: -Data showing how the distributor swiped the touchpad display-Data showing which object the distributor tapped or clicked-Data showing how the distributor dragged the touchpad display ⁇
  • Other such operational data can include one or more of the following data: -Data showing how the distributor swiped the touchpad display-Data showing which object the distributor tapped or clicked-Data showing how the distributor dragged the touchpad display ⁇
  • FIG. 18 is a generalization of the embodiments, techniques, and suitable computing environments 1400 in which the embodiments described herein can be implemented, including transmitting and using tokens to render video in a computing environment.
  • An example is shown.
  • the calculation environment 1400 can implement either a terminal device (or a distributor or a viewer), a distribution server system, or the like, as described in the present specification.
  • Computational environment 1400 is not intended to imply any limitation on the use or scope of functionality of the technology, as the technology can be implemented in a variety of general purpose or dedicated computing environments.
  • the technologies disclosed herein include various portable devices, various multiprocessor systems, various microprocessor-based or programmable home appliances, various network PCs, various minicomputers, and more. It may be implemented in various other computer system configurations, including mainframe computers, and the like.
  • the techniques disclosed herein may be implemented in a distributed computing environment in which tasks are performed by remote processing devices linked through a communication network.
  • program modules may be located in both local and remote memory storage devices.
  • the computing environment 1400 includes at least one central processing unit 1410 and memory 1420.
  • this most basic configuration 1430 is included within the dashed line.
  • the central processing unit 1410 executes instructions that can be executed by a computer, and the central processing unit 1410 may be a real processor or a virtual processor. In a multiprocessing system, a plurality of processors can operate at the same time because a plurality of processing units execute instructions that can be executed by a computer to improve processing power.
  • the memory 1420 may be a volatile memory (eg, register, cache, RAM), a non-volatile memory (eg, ROM, EEPROM, flash memory, etc.), or some combination of the two.
  • the memory 1420 stores, for example, software 1480, various images, and videos on which the techniques described herein can be implemented.
  • the computing environment may have various additional functions.
  • the computing environment 1400 includes storage 1440, one or more input devices 1450, one or more output devices 1460, and one or more communication connections 1470.
  • An interconnect mechanism (not shown), such as a bus, controller, or network, interconnects various components of the compute environment 1400.
  • operating system software (not shown) provides an operating environment for other software running in compute environment 1400 and coordinates various activities of various components of compute environment 1400.
  • the storage 1440 may or may not be removable and may be used to store magnetic disks, magnetic tapes or cassettes, CD-ROMs, CD-RWs, DVDs, or information. And includes any other medium that can be accessed within the computing environment 1400.
  • Storage 1440 stores instructions for software 1480, plug-in data, and messages, which can be used to implement the techniques described herein.
  • One or more input devices 1450 may provide input to a touch input device such as a keyboard, keypad, mouse, touch screen display, pen, or trackball, voice input device, scanning device, or computing environment 1400.
  • a touch input device such as a keyboard, keypad, mouse, touch screen display, pen, or trackball
  • voice input device scanning device, or computing environment 1400.
  • Device which may be.
  • one or more input devices 1450 may be a sound card or similar device that accepts audio input in analog or digital format, or even a CD-ROM reader that provides various audio samples to the computing environment 1400. good.
  • the one or more output devices 1460 may be a display, a printer, a speaker, a CD writer, or another device that provides output from the computing environment 1400.
  • One or more communication connections 1470 allow communication to another computing entity via a communication medium (eg, a connection network).
  • the communication medium transmits information such as instructions that can be executed by a computer, compressed graphics information, video, or other data contained in a modulated data signal.
  • One or more communication connections 1470 are not limited to wired connections (eg, megabit or Gigabit Ethernet, Infiniband, or Fiber Channel via electrical or fiber optic connections), but wireless technologies (eg, Bluetooth, WiFi). (IEEE 802.11a / b / n), WiMax, cellular, satellite, laser, infrared, RF connection via), and various agents, various bridges, and various destination agents disclosed herein. Includes various other suitable communication connections to provide network connectivity to various data consumers.
  • the one or more communication connections may be virtualized network connections provided by the virtual host.
  • Various embodiments of the various methods disclosed herein are performed in Computational Cloud 1490 using multiple instructions that can be executed by a computer that implements all or part of the techniques disclosed herein. Can be done. For example, different agents can perform different vulnerability scanning functions in a compute environment, while agent platforms (eg, bridges) and consumer services for destination agent data are located within the compute cloud 1490. It can be executed on various servers.
  • agent platforms eg, bridges
  • consumer services for destination agent data are located within the compute cloud 1490. It can be executed on various servers.
  • the computer-readable medium is any available medium that can be accessed within the computing environment 1400.
  • computer readable media include memory 1420 and / or storage 1440.
  • the term computer-readable medium includes media for data storage such as memory 1420 and storage device 1440, and does not include transmission media such as various modulated data signals.
  • the data related to the gift may be the information related to the gift.
  • the data of the display start of the gift may be the information of the display start of the gift.
  • the data of the display change of the gift may be the information of the display change of the gift.
  • the data that the gift has as an attribute may be information that the gift has as an attribute.
  • the data of the end of display of the gift may be the information of the end of display of the gift.
  • the data relating to the first gift may be information relating to the first gift.
  • the data relating to the second gift may be information relating to the second gift.
  • the data relating to the time between the first gift and the second gift may be information relating to the time between the first gift and the second gift.
  • the data relating to the gift provider may be information relating to the gift provider.
  • the data for making a predetermined facial expression or pose corresponding to a predetermined condition may be information for making a predetermined facial expression or pose corresponding to the predetermined condition.
  • the data for making a predetermined facial expression or pose may be information for making a predetermined facial expression or pose.
  • the data for operating the avatar may be information for operating the avatar.
  • the generated data may be the generated information.
  • system and information processing described in the documents of the present application may be carried out by software, hardware or a combination thereof, and a part or all of such a system and information processing implements processing / procedures as a computer program.
  • it may be executed by various computers, and these computer programs may be stored in a storage medium. Also, these programs may be stored on a non-transient or temporary storage medium.
  • System 10 Communication network 20 (20A to 20C) Server device 30 (30A to 30C) Terminal device 21 (31) Computing device 22 (32) Main storage device 23 (33) Input / output interface 24 (34) Input device 25 ( 35) Auxiliary storage device 26 (36) Output device 41 Acquisition unit 42 Condition application unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Architecture (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 アバターをより適切に表現可能な、コンピュータプログラム、サーバ装置、端末装置及び方法を提供する。 【解決手段】 一実施形態に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることによりコンピュータプログラムであって、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。

Description

コンピュータプログラム、サーバ装置、端末装置、及び方法
 本件出願に開示された技術は、コンピュータプログラム、サーバ装置、端末装置及び方法に関する。
 近年、配信者が演じるアバターを用いた技術が発展している。この種の技術においては、配信サービスを介して、配信者が演じるアバターを、視聴者が視聴可能なようにされている。
 また、アバターを用いたサービスに関連して、アバターオブジェクトの表情や動作を演者等の動作に基づいて制御する技術を利用したサービスとして、「カスタムキャスト」と称されるサービスが知られている(非特許文献1)。このサービスでは、演者は、スマートフォンの画面に対する複数のフリック方向の各々に対して、用意された多数の表情や動作のうちのいずれかの表情又は動作を予め割り当てておき、所望する表情又は動作に対応する方向に沿って演者がスマートフォンの画面をフリックすることにより、その動画に表示されるアバターオブジェクトにその表情又は動作を表現させることができる。
"カスタムキャスト"、[online]、Custom Cast Inc.、[2019年12月10日検索]、インターネット(URL: https://customcast.jp/)
 しかしながら、非特許文献1に開示される技術においては、演者が発話しながらスマートフォンの画面をフリックしなければならず、演者にとっては当該フリックの操作を行う困難がある。
 なお、上記非特許文献1は、引用によりその全体が本明細書に組み入れられる。また、本出願は、「コンピュータプログラム、サーバ装置、端末装置、及び方法」と題して2020年4月14日に提出された日本国特許出願第2020-072287、「コンピュータプログラム、サーバ装置、端末装置、及び方法」と題して2020年5月28日に提出された日本国特許出願第2020-093438、及び「コンピュータプログラム、サーバ装置、端末装置、及び方法」と題して2020年4月27日に提出された日本国特許出願第2020-078079、に基づいており、これらの日本国特許出願による優先権の利益を享受する。これらの日本国特許出願の全体の内容が引用により本明細書に組み入れられる。
 本件出願において開示された幾つかの実施形態は、アバターをより適切に表現可能な、コンピュータプログラム、サーバ装置、端末装置、及び方法を提供する。
 一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。
 一態様に係るコンピュータプログラムにおいて、前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、ものである。
 一態様に係るコンピュータプログラムにおいて、前記所定の表情は、前記装着された前記ギフトと、同一のモチーフの表情である、ものである。
 一態様に係るコンピュータプログラムにおいて、前記所定の表情が発動する部位は、前記装着された前記ギフトの装着部位と、同一の部位である、ものである。
 一態様に係るコンピュータプログラムにおいて、前記所定の表情が発動する部位は、前記装着された前記ギフトの装着部位と、異なる部位である、ものである。
 一態様に係るコンピュータプログラムにおいて、前記所定の条件は、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲内に入ることを含む、ものである。
 一態様に係るコンピュータプログラムにおいて、前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダー、のいずれかである、ものである。
 一態様に係るコンピュータプログラムにおいて、前記所定の条件は、前記ギフトに係る優先度を用いる、ものである。
 一態様に係るコンピュータプログラムにおいて、前記ギフトに係る優先度は、前記ギフトの価格、前記ギフトの表示される大きさ、前記ギフトのレベル、及び/又は、前記ギフトの提供者に係る情報、が用いられる、ものである。
 一態様に係るコンピュータプログラムにおいて、前記所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いる、ものである。 
 一態様に係るコンピュータプログラムにおいて、前記所定の表情は、予め定められた表情のパラメータ、又は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正された表情のパラメータ、を用いて表示される表情である、ものである。
 一態様に係るコンピュータプログラムにおいて、前記所定の表情は、前記ギフトが表示されている方向に連動して変化する、 ものである。
 一態様に係るコンピュータプログラムにおいて、前記ギフトに係る情報は、前記ギフトの表示開始の情報、前記ギフトの表示変化の情報、前記ギフトが属性として有する情報、及び/又は、前記ギフトの表示終了の情報、を含む、ものである。
 一態様に係るコンピュータプログラムにおいて、前記ギフトに係る情報は、第1ギフトに係る情報と、第2ギフトに係る情報と、を含み、前記所定の条件は、前記第1ギフトに係る情報と、前記第2ギフトに係る情報と、の組み合わせ、順番、及び/又は、前記第1ギフトと前記第2ギフトとの時間に係る情報 と、を用いる、ものである。
 一態様に係るコンピュータプログラムにおいて、前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成される、ものである。
 一態様に係るコンピュータプログラムにおいて、前記ギフトに係る情報を、前記視聴者端末から取得する、ものである。
 一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、視聴者端末内に備えられる、ものである。
 一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、配信者端末内に備えられ、
 前記生成された情報を用いて、前記アバターの表情又はポーズに設定する、ものである。
 一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、配信者端末内に備えられ、
 前記生成された情報を用いて、前記アバターの表情又はポーズに設定してアニメーションを生成する、ものである。
 一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、サーバ内に備えられ、前記生成された情報を用いて、前記アバターの表情又はポーズに設定する、ものである。
 一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、サーバ内に備えられる、前記生成された情報を用いて、前記アバターの表情又はポーズに設定して、映像を生成する、ものである。
 一態様に係るコンピュータプログラムにおいて、前記複数のプロセッサは、サーバ、視聴者端末、配信者端末、のいずれか一部又は全部に備えられる、ものである。
 一態様に係るコンピュータプログラムにおいて、前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、ものである。
 一態様に係るサーバ装置は、一又は複数のプロセッサを具備し、前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。
 一態様に係るサーバ装置において、前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、ものである。
 一態様に係る方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、 前記プロセッサが、前記命令を実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。
 一態様に係る方法において、前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、ものである。
 一態様に係る視聴者端末は、一又は複数のプロセッサを具備し、前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。
 一態様に係る配信者端末は、一又は複数のプロセッサを具備し、前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。
 一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ように前記一又は複数のプロセッサを機能させるものである。
 また、一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ように前記一又は複数のプロセッサを機能させるものである。
 また、一態様に係るサーバ装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
 また、一態様に係る方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
 また、一態様に係る方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
 また、一態様に係る視聴者端末は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
 また、一態様に係る配信者端末は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
 一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成しする、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
 一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
 一態様によるサーバ装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
 一態様による方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
 一態様による方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
 一態様による視聴者端末装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成する 、前記所定の表情又はポーズが適用された、前記アバターを表示する、ものである。
 一態様による配信者端末装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ものである。
 この[発明の概要]の欄は、選択された様々な概念を簡略化された形式により導入するために記載されており、これらの様々な概念については[発明を実施するための形態]の欄において後述する。本明細書において用いられるすべての商標は、これらの商標の保有者の財産である。この[発明の概要]の欄の記載は、特許請求の範囲に記載された発明の重要な特徴又は不可欠な特徴を特定することを意図するものでもなく、特許請求の範囲に記載された発明の技術的範囲を限定することを意図するものでもない。特許請求の範囲に記載された発明の、上述した又は他の目的、特徴及び効果は、添付図面を参照して以下に示される[発明を実施するための形態]の欄の記載からより明らかとなろう。
図1は、一実施形態に係るシステムの構成の一例を示すブロック図である。 図2は、図1に示したサーバ装置20(端末装置30)のハードウェア構成の一例を模式的に示すブロック図である。 図3は、一実施形態に係るシステムの機能の一例を模式的に示すブロック図である。 図4は、一実施形態に係るシステムが有するデータの一例である。 図5は、一実施形態に係るシステムが有するデータの一例である。 図6は、一実施形態に係るシステムが有するデータの一例である。 図7は、一実施形態に係るシステムが有するデータの一例である。 図8は、一実施形態に係るシステムが有するデータの一例である。 図9は、一実施形態に係るシステムが有するデータの一例である。 図10は、一実施形態に係るシステムが有するデータの一例である。 図11は、一実施形態に係るシステムが有するデータの一例である。 図12は、一実施形態に係るシステムが処理するフローの一例である。 図13は、一実施形態に係るシステムが処理するフローの一例である。 図14は、一実施形態に係るシステムが処理するフローの一例である。 図15は、一実施形態に係るシステムが処理するフローの一例である。 図16は、一実施形態に係るシステムが処理するフローの一例である。 図17は、一実施形態に係るシステムが処理するフローの一例である。 図18は、一実施形態に係るシステムの構成の一例を示すブロック図である。
 本明細書は、いかなる方法によっても限定されることを意図していない、代表的な様々な実施形態という意味により記載される。
 本件出願において用いられるように、「1つの」、「前記」、「上記」、「当該」、「該」、「この」、「その」といった単数形は、複数形でないことを明確に示さない限り、複数形を含むことができる。また、「含む」という用語は、「具備する」こと又は「備える」ことを意味し得る。さらに、「結合された」、「結合した」、「結び付けられた」、「結び付けた、「接続された」又は「接続した」という用語は、対象物を相互に結合する、接続する又は結び付ける、機械的、電気的、磁気的及び光学的な方法を他の方法とともに包含し、このように結合された、結合した、結び付けられた、結び付けた、接続された又は接続した対象物の間にある中間要素の存在を排除しない。
 本明細書において記載される、様々なシステム、方法及び装置は、いかなる方法によっても限定されるものとして解釈されるべきではない。実際には、本開示は、開示された様々な実施形態の各々、これら様々な実施形態を相互に組み合わせたもの、及び、これら様々な実施形態の一部を相互に組み合わせたもの、のうちのあらゆる新規な特徴及び態様に向けられている。本明細書において記載される、様々なシステム、方法及び装置は、特定の態様、特定の特徴、又は、このような特定の態様と特定の特徴とを組み合わせたものに限定されないし、本明細書に記載される物及び方法は、1若しくはそれ以上の特定の効果が存在すること又は課題が解決されることを、要求するものでもない。さらには、本明細書において記載された様々な実施形態のうちの様々な特徴若しくは態様、又は、そのような特徴若しくは態様の一部は、相互に組み合わせて用いられ得る。
 本明細書において開示された様々な方法のうちの幾つかの方法の動作が、便宜上、特定の順序に沿って記載されているが、このような手法による記載は、特定の順序が以下特定の文章によって要求されていない限り、上記動作の順序を並び替えることを包含する、と理解すべきである。例えば、順番に記載された複数の動作は、幾つかの場合には、並び替えられるか又は同時に実行される。さらには、簡略化を目的として、添付図面は、本明細書に記載された様々な事項及び方法が他の事項及び方法とともに用いられ得るような様々な方法を示していない。加えて、本明細書は、「生成する」、「発生させる」、「表示する」、「受信する」、「評価する」及び「配信する」のような用語を用いることがある。これらの用語は、実行される実際の様々な動作のハイレベルな記載である。これらの用語に対応する実際の様々な動作は、特定の実装に依存して変化し得るし、本明細書の開示の利益を有する当業者によって容易に認識され得る。
 本開示の装置又は方法に関連して本明細書に提示される、動作理論、科学的原理又は他の理論的な記載は、よりよい理解を目的として提供されており、技術的範囲を限定することを意図していない。添付した特許請求の範囲における装置及び方法は、このような動作理論により記載される方法により動作する装置及び方法に限定されない。
 本明細書に開示された様々な方法のいずれもが、コンピュータにより読み取り可能な1又はそれ以上の媒体(例えば、1又はそれ以上の光学媒体ディスク、複数の揮発性メモリ部品、又は、複数の不揮発性メモリ部品といったような、非一時的なコンピュータにより読み取り可能な記憶媒体)に記憶された、コンピュータにより実行可能な複数の命令を用いて実装され、さらに、コンピュータにおいて実行され得る。ここで、上記複数の揮発性メモリ部品は、例えばDRAM又はSRAMを含む。また、上記複数の不揮発性メモリ部品は、例えばハードドライブ及びソリッドステートドライブ(SSD)を含む。さらに、上記コンピュータは、例えば、計算を行うハードウェアを有するスマートフォン及び他のモバイル装置を含む、市場において入手可能な任意のコンピュータを含む。
 本明細書において開示された技術を実装するためのこのようなコンピュータにより実行可能な複数の命令のいずれもが、本明細書において開示された様々な実施形態の実装の間において生成され使用される任意のデータとともに、1又はそれ以上のコンピュータにより読み取り可能な媒体(例えば、非一時的なコンピュータにより読み取り可能な記憶媒体)に記憶され得る。このようなコンピュータにより実行可能な複数の命令は、例えば、個別のソフトウェアアプリケーションの一部であり得るか、又は、ウェブブラウザ若しくは(リモート計算アプリケーションといったような)他のソフトウェアアプリケーションを介してアクセス又はダウンロードされるソフトウェアアプリケーションの一部であり得る。このようなソフトウェアは、例えば、(例えば市場において入手可能な任意の好適なコンピュータにおいて実行されるエージェントとしての)単一のローカルコンピュータにおいて、又は、1又はそれ以上のネットワークコンピュータを用いて、ネットワーク環境(例えば、インターネット、ワイドエリアネットワーク、ローカルエリアネットワーク、(クラウド計算ネットワークといったような)クライアントサーバネットワーク、又は、他のそのようなネットワーク)において、実行され得る。
 明確化のために、ソフトウェアをベースとした様々な実装のうちの特定の選択された様々な態様のみが記載される。当該分野において周知である他の詳細な事項は省略される。例えば、本明細書において開示された技術は、特定のコンピュータ言語又はプログラムに限定されない。例えば、本明細書において開示された技術は、C、C++、Java、又は、他の任意の好適なプログラミング言語で記述されたソフトウェアにより実行され得る。同様に、本明細書において開示された技術は、特定のコンピュータ又は特定のタイプのハードウェアに限定されない。好適なコンピュータ及びハードウェアの特定の詳細な事項は、周知であって、本明細書において詳細に説明する必要はない。
 さらには、このようなソフトウェアをベースとした様々な実施形態(例えば、本明細書において開示される様々な方法のいずれかをコンピュータに実行させるための、コンピュータにより実行可能な複数の命令を含む)のいずれもが、好適な通信手段により、アップロードされ、ダウンロードされ、又は、リモート方式によりアクセスされ得る。このような好適な通信手段は、例えば、インターネット、ワールドワイドウェブ、イントラネット、ソフトウェアアプリケーション、ケーブル(光ファイバケーブルを含む)、磁気通信、電磁気通信(RF通信、マイクロ波通信、赤外線通信を含む)、電子通信、又は、他のそのような通信手段を含む。
 また、ウェブページは、例えば、HTMLドキュメント、幾つかの例では、JavaScript又はPHPコードといったような実行可能なコードを符号化したHTMLドキュメントを含む。
 以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるものの、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプログラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得ることができるように組み合わされたものであればよい。
1.システムの例
 図1は、一実施形態に係るシステムの構成の一例を示すブロック図である。図1に示すように、システム1は、通信網10に接続される1又はそれ以上のサーバ装置20と、通信網10に接続される1又はそれ以上の端末装置30と、を含んでよい。なお、図1には、サーバ装置20の例として、3つのサーバ装置20A~20Cが例示され、端末装置30の例として、3つの端末装置30A~30Cが例示されているが、サーバ装置20として、これら以外の1又はそれ以上のサーバ装置20が通信網10に接続され得るし、端末装置30として、これら以外の1又はそれ以上の端末装置30が通信網10に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。
 また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるものであってもよい。また、システムの所有者と管理者は異なってもよい。
 通信網10は、携帯電話網、無線LAN、固定電話網、インターネット、イントラネット、イーサネット(登録商標)、及び/又はこれらの組み合わせ等であってよく、また、これらに限定されない。通信網10においては、本願書類で開示された種々のデータが通信されてよい。
 また、通信網10は、携帯電話網、無線ネットワーク(例えば、Bluetooth、(IEEE 802.11a/b/nといったような)WiFi、WiMax、セルラー、衛星、レーザー、赤外線、を介したRF接続)、固定電話網、インターネット、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、及び/又は、イーサネットネットワークを、これらに限定することなく含むことができる。
 サーバ装置20は、インストールされた特定のアプリケーションを実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
 前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。
 サーバ装置20は、インストールされた特定のアプリケーションを実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。
 サーバ装置20は、インストールされた特定のアプリケーションを実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、
という動作等を実行できてよい。
 或いはまた、端末装置30は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。
 或いはまた、端末装置30は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。
 或いはまた、端末装置30は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。
 端末装置30は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話(フィーチャーフォン)及び/又はパーソナルコンピュータ等であってよく、これらに限定されない。
2.各装置のハードウェア構成
 次に、サーバ装置20が有するハードウェア構成の一例について説明する。
2-1.サーバ装置20のハードウェア構成
 サーバ装置20のハードウェア構成例について図2を参照して説明する。図2は、図1に示したサーバ装置20(端末装置30)のハードウェア構成の一例を模式的に示すブロック図である(なお、図2において、括弧内の参照符号は、後述するように各端末装置30に関連して記載されたものである。)
 図2に示すように、サーバ装置20は、主に、演算装置21と、主記憶装置22と、入出力インタフェイス装置23を備えることができる。サーバ装置20は、更に、入力装置24と、補助出力装置26と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されていてよい。
 演算装置21は、主記憶装置22に記憶されている命令及びデータを用いて演算を行い、その演算の結果を主記憶装置22に記憶させるものである。さらに、演算装置21は、入出力インタフェイス装置23を介して、入力装置24、補助記憶装置25及び出力装置26等を制御することができる。サーバ装置20は、1以上の演算装置21を含んでよい。演算装置21は、1又はそれ以上の、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含んでよい。
 主記憶装置22は、記憶機能を有し、入力装置24、補助記憶装置25及び通信網10等(サーバ装置20等)から、入出力インタフェイス装置23を介して受信した命令及びデータ、並びに、演算装置21の演算結果を記憶するものである。主記憶装置22は、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)及び/又はフラッシュメモリ等をこれらに限定することなく含むことができる。
 主記憶装置22は、揮発性メモリ(例えば、レジスタ、キャッシュ、ランダムアクセスメモリ(RAM))、不揮発性メモリ(例えば、リードオンリーメモリ(ROM)、EEPROM、フラッシュメモリ)、及び、ストレージ(例えば、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、磁気テープ、光学媒体)、といったようなコンピュータにより読み取り可能な媒体を、これらに限定することなく含むことができる。容易に理解されるように、「コンピュータにより読み取り可能な記録媒体」という用語は、変調されたデータ信号すなわち一時的な信号といったような送信媒体ではなく、メモリ及びストレージといったようなデータストレージのための媒体を含むことができる。
 補助記憶装置25は、記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ(コンピュータプログラム)を記憶してよく、演算装置21により制御されることにより、これらの命令及びデータ(コンピュータプログラム)は入出力インタフェイス装置23を介して主記憶装置22にロードされてよい。補助記憶装置25は、磁気ディスク装置及び/又は光ディスク装置、ファイルサーバ等であってよく、これらに限定されない。
 入力装置24は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び/又はセンサ等であってよい。
 出力装置26は、ディスプレイ装置、タッチパネル及び/又はプリンタ装置等をこれらに限定することなく含むことができてよい。また、入力装置24と出力装置26とが一体化されたものであってもよい。
 このようなハードウェア構成にあっては、演算装置21が、補助記憶装置25に記憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順次主記憶装置22にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置23を介して出力装置26を制御し、或いはまた、入出力インタフェイス装置23及び通信網10を介して、他の装置(例えばサーバ装置20及び他の端末装置30等)との間で様々な情報の送受信を行うことができてよい。
 サーバ装置20がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等(後に詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、サーバ装置20がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等(後に詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、サーバ装置20がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等(後に詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、かかる動作等は、ユーザーが、入力装置24又は後述する端末装置30に係る入力装置34を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置21上で実行されている場合にはユーザーの利用するシステムとしてのサーバ装置20の出力装置26によって表示されてよく、又はユーザーの利用するシステムとしての端末装置30の出力装置36に表示させる構成であってよい。
2-2.端末装置30のハードウェア構成
 端末装置30のハードウェア構成例について同じく図2を参照して説明する。各端末装置30のハードウェア構成としては、例えば、上述した各サーバ装置20のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置30が有する構成要素に対する参照符号は、図2において括弧内に示されている。
 図2に示すように、各端末装置30は、主に、演算装置31と、主記憶装置32と、入出力インタフェイス装置33と、入力装置34と、補助記憶装置35と、出力装置36と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。
 演算装置31、主記憶装置32、入出力インタフェイス装置33、入力装置34、補助記憶装置35及び出力装置36は、それぞれ、上述した各サーバ装置20に含まれる、演算装置21、主記憶装置22、入出力インタフェイス装置23、入力装置24、補助記憶装置25及び出力装置26と略同一であってもよいし、異なるものであってもよい。また、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置34及び出力装置36については、以下で詳述する。
 このようなハードウェア構成にあっては、演算装置31が、補助記憶装置35に記憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順次主記憶装置32にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置33を介して出力装置36を制御し、或いはまた、入出力インタフェイス装置33及び通信網10を介して、他の装置(例えば各サーバ装置20等)との間で様々な情報の送受信を行うことができる。
 端末装置30がかかる構成を備え、被写体と前記被写体を撮像するカメラとの間の仮想空間上の透明な物体によって少なくとも一つのギフトの位置を移動し、前記ギフトの位置の移動により、前記カメラによって撮像される前記被写体の表示の面積を増加させる、という動作等(後に詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、端末装置30がかかる構成を備え、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等(後に詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、端末装置30がかかる構成を備え、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等(後に詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、インストールされたウェブブラウザを実行することにより、サーバ装置20からウェブページを受信及び表示して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置34を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置31上で実行されている場合にはユーザーの利用するシステムとしての端末装置30の出力装置36に表示する構成であってよい。
 端末装置は、本願書類において、「配信者端末」と「視聴者端末」の2種類の端末装置があってよい。これらは端末の役割に対して付与された名称であってよく、一の端末装置が、視聴者端末であることもあれば、配信者端末であることもあり、また、視聴者端末であると同時に配信者端末であってもよい。配信者端末は、配信されるものにアバターなどの被写体として登場する者である配信者が利用する端末であってよい。他方、視聴者端末は、主に、配信されているものを視聴する者である視聴者が利用する端末であってよい。なお、視聴者も、アバターなどの被写体に対してギフトを提供するギフティング行為によって、配信されるものにギフトが登場するような形で、視聴者が配信されるものに一定の影響をあたえてもよい。同様に、視聴者は、音声、コメント、等の形で、配信されるものに、一定の影響を与えてよい。配信されるものは、動画であってもよいし、映像であってもよいし、アニメーションであってもよく、これらの一部に配信者が演じるアバターなどの被写体が登場する者であればよい。なお、上述の説明は、本願発明の一実施形態が適用される例にすぎず、かかる前提のない被写体が登場する仮想空間においても、本願発明に係る各実施形態は適用されてよい。なお、本願書類において、アニメーションは、仮想現実であってもよいし、拡張現実であってもよい。
 視聴者端末は、上述のように、音声の入力、コメントの入力、ギフティングなどが可能に構成されてよい。例えば、利用者端末は、入力装置34として、コメントを入力可能であり、テキスト情報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、利用者端末は、演算装置34により、一定のコメントやギフトを生成する機能を有してもよい。これらの取得されたコメントやギフトは、同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。また、これらのコメントやギフトは、配信されるものの生成に利用されてよい。
 なお、本願発明に係るコメントは、利用者端末によって入力されるコメント以外に、システムが自動的に生成するものであってよい。かかるコメントは、利用者端末に向けて送信され、利用者端末において表示されてよい。
 また、端末は、入力装置34として、音を取得可能なマイクを含んでよい。なお、人の音声は、入力装置34としてのマイクによって取得され、音として扱ってもよい。また、人の音声は、入力装置34としてのマイクによって取得された後、演算装置31による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、利用者端末は、演算装置31によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。
 他方、配信者端末は、入力装置34として、人の動きを検知可能なモーションセンサーを含んでよい。モーションセンサーは、配信者の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうるが、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるものであってよい。かかるセンサーによって、配信者の表情やポーズをトラッキングし、情報として生成可能であってよい。モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサなどを有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。
 また、配信者端末は、入力装置34として、動画を撮像可能なカメラを含んでよい。カメラは、配信者の、頭、顔面、目、身体の一部、全身、などを撮像してよい。カメラが、頭や顔面を撮像する場合顔の方向を検知することが可能であってよい。また、カメラは、顔面を撮像する場合表情を検知することが可能であってよい。また、カメラは、目を撮像する場合視線を検知することが可能であってよい。また、カメラは、身体の一部又は全身を撮像する場合上述のモーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。これらの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。
 また、視聴者端末及び配信者端末における出力装置36は、表示装置、音発生装置であってよい。表示装置は、表示可能な機能であれば種々の装置であってよい。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、マイクロLEDディスプレイ、ヘッドマウントディスプレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、スピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置36で出力される情報は、演算装置31において生成された情報であってもよいし、通信網10から受信した情報であってもよい。なお、配信者端末は、演じる演者についての情報を取得するセンサを専用に備えるスタジオの装置であってもよい。この場合、演者の情報をより精度よく取得できる利点がある。また、配信者は、アバターを演じる演者を含んでよい。
3.各装置の機能
 次に、サーバ装置20及び端末装置30の各々が有する機能の一例について、図3を参考に、説明する。図3は、図1に示したシステムの機能の一例を模式的に示すブロック図である。図3に示すように、一例のシステムは、物体を生成するのに使用できる情報を取得する取得部と、取得された情報を用いて物体を生成する生成部と、を有してよい。
2.1.取得部
 取得部は、後述する所定の条件の適用の可否を判断するのに使用できる情報を取得する機能を有する。
 取得部の取得する情報は、視聴者から配信者に対して提供されるオブジェクトのギフトについての、一又は複数のギフトに係る情報、及び/又は、アバターに係る情報、を含んでよい。
 ギフトに係る情報は、ギフトに係る優先度、ギフトに係る位置、ギフトの属性、ギフトが提供されたアバターを特定する情報、及び/又は、複数のギフトに係る情報を含んでよい。
 また、アバターに係る情報は、上述の通り、アバターに係る位置、アバターの種類、アバターに係る表情のパラメータ、アバターに係る動作、及び/又は、アバターに係る状況、を含んでよい。ここで、ギフトが提供されたアバターが特定されている場合、アバターに係る情報は、かかるギフトが提供されて特定されたアバターに係る情報であってよい。他方、ギフトが提供されるアバターが特定されていない場合には、仮想空間内の全ての一又は複数のアバターであってもよいし、仮想空間内に登場しているアバターの一部である一又は複数のアバターであってもよい。
 これらの、ギフトに係る情報や、アバターに係る情報については、条件適用部において、その具体的な内容を説明する。
 また、取得部は、ギフトが、特定のアバターに対して提供された場合は、かかるギフトが提供された相手であるアバターを特定する情報を、取得してよい。
 また、取得部の取得する情報は、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報(本願書類において、所定の動作等、ということもある)を含んでよい。また、取得部の取得する情報は、本願発明に係るシステムが接続されている情報処理装置によって検知された情報又は検知された情報に基づく情報であってよい。なお、検知された情報は、検知する検知器に応じた情報であってよい。これらの検知された情報がそのまま取得部において取得されてもよいし、検知された具体的な測定情報について所定の閾値や範囲に応じた対応する情報を取得部において取得されてもよい。検知された情報としては、モーションデータの動きの情報や、アルコール検知器によるアルコール量の情報、サーマルセンサーの温度情報、などであってよい。そして、これらの具体的な測定情報に対する、対応する情報としては、モーションデータについての特定の表情や特定の動きの情報、アルコール量に対する飲酒の量の情報、など本願発明に係る所定の条件に合わせた情報に加工されてよい。これらの、取得部の取得する情報については、条件適用部において、その具体的な内容を説明する。なお、図5は、これらの取得部が取得する情報の一部の一例を示したものである。
 ここで、検知する手法は、種々の手法があってよい。例えば、検知した情報は、前記配信者を撮像する一又は複数の撮像装置によって撮像された画像を用いた画像処理によって検知した情報を含んでよい。かかる画像処理によって取得される情報は、例えば、モーションデータに基づくブレンドシェイプを検知してもよい。また、配信者がいる居室内の音声を取得するマイクによる音の検知や、配信者によって操作された音発生機器の操作を検知することによる音の検知であってもよい。また、配信者の手や腕に装着するセンサの動きを用いて、手や腕の動きを検知してもよいし、のどに巻き付ける形状のセンサを用いて、のどの動きを検知し、食べる動作や飲む動作を検知してよい。また、アルコール検知器により、配信者の飲酒動作を検知してよい。本願に係るシステムは、これらの検知器と接続され、配信者の動作等についての情報を検知してよい。なお、配信者は、アバターを操作可能な演者を含んでよい。
 図6は、検知する手段の例と、検知される情報の例を示したものである。
 取得部の取得する情報は、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報(本願書類において、所定の動作等、ということもある)を含んでよい。
 これらの、取得部の取得する情報については、条件適用部において、その具体的な内容を説明する。なお、図7は、これらの取得部が取得する情報の一部の一例を示したものである。
 なお、取得部が情報を取得する元となる情報処理装置は、取得部の機能を有する情報処理装置と同じであってもよいし、異なってもよい。また、取得という用語は、情報を、他の情報処理装置から受信する意味の上位概念であってよく、また、情報を記憶装置から情報を読み取る意味の上位概念であってよく、また、他のプログラムから記憶装置を介して情報を受け取る意味の上位概念であってよく、また、情報処理装置が検知する意味の上位概念であってよい。
2.2.条件適用部
 条件適用部は、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、機能を有してよい。
 また、条件適用部は、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、機能を有してよい。
 条件適用部は、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する機能を有してよい。
 ここで、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成するとは、かかる所定の条件が充足された場合において、1)前記配信者に係る表情に基づいて生成されていた前記配信者に係るアバターの表情を、前記所定の条件に対応する所定の表情とするための情報のみを生成してもよいし、2)前記配信者に係るポーズに基づいて生成されていた前記配信者に係るアバターのポーズを、前記所定の条件に対応する所定のポーズとするための情報のみを生成してもよいし、3)前記配信者に係る表情及びポーズに基づいて各々生成されていた前記配信者に係るアバターの表情及びポーズを、前記所定の条件に対応する所定の表情及びポーズとするための情報を生成してもよい。なお、本願書類において、所定の条件に対応して特定される、所定の表情及び/又はポーズについて、所定の表情等ということがあり、また、表情及び/又はポーズを、表情等ということがある。
 また、所定の表情等は、1)予め定められた表情のパラメータ、又は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正された表情のパラメータ、を用いて表示される表情であってもよいし、2)予め定められた形状又は動きの設定により表示される表情であってもよいし、3)予め定められたポーズのパラメータ、又は、配信者のポーズに基づくポーズのパラメータを所定のルールに基づいて補正されたポーズのパラメータ、を用いて表示されるポーズであってもよいし、4)予め定められた形状又は動きの設定により表示されるポーズであってもよい。ここで、予め定められた表情のパラメータとは、顔の各部位の動きに影響を与える複数のパラメータを示し、かかる複数のパラメータを各々所定の値に設定することにより、一の表情を示すものであってよい。かかる一又は複数のパラメータは、顔の各部位の動きに影響を与えるパラメータであればよく、各パラメータが、顔の特定の部位についてのものでもよいし、顔全体(又は顔の一部)についてのものであるがパラメータ毎に顔全体(又は顔の一部)の形状が異なるものでもよい。後者は、同じ面積であるが形状が異なるものを複数用意して、それらの一部又は複数の合成によって、一の表情を表現する技術である。後者の例としては、例えば、ブランドシェイプが挙げられ、かかる技術では、予め形状が異なる複数の顔全体の形状のものを用意しそれらの複数の形状の合成によって一の表情を生成するものである。なお、本技術においては、通常の顔の要素に加えて、予め所定の形状のものを用意しておくことにより、特殊な表情をさせてもよい。例えば、予め顔の縦線を示す形状を用意しておく場合には、かかる顔の縦線の演出が可能となり、予め目がバツの演出の要素を用意しておく場合には、かかる目がバツの演出が可能となる。この場合、パラメータが予め設定されることから、配信者の表情等を問わず、再現される表情等となるため、表情等を示す適切なパラメータが選択される場合には常に分かりやすい表情等を再現できる利点がある。なお、この場合においても、アバターに応じて、所定の表情等が異なるよう設定されてもよい。すなわち、アバターAとアバターBについて、同一の所定の条件が充足された場合において適用される所定の表情等が、アバターAとアバターBにおいて、異なってもよい。この場合において、個々のアバターに対して設定されてもよいし、アバターの種類に応じて、設定されてもよい。
 他方、所定の表情等が、配信者の表情等に基づく表情等のパラメータを所定のルールに基づいて補正された表情等のパラメータである場合は、所定の表情等が、配信者の表情等に基づいた表情等となってよい。例えば、配信者が何らかのギフトに対して、驚いた表情をするとする。このとき、配信者の表情の検知に対応してアバターの表情が一又は複数のパラメータによって驚きに対応する表情に設定されるが、所定の条件に対応する所定の表情として驚きに係る複数のパラメータの値を所定の値分増加させたり減少させることにより、より驚きの表情を強調するようにする場合を示す。上述の技術を所定の表情として一又は複数のパラメータが決定される点において絶対値的なものであるのに対し、本技術は、いわば、現在の配信者の表情から得られた情報に対する相対的なパラメータを用いるものであってよい。そのため、同一の配信者が演じる同一のアバターが、同一の所定の条件が適用された場合においても、かかる配信者自身がその時点で有している表情等に基づく表情等のパラメータは同じ場合もあれば、異なる可能性もあることから、かかる異なりうるパラメータに応じた表情等が、所定の表情等となる場合がある。そのため、より表情等のバリエーションをもたせることができる可能性がある。
 また、予め定められた形状又は動きの設定により表示される表情は、表情として、お面のように予め定められた形状そのものを、所定の表情とするものを示し、かかるものであってもよい。
 なお、以上においては、いずれも所定の表情について説明したが、同様に、所定のポーズについても、対応する技術が用いられてよい。
 以降では、まず、ギフトと関連する部分について、説明する。
 所定の表情等は、提供されるギフトと関連する表情等であってよい。この場合、視聴者は、所定の表情等が表現される理由を、ギフトと関連付けて、容易に理解できる利点がある。
 関連する表情等としては、例えば、ギフトと同一のモチーフの表情等であってよい。例えば、顔出しの犬のパネルを顔に装着して所定の時間内に口が犬口になったり、猫耳を装着すると装着して所定の時間内に猫口になる、などが挙げられる。同一のモチーフの表情等とは、与えられたギフトに対し、所定の表情等がされることでギフトをより効果的にする表情等を含んでよい。なお、ギフトと同一のモチーフの表情等である場合、ギフトの装着から所定の時間内に、アバターの表情等が所定の表情等となってよい。すなわち、前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含んでよい。なお、上述の所定の時間内は、同時又はほぼ同時であってもよいし、ギフトの装着に伴って所定の表情等に変更になるものでもよい。また、ほぼ同時は、視聴者からの視点でギフトの装着と同じようなタイミングで所定の表情等に変更されたと感じられる程度の時間的差分を含んでよい。
 この場合、所定の条件は、与えられたギフトに対して、予め定められたギフトとかかるギフトに対する同一のモチーフの所定の表情等とするルールであってよい。条件適用部は、かかる所定のルールを用いて、与えられたギフトに対して、かかるルールを適用し、所定の表情等を特定してよい。なお、かかるルールは、個々のギフトに対して適用されるルールとしてもよいし、個々のギフトの属するギフトの種類に対して適用されるルールとしてもよい。以降、記載を省略するが、以下の種々の条件について、同様に、所定のルールを用いることで、対応する表情等を特定する情報を生成してよい。
 また、関連する表情等としては、例えば、ギフトが与えられた時の予定調和的な表情等であってもよい。予定調和的な表情等とは、アニメや漫画などにおいて、生じた状況において生じる表情等を含んでよい。例えば、お肉のギフトについて、お肉のギフトが口に近づく所定の時間内に、よだれが出る表情等となったり、お肉のギフトを手で取ろうとする所定の時間内によだれが出る表情等となったり、お肉ギフトが目の前に現れたと同時に、よだれが出る表情となったりしてもよい。所定の時間内は、上述と同様であってよい。
 他方、所定の表情等は、提供されるギフトのモチーフと正反対の表情等であってもよい。この場合、視聴者は、違和感が生じる可能性があるが、かかる違和感が新たな刺激になる利点がある。
 また、所定の表情等は、表情等を構成する全ての個所(部位)についてのパラメータに作用してもよいし、その一部のパラメータに作用してもよい。例えば、所定の表情等は、口についてのパラメータのみに作用し、口以外の個所についてのパラメータは、配信者の表情に連動するパラメータであってもよい。
 また、所定の表情等が発動する部位は、前記装着された前記ギフトの装着部位と、同一の部位であってよい。例えば、口に装着される風船のギフトに対しては、かかる口がすぼむ、などの表情であってよい。この場合、風船を膨らませるのに適切な表情としての口の表現となることから、視聴者は、風船のギフトに対する違和感を生じない利点がある。
 また、所定の表情等が発動する部位は、前記装着された前記ギフトの装着部位と、異なる部位であってよい。例えば、温泉タオルのギフトについて、頭の上に温泉タオルを置く状態によるギフトの装着と同時に、頭とは異なる部位である目について、目が横線になる、などの表情であってよい。また、指に装着する指輪のギフトについて、指輪を装着に伴い、指と異なる部位である目について、目がハートになる、などの表情であってよい。また、ポッキーのギフトについて、ポッキーを食べる状態による口への装着に伴い、口とは異なる部位である目および頬の部位について、目をつむる、頬が赤くなる、などの表情であってよい。
 また、所定の表情等は、ギフトが表示されている方向に連動して変化する、ものであってよい。仮想空間内において、ギフトがどの場所に出現するか、配信者には分からない場合がある。このとき、ギフトが提供されていても、配信者は気づかず、結果として、配信者に係るアバターも、そのギフトに反応ができないことがある。そこで、アバターに係る表情が、ギフトが表示されている方向に連動して変化することにより、ギフトを提供した視聴者は、アバターが反応したと理解し、よりコミュニケーションが活発化できる利点がある。ここで、ギフトが表示されている方向に連動して変化する所定の表情等の設定の態様としては、種々のものがあってよい。また、ギフトが表示されている方向に連動して変化する所定の表情等内の部位は、一つでもよいし、複数でもよい。例えば、所定の表情等は、1)ギフトが表示されている方向に視線を向ける目を含んでもよいし、2)ギフトが表示されている方向に対して口や眉毛が変化する態様を含んでもよいし、3)ギフトが表示されている方向に顔を向けてもよいし、4)手のひらを眉の前方に位置させて遠方を見るようなポーズをしてもよい。また、その他の態様の例としては、お肉のギフトが提供された場合に、所定の表情として、かかるお肉のギフトの表示側にもぐもぐした口を寄せた表情としてもよい。また、タワーギフトが提供された場合、かかるタワーギフトが表示された方向を向いて、所定の表情として、驚いて目を寄せた表情としてもよい。なお、かかる場合において、ギフトの位置に係る情報は、ギフトの回転情報を用いてもよい。
 所定のポーズは、種々のポーズであってよい。ポーズは、アバターの体の一部のみであってもよいし、アバターの体の全体であってもよい。例えば、首をかしげるポーズとして頭部周辺のみのポーズや、ガッツポーズのように上半身のみのポーズであってもよいし、銃を構えるポーズのような全体のポーズでもよい。
 また、ギフトに係る情報が、ギフトが提供されたアバターを特定する情報を含む場合、条件が適用された場合に所定の表情等とするアバターは、係る特定されたアバターに対しての処理であってよい。
 所定の条件は、ギフトに係る情報、及び/又は、アバターに係る情報、を用いてよい。
 ギフトに係る情報は、上述の通り、ギフトの属性、ギフトに係る優先度、ギフトに係る位置、ギフトの表示開始、ギフトの表示変化、ギフトの表示終了、及び/又は、複数のギフトに係る情報を含んでよい。
 アバターに係る情報は、上述の通り、アバターに係る位置、アバターの種類、アバターに係る表情のパラメータ、アバターに係る動作、及び/又は、アバターに係る状況、を含んでよい。
 ギフトに係る優先度は、所定時間内に、複数のギフトが提供された場合において、それらの複数のギフトのうちの一部のギフトを用いて、所定の表情等が適用される場合に、どの一部のギフトに基づいて所定の表情等を設定するか、に用いられてよい。この場合、一部のギフトとして、一つのギフトに係る情報を用いてもよいし、複数のギフトに係る情報を用いてもよい。ギフトに係る優先度を設定することにより、所定時間内に提供されたギフトについての処理を適切に対応できる利点がある。
 例えば、所定の時間内に、5つのギフトが提供された場合、1)この5つのギフトの中で優先度の最も高い一のギフトのみについてのギフトに係る情報に対し所定の条件が適用されてもよいし、2)最も優先度の高い一のギフト及び次に優先度の高い他のギフトのみについてのギフトに係る情報に対し所定の条件が適用されてもよいし、3)優先度が所定順位以内の他のギフトについてのギフトに係る情報に対し所定の条件が適用されてもよい。この場合、ギフトに係る優先度は、所定の条件が適用される対象を選択するという意味において、所定の条件の適用の事前条件としての機能を有してよい。
 なお、所定の条件として、ギフトに係る優先度を用いない場合、ギフトに係る情報を取得したギフトについて、ギフトに係る情報を取得した時間順に所定の条件を適用してもよい。ここで取得した時間順とは、ネットワークの混雑具合や情報処理の進み方などに応じて最終的に取得したギフトに係る情報の取得の時間順でもよいし、視聴者端末や配信者端末やサーバにおいてギフトの提供の指示を取得した時間順でもよい。後者は、例えば、端末やサーバにおいて指示を取得した時間順に時間情報と関連付けて、かかる時間順を決定してもよい。この場合、次のギフトに係る情報を取得した場合、前のギフトに係る情報に基づく所定の表情等の設定を次のギフトに係る情報に基づく所定の表情等に置き換えて設定し前の所定の表情等の情報を削除してもよいし、前の所定の表情等の情報を継続して次のギフトに係る情報についての所定の表情等は設定しないとしてもよい。前者の場合、与えられたギフトに対応する所定の表情等をアバターに表示できる利点がある。他方、後者の場合、設定しない所定の表情等があるとしても、一旦設定された所定の表情等を視聴者が理解できるよう継続して表示できる利点がある。なお、かかる場合、所定の条件は、第1ギフトが提供された時間と第2ギフトが提供された時間間隔である第1ギフトと第2ギフトとの時間に係る情報 とを用いて、所定の表情等を特定してよい。
 ギフトに係る優先度は、ギフトの価格、ギフトの表示される大きさ、ギフトのレベル、ギフトの仮想空間内の出現場所、ギフトの種類、ギフトの提供者に係る情報、及び/又は、ギフトの提供されたタイミング、などを用いて生成されたものであってよい。
 ギフトの価格(消費するポイント)、ギフトの表示される大きさ、ギフトのレベルについては、価格、大きさ、レベル数の大きいギフトが、価格、大きさ、レベル数の小さいギフトよりも、高い優先度が設定されていてよい。この場合、価格、大きさ、レベル数、の大きいギフトが提供された場合の方が、所定の表情等に影響を与え、より活性化させる機能を有してよい。また、これとは逆に設定してもよい。
 ギフトの仮想空間内の出現場所としては、例えば、仮想空間内の中央に出現したギフトを、仮想空間内の左右などの端に出現したギフトよりも、優先度を高く設定してよい。仮想空間内の目立ちやすい場所に出現したギフトの優先度を高くした場合、視聴者は、目立ちやすい場所に出現したギフトを視野に入れることができるため、視聴者は、所定の表情等の意味を理解しやすくなる利点がある。
 また、ギフトに係る優先度は、そのギフトに予め設定されている静的な情報であってもよいし、ギフトが提供された段階で初めて設定される動的な情報であってもよい。前者は、例えば、ギフトの価格、ギフトの表示される大きさ、ギフトの種類などがあってよい。後者は、ギフトの仮想空間内の出現場所、ギフトの提供者、ギフトの提供されたタイミング、などであってよい。また、ギフトの価格については、オークション形式などの動的に設定される情報であってもよい。ギフトに係る優先度が動的に設定される場合、より適切かつダイナミックに、所定の表情等を設定されるギフトを選定できる利点がある。
 ギフトの種類は、ギフトの具体的な内容であって良く、種々のものであってよい。ギフトの提供されたタイミングは、先に提供されたギフトを、後に提供されたギフトよりも高い優先度を設定してもよい。
 また、ギフトに係る優先度としてギフトの提供者に係る情報を用いる例としては、ギフトを提供者に応じて、ギフトに係る優先度を異なる設定とすることが考えられる。例えば、ある視聴者が所定の配信において特定の地位を有している場合、かかる地位を有していない者のギフトよりも、かかる地位を有している者のギフトの優先度を高く設定してもよい。かかる地位はその配信において視聴者が特定の会員であったり、特定の優待的な立場などに基づいてもよい。また、提供されたギフトの提供者についての、配信の視聴の頻度や、配信の視聴の合計時間、ギフトが提供されるアバターについての配信の視聴の頻度や視聴の合計時間、ギフトが提供されるアバターに係る配信者の配信についての視聴の頻度や視聴の合計時間、現在視聴中の配信において提供したギフトの数、ギフトの合計金額、及び/又は、ギフトの頻度、などに基づいて設定されたものでもよい。また、ギフトの提供者が、アバターに係る配信者との間の応援ランキングに係る情報や、ギフトの提供者がアバターに係る配信者と相互フォロワーである場合等は、かかる情報に基づいて、対応する優先度を設定してよい。応援ランキングに係る情報は例えば、視聴者のアクティビティに係る情報から算出されるランキングの情報を含んでよい。視聴者のアクティビティに係る情報としては、例えば、視聴者の提供したギフトの合計数、ギフトの価格の合計額、ギフトのレベルの合計値、ギフトに係る情報を用いた評価値、視聴者のコメント数、視聴者のいいね数、またはこれらを用いた情報など、を含んでよい。
 特定の配信者のアバターの配信について、より熱烈な視聴者であるほど、その提供するギフトに対して所定の表情等が適用できる可能性が高く設定される場合、視聴者の熱中度を向上する作用が働く可能性がある。
 なお、上述のギフトに係る優先度は、1)所定の条件の一部として複数のギフトのうちの一部のギフトを選択するために使用されてもよいし、2)優先度に対応した所定の表情等を設定するのに使用されてもよいし、3)その両方である複数のギフトのうちの一部のギフトを選択するために使用されかつ係る優先度に対応する所定の表情等を特定するのに使用されてもよい。例えば、ギフトのレベルが5のギフトに係る情報を取得した場合に適用される所定の表情等と、同一のギフトのレベルが3のギフトに係る情報を取得した場合に適用される所定の表情等とが、異なってもよい。例えば、あるギフトについて、ギフトのレベル3の場合の所定の表情等は、口と口ひげのみを規定した所定の表情等が設定されるのに対し、ギフトのレベルが5の場合の所定の表情等は、口と口ひげに加えて眉毛を規定した所定の表情等が設定されるものであってよい。なお後者における所定の表情等は、口ひげと、眉毛と、目の態様を規定した所定の表情が設定される(口についての設定がなくなる)というように、ギフトのレベルが高い場合、低いレベルの表情を包含する表情であってもよい。また、その他の態様として、例えば、あるギフトについて、ギフトのレベル3の場合の所定の表情等は、口と口ひげのみを規定した所定の表情等が設定されるのに対し、ギフトのレベルが5の場合の所定の表情等は、口の規定はなく、口ひげと眉毛を規定した所定の表情等が設定されるもの、というように、ギフトのレベルが高い場合の所定の表情等が、ギフトのレベルが低い場合の所定の表情等を包含しなくてもよい。上述のギフトのレベル3と5に対応する各表情のように、所定の条件が段階的なものを含み、対応する所定の表情等についても、対応して、段階的なものであって、その各所定の表情等を異なるものとしてもよい。
 また、所定の条件は、ギフトに係る情報と、アバターに係る情報と、の両方を用いてもよい。
 例えば、所定の条件は、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲内に入ることを含むものであってよい。ここで、ギフトに係る位置は、ギフトに予め設定された箇所の位置でもよいし、ギフトが表示された場合の外円や多角形に係る位置でもよいし、ギフトが表示された場合の重心の位置でもよい。外円に係る位置は、外円の中心や外円の接線を用いて特定される位置でもよい。また、多角形に係る位置は、多角形の中心や多角形の頂点や辺などを用いて特定される位置でもよい。前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情等を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダー、のいずれかであってよい。
 所定の条件において、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲内に入ることを含むことを用いることにより、視聴者は、所定の表情等がされたことの意味を理解しやすい利点がある。
 なお、上記とは逆に、所定の条件において、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲外となることを含んでもよい。特に、前記アバターに係る位置と、前記ギフトに係る位置と、が所定時間内に所定距離離れたことを含んでもよい。この場合、ギフトとアバターとが離れる方向に相対的に移動する状況が示されているが、例えば、アバターの所定の表情として涙が出てくる、などの表情が設定されてもよい。
 また、アバターに係る情報として、アバターが属するタイプを用いてもよい。例えば、所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いてもよい。これは、あるギフトに係る情報を取得した場合、第1のアバターの種類においては所定の表情等となるが、第2のアバターの種類においては所定の表情等とならない、ものであってよい。例えば、あるタイプのアバターは、弱気な性格の設定であるとして、おばけギフトが提供された場合に、怖がる表情が出やすくなってよい。また、あるタイプのアバターは、陽気な性格の設定であるとして、所定の表情等として、笑顔を含む表情となる条件が、他のアバターよりも、緩いよう設定されていてよい。なお、この場合、アバターについて、弱気、陽気、強気、負けず嫌い、など性格という特性を備えさせ、かかる性格という特性を用いて、所定の条件の充足が判定されてよい。なお、性格は、アバターの属するタイプに応じて設定されているものでもよいし、アバターの属するタイプとは別に個々のアバターについて設定されているものであってもよい。
 なお、所定の条件は、確率を含んでよい。すなわち、所定の条件は、疑似乱数関数等を含み、かかる関数値が所定の条件を充足した場合に、所定の表情等を生成してもよい。かかる確率を含む場合、常に、所定の表情等が生成されるわけではないため、視聴者の興味を継続的に引くことができる。また、例えば、その確率値を所定の値よりも低くする場合において、稀な表情とする場合、視聴者が貴重な表情を見ることができるという点において、視聴者の興味を引くことができる。
 また、アバターに係る情報として、アバターの動作を含んでもよい。例えば、拳銃のギフトに係る情報と、銃を撃つ動作のアバターの動作がされた場合、拳銃を狙う勇ましい顔になってよい。なお、かかる場合において、銃の種類に応じて、異なる表情になってもよい。例えば、バズーカ砲と、狙撃銃と、拳銃と、機関銃と、はその一部の組み合わせにおいて、同じ表情であってもよいし、異なる表情であってもよい。
 また、アバターに係る情報として、アバターに係る状況を含んでもよい。例えば、アバターが、特定の穴に落ちて出られない状況になっている場合において、縄梯子のギフトが提供された場合、所定の表情として、満面の笑顔を示す所定の表情を設定してもよい。
 また、所定の条件として、ギフトの表示開始の情報、ギフトの表示変化の情報、及び/又は、ギフトの表示終了の情報、という個々のギフトの表示のタイミングを用いて、所定の条件の充足を判定してもよい。この場合、ギフトの表示の開始、変化、終了という、ギフトの表示に対応して、アバターの表情やポーズに変化が生じることから、視聴者は、アバターの表情やポーズの変化の意味を、ギフトと関連付けて、理解しやすくなる利点がある。
 また、所定の条件として、ギフトが属性として有する情報を用いてもよい。ギフトの属性は、ギフトの種類や、ギフトのレベル、などのギフトが備える特性を含んでもよいし、含まなくともよい。また、ギフトが有する特定の特徴に応じて、所定の条件が充足されるよう所定の条件が設定されてよく、対応する所定の表情等が設定されてよい。
 ギフトの種類は、例えば、ギフトが提供される時期的情報、ギフトの分類の情報、ギフトが装着される部位、などがあってよい。ギフトが提供される時期的情報は、新規にリリースされたもの、リリース後所定期間内のもの、ハロウィーン限定のように所定の時期的なイベントに対応したもの、などであってよい。ギフトの分類の情報としては、無料のギフト、アクセサリーのもの、応援グッズ、などであってよい。また、ギフトが装着される部位は、目、口、鼻、おでこ、耳、手、足など、又はこれらの組み合わせ、などであってよい。
 ギフトのレベルは、同じ又は異なる他のギフトと組み合わせることにより、レベルアップすることができてよい。そして、同じギフトであるとしても、第1のレベルのギフトと、第2のレベルのギフトと、を取得した場合、レベルの高いギフトの場合の方が、豪華な所定の表情等が設定されてよい。例えば、第1の所定の表情等が、第2の所定の表情等よりも、豪華であるとは、例えば、所定の表情等として設定されるパラメータが多い場合、所定の表情等によって影響される部位が多い、などが挙げられる。
 また、前記ギフトに係る情報は、第1ギフトに係る情報と、第2ギフトに係る情報と、を含み、前記所定の条件は、前記第1ギフトに係る情報と、前記第2ギフトに係る情報と、の組み合わせ、順番、及び/又は、前記第1ギフトと前記第2ギフトの時間に係る情報と、を用いる、ものでもよい。
 例えば、アバターが所定の組み合わせのギフトを与えられた場合、かかるアバターの表情を所定の表情等としてもよい。より具体的には、例えば、アバターが、RPGのギフトとして、勇者の盾、勇者の剣、勇者のマント、の3種のギフトが提供された場合、かかるアバターの表情として、勇者の勇ましい顔に設定されてよい。なお、かかる場合において設定される所定の表情等は、与えられたギフトの組み合わせから、示唆されるものであってよい。一例を挙げれば、カエルの盾、カエルの件、カエルのマントであれば、カエルのような顔になってよい。
 また、ギフトに係る情報が所定の順序で取得した場合に限り、所定の条件が充足されるよう設定されてもよい。例えば、ギフトとして、はちまきが与えられた段階で目が燃えているようなメラメラする表情が設定されるとし、更にギフトとして、サングラスが与えられると、サングラスをしていても目がメラメラしている様子が分かる程度に、単にハチマキだけを装着した時の目がメラメラした表示よりも、目がメラメラした表示が大きい表情が設定されてもよい。かかる大きな目のメラメラした表示の表情は、サングラスの後にハチマキが与えられた場合には適用されないとしてもよいし、同一の表情になるよう設定してもよい。
 条件適用部は、所定の条件の充足によって特定された表情を、前記ギフトが提供されたアバターについての表情としてよい。より具体的には、所定の条件の充足によって特定された表情を示す情報は、特定された表情を示すIDや、特定された表情を示す表情の一又は複数のパラメータであってよく、かかる特定された表情を、かかるアバターの表情とできるように、かかる特定された表情を示す情報を用いて、アバターの表情を設定してよい。かかるIDやパラメータの情報は、条件適用部において特定又は生成された後、かかる情報が、映像やアニメーションの生成のためにサーバや端末に送信され、所定期間、利用されてよい。ここで、条件適用部は、各所定の条件と関連付けて、特定される表情を示す情報を記憶してよく、かかる各所定の条件が充足された場合に、対応する特定される表情を示す情報を特定できるよう構成されてよい。
 かかる処理において、条件適用部が実行される第1情報処理装置と、かかるアバターの表情の設定を含む処理を行う第2情報処理装置と、が同じ場合、条件適用部は、条件適用部が所定の条件の充足によって特定した表情を用いて、前記アバターの表情と設定するよう処理してよい。
 また、条件適用部が実行される第1情報処理装置と、かかるアバターの表情の設定を含む処理を行う第2情報処理装置と、が異なる場合、条件適用部が所定の条件の充足によって特定した表情を、第1情報処理装置は、第2情報処理装置に送信し、かかる第2情報処理装置において、特定された表情を用いて、前記アバターの表情と設定するよう処理してよい。
 ここで、第1情報処理装置がサーバであって、第2情報処理装置がサーバである場合は、第1情報処理装置のサーバから、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置がサーバであって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置のサーバから、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置がサーバであって、第2情報処理装置が配信者端末である場合は、第1情報処理装置のサーバから、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
 同様に、第1情報処理装置が視聴者端末であって、第2情報処理装置がサーバである場合は、第1情報処理装置の視聴者端末から、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が視聴者端末であって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置の視聴者端末から、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が視聴者端末であって、第2情報処理装置が配信者端末である場合は、第1情報処理装置の視聴者端末から、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
 同様に、第1情報処理装置が配信者端末であって、第2情報処理装置がサーバである場合は、第1情報処理装置の配信者端末から、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。第1情報処理装置が配信者端末であって、第2情報処理装置が配信者端末である場合は、第1情報処理装置の配信者端末から、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が配信者端末であって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置の配信者端末から、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。
 上記では、条件適用部が、単一の情報処理装置において実行される態様を示しているが、複数の情報処理装置において条件適用部を分散して処理してもよい。
 また、所定の条件は、所定の表情等が設定されるタイミングを含んでよい。上述の種々の条件において、アバターに係る位置とギフトに係る位置とが所定の距離の範囲内になったタイミングによって、所定の表情等が設定され、かかる所定の表情等の情報を含む情報が、表示される情報処理装置に送信されて、表示されてよい。この場合のタイミングのずれは、通信や処理のタイムラグが含まれてよい。
 他方、所定の条件が充足された上で、所定の表情等が設定されるタイミングは、別途設定されたものが使用されてもよい。例えば、所定の条件が設定されてから、2秒後に、所定の表情等になる、というものでもよい。一例としては、アバターが驚くような状況が生じて、その2秒後という故意に遅らせたタイミングで、所定の驚きの表情を設定するものなどでもよい。
 図8及び図9は、所定の条件のルールの一例である。ギフトに係る情報のみ、及び/又は、アバターに係る情報を、所定の条件として用いることにより、対応する、所定の表情等が特定されるものとなる。
 上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等が実現できることとなり、仮想空間内のアバターの表情やポーズにバリエーションを持たせることができる利点がある。また、演者がタブレットなどを用いてバターの表情を自ら指定できる場合であっても、スタジオ配信においてオペレータによって装着ギフトが装着される場合、演者が装着されたことに気づかないこともあるため、そのような場合において演者が何ら操作しなくとも、ギフトに対応する表情又はポーズがアバターに適用できる利点がある。すなわち、所定の表情又はポーズとするための情報は、前記配信者からギフトを提供する以外の操作なしに、生成されてよい。
 また、上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等を自動的に実現できることとなり、視聴者端末から、ギフトの提供のみで、その他の視聴者端末からの操作なく、アバターの表情が変更する結果が生じる反応を楽しむことのできる利点がある。
 次に、現実に生じるものについて、説明する。
 また、所定の表情等は、生じる所定の動作等と関連する表情等であってよい。この場合、視聴者は、所定の表情等が表現される理由を、所定の動作等と関連付けて、容易に理解できる利点がある。
 また、所定の表情等は、表情等を構成する全ての個所についてのパラメータに作用してもよいし、その一部のパラメータに作用してもよい。例えば、所定の表情等は、口についてのパラメータのみに作用し、口以外の個所についてのパラメータは、配信者の表情に連動するパラメータであって、配信者端末から配信者の表情の動きに対応した情報に基づくパラメータであってよい。また、所定の表情等は、アバターの外観を含んでもよい。例えば、所定の表情等は、アバターが黒焦げになる演出を含んでよい。なお、パラメータの例としては、目や口の開口度を示すパラメータ(例えば、0%から100%)を示す数値を含んでもよいし、口の両端の左右位置や上下位置を示すパラメータを含んでもよいし、眉の上下位置を示すパラメータを含んでもよい。
 所定のポーズは、種々のポーズであってよい。ポーズは、アバターの体の一部のみであってもよいし、アバターの体の全体であってもよい。例えば、首をかしげるポーズとして頭部のみのポーズや、手が大きくなったり手が赤く腫れた演出を含む手のみのポーズや、ガッツポーズのように上半身のみのポーズであってもよいし、銃を構えるポーズや全身でジャンプするような全体のポーズでもよい。
 所定の条件は、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報、を用いてよい。
 前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作であってよい。また、前記配信者の所定の動作は、所定の対象を見る動作を含んでよい。例えば、配信者が、配信者のいるステージや居室などの場所において、他の配信者や所定の物などの所定の対象を見て驚いた場合、所定の表情等として、驚く表情が設定されてよい。
 また、所定の対象は、配信者に驚きの感情をもたらす物に限らず、他の感情や感覚をもたらす物であってよく、例えば、怖いという感情をもたらす物、ステーキなどの好きだという感情をもたらす物、納豆などの嫌いだという感情をもたらす物、など人が対象を見たときに一定の感情や感覚が生じる物であってよい。また、かかる物を見た場合の所定の表情等についても、かかる対象を見た場合に人が一般的に生じる顔を示す所定の表情等が設定されてよい。上述の怖いという感情をもたらす物、好きだという感情をもたらす物、嫌いだという感情をもたらす物、については、対応して、ぞっとする表情、笑顔、嫌悪の表情、などであってよい。
 また、所定の対象が他の配信者である場合、所定の対象を見る動作は、一の配信者の視線と他の配信者の目を見ることを含んでよい。この場合、かかる他の配信者もかかる一の配信者の目を見た場合、一の配信者と他の配信者とは視線が合うことになる。このような場合に、アバターを所定の表情等に設定してよい。なお、配信者同士の視線が合致している場合、一方のアバターについてのみ、所定の表情等が設定されてもよいし、両方のアバターについて、所定の表情等が設定されてもよい。後者は、例えば、視線が合って、両方のアバターの顔が赤くなる表情やドキドキしている表情等が考えられる。また、後者の両方のアバターについて所定の表情等が設定される場合において、かかる設定される表情等は、同一の所定の表情等であってもよいし、異なる所定の表情等であってもよい。かかる異なる所定の表情等となる理由としては、アバターの属するタイプに応じた所定の表情等であってもよいし、アバターの好みや性質等に応じた所定の表情等であってもよいし、確率的に選定された所定の表情等であってもよい。
 この場合、配信者を含む配信者周辺を撮像視野とする撮像装置によって、配信者を撮像しておき、かかる撮像された画像内で、配信者と他の配信者との距離が所定の距離以下になった場合や、配信者が他の配信者を見た場合に、所定の表情等を設定してよい。後者の配信者が他の配信者を見ることは、画像内における画像処理として、配信者の視線をRaycastなどすることにより配信者の目の視線の方向を計算し、かかる視線が他の配信者と交差した場合に、他の配信者を見ると判定してよい。
同様に、配信者と物の距離が所定の距離以下になった場合や、配信者がかかる物を見た場合に、所定の表情等を設定してよい。また、前記配信者の所定の動作は、所定の対象に接触する動作を含んでよい。所定の対象は、予め定められていてよく、かかる接触動作は、上述のように、配信者を含む配信者周辺を撮像視野とする撮像装置によって、配信者を撮像しておき、かかる撮像された画像内で、配信者と所定の物との距離が所定の距離以下になった場合や、配信者と所定の物との距離が0になった場合に、所定の表情等を設定してよい。
 この点、配信者を撮像する撮像装置の位置によっては、配信者が所定の物と接触するタイミングと、画像内における配信者の輪郭と所定の物の輪郭の接触が、異なるタイミングの場合がある。特に後者は、配信者自身が所定の物と接触していないにもかかわらず、画像上、配信者の輪郭と所定の物の輪郭に重複が生じる場合がある。そこで、画像処理を用いた判定に加えて、又は、画像処理を用いた判定に代えて、配信者が身に着けるセンサを用いてよい。例えば、配信者がセンサ付きのグローブを身に着け、かかるグローブと所定の物との接触をグローブ内のセンサにより検知する構成としてもよい。また、配信者が体に備え付けるセンサによって、他の配信者と接触したり、他の物と接触したりする状況を検知してもよい。また、配信者が体に備え付けるセンサは、マーカー式のトラッカーであってもよい。また、物についても一又は複数のトラッカーを備え付けることで、かかる物に備えられたトラッカーと配信者の体に備え付けられたトラッカーとの関係によって、配信者と物との接触等の関係を判定してよい。
 また、前記配信者の所定の動作として、握手する動作を含んでよい。握手は、配信者が装着したセンサ付きのグローブによって指の動きを検知し、握手の指の動きが検知された場合に、握手していると判定されてよい。
 また、前記配信者の所定の動作は、所定の対象の飲食動作を含んでよい。飲食動作は、配信者ののどに巻き付ける形のセンサを用いて、のどの動きを検知することを介して、配信者が飲食動作をしていることが検知されてよい。配信者が飲食動作をした場合における所定の動作等としては、配信者に係るアバターが口の中に食べ物を入れた状態で口を動かす動作があげられる。例えば、口をもぐもぐしている表情であってもよい。かかる飲食中の表情は、口の動きに応じるものであって良く、かかる口の動きは、上述ののどの動きに対応したものであってよい。また、上述の技術と共に、または、上述の技術に代えて、配信者を撮像した画像内の情報に基づいて、所定の動作等を設定してもよい。例えば、配信者が所定の物を食べていることを画像内の情報に基づいて判定し、かかる所定の物を食べる対応する食べ方を示す表情としてもよい。例えば、配信者が、ラーメンを食べるとき、カレーを食べるとき、お肉を食べるとき、お魚を食べるとき、野菜を食べるとき、などにおいて、対応する食べ物のアイテム(ラーメン、カレー、お肉、お魚、野菜、など)を仮想空間内のアイテム又はアニメーションとして演出しつつ、かかる食べ物に対応した食べ方を所定の表情等としてもよい。例えば、お肉を食べる場合には、骨付きお肉を横からかぶりつく食べ方、カレーであればスプーンで食べる食べ方等であって良い。また、前記所定の対象に対応するものを、仮想空間上に演出するアイテムを生成してよい。食べ物を食べる表情であれば、対応する上述の食べ物のアイテムを生成し、演出させてもよい。
 なお、上述では、仮想空間上に演出として表示されるアイテムとして、飲食動作に対応する食べ物又は飲み物のアイテムを説明したが、新たに表示されるアイテムは、これらに限られない。例えば、配信者が、現実空間内において知覚した物に対応する物のアイテムが、仮想空間上に演出されるアイテムとして、表示されてよい。例えば、楽器の音が聞こえた場合には、楽器がアイテムとして、表示されてよい。また、たらいやボールなどが配信者に対して接触した場合には、かかる対応するたらいやボールのアイテムが、画面上に演出として、表示されてよい。
 また、かかる演出として表示されるアイテムは、配信者に係るアバターが所定の表情等に設定されるタイミングに対応して、表示されてよい。また、配信者に係るアバターに対して設定される所定の表情等が元の配信者に対応するアバターの表情等に戻る場合、かかる演出として表示されるアイテムは画面上から消えてもよい。演出として表示されるアイテムは、配信者に係るアバターが所定の表情等が設定される間、対応して、かかるアイテムが表示されてよい。
 また、かかる演出として表示されるアイテムは、配信者に係る所定の動作等と関連してアイテムの位置が決定され、移動してもよい。例えば、配信者に係る所定の動作等において、音の強弱、動作の速さ、動作の距離、などに応じて、対応するアイテムの位置や動きや大きさが異なってもよい。更に具体的には、例えば、音が強い場合は、アイテムの位置が近く、音が弱い場合はアイテムの位置が遠い、などであってよい。また、例えば、食べる動作が速ければ、食べ物のアイテムの減りの速さが速い、などであってもよい。また、ボールが飛んできた場合には、かかるボールに対応するボールのアイテムを仮想空間上に表示させ、現実空間における飛んできたボールの速さや大きさに応じて、仮想空間内のボールの速さや大きさを対応付けて表示させてよい。この場合、現実空間内のボールの速さを仮想空間内のボールの速さに対応させ、現実空間内のボールの大きさを仮想空間内のボールの大きさに対応付けてもよいし、速さとボールを交互に対応付けてもよい。
 また、配信者の所定の動作として飲酒する場合、所定の表情等として、配信者に係るアバターの顔色を赤くするなどアルコールの影響下の表情をしてよい。飲酒は、アルコール検知器によって判定されてよい。また、アルコール検知器によって検知されたアルコールの分量に応じて、アバターの顔色を変化させてよい。例えば、アルコール量が第1の所定の範囲内の量を検知した場合は、アバターの顔色をピンク色に設定し、アルコール量が第1の所定の範囲内の量よりも多い第2の所定の範囲内の量を検知した場合は、アバターの顔色を赤色に設定し、アルコール量が第2の所定の範囲内の量よりも多い第3の所定の範囲内の量を検知した場合は、濃い赤色を設定する、などしてよい。
 前記配信者の所定の動作は、臭う又は匂う所定のジェスチャーを含んでよい。匂う所定のジェスチャーは、鼻に係る動作を含んでよい。例えば、鼻がいわゆるクンクン動く動作やひくひく動く動作のように一般人が匂いを感じることを示すジェスチャーをしている場合を含んでよい。また、臭う所定のジェスチャーは、鼻の穴を塞ごうとする動作や、息を吸うのを止める動作や、鼻の前の空気を手で移動する動作等、一般人が臭いを感じることを示すジェスチャーを含んでよい。また、臭う所定のジェスチャーは、鼻及び顔の動きのみでもよいし、手の動きのみでもよいし、それらの両方であってもよい。かかる動作は、表情等であってよい。
 かかる配信者の匂う又は臭う所定のジェスチャーは、モーションデータに基づき、ブレンドシェイプに基づいて鼻の情報を取得してもよい。また、光学センサや、画像処理によって情報を取得してもよい。
 また、配信者の所定の動作に対応するアバターの所定の表情等として、配信者による匂う又は臭う動作に対応して、配信者に係るアバターが匂う又は臭う表情等をさせてよい。所定の表情等としてのアバターの匂う又は臭う表情等も、同様に、一般人が匂い又は臭いを嗅いでいることを演出していると感じる所定の匂う又は臭う動作であってよい。かかるアバターによる匂う又は臭う表情等は、配信者による匂う又は臭う表情等と、同じ態様の表情等であってもよいし、異なる態様の表情等であってもよい。また、同じ態様の表情等である場合、アバターによる匂う又は臭う表情等は、配信者による匂う又は臭う表情等を、より動きの幅を大きくする、動きの速さの緩急を明確にするなどして、匂う又は臭う表情等であることが明確なものとしてよい。
 また、前記配信者の所定の動作は、音を聞く/聴くことについての所定のジェスチャーを含んでよい。音を聞く/聴くことについての所定のジェスチャーは、耳のみの動作でもよいし、頭部のみの動作でもよいし、手のみの動作でもよいし、これらの一部又は全部の動作でもよい。耳の動作としては、耳を動かす動作が挙げられる。頭部の動作としては、耳を一定の方向に向ける動作が挙げられる。一定の方向は、配信者が、音が聞こえると感じた方向であってよい。また、手の動作としては、手を耳の所定の範囲に近づける動作を含んでよい。また、手の動作としては、手の平を耳側に向ける動作を含んでよく、特定の方向から来る音のみを集める態様の形にしてよい。また、片手のみの動作でもよいし、両手の動作であってもよい。一方の耳について特定の方向から来る音のみを集める態様の形に手の平をした場合において、かかる特定の方向にかかる耳が近づくよう体の向きを変えてもよいし頭部の向きを変えてもよい。配信者の動作は、以上のような一般人が、音を聞こう/聴こうとしている動作であると認識するジェスチャーを含んでよい。かかる動作は、表情等であってよい。かかる配信者の表情等に対応して、配信者に係るアバターについての所定の表情等として、上述のような、一般人が音を聞こう/聴こうとしている表情等であると認識する表情等であってよい。かかるアバターによる音を聞こう/聴こうとしている表情等は、配信者による音を聞こう/聴こうとしている表情等と、同じ態様の表情等であってもよいし、異なる態様の表情等であってもよい。また、同じ態様の表情等である場合、アバターによる表情等は、配信者による音を聞こう/聴こうとしている表情等を、より動きの幅を大きくする、動きの速さの緩急を明確にするなどして、音を聞こう/聴こうとしている表情等であることが明確なものとしてよい。
 また、前記配信者に対して生じる所定の状況は、所定の音が生じることを含んでよい。所定の音は、人の音声であってもよいし、自然な音であってもよいし、楽器による音であってもよいし、人工的な音であってもよいし、演出的な音であってもよく、音の種類に制限はなくてよい。人の音声は、人の通常の声、人の通常とは異なる声、人の奇声、人の悲鳴、など、人から発生られる種々の声であってよい。自然の音は、風の音や、水の音、炎の音、台風の音、洪水の音、など種々のものであってよい。楽器による音は、バイオリン、ピアノ、フルート、など種々の楽器の音であってよい。人工的な音は、例えば、問題に対する正解を示すピンポンという効果音や、不正解を示すブーという効果音など種々のものであってよい。また、演出的な音は、例えば、おばけが登場する際に一般的に使用される音であって一般人がおばけの登場を認識可能なヒュードロドロという音であってもよい。
 所定の音は、種々の手法で検知されてよい。たとえば、配信者のいる居室やスタジオ等に設置されたマイクで配信者が聞くことが可能な音を検知してもよいし、スタジオにおけるオペレータの指示や配信者自身が入力する指示によって発生される音など配信者に対して音を聞かせることが可能な音発生装置からの情報を検知してもよい。
 かかる所定の音の発生に対応して、配信者に係るアバターの所定の表情等としては、かかる音に対応する所定の表情等としてよい。例えば、人の奇声や人の悲鳴が検知されると、所定の表情等として、アバターも奇声や悲鳴をあげる表情に設定されてよい。具体的には、上下に口を開けて目や眉毛を上下に動かすような一般人が悲鳴や奇声を上げていると認識可能な表情に設定してよい。また、ピンポンというような正解を示す効果音が検知された場合は、アバターの所定の表情等として閃いたような表情をしてもよい。この場合、仮想空間上の演出として、更に、アバターが閃いた状態を示すために、アバターの頭部から所定の範囲の周辺にエクスクラメーションマークを表示させてもよい。また、一般人がおばけの登場を認識可能なヒュードロドロという音に対し、所定の表情等として、アバターがおびえた表情をしてもよい。また、楽器の音が検知された場合、所定の表情等として、アバターが歌う表情をしてもよい。この場合、アバターの口が、楽器の音に合わせて、動いてよい。例えば、楽器の音の変化に合わせて、アバターの口が動いてよい。また、音量に応じて、配信者に係るアバターの所定の表情等が設定されてよい。例えば、所定の音よりも大きい音量の音が検出されると、配信者に係るアバターの所定の表情等として、耳をふさぐポーズが設定されてよい。また、所定の音よりも小さな音量の音が検出されると、配信者に係るアバターの所定の表情等として、耳と手との距離が所定の距離よりも短くなり、耳に手が接触する距離となって、耳に手をそえるポーズが設定されてよい。また、音の音質に応じて、配信者に係るアバターの所定の表情等が設定されてよい。例えば、所定の音質として設定されたダミ声が検出されると、配信者に係るアバターの所定の表情等として、厳しい表情が設定されてよい。また、所定の音質として設定されたファルセットが検出されると、配信者に係るアバターの所定の表情等として、酔いしれる表情が設定されてよい。
 また、前記配信者に対して生じる所定の状況は、所定の物が前記配信者に接触することを含んでよい。所定の物は、種々のものであってよい。例えば、ボール、バット、たらい、などのものであってよい。但し、実際に配信者に対して物が接触する場合、安全のために、本物でなく、かかる本物を模した物であってもよい。所定の物が接触した場合に、対応して、かかる配信者に係るアバターの所定の表情等として、対応する表情となってよい。例えば、接触により、驚いた表情や、痛がっている表情などとしてよい。この場合、仮想空間上の演出として、更に、アバターが痛がっている状態を示すために、アバターの頭部から所定の範囲の周辺に星のマークなど痛みを一般に示す演出を表示させてもよい。
 また、配信者の顔色は、顔色の変化を含んでよい。顔色の変化は、上述のように、配信者を撮像した画像処理に基づいて、判定されてよい。また、顔色の変化は、サーマルセンサーを用いて、配信者の顔の温度を用いて測定されてもよい。また、顔色の変化は、他の情報と合わせて、所定の表情等の設定に使用されてよい。例えば、顔色の変化と、アルコールを検知した情報と、を用いて、飲酒の程度を検知してよい。より具体的には、配信者の顔色が、通常の肌色から、ピンク色、赤色、などの色の変化と、検知されたアルコール量の分量の程度、に対応づけられている、アバターに係る所定の表情等を、設定してよい。かかるアバターの所定の表情等としては、上述のような、アルコールにより酔っている表情等であってよい。また、アルコールにより酔っている表情等として、アバターの足や体の動きを千鳥足の動きを含んでもよい。また、通常の肌色から、青白い色や白い色への顔色の変化と、おばけキャラなどの所定のアイテムと、を用いて、アバターに係る所定の表情等として、怖がっている表情を設定してよい
 また、前記配信者の声は、前記配信者の声の音質が所定の範囲以上変化すること、又は、前記配信者の声の音量が所定の量以上変化すること、を含んでよい。声の音質や声の音量は、マイクから検知された情報を用いて、判定されてよい。配信者の声に、一定の変化がある場合、かかる変化に応じた所定の表情等を設定してよい。また、かかる情報は、他の情報と合わせて、検知されてもよい。例えば、配信者の声の音質及び/又は音量と、配信者を撮像する撮像装置によって得られた画像に基づく情報と、を用いてアバターの所定の表情等を設定してよい。より具体的には、例えば、配信者の声の音量が所定の音量よりも大きく検出され、かつ、配信者が口に手を添えるように配信者の手と口とが所定の距離内であると判定された場合、配信者に係るアバターの所定の表情等として、かかるアバターの顔を赤くし、目をつむらせてよい。この場合、更に、メガホンを表示させる、及び/又は、声の大きさを示す雷のようなイラストを表示させてもよい。ここで、かかる雷のようなイラストは、声の大きさに応じた大きさであってよい。また、例えば、配信者の声が所定の音質よりも低い声であると検出され、配信者に係る眉毛の間隔が所定の長さよりも短いと判定された場合、配信者に係るアバターの所定の表情等として、かかるアバターの顔に怒りを示すマークを付けてよい。ここで、眉毛の間隔が所定の長さよりも短いことは、いわゆる、眉間にしわが寄っている状態であってよい。また、配信者が「変身」などの特定のキーワードを発したことが検出され、かつ、配信者が所定のポーズをしたと判定された場合、配信者に係るアバターの所定の表情等として、所定の変身アニメーションが表示されてもよい。例えば、配信者が片手を体の前方で円を描くように移動させると同時に「変身」などの音声を発した場合、例えば、仮面ライダーの変身アニメーションが起動され、配信者に係るアバターの所定の表情等として、表示されてよい。
 なお、検知した情報は、第三者が入力したことに起因して検知した情報を含んでよい。例えば、スタジオにおいて配信している場合、演出者と異なる第三者によって入力された情報を検知してもよい。例えば、問題に対して、演出者が回答したことに対し正解した場合のピンポン、という音は、かかる音自体を検知する場合に加えて、又は、代えて、かかるピンポンという音を入力した第三者による入力情報を検知した情報であってよい。また、音以外の情報においても、例えば、演出者が他の演出者を含む他の者や何かの物と接触した場合の接触したことを示す情報を、第三者が入力してもよいし、演出者が、食べ物を食べる飲むなどの飲食動作について、第三者が対応する情報を入力してもよいし、匂い又は臭いが発生していることの情報を、第三者が入力してもよい。このように、配信者が五感で認識可能な情報を、配信者自身又は第三者による入力を検知する情報としてもよい。
 また、所定の条件は、複数の所定の条件が成立する場合がある。例えば、一の配信者が他の配信者を見ると同時に、かかる一の配信者に対して、第三の配信者が接触する場合等である。このような場合、他の配信者を見ること及び第三の配信者との距離が所定の距離の範囲内であることの各条件に対応する所定の表情等が異なる場合、複数の所定の条件が充足した場合の処理が定められていてよい。例えば、所定の時間内において、第1の所定の条件が充足し、かつ、第2の所定の条件が充足した場合、前記第1の所定の条件又は前記第2の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用してよい。ここで、優先度は、各所定の条件と、関連付けられて、記憶されていてもよいし、複数の所定の条件が充足した場合のルールとして設定されていてもよい。例えば、所定の条件として、A1、A2、A3、A4などがあった場合において、各所定の条件同士を比較した上で優先される所定の条件を選定できるものであればよい。かかる優先度を用いた機能により、複数の所定の条件が充足された場合においても、特にほぼ同時に複数の所定の条件が充足された場合においても、適確に処理できる利点がある。また、かかる優先度は、確率が用いられてもよい。例えば、確率が、疑似乱数関数等によって判定される場合であって、第1の所定の条件と第2の所定の条件とが充足している場合において、かかる疑似乱数関数値が所定の値以下の場合は、第1の所定の条件に対応する所定の表情等が適用され、所定の値を超える場合は、第2の所定の条件に対応する所定の表情等が適用される、と処理されてよい。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
 なお、充足しうる複数の条件についての判定において、所定の時間の経過を待って判断することから、所定の時間をある時間以上に設定した場合、所定の条件の充足から所定の表情等の演出まで、タイムラグが生じる可能性がある。そのため、かかる優先度を設けずに、上述の複数の条件が成立する場合に、時間的に先行して充足された所定の条件に対応する所定の表情等を設定してもよい。ここで時間的に先行するとは、ネットワークや情報処理などの結果、実質的にはほぼ同時に所定の条件が成立した場合においても、処理部が所定の条件の充足を先に判定したものであってよい。この場合、所定の時間の経過を待たずに、先に充足した所定の条件に対応する所定の表情等を設定できる利点がある。なお、かかる場合において、後に充足した所定の条件に対応する所定の表情等を設定してもよいし、設定しなくともよい。設定する場合、先に充足された所定の条件に対応する所定の表情等は上書きされてしまうが、後に充足された所定の条件に対応する所定の表情等も視聴者に演出できる利点がある。他方、設定しない場合、先行した所定の表情等について、視聴者は十分楽しむことができる利点がある。なお、このように、第1の所定の条件と第2の所定の条件について、双方ともに充足する場合、第1の所定の条件が充足したタイミングと、第2の所定の条件が充足したタイミングに応じて、所定の表情等を設定してもよい。例えば、第1の所定の条件が充足した第1タイミングと、第2の所定の条件が充足した第2タイミングと、の間の時間が所定の時間よりも短い場合、第1の所定の条件に対応する第1の所定の表情等のみを演出し、第2の所定の条件に対応する第2の所定の表情等を演出しない処理としてよい。この場合、第1の所定の表情等の演出について、視聴者は、途中で変更されず、楽しむことができる利点がある。他の他方、前記第1タイミングと前記第2タイミングとの間の時間が所定の時間よりも長い場合、前記第2の所定の条件が充足したタイミングで、前記第2の所定の条件に対応する所定の表情等を設定してもよい。この場合、視聴者は、第1の所定の表情等に続き、第2の所定の表情等も両方の演出を楽しむことができる利点がある。
 なお、かかる第1のタイミングと第2のタイミングとの間の時間について判定する上述の所定の時間は、充足される所定の条件の組に応じて設定されてもよい。例えば、第1の所定の条件が充足した場合に第1の所定の表情等が演出され、第2の所定の条件が充足した場合に第2の所定の表情等が演出され、第3の所定の条件が充足した場合に第3の所定の表情等が演出されたとする。また、第1の所定の条件が第1のタイミングで充足され、第2の所定の条件が第2のタイミングで充足され、第3の所定の条件が第3のタイミングで充足されたとする。この時、第1のタイミングと第2のタイミングとの間の時間が、第12所定の時間よりも短い場合に、第2の所定の表情等が演出されず、第12所定の時間以上の場合に第2の所定の表情等が演出されるとする。また、第1のタイミングと第3のタイミングとの間の時間が、第13所定の時間よりも短い場合に、第3の所定の表情等が演出されず、第13所定の時間以上の場合に第3の所定の表情等が演出されるとする。このとき、第12所定の時間と第13所定の時間は、同じであってもよいし、異なってもよい。第12所定の時間と第13所定の時間が同じである場合は、第1の所定の条件の充足の後に、第2の所定の条件が充足されても、第3の所定の条件が充足されても、第1の所定の表情等の演出時間に変わりがないことを意味する。他方、第12所定の時間と第13所定の時間が異なる場合は、第1の所定の条件の充足の後に、第2の所定の条件が充足する場合と、第3の所定の条件が充足する場合と、において、第1の所定の表情等の演出時間が変化することになる。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
 なお、上述において、優先度は、所定の条件と関連付けられている、又は、充足される所定の条件についてのルールの例を説明したが、そのほか、優先度は、所定の条件内の物、イベント、状況、などと関連付けられていてもよい。
 所定の条件に係る物、イベント、状況(本願書類において、物等、ということもある)に係る優先度は、物等の表示される大きさ、物等の出現場所、物等の出現のタイミング、などを用いて生成されたものであってよい。
 例えば、物等の表示される大きさ、については、第1の物等の大きさよりも、第2の物等の表示される大きさが大きい場合、かかる第2の物等に対して、かかる第1の物等よりも、高い優先度が設定されていてよい。この場合、表示される大きい方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、上述とは逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
 また、物等の大きさの他に、物等に価格がある場合は価格であってもよいし、物等に消費ポイントが設定されている場合には消費ポイントであってもよい。例えば、第1の物等の価格よりも、第2の物等の価格が高い場合、かかる第2の物等に対して、かかる第1の物等よりも、高い優先度が設定されていてよい。この場合、価格が高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、上述とは逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。また、同様に、消費ポイントについても、例えば、第1の物等の消費ポイントよりも、第2の物等の消費ポイントが高い場合、かかる第2の物等に対して、かかる第1の物等よりも、高い優先度が設定されていてよい。この場合、価格が高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、上述とは逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
 物等の仮想空間内の出現場所としては、例えば、仮想空間内の中央に出現した物等を、仮想空間内の左右などの端に出現した物等よりも、優先度を高く設定してよい。仮想空間内の目立ちやすい場所に出現した物等の優先度を高くした場合、視聴者は、目立ちやすい場所に出現した物等を視野に入れることができるため、視聴者は、所定の表情等の意味を理解しやすくなる利点がある。
 また、物等に係る優先度は、その物等に予め設定されている静的な情報であってもよいし、物等が提供された段階で初めて設定される動的な情報であってもよい。後者は、例えば、物等が出現された位置に応じて設定される情報であってよい。例えば、物等が仮想空間上で出現した位置と、アバターとの位置との関係に応じて設定された優先度であってよい。この場合、距離自体が優先度の役割を果たしてもよいし、距離が優先度を設定する一の情報として使用されてもよい。例えば、アバターと出現した第1の物に係る位置の距離が第1距離であり、アバターと出現した第2の物に係る位置の距離が第2距離である場合において、第1距離が第2距離より長い場合、第2の物に対して第1の物に優先度を高く設定してよい。また、そのほか、画面中央と第1の物に係る位置との距離の第1距離が画面中央と第2の物に係る位置との距離の第2距離よりも短い場合、第1の物がより画面中央に出現していることから、第1の物の優先度を第2の物よりも高く設定してもよい。物等に係る優先度が動的に設定される場合、より適切かつダイナミックに、所定の表情等を設定されるギフトを選定できる利点がある。
 また、所定の条件が成立した場合に、適用される所定の表情等は、所定の表情等が適用されるアバターに係るアバターが属するタイプを用いてもよい。例えば、所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いてもよい。これは、ある情報を取得した場合、第1のアバターの種類においては所定の表情等となるが、第2のアバターの種類においては所定の表情等とならない、ものであってよい。例えば、あるタイプのアバターは、弱気の性格の設定であるとして、他の配信者との距離が第1の距離の範囲内の場合に、驚く表情が出やすくなってよい。また、あるタイプのアバターは、陽気な性格の設定であるとして、所定の表情等として、笑顔を含む表情となる条件が、他のアバターよりも、緩いよう設定されていてよい。なお、この場合、アバターについて、弱気、陽気、強気、負けず嫌い、など性格という特性を備えさせ、かかる性格という特性を用いて、所定の条件の充足が判定されてよい。なお、性格は、アバターの属するタイプに応じて設定されているものでもよいし、アバターの属するタイプとは別に個々のアバターについて設定されているものであってもよい。また、かかるアバターのタイプは、アバターの設定時に設定された性格であってもよいし、アバターが所定の条件が判定される時点で装備しているパーツや服装から判定されてもよい。
 なお、所定の条件は、確率を含んでよい。すなわち、所定の条件は、疑似乱数関数等を含み、かかる関数値が所定の条件を充足すると判定した場合に、所定の表情等を生成してもよい。かかる確率を含む場合、常に、所定の表情等が生成されるわけではないため、視聴者の興味を継続的に引くことができる。また、例えば、その確率値を所定の値よりも低くする場合において、稀な表情とする場合、視聴者が貴重な表情を見ることができるという点において、視聴者の興味を引くことができる。
 条件適用部は、配信者について所定の条件の充足によって特定された表情等を、かかる配信者が演じるアバターについての表情等としてよい。より具体的には、所定の条件の充足によって特定された表情等を示す情報は、特定された表情等を示すIDや、特定された表情等を示す表情の一又は複数のパラメータであってよく、かかる特定された表情等を、かかるアバターの表情とできるように、かかる特定された表情等を示す情報を用いて、アバターの表情等を設定してよい。かかるIDやパラメータの情報は、条件適用部において特定又は生成された後、かかる情報が、映像やアニメーションの生成のためにサーバや端末に送信され、所定期間、利用されてよい。ここで、条件適用部は、各所定の条件と関連付けて、特定される表情等を示す情報を記憶してよく、かかる各所定の条件が充足された場合に、対応する特定される表情等を示す情報を特定できるよう構成されてよい。なお、所定の条件の充足によって適用される所定の表情等がアバターに、所定期間、設定された後は、元のアバターの動作に戻ってよい。すなわち、アバターは、配信者によって演じられていることから、所定期間の後、アバターの表情やポーズは、配信者の表情やポーズの情報に基づくものとなってよい。ここで、配信者の表情やポーズの情報に基づくとは、配信者の表情やポーズを光学センサや慣性センサで検知された情報によってアバターの動作が規定されてよい。
 条件適用部が実行される第1情報処理装置と、かかるアバターの表情等を示す情報の設定を含む処理を行う第2情報処理装置と、が同じ場合、条件適用部は、条件適用部が所定の条件の充足によって特定した表情を用いて、前記アバターの表情等を示す情報を設定するよう処理してよい。
 また、条件適用部が実行される第1情報処理装置と、かかるアバターの表情等を示す情報の設定を含む処理を行う第2情報処理装置と、が異なる場合、条件適用部が所定の条件の充足によって特定した表情等を示す情報を、第1情報処理装置は、第2情報処理装置に送信し、かかる第2情報処理装置において、特定された表情等を示す情報を用いて、前記アバターの表情等の示す情報を設定するよう処理してよい。
 ここで、第1情報処理装置がサーバであって、第2情報処理装置がサーバである場合は、第1情報処理装置のサーバから、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置がサーバであって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置のサーバから、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置がサーバであって、第2情報処理装置が配信者端末である場合は、第1情報処理装置のサーバから、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
 同様に、第1情報処理装置が視聴者端末であって、第2情報処理装置がサーバである場合は、第1情報処理装置の視聴者端末から、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が視聴者端末であって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置の視聴者端末から、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が視聴者端末であって、第2情報処理装置が配信者端末である場合は、第1情報処理装置の視聴者端末から、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
 同様に、第1情報処理装置が配信者端末であって、第2情報処理装置がサーバである場合は、第1情報処理装置の配信者端末から、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が配信者端末であって、第2情報処理装置が配信者端末である場合は、第1情報処理装置の配信者端末から、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が配信者端末であって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置の配信者端末から、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。
 上記では、条件適用部が、単一の情報処理装置において実行される態様を示しているが、複数の情報処理装置において条件適用部を分散して処理してもよい。
 また、条件適用部は、所定の表情等が設定されるタイミングを用いて、所定の表情等を示す情報を設定してよい。タイミングは、例えば、上述のように、一の配信者と他の配信者をアバターと、アバター又はキャラクタとの視線が合ったタイミング、アバターが物と接触したタイミング、などであってよい。この場合、かかる所定の表情等を示す情報を含む情報が、表示される情報処理装置に送信されて、表示されてよい。この場合のタイミングのずれは、通信や処理のタイムラグが含まれてよい。
 他方、所定の条件が充足された上で、所定の表情等を示す情報が設定されるタイミングは、別途設定されたものが使用されてもよい。例えば、所定の条件が設定されてから、2秒後に、所定の表情等になる、というものでもよい。一例としては、アバターが驚くような状況が生じて、その2秒後という故意に遅らせたタイミングで、所定の驚きの表情を設定するものなどでもよい。
 図10は、所定の条件に対する所定の表情等の関係を示した一例である。取得した情報を、所定の条件として用いることにより、対応する、所定の表情等が特定されるものとなる。
 上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等が実現できることとなり、仮想空間内のアバターの表情やポーズにバリエーションを持たせることができる利点がある。また、現実世界で演者に現実に起こった出来事に対応して、仮想空間内のアバターに表情等を設定できる利点がある。また、前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成してよい。この場合、演者は、現実世界の状況への対応していることでアバターの表情等の変化などの入力の負担なく、演者からの何らの情報なく、アバターの表情等が変更できる利点がある。
 次に、仮想空間において生じるものについて、説明する。
 また、所定の表情等は、生じる所定の動作等と関連する表情等であってよい。この場合、視聴者は、所定の表情等が表現される理由を、所定の動作等と関連付けて、容易に理解できる利点がある。
 また、所定の表情等は、表情等を構成する全ての個所についてのパラメータに作用してもよいし、その一部のパラメータに作用してもよい。例えば、所定の表情等は、口についてのパラメータのみに作用し、口以外の個所についてのパラメータは、配信者の表情に連動するパラメータであって、配信者端末から配信者の表情の動きに対応した情報に基づくパラメータであってよい。また、所定の表情等は、アバターの外観を含んでもよい。例えば、所定の表情等は、アバターが黒焦げになる演出を含んでよい。
 また、所定の表情等は、所定の動作等の方向に連動して変化する、ものであってよい。仮想空間内において、後述の物等の出現場所が、配信者に分からないことがある。このとき、物等の出現場所に、配信者は気づかないことがあり、結果として、配信者に係るアバターも、その物等に反応ができないことがある。例えば、おばけキャラが登場したり、たらいが頭上から落ちてきたときに、配信者が気付かない場合もありえる。そこで、アバターに係る所定の表情等が、所定の動作等が表示されている方向に連動して変化することにより、視聴者もよりアバターの行動に興味を持つことができる利点がある。ここで、所定の動作等の方向に連動して変化する態様としては、種々のものがあってよい。例えば、おばけキャラが接触してきた方向や、ゾンビキャラが迫ってきた方向に対して、設定される所定の表情等が向いてよい。所定の表情等が向く場合において、アバターの一部の部位が連動して変化してもよいし、アバターの複数の部位が連動して変化してもよい。例えば、所定の表情等が向く場合とは、体全体がかかる方向を向いてもよいし、頭部のみがかかる方向を向いてもよいし、目のみなど顔の一部のみがかかる方向を向いてもよい。
 所定のポーズは、種々のポーズであってよい。ポーズは、アバターの体の一部のみであってもよいし、アバターの体の全体であってもよい。例えば、首をかしげるポーズとして頭部のみのポーズや、手が大きくなったり手が赤く腫れた演出を含む手のみのポーズや、ガッツポーズのように上半身のみのポーズであってもよいし、銃を構えるポーズや全身でジャンプするような全体のポーズでもよい。
 所定の条件は、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報、を用いてよい。
 配信者が演じるアバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作であってよい。また、前記アバターの所定の動作は、所定の対象を見る動作を含んでよい。例えば、アバターが、何か物を見て驚いた場合、所定の表情等として、驚く表情が設定されてよい。この場合、アバターが驚く表情をすることが自然な物をあらかじめ設定しておき、かかる物が、視線の延長線上にある場合に、かかるアバターが、かかる物を見たと判定してよい。すなわち、前記所定の動作が、前記所定の対象を見る動作を含む場合、前記所定の条件は、前記所定の対象が前記アバターの視線方向となるように前記アバターの視線を移動させること、又は、前記アバターの視線上において前記所定の対象が存在すること、を含んでよい。前者は、アバターが主体的に見る方向を移動して視線を変化させた場合に、かかる視線の延長線上に驚く物が位置していると、所定の表情等として驚く表情が設定されてよい。後者は、所定の対象が存在する場合であってよく、アバターが所定の方向を見ている場合に、その方向に所定の対象が生じて表示された場合等があってよい。
 以上、上述においては、アバターに驚きの感情をもたらす物について説明したが、驚きの感情に限らず、他の感情や感覚をもたらす物であってもよい。例えば、おばけなどの怖いという感情をもたらす物、ステーキなどの好きだという感情をもたらす物、納豆などの嫌いだという感情をもたらす物、など人が対象を見たときに一定の感情や感覚が生じる物であってよい。また、かかる物を見た場合の所定の表情等についても、かかる対象を見た場合に人が一般的に生じる顔を示す所定の表情等が設定されてよい。上述の怖いという感情をもたらす物、好きだという感情をもたらす物、嫌いだという感情をもたらす物、については、対応して、ぞっとする表情、笑顔、嫌悪の表情、などであってよい。
 上述では、見る対象を物として説明したが、見る対象は、他のキャラクタや他のアバターであってもよい。すなわち、前記所定の対象が他のアバター又はキャラクタである場合、前記アバターの所定の動作は、前記アバターの視線と前記所定の対象に係る視線とが合うことを含んでよい。このように、他のキャラクタや他のアバターと視線が合った場合に、所定の表情等に設定してよい。なお、アバター同士の視線が合致している場合、一方のアバターについてのみ、所定の表情等が設定されてもよいし、両方のアバターについて、所定の表情等が設定されてもよい。後者は、例えば、視線が合って、両方のアバターが顔が赤くなる等のドキドキしている表情等が考えられる。また、後者の両方のアバターについて所定の表情等が設定される場合において、かかる設定される表情等は、同一の所定の表情等であってもよいし、異なる所定の表情等であってもよい。かかる異なる所定の表情等となる理由としては、アバターの属するタイプに応じた所定の表情等であってもよいし、アバターの好みや性質等に応じた所定の表情等であってもよいし、確率的に選定された所定の表情等であってもよい。また、アバターが他のキャラクタと視線が合う場合の例としては、おばけキャラとアバターの視線があうと、アバターの所定の表情等として、アバターの顔が青ざめる設定としてよい。かかる所定の条件は、アバターの視線方向とおばけキャラ等の対象物との交点の有無を判定することによって、充足性が判定されてよい。
 上述では、見る対象を物として説明したが、見る対象は、何らかのイベントであってもよい。イベントは、その規模や対象は種々のものであってよく、限定はない。例えば、コオロギの大群が突進してきたり、氾濫した川の水で流されたり、突風が襲ってくるような怖い状況のイベントであってもよいし、他のキャラクタやアバターの転倒や流血などの痛そうな状況であってもよい。かかるイベントの場合であっても、同様に、かかるイベントを見たアバターについて、対応する所定の表情等に設定されてよい。
 また、アバターの所定の動作は、所定の対象に接触する動作を含んでよい。そして、前記所定の動作が、前記所定の対象に接触する動作を含む場合、前記所定の条件は、前記アバターに係る位置と、前記所定の対象に係る位置と、の距離が所定の距離内である こと、を含んでよい。ここで、前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダーの位置、のいずれかであってよい。
 ここで、接触する動作は、アバターが主体的又は受動的を問わず、アバターから接触する態様を意味するが、第三者から接触される態様は意味しない。第三者から主体的又は受動的を問わず、第三者から接触される態様は、アバターに関して生じる所定の状況、に含まれる。なお、受動的とは、例えば、アバターや第三者の意思を問わずに、アバターや第三者が客観的に動いた結果、接触されるケースを含む。
 アバターが接触する動作の例としては、例えば、アバターが触った対象が熱いものである場合、アバターが驚くような表情をしてもよいし、触った個所が熱さで腫れるような所定の表情等であってもよい。より具体的には、例えば、手で熱いものを触った場合、手が大きくなって、赤く腫れあがるような所定の表情等であってもよい。
 アバターの所定の動作は、所定の対象の飲食動作を含む。ここで、所定の飲食動作は、アバターの飲食動作として、予め定められたものであってよく、かかる飲食動作を示すIDなどによって、検知してよい。かかる飲食動作を示すIDは、飲食動作として予め定められた特定の動きに対し付与されたIDであってもよいし、一又は複数のモーションデータに基づく所定の動きに対し付与されたIDであってもよい。本願発明において、飲食動作を所定の動作として組み込む技術的意義は、後述の他の情報と組み合わせることによって、所定の表情等を設定する点にある。例えば、同じ飲食動作(例えば、お肉を食べる動作)であるとしても、あるアバターAがお肉を食べる場合は、上品な食べ方を表現する所定の表情等が設定される一方、他のアバターBがお肉を食べる場合は、ワイルドな食べ方を表現する所定の表情等が設定される、などが考えられる。ここで、アバターAとアバターBとにおいて、異なる演出となる要因としては、例えば、アバターAとアバターBとが異なるタイプのアバターであったり、同一タイプのアバターであっても、その設定された趣向や好み等によって、異なる食べ方を表現する所定の表情等が設定される、などが考えられる。かかるアバターのタイプは、アバターの設定時に設定された性格であってもよいし、アバターが所定の条件が判定される時点で装備しているパーツや服装から判定されるものであってもよい。
 また、前記アバターの所定の動作は、匂い又は臭いに対する所定のジェスチャーを含んでよい。ここで、所定のジェスチャーとしては、鼻をくんくん動かすようなジェスチャー、手で鼻の前の空気を左右に移動させるジェスチャー、などが挙げられる。かかるジェスチャーは、例えば、鼻の動きや右手又は左手などの手の動きを、光学センサや慣性センサ等を用いることによって、検出されてよい。すなわち、前記所定の条件は、前記アバターの前記所定のジェスチャーの検知を用いてよい。そして、対応する所定の表情等として、恍惚感を演出する所定の表情等や苦悶する所定の表情等が挙げられる。これにより、配信者が、何らかの匂いや臭いを感じた場合に行う動作によって、その動作の意義をよりはっきりと視聴者に理解させる利点がある。なお、かかる匂いや臭いに対応する具体的なジェスチャーについて、予め配信者とシステム間で共有することにより、より効果的に、かかるジェスチャーに対応する所定の表情等を演出できる。
 また、前記アバターの所定の動作は、音を聞く/聴くことについての所定のジェスチャーを含んでよい。音を聞く/聴くことについての所定のジェスチャーとしては、例えば、手を耳に沿える動作や、片耳を一定の方向に動かすジェスチャーが考えられる。かかるジェスチャーに対応する所定の表情等としては、手を耳に沿えるジェスチャーの場合はかかる手が大きくなることが考えられ、片耳を一定の方向に動かすジェスチャーの場合はかかる耳が大きくなって動くことが考えられる。
 配信者が演じるアバターの表情を含む所定の条件は、例えば、アバターの表情が特定の一又は複数のパラメータである場合に、所定の表情等とすることが考えられる。また、常に所定の表情等とならないとしても、他の所定の条件が充足した場合に、所定の表情等とすることが考えられる。例えば、配信者の驚きの表情の顔として、通常であれば、所定の表情等を設定しない場合であっても、特定のイベントが生じるととともに配信者が驚きの表情の顔を示す場合、所定の表情等が設定されてもよい。
配信者が演じるアバターの顔色は、顔色の変化を含んでよい。例えば、アバターの顔色が、通常と異なる態様になった場合に、かかる顔色に合わせて、アバターの表情等を、異なる所定の表情等に設定してよい。
配信者が演じるアバターの声は、前記アバターの声の音質が所定の範囲以上変化すること、又は、前記アバターの声の音量が所定の量以上変化すること、を含んでよい。例えば、アバターの声が、緊張や、怒りなどで、通常と異なる声の性質となっている場合が考えられる。かかる声の場合、かかる声に対応する所定の表情等が設定されてよい。
 前記アバターに関して生じる所定の状況は、仮想空間内において所定の音が生じることを含んでよい。所定の音は、例えば、大きな音であってよい。かかる大きな音に対して、所定の表情等として、驚いた表情としたり、例えば、飛び上がるというような、驚きを全身で表すポーズをしてもよい。
 アバターに関して生じる所定の状況は、所定の物に係る位置と、前記アバターに係る位置と、の距離が所定の範囲内になることを含んでよい。ここで、所定の物に係る位置は、例えば、所定の物の重心とされる個所、所定の物の中心とされる個所、所定の物の外接円の中心、所定の物の内接円の中心、所定の物の表示上の外接円の中心、所定の物の表示上の内接円の中心、等であってよい。また、所定の物に係る位置は、所定の物に係る円又は多角形とアバターに係る位置との間の直線距離の接線上のかかる円又は多角形との交点であってもよい。また、所定の物に係る位置は、所定の物に対してコライダーを設定し、また、アバターにもコライダーを設定し、かかるコライダーを用いた接触判定を行ってもよい。アバターに係る位置は、上述のとおりであってよい。なお、アバターに係る位置がコライダーの位置である場合、所定の物とアバターが接触していると判定してよい。
 所定の物は、上述の種々の物であってよい。例えば、たらいが頭上から落ちてきて、頭に接触した場合に、所定の表情等として、目をバツ(×)とする設定にしてよい。また、アバターに雷が落ちる(接触)すると、所定の表情等として、全身が黒焦げとする設定にしてよい。
 また、所定の物に代えて、他のものでよく、例えば、キャラクタや、他のアバターでもよい。キャラクタの場合の例としては、アバターに関して生じる所定の状況として、ゾンビキャラに係る位置と、アバターに係る位置と、の距離が所定の範囲内になることを含んでよい。この場合、かかる距離が所定の距離内の場合に、アバターの顔に縦線を入れるようにしてもよい。また、かかる距離の程度に応じて、所定の表情等も変化してよい。例えば、かかる距離が、第1の距離と、第1の距離よりも短い第2の距離と、に変化した場合、第1の距離における所定の表情等と、第2の距離における所定の表情等と、が異なってよい。例えば、第1の距離における所定の表情等として、顔の表情内の縦線が10本であるのに対し、第2の距離における所定の表情等として、顔の表情内の縦線が20本かつかかる縦線の幅が2倍になる、などであってよい。なお、上記とは逆に、所定の条件において、アバターに係る位置と、キャラクタ又はアバターに係る位置と、が所定距離の範囲外となることを含んでもよい。この場合、アバター又はキャラクタがアバターから離れる方向に相対的に移動する状況が示されているが、例えば、アバターの所定の表情として涙が出てくる、などの表情が設定されてもよい。
例えば、アバターに関して生じる所定の状況は、第1のアバターと、第2のアバターと、が所定の関係が生じる場合を含んでよい。例えば、第1のアバターが、第2のアバターの頭を撫でる場合、所定の表情等として、第2のアバターの目をハートに設定してよい。この場合、第1のアバターと第2のアバターとの各々にコライダーを設定し、その接触判定によって、判定してよい。
 また、アバターに関して生じる所定の状況は、前記アバターに関して生じる所定の状況は、所定の対象と、前記アバターの所定のポーズと、が所定の組み合わせとなることを含んでよい。ここで、所定の対象は、物であってもよいし、所定の状況であってもよいし、所定のイベントであってもよい。また、物は、ギフトを含んでもよい。例えば、物として拳銃のギフトを装着し、アバターが射撃のポーズをすると、所定の表情等として勇ましい表情が設定されてよい。なお、ここで、射撃のポーズの判定は、アバターの中心位置からのコライダーを設定し、右手、左手、右足、左足、頭などの体の各位置の衝突判定によって、判定してよい。ここで、配信者における各配信者の右手、左手、右足、左足、頭などの位置は、光学センサや慣性センサによって、検出してよい。なお、かかる場合において設定される所定の表情等は、与えられたギフトの組み合わせから、示唆されるものであってよい。一例を挙げれば、カエルの盾、カエルの剣、カエルのマントであれば、カエルのような顔になってよい。
 また、本願発明に係る複数の条件のうち、複数の条件が成立する場合がある。例えば、アバターがおばけキャラと視線が合致すると同時に、アバターに係る位置とおばけキャラに係る位置との距離が所定の距離範囲内である場合、などが挙げられる。このような場合、視線が合致したこと及び距離が範囲内であることの各条件に対応する所定の表情等が異なる場合、複数の所定の条件が充足した場合の処理が定められていてよい。例えば、所定の時間内において、第1の所定の条件が充足し、かつ、第2の所定の条件が充足した場合、前記第1の所定の条件又は前記第2の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用してよい。ここで、優先度は、各所定の条件と、関連付けられて、記憶されていてもよいし、複数の所定の条件が充足した場合のルールとして設定されていてもよい。例えば、所定の条件として、A1、A2、A3、A4などがあった場合において、各所定の条件同士を比較した上で優先される所定の条件を選定できるものであればよい。かかる優先度を用いた機能により、複数の所定の条件が充足された場合においても、特にほぼ同時に複数の所定の条件が充足された場合においても、適確に処理できる利点がある。また、かかる優先度は、確率が用いられてもよい。例えば、確率が、疑似乱数関数等によって判定される場合であって、第1の所定の条件と第2の所定の条件とが充足している場合において、かかる疑似乱数関数値が所定の値の場合は、第1の所定の条件に対応する所定の表情等が適用され、他の所定の値の場合は、第2の所定の条件に対応する所定の表情等が適用される、と処理されてよい。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
 なお、充足しうる複数の条件についての判定において、所定の時間の経過を待って判断することから、所定の時間をある時間以上に設定した場合、所定の条件の充足から所定の表情等の演出まで、タイムラグが生じる可能性がある。そのため、かかる優先度を設けずに、上述の複数の条件が成立する場合に、時間的に先行して充足された所定の条件に対応する所定の表情等を設定してもよい。ここで時間的に先行するとは、ネットワークや情報処理などの結果、実質的にはほぼ同時に所定の条件が成立した場合においても、処理部が所定の条件の充足を先に判定したものであってよい。この場合、所定の時間の経過を待たずに、先に充足した所定の条件に対応する所定の表情等を設定できる利点がある。なお、かかる場合において、後に充足した所定の条件に対応する所定の表情等を設定してもよいし、設定しなくともよい。設定する場合、先に充足された所定の条件に対応する所定の表情等は上書きされてしまうが、後に充足された所定の条件に対応する所定の表情等も視聴者に演出できる利点がある。他方、設定しない場合、先行した所定の表情等について、視聴者は十分楽しむことができる利点がある。なお、このように、第1の所定の条件と第2の所定の条件について、双方ともに充足する場合、第1の所定の条件が充足したタイミングと、第2の所定の条件が充足したタイミングに応じて、所定の表情等を設定してもよい。例えば、第1の所定の条件が充足した第1タイミングと、第2の所定の条件が充足した第2タイミングと、の間の時間が所定の時間よりも短い場合、第1の所定の条件に対応する第1の所定の表情等のみを演出し、第2の所定の条件に対応する第2の所定の表情等を演出しない処理としてよい。この場合、第1の所定の表情等の演出について、視聴者は、途中で変更されず、楽しむことができる利点がある。他の他方、前記第1タイミングと前記第2タイミングとの間の時間が所定の時間よりも長い場合、前記第2の所定の条件が充足したタイミングで、前記第2の所定の条件に対応する所定の表情等を設定してもよい。この場合、視聴者は、第1の所定の表情等に続き、第2の所定の表情等も両方の演出を楽しむことができる利点がある。
 なお、かかる第1のタイミングと第2のタイミングとの間の時間について判定する上述の所定の時間は、充足される所定の条件の組に応じて設定されてもよい。例えば、第1の所定の条件が充足した場合に第1の所定の表情等が演出され、第2の所定の条件が充足した場合に第2の所定の表情等が演出され、第3の所定の条件が充足した場合に第3の所定の表情等が演出されたとする。また、第1の所定の条件が第1のタイミングで充足され、第2の所定の条件が第2のタイミングで充足され、第3の所定の条件が第3のタイミングで充足されたとする。この時、第1のタイミングと第2のタイミングとの間の時間が、第12所定の時間よりも短い場合に、第2の所定の表情等が演出されず、第12所定の時間以上の場合に第2の所定の表情等が演出されるとする。また、第1のタイミングと第3のタイミングとの間の時間が、第13所定の時間よりも短い場合に、第3の所定の表情等が演出されず、第13所定の時間以上の場合に第3の所定の表情等が演出されるとする。このとき、第12所定の時間と第13所定の時間は、同じであってもよいし、異なってもよい。同じである場合は、第1の所定の条件の充足の後に、第2の所定の条件が充足されても、第3の所定の条件が充足されても、第1の所定の表情等の演出時間に変わりがないことを意味する。他方、異なる場合は、第1の所定の条件の充足の後に、第2の所定の条件が充足する場合と、第3の所定の条件が充足する場合と、において、第1の所定の表情等の演出時間が変化することになる。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
 なお、上述において、優先度は、所定の条件と関連付けられている、又は、充足される所定の条件についてのルールの例を説明したが、そのほか、優先度は、所定の条件内の物、イベント、状況、などと関連付けられていてもよい。例えば、所定の条件においてギフトが利用される場合において、ギフトと優先度が関連付けられていてもよい。
 所定の条件に係る物、イベント、状況(本願書類において、物等、ということもある)に係る優先度は、物等の表示される大きさ、物等の出現場所、物等の出現のタイミング、などを用いて生成されたものであってよい。
 例えば、物等の表示される大きさ、については、第1の物等の大きさよりも、第2の物等の表示される大きさが大きい場合、かかる第2の物等に対して、かかる第1の物等よりも、高い優先度が設定されていてよい。この場合、表示される大きい方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
 また、物等の大きさの他に、物等に価格がある場合は価格であってもよいし、物等に消費ポイントが設定されている場合には消費ポイントであってもよい。例えば、第1の物等の価格よりも、第2の物等の価格が高い場合、かかる第2の物等に対して、かかる第1の物等よりも、高い優先度が設定されていてよい。この場合、価格が高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。また、同様に、消費ポイントについても、例えば、第1の物等の消費ポイントよりも、第2の物等の消費ポイントが高い場合、かかる第2の物等に対して、かかる第1の物等よりも、高い優先度が設定されていてよい。この場合、消費ポイントが高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
 物等の仮想空間内の出現場所としては、例えば、仮想空間内の中央に出現した物等を、仮想空間内の左右などの端に出現した物等よりも、優先度を高く設定してよい。仮想空間内の目立ちやすい場所に出現した物等の優先度を高くした場合、視聴者は、目立ちやすい場所に出現した物等を視野に入れることができるため、視聴者は、所定の表情等の意味を理解しやすくなる利点がある。
 また、物等に係る優先度は、その物等に予め設定されている静的な情報であってもよいし、物等が提供された段階で初めて設定される動的な情報であってもよい。後者は、例えば、物等が出現された位置に応じて設定される情報であってよい。例えば、物等が仮想空間上で出現した位置と、アバターとの位置との関係に応じて設定された優先度であってよい。この場合、距離自体が優先度の役割を果たしてもよいし、距離が優先度を設定する一の情報として使用されてもよい。例えば、アバターと出現した第1の物に係る位置の距離が第1距離であり、アバターと出現した第2の物に係る位置の距離が第2距離である場合において、第1距離が第2距離より長い場合、第2の物に対して第1の物に優先度を高く設定してよい。また、そのほか、画面中央と第1の物に係る位置との距離の第1距離が、画面中央と第2の物に係る位置との距離の第2距離よりも短い場合、第1の物がより画面中央に出現していることから、第1の物の優先度を第2の物よりも高く設定してもよい。物等に係る優先度が動的に設定される場合、より適切かつダイナミックに、所定の表情等を設定されるギフトを選定できる利点がある。
 また、アバターに係る情報として、アバターが属するタイプを用いてもよい。例えば、所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いてもよい。これは、ある情報を取得した場合、第1のアバターの種類においては所定の表情等となるが、第2のアバターの種類においては所定の表情等とならない、ものであってよい。例えば、あるタイプのアバターは、弱気の性格の設定であるとして、おばけキャラとアバターとの距離が第1の距離の範囲内の場合に、怖がる表情が出やすくなってよい。また、あるタイプのアバターは、陽気な性格の設定であるとして、所定の表情等として、笑顔を含む表情となる条件が、他のアバターよりも、緩いよう設定されていてよい。なお、この場合、アバターについて、弱気、陽気、強気、負けず嫌い、など性格という特性を備えさせ、かかる性格という特性を用いて、所定の条件の充足が判定されてよい。なお、性格は、アバターの属するタイプに応じて設定されているものでもよいし、アバターの属するタイプとは別に個々のアバターについて設定されているものであってもよい。
 なお、所定の条件は、確率を含んでよい。すなわち、所定の条件は、疑似乱数関数等を含み、かかる関数値が所定の条件を充足した場合に、所定の表情等を生成してもよい。かかる確率を含む場合、常に、所定の表情等が生成されるわけではないため、視聴者の興味を継続的に引くことができる。また、例えば、その確率値を所定の値よりも低くする場合において、稀な表情とする場合、視聴者が貴重な表情を見ることができるという点において、視聴者の興味を引くことができる。
 また、所定の条件として、物等の表示開始の情報、物等の表示変化の情報、及び/又は、物等の表示終了の情報、という個々の物等の表示のタイミングを用いて、所定の条件の充足を判定してもよい。この場合、物等の表示の開始、変化、終了という、物等の表示に対応して、アバターの表情やポーズに変化が生じることから、視聴者は、アバターの表情やポーズの変化の意味を、物等の状況と関連付けて、理解しやすくなる利点がある。
 また、所定の条件として、物等が属性として有する情報を用いてもよい。物等の属性は、物等の種類や、物等のレベル、などの物等が備える特性を含んでもよいし、含まなくともよい。また、物等が有する特定の特徴に応じて、所定の条件が充足されるよう所定の条件が設定されてよく、対応する所定の表情等が設定されてよい。
 また、所定の条件は、取得した情報についての順番やタイミングを規定してもよい。
 例えば、所定の条件と充足の場合の所定の表情等について、おばけキャラが画面に現れた後の所定の時間内にこうもりキャラが画面に現れた場合に所定の表情Aが設定され、こうもりキャラが画面に現れた後の所定の時間内におばけキャラが画面に現れた場合に、所定の表情Bが設定される、などとしてよい。
 条件適用部は、所定の条件の充足によって特定された表情等を、前記ギフトが提供されたアバターについての表情等としてよい。より具体的には、所定の条件の充足によって特定された表情等を示す情報は、特定された表情等を示すIDや、特定された表情等を示す表情の一又は複数のパラメータであってよく、かかる特定された表情等を、かかるアバターの表情とできるように、かかる特定された表情等を示す情報を用いて、アバターの表情等を設定してよい。かかるIDやパラメータの情報は、条件適用部において特定又は生成された後、かかる情報が、映像やアニメーションの生成のためにサーバや端末に送信され、所定期間、利用されてよい。ここで、条件適用部は、各所定の条件と関連付けて、特定される表情等を示す情報を記憶してよく、かかる各所定の条件が充足された場合に、対応する特定される表情等を示す情報を特定できるよう構成されてよい。なお、所定の条件の充足によって適用される所定の表情等がアバターに、所定期間、設定された後は、元のアバターの動作に戻ってよい。すなわち、アバターは、配信者によって演じられていることから、所定期間の後、アバターの表情やポーズは、配信者の表情やポーズの情報に基づくものとなってよい。ここで、配信者の表情やポーズの情報に基づくとは、配信者の表情やポーズを光学センサや慣性センサで検出された情報によってアバターの動作が規定されてよい。
 かかる処理において、条件適用部が実行される第1情報処理装置と、かかるアバターの表情等の設定を含む処理を行う第2情報処理装置と、が同じ場合、条件適用部は、条件適用部が所定の条件の充足によって特定した表情を用いて、前記アバターの表情等と設定するよう処理してよい。
 また、条件適用部が実行される第1情報処理装置と、かかるアバターの表情の設定を含む処理を行う第2情報処理装置と、が異なる場合、条件適用部が所定の条件の充足によって特定した表情等を、第1情報処理装置は、第2情報処理装置に送信し、かかる第2情報処理装置において、特定された表情等を用いて、前記アバターの表情と設定するよう処理してよい。
 ここで、第1情報処理装置がサーバであって、第2情報処理装置がサーバである場合は、第1情報処理装置のサーバから、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置がサーバであって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置のサーバから、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置がサーバであって、第2情報処理装置が配信者端末である場合は、第1情報処理装置のサーバから、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
 同様に、第1情報処理装置が視聴者端末であって、第2情報処理装置がサーバである場合は、第1情報処理装置の視聴者端末から、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が視聴者端末であって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置の視聴者端末から、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が視聴者端末であって、第2情報処理装置が配信者端末である場合は、第1情報処理装置の視聴者端末から、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
 同様に、第1情報処理装置が配信者端末であって、第2情報処理装置がサーバである場合は、第1情報処理装置の配信者端末から、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が配信者端末であって、第2情報処理装置が配信者端末である場合は、第1情報処理装置の配信者端末から、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が配信者端末であって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置の配信者端末から、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。
 上記では、条件適用部が、単一の情報処理装置において実行される態様を示しているが、複数の情報処理装置において条件適用部を分散して処理してもよい。
 また、条件適用部は、所定の表情等が設定されるタイミングを用いて、所定の表情等を設定してよい。タイミングは、例えば、上述のように、アバターと、アバター又はキャラクタとの視線が合ったタイミング、アバターが物と接触したタイミング、などであってよい。この場合、かかる所定の表情等を示す情報を含む情報が、表示される情報処理装置に送信されて、表示されてよい。この場合のタイミングのずれは、通信や処理のタイムラグが含まれてよい。
 他方、所定の条件が充足された上で、所定の表情等が設定されるタイミングは、別途設定されたものが使用されてもよい。例えば、所定の条件が設定されてから、2秒後に、所定の表情等になる、というものでもよい。一例としては、アバターが驚くような状況が生じて、その2秒後という故意に遅らせたタイミングで、所定の驚きの表情を設定するものなどでもよい。
 図11は、所定の条件に対する所定の表情等の関係を示した一例である。取得した情報を、所定の条件として用いることにより、対応する、所定の表情等が特定されるものとなる。
 上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等が実現できることとなり、仮想空間内のアバターの表情やポーズにバリエーションを持たせることができる利点がある。また、演者がタブレットなどを用いてアバターの表情を自ら指定できる場合であっても、スタジオ配信においてオペレータによって装着ギフトが装着される場合、演者が装着されたことに気づかないこともあるため、そのような場合において演者が何ら操作しなくとも、ギフトに対応する表情又はポーズがアバターに適用できる利点がある。すなわち、所定の表情又はポーズとするための情報は、前記配信者からギフトを提供する以外の操作なしに、生成されてよい。
 また、上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等を自動的に実現できることとなり、視聴者端末からの操作なく、アバターの表情が変更する結果が生じる反応を楽しむことのできる利点がある。
4.実施形態
4-1.実施形態1
 実施形態1は、視聴者端末において、条件適用部が動作する例である。この場合、取得部は、視聴者端末において、動作してよい。本例について、図12を用いて説明する。なお、視聴者端末において、条件適用部が動作するため、視聴者端末に基づく情報を所定の条件として含めることにより、視聴者端末毎に、アバターの表現等を変更することも可能であってよい。
ステップ1
 取得部が、ギフトに係る情報を取得する(ステップ001)。かかるギフトに係る情報は、条件適用部が動作する視聴者端末において入力されたものでもよいし、他の視聴者端末において入力されたギフトに係る情報が、サーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。なお、取得部は、他のアバターに係る情報を取得してもよい。
ステップ2
 次に、条件適用部が、少なくともギフトに係る情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する(ステップ002)。このために、条件適用部は、少なくとも一部の所定の条件とかかる条件が充足した場合における所定の表情等を示す情報を有していてよい。
ステップ3
 特定された表情等を、視聴者端末において、所定の条件の充足に使用されたアバターに係る表情等に設定する(ステップ003)。視聴者は、ギフトの提供に対応して、アバターの表情等が変更される反応を視聴できる利点がある。
4-2.実施形態2
 実施形態2は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、視聴者端末上において、アニメーションが生成される前提で、図13を用いて説明する。
ステップ1
 取得部が、ギフトに係る情報を取得する(ステップ001)。なお、取得部は、他のアバターに係る情報を取得してもよい。
ステップ2
 次に、条件適用部が、少なくともギフトに係る情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する(ステップ002)。
ステップ3
 サーバは、特定された表情を示す情報を、かかるアバターの配信を視聴している、各視聴者端末に送信する(ステップ003)。
ステップ4
 各視聴者端末において、サーバから取得した表情等を示す情報を用いて、アバターの表情等を設定する(ステップ004)。ここで、各視聴者端末において、かかる設定されたアバターの表情等を用いて、アニメーションが生成されてもよい。
ステップ5
 各視聴者端末において、サーバから取得した表情等を示す情報が用いられたアバターの表情等が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情に設定される(ステップ005)。なお、アニメ―ションが生成された場合は、各アニメーション内に、所定の期間、かかる生成された表情等が用いられて表示され、その後は、アバターに係る配信者の表情等に基づきトラッキングによって得られた表情等がアバターの表情等として使用されてよい。
4-3.実施形態3
 実施形態3は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、サーバ上において、アバターの表情を含む映像が生成される前提で、図14を用いて説明する。
ステップ1
 取得部が、ギフトに係る情報を取得する(ステップ001)。なお、取得部は、他のアバターに係る情報を取得してもよい。
ステップ2
 次に、条件適用部が、少なくともギフトに係る情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する(ステップ002)。
ステップ3
 サーバは、特定された表情を示す情報等を用いて、かかるアバターの配信についての映像を生成する(ステップ003)。ここで、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、同一のサーバの場合、条件適用部を実行するサーバにおいて、アバターの配信のための映像を生成してよい。他方、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、異なるサーバの場合、条件適用部を実行するサーバから、かかる映像を生成するサーバに、かかる特定された表情を示す情報が送信され、かかる映像生成するサーバにおいて、かかる特定された表情を示す情報が用いられてよい。なお、かかるサーバにおいてアニメーションを生成する場合も同様に、映像と共に又は映像に代えて、かかるアバターの配信についてのアニメーションを生成してもよく、この場合は以降映像と共に又は映像に代えてアニメーションが使用されてよい。
ステップ4
 特定された表情を示す情報に基づいて特定された表情を用いて生成されたアバターの映像が、各視聴者端末に対して送信される(ステップ004)。
ステップ5
 各視聴者端末において、サーバから取得した表情等を示す情報が用いられた映像が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情等に基づくアバターの映像が表示される(ステップ005)。
4-4.実施形態4
 実施形態4は、視聴者端末において、条件適用部が動作する例である。この場合、取得部は、視聴者端末において、動作してよい。本例について、図15を用いて説明する。なお、視聴者端末において、条件適用部が動作するため、視聴者端末に基づく情報を所定の条件として含めることにより、視聴者端末毎に、アバターの表現等を変更することも可能であってよい。
ステップ1
 取得部が、所定の動作等の情報を取得する(ステップ001)。かかる所定の動作等の情報は、配信者端末において取得されたものでもよいし、サーバにおいて取得されたものでもよく、これらが、サーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。また、かかる所定の動作等の情報は、条件適用部が動作する視聴者端末において入力されたものでもよいし、他の視聴者端末において入力された情報や演出としてサーバ内で生成された情報を、サーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。
ステップ2
 次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する(ステップ002)。このために、条件適用部は、少なくとも一部の所定の条件とかかる条件が充足した場合における所定の表情等を示す情報を有していてよい。
ステップ3
 特定された表情等を、視聴者端末において、所定の条件の充足に使用されたアバターに係る表情等に設定する(ステップ003)。視聴者は、所定の動作等に対応して、アバターの表情等が変更される反応を視聴できる利点がある。
ステップ4
 各視聴者端末において、アバターの所定の表情等が所定の期間表示された後、元のかかるアバターに係る配信者の表情等に基づく表情にアバターに係る表情等は戻る(ステップ004)。
4-5.実施形態5
 実施形態5は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、視聴者端末上において、アニメーションが生成される前提で、図16を用いて説明する。
ステップ1
 取得部が、所定の動作等の情報を取得する(ステップ001)。
ステップ2
 次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する(ステップ002)。
ステップ3
 サーバは、特定された表情等を示す情報を、かかるアバターの配信を視聴している、各視聴者端末に送信する(ステップ003)。
ステップ4
 各視聴者端末において、サーバから取得した表情等を示す情報を用いて、アバターの表情等を設定する(ステップ004)。ここで、各視聴者端末において、かかる設定されたアバターの表情等を用いて、アニメーションが生成されてもよい。
ステップ5
 各視聴者端末において、サーバから取得した表情等を示す情報が用いられたアバターの表情等が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情に設定される(ステップ005)。なお、アニメ―エションが生成された場合は、各アニメーション内に、所定の期間、かかる生成された表情等が用いられて表示され、その後は、アバターに係る配信者の表情等に基づきトラッキングによって得られた表情等がアバターの表情等として使用されてよい。
4-6.実施形態6
 実施形態3は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、サーバが上において、アバターの表情を含む映像が生成される前提で、図17を用いて説明する。
ステップ1
 取得部が、所定の動作等の情報を取得する(ステップ001)。
ステップ2
 次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する(ステップ002)。
ステップ3
 サーバは、特定された表情等を示す情報等を用いて、かかるアバターの配信についての映像を生成する(ステップ003)。ここで、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、同一のサーバの場合、条件適用部を実行するサーバにおいて、アバターの配信のための映像を生成してよい。他方、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、異なるサーバの場合、条件適用部を実行するサーバから、かかる映像を生成するサーバに、かかる特定された表情等を示す情報が送信され、かかる映像生成するサーバにおいて、かかる特定された表情等を示す情報が用いられてよい。なお、かかるサーバにおいてアニメーションを生成する場合も同様に、映像と共に又は映像に代えて、かかるアバターの配信についてのアニメーションを生成してもよく、この場合は以降映像と共に又は映像に代えてアニメーションが使用されてよい。
ステップ4
 特定された表情等を示す情報に基づいて特定された表情を用いて生成されたアバターの映像が、各視聴者端末に対して送信される(ステップ004)。
ステップ5
 各視聴者端末において、サーバから取得した表情等を示す情報が用いられた映像が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情等に基づくアバターの映像が表示される(ステップ005)。
4-7.様々な実施態様について
 第1Aの態様によるコンピュータプログラムは、「一又は複数のプロセッサにより実行されることにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、ように前記一又は複数のプロセッサを機能させる」ものである。
 第2Aの態様によるコンピュータプログラムは、上記第1Aの態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
 第3Aの態様によるコンピュータプログラムは、上記第1Aの態様又は上記第2Aの態様において「前記配信者の所定の動作は、所定の対象を見る動作を含む」ものである。
 第4Aの態様によるコンピュータプログラムは、上記第1A乃至上記第3Aのいずれか一の態様において「前記配信者の所定の動作は、所定の対象に接触する動作を含む」ものである。
 第5Aの態様によるコンピュータプログラムは、上記第1A乃至上記第4Aのいずれか一の態様において「前記配信者の所定の動作は、所定の対象の飲食動作を含む」ものである。
 第6Aの態様によるコンピュータプログラムは、上記第1A乃至上記第5Aのいずれか一の態様において「前記所定の対象に対応するものを、仮想空間上に演出するアイテムを生成する」ものである。
 第7Aの態様によるコンピュータプログラムは、上記第1A乃至上記第6Aのいずれか一の態様において「前記配信者の所定の動作は、臭う又は匂う所定のジェスチャーを含む」ものである。
 第8Aの態様によるコンピュータプログラムは、上記第1A乃至上記第7Aのいずれか一の態様において「前記配信者の所定の動作は、音を聞く/聴くことについての所定のジェスチャーを含む」ものである。
 第9Aの態様によるコンピュータプログラムは、上記第1A乃至上記第8Aのいずれか一の態様において「前記検知した情報は、第三者が入力したことに起因して検知した情報を含む」ものである。
 第10Aの態様によるコンピュータプログラムは、上記第1A乃至上記第9Aのいずれか一の態様において「前記検知した情報は、前記配信者を撮像する一又は複数の撮像装置によって撮像された画像を用いた画像処理によって検知した情報を含む」ものである。
 第11Aの態様によるコンピュータプログラムは、上記第1A乃至上記第10Aのいずれか一の態様において「前記配信者に対して生じる所定の状況は、所定の音が生じることを含む」ものである。
 第12Aの態様によるコンピュータプログラムは、上記第1A乃至上記第11Aのいずれか一の態様において「前記配信者に対して生じる所定の状況は、所定の物が前記配信者に接触することを含む」ものである。
 第13Aの態様によるコンピュータプログラムは、上記第1A乃至上記第12Aのいずれか一の態様において「前記配信者の顔色は、顔色の変化を含む」ものである。
 第14Aの態様によるコンピュータプログラムは、上記第1A乃至上記第13Aのいずれか一の態様において「前記配信者の声は、前記配信者の声の音質が所定の範囲以上変化すること、又は、前記配信者の声の音量が所定の量以上変化すること、を含む」ものである。
 第15Aの態様によるコンピュータプログラムは、上記第1A乃至上記第14Aのいずれか一の態様において「所定の時間内において、第1の所定の条件が充足し、かつ、第2の所定の条件が充足した場合、前記第1の所定の条件又は前記第2の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用する」ものである。
 第16Aの態様によるコンピュータプログラムは、上記第1A乃至上記第15Aのいずれか一の態様において「前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成する」ものである。
 第17Aの態様によるコンピュータプログラムは、「コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、ように前記一又は複数のプロセッサを機能させる」ものである。
 第18Aの態様によるコンピュータプログラムは、上記第17Aの態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
 第19Aの態様によるサーバ装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
 第20Aの態様によるサーバ装置は、上記第19Aの態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
 第21Aの態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する、」ものである。
 第22Aの態様による方法は、上記第21Aの態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
 第23Aの態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、」ものである。
 第24Aの態様による方法は、上記第23Aの態様において「前記配信者の所定の動作は、前記配信者に五感で知覚される予め定められた動作である」ものである。
 第25Aの態様による視聴者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
 第26Aの態様による配信者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、配信者による所定の動作、前記配信者の表情、前記配信者の顔色、前記配信者の声、又は、前記配信者に対して生じる所定の状況、のうちの一又は複数に係る情報を検知し、前記検知した情報が所定の条件を充足するか否かを判定し、前記所定の条件を充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、」ものである。
 第1Bの態様によるコンピュータプログラムは、「コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成する、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
 第2Bの態様によるコンピュータプログラムは、上記第1Bの態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
 第3Bの態様によるコンピュータプログラムは、上記第1Bの態様又は上記第2Bの態様において「前記アバターの所定の動作は、所定の対象を見る動作を含む」ものである。
 第4Bの態様によるコンピュータプログラムは、上記第1B乃至上記第3Bのいずれか一の態様において「前記所定の対象が他のアバター又はキャラクタである場合、前記アバターの所定の動作は、前記アバターの視線と前記所定の対象に係る視線とが合うことを含む」ものである。
 第5Bの態様によるコンピュータプログラムは、上記第1B乃至上記第4Bのいずれか一の態様において「前記所定の動作が、前記所定の対象を見る動作を含む場合、前記所定の条件は、前記所定の対象が前記アバターの視線方向となるように前記アバターの視線を移動させること、又は、前記アバターの視線上において前記所定の対象が存在する こと、を含む」ものである。
 第6Bの態様によるコンピュータプログラムは、上記第1B乃至上記第5Bのいずれか一の態様において「前記アバターの所定の動作は、所定の対象に接触する動作を含む」ものである。
 第7Bの態様によるコンピュータプログラムは、上記第1B乃至上記第6Bのいずれか一の態様において「前記所定の動作が、前記所定の対象に接触する動作を含む場合、前記所定の条件は、前記アバターに係る位置と、前記所定の対象に係る位置と、の距離が所定の距離内であること、を含む」ものである。
 第8Bの態様によるコンピュータプログラムは、上記第1B乃至上記第7Bのいずれか一の態様において「前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダーの位置、のいずれかである」ものである。
 第9Bの態様によるコンピュータプログラムは、上記第1B乃至上記第8Bのいずれか一の態様において「前記アバターの所定の動作は、所定の対象の飲食動作を含む」ものである。
 第10Bの態様によるコンピュータプログラムは、上記第1B乃至上記第9Bのいずれか一の態様において「前記アバターの所定の動作は、匂い又は臭いに対する所定のジェスチャーを含む」ものである。
 第11Bの態様によるコンピュータプログラムは、上記第1B乃至上記第10Bのいずれか一の態様において「前記アバターの所定の動作は、音を聞く又は/聴くことについての所定のジェスチャーを含む」ものである。
 第12Bの態様によるコンピュータプログラムは、上記第1B乃至上記第11Bのいずれか一の態様において「前記所定の条件は、前記アバターの前記所定のジェスチャーの検知を用いる」ものである。
 第13Bの態様によるコンピュータプログラムは、上記第1B乃至上記第12Bのいずれか一の態様において「前記アバターに関して生じる所定の状況は、仮想空間内において所定の音が生じることを含む」ものである。
 第14Bの態様によるコンピュータプログラムは、上記第1B乃至上記第13Bのいずれか一の態様において「前記アバターに関して生じる所定の状況は、所定の物に係る位置と、前記アバターに係る位置と、の距離が所定の範囲内になることを含む」ものである。
 第15Bの態様によるコンピュータプログラムは、上記第1B乃至上記第14Bのいずれか一の態様において「前記アバターに関して生じる所定の状況は、所定の対象と、前記アバターの所定のポーズと、が所定の組み合わせとなることを含む」ものである。
 第16Bの態様によるコンピュータプログラムは、上記第1B乃至上記第15Bのいずれか一の態様において「前記アバターの顔色は、顔色の変化を含む」ものである。
 第17Bの態様によるコンピュータプログラムは、上記第1B乃至上記第16Bのいずれか一の態様において「前記アバターの声は、前記アバターの声の音質が所定の範囲以上変化すること、又は、前記アバターの声の音量が所定の量以上変化すること、を含む」ものである。
 第18Bの態様によるコンピュータプログラムは、上記第1B乃至上記第17Bのいずれか一の態様において「所定の時間内において、第1の所定の条件が充足し、かつ、第2の所定の条件が充足した場合、前記第1の所定の条件又は前記第2の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用する」ものである。
 第19Bの態様によるコンピュータプログラムは、上記第1B乃至上記第18Bのいずれか一の態様において「前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成される」ものである。
 第20Bの態様によるコンピュータプログラムは、「コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、」ものである。
 第21Bの態様によるコンピュータプログラムは、上記第20Bの態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
 第22Bの態様によるサーバ装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
 第23Bの態様によるサーバ装置は、上記第22Bの態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
 第24Bの態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
 第25Bの態様による方法は、上記第24Bの態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
 第26Bの態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
 第27Bの態様による方法は、上記第26Bの態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
 第28Bの態様による視聴者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成しする 、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
 第29Bの態様による視聴者端末装置は、上記第28Bの態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作であ」ものである。
 第30Bの態様による配信者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
 第31Bの態様による配信者端末装置は、上記第30Bの態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
 本件出願において、例えば、動作データは、モーションキャプチャシステムを用いて取得され得る。本開示による利益を有する当業者により容易に理解されるように、本件出願において開示される装置及び方法とともに使用され得る幾つかの例の適切なモーションキャプチャシステムは、パッシブマーカ若しくはアクティブマーカを用いた又はマーカを用いない光学式モーションキャプチャシステムと、慣性式及び磁気式の非光学式システムとを含む。モーションデータは、モーションデータを動画又は他のイメージデータに変換するコンピュータに結合された、(CCD(電荷結合デバイス)又はCMOS(相補型金属酸化膜半導体)イメージセンサといったような)イメージキャプチャ装置を用いて取得され得る。
 例えば、操作データは、次のデータのうちの1つ又はそれ以上を含むことができる。
 ・配信者がタッチパッドディスプレイをどのようにスワイプしたかを示すデータ
 ・配信者がいずれのオブジェクトをタップ又はクリックしたかを示すデータ
 ・配信者がタッチパッドディスプレイをどのようにドラッグしたかを示すデータ
 ・他のそのような操作データ
図18は、トークンを送信及び使用して計算環境においてビデオをレンダリングすることを含む、本明細書において説明される実施形態、技法、及び、技術が実装されうる適切な計算環境1400の一般化された例を示す。 例えば、計算環境1400は、本明細書で記載されるように、端末装置(あるいは配信者、あるいは視聴者)、又は、配信サーバシステムなどのうちいずれかを実装することができる。
技術が、多様である汎用又は専用の計算環境で実装されうるため、計算環境1400は、技術の使用又は機能の範囲に関していかなる制限を示唆することを意図するものではない。例えば、本明細書において開示された技術は、様々な携帯用の装置、様々なマルチプロセッサシステム、様々なマイクロプロセッサベース又はプログラム可能な家庭用電化製品、様々なネットワークPC、様々なミニコンピュータ、様々なメインフレームコンピュータ、などを含む、他の様々なコンピュータシステム構成で実装されてもよい。本明細書において開示される技術は、通信ネットワークを通じてリンクされる遠隔処理装置によってタスクが実行される分散計算環境で実施されてもよい。分散計算環境においては、プログラムモジュールはローカル及びリモートの両方のメモリストレージ装置に配置されてもよい。
図18を参照して、計算環境1400は、少なくとも1つの中央処理装置1410及びメモリ1420を含む。図18では、この最も基本的な構成1430は、破線内に含まれている。
中央処理装置1410は、コンピュータにより実行可能な命令を実行し、中央処理装置1410は、実プロセッサ又は仮想プロセッサであってもよい。マルチプロセッシングシステムでは、複数のプロセッシングユニットが、コンピュータにより実行可能な命令を実行して処理力を向上させるため、複数のプロセッサは、同時に稼働できる。メモリ1420は、揮発性メモリ(例えば、レジスタ、キャッシュ、RAM)、不揮発性メモリ(例えば、ROM、EEPROM、フラッシュメモリ等)、又は、これら2つの幾つかの組み合わせであってもよい。メモリ1420は、例えば、本明細書に記載の技術を実装することができる、ソフトウェア1480、様々な画像、及び、ビデオを格納する。計算環境は、追加の様々な機能を有していいてもよい。例えば、計算環境1400は、ストレージ1440、1又は複数の入力装置1450、1又は複数の出力装置1460、及び、1又は複数の通信接続1470を含む。バス、コントローラ、又は、ネットワーク、などの相互接続機構(図示なし)は、計算環境1400の様々なコンポーネントを相互接続する。通常、オペレーティングシステムソフトウェア(図示なし)は、計算環境1400で実行される他のソフトウェア用にオペレーティング環境を提供し、及び、計算環境1400の様々なコンポーネントの様々なアクティビティを調整する。
ストレージ1440は、脱着可能であってもよいし、あるいは、脱着可能でなくてもよく、磁気ディスク、磁気テープ若しくはカセット、CD-ROM、CD-RW、DVD、又は、情報を記憶するために用いられ且つ計算環境1400内にアクセスされうる他のいかなる媒体を含む。 ストレージ1440は、本明細書で記載される技術を実装するために用いられうる、ソフトウェア1480、プラグインデータ、及び、メッセージ、のための命令を格納する。
1又は複数の入力装置1450は、キーボード、キーパッド、マウス、タッチスクリーンディスプレイ、ペン、若しくは、トラックボールなどのタッチ入力装置、音声入力装置、走査装置、又は、計算環境1400に入力を提供する別の装置、であってもよい。オーディオの場合、1又は複数の入力装置1450は、アナログ若しくはデジタル形式のオーディオ入力を受け入れるサウンドカード若しくは類似の装置、又は、様々なオーディオサンプルを計算環境1400に提供するCD-ROMリーダーであってもよい。1又は複数の出力装置1460は、ディスプレイ、プリンタ、スピーカ、CDライタ、又は、計算環境1400からの出力を提供する別の装置であってもよい。
1又は複数の通信接続1470は、通信媒体(例えば、接続ネットワーク)を介して別の計算エンティティへの通信を可能にする。通信媒体は、コンピュータにより実行可能な命令、圧縮グラフィックス情報、ビデオ、又は、変調データ信号に含まれる他のデータ、などの情報を伝達する。1又は複数の通信接続1470は、有線接続(例えば、メガビット若しくはギガビットイーサネット、インフィニバンド、又は、電気若しくは光ファイバー接続を介したファイバーチャネル)に限定されるものでなく、無線技術(例えば、Bluetooth、WiFi(IEEE 802.11a/b/n)、WiMax、セルラー、衛星、レーザー、赤外線、経由のRF接続)、並びに、本明細書において開示された様々なエージェント、様々なブリッジ、及び、宛先エージェントの様々なデータコンシューマ、にネットワーク接続を提供するための他の適切な様々な通信接続を含む。仮想ホスト環境においては、1又は複数の通信接続は、仮想ホストによって提供される仮想化されたネットワーク接続であってもよい。
本明細書において開示された様々な方法の様々な実施形態は、計算クラウド1490において、本明細書において開示された技術の全て又は一部を実装するコンピュータにより実行可能な複数の命令を用いて実行されうる。例えば、様々なエージェントは、計算環境において様々な脆弱性スキャン機能を実行可能である一方、エージェントプラットフォーム(例えば、ブリッジ)、及び、宛先エージェントデータのコンシューマサービスは、計算クラウド1490の内部に位置する様々なサーバで実行可能である。
コンピュータにより読み取り可能な媒体は、計算環境1400内でアクセスされうる任意の利用可能な媒体である。限定するものではなく、一例として、計算環境1400に関して、コンピュータにより読み取り可能な媒体は、メモリ1420及び/又はストレージ1440を含む。容易に理解されるように、コンピュータにより読み取り可能な媒体という用語は、メモリ1420及び記憶装置1440などのデータ記憶用の媒体を含み、変調された様々なデータ信号などの伝送媒体を含まない。
 本件出願において用いられる「ギフト」という用語は、「トークン(token)」という用語と同様の概念を意味する。したがって、「ギフト」という用語を「トークン(token)」という用語に置き換えて、本件出願に記載された技術を理解することも可能である。
 また、本件出願において、以下のとおり読み替えてよい。
ギフトに係るデータは、ギフトに係る情報であってよい。
前記ギフトの表示開始のデータは、前記ギフトの表示開始の情報であってよい。
前記ギフトの表示変化のデータは、前記ギフトの表示変化の情報であってよい。
前記ギフトが属性として有するデータは、前記ギフトが属性として有する情報であってよい。
前記ギフトの表示終了のデータは、前記ギフトの表示終了の情報であってよい。
第1ギフトに係るデータは、第1ギフトに係る情報であってよい。
第2ギフトに係るデータは、第2ギフトに係る情報であってよい。
前記第1ギフトと前記第2ギフトとの時間に係るデータは、前記第1ギフトと前記第2ギフトとの時間に係る情報であってよい。
ギフトの提供者に係るデータは、ギフトの提供者に係る情報でよい。
所定の条件に対応する所定の表情又はポーズとするためのデータは、所定の条件に対応する所定の表情又はポーズとするための情報であってよい。
所定の表情又はポーズとするためのデータは、所定の表情又はポーズとするための情報であってよい。
アバターを操作するデータは、アバターを操作する情報であってよい。
生成されたデータは、生成された情報であってよい。
 本明細書に開示された発明の原理が適用され得る多くの可能な実施形態を考慮すれば、例示された様々な実施形態は好ましい様々な例に過ぎず、特許請求の範囲に係る発明の技術的範囲をこれらの好ましい様々な例に限定すると考えるべきではない、と理解されたい。実際には、特許請求の範囲に係る発明の技術的範囲は、添付した特許請求の範囲により定められる。したがって、特許請求の範囲に記載された発明の技術的範囲に属するすべてについて、本発明者らの発明として、特許の付与を請求する。
 また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
 本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。
 1 システム
 10 通信網
 20(20A~20C) サーバ装置
 30(30A~30C) 端末装置
 21(31)  演算装置
 22(32)  主記憶装置
 23(33)  入出力インタフェイス
 24(34)  入力装置
 25(35)  補助記憶装置
 26(36)  出力装置
 41      取得部
 42      条件適用部

Claims (15)

  1.  コンピュータプログラムであって、
     一又は複数のプロセッサにより実行されることにより、
     視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
     前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、
     前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、
    ように前記プロセッサを機能させるコンピュータプログラム。
  2.  前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、
     請求項1に記載のコンピュータプログラム。
  3.  前記所定の条件は、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲内に入ることを含む、
     請求項1に記載のコンピュータプログラム。
  4.  前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダー、のいずれかである、
     請求項3に記載のコンピュータプログラム。
  5.  前記所定の条件は、前記ギフトに係る優先度を用いる、
     請求項1に記載のコンピュータプログラム。
  6.  前記ギフトに係る優先度は、前記ギフトの価格、前記ギフトの表示される大きさ、前記ギフトのレベル、及び/又は、前記ギフトの提供者に係る情報、が用いられる、
     請求項5に記載のコンピュータプログラム。
  7.  前記所定の表情は、前記ギフトが表示されている方向に連動して変化する、
     請求項1に記載のコンピュータプログラム。
  8.  前記ギフトに係る情報は、前記ギフトの表示開始の情報、前記ギフトの表示変化の情報、前記ギフトが属性として有する情報、及び/又は、前記ギフトの表示終了の情報、を含む、
     請求項1に記載のコンピュータプログラム。
  9.  前記ギフトに係る情報は、第1ギフトに係る情報と、第2ギフトに係る情報と、を含み、
     前記所定の条件は、前記第1ギフトに係る情報と、前記第2ギフトに係る情報と、の組み合わせ、順番、及び/又は、前記第1ギフトと前記第2ギフトとの時間に係る情報と、を用いる、
     請求項1に記載のコンピュータプログラム。
  10.  前記複数のプロセッサは、サーバ、視聴者端末、配信者端末、のいずれか一部又は全部に備えられる、
    請求項1に記載のコンピュータプログラム。
  11.  前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、
    請求項1に記載のコンピュータプログラム。
  12.  一又は複数のプロセッサを具備し、
     前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
     視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
     前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、
     前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、
    ことを特徴とするサーバ装置。
  13.  前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、
     請求項12に記載のサーバ装置。
  14.  コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
     前記プロセッサが、前記命令を実行することにより、
     視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
     前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、
     前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、
    ことを特徴とする方法。
  15.  前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、
     請求項14に記載の方法。
PCT/JP2021/015347 2020-04-14 2021-04-13 コンピュータプログラム、サーバ装置、端末装置、及び方法 WO2021210585A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/956,873 US20230023653A1 (en) 2020-04-14 2022-09-30 Computer program, server, terminal, and method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2020-072287 2020-04-14
JP2020072287A JP7398655B2 (ja) 2020-04-14 2020-04-14 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP2020-078079 2020-04-27
JP2020078079A JP7329217B2 (ja) 2020-04-27 2020-04-27 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP2020-093438 2020-05-28
JP2020093438A JP2021189674A (ja) 2020-05-28 2020-05-28 コンピュータプログラム、サーバ装置、端末装置、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/956,873 Continuation US20230023653A1 (en) 2020-04-14 2022-09-30 Computer program, server, terminal, and method

Publications (1)

Publication Number Publication Date
WO2021210585A1 true WO2021210585A1 (ja) 2021-10-21

Family

ID=78084475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015347 WO2021210585A1 (ja) 2020-04-14 2021-04-13 コンピュータプログラム、サーバ装置、端末装置、及び方法

Country Status (2)

Country Link
US (1) US20230023653A1 (ja)
WO (1) WO2021210585A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023069010A3 (en) * 2021-10-22 2023-06-08 Lemon Inc. System and method for animated emoji recording and playback
JP7489644B2 (ja) 2022-06-28 2024-05-24 グリー株式会社 コンピュータプログラム、方法及びサーバ装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014575A (ja) * 2016-07-19 2018-01-25 Gatebox株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP2020017244A (ja) * 2018-07-25 2020-01-30 株式会社バーチャルキャスト サーバ、方法、プログラム、動画像放送システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014575A (ja) * 2016-07-19 2018-01-25 Gatebox株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP2020017244A (ja) * 2018-07-25 2020-01-30 株式会社バーチャルキャスト サーバ、方法、プログラム、動画像放送システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023069010A3 (en) * 2021-10-22 2023-06-08 Lemon Inc. System and method for animated emoji recording and playback
JP7489644B2 (ja) 2022-06-28 2024-05-24 グリー株式会社 コンピュータプログラム、方法及びサーバ装置

Also Published As

Publication number Publication date
US20230023653A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
JP7109408B2 (ja) 広範囲同時遠隔ディジタル提示世界
EP3381175B1 (en) Apparatus and method for operating personal agent
US10275121B1 (en) Systems and methods for customized avatar distribution
US20230023653A1 (en) Computer program, server, terminal, and method
JP2024063117A (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
US10877555B2 (en) Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
TWI736054B (zh) 化身臉部表情產生系統及化身臉部表情產生方法
JP7479618B2 (ja) 情報処理プログラム、情報処理方法、情報処理装置
JP7455312B2 (ja) 情報処理プログラム、情報処理方法及び情報処理装置
WO2023096840A1 (en) Input prediction for pre-loading of rendering data
JP7329217B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
JP7398655B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
JP7204984B1 (ja) プログラム、方法、情報処理装置
US20230063681A1 (en) Dynamic augmentation of stimuli based on profile of user
US11417042B2 (en) Animating body language for avatars
CN109145010A (zh) 信息查询方法、装置、存储介质及穿戴式设备
US20240091650A1 (en) Systems and methods for modifying user sentiment for playing a game
US20240066413A1 (en) Ai streamer with feedback to ai streamer based on spectators
US11682178B2 (en) Alternating perceived realities in a virtual world based on first person preferences and a relative coordinate system
JP7339420B1 (ja) プログラム、方法、情報処理装置
JP7302945B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN117122915A (zh) 用于在视频游戏的游戏玩法期间自动控制用户打断的方法和系统
JP2020509468A (ja) シミュレーション方法とシステム
CN117122907A (zh) 用于提供游戏重新沉浸的方法和系统
Nakagawa et al. Model-Based Analysis of the Differences in Sensory Perception between Real and Virtual Space: Toward “Adaptive Virtual Reality”

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21787960

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21787960

Country of ref document: EP

Kind code of ref document: A1