WO2022168428A1 - 情報処理方法、情報処理装置およびプログラム - Google Patents

情報処理方法、情報処理装置およびプログラム Download PDF

Info

Publication number
WO2022168428A1
WO2022168428A1 PCT/JP2021/044934 JP2021044934W WO2022168428A1 WO 2022168428 A1 WO2022168428 A1 WO 2022168428A1 JP 2021044934 W JP2021044934 W JP 2021044934W WO 2022168428 A1 WO2022168428 A1 WO 2022168428A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature amount
posture
data
information processing
unit
Prior art date
Application number
PCT/JP2021/044934
Other languages
English (en)
French (fr)
Inventor
保 石井
哲朗 佐藤
康隆 福本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180091883.XA priority Critical patent/CN116829065A/zh
Priority to EP21924813.5A priority patent/EP4290347A1/en
Priority to KR1020237024037A priority patent/KR20230135061A/ko
Priority to JP2022579362A priority patent/JPWO2022168428A1/ja
Priority to US18/269,144 priority patent/US20240077938A1/en
Publication of WO2022168428A1 publication Critical patent/WO2022168428A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6829—Foot or ankle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups

Definitions

  • the present disclosure relates to an information processing method, an information processing device, and a program.
  • motion capture technology for acquiring motion information that indicates user motion has been actively developed.
  • Acquired motion information is used, for example, in sports to improve form, or in applications such as VR (Virtual Reality) or AR (Augmented Reality).
  • VR Virtual Reality
  • AR Augmented Reality
  • an avatar image imitating the movement of the user is generated, and the avatar image is distributed.
  • Patent Literature 1 discloses a motion capture technique realized by a sensor system. Note that the motion information is continuous time-series data of posture information indicating the posture of the user at one time.
  • the acquired posture information may be inaccurate.
  • inaccurate posture information is acquired when a sensor worn by the user is dropped or displaced.
  • the accuracy of posture information can be degraded due to camera misalignment and drift.
  • the application of motion capture technology is, for example, generation of avatar images, there is concern that avatar images may be generated with inappropriate postures or movements.
  • the present disclosure proposes a new and improved information processing method, information processing apparatus, and program capable of coping with the generation of inappropriate posture information.
  • acquiring posture information indicating a posture of a moving body extracting feature amounts from the posture information at one point in time or at a plurality of points in time, and extracting feature amounts, which are the extracted feature amounts, determining whether or not the extracted feature amount is included in the set range in the feature amount space; obtaining data as a quantity, and using the used feature quantity to generate data indicative of posture or movement.
  • a posture information acquisition unit that acquires posture information indicating a posture of a moving body, a feature quantity extraction unit that extracts a feature quantity from the posture information at one time point or a plurality of time points, and the feature quantity a judging unit for judging whether or not the extracted feature amount, which is the feature amount extracted by the extracting unit, is included in a set range in the feature amount space; and the judgment unit if the extracted feature amount is not included in the set range.
  • a data generation unit that generates data indicating a posture or a motion having a feature amount included in the set range based on the determination by the above.
  • the computer includes a posture information acquisition unit that acquires posture information indicating a posture of a moving body, a feature amount extraction unit that extracts a feature amount from the posture information at one time point or at a plurality of time points, a judgment unit for judging whether or not the extracted feature amount, which is the feature amount extracted by the feature amount extraction unit, is included in a set range in the feature amount space;
  • a program is provided for functioning as a data generation unit that generates data indicating a posture or movement having a feature amount included in the set range based on the determination by the determination unit.
  • FIG. 1 is an explanatory diagram showing an information processing system according to an embodiment of the present disclosure
  • FIG. 4 is an explanatory diagram showing a specific example of an avatar video V displayed on a viewing user terminal 40
  • FIG. 2 is an explanatory diagram showing the configuration of a distribution user terminal 20 according to an embodiment of the present disclosure
  • FIG. FIG. 4 is an explanatory diagram showing functions of a base tool 250
  • FIG. 4 is an explanatory diagram showing a specific example of generation of raw skeleton data
  • FIG. 11 is an explanatory diagram showing a specific example of corrected skeleton data generated by a data correction unit 258
  • 3 is an explanatory diagram showing functions of an application unit 260
  • FIG. 10 is a flow chart showing a first example of registering an additional usage range
  • FIG. 10 is a flow chart showing a first example of registering an additional usage range
  • FIG. 11 is a flow chart showing a second registration example of an additional usage range; FIG. FIG. 11 is a flow chart showing a third registration example of an additional usage range; FIG. FIG. 11 is an explanatory diagram showing a specific example of a pose selection screen; FIG. 10 is an explanatory diagram showing an example of a display screen for distribution users; FIG. 10 is an explanatory diagram showing an example of a display screen for distribution users; FIG.
  • Skeleton data expressed by a skeleton structure representing the structure of the body, for example.
  • Skeleton data includes information about parts and bones, which are line segments connecting parts.
  • the parts in the skeleton structure correspond to, for example, terminal parts and joint parts of the body.
  • the bones in the skeleton structure can correspond to, for example, human bones, but the positions and numbers of the bones do not necessarily match the actual human skeleton.
  • the position of parts in skeleton data can be obtained by various motion capture technologies.
  • a camera-type technology that attaches a marker to each part of the body and acquires the position of the marker using an external camera or the like, or a motion sensor attached to the part of the body, and the sensor data acquired by the motion sensor
  • sensor-based technologies that acquire the position information of motion sensors based on.
  • time-series data of skeleton data is used for form improvement in sports, and for applications such as VR (Virtual Reality) or AR (Augmented Reality).
  • time-series data of skeleton data is used to generate an avatar image imitating a user's movement, and the avatar image is distributed.
  • an embodiment of the present disclosure a configuration example of an information processing system that generates skeleton data using a motion sensor and distributes an avatar video based on the skeleton data will be described.
  • an embodiment of the present disclosure is applicable to other motion capture techniques and other applications as well.
  • humans are mainly described below as an example of a moving object, the embodiments of the present disclosure are similarly applicable to other moving objects such as animals and robots.
  • FIG. 1 is an explanatory diagram showing an information processing system according to an embodiment of the present disclosure.
  • an information processing system according to an embodiment of the present disclosure has six sensor devices 10A-10F, a distribution user terminal 20, a distribution server 30 and a viewing user terminal .
  • User U1 shown in FIG. 1 is a distribution user who distributes avatar videos, and users U2 and U3 are viewing users who view avatar videos.
  • Network 12 is a wired or wireless transmission path for information transmitted from devices connected to network 12 .
  • the network 12 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), WANs (Wide Area Networks), and the like.
  • the network 12 may also include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • the sensor device 10 includes an inertial sensor (IMU: Inertial Measurement Unit) such as an acceleration sensor that acquires acceleration and a gyro sensor (angular velocity sensor) that acquires angular velocity. )including.
  • IMU Inertial Measurement Unit
  • the sensor device 10 may also include sensors such as a geomagnetic sensor, an ultrasonic sensor, and an atmospheric pressure sensor.
  • the sensor devices 10A to 10F are desirably attached to reference joints of the body (for example, the waist and head) or near extremities of the body (wrists, ankles, head, etc.).
  • the sensor device 10A is worn on the waist of the distribution user U1
  • the sensor devices 10B and 10E are worn on the wrists
  • the sensor devices 10C and 10D are worn on the ankles
  • the sensor device 10F is worn on the head.
  • the part of the body to which the sensor device 10 is attached may also be referred to as the attachment part.
  • the number of sensor devices 10 and mounting positions are not limited to the example shown in FIG. .
  • Such a sensor device 10 acquires the acceleration or angular velocity of the mounting site as sensor data, and transmits the sensor data to the delivery user terminal 20.
  • the distribution user terminal 20 is an example of an information processing device used by the distribution user U1.
  • the distribution user terminal 20 receives the sensor data from the sensor device 10, and uses the received sensor data to generate an avatar image of the distribution user U1.
  • the delivery user terminal 20 acquires mounting site information indicating the position and orientation of each mounting site based on the sensor data, and based on the mounting site information, position information and position information of each site in the skeleton structure. Generate skeleton data with pose information.
  • the distribution user terminal 20 generates an avatar image having the posture indicated by the skeleton data.
  • the distribution user terminal 20 transmits the generated avatar video to the distribution server 30 and requests the distribution server 30 to distribute the avatar video.
  • the skeleton data is an example of posture information indicating the posture of distribution user U1, and in this specification, the skeleton data at point 1 may also be referred to as pose.
  • time-series data of poses at consecutive n points of time may be referred to as motion.
  • a notebook PC Personal Computer
  • the distribution user terminal 20 may be another information processing device such as a smart phone or a desktop PC.
  • the distribution server 30 distributes the avatar video to the viewing user terminal 40 based on the request from the distribution user terminal 20 .
  • FIG. 1 shows one distribution server 30 that implements a distribution service provided by a certain business operator, there may be a plurality of business operators providing distribution services and a plurality of distribution servers 30.
  • the distribution user terminal 20 can request the distribution server 30, which provides the distribution service specified by the distribution user U1, to distribute the avatar video.
  • the viewing user terminal 40 is an information processing device used by viewing users (for example, user U2 and user U3 shown in FIG. 1).
  • the viewing user terminal 40 has a display unit that displays various screens, an operation unit that detects the operation of the viewing user, and a control unit that controls the overall operation of the viewing user terminal 40 .
  • the viewing user terminal 40 requests the distribution server 30 to distribute the avatar video of the distribution user U1 based on the operation of the viewing user, and displays the avatar video distributed from the distribution server 30 .
  • FIG. 2 is an explanatory diagram showing a specific example of the avatar video V displayed on the viewing user terminal 40.
  • FIG. 2 the video of the two-dimensional character is displayed as the avatar video V on the viewing user terminal 40, for example.
  • the posture of the avatar video V reflects the posture of distribution user U1. That is, the avatar video V changes according to the movement of the delivery user U1.
  • motion capture techniques can produce inaccurate skeletal data.
  • inaccurate skeleton data is generated when a sensor device worn by a distribution user is dropped or displaced.
  • the accuracy of posture information can be degraded due to camera misalignment and drift.
  • the application of motion capture technology is, for example, generation of avatar images, there is concern that avatar images may be generated with inappropriate postures or movements.
  • the inventors have come to create an embodiment of the present disclosure by focusing on the above circumstances.
  • generation of inappropriate skeleton data can be addressed.
  • the configuration and operation of the distribution user terminal 20 according to an embodiment of the present disclosure will be sequentially described in detail.
  • FIG. 3 is an explanatory diagram showing the configuration of the distribution user terminal 20 according to one embodiment of the present disclosure.
  • the distribution user terminal 20 includes an operation unit 216, a display unit 220, a communication unit 230, and a control unit 240.
  • the operation unit 216 is configured to be operated by the distribution user for inputting instructions or information to the distribution user terminal 20 .
  • the display unit 220 displays various display screens. For example, the display unit 220 displays a display screen including the avatar image generated by the control unit 240.
  • FIG. Communication unit 230 communicates with distribution server 30 via network 12 . For example, the communication section 230 transmits the avatar video generated by the control section 240 to the distribution server 30 via the network 12 .
  • the control unit 240 controls the overall operation of the distribution user terminal 20.
  • the control unit 240 according to an embodiment of the present disclosure has a function of generating skeleton data of the distribution user based on sensor data received from the sensor device 10 and generating an avatar image having the posture indicated by the skeleton data. have.
  • the control unit 240 according to an embodiment of the present disclosure also has a function of modifying skeleton data. These functions of the control unit 240 are realized by the base tool 250 and the application unit 260 shown in FIG.
  • the base tool 250 has a function of generating skeleton data from sensor data and a function of correcting skeleton data.
  • skeleton data generated from sensor data may be referred to as raw skeleton data
  • skeleton data generated by modifying the raw skeleton data may be referred to as corrected skeleton data.
  • Raw skeleton data and corrected skeleton data are sometimes simply referred to as skeleton data without any particular distinction.
  • the base tool 250 supplies raw skeleton data or modified skeleton data to the application section 260 .
  • the application unit 260 realizes various functions in cooperation with the base tool 250.
  • the application unit 260 generates an avatar image based on the skeleton data supplied from the base tool 250 and requests the distribution server 30 to distribute the avatar image.
  • the application unit 260 may request the distribution server 30 to distribute a combination of the avatar video and other content data.
  • Other content data includes, for example, background data and music data.
  • the developer of the base tool 250 and the developer of the application unit 260 may be the same or different. The functions of the base tool 250 and application unit 260 will be described in more detail below.
  • FIG. 4 is an explanatory diagram showing the functions of the base tool 250.
  • the base tool 250 includes a sensor data acquisition unit 251, a calibration unit 252, a skeleton data generation unit 253, a feature amount extraction unit 254, an application interface 255, a basic usage range storage unit 256, a usage range determination It has a section 257 and a data correction section 258 .
  • the sensor data acquisition unit 251 acquires sensor data indicating the acceleration or angular velocity of the attachment site from the sensor device 10 .
  • the calibration unit 252 calibrates sensor data acquired by the sensor data acquisition unit 251 .
  • the calibration unit 252 may perform the calibration when starting to use the base tool 250, or may perform the calibration according to the operation by the distribution user.
  • Skeleton data generator 253 Skeleton data generator 253 acquires attachment site information indicating the position and orientation of each attachment site based on the sensor data acquired by sensor data acquisition section 251, and based on the attachment site information, determines each site in the skeleton structure. Generate raw skeleton data including position and orientation information. Generation of raw skeleton data will be described in more detail below with reference to FIG.
  • FIG. 5 is an explanatory diagram showing a specific example of generating raw skeleton data.
  • the skeleton data generation unit 253 Based on the sensor data, the skeleton data generation unit 253 generates mounting site information PD100 including position information and orientation information of the mounting sites P101 to P106 on which the sensor devices 10A to 10F are mounted, as shown in the left diagram of FIG. to get
  • the skeleton data generation unit 253 generates raw skeleton data SD100 including position information and posture information of each part in the skeleton structure, as shown in the right diagram of FIG. to get
  • the raw skeleton data SD100 includes not only the information of the mounting part SP101 corresponding to the mounting part P101 and the mounting part SP102 corresponding to the mounting part P102, but also the information of the non-mounting part SP107.
  • raw skeleton data may also include bone information (position information, posture information, etc.).
  • the raw skeleton data SD100 may include information on the bone SB101.
  • the skeleton data generation unit 253 can specify bone information between parts based on position information and posture information of parts in the skeleton structure.
  • the feature quantity extraction unit 254 extracts a feature quantity from the bare skeleton data (distribution user posture information) generated by the feature quantity extraction unit 254 .
  • the feature amount extracting unit 254 extracts a pose feature amount, which is the feature amount of the pose, from the pose, which is raw skeleton data at time 1 .
  • the pose feature amount extracted by the feature amount extraction unit 254 is a feature amount that is located close to each other in the pose feature amount space between similar poses.
  • the feature amount extraction unit 254 may extract the pose feature amount using a discriminator such as a DNN (Deep Neural Network) that has been trained to enable such pose feature amount extraction.
  • a discriminator such as a DNN (Deep Neural Network) that has been trained to enable such pose feature amount extraction.
  • the feature amount extraction unit 254 extracts a motion feature amount, which is the feature amount of the motion, from the motion, which is the time-series data of the pose.
  • the motion feature amount extracted by the feature amount extraction unit 254 is a feature amount that is located close to each other in the motion feature amount space between similar motions.
  • the feature amount extraction unit 254 may extract the motion feature amount using a discriminator such as a DNN trained to enable extraction of such motion feature amount.
  • the application interface 255 is an interface with the application section 260 .
  • the application interface 255 may be configured as an API (Application Programming Interface).
  • the application interface 255 returns skeleton data of the delivery user to the application section 260 in response to a request from the application section 260 .
  • the application interface 255 returns the corrected skeleton data to the application unit 260 when the corrected skeleton data is generated by the data correction unit 258 described later, and returns the corrected skeleton data to the application unit 260 when the corrected skeleton data is not generated.
  • Skeleton data may be returned to application unit 260 .
  • the application interface 255 acquires information indicating an additional use range, which will be described later, from the application unit 260 and passes the information indicating the additional use range to the use range determination unit 257 .
  • the basic usage range storage unit 256 stores information indicating a basic usage range, which is an example of a set range.
  • the basic usage range is a partial range in the pose feature space or motion feature space.
  • the basic use range of poses may be a range that includes feature amounts of poses that humans can take in the pose feature amount space and does not include feature amounts of poses that humans are not normally expected to take.
  • the basic usage range of motion may be a range that includes motion features that humans can take in the motion feature space, but does not include motion features that are not normally assumed to be taken by humans.
  • the basic usage range may be a range that is indirectly specified by storing information indicating the range of feature amounts that are not included in the basic usage range.
  • Data correction unit 258 Based on the fact that the use range determination unit 257 has determined that the feature amount extracted by the feature amount extraction unit 254 is not included in the use range, the data correction unit 258 uses the feature amount included in the use range as the use feature amount. and generate corrected skeleton data indicating pose or motion using the used feature amount. For example, the data correcting unit 258 adjusts the usage range according to the positional relationship (i.e., Euclidean distance) in the feature amount space between the feature amount extracted by the feature amount extraction unit 254 and each feature amount included in the usage range. Get the used features from the included features.
  • positional relationship i.e., Euclidean distance
  • the data correction unit 258 may acquire the feature amount closest to the feature amount extracted by the feature amount extraction unit 254, among the feature amounts included in the use range, as the use feature amount.
  • a specific example of corrected skeleton data generated by the data corrector 258 will now be described with reference to FIG.
  • FIG. 6 is an explanatory diagram showing a specific example of corrected skeleton data generated by the data correction unit 258.
  • FIG. The left diagram of FIG. 6 shows the raw skeleton data SD101 generated by the skeleton data generator 253 .
  • the left hand portion has a bent shape, and the left hand portion of a human does not normally take this shape.
  • Inappropriate raw skeleton data SD101 may be generated in this way when sensor device 10 is displaced or dropped.
  • the use range determination unit 257 determines that the pose feature amount of the raw skeleton data SD101 is not included in the use range of the pose, and the data correction unit 258 generates the corrected skeleton data MSD101 shown in the right diagram of FIG. 6, for example. do.
  • the modified skeleton data MSD101 is skeleton data generated using the feature amounts included in the use range in the pose feature amount space, and the left-hand bend is corrected to be a straight line.
  • the data correction unit 258 can also generate corrected skeleton data for each motion, which is time-series data of a plurality of poses. is.
  • the data correction unit 258 may use the feature amount (extracted feature amount) extracted from the raw skeleton data by the feature amount extraction unit 254 in addition to the feature amount acquired from the use range when generating the corrected skeleton data. good. For example, the data correction unit 258 may mix the feature amount obtained from the usage range and the extracted feature amount to generate a mixed feature amount, and generate corrected skeleton data indicating a pose or motion having the mixed feature amount.
  • the data correction unit 258 determines the mixing ratio of the feature amount acquired from the usage range and the extracted feature amount according to the duration of time during which the extracted feature amount is determined not to be included in the usage range. may For example, the longer the duration for which it is determined that the extracted feature quantity is not included in the usage range, the more the mixing ratio of the feature quantity acquired from the usage range may increase.
  • the original corrected skeleton data in which the extracted features were judged not to be included in the usable range almost matched the raw skeleton data, and the duration of the judgment that the extracted features were not included in the usable range was long. As it becomes larger, the difference between the corrected skeleton data and the raw skeleton data becomes larger.
  • the data correction unit 258 also corrects the mixed feature amount. Generating the modified skeleton data used may continue. For example, the data correction unit 258 may decrease the mixing ratio of the feature amounts acquired from the use range as the elapsed time after it is determined that the extracted feature amount is included in the use range increases. In this case, the difference between the corrected skeleton data and the raw skeleton data becomes smaller as the elapsed time after it is determined that the extracted feature amount is included in the use range becomes longer. Then, the data correction unit 258 may terminate the generation of corrected skeleton data when the elapsed time from when it is determined that the extracted feature amount is included in the use range reaches a predetermined time.
  • FIG. 7 is an explanatory diagram showing the functions of the application section 260.
  • the application section 260 has a base tool plug-in 261 , an additional usage range storage section 262 , an additional usage range registration section 263 , a retargeting section 265 , a display control section 267 and a distribution control section 268 .
  • Base tool plug-in 261 is an interface with base tool 250 .
  • the platform tool plug-in 261 receives data from the platform tool 250 and converts the data into a format that can be handled by the application section 260 .
  • infrastructure tool plug-in 261 receives skeleton data, such as raw skeleton data or modified skeleton data, from infrastructure tool 250 .
  • the additional usage range storage unit 262 stores information indicating an additional usage range, which is an example of the set range.
  • the additional use range is a partial range in the pose feature space or motion feature space.
  • the additional use range may be, for example, a range that includes pose or motion feature values suitable for a character used as an avatar image.
  • the additional use range may be a range that is indirectly specified by storing information indicating the range of feature amounts not included in the additional use range.
  • the additional use range registration unit 263 has a function of registering an additional use range in the additional use range storage unit 262 .
  • the additional usage range registration unit 263 may register the additional usage range in the additional usage range storage unit 262 using various methods. Several method examples for the additional use range registration unit 263 to register the additional use range of poses in the additional use range storage unit 262 will be described below.
  • FIG. 8 is a flowchart showing a first registration example of the additional usage range.
  • the additional usage range registration unit 263 acquires recorded motions (that is, a set of poses at each of a plurality of consecutive points in time) (S302).
  • the feature amount extraction unit 254 of the base tool 250 acquires the recorded motion from the additional use range registration unit 263 via the application interface 255, and extracts the pose feature amount of each pose that constitutes the motion (S304). ).
  • the additional use range registration unit 263 receives the pose feature amount of each pose that constitutes the motion from the base tool 250 via the base tool plug-in 261, and registers the range including the pose feature amount of each pose as an additional use range of the pose. is registered in the additional usage range storage unit 262 (S306).
  • the additional use range of poses may be a range in which the Euclidean distance between each pose and the pose feature amount is equal to or less than a predetermined length. Further, the pose additional usage range may exist continuously or discretely in the feature amount space.
  • the feature amount extraction unit 254 extracts the motion feature amount of the motion
  • the additional use range registration unit 263 extracts the motion feature amount from the base tool 250 via the base tool plug-in 261.
  • a motion feature amount is received, and a range including the motion feature amount is registered in the additional use range storage unit 262 as an additional use range of motion.
  • FIG. 9 is a flow chart showing a second registration example of the additional usage range.
  • the distribution user designates a motion name such as walking or running by operating the operation unit 216 (S312). It is assumed that the base tool 250 or the application unit 260 is prepared in advance with a database in which motions and motion names are associated with each other.
  • the additional usage range registration unit 263 searches the database for a motion corresponding to the designated motion name (S314). Then, the feature amount extraction unit 254 of the base tool 250 acquires the retrieved motion from the additional use range registration unit 263 via the application interface 255, and extracts the pose feature amount of each pose that constitutes the motion (S316). ).
  • the additional use range registration unit 263 receives the pose feature amount of each pose that constitutes the motion from the base tool 250 via the base tool plug-in 261, and registers the range including the pose feature amount of each pose as an additional use range of the pose. is registered in the additional usage range storage unit 262 (S318).
  • the feature amount extraction unit 254 extracts the motion feature amount of the motion
  • the additional use range registration unit 263 extracts the motion feature amount from the base tool 250 via the base tool plug-in 261.
  • a motion feature amount is received, and a range including the motion feature amount is registered in the additional use range storage unit 262 as an additional use range of motion.
  • FIG. 10 is a flowchart showing a third registration example of the additional usage range.
  • display unit 220 first displays a pose selection screen including a plurality of poses, and the distribution user selects two or more poses on the pose selection screen by operating operation unit 216 (S322). ).
  • S322 operating operation unit 216
  • FIG. 11 is an explanatory diagram showing a specific example of the pose selection screen.
  • the pose selection screen includes a plurality of pose displays 71A-71C, selection buttons 72A-72C corresponding to the pose displays 71A-71C, and a new registration button 73.
  • the distribution user sequentially selects selection buttons 72 corresponding to pose displays 71 indicating two or more desired poses, and presses a new registration button 73 . If the pose selection screen does not include a pose display indicating a desired pose, the distribution user can register a new pose by himself/herself.
  • the additional use range registration unit 263 derives a motion that joins two or more poses selected by the distribution user according to the selected order (S324).
  • the feature amount extraction unit 254 of the base tool 250 acquires the derived motion from the additional usage range registration unit 263 via the application interface 255, and extracts the pose feature amount of each pose that constitutes the motion ( S326).
  • the additional use range registration unit 263 receives the pose feature amount of each pose that constitutes the motion from the base tool 250 via the base tool plug-in 261, and registers the range including the pose feature amount of each pose as an additional use range of the pose. is registered in the additional usage range storage unit 262 (S328).
  • the feature amount extraction unit 254 extracts the motion feature amount of the motion
  • the additional use range registration unit 263 extracts the motion feature amount from the base tool 250 via the base tool plug-in 261.
  • a motion feature amount is received, and a range including the motion feature amount is registered in the additional use range storage unit 262 as an additional use range of motion.
  • the retargeting unit 265 receives the distribution user's skeleton data from the base tool plug-in 261 and retargets the skeleton data to generate an avatar image having the posture or movement indicated by the skeleton data.
  • the display control unit 267 generates various display screens and causes the display unit 220 to display the generated display screens. For example, the display control unit 267 generates the pose selection screen described above and causes the display unit 220 to display the pose selection screen. The display control unit 267 also generates an avatar display screen including the avatar video generated by the retargeting unit 265 and causes the display unit 220 to display the avatar display screen.
  • the distribution control unit 268 transmits the distribution of the avatar video generated by the retargeting unit 265 to the distribution server 30 and requests the distribution server 30 to distribute the avatar video. After that, when the distribution of the avatar video is started, the display control unit 267 generates a display screen for the distribution user and causes the display unit 220 to display the display screen. A specific example of the display screen generated by the display control unit 267 will be described below.
  • FIG. 12 is an explanatory diagram showing an example of a display screen for distribution users.
  • the left diagram of FIG. 12 shows a distribution confirmation screen 81, and the distribution confirmation screen 81 includes an avatar video V being distributed, a live display 811 indicating that the avatar video V is being distributed in real time, and an abnormality notification icon 813.
  • the avatar image V is an image generated from raw skeleton data, and the left leg is bent outward.
  • the abnormality notification icon 813 indicates that the usage range determination unit 257 of the base tool 250 has determined that the feature amount extracted from the raw skeleton data is not included in the usage range.
  • an abnormality notification icon 813 may be displayed as shown in the left diagram of FIG. 12 .
  • the display control unit 267 causes the display unit 220 to display the skeleton display screen 82 shown in the right diagram of FIG.
  • the skeleton display screen 82 includes a display 822 showing raw skeleton data, a display 823 showing an avatar image obtained when modified skeleton data is applied, and a correction button 824 .
  • a skeleton display screen 83 including a display 832 showing modified skeleton data and a display 833 showing an avatar image is displayed on display unit 220 .
  • the left leg of the avatar video V is straightened because the target of retargeting is switched to the modified skeleton data, and the abnormality notification icon 813 shown in FIG. 12 disappears.
  • the display control unit 267 issues a calibration as a predetermined notification based on the number of occurrences or frequency of occurrence of determination that the feature amount extracted from the raw skeleton data is not included in the use range exceeds the threshold.
  • a calibration icon that guides calibration may be displayed on the display unit 220 .
  • FIG. 14 is an explanatory diagram showing a specific example of the distribution confirmation screen 85 including the calibration icon.
  • the distribution confirmation screen 85 includes an avatar video V generated from corrected skeleton data, a live display 811, and a calibration icon 851.
  • the skeleton display screen 86 includes a display 862 showing raw skeleton data, a display 863 showing avatar video, and a calibration button 864 .
  • the display 862 showing the raw skeleton data as indicated by the dashed-dotted line, parts considered to pose inappropriately may be displayed by distinguishing them from other parts by color, thickness, or the like. Furthermore, the color, thickness, etc. may be distinguished according to the degree of inappropriate poses.
  • the calibration section 252 of the base tool 250 performs calibration regarding the sensor device 10 . After the calibration is executed, a delivery confirmation screen that includes the avatar video V and does not include the calibration icon 851 is displayed.
  • FIG. 15 is a flow chart showing the operation of the base tool 250.
  • the skeleton data generation unit 253 of the base tool 250 generates raw skeleton data at the current time based on the sensor data acquired by the sensor data acquisition unit 251 (S404).
  • the feature quantity extraction unit 254 extracts the pose feature quantity of the raw skeleton data (S408).
  • the use range determination unit 257 determines whether the pose feature amount extracted by the feature amount extraction unit 254 is within the use range in the feature amount space (S412). If the extracted pose feature amount is within the usable range in the feature amount space (S412/Yes), the application interface 255 supplies raw skeleton data to the application section 260 (S416).
  • the data correction unit 258 acquires the pose feature amount within the use range (S420). Then, the data correction unit 258 generates corrected skeleton data using the pose feature amount within the usable range (S430).
  • the data correction unit 258 may generate modified skeleton data indicating a pose having pose feature amounts within the use range, or pose feature amounts extracted from the pose feature amounts within the use range and raw skeleton data. may be mixed to generate a mixed feature, and modified skeleton data indicating a pose having the mixed feature may be generated. The latter operation will be specifically described with reference to FIG.
  • FIG. 16 is a flow chart showing a specific example of a method for generating corrected skeleton data.
  • the data correction unit 258 determines the mixture ratio of the pose feature amount extracted from the raw skeleton data and the pose feature amount within the use range (S432). For example, the data correction unit 258 may determine the mixing ratio according to the duration during which the pose feature amount extracted from the raw skeleton data is determined not to be included in the use range. For example, the data correction unit 258 may increase the mixing ratio of pose feature amounts within the use range as the duration increases.
  • the data correction unit 258 mixes the two pose feature amounts according to the determined mixing ratio to generate a mixed feature amount (S434). Furthermore, the data correction unit 258 generates corrected skeleton data having mixed features (S436).
  • the application interface 255 supplies the corrected skeleton data to the application unit 260 (S440).
  • the usage range determination unit 257 increments the counter value (S444). If the counter value exceeds the threshold (S448/Yes), the application interface 255 outputs a calibration recommendation notification indicating that execution of calibration is recommended to the application unit 260 (S452). After that, or when the counter value is below the threshold (S448/No), the process from S404 is repeated.
  • the number of times the extracted pose feature is determined to be out of the usable range in the feature space is managed by a counter value. It is possible to manage the occurrence frequency (occurrence frequency per unit time) of the judgment that it is not within the range, and output a calibration recommendation notice when the occurrence frequency exceeds a threshold.
  • FIG. 17 is a flow chart showing the operation of the application unit 260.
  • skeleton data is supplied from the base tool 250 to the base tool plug-in 261 (S504). If the base tool 250 has not generated corrected skeleton data, the raw skeleton data is supplied, and if the base tool 250 has generated corrected skeleton data, the corrected skeleton data is supplied. If modified skeleton data has been generated in the base tool 250, raw skeleton data may be supplied in addition to the modified skeleton data.
  • the retargeting unit 265 generates an avatar video by retargeting the skeleton data supplied from the base tool 250 (S508).
  • the retargeting unit 265 retargets the raw skeleton data when the modified skeleton data is not generated.
  • the retargeting unit 265 switches the target of retargeting to the corrected skeleton data automatically or based on the operation from the distribution user.
  • the distribution control unit 268 transmits the avatar video generated by the retargeting unit 265 to the distribution server 30, and requests the distribution server 30 to distribute the avatar video (S512).
  • the display control unit 267 displays a distribution confirmation screen including a calibration icon as described with reference to FIG. 14 (S520). Then, when execution of calibration is instructed by the operation of the distribution user (S524/Yes), the application unit 260 requests the execution of calibration to the base tool 250 (S528). If there is no calibration recommendation notification (S516/No), if the execution of calibration is not instructed by the operation of the distribution user (S524/No), or after S528, until an operation to end distribution is performed, the The process is repeated (S548).
  • the corrected skeleton data is generated using the feature amount included in the usage range. be done. Therefore, even if inappropriate pose skeleton data is generated when the sensor device 10 worn by the distribution user is dropped or dislocated, an appropriate and natural avatar image can be obtained by using the corrected skeleton data. It is possible to provide When live distribution of avatar video is being performed, it is possible to continue the live distribution without a sense of discomfort. In addition, even if the distribution user takes an ethically inappropriate pose or motion, the modified skeleton data can be used to prevent inappropriate avatar images from being distributed.
  • the data correction unit 258 acquires feature amounts included in the use range according to the positional relationship in the feature amount space between the feature amount extracted from the raw skeleton data and each feature amount included in the set range. For example, the data correction unit 258 acquires the feature amount closest to the feature amount extracted from the raw skeleton data, among the feature amounts included in the usage range. According to such a configuration, the data correction unit 258 can generate corrected skeleton data having poses or motions similar to the poses or motions intended by the distribution user.
  • the data correction unit 258 can generate a mixed feature amount by mixing the feature amount within the use range and the feature amount extracted from the raw skeleton data. For example, the data correction unit 258 determines the mixing ratio of the pose feature amount within the use range according to the duration during which the pose feature amount extracted from the raw skeleton data is determined not to be included in the use range. According to this configuration, when the target of retargeting is switched from the raw skeleton data to the corrected skeleton data, the difference between the raw skeleton data and the corrected skeleton data can be reduced, so that the discomfort given to the viewing user can be reduced. is.
  • the base tool 250 outputs a calibration recommendation notice when the number of occurrences or the frequency of occurrence of the determination that the feature amount extracted from the bare skeleton data is not included in the usage range exceeds a threshold. According to such a configuration, it is expected that calibration will be performed and the feature amount extracted from the raw skeleton data will be easily included in the usage range. In this case, since the avatar video is generated using the bare skeleton data, it is possible to generate the avatar video having poses or motions closer to the intent of the distribution user.
  • the retargeting unit 265 can switch retargeting targets based on an operation from the distribution user. According to this configuration, even if the feature amount extracted from the bare skeleton data is not included in the usage range, the distribution user can have the option of generating the avatar video using the bare skeleton data.
  • the additional usage range registration unit 263 can set an additional usage range, and various setting methods can be applied to the setting stage of setting the additional usage range. According to such a configuration, the distribution user can easily set the additional use range according to the application.
  • FIG. 18 is a flow chart showing a first modification of the operation of the base tool 250.
  • FIG. The processes of S404-S412 and S420-S452 are as described with reference to FIG.
  • the data correction unit 258 determines whether the pose feature amount extracted by the feature amount extraction unit 254 is within the use range. (S413).
  • the predicted feature amount is a feature amount of a predicted future pose or motion of the distribution user.
  • the data correction unit 258 may input the current pose feature amount extracted by the feature amount extraction unit 254 to a classifier such as a DNN, thereby acquiring the expected feature amount output from the classifier. .
  • the data correction unit 258 generates corrected skeleton data using the predicted feature amount (S414).
  • the data correction unit 258 may generate corrected skeleton data indicating a pose having the predicted feature amount, or mix the predicted feature amount and the pose feature amount extracted from the raw skeleton data to generate a mixed feature amount, Modified skeleton data representing poses with mixed features may be generated.
  • the application interface 255 then supplies the corrected skeleton data to the application unit 260 (S415). As a result, even when the pose feature amount extracted from the raw skeleton data is within the usable range, the avatar image can be generated from the corrected skeleton data generated by prediction.
  • Such a first modification is useful in applications where real-time avatar video is important and low delay is desired.
  • a distribution user performs a dance or the like with a limited number of possible motions, it is possible to predict modified skeleton data with high accuracy and reduce delays in distribution based on the modified skeleton data.
  • Second modification> it is determined whether or not the feature amount of the raw skeleton data of the whole body is within the use range, and the modified skeleton data is generated for each whole body. may This example will be described as a second modified example with reference to FIG.
  • FIG. 19 is a flow chart showing a second modification of the operation of the base tool 250.
  • the skeleton data generation unit 253 of the base tool 250 generates raw skeleton data for each part at the current time based on the sensor data acquired by the sensor data acquisition unit 251 (S604). ).
  • the feature quantity extraction unit 254 extracts the pose feature quantity of the raw skeleton data of each part (S608).
  • the parts include the right arm, left arm, left leg, right leg, body, and the like.
  • the use range is set for each part, and the use range determination unit 257 determines whether or not the pose feature amounts of all parts are within the use range of each part ( S612). If the pose feature amounts of all parts are within the use range (S612/Yes), the application interface 255 supplies the raw skeleton data of each part to the application unit 260 (S616).
  • the data correction unit 258 corrects the part whose pose feature value is outside the use range. is acquired within the use range of (S620). Then, the data correction unit 258 generates corrected skeleton data outside the use range using the pose feature amount within the use range (S630).
  • the application interface 255 supplies to the application unit 260 the corrected skeleton data of the parts outside the use range and the raw skeleton data of the parts whose pose feature values were within the use range (S640).
  • the usage range determination unit 257 increments the counter value (S644). If the counter value exceeds the threshold (S648/Yes), the application interface 255 outputs a calibration recommendation notification indicating that execution of calibration is recommended to the application unit 260 (S652). After that, or when the counter value is below the threshold (S648/No), the process from S604 is repeated.
  • the base tool 250 manages the basic usage range and the application unit 260 manages the additional usage range. Management of the additional use range in the may not be performed. In this case, the usage range may be only the basic usage range or the additional usage range.
  • the viewing user may set the usage range.
  • the viewing user may operate the viewing user terminal 40 to select poses to allow or prohibit for the avatar video, and set the user usage range including the feature amount of the selected pose.
  • the judgment using the user usage range and generation of corrected skeleton data may be performed in the viewing user terminal 40, or may be performed in the distribution server 30 by managing the user usage range in the distribution server 30. good too. According to such a configuration, it is possible to prevent a pose or motion that the viewing user does not desire in the avatar image from being displayed on the viewing user terminal 40 .
  • the base tool 250 when the feature amount extracted from the bare skeleton data is out of the usable range, the base tool 250 outputs a predetermined notification to the application unit 260, and the application unit 260 outputs a predetermined notification to the avatar image based on the notification.
  • Image processing may be applied.
  • the predetermined image processing may be mosaic processing for applying a mosaic to the avatar video, particle processing, or the like. With such a configuration, it is also possible to reduce discomfort felt by the viewing user.
  • the application unit 260 performs the above image processing on the avatar video based on the notification from the platform tool 250, for example, until the avatar video based on the corrected skeleton data starts to be displayed by the distribution user's operation. may
  • the usage range determination unit 257 determines whether or not the feature amount extracted from each raw skeleton data is included in the usage range.
  • the data correction unit 258 does not use the feature amount determined not to be included in the usage range, and generates corrected skeleton data using the feature amount determined to be included in the usage range.
  • the data correction unit 258 generates a mixed feature amount by mixing the two or more feature amounts, and generates corrected skeleton data having the mixed feature amount. may be generated.
  • the data correction unit 258 may mix feature amounts of raw skeleton data obtained by a more highly accurate motion capture technique at a higher mixing ratio. Such a configuration can also prevent inappropriate avatar videos from being distributed.
  • FIG. 20 is an explanatory diagram showing a second configuration example of the information processing system.
  • the information processing system according to the second configuration example has a distribution user terminal 20-2 and a processing terminal 50-2.
  • the distribution user terminal 20-2 and the processing terminal 50-2 are connected via the network 12.
  • FIG. The distribution user terminal 20 - 2 has the base tool 250 and does not have the application section 260 .
  • the application unit 260 is installed in the processing terminal 50-2.
  • the distribution user terminal 20-2 transmits raw skeleton data or corrected skeleton data to the processing terminal 50-2.
  • the application unit 260 of the processing terminal 50 - 2 generates an avatar image from the raw skeleton data or the corrected skeleton data, and distributes the avatar image to the viewing user terminal 40 via the distribution server 30 .
  • the developer of the base tool 250 and the developer of the application unit 260 may be the same or different.
  • FIG. 21 is an explanatory diagram showing a third configuration example of the information processing system.
  • the information processing system according to the third configuration example has a distribution user terminal 20-3 and a processing terminal 50-3.
  • the distribution user terminal 20-3 and the processing terminal 50-3 are connected via the network 12.
  • FIG. The distribution user terminal 20-3 has a base tool 250 and an application section 260-3.
  • the application unit 260-3 does not have the retargeting unit 265 and the delivery control unit 268 in the configuration of the application unit 260 described with reference to FIG. Instead, processing terminal 50-3 has retargeting unit 265 and delivery control unit 268.
  • FIG. 21 is an explanatory diagram showing a third configuration example of the information processing system.
  • the information processing system according to the third configuration example has a distribution user terminal 20-3 and a processing terminal 50-3.
  • the distribution user terminal 20-3 and the processing terminal 50-3 are connected via the network 12.
  • the distribution user terminal 20-3 has a base tool 250 and an application section 260-3.
  • the distribution user terminal 20-3 transmits raw skeleton data or corrected skeleton data to the processing terminal 50-3. Then, the retargeting unit 265 of the processing terminal 50-3 generates an avatar image from the raw skeleton data or the modified skeleton data, and the distribution control unit 268 distributes the avatar image to the viewing user terminal 40 via the distribution server 30.
  • the developer of the base tool 250, the developer of the application unit 260-3, the developer of the retargeting unit 265, and the developer of the distribution control unit 268 may be the same, can be different.
  • FIG. 22 is an explanatory diagram showing a fourth configuration example of the information processing system.
  • the information processing system according to the fourth configuration example has a distribution user terminal 20-4 and a processing terminal 50-4.
  • the distribution user terminal 20-4 and the processing terminal 50-4 are connected via the network 12.
  • FIG. The distribution user terminal 20-4 has a base tool 250.
  • FIG. The processing terminal 50-4 has an application section 260-4.
  • the application unit 260-4 does not include the function of the distribution control unit 268, and the processing terminal 50-4 has the function of the distribution control unit 268 separately.
  • the distribution user terminal 20-4 transmits raw skeleton data or modified skeleton data to the processing terminal 50-4. Then, the application unit 260-4 of the processing terminal 50-4 generates an avatar image from the raw skeleton data or the corrected skeleton data, and the distribution control unit 268 distributes the avatar image to the viewing user terminal 40 via the distribution server 30.
  • the developer of the base tool 250, the developer of the application unit 260-4, and the developer of the distribution control unit 268 may be the same or different.
  • FIG. 23 is an explanatory diagram showing a fifth configuration example of the information processing system.
  • the information processing system according to the fifth configuration example has a distribution user terminal 20-5 and a processing terminal 50-5.
  • the distribution user terminal 20-5 and the processing terminal 50-5 are connected via the network 12.
  • FIG. The distribution user terminal 20-5 has a base tool 250.
  • FIG. The processing terminal 50-5 has an application section 260-5.
  • the application unit 260-5 does not include the functions of the retargeting unit 265 and the distribution control unit 268, and the processing terminal 50-5 has the functions of the retargeting unit 265 and the distribution control unit 268 separately.
  • the distribution user terminal 20-5 transmits raw skeleton data or modified skeleton data to the processing terminal 50-5. Then, the application unit 260-5 supplies the raw skeleton data or the modified skeleton data to the retargeting unit 265, the retargeting unit 265 generates an avatar image from the raw skeleton data or the modified skeleton data, and the distribution control unit 268 controls the distribution server. 30 to deliver the avatar video to the viewing user terminal 40 .
  • the developer of the base tool 250, the developer of the application unit 260-5, the developer of the retargeting unit 265, and the developer of the distribution control unit 268 may be the same or different. may
  • FIG. 24 is an explanatory diagram showing a sixth configuration example of the information processing system.
  • the information processing system according to the sixth configuration example has a first mobile terminal 61 , a second mobile terminal 62 and a third mobile terminal 63 .
  • the functions of the control unit 240 that is, the functions of the base tool 250 and the application unit 260 are implemented in the first mobile terminal 61 .
  • the first mobile terminal 61 also has a communication section for communicating with other second mobile terminals 62 and third mobile terminals 63 .
  • First mobile terminal 61 generates an avatar image of user U1 based on sensor data acquired from sensor device 10 and transmits the avatar image to second mobile terminal 62 and third mobile terminal 63 .
  • 24 shows an example in which the first mobile terminal 61, the second mobile terminal 62 and the third mobile terminal 63 communicate via the network 12, the first mobile terminal 61, the second mobile terminal 62 and The third portable terminal 63 may communicate directly without going through the network 12 .
  • the functions of the display unit 220 and the communication unit 230 are implemented in the second mobile terminal 62 .
  • the second mobile terminal 62 receives the avatar image from the first mobile terminal 61 and displays a display screen including the avatar image on the display unit 220 . Thereby, the user U4 using the second mobile terminal 62 can check the avatar video.
  • the display screen displayed on the second mobile terminal 62 may be the same as the display screen described with reference to FIGS. It may be a screen.
  • the functions of the operation unit 216 and the communication unit 230 are implemented in the third mobile terminal 63 .
  • the third mobile terminal 63 Information indicating the operation is transmitted to the first mobile terminal 61 .
  • the third mobile terminal 63 may also have the function of the display unit 220 that displays a display screen including an avatar image for the above operation.
  • the functions of the second mobile terminal 62 and the functions of the third mobile terminal 63 may be collectively implemented in one mobile terminal.
  • the second mobile terminal 62 and the third mobile terminal 63 may also have the function of the application section 260 .
  • the first mobile terminal 61 transmits skeleton data to the second mobile terminal 62 and the third mobile terminal 63 instead of the avatar video
  • the second mobile terminal 62 and the third mobile terminal 63 transmit the avatar video from the skeleton data. can be generated and displayed.
  • a part or all of the functions of the application unit 260 may be implemented in each mobile terminal.
  • the function of the additional use range storage unit 262 is implemented in the first mobile terminal 61 and the third mobile terminal 63
  • the function of the additional use range registration unit 263 is implemented in the third mobile terminal 63
  • the function of the display control unit 267 is implemented. may be implemented in the second mobile terminal 62 and the third mobile terminal 63 .
  • Use cases of the sixth configuration example of the information processing system include, for example, shooting outdoors, shooting while moving, and shooting in a specific environment.
  • the use of a mobile terminal eliminates the need to secure a power supply and transport equipment, making it possible to perform motion capture and data processing with lighter clothing.
  • the user U1 who is a performer carries the first mobile terminal 61, and the first mobile terminal 61 transmits skeleton data or avatar images to each of the second mobile terminals 62 owned by a plurality of users such as producers or directors. This makes it possible to immediately check skeleton data or avatar images in multiple environments.
  • the first mobile terminal 61 can acquire the orientation of the face of the user U1.
  • the first mobile terminal 61 can also perform motion capture of the user U1 from images obtained by the camera.
  • the first mobile terminal 61 uses the data acquired by the built-in function of the first mobile terminal 61. Corrected skeleton data may be generated. For example, the first mobile terminal 61 acquires, as a use feature amount, a feature amount that satisfies data acquired by a function built into the first mobile terminal 61, from among the feature amounts included in the use range, and uses the use feature amount as the use feature amount. may be used to generate modified skeleton data.
  • the first mobile terminal 61 can estimate the position and movement of the user U1 by GNSS (Global Navigation Satellite System) or SLAM (Simultaneous Localization and Mapping) or the like, generating corrected skeleton data using the estimation result. is also possible. For example, when it is estimated that the user U1 is moving at a low speed, it is considered that the user U1 is walking, so the first mobile terminal 61 generates modified skeleton data having a walking posture. can.
  • GNSS Global Navigation Satellite System
  • SLAM Simultaneous Localization and Mapping
  • FIG. 25 is a block diagram showing the hardware configuration of the distribution user terminal 20.
  • the distribution user terminal 20 comprises a CPU (Central Processing Unit) 201 , a ROM (Read Only Memory) 202 , a RAM (Random Access Memory) 203 and a host bus 204 .
  • the distribution user terminal 20 also includes a bridge 205 , an external bus 206 , an interface 207 , an input device 208 , an output device 210 , a storage device (HDD) 211 , a drive 212 and a communication device 215 .
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the distribution user terminal 20 also includes a bridge 205 , an external bus 206 , an interface 207 , an input device 208 , an output device 210 , a storage device (HDD) 211 , a drive 212 and a communication device 215 .
  • HDMI storage device
  • the CPU 201 functions as an arithmetic processing device and a control device, and controls the general operations within the distribution user terminal 20 according to various programs.
  • the CPU 201 may be a microprocessor.
  • the ROM 202 stores programs, calculation parameters, and the like used by the CPU 201 .
  • the RAM 203 temporarily stores programs used in the execution of the CPU 201, parameters that change as appropriate during the execution, and the like. These are interconnected by a host bus 204 comprising a CPU bus or the like. Functions such as the base tool 250 and the application unit 260 described with reference to FIG.
  • the host bus 204 is connected via a bridge 205 to an external bus 206 such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • an external bus 206 such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • the input device 208 includes input means for the user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the user's input and outputs it to the CPU 201 . etc.
  • input information such as a mouse, keyboard, touch panel, button, microphone, switch, and lever
  • input control circuit that generates an input signal based on the user's input and outputs it to the CPU 201 . etc.
  • the user of the distribution user terminal 20 can input various data to the distribution user terminal 20 and instruct processing operations.
  • the output device 210 includes, for example, a display device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a lamp.
  • output device 210 includes audio output devices such as speakers and headphones.
  • the output device 210 outputs reproduced content, for example.
  • the display device displays various information such as reproduced video data as text or images.
  • the audio output device converts reproduced audio data and the like into audio and outputs the audio.
  • the storage device 211 is a data storage device configured as an example of the storage unit of the delivery user terminal 20 according to this embodiment.
  • the storage device 211 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 211 is composed of, for example, an HDD (Hard Disk Drive).
  • the storage device 211 drives a hard disk and stores programs executed by the CPU 201 and various data.
  • the drive 212 is a reader/writer for storage media, and is built in or externally attached to the distribution user terminal 20 .
  • the drive 212 reads out information recorded in the attached removable storage medium 24 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 203 .
  • Drive 212 can also write information to removable storage medium 24 .
  • the communication device 215 is, for example, a communication interface configured with a communication device or the like for connecting to the network 12 .
  • the communication device 215 may be a wireless LAN (Local Area Network) compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication.
  • LTE Long Term Evolution
  • each functional block in the base tool 250 described with reference to FIG. 4 may be distributed and implemented in a plurality of terminals.
  • each functional block in the application unit 260 described with reference to FIG. 7 may be distributed in multiple terminals.
  • each step in the processing of the distribution user terminal 20 in this specification does not necessarily have to be processed in chronological order according to the order described as the flowchart.
  • each step in the processing of the distribution user terminal 20 may be processed in an order different from that described in the flow chart, or may be processed in parallel.
  • the following configuration also belongs to the technical scope of the present disclosure.
  • a method of processing information comprising: (2) Generating the data acquires the used feature amount from the feature amount included in the set range according to the positional relationship in the feature amount space between the extracted feature amount and each feature amount included in the set range.
  • the information processing method according to (1) above comprising: (3) Acquiring the used feature amount from the feature amount included in the set range means that the feature amount closest to the extracted feature amount in the feature amount space is selected from the feature amounts included in the set range as the used feature amount.
  • the information processing method according to (2) above including acquiring as (4) Generating the data includes mixing the extracted feature quantity and the used feature quantity to generate a mixed feature quantity, and generating data indicating posture or movement having the mixed feature quantity, wherein (1)
  • Generating the mixed feature amount includes mixing the extracted feature amount and the used feature amount at a rate corresponding to the duration for which the extracted feature amount is determined not to be included in the set range, The information processing method according to (4) above.
  • generating the mixed feature includes increasing a ratio of mixing the used feature as the duration increases.
  • generating the mixed feature amount includes: Any one of (4) to (6) above, including reducing the ratio of mixing the used feature amount as the elapsed time after it is determined that the extracted feature amount is included in the set range increases. or the information processing method according to item 1.
  • the information processing method according to (8), wherein the predetermined notification is a notification for inducing calibration of a sensor for acquiring the posture information.
  • (10) obtaining a predicted feature value indicating a future posture or movement of the moving body predicted from the feature value included in the set range based on determination that the extracted feature value is included in the set range;
  • the information processing method according to any one of (1) to (9), further comprising generating data indicating posture or movement using the predicted feature amount.
  • (11) generating the data includes outputting a notification to a user indicating that the extracted feature amount is not included in the set range based on determination that the extracted feature amount is not included in the set range; and generating data indicating the posture or the motion using the used feature amount based on the user performing an operation to instruct the adjustment of the posture or the motion.
  • the information processing method according to any one of the items.
  • the information processing method according to any one of (1) to (11) above, wherein the information processing method is executed for each of one or more parts among a plurality of parts that constitute a moving body. (13) further comprising a setting step of setting the setting range; The setting step includes: obtaining posture information indicating the posture of a moving body; extracting a feature amount from the posture information at one time point or at a plurality of time points; setting the setting range so as to include the extracted feature quantity; The information processing method according to any one of (1) to (12) above, comprising: (14) further comprising a setting step of setting the setting range; The setting step includes: obtaining posture information indicating the posture of a moving body; extracting a motion feature value connecting the posture information at a plurality of points in time or a feature value of each posture constituting the motion; setting the setting range so as to include the extracted feature quantity; The information processing method according to any one of (1) to (12) above, comprising: (15) further comprising a setting step of setting the setting range; The setting step includes: any one
  • the information processing method according to the item. (16) The information processing method according to any one of (1) to (15) above, further comprising generating an avatar image having the posture or movement indicated by the generated data. (17) The information processing method according to (16) above, further comprising distributing the avatar video via a network. (18) obtaining the pose information includes obtaining pose information for each motion capture technique using different motion capture techniques; Generating the data is determined to be included in the set range based on determination that the extracted feature amount of posture information obtained by any motion capture technology is not included in the set range. The information processing method according to (1) above, including generating the data using an extracted feature amount obtained by another motion capture technique as the used feature amount.
  • a posture information acquisition unit that acquires posture information indicating the posture of a moving object; a feature quantity extraction unit that extracts a feature quantity from the posture information at one time point or at a plurality of time points; a determination unit that determines whether or not the extracted feature amount, which is the feature amount extracted by the feature amount extraction unit, is included in a set range in the feature amount space; a data generation unit that generates data indicating a posture or movement having a feature amount included in the set range based on the determination by the determination unit that the extracted feature amount is not included in the set range; An information processing device.
  • a posture information acquisition unit that acquires posture information indicating the posture of a moving object
  • a feature quantity extraction unit that extracts a feature quantity from the posture information at one time point or at a plurality of time points
  • a determination unit that determines whether or not the extracted feature amount, which is the feature amount extracted by the feature amount extraction unit, is included in a set range in the feature amount space
  • a data generation unit that generates data indicating a posture or movement having a feature amount included in the set range based on the determination by the determination unit that the extracted feature amount is not included in the set range
  • the feature amount included in the set range is
  • An information processing apparatus comprising a display control unit that generates an avatar image having a posture or movement indicated by data indicated by the display control unit.
  • sensor device 20 distribution user terminal 216 operation unit 220 display unit 230 communication unit 240 control unit 250 base tool 251 sensor data acquisition unit 252 calibration unit 253 skeleton data generation unit 254 feature amount extraction unit 255 application interface 256 basic usage range storage unit 257 use range determination unit 258 data correction unit 260 application unit 261 base tool plug-in 262 additional use range storage unit 263 additional use range registration unit 265 retargeting unit 267 display control unit 268 distribution control unit 30 distribution server 40 viewing user terminal 50 processing terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】不適切な姿勢情報の発生に対処する。 【解決手段】動体の姿勢を示す姿勢情報を取得することと、１の時点または複数の時点における前記姿勢情報から特徴量を抽出することと、抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断することと、前記抽出特徴量が前記設定範囲に含まれないと判断されたことに基づき、前記設定範囲に含まれる特徴量を使用特徴量として取得し、当該使用特徴量を用いて姿勢または動きを示すデータを生成することと、を含む、情報処理方法。

Description

情報処理方法、情報処理装置およびプログラム
　本開示は、情報処理方法、情報処理装置およびプログラムに関する。
　近年、ユーザの動きを示す動き情報を取得するためのモーションキャプチャ技術が盛んに開発されている。取得された動き情報は、例えばスポーツにおいてフォーム改善に用いられたり、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）またはＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）等のアプリケーションに用いられたりしている。また、取得された動き情報を用いて、ユーザの動きを模したアバター映像を生成し、当該アバター映像を配信することも行われている。
　なお、モーションキャプチャ技術を実現する方式としては、マーカを使用する光学式、加速度センサなどを使用するセンサ方式、および映像を解析するカメラ方式などが知られている。例えば、特許文献１には、センサ方式により実現されるモーションキャプチャ技術が開示されている。なお、動き情報は、１時刻におけるユーザの姿勢を示す姿勢情報の連続する時系列データである。
国際公開第２０１９／２０３１８８号公報
　しかし、モーションキャプチャ技術では、取得される姿勢情報が不正確である場合がある。例えば、センサ方式においては、ユーザが装着していたセンサの落下またはズレが生じた場合に、不正確な姿勢情報が取得される。光学式およびカメラ式においても、カメラのズレやドリフトの発生により姿勢情報の精度が劣化し得る。結果、モーションキャプチャ技術の適用先が例えばアバター映像の生成である場合には、不適切な姿勢または動きでアバター映像が生成されることが懸念される。
　そこで、本開示では、不適切な姿勢情報の発生に対処することが可能な、新規かつ改良された情報処理方法、情報処理装置およびプログラムを提案する。
　本開示によれば、動体の姿勢を示す姿勢情報を取得することと、１の時点または複数の時点における前記姿勢情報から特徴量を抽出することと、抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断することと、前記抽出特徴量が前記設定範囲に含まれないと判断されたことに基づき、前記設定範囲に含まれる特徴量を使用特徴量として取得し、当該使用特徴量を用いて姿勢または動きを示すデータを生成することと、を含む、情報処理方法が提供される。
　また、本開示によれば、動体の姿勢を示す姿勢情報を取得する姿勢情報取得部と、１の時点または複数の時点における前記姿勢情報から特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断する判断部と、前記抽出特徴量が前記設定範囲に含まれないと前記判断部により判断されたことに基づき、前記設定範囲に含まれる特徴量を有する姿勢または動きを示すデータを生成するデータ生成部と、を備える、情報処理装置が提供される。
　また、本開示によれば、コンピュータを、動体の姿勢を示す姿勢情報を取得する姿勢情報取得部と、１の時点または複数の時点における前記姿勢情報から特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断する判断部と、前記抽出特徴量が前記設定範囲に含まれないと前記判断部により判断されたことに基づき、前記設定範囲に含まれる特徴量を有する姿勢または動きを示すデータを生成するデータ生成部と、として機能させるための、プログラムが提供される。
本開示の一実施形態による情報処理システムを示す説明図である。 視聴ユーザ端末４０に表示されるアバター映像Ｖの具体例を示す説明図である。 本開示の一実施形態による配信ユーザ端末２０の構成を示す説明図である。 基盤ツール２５０の機能を示す説明図である。 素スケルトンデータの生成の具体例を示す説明図である。 データ修正部２５８により生成される修正スケルトンデータの具体例を示す説明図である。 アプリケーション部２６０の機能を示す説明図である。 追加使用範囲の第１の登録例を示すフローチャートである。 追加使用範囲の第２の登録例を示すフローチャートである。 追加使用範囲の第３の登録例を示すフローチャートである。 ポーズ選択画面の具体例を示す説明図である。 配信ユーザ用の表示画面の一例を示す説明図である。 配信ユーザ用の表示画面の一例を示す説明図である。 キャリブレーションアイコンを含む配信確認画面８５の具体例を示す説明図である。 基盤ツール２５０の動作を示すフローチャートである。 修正スケルトンデータの生成方法の具体例を示すフローチャートである。 アプリケーション部２６０の動作を示すフローチャートである。 基盤ツール２５０の動作の第１の変形例を示すフローチャートである。 基盤ツール２５０の動作の第２の変形例を示すフローチャートである。 情報処理システムの第２の構成例を示す説明図である。 情報処理システムの第３の構成例を示す説明図である。 情報処理システムの第４の構成例を示す説明図である。 情報処理システムの第５の構成例を示す説明図である。 情報処理システムの第６の構成例を示す説明図である。 配信ユーザ端末２０のハードウェア構成を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　　１．情報処理システムの概要
　　２．配信ユーザ端末の構成
　　　２－１．全体構成
　　　２－２．基盤ツールの機能
　　　２－３．アプリケーション部の機能
　　３．動作
　　　３－１．基盤ツールの動作
　　　３－２．アプリケーション部の動作
　　４．小括
　　５．変形例
　　　４－１．第１の変形例
　　　４－２．第２の変形例
　　　４－３．その他の変形例
　　６．情報処理システムの他の構成例
　　　５－１．第２の構成例
　　　５－２．第３の構成例
　　　５－３．第４の構成例
　　　５－４．第５の構成例
　　　５－５．第６の構成例
　　７．ハードウェア構成
　　８．補足
　＜＜１．情報処理システムの概要＞＞
　人間や動物等の動体の動きの情報を可視化するため、例えば身体の構造を示すスケルトン構造により表現されるスケルトンデータが用いられる。スケルトンデータは、部位の情報と、部位間を結ぶ線分であるボーンを含む。なお、スケルトン構造における部位は、例えば身体の末端部位や関節部位等に対応する。また、スケルトン構造におけるボーンは例えば人間の骨に相当し得るが、ボーンの位置や数は必ずしも実際の人間の骨格と整合していなくてもよい。
　スケルトンデータにおける部位の位置は、多様なモーションキャプチャ技術により取得可能である。例えば、身体の各部位にマーカを装着し、外部のカメラ等を用いてマーカの位置を取得するカメラ式の技術や、身体の部位にモーションセンサを装着し、モーションセンサにより取得されたセンサデータに基づいてモーションセンサの位置情報を取得するセンサ方式の技術が存在する。
　また、スケルトンデータの用途は多様である。例えば、スケルトンデータの時系列データは、スポーツにおいてフォーム改善に用いられたり、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）またはＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）等のアプリケーションに用いられたりしている。また、スケルトンデータの時系列データを用いて、ユーザの動きを模したアバター映像を生成し、当該アバター映像を配信することも行われている。
　以下では、本開示の一実施形態として、モーションセンサを利用してスケルトンデータを生成し、当該スケルトンデータに基づいてアバター映像を配信する情報処理システムの構成例を説明する。ただし、本開示の一実施形態は、他のモーションキャプチャ技術および他の用途にも適用可能であることに留意されたい。また、以下では動体の一例として主に人間を説明するが、本開示の実施形態は、動物およびロボットなどの他の動体にも同様に適用可能である。
　図１は、本開示の一実施形態による情報処理システムを示す説明図である。図１に示したように、本開示の一実施形態による情報処理システムは、６つのセンサ装置１０Ａ～１０Ｆ、配信ユーザ端末２０、配信サーバ３０および視聴ユーザ端末４０を有する。図１に示したユーザＵ１はアバター映像を配信する配信ユーザであり、ユーザＵ２およびＵ３はアバター映像を視聴する視聴ユーザである。
　配信ユーザ端末２０、配信サーバ３０および視聴ユーザ端末４０は、ネットワーク１２を介して接続されている。ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　（センサ装置１０）
　センサ装置１０は、例えば加速度（Ａｃｃｅｌｅｒａｔｉｏｎ）を取得する加速度センサや角速度（Ａｎｇｕｌａｒ　ｖｅｌｏｃｉｔｙ）を取得するジャイロセンサ（角速度センサ）等の慣性センサ（ＩＭＵ：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）を含む。）を含む。また、センサ装置１０は、地磁気センサ、超音波センサ、気圧センサなどのセンサを含んでもよい。
　センサ装置１０Ａ～１０Ｆは、身体の基準となる関節部位（例えば腰や頭部）、あるいは身体の末端近傍（手首、足首、頭部等）に装着されることが望ましい。図１に示す例では、配信ユーザＵ１の腰にセンサ装置１０Ａが装着され、手首にセンサ装置１０Ｂおよび１０Ｅが装着され、足首にセンサ装置１０Ｃおよび１０Ｄが装着され、頭部にセンサ装置１０Ｆが装着されている。なお、以下では、センサ装置１０が装着された身体の部位を装着部位とも称する場合がある。また、センサ装置１０の数や装着位置（装着部位の位置）は図１に示す例に限定されず、配信ユーザＵ１に装着されるセンサ装置１０はより多くてもよいし、より少なくてもよい。
　このようなセンサ装置１０は、装着部位の加速度または角速度などをセンサデータとして取得し、当該センサデータを配信ユーザ端末２０に送信する。
　（配信ユーザ端末２０）
　配信ユーザ端末２０は、配信ユーザＵ１が利用する情報処理装置の一例である。配信ユーザ端末２０は、センサ装置１０からセンサデータを受信し、受信したセンサデータを用いて配信ユーザＵ１のアバター映像を生成する。詳細については後述するが、配信ユーザ端末２０は、センサデータに基づいて各装着部位の位置および姿勢を示す装着部位情報を取得し、装着部位情報に基づいて、スケルトン構造における各部位の位置情報および姿勢情報を含むスケルトンデータを生成する。さらに、配信ユーザ端末２０は、スケルトンデータが示す姿勢を有するアバター映像を生成する。配信ユーザ端末２０は、生成したアバター映像を配信サーバ３０に送信し、配信サーバ３０にアバター映像の配信を要求する。
　なお、スケルトンデータは、配信ユーザＵ１の姿勢を示す姿勢情報の一例であり、本明細書においては、１の時点におけるスケルトンデータをポーズと称する場合もある。また、連続するｎ個の時点のポーズの時系列データをモーションと称する場合がある。
　また、図１においては配信ユーザ端末２０としてノートＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）を示しているが、配信ユーザ端末２０は、スマートフォンおよびデスクトップＰＣなどの他の情報処理装置であってもよい。
　（配信サーバ３０）
　配信サーバ３０は、配信ユーザ端末２０からの要求に基づき、アバター映像を視聴ユーザ端末４０に配信する。図１においては、ある事業者により提供される配信サービスを実現する１つの配信サーバ３０が示されているが、配信サービスを提供する複数の事業者および複数の配信サーバ３０が存在してもよい。この場合、配信ユーザ端末２０は、配信ユーザＵ１により指定された配信サービスを提供する配信サーバ３０にアバター映像の配信を要求し得る。
　（視聴ユーザ端末４０）
　視聴ユーザ端末４０は、視聴ユーザ（例えば、図１に示したユーザＵ２およびユーザＵ３）が利用する情報処理装置である。視聴ユーザ端末４０は、各種画面を表示する表示部、視聴ユーザの操作を検出する操作部、および視聴ユーザ端末４０の動作全般を制御する制御部を有する。視聴ユーザ端末４０は、例えば、視聴ユーザの操作に基づいて配信サーバ３０に配信ユーザＵ１のアバター映像の配信を要求し、配信サーバ３０から配信されたアバター映像を表示する。
　図２は、視聴ユーザ端末４０に表示されるアバター映像Ｖの具体例を示す説明図である。図２に示したように、視聴ユーザ端末４０には、例えば二次元キャラクターの映像がアバター映像Ｖとして表示される。当該アバター映像Ｖの姿勢には、配信ユーザＵ１の姿勢が反映される。すなわち、アバター映像Ｖは、配信ユーザＵ１の動きに合わせて変化する。
　（背景）
　しかし、モーションキャプチャ技術では、生成されるスケルトンデータが不正確になる場合がある。例えば、センサ方式においては、配信ユーザが装着していたセンサ装置が落下またはズレた場合に、不正確なスケルトンデータが生成される。光学式およびカメラ式においても、カメラのズレやドリフトの発生により姿勢情報の精度が劣化し得る。結果、モーションキャプチャ技術の適用先が例えばアバター映像の生成である場合には、不適切な姿勢または動きでアバター映像が生成されることが懸念される。
　なお、不適切なアバター映像の配信を回避するために、モーションキャプチャ技術のキャリブレーションを行うことが考えられる。キャリブレーションが行われている間はセンサデータが得られないので、キャリブレーションが終わるまでの間、アバターの世界観に合う代替映像、または「お待ちください。」というメッセージを含む映像などが配信され得る。しかし、このような映像の表示は、視聴ユーザの没入感を損なってしまう。
　本件発明者らは、上記事情を一着眼点にして本開示の一実施形態を創作するに至った。本開示の一実施形態による情報処理システムでは、不適切なスケルトンデータの生成に対処することが可能である。以下、このような本開示の一実施形態による配信ユーザ端末２０の構成および動作を順次詳細に説明する。
　＜＜２．配信ユーザ端末の構成＞＞
　　＜２－１．全体構成＞
　図３は、本開示の一実施形態による配信ユーザ端末２０の構成を示す説明図である。図３に示したように、本開示の一実施形態による配信ユーザ端末２０は、操作部２１６と、表示部２２０と、通信部２３０と、制御部２４０と、を備える。
　操作部２１６は、配信ユーザ端末２０への指示または情報の入力のために配信ユーザにより操作される構成である。表示部２２０は、多様な表示画面を表示する。例えば、表示部２２０は、制御部２４０によって生成されたアバター映像を含む表示画面を表示する。通信部２３０は、ネットワーク１２を介して配信サーバ３０と通信する。例えば、通信部２３０は、制御部２４０によって生成されたアバター映像を配信サーバ３０にネットワーク１２を介して送信する。
　制御部２４０は、配信ユーザ端末２０の動作全般を制御する。特に、本開示の一実施形態による制御部２４０は、センサ装置１０から受信されたセンサデータに基づいて配信ユーザのスケルトンデータを生成し、当該スケルトンデータが示す姿勢を有するアバター映像を生成する機能を有する。さらに、本開示の一実施形態による制御部２４０は、スケルトンデータを修正する機能も有する。これら制御部２４０の機能は、図３に示した基盤ツール２５０およびアプリケーション部２６０により実現される。
　基盤ツール２５０は、センサデータからスケルトンデータを生成する機能、および、スケルトンデータを修正する機能を有する。本明細書においては、センサデータから生成されたスケルトンデータを素スケルトンデータと称し、素スケルトンデータの修正により生成されたスケルトンデータを修正スケルトンデータと称する場合がある。また、素スケルトンデータと修正スケルトンデータを特に区別せずに単にスケルトンデータと称する場合もある。基盤ツール２５０は、素スケルトンデータまたは修正スケルトンデータをアプリケーション部２６０に供給する。
　アプリケーション部２６０は、基盤ツール２５０と連携して多様な機能を実現する。例えば、アプリケーション部２６０は、基盤ツール２５０から供給されたスケルトンデータに基づいてアバター映像を生成し、アバター映像の配信を配信サーバ３０に要求する。ここで、アプリケーション部２６０は、アバター映像とその他のコンテンツデータの組み合わせの配信を配信サーバ３０に要求してもよい。その他のコンテンツデータとしては、例えば、背景データおよび楽曲データなどが挙げられる。なお、基盤ツール２５０の開発元とアプリケーション部２６０の開発元は同一であってもよいし、異なってもよい。以下、このような基盤ツール２５０およびアプリケーション部２６０の機能をより詳細に説明する。
　　＜２－２．基盤ツールの機能＞
　図４は、基盤ツール２５０の機能を示す説明図である。図４に示したように、基盤ツール２５０は、センサデータ取得部２５１、キャリブレーション部２５２、スケルトンデータ生成部２５３、特徴量抽出部２５４、アプリケーションインタフェース２５５、基本使用範囲記憶部２５６、使用範囲判断部２５７およびデータ修正部２５８を有する。
　（センサデータ取得部２５１）
　センサデータ取得部２５１は、センサ装置１０から、装着部位の加速度または角速度などを示すセンサデータを取得する。
　（キャリブレーション部２５２）
　キャリブレーション部２５２は、センサデータ取得部２５１により取得されるセンサデータのキャリブレーションを行う。キャリブレーション部２５２は、基盤ツール２５０の使用開始時にキャリブレーションを実行してもよいし、配信ユーザによる操作に従ってキャリブレーションを実行してもよい。
　（スケルトンデータ生成部２５３）
　スケルトンデータ生成部２５３は、センサデータ取得部２５１により取得されたセンサデータに基づいて各装着部位の位置および姿勢を示す装着部位情報を取得し、装着部位情報に基づいて、スケルトン構造における各部位の位置情報および姿勢情報を含む素スケルトンデータを生成する。以下、図５を参照して、素スケルトンデータの生成についてより具体的に説明する。
　図５は、素スケルトンデータの生成の具体例を示す説明図である。スケルトンデータ生成部２５３は、センサデータに基づいて、図５の左図に示したように、センサ装置１０Ａ～１０Ｆが装着された装着部位Ｐ１０１～Ｐ１０６の位置情報及び姿勢情報を含む装着部位情報ＰＤ１００を取得する。
　さらに、スケルトンデータ生成部２５３は、装着部位Ｐ１０１～Ｐ１０６の装着部位情報ＰＤ１００に基づき、図５の右図に示したように、スケルトン構造における各部位の位置情報及び姿勢情報を含む素スケルトンデータＳＤ１００を取得する。素スケルトンデータＳＤ１００には、装着部位Ｐ１０１に対応する装着部位ＳＰ１０１や装着部位Ｐ１０２に対応する装着部位ＳＰ１０２の情報だけでなく、非装着部位ＳＰ１０７の情報が含まれる。
　なお、素スケルトンデータには、部位の情報に加え、ボーンの情報（位置情報、姿勢情報等）も含まれ得る。例えば図５に示した例において、素スケルトンデータＳＤ１００には、ボーンＳＢ１０１の情報が含まれ得る。スケルトンデータ生成部２５３は、スケルトン構造における部位の位置情報及び姿勢情報に基づいて、部位間のボーンの情報を特定することが可能である。
　（特徴量抽出部２５４）
　特徴量抽出部２５４は、特徴量抽出部２５４により生成された素スケルトンデータ（配信ユーザの姿勢情報）から特徴量を抽出する。例えば、特徴量抽出部２５４は、１の時点における素スケルトンデータであるポーズから、当該ポーズの特徴量であるポーズ特徴量を抽出する。特徴量抽出部２５４により抽出されるポーズ特徴量は、類似するポーズ同士ではポーズ特徴量空間において近くに位置する特徴量である。特徴量抽出部２５４は、そのようなポーズ特徴量の抽出を可能とするように学習された、ＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）のような識別器を用いてポーズ特徴量を抽出してもよい。
　また、特徴量抽出部２５４は、ポーズの時系列データであるモーションから、当該モーションの特徴量であるモーション特徴量を抽出する。特徴量抽出部２５４により抽出されるモーション特徴量は、類似するモーション同士ではモーション特徴量空間において近くに位置する特徴量である。特徴量抽出部２５４は、そのようなモーション特徴量の抽出を可能とするように学習されたＤＮＮのような識別器を用いてモーション特徴量を抽出してもよい。
　（アプリケーションインタフェース２５５）
　アプリケーションインタフェース２５５は、アプリケーション部２６０とのインタフェースである。アプリケーションインタフェース２５５は、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）として構成されてもよい。例えば、アプリケーションインタフェース２５５は、アプリケーション部２６０からの要求に応じて配信ユーザのスケルトンデータをアプリケーション部２６０に返す。具体的には、アプリケーションインタフェース２５５は、後述するデータ修正部２５８により修正スケルトンデータが生成されている場合には修正スケルトンデータをアプリケーション部２６０に返し、修正スケルトンデータが生成されていない場合には素スケルトンデータをアプリケーション部２６０に返してもよい。また、アプリケーションインタフェース２５５は、アプリケーション部２６０から後述する追加使用範囲を示す情報を取得し、追加使用範囲を示す情報を使用範囲判断部２５７に渡す。
　（基本使用範囲記憶部２５６）
　基本使用範囲記憶部２５６は、設定範囲の一例である基本使用範囲を示す情報を記憶する。基本使用範囲は、ポーズ特徴量空間またはモーション特徴量空間における一部の範囲である。例えば、ポーズの基本使用範囲は、ポーズ特徴量空間において人間がとり得るポーズの特徴量を含み、人間がとることが通常は想定されないポーズの特徴量を含まない範囲であってもよい。同様に、モーションの基本使用範囲は、モーション特徴量空間において人間がとり得るモーションの特徴量を含み、人間がとることが通常は想定されないモーションの特徴量を含まない範囲であってもよい。なお、基本使用範囲は、基本使用範囲に含まれない特徴量の範囲を示す情報が記憶されることで間接的に特定される範囲であってもよい。
　（使用範囲判断部２５７）
　使用範囲判断部２５７は、特徴量抽出部２５４により抽出された特徴量である抽出特徴量が、特徴量空間における使用範囲（設定範囲）に含まれるか否かを判断する。使用範囲は、基本使用範囲および追加使用範囲の論理和で形成される範囲であってもよい。例えば、使用範囲判断部２５７は、特徴量抽出部２５４により抽出されたポーズ特徴量が、ポーズ特徴量空間におけるポーズの使用範囲に含まれるか否かを判断する。また、使用範囲判断部２５７は、特徴量抽出部２５４により抽出されたモーション特徴量が、モーション特徴量空間におけるモーションの使用範囲に含まれるか否かを判断する。
　（データ修正部２５８）
　データ修正部２５８は、特徴量抽出部２５４により抽出された特徴量が使用範囲に含まれないと使用範囲判断部２５７に判断されたことに基づき、使用範囲に含まれる特徴量を使用特徴量として取得し、当該使用特徴量を用いてポーズまたはモーションを示す修正スケルトンデータを生成する。例えば、データ修正部２５８は、特徴量抽出部２５４により抽出された特徴量と使用範囲に含まれる各特徴量との、特徴量空間における位置関係（すなわち、ユークリッド距離）に応じて、使用範囲に含まれる特徴量から使用特徴量を取得する。より具体的には、データ修正部２５８は、使用範囲に含まれる特徴量のうちで、特徴量抽出部２５４により抽出された特徴量に最も近い特徴量を使用特徴量として取得してもよい。ここで、図６を参照して、データ修正部２５８により生成される修正スケルトンデータの具体例を説明する。
　図６は、データ修正部２５８により生成される修正スケルトンデータの具体例を示す説明図である。図６の左図には、スケルトンデータ生成部２５３により生成された素スケルトンデータＳＤ１０１を示している。素スケルトンデータＳＤ１０１においては、左手部分が折れ曲がった形となっており、人間の左手部分は当該形を通常とることがない。センサ装置１０のズレまたは落下などが発生した場合に、このように不適切な素スケルトンデータＳＤ１０１が生成され得る。
　この場合、使用範囲判断部２５７が、素スケルトンデータＳＤ１０１のポーズ特徴量がポーズの使用範囲に含まれないと判断し、データ修正部２５８が例えば図６の右図に示す修正スケルトンデータＭＳＤ１０１を生成する。修正スケルトンデータＭＳＤ１０１は、ポーズ特徴量空間において使用範囲に含まれる特徴量を用いて生成されたスケルトンデータであり、左手部分の折れ曲がりが直線に修正されている。
　ここでは、データ修正部２５８がポーズ単位で修正スケルトンデータを生成する例を説明したが、データ修正部２５８は、複数のポーズの時系列データであるモーション単位で修正スケルトンデータを生成することも可能である。
　なお、データ修正部２５８は、修正スケルトンデータの生成に際して、使用範囲から取得した特徴量に加えて、特徴量抽出部２５４により素スケルトンデータから抽出された特徴量（抽出特徴量）を用いてもよい。例えば、データ修正部２５８は、使用範囲から取得した特徴量と抽出特徴量を混合して混合特徴量を生成し、混合特徴量を有するポーズまたはモーションを示す修正スケルトンデータを生成してもよい。
　より具体的には、データ修正部２５８は、使用範囲から取得した特徴量と抽出特徴量の混合割合を、抽出特徴量が使用範囲に含まれないと判断されている継続時間に応じて決定してもよい。例えば、抽出特徴量が使用範囲に含まれないと判断されている継続時間が長くなるほど、使用範囲から取得した特徴量の混合割合が増加してもよい。この場合、抽出特徴量が使用範囲に含まれないと判断された当初の修正スケルトンデータは素スケルトンデータにほぼ一致し、抽出特徴量が使用範囲に含まれないと判断されている継続時間が長くなるにつれて、修正スケルトンデータと素スケルトンデータとの差分が大きくなる。
　反対に、抽出特徴量が使用範囲に含まれないと判断された後、抽出特徴量が使用範囲に含まれると判断されるようになった場合にも、データ修正部２５８は、混合特徴量を用いた修正スケルトンデータの生成を継続し得る。例えば、データ修正部２５８は、抽出特徴量が使用範囲に含まれると判断されるようになってからの経過時間が長くなるほど、使用範囲から取得した特徴量の混合割合を減少させてもよい。この場合、抽出特徴量が使用範囲に含まれると判断されるようになってからの経過時間が長くなるにつれて、修正スケルトンデータと素スケルトンデータとの差分が小さくなる。そして、データ修正部２５８は、抽出特徴量が使用範囲に含まれると判断されるようになってからの経過時間が所定時間に達すると、修正スケルトンデータの生成を終了してもよい。
　　＜２－３．アプリケーション部の機能＞
　以上、基盤ツール２５０の機能を説明した。続いて、図７を参照し、アプリケーション部２６０の機能を説明する。
　図７は、アプリケーション部２６０の機能を示す説明図である。図７に示したように、アプリケーション部２６０は、基盤ツールプラグイン２６１、追加使用範囲記憶部２６２、追加使用範囲登録部２６３、リターゲティング部２６５、表示制御部２６７および配信制御部２６８を有する。
　（基盤ツールプラグイン２６１）
　基盤ツールプラグイン２６１は、基盤ツール２５０とのインタフェースである。基盤ツールプラグイン２６１は、基盤ツール２５０からデータを受け取り、当該データをアプリケーション部２６０で扱えるフォーマットに変換する。例えば、基盤ツールプラグイン２６１は、基盤ツール２５０から素スケルトンデータまたは修正スケルトンデータなどのスケルトンデータを受け取る。
　（追加使用範囲記憶部２６２）
　追加使用範囲記憶部２６２は、設定範囲の一例である追加使用範囲を示す情報を記憶する。追加使用範囲は、ポーズ特徴量空間またはモーション特徴量空間における一部の範囲である。追加使用範囲は、例えば、アバター映像として使用されるキャラクターにとって適切なポーズまたはモーションの特徴量を含む範囲であってもよい。なお、追加使用範囲は、追加使用範囲に含まれない特徴量の範囲を示す情報が記憶されることで間接的に特定される範囲であってもよい。
　（追加使用範囲登録部２６３）
　追加使用範囲登録部２６３は、追加使用範囲記憶部２６２に追加使用範囲を登録する機能を有する。追加使用範囲登録部２６３は、多様な方法により追加使用範囲記憶部２６２に追加使用範囲を登録し得る。以下、追加使用範囲登録部２６３がポーズの追加使用範囲を追加使用範囲記憶部２６２に登録するための幾つかの方法例を説明する。
　図８は、追加使用範囲の第１の登録例を示すフローチャートである。第１の登録例においては、まず、追加使用範囲登録部２６３が記録されたモーション（すなわち、連続する複数の時点の各々におけるポーズの集合）を取得する（Ｓ３０２）。そして、基盤ツール２５０の特徴量抽出部２５４が、追加使用範囲登録部２６３からアプリケーションインタフェース２５５を介して記録されたモーションを取得し、当該モーションを構成する各ポーズのポーズ特徴量を抽出する（Ｓ３０４）。
　その後、追加使用範囲登録部２６３は、基盤ツール２５０から基盤ツールプラグイン２６１を介してモーションを構成する各ポーズのポーズ特徴量を受け取り、各ポーズのポーズ特徴量を含む範囲をポーズの追加使用範囲として追加使用範囲記憶部２６２に登録する（Ｓ３０６）。なお、ポーズの追加使用範囲は、各ポーズのポーズ特徴量とのユークリッド距離が所定長以下である範囲であってもよい。また、ポーズの追加使用範囲は、特徴量空間において連続的に存在していてもよいし、離散的に存在していてもよい。
　モーションの追加使用範囲を登録する場合には、特徴量抽出部２５４がモーションのモーション特徴量を抽出し、追加使用範囲登録部２６３は、基盤ツール２５０から基盤ツールプラグイン２６１を介して抽出されたモーション特徴量を受け取り、当該モーション特徴量を含む範囲をモーションの追加使用範囲として追加使用範囲記憶部２６２に登録する。
　図９は、追加使用範囲の第２の登録例を示すフローチャートである。第２の登録例においては、まず、配信ユーザが、歩く、走るなどのモーション名を操作部２１６への操作により指定する（Ｓ３１２）。なお、基盤ツール２５０またはアプリケーション部２６０には、事前にモーションとモーション名が対応付けられているデータベースが用意されているものとする。
　追加使用範囲登録部２６３は、指定されたモーション名に該当するモーションを上記データベースから検索する（Ｓ３１４）。そして、基盤ツール２５０の特徴量抽出部２５４が、検索されたモーションを追加使用範囲登録部２６３からアプリケーションインタフェース２５５を介して取得し、当該モーションを構成する各ポーズのポーズ特徴量を抽出する（Ｓ３１６）。
　その後、追加使用範囲登録部２６３は、基盤ツール２５０から基盤ツールプラグイン２６１を介してモーションを構成する各ポーズのポーズ特徴量を受け取り、各ポーズのポーズ特徴量を含む範囲をポーズの追加使用範囲として追加使用範囲記憶部２６２に登録する（Ｓ３１８）。
　モーションの追加使用範囲を登録する場合には、特徴量抽出部２５４がモーションのモーション特徴量を抽出し、追加使用範囲登録部２６３は、基盤ツール２５０から基盤ツールプラグイン２６１を介して抽出されたモーション特徴量を受け取り、当該モーション特徴量を含む範囲をモーションの追加使用範囲として追加使用範囲記憶部２６２に登録する。
　図１０は、追加使用範囲の第３の登録例を示すフローチャートである。第３の登録例においては、まず、表示部２２０が複数のポーズを含むポーズ選択画面を表示し、配信ユーザが、操作部２１６への操作によりポーズ選択画面において２以上のポーズを選択する（Ｓ３２２）。ここで、図１１を参照して、ポーズ選択画面の具体例を説明する。
　図１１は、ポーズ選択画面の具体例を示す説明図である。図１１に示したように、ポーズ選択画面は、複数のポーズ表示７１Ａ～７１Ｃ、各ポーズ表示７１Ａ～７１Ｃに対応する選択ボタン７２Ａ～７２Ｃ、および新規登録ボタン７３を含む。配信ユーザは、このようなポーズ選択画面において、所望の２以上のポーズを示すポーズ表示７１に対応する選択ボタン７２を順序付けて選択し、新規登録ボタン７３を押す。なお、所望のポーズを示すポーズ表示がポーズ選択画面に含まれない場合、配信ユーザは、自身で新たなポーズを登録することも可能である。
　そして、追加使用範囲登録部２６３は、配信ユーザにより選択された２以上のポーズを選択された順序に従って繋ぐモーションを導出する（Ｓ３２４）。続いて、基盤ツール２５０の特徴量抽出部２５４が、導出されたモーションを追加使用範囲登録部２６３からアプリケーションインタフェース２５５を介して取得し、当該モーションを構成する各ポーズのポーズ特徴量を抽出する（Ｓ３２６）。
　その後、追加使用範囲登録部２６３は、基盤ツール２５０から基盤ツールプラグイン２６１を介してモーションを構成する各ポーズのポーズ特徴量を受け取り、各ポーズのポーズ特徴量を含む範囲をポーズの追加使用範囲として追加使用範囲記憶部２６２に登録する（Ｓ３２８）。
　モーションの追加使用範囲を登録する場合には、特徴量抽出部２５４がモーションのモーション特徴量を抽出し、追加使用範囲登録部２６３は、基盤ツール２５０から基盤ツールプラグイン２６１を介して抽出されたモーション特徴量を受け取り、当該モーション特徴量を含む範囲をモーションの追加使用範囲として追加使用範囲記憶部２６２に登録する。
　（リターゲティング部２６５）
　リターゲティング部２６５は、基盤ツールプラグイン２６１から配信ユーザのスケルトンデータを受け取り、当該スケルトンデータをリターゲットすることで、スケルトンデータが示す姿勢または動きを有するアバター映像を生成する。
　（表示制御部２６７）
　表示制御部２６７は、多様な表示画面を生成し、生成した表示画面を表示部２２０に表示させる。例えば、表示制御部２６７は、上述したポーズ選択画面を生成し、ポーズ選択画面を表示部２２０に表示させる。また、表示制御部２６７は、リターゲティング部２６５により生成されたアバター映像を含むアバター表示画面を生成し、当該アバター表示画面を表示部２２０に表示させる。
　（配信制御部２６８）
　配信制御部２６８は、リターゲティング部２６５により生成されたアバター映像の配信を配信サーバ３０に送信し、配信サーバ３０にアバター映像の配信を要求する。以下、アバター映像の配信が開始されると、表示制御部２６７は、配信ユーザ用の表示画面を生成し、表示画面を表示部２２０に表示させる。以下、表示制御部２６７により生成される表示画面の具体例を説明する。
　図１２は、配信ユーザ用の表示画面の一例を示す説明図である。図１２の左図は、配信確認画面８１を示し、配信確認画面８１は、配信されているアバター映像Ｖ、アバター映像Ｖがリアルタイムで配信されていることを示すライブ表示８１１、および異常通知アイコン８１３を含む。ここで、アバター映像Ｖは、素スケルトンデータから生成された映像であり、左足が外側に曲がっている。
　異常通知アイコン８１３は、基盤ツール２５０の使用範囲判断部２５７により、素スケルトンデータから抽出された特徴量が使用範囲に含まれないと判断されていることを示す。左足が外側に曲がっているポーズのポーズ特徴量が使用範囲に含まれない場合、図１２の左図に示したように異常通知アイコン８１３が表示され得る。
　配信ユーザが異常通知アイコン８１３を選択すると、表示制御部２６７は、図１２の右図に示したスケルトン表示画面８２を表示部２２０に表示させる。スケルトン表示画面８２は、素スケルトンデータを示す表示８２２、修正スケルトンデータを適用した場合に得られるアバター映像を示す表示８２３、および修正ボタン８２４を含む。
　当該スケルトン表示画面８２において配信ユーザが修正ボタン８２４を選択すると、リターゲティング部２６５がリターゲットの対象を修正スケルトンデータに切り替える。これにより、図１３の左図に示したように、修正スケルトンデータを示す表示８３２およびアバター映像を示す表示８３３を含むスケルトン表示画面８３が表示部２２０に表示される。
　さらに、スケルトン表示画面８３において配信ユーザが表示８３３を選択することにより、図１３の右図に示した配信確認画面８４が表示部２２０に表示される。配信確認画面８４においては、リターゲットの対象が修正スケルトンデータに切り替わっていることにより、アバター映像Ｖの左足が真っ直ぐになっており、図１２に示した異常通知アイコン８１３が消えている。
　なお、上記では、配信ユーザによる操作に基づいてリターゲットの対象が修正スケルトンデータに切り替えられる例を説明したが、リターゲティング部２６５は、修正スケルトンデータが生成されている場合には自動的にリターゲットの対象を修正スケルトンデータに切り替えてもよい。また、修正スケルトンデータへの切り替えを自動的に行うか手動で行うかは、設定により変更可能であってもよい。
　また、表示制御部２６７は、素スケルトンデータから抽出された特徴量が使用範囲に含まれないと判断されたことの発生回数または発生頻度が閾値を上回ったことに基づき、所定の通知として、キャリブレーションを誘導するキャリブレーションアイコンを表示部２２０に表示させてもよい。
　図１４は、キャリブレーションアイコンを含む配信確認画面８５の具体例を示す説明図である。図１４の左図に示したように、配信確認画面８５は、修正スケルトンデータから生成されたアバター映像Ｖ、ライブ表示８１１およびキャリブレーションアイコン８５１を含む。
　配信ユーザが配信確認画面８５においてキャリブレーションアイコン８５１を選択すると、表示制御部２６７は、図１４の右図に示すようにスケルトン表示画面８６を生成する。スケルトン表示画面８６は、素スケルトンデータを示す表示８６２、アバター映像を示す表示８６３およびキャリブレーションボタン８６４を含む。素スケルトンデータを示す表示８６２においては、一点鎖線で示したように、ポーズが不適切であると考えられる部位が、色または太さなどにより他の部位と区別して示されてもよい。さらに、ポーズが不適切であると考えられる部位の中でも、その度合いに応じて色または太さなどが区別されてもよい。
　当該スケルトン表示画面８６において配信ユーザがキャリブレーションボタン８６４を選択すると、基盤ツール２５０のキャリブレーション部２５２がセンサ装置１０に関するキャリブレーションを実行する。キャリブレーションの実行後、アバター映像Ｖを含み、キャリブレーションアイコン８５１を含まない配信確認画面が表示される。
　＜＜３．動作＞＞
　以上、本開示の一実施形態による情報処理システムの構成を説明した。続いて、本開示の一実施形態による情報処理システムの動作を説明する。なお、以下では主にポーズ単位で修正スケルトンデータが生成される例を説明するが、以下に説明する動作は、モーション単位で修正スケルトンデータが生成される場合にも同様に適用可能である。
　　＜３－１．基盤ツール２５０の動作＞
　図１５は、基盤ツール２５０の動作を示すフローチャートである。図１５に示したように、まず、基盤ツール２５０のスケルトンデータ生成部２５３が、センサデータ取得部２５１により取得されたセンサデータに基づいて現在時刻における素スケルトンデータを生成する（Ｓ４０４）。そして、特徴量抽出部２５４が、素スケルトンデータのポーズ特徴量を抽出する（Ｓ４０８）。
　続いて、使用範囲判断部２５７が、特徴量抽出部２５４により抽出されたポーズ特徴量が特徴量空間における使用範囲内であるか否かを判断する（Ｓ４１２）。抽出されたポーズ特徴量が特徴量空間における使用範囲内である場合（Ｓ４１２／Ｙｅｓ）、アプリケーションインタフェース２５５は、素スケルトンデータをアプリケーション部２６０に供給する（Ｓ４１６）。
　一方、抽出されたポーズ特徴量が特徴量空間における使用範囲内でない場合（Ｓ４１２／Ｎｏ）、データ修正部２５８は、使用範囲内のポーズ特徴量を取得する（Ｓ４２０）。そして、データ修正部２５８は、使用範囲内のポーズ特徴量を用いて修正スケルトンデータを生成する（Ｓ４３０）。ここで、データ修正部２５８は、使用範囲内のポーズ特徴量を有するポーズを示す修正スケルトンデータを生成してもよいし、使用範囲内のポーズ特徴量と素スケルトンデータから抽出されたポーズ特徴量を混合して混合特徴量を生成し、混合特徴量を有するポーズを示す修正スケルトンデータを生成してもよい。図１６を参照して後者の動作を具体的に説明する。
　図１６は、修正スケルトンデータの生成方法の具体例を示すフローチャートである。図１６に示したように、データ修正部２５８は、素スケルトンデータから抽出されたポーズ特徴量、および使用範囲内のポーズ特徴量の混合割合を決定する（Ｓ４３２）。例えば、データ修正部２５８は、素スケルトンデータから抽出されたポーズ特徴量が使用範囲に含まれないと判断されている継続時間に応じて混合割合を決定してもよい。例えば、データ修正部２５８は、上記継続時間が長くなるほど、使用範囲内のポーズ特徴量の混合割合を増加させてもよい。
　続いて、データ修正部２５８は、決定した混合割合に従って２つのポーズ特徴量を混合して、混合特徴量を生成する（Ｓ４３４）。さらに、データ修正部２５８は、混合特徴量を有する修正スケルトンデータを生成する（Ｓ４３６）。
　その後、図１５に示したように、アプリケーションインタフェース２５５が修正スケルトンデータをアプリケーション部２６０に供給する（Ｓ４４０）。そして、使用範囲判断部２５７は、カウンタ値をインクリメントする（Ｓ４４４）。カウンタ値が閾値を上回った場合（Ｓ４４８／Ｙｅｓ）、アプリケーションインタフェース２５５は、アプリケーション部２６０にキャリブレーションの実行が推奨されることを示すキャリブレーション推奨通知を出力する（Ｓ４５２）。その後、または、カウンタ値が閾値を下回っている場合（Ｓ４４８／Ｎｏ）、Ｓ４０４からの処理が繰り返される。
　上記の例では、抽出されたポーズ特徴量が特徴量空間における使用範囲内でないと判断されたことの発生回数がカウンタ値で管理されるが、抽出されたポーズ特徴量が特徴量空間における使用範囲内でないと判断されたことの発生頻度（単位時間当たりの発生頻度）を管理し、発生頻度が閾値を上回った場合にキャリブレーション推奨通知を出力してもよい。
　　＜３－２．アプリケーション部２６０の動作＞
　図１７は、アプリケーション部２６０の動作を示すフローチャートである。図１７に示したように、まず、基盤ツールプラグイン２６１に基盤ツール２５０からスケルトンデータが供給される（Ｓ５０４）。基盤ツール２５０において修正スケルトンデータが生成されていない場合には素スケルトンデータが供給され、基盤ツール２５０において修正スケルトンデータが生成されている場合には修正スケルトンデータが供給される。基盤ツール２５０において修正スケルトンデータが生成されている場合には、修正スケルトンデータに加えて素スケルトンデータが供給されてもよい。
　そして、リターゲティング部２６５が、基盤ツール２５０から供給された当該スケルトンデータをリターゲティングしてアバター映像を生成する（Ｓ５０８）。リターゲティング部２６５は、修正スケルトンデータが生成されていない場合には素スケルトンデータをリターゲティングする。リターゲティング部２６５は、修正スケルトンデータが生成されて、修正スケルトンデータが供給されている場合には、自動的に、または配信ユーザからの操作に基づいて、リターゲティングの対象を修正スケルトンデータに切り替えてもよい。
　配信制御部２６８は、リターゲティング部２６５により生成されたアバター映像を配信サーバ３０に送信し、アバター映像の配信を配信サーバ３０に要求する（Ｓ５１２）。
　基盤ツール２５０からキャリブレーション推奨通知がある場合（Ｓ５１６／Ｙｅｓ）、表示制御部２６７は、図１４を参照して説明したようにキャリブレーションアイコンを含む配信確認画面を表示する（Ｓ５２０）。そして、配信ユーザの操作によりキャリブレーションの実行が指示されると（Ｓ５２４／Ｙｅｓ）、アプリケーション部２６０が基盤ツール２５０にキャリブレーションの実行を要求する（Ｓ５２８）。キャリブレーション推奨通知がない場合（Ｓ５１６／Ｎｏ）、配信ユーザの操作によりキャリブレーションの実行が指示されない場合（Ｓ５２４／Ｎｏ）、またはＳ５２８の後、配信を終了する操作が行われるまで、Ｓ５０４からの処理が繰り返される（Ｓ５４８）。
　＜＜４．小括＞＞
　以上説明した本開示の一実施形態によれば、多様な作用効果が得られる。例えば、本開示の一実施形態によれば、素スケルトンデータから抽出された特徴量が特徴量空間における使用範囲に含まれない場合に、使用範囲に含まれる特徴量を用いて修正スケルトンデータが生成される。従って、配信ユーザが装着していたセンサ装置１０が落下またはズレが生じた場合などに不適切なポーズの素スケルトンデータが生成された場合でも、修正スケルトンデータを用いることで適切かつ自然なアバター映像を提供することが可能である。アバター映像のライブ配信を行っている場合には、ライブ配信を違和感なく続行することが可能である。また、配信ユーザが倫理的に不適切なポーズまたはモーションをとった場合にも、修正スケルトンデータが用いられることにより、不適切なアバター映像が配信されることを防止できる。
　ここで、データ修正部２５８は、素スケルトンデータから抽出された特徴量と設定範囲に含まれる各特徴量との特徴量空間における位置関係に応じて、使用範囲に含まれる特徴量を取得する。例えば、データ修正部２５８は、使用範囲に含まれる特徴量のうちで、素スケルトンデータから抽出された特徴量に最も近い特徴量を取得する。かかる構成によれば、データ修正部２５８は、配信ユーザが意図したポーズまたはモーションに近似するポーズまたはモーションを有する修正スケルトンデータを生成し得る。
　本開示の一実施形態の適用先において、ダンスのように特定のモーションが主となることが想定される場合には、特定のモーション以外のモーションが使用範囲に含まれないように使用範囲を狭めることで、特定のモーションを逸脱したモーションを使用範囲内のモーションに修正することが可能である。結果、高精度モーションキャプチャシステムを用いた場合と同等のダンスを表現することが可能である。一方で、本方法では録画されたモーションが用いられるわけではないので、配信ユーザがアドリブを入れる余地を残すことも可能である。
　また、データ修正部２５８は、使用範囲内の特徴量と素スケルトンデータから抽出された特徴量を混合して混合特徴量を生成することができる。例えば、データ修正部２５８は、素スケルトンデータから抽出されたポーズ特徴量が使用範囲に含まれないと判断されている継続時間に応じて使用範囲内のポーズ特徴量の混合割合を決定する。かかる構成によれば、リターゲティングの対象が素スケルトンデータから修正スケルトンデータに切り替えられた際に、素スケルトンデータと修正スケルトンデータの差分を小さくできるので、視聴ユーザに与える違和感を軽減することが可能である。
　同様に、データ修正部２５８は、素スケルトンデータから抽出された特徴量が使用範囲に含まれないと判断された後、当該特徴量が使用範囲に含まれると判断されるようになった場合にも、データ修正部２５８は、混合特徴量を用いた修正スケルトンデータの生成を継続することができる。例えば、データ修正部２５８は、素スケルトンデータから抽出された特徴量が使用範囲に含まれると判断されるようになってからの経過時間が長くなるほど、使用範囲内の特徴量の混合割合を減少させてもよい。かかる構成によれば、リターゲティングの対象が修正スケルトンデータから素スケルトンデータに切り替えられる際にも、素スケルトンデータと修正スケルトンデータの差分を小さくできるので、視聴ユーザに与える違和感を軽減することが可能である。
　また、基盤ツール２５０は、素スケルトンデータから抽出された特徴量が使用範囲に含まれないと判断されたことの発生回数または発生頻度が閾値を上回った場合にキャリブレーション推奨通知を出力する。かかる構成によれば、キャリブレーションが実行され、素スケルトンデータから抽出された特徴量が使用範囲に含まれ易くなることが期待される。この場合、素スケルトンデータを用いてアバター映像が生成されるので、配信ユーザの意図により近いポーズまたはモーションを有するアバター映像を生成することが可能になる。
　また、リターゲティング部２６５は、リターゲティングの対象の切り替えを、配信ユーザからの操作に基づいて行うことも可能である。かかる構成によれば、素スケルトンデータから抽出された特徴量が使用範囲に含まれない場合でも、素スケルトンデータを用いてアバター映像を生成する選択肢を配信ユーザが持つことができる。
　また、追加使用範囲登録部２６３は、追加使用範囲を設定することが可能であり、追加使用範囲を設定する設定段階に、多様な設定方法を適用できる。かかる構成によれば、配信ユーザは、アプリケーションに応じて追加使用範囲を容易に設定することが可能である。
　＜＜５．変形例＞＞
　以上、本開示の一実施形態を説明した。以下では、上述した実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上述した実施形態に適用されてもよいし、組み合わせで上述した実施形態に適用されてもよい。また、各変形例は、上述した構成に代えて適用されてもよいし、上述した構成に対して追加的に適用されてもよい。
　　＜４－１．第１の変形例＞
　上記では、素スケルトンデータから抽出された特徴量が使用範囲に含まれる場合には修正スケルトンデータが生成されない例を説明した。しかし、データ修正部２５８は、素スケルトンデータから抽出された特徴量が使用範囲に含まれる場合であっても、修正スケルトンデータを生成してもよい。本例を、第１の変形例として、図１８を参照して説明する。
　図１８は、基盤ツール２５０の動作の第１の変形例を示すフローチャートである。Ｓ４０４～Ｓ４１２およびＳ４２０～Ｓ４５２の処理は図１５を参照して説明した通りである。
　Ｓ４１２において、特徴量抽出部２５４により抽出されたポーズ特徴量が特徴量空間における使用範囲内であると使用範囲判断部２５７が判断した場合（Ｓ４１２／Ｙｅｓ）、データ修正部２５８は、使用範囲内から予測特徴量を取得する（Ｓ４１３）。予測特徴量は、配信ユーザの予測される未来のポーズまたはモーションの特徴量である。データ修正部２５８は、特徴量抽出部２５４により抽出された現在のポーズ特徴量を例えばＤＮＮのような識別器に入力することにより、当該識別器から出力される予想特徴量を取得してもよい。
　そして、データ修正部２５８は、予測特徴量を用いて修正スケルトンデータを生成する（Ｓ４１４）。データ修正部２５８は、予測特徴量を有するポーズを示す修正スケルトンデータを生成してもよいし、予測特徴量と素スケルトンデータから抽出されたポーズ特徴量を混合して混合特徴量を生成し、混合特徴量を有するポーズを示す修正スケルトンデータを生成してもよい。そして、アプリケーションインタフェース２５５が、修正スケルトンデータをアプリケーション部２６０に供給する（Ｓ４１５）。これにより、素スケルトンデータから抽出されたポーズ特徴量が使用範囲内である場合にも、予測により生成された修正スケルトンデータからアバター映像が生成され得る。
　このような第１の変形例は、アバター映像のリアルタイム性が重要であり低遅延が望ましいアプリケーションにおいて有用である。特に、想定されるモーションが限られるダンスなどを配信ユーザが行う場合に、高精度に修正スケルトンデータを予測し、当該修正スケルトンデータに基づき配信の遅延を低減することが可能である。
　　＜４－２．第２の変形例＞
　上記では、全身の素スケルトンデータの特徴量が使用範囲内であるか否かが判断され、修正スケルトンデータが全身単位で生成される例を説明したが、これら判断および生成は部位ごとに行われてもよい。本例を、第２の変形例として、図１９を参照して説明する。
　図１９は、基盤ツール２５０の動作の第２の変形例を示すフローチャートである。図１９に示したように、まず、基盤ツール２５０のスケルトンデータ生成部２５３が、センサデータ取得部２５１により取得されたセンサデータに基づいて、現在時刻における部位ごとの素スケルトンデータを生成する（Ｓ６０４）。そして、特徴量抽出部２５４が、各部位の素スケルトンデータのポーズ特徴量を抽出する（Ｓ６０８）。なお、部位としては、右腕、左腕、左足、右足および胴体などが挙げられる。
　第２の変形例においては、使用範囲が部位ごとに設定されており、使用範囲判断部２５７が、全ての部位のポーズ特徴量が、各部位の使用範囲内であるか否かを判断する（Ｓ６１２）。全ての部位のポーズ特徴量が使用範囲内である場合（Ｓ６１２／Ｙｅｓ）、アプリケーションインタフェース２５５は、各部位の素スケルトンデータをアプリケーション部２６０に供給する（Ｓ６１６）。
　一方、いずれかの部位のポーズ特徴量が使用範囲外である場合（Ｓ６１２／Ｎｏ）、データ修正部２５８は、ポーズ特徴量が使用範囲外であった部位である使用範囲外部位について、当該部位の使用範囲内のポーズ特徴量を取得する（Ｓ６２０）。そして、データ修正部２５８は、使用範囲内のポーズ特徴量を用いて使用範囲外部位の修正スケルトンデータを生成する（Ｓ６３０）。
　その後、アプリケーションインタフェース２５５が、使用範囲外部位の修正スケルトンデータ、およびポーズ特徴量が使用範囲内であった部位である使用範囲内部位の素スケルトンデータをアプリケーション部２６０に供給する（Ｓ６４０）。そして、使用範囲判断部２５７は、カウンタ値をインクリメントする（Ｓ６４４）。カウンタ値が閾値を上回った場合（Ｓ６４８／Ｙｅｓ）、アプリケーションインタフェース２５５は、アプリケーション部２６０にキャリブレーションの実行が推奨されることを示すキャリブレーション推奨通知を出力する（Ｓ６５２）。その後、または、カウンタ値が閾値を下回っている場合（Ｓ６４８／Ｎｏ）、Ｓ６０４からの処理が繰り返される。
　このような第２の変形例によれば、部位ごとに使用範囲についての判断および修正スケルトンデータの生成を行えるので、より高精度な判断および修正スケルトンデータの生成を実現し得る。
　　＜４－３．その他の変形例＞
　その他、上述した実施形態には多様な変形例を適用可能である。例えば、上述した実施形態では、基盤ツール２５０において基本使用範囲が管理され、アプリケーション部２６０において追加使用範囲が管理される例を説明したが、基盤ツール２５０における基本使用範囲の管理、またはアプリケーション部２６０における追加使用範囲の管理は行われなくてもよい。この場合、使用範囲は、基本使用範囲または追加使用範囲のみであってもよい。
　また、視聴ユーザ側で使用範囲についての設定が行われてもよい。例えば、視聴ユーザが視聴ユーザ端末４０を操作し、視聴ユーザがアバター映像に許容または禁止するポーズなどを選択し、選択されたポーズの特徴量を含むユーザ使用範囲が設定されてもよい。この場合、ユーザ使用範囲を用いた判断および修正スケルトンデータの生成は、視聴ユーザ端末４０において行われてもよいし、ユーザ使用範囲が配信サーバ３０で管理されることで配信サーバ３０において行われてもよい。かかる構成によれば、視聴ユーザがアバター映像に望まないポーズまたはモーションなどが視聴ユーザ端末４０に表示されることを防止できる。
　また、上記では素スケルトンデータから抽出された特徴量が使用範囲外であった場合に修正スケルトンデータが生成される例を説明したが、他の対応も可能である。例えば、素スケルトンデータから抽出された特徴量が使用範囲外であった場合に基盤ツール２５０がアプリケーション部２６０に所定の通知を出力し、アプリケーション部２６０は、当該通知に基づき、アバター映像に所定の画像処理を施してもよい。所定の画像処理としては、アバター映像にモザイクをかけるモザイク処理、またはパーティクル処理などであってもよい。かかる構成によっても、視聴ユーザが感じる違和感を軽減することが可能である。または、アプリケーション部２６０は、基盤ツール２５０からの通知に基づき、例えば配信ユーザからの操作により修正スケルトンデータに基づくアバター映像の表示が開始されるまでの間に、アバター映像に上記の画像処理を施してもよい。
　また、上記では１つのモーションキャプチャ技術が使用される例を説明したが、複数のモーションキャプチャ技術を並列的に使用し、モーションキャプチャ技術ごとに素スケルトンデータを取得することも可能である。この場合、使用範囲判断部２５７は、各素スケルトンデータから抽出された特徴量が使用範囲に含まれるか否かを判断する。データ修正部２５８は、使用範囲に含まれないと判断された特徴量は使用せず、使用範囲に含まれると判断された特徴量を用いて修正スケルトンデータを生成する。２以上の特徴量が使用範囲に含まれると判断された場合、データ修正部２５８は、当該２以上の特徴量を混合することで混合特徴量を生成し、混合特徴量を有する修正スケルトンデータを生成してもよい。ここで、データ修正部２５８は、より高精度なモーションキャプチャ技術により得られた素スケルトンデータの特徴量をより高い混合割合で混合してもよい。かかる構成によっても、不適切なアバター映像が配信されることを防止可能である。
　＜＜６．情報処理システムの他の構成例＞＞
　上記では、情報処理システムの第１の構成例として、配信ユーザ端末２０が基盤ツール２５０およびアプリケーション部２６０を有する構成例を説明した。しかし、本開示の情報処理システムには他の構成例も考えられる。以下、情報処理システムの他の構成例を説明する。
　　＜５－１．第２の構成例＞
　図２０は、情報処理システムの第２の構成例を示す説明図である。図２０に示したように、第２の構成例による情報処理システムは、配信ユーザ端末２０－２および処理端末５０－２を有する。配信ユーザ端末２０－２と処理端末５０－２はネットワーク１２を介して接続されている。配信ユーザ端末２０－２は、基盤ツール２５０を有し、アプリケーション部２６０を有さない。アプリケーション部２６０は、処理端末５０－２に実装されている。
　当該第２の構成例においては、配信ユーザ端末２０－２が処理端末５０－２に素スケルトンデータまたは修正スケルトンデータを送信する。そして、処理端末５０－２のアプリケーション部２６０が素スケルトンデータまたは修正スケルトンデータからアバター映像を生成し、配信サーバ３０を介してアバター映像を視聴ユーザ端末４０に配信する。当該第２の構成例において、基盤ツール２５０の開発元とアプリケーション部２６０の開発元は同一であってもよいし、異なってもよい。
　　＜５－２．第３の構成例＞
　図２１は、情報処理システムの第３の構成例を示す説明図である。図２１に示したように、第３の構成例による情報処理システムは、配信ユーザ端末２０－３および処理端末５０－３を有する。配信ユーザ端末２０－３と処理端末５０－３はネットワーク１２を介して接続されている。配信ユーザ端末２０－３は、基盤ツール２５０およびアプリケーション部２６０－３を有する。アプリケーション部２６０－３は、図７を参照して説明したアプリケーション部２６０が有する構成のうち、リターゲティング部２６５および配信制御部２６８を有さない。代わりに、処理端末５０－３がリターゲティング部２６５および配信制御部２６８を有する。
　当該第３の構成例においては、配信ユーザ端末２０－３が処理端末５０－３に素スケルトンデータまたは修正スケルトンデータを送信する。そして、処理端末５０－３のリターゲティング部２６５が素スケルトンデータまたは修正スケルトンデータからアバター映像を生成し、配信制御部２６８が配信サーバ３０を介してアバター映像を視聴ユーザ端末４０に配信する。当該第３の構成例において、基盤ツール２５０の開発元、アプリケーション部２６０－３の開発元、リターゲティング部２６５の開発元、および配信制御部２６８の開発元は、同一であってもよいし、異なってもよい。
　　＜５－３．第４の構成例＞
　図２２は、情報処理システムの第４の構成例を示す説明図である。図２２に示したように、第４の構成例による情報処理システムは、配信ユーザ端末２０－４および処理端末５０－４を有する。配信ユーザ端末２０－４と処理端末５０－４はネットワーク１２を介して接続されている。配信ユーザ端末２０－４は、基盤ツール２５０を有する。処理端末５０－４は、アプリケーション部２６０－４を有する。アプリケーション部２６０－４は配信制御部２６８の機能を含まず、処理端末５０－４は別途配信制御部２６８の機能を有する。
　当該第４の変形例においては、配信ユーザ端末２０－４が処理端末５０－４に素スケルトンデータまたは修正スケルトンデータを送信する。そして、処理端末５０－４のアプリケーション部２６０－４が素スケルトンデータまたは修正スケルトンデータからアバター映像を生成し、配信制御部２６８が配信サーバ３０を介してアバター映像を視聴ユーザ端末４０に配信する。当該第４の構成例において、基盤ツール２５０の開発元、アプリケーション部２６０－４の開発元、および配信制御部２６８の開発元は、同一であってもよいし、異なってもよい。
　　＜５－４．第５の構成例＞
　図２３は、情報処理システムの第５の構成例を示す説明図である。図２３に示したように、第５の構成例による情報処理システムは、配信ユーザ端末２０－５および処理端末５０－５を有する。配信ユーザ端末２０－５と処理端末５０－５はネットワーク１２を介して接続されている。配信ユーザ端末２０－５は、基盤ツール２５０を有する。処理端末５０－５は、アプリケーション部２６０－５を有する。アプリケーション部２６０－５はリターゲティング部２６５および配信制御部２６８の機能を含まず、処理端末５０－５は別途リターゲティング部２６５および配信制御部２６８の機能を有する。
　当該第５の変形例においては、配信ユーザ端末２０－５が処理端末５０－５に素スケルトンデータまたは修正スケルトンデータを送信する。そして、アプリケーション部２６０－５が素スケルトンデータまたは修正スケルトンデータをリターゲティング部２６５に供給し、リターゲティング部２６５が素スケルトンデータまたは修正スケルトンデータからアバター映像を生成し、配信制御部２６８が配信サーバ３０を介してアバター映像を視聴ユーザ端末４０に配信する。当該第５の構成例において、基盤ツール２５０の開発元、アプリケーション部２６０－５の開発元、リターゲティング部２６５の開発元および配信制御部２６８の開発元は、同一であってもよいし、異なってもよい。
　＜５－５．第６の構成例＞
　上記では、主に、ＰＣ型の配信ユーザ端末２０に操作部２１６、表示部２２０、通信部２３０および制御部２４０などの機能が実装される例を説明したが、これらの機能は、スマートフォンのような携帯端末に実装されてもよい。また、上記機能は、複数の携帯端末に分散的に実装されてもよいし、分散的かつ重複的に実装されてもよい。図２４を参照し、第６の構成例として、上記機能が複数の携帯端末に分散的に実装される例を説明する。
　図２４は、情報処理システムの第６の構成例を示す説明図である。図２４に示したように、第６の構成例による情報処理システムは、第１携帯端末６１、第２携帯端末６２および第３携帯端末６３を有する。
　第１携帯端末６１には、制御部２４０の機能、すなわち、基盤ツール２５０およびアプリケーション部２６０の機能が実装される。また、第１携帯端末６１は、他の第２携帯端末６２および第３携帯端末６３と通信するための通信部も有する。第１携帯端末６１は、センサ装置１０から取得されるセンサデータに基づいてユーザＵ１のアバター映像を生成し、第２携帯端末６２および第３携帯端末６３に当該アバター映像を送信する。なお、図２４においては第１携帯端末６１、第２携帯端末６２および第３携帯端末６３がネットワーク１２を介して通信する例を示しているが、第１携帯端末６１、第２携帯端末６２および第３携帯端末６３はネットワーク１２を介さずに直接通信してもよい。
　第２携帯端末６２には、表示部２２０および通信部２３０の機能が実装される。第２携帯端末６２は、第１携帯端末６１からアバター映像を受信し、アバター映像を含む表示画面を表示部２２０に表示する。これにより、第２携帯端末６２を利用するユーザＵ４は、アバター映像を確認できる。第２携帯端末６２に表示される表示画面は、図１２～図１４などを参照して説明した表示画面と同じであってもよいし、異常通知アイコン８１３およびキャリブレーションアイコン８５１などを含まない表示画面であってもよい。
　第３携帯端末６３には、操作部２１６および通信部２３０の機能が実装される。第３携帯端末６３を利用するユーザＵ５が、操作部２１６に対してリターゲットの対象を修正スケルトンデータに切り替える操作、またはキャリブレーションの実行を指示する操作を行うと、第３携帯端末６３は当該操作を示す情報を第１携帯端末６１に送信する。第３携帯端末６３は、上記の操作のために、アバター映像を含む表示画面を表示する表示部２２０の機能も有してよい。
　なお、第２携帯端末６２の機能および第３携帯端末６３の機能は１つの携帯端末にまとめて実装されてもよい。また、第２携帯端末６２および第３携帯端末６３はアプリケーション部２６０の機能も有してもよい。この場合、第１携帯端末６１は、アバター映像に代えてスケルトンデータを第２携帯端末６２および第３携帯端末６３に送信し、第２携帯端末６２および第３携帯端末６３はスケルトンデータからアバター映像を生成して表示してもよい。また、各携帯端末にはアプリケーション部２６０の一部または全ての機能が実装されてもよい。例えば、追加使用範囲記憶部２６２の機能は第１携帯端末６１および第３携帯端末６３に実装され、追加使用範囲登録部２６３の機能は第３携帯端末６３に実装され、表示制御部２６７の機能は第２携帯端末６２および第３携帯端末６３に実装されてもよい。
　このような情報処理システムの第６の構成例には、多様なユースケースが想定される。情報処理システムの第６の構成例のユースケースとしては、例えば、屋外での撮影、移動しながらの撮影、および特定環境での撮影などが考えられる。屋外での撮影および移動しながらの撮影においては、携帯端末を用いることにより電源確保および機材運搬設備などが不要となり、より軽装でモーションキャプチャおよびデータ処理を行うことが可能である。また、例えば演者であるユーザＵ１が第１携帯端末６１を持ち運び、第１携帯端末６１がプロデューサまたは監督などの複数のユーザが有する各第２携帯端末６２にスケルトンデータまたはアバター映像などを送信することにより、複数の環境で即座にスケルトンデータまたはアバター映像などのチェックを行うことが可能となる。
　また、ライブ会場、および上方が開けた場所などの特定環境での撮影では、電波が拡散し易いので、センサ装置１０から送信されたセンサデータの受信が困難になる。この点、第１携帯端末６１のような小型通信デバイスを演者が装着することにより、第１携帯端末６１とセンサ装置１０の距離が小さくなるので、第１携帯端末６１がセンサデータを高精度に受信可能である。専用電源が不要であるので、演者の衣装やパフォーマンスへの影響も抑制できる。また、第２携帯端末６２または別の表示装置などを第１携帯端末６１から離れた場所に配置することが可能である。
　なお、第１携帯端末６１が内蔵する機能により、ユーザＵ１の姿勢に関するデータを得ることも可能である。例えば、第１携帯端末６１のカメラがユーザＵ１に向けられていれば、第１携帯端末６１はユーザＵ１の顔の向きを取得できる。また、第１携帯端末６１は、カメラで得られた画像からユーザＵ１のモーションキャプチャも行い得る。
　そこで、センサ装置１０のセンサデータから取得された素スケルトンデータの特徴量が使用範囲に含まれない場合、第１携帯端末６１は、第１携帯端末６１が内蔵する機能により取得したデータを用いて修正スケルトンデータを生成してもよい。例えば、第１携帯端末６１は、使用範囲に含まれる特徴量のうちで、第１携帯端末６１が内蔵する機能により取得したデータを満たす特徴量を使用特徴量として取得し、当該使用特徴量を用いて修正スケルトンデータを生成してもよい。
　また、第１携帯端末６１がＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）またはＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）などによりユーザＵ１の位置および移動を推定できる場合に、当該推定結果を用いて修正スケルトンデータを生成することも可能である。例えば、ユーザＵ１が低速で移動していることが推定された場合、ユーザＵ１は歩いて移動していると考えられるので、第１携帯端末６１は、歩いている姿勢を有する修正スケルトンデータを生成し得る。
　＜＜７．ハードウェア構成＞＞
　以上、本開示の実施形態を説明した。上述したスケルトンデータの生成および特徴量の抽出などの情報処理は、ソフトウェアと、以下に説明する配信ユーザ端末２０のハードウェアとの協働により実現される。
　図２５は、配信ユーザ端末２０のハードウェア構成を示したブロック図である。配信ユーザ端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、配信ユーザ端末２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。
　ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って配信ユーザ端末２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、図３を参照して説明した基盤ツール２５０およびアプリケーション部２６０などの機能が実現され得る。
　ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。配信ユーザ端末２０のユーザは、該入力装置２０８を操作することにより、配信ユーザ端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
　ストレージ装置２１１は、本実施形態にかかる配信ユーザ端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
　ドライブ２１２は、記憶媒体用リーダライタであり、配信ユーザ端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
　通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　なお、上記では図２５を参照して配信ユーザ端末２０のハードウェア構成について説明したが、配信サーバ３０のハードウェアおよび視聴ユーザ端末４０のハードウェアは配信ユーザ端末２０と実質的に同一に構成することが可能であるため、説明を省略する。
　＜＜８．補足＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、図４を参照して説明した基盤ツール２５０内の各機能ブロックは、複数の端末に分散的に実装されてもよい。同様に、図７を参照して説明したアプリケーション部２６０内の各機能ブロックは、複数の端末に分散的に実装されてもよい。
　例えば、本明細書の配信ユーザ端末２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、配信ユーザ端末２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、配信ユーザ端末２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した配信ユーザ端末２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　動体の姿勢を示す姿勢情報を取得することと、
　１の時点または複数の時点における前記姿勢情報から特徴量を抽出することと、
　抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断することと、
　前記抽出特徴量が前記設定範囲に含まれないと判断されたことに基づき、前記設定範囲に含まれる特徴量を使用特徴量として取得し、当該使用特徴量を用いて姿勢または動きを示すデータを生成することと、
を含む、情報処理方法。
（２）
　前記データを生成することは、前記抽出特徴量と前記設定範囲に含まれる各特徴量との前記特徴量空間における位置関係に応じて、前記設定範囲に含まれる特徴量から前記使用特徴量を取得することを含む、前記（１）に記載の情報処理方法。
（３）
　前記設定範囲に含まれる特徴量から前記使用特徴量を取得することは、前記設定範囲に含まれる特徴量の内で、前記特徴量空間において前記抽出特徴量に最も近い特徴量を前記使用特徴量として取得することを含む、前記（２）に記載の情報処理方法。
（４）
　前記データを生成することは、前記抽出特徴量と前記使用特徴量を混合して混合特徴量を生成し、混合特徴量を有する姿勢または動きを示すデータを生成することを含む、前記（１）～（３）のいずれか一項に記載の情報処理方法。
（５）
　前記混合特徴量を生成することは、前記抽出特徴量が前記設定範囲に含まれないと判断されている継続時間に応じた割合で前記抽出特徴量と前記使用特徴量を混合することを含む、前記（４）に記載の情報処理方法。
（６）
　前記混合特徴量を生成することは、前記継続時間が長くなるほど前記使用特徴量を混合する割合を増加させることを含む、前記（５）に記載の情報処理方法。
（７）
　前記抽出特徴量が前記設定範囲に含まれないと判断された後、前記抽出特徴量が前記設定範囲に含まれると判断されるようになった場合、前記混合特徴量を生成することは、前記抽出特徴量が前記設定範囲に含まれると判断されるようになってからの経過時間が長くなるほど前記使用特徴量を混合する割合を減少させることを含む、前記（４）～（６）のいずれか一項に記載の情報処理方法。
（８）
　前記抽出特徴量が前記設定範囲に含まれないと判断されたことの発生回数または発生頻度が閾値を上回ったことに基づき、ユーザへの所定の通知の出力を制御することをさらに含む、前記（１）～（７）のいずれか一項に記載の情報処理方法。
（９）
　前記所定の通知は、前記姿勢情報を取得するためのセンサのキャリブレーションを誘導する通知である、前記（８）に記載の情報処理方法。
（１０）
　前記抽出特徴量が前記設定範囲に含まれると判断されたことに基づき、前記設定範囲内に含まれる特徴量から予測された前記動体の未来の姿勢または動きを示す予測特徴量を取得し、前記予測特徴量を用いて姿勢または動きを示すデータを生成することとをさらに含む、前記（１）～（９）のいずれか一項に記載の情報処理方法。
（１１）
　前記データを生成することは、前記抽出特徴量が前記設定範囲に含まれないと判断されたことに基づき前記抽出特徴量が前記設定範囲に含まれないことを示す通知をユーザに出力すること、および、ユーザにより姿勢または動きの調整を指示する操作が行われたことに基づき前記使用特徴量を用いて姿勢または動きを示すデータを生成すること、を含む、前記（１）～（１０）のいずれか一項に記載の情報処理方法。
（１２）
　動体を構成する複数の部位のうちの１または２以上の部位ごとに実行される、前記（１）～（１１）のいずれか一項に記載の情報処理方法。
（１３）
　前記設定範囲を設定する設定段階をさらに含み、
　前記設定段階は、
　動体の姿勢を示す姿勢情報を取得することと、
　１の時点または複数の時点における前記姿勢情報から特徴量を抽出することと、
　抽出された特徴量が含まれるように前記設定範囲を設定することと、
を含む、前記（１）～（１２）のいずれか一項に記載の情報処理方法。
（１４）
　前記設定範囲を設定する設定段階をさらに含み、
　前記設定段階は、
　動体の姿勢を示す姿勢情報を取得することと、
　複数の時点における前記姿勢情報を繋ぐ動きの特徴量、または当該動きを構成する各姿勢の特徴量を抽出することと、
　抽出された特徴量が含まれるように前記設定範囲を設定することと、
を含む、前記（１）～（１２）のいずれか一項に記載の情報処理方法。
（１５）
　前記設定範囲を設定する設定段階をさらに含み、
　前記設定段階は、
　事前に登録されている姿勢または動きのうちでユーザにより指定された姿勢または動きの特徴量が含まれるように前記設定範囲を設定することを含む、前記（１）～（１２）のいずれか一項に記載の情報処理方法。
（１６）
　生成された前記データが示す姿勢または動きを有するアバター映像を生成することをさらに含む、前記（１）～（１５）のいずれか一項に記載の情報処理方法。
（１７）
　ネットワークを介して前記アバター映像を配信することをさらに含む、前記（１６）に記載の情報処理方法。
（１８）
　前記姿勢情報を取得することは、異なるモーションキャプチャ技術を用いてモーションキャプチャ技術ごとに姿勢情報を取得することを含み、
　前記データを生成することは、いずれかのモーションキャプチャ技術により得られた姿勢情報の抽出特徴量が前記設定範囲に含まれないと判断されたことに基づき、前記設定範囲に含まれると判断された他のモーションキャプチャ技術により得られた抽出特徴量を前記使用特徴量として用いて前記データを生成することを含む、前記（１）に記載の情報処理方法。
（１９）
　動体の姿勢を示す姿勢情報を取得する姿勢情報取得部と、
　１の時点または複数の時点における前記姿勢情報から特徴量を抽出する特徴量抽出部と、
　前記特徴量抽出部により抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断する判断部と、
　前記抽出特徴量が前記設定範囲に含まれないと前記判断部により判断されたことに基づき、前記設定範囲に含まれる特徴量を有する姿勢または動きを示すデータを生成するデータ生成部と、
を備える、情報処理装置。
（２０）
　コンピュータを、
　動体の姿勢を示す姿勢情報を取得する姿勢情報取得部と、
　１の時点または複数の時点における前記姿勢情報から特徴量を抽出する特徴量抽出部と、
　前記特徴量抽出部により抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断する判断部と、
　前記抽出特徴量が前記設定範囲に含まれないと前記判断部により判断されたことに基づき、前記設定範囲に含まれる特徴量を有する姿勢または動きを示すデータを生成するデータ生成部と、
として機能させるための、プログラム。
（２１）
　１の時点または複数の時点における動体の姿勢情報から特徴量を抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれない場合に、前記設定範囲に含まれる特徴量を用いて生成された示すデータが示す姿勢または動きを有するアバター映像を生成する表示制御部を備える、情報処理装置。
１０　　センサ装置
２０　　配信ユーザ端末
２１６　　操作部
２２０　　表示部
２３０　　通信部
２４０　　制御部
２５０　　基盤ツール
　２５１　　センサデータ取得部
　２５２　　キャリブレーション部
　２５３　　スケルトンデータ生成部
　２５４　　特徴量抽出部
　２５５　　アプリケーションインタフェース
　２５６　　基本使用範囲記憶部
　２５７　　使用範囲判断部
　２５８　　データ修正部
２６０　　アプリケーション部
　２６１　　基盤ツールプラグイン
　２６２　　追加使用範囲記憶部
　２６３　　追加使用範囲登録部
　２６５　　リターゲティング部
　２６７　　表示制御部
　２６８　　配信制御部
３０　　配信サーバ
４０　　視聴ユーザ端末
５０　　処理端末

Claims (20)

  1. 　動体の姿勢を示す姿勢情報を取得することと、
    　１の時点または複数の時点における前記姿勢情報から特徴量を抽出することと、
    　抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断することと、
    　前記抽出特徴量が前記設定範囲に含まれないと判断されたことに基づき、前記設定範囲に含まれる特徴量を使用特徴量として取得し、当該使用特徴量を用いて姿勢または動きを示すデータを生成することと、
    を含む、情報処理方法。
  2. 　前記データを生成することは、前記抽出特徴量と前記設定範囲に含まれる各特徴量との前記特徴量空間における位置関係に応じて、前記設定範囲に含まれる特徴量から前記使用特徴量を取得することを含む、請求項１に記載の情報処理方法。
  3. 　前記設定範囲に含まれる特徴量から前記使用特徴量を取得することは、前記設定範囲に含まれる特徴量の内で、前記特徴量空間において前記抽出特徴量に最も近い特徴量を前記使用特徴量として取得することを含む、請求項２に記載の情報処理方法。
  4. 　前記データを生成することは、前記抽出特徴量と前記使用特徴量を混合して混合特徴量を生成し、混合特徴量を有する姿勢または動きを示すデータを生成することを含む、請求項１に記載の情報処理方法。
  5. 　前記混合特徴量を生成することは、前記抽出特徴量が前記設定範囲に含まれないと判断されている継続時間に応じた割合で前記抽出特徴量と前記使用特徴量を混合することを含む、請求項４に記載の情報処理方法。
  6. 　前記混合特徴量を生成することは、前記継続時間が長くなるほど前記使用特徴量を混合する割合を増加させることを含む、請求項５に記載の情報処理方法。
  7. 　前記抽出特徴量が前記設定範囲に含まれないと判断された後、前記抽出特徴量が前記設定範囲に含まれると判断されるようになった場合、前記混合特徴量を生成することは、前記抽出特徴量が前記設定範囲に含まれると判断されるようになってからの経過時間が長くなるほど前記使用特徴量を混合する割合を減少させることを含む、請求項４に記載の情報処理方法。
  8. 　前記抽出特徴量が前記設定範囲に含まれないと判断されたことの発生回数または発生頻度が閾値を上回ったことに基づき、ユーザへの所定の通知の出力を制御することをさらに含む、請求項１に記載の情報処理方法。
  9. 　前記所定の通知は、前記姿勢情報を取得するためのセンサのキャリブレーションを誘導する通知である、請求項８に記載の情報処理方法。
  10. 　前記抽出特徴量が前記設定範囲に含まれると判断されたことに基づき、前記設定範囲内に含まれる特徴量から予測された前記動体の未来の姿勢または動きを示す予測特徴量を取得し、前記予測特徴量を用いて姿勢または動きを示すデータを生成することとをさらに含む、請求項１に記載の情報処理方法。
  11. 　前記データを生成することは、前記抽出特徴量が前記設定範囲に含まれないと判断されたことに基づき前記抽出特徴量が前記設定範囲に含まれないことを示す通知をユーザに出力すること、および、ユーザにより姿勢または動きの調整を指示する操作が行われたことに基づき前記使用特徴量を用いて姿勢または動きを示すデータを生成すること、を含む、請求項１に記載の情報処理方法。
  12. 　動体を構成する複数の部位のうちの１または２以上の部位ごとに実行される、請求項１に記載の情報処理方法。
  13. 　前記設定範囲を設定する設定段階をさらに含み、
    　前記設定段階は、
    　動体の姿勢を示す姿勢情報を取得することと、
    　１の時点または複数の時点における前記姿勢情報から特徴量を抽出することと、
    　抽出された特徴量が含まれるように前記設定範囲を設定することと、
    を含む、請求項１に記載の情報処理方法。
  14. 　前記設定範囲を設定する設定段階をさらに含み、
    　前記設定段階は、
    　動体の姿勢を示す姿勢情報を取得することと、
    　複数の時点における前記姿勢情報を繋ぐ動きの特徴量、または当該動きを構成する各姿勢の特徴量を抽出することと、
    　抽出された特徴量が含まれるように前記設定範囲を設定することと、
    を含む、請求項１に記載の情報処理方法。
  15. 　前記設定範囲を設定する設定段階をさらに含み、
    　前記設定段階は、
    　事前に登録されている姿勢または動きのうちでユーザにより指定された姿勢または動きの特徴量が含まれるように前記設定範囲を設定することを含む、請求項１に記載の情報処理方法。
  16. 　生成された前記データが示す姿勢または動きを有するアバター映像を生成することをさらに含む、請求項１に記載の情報処理方法。
  17. 　ネットワークを介して前記アバター映像を配信することをさらに含む、請求項１６に記載の情報処理方法。
  18. 　前記姿勢情報を取得することは、異なるモーションキャプチャ技術を用いてモーションキャプチャ技術ごとに姿勢情報を取得することを含み、
    　前記データを生成することは、いずれかのモーションキャプチャ技術により得られた姿勢情報の抽出特徴量が前記設定範囲に含まれないと判断されたことに基づき、前記設定範囲に含まれると判断された他のモーションキャプチャ技術により得られた抽出特徴量を前記使用特徴量として用いて前記データを生成することを含む、請求項１に記載の情報処理方法。
  19. 　動体の姿勢を示す姿勢情報を取得する姿勢情報取得部と、
    　１の時点または複数の時点における前記姿勢情報から特徴量を抽出する特徴量抽出部と、
    　前記特徴量抽出部により抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断する判断部と、
    　前記抽出特徴量が前記設定範囲に含まれないと前記判断部により判断されたことに基づき、前記設定範囲に含まれる特徴量を有する姿勢または動きを示すデータを生成するデータ生成部と、
    を備える、情報処理装置。
  20. 　コンピュータを、
    　動体の姿勢を示す姿勢情報を取得する姿勢情報取得部と、
    　１の時点または複数の時点における前記姿勢情報から特徴量を抽出する特徴量抽出部と、
    　前記特徴量抽出部により抽出された特徴量である抽出特徴量が、特徴量空間における設定範囲に含まれるか否かを判断する判断部と、
    　前記抽出特徴量が前記設定範囲に含まれないと前記判断部により判断されたことに基づき、前記設定範囲に含まれる特徴量を有する姿勢または動きを示すデータを生成するデータ生成部と、
    として機能させるための、プログラム。
PCT/JP2021/044934 2021-02-02 2021-12-07 情報処理方法、情報処理装置およびプログラム WO2022168428A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202180091883.XA CN116829065A (zh) 2021-02-02 2021-12-07 信息处理方法、信息处理装置和程序
EP21924813.5A EP4290347A1 (en) 2021-02-02 2021-12-07 Information processing method, information processing device, and program
KR1020237024037A KR20230135061A (ko) 2021-02-02 2021-12-07 정보 처리 방법, 정보 처리 장치 및 프로그램
JP2022579362A JPWO2022168428A1 (ja) 2021-02-02 2021-12-07
US18/269,144 US20240077938A1 (en) 2021-02-02 2021-12-07 Information processing method, information processing device, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021014952 2021-02-02
JP2021-014952 2021-02-02

Publications (1)

Publication Number Publication Date
WO2022168428A1 true WO2022168428A1 (ja) 2022-08-11

Family

ID=82741082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044934 WO2022168428A1 (ja) 2021-02-02 2021-12-07 情報処理方法、情報処理装置およびプログラム

Country Status (6)

Country Link
US (1) US20240077938A1 (ja)
EP (1) EP4290347A1 (ja)
JP (1) JPWO2022168428A1 (ja)
KR (1) KR20230135061A (ja)
CN (1) CN116829065A (ja)
WO (1) WO2022168428A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070314A (ja) * 2007-09-18 2009-04-02 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2013257656A (ja) * 2012-06-11 2013-12-26 Kddi Corp 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム
CN105513114A (zh) * 2015-12-01 2016-04-20 深圳奥比中光科技有限公司 三维动画生成的方法和装置
WO2019203188A1 (ja) 2018-04-17 2019-10-24 ソニー株式会社 プログラム、情報処理装置、及び情報処理方法
US20200184668A1 (en) * 2018-12-05 2020-06-11 Qualcomm Incorporated Systems and methods for three-dimensional pose determination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070314A (ja) * 2007-09-18 2009-04-02 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2013257656A (ja) * 2012-06-11 2013-12-26 Kddi Corp 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム
CN105513114A (zh) * 2015-12-01 2016-04-20 深圳奥比中光科技有限公司 三维动画生成的方法和装置
WO2019203188A1 (ja) 2018-04-17 2019-10-24 ソニー株式会社 プログラム、情報処理装置、及び情報処理方法
US20200184668A1 (en) * 2018-12-05 2020-06-11 Qualcomm Incorporated Systems and methods for three-dimensional pose determination

Also Published As

Publication number Publication date
CN116829065A (zh) 2023-09-29
EP4290347A1 (en) 2023-12-13
JPWO2022168428A1 (ja) 2022-08-11
KR20230135061A (ko) 2023-09-22
US20240077938A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
JP7169405B2 (ja) 複合現実システムのための位置特定の決定
Papagiannakis et al. A survey of mobile and wireless technologies for augmented reality systems
CN110917614B (zh) 基于区块链系统的云游戏系统及云游戏的控制方法
US20180374268A1 (en) Interactive mixed reality system for a real-world event
US10241565B2 (en) Apparatus, system, and method of controlling display, and recording medium
US7576742B2 (en) Picture display controller, moving-picture information transmission/reception system, picture display controlling method, moving-picture information transmitting/receiving method, and computer program
CN107948664A (zh) 直播间视频播放控制方法、装置及终端
CN112533017B (zh) 直播方法、装置、终端及存储介质
EP4161067A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN112581571A (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
WO2022168428A1 (ja) 情報処理方法、情報処理装置およびプログラム
CN114005511A (zh) 一种康复训练方法、系统、训练自助设备和存储介质
JP2023153790A (ja) プログラム
US20230269482A1 (en) Information processing system, communication system, and image sharing method
WO2022215313A1 (ja) 情報処理方法、情報処理装置およびプログラム
JP7433126B2 (ja) 画像表示システム、画像表示装置、サーバ、画像表示方法およびプログラム
JP5359950B2 (ja) 運動支援装置、運動支援方法およびプログラム
CN114100121A (zh) 操作控制方法、装置、设备、存储介质及计算机程序产品
Arai et al. Wi-Foto 2: Heterogeneous device controller using Wi-Fi positioning and template matching
WO2021044851A1 (ja) 情報処理装置、及び情報処理方法
EP4250744A1 (en) Display terminal, communication system, method for displaying, method for communicating, and carrier means
US11556308B2 (en) Information processing system, information processing apparatus including circuitry to store position information of users present in a space and control environment effect production, information processing method, and room
EP4294019A1 (en) Display terminal, communication system, display method, and communication method
US20240179267A1 (en) Display terminal, communication system, and display method
JP7458731B2 (ja) 画像生成システム、画像処理装置、情報処理装置、画像生成方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21924813

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022579362

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18269144

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180091883.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021924813

Country of ref document: EP

Effective date: 20230904