WO2022215313A1 - 情報処理方法、情報処理装置およびプログラム - Google Patents

情報処理方法、情報処理装置およびプログラム Download PDF

Info

Publication number
WO2022215313A1
WO2022215313A1 PCT/JP2022/000903 JP2022000903W WO2022215313A1 WO 2022215313 A1 WO2022215313 A1 WO 2022215313A1 JP 2022000903 W JP2022000903 W JP 2022000903W WO 2022215313 A1 WO2022215313 A1 WO 2022215313A1
Authority
WO
WIPO (PCT)
Prior art keywords
rotation angle
angle
information processing
information
unit
Prior art date
Application number
PCT/JP2022/000903
Other languages
English (en)
French (fr)
Inventor
保 石井
敬太 望月
哲朗 佐藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023512824A priority Critical patent/JPWO2022215313A1/ja
Priority to EP22784300.0A priority patent/EP4321973A1/en
Priority to CN202280026569.8A priority patent/CN117120961A/zh
Publication of WO2022215313A1 publication Critical patent/WO2022215313A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • the present disclosure relates to an information processing method, an information processing device, and a program.
  • motion capture technology for acquiring motion information that indicates user motion has been actively developed.
  • Acquired motion information is used, for example, in sports to improve form, or in applications such as VR (Virtual Reality) or AR (Augmented Reality).
  • VR Virtual Reality
  • AR Augmented Reality
  • an avatar video that mimics the user's motion is generated and the avatar video is distributed.
  • Patent Literature 1 discloses a motion capture technique realized by a sensor system.
  • drift errors accumulate due to long-term use or user movement, and the avatar video can become unnatural.
  • drift errors accumulate in this way, it is conceivable to design a process to reduce the effects of drift errors based on the user's judgment and operation, but there is room for improvement in terms of user convenience. .
  • the present disclosure proposes a new and improved information processing method, information processing apparatus, and program capable of improving the user's convenience regarding drift error correction.
  • the posture of the moving body including a first rotation angle about an axis in the direction of gravity and a second rotation angle about an axis orthogonal to the direction of gravity based on the output from a gyro sensor attached to the moving body
  • An information processing method comprising: estimating information; and correcting the first rotation angle if a condition regarding the second rotation angle is satisfied.
  • the moving body based on the output from the gyro sensor attached to the moving body, the moving body includes a first rotation angle about an axis in the direction of gravity and a second rotation angle about an axis orthogonal to the direction of gravity. and a rotation angle correction unit that corrects the first rotation angle when the condition regarding the second rotation angle is satisfied.
  • the computer calculates a first rotation angle about an axis in the direction of gravity and a second rotation angle about an axis orthogonal to the direction of gravity based on the output from a gyro sensor attached to a moving object. and a rotation angle correction unit that corrects the first rotation angle when a condition regarding the second rotation angle is satisfied. be done.
  • FIG. 1 is an explanatory diagram showing an information processing system according to an embodiment of the present disclosure
  • FIG. 4 is an explanatory diagram showing a specific example of an avatar video V displayed on a viewing user terminal 40
  • FIG. 2 is an explanatory diagram showing the configuration of a distribution user terminal 20 according to an embodiment of the present disclosure
  • FIG. FIG. 4 is an explanatory diagram showing functions of a base tool 250
  • FIG. 4 is an explanatory diagram showing a yaw angle, a pitch angle and a roll angle
  • 4 is an explanatory diagram showing a specific example of posture information stored in a first storage unit 253
  • FIG. FIG. 4 is an explanatory diagram showing a specific example of generating skeleton data
  • 3 is an explanatory diagram showing functions of an application unit 260;
  • FIG. 4 is an explanatory diagram showing a specific example of a guidance screen
  • FIG. 11 is an explanatory diagram showing a specific example of an avatar display screen
  • 4 is a flowchart showing a flow up to registration of posture information in the information processing system according to an embodiment of the present disclosure
  • 7 is a flowchart showing correction processing A that is performed when automatic correction is enabled
  • 10 is a flowchart showing correction processing B that is performed when automatic correction is not enabled
  • 9 is a flow chart showing a registration operation according to the first modified example
  • FIG. 7 is an explanatory diagram showing a second configuration example of the information processing system
  • FIG. 13 is an explanatory diagram showing a third configuration example of the information processing system
  • FIG. 12 is an explanatory diagram showing a fourth configuration example of the information processing system;
  • FIG. 12 is an explanatory diagram showing a fifth configuration example of the information processing system;
  • FIG. 21 is an explanatory diagram showing a sixth configuration example of the information processing system;
  • 3 is a block diagram showing the hardware configuration of a distribution user terminal 20;
  • Skeleton data expressed by a skeleton structure representing the structure of the body, for example.
  • Skeleton data includes information about parts and bones, which are line segments connecting parts.
  • the parts in the skeleton structure correspond to, for example, terminal parts and joint parts of the body.
  • the bones in the skeleton structure can correspond to, for example, human bones, but the positions and numbers of the bones do not necessarily match the actual human skeleton.
  • the position of parts in skeleton data can be obtained by various motion capture technologies.
  • a camera-type technology that attaches a marker to each part of the body and acquires the position of the marker using an external camera or the like, or a motion sensor attached to the part of the body, and the sensor data acquired by the motion sensor
  • sensor-based technologies that acquire the position information of motion sensors based on motion sensors.
  • time-series data of skeleton data is used for form improvement in sports, and for applications such as VR (Virtual Reality) or AR (Augmented Reality).
  • time-series data of skeleton data is used to generate an avatar image imitating a user's movement, and the avatar image is distributed.
  • FIG. 1 is an explanatory diagram showing an information processing system according to an embodiment of the present disclosure.
  • an information processing system according to an embodiment of the present disclosure has six sensor devices 10A-10F, a distribution user terminal 20, a distribution server 30 and a viewing user terminal .
  • User U1 shown in FIG. 1 is a distribution user who distributes avatar videos, and users U2 and U3 are viewing users who view avatar videos.
  • Network 12 is a wired or wireless transmission path for information transmitted from devices connected to network 12 .
  • the network 12 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), WANs (Wide Area Networks), and the like.
  • the network 12 may also include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • the sensor device 10 includes an inertial sensor (IMU: Inertial Measurement Unit) such as an acceleration sensor that acquires acceleration and a gyro sensor (angular velocity sensor) that acquires angular velocity. )including.
  • IMU Inertial Measurement Unit
  • the sensor device 10 may also include sensors such as a geomagnetic sensor, an ultrasonic sensor, and an atmospheric pressure sensor.
  • the sensor devices 10A to 10F are desirably attached to reference joints of the body (for example, the waist and head) or near extremities of the body (wrists, ankles, head, etc.).
  • the sensor device 10A is worn on the waist of the distribution user U1
  • the sensor devices 10B and 10E are worn on the wrists
  • the sensor devices 10C and 10D are worn on the ankles
  • the sensor device 10F is worn on the head.
  • the part of the body to which the sensor device 10 is attached may also be referred to as the attachment part.
  • the number of sensor devices 10 and mounting positions are not limited to the example shown in FIG. .
  • Such a sensor device 10 acquires the acceleration or angular velocity of the mounting site as sensor data, and transmits the sensor data to the delivery user terminal 20.
  • the distribution user terminal 20 is an example of an information processing device used by the distribution user U1.
  • the distribution user terminal 20 receives the sensor data from the sensor device 10, and uses the received sensor data to generate an avatar image of the distribution user U1.
  • the delivery user terminal 20 acquires mounting site information indicating the position and orientation of each mounting site based on the sensor data, and based on the mounting site information, position information and position information of each site in the skeleton structure. Generate skeleton data with pose information.
  • the distribution user terminal 20 generates an avatar image having the posture indicated by the skeleton data.
  • the distribution user terminal 20 transmits the generated avatar video to the distribution server 30 and requests the distribution server 30 to distribute the avatar video.
  • FIG. 1 shows a notebook PC (Personal Computer) as the distribution user terminal 20
  • the distribution user terminal 20 may be other information processing devices such as smart phones and desktop PCs.
  • the distribution server 30 distributes the avatar video to the viewing user terminal 40 based on the request from the distribution user terminal 20 .
  • FIG. 1 shows one distribution server 30 that implements a distribution service provided by a certain business operator, there may be a plurality of business operators providing distribution services and a plurality of distribution servers 30.
  • the distribution user terminal 20 can request the distribution server 30, which provides the distribution service specified by the distribution user U1, to distribute the avatar video.
  • the viewing user terminal 40 is an information processing device used by viewing users (for example, user U2 and user U3 shown in FIG. 1).
  • the viewing user terminal 40 has a display unit that displays various screens, an operation unit that detects the operation of the viewing user, and a control unit that controls the overall operation of the viewing user terminal 40 .
  • the viewing user terminal 40 requests the distribution server 30 to distribute the avatar video of the distribution user U1 based on the operation of the viewing user, and displays the avatar video distributed from the distribution server 30 .
  • FIG. 2 is an explanatory diagram showing a specific example of the avatar video V displayed on the viewing user terminal 40.
  • FIG. 2 the video of the two-dimensional character is displayed as the avatar video V on the viewing user terminal 40, for example.
  • the posture of the avatar video V reflects the posture of distribution user U1. That is, the avatar video V changes according to the movement of the distribution user U1.
  • Motion capture techniques implemented using motion sensors as described above may accumulate drift errors due to long-term use or user movement, resulting in inaccurate skeletal data generated. If the skeleton data is inaccurate, the distributed avatar video may also look unnatural.
  • Recalibration is processing performed on orientation information obtained by processing sensor data
  • reset processing is processing for adjusting parameters for generating skeleton data. In any processing, the distribution user must be in the initial position and orientation.
  • the inventors have come to create an embodiment of the present disclosure by focusing on the above circumstances.
  • An information processing system according to an embodiment of the present disclosure can easily eliminate drift errors while avoiding content from becoming unnatural.
  • the configuration and operation of the distribution user terminal 20 according to an embodiment of the present disclosure will be sequentially described in detail.
  • FIG. 3 is an explanatory diagram showing the configuration of the distribution user terminal 20 according to one embodiment of the present disclosure.
  • the distribution user terminal 20 includes an operation unit 216, a display unit 220, a communication unit 230, and a control unit 240.
  • the operation unit 216 is configured to be operated by the distribution user for inputting instructions or information to the distribution user terminal 20 .
  • the display unit 220 displays various display screens. For example, the display unit 220 displays a display screen including the avatar image generated by the control unit 240.
  • FIG. Communication unit 230 communicates with distribution server 30 via network 12 . For example, the communication section 230 transmits the avatar video generated by the control section 240 to the distribution server 30 via the network 12 .
  • the control unit 240 controls the overall operation of the distribution user terminal 20.
  • the control unit 240 according to an embodiment of the present disclosure has a function of generating skeleton data of the distribution user based on sensor data received from the sensor device 10 and generating an avatar image having the posture indicated by the skeleton data. have.
  • Such functions of the control unit 240 are implemented by the base tool 250 and the application unit 260 shown in FIG.
  • the base tool 250 has a function of generating skeleton data from sensor data.
  • the base tool 250 supplies the generated skeleton data to the application section 260 .
  • the base tool 250 according to an embodiment of the present disclosure has a function of correcting posture information (in particular, yaw angle) of each part of the distribution user calculated from sensor data, as will be described in detail later.
  • the application unit 260 realizes various functions in cooperation with the base tool 250.
  • the application unit 260 generates an avatar image based on the skeleton data supplied from the base tool 250 and requests the distribution server 30 to distribute the avatar image.
  • the application unit 260 may request the distribution server 30 to distribute a combination of the avatar video and other content data.
  • Other content data includes, for example, background data and music data.
  • the developer of the base tool 250 and the developer of the application unit 260 may be the same or different. The functions of the base tool 250 and application unit 260 will be described in more detail below.
  • FIG. 4 is an explanatory diagram showing the functions of the base tool 250.
  • the base tool 250 has a sensor data processing unit 251, a calibration unit 252, a first storage unit 253, a yaw angle correction unit 254, a skeleton data generation unit 255, and an application interface 256.
  • the sensor data processing unit 251 acquires sensor data indicating the acceleration or angular velocity of the wearing part from the sensor device 10, and estimates position information and posture information of each wearing part based on the sensor data. For example, the sensor data processing unit 251 integrates the acceleration data to estimate the position information of each attachment site, and integrates the angular velocity data to calculate the orientation including the rotation angles such as the yaw angle, pitch angle and roll angle of each attachment site. Estimate information.
  • FIG. 5 is an explanatory diagram showing the yaw angle, pitch angle and roll angle.
  • the yaw angle is an example of the first rotation angle, which is the rotation angle around the axis in the direction of gravity (the z-axis in FIG. 5).
  • One of the pitch angle and the roll angle is an example of the second rotation angle, which is the rotation angle around the axis (x-axis in FIG. 5) perpendicular to the direction of gravity.
  • the other of the pitch angle and the roll angle is an example of a third rotation angle, which is a rotation angle around an axis (y-axis in FIG. 5) perpendicular to both the axis in the direction of gravity and the axis perpendicular to the direction of gravity.
  • the yaw angle of each attachment site in this specification is a relative rotation angle based on the yaw angle of the distribution user's waist.
  • the calibration unit 252 calibrates the orientation information output from the sensor data processing unit 251 .
  • the calibration unit 252 may perform the calibration when starting to use the base tool 250, or may perform the calibration according to the operation by the distribution user. At the time of calibration, the distribution user assumes an initial position and posture, for example, a standing posture with both arms lowered.
  • the first storage unit 253 stores various information used for the operation of the base tool 250 .
  • the first storage unit 253 stores posture information for registration estimated by the sensor data processing unit 251 while the distribution user is taking a posture for registration.
  • FIG. 6 is an explanatory diagram showing a specific example of posture information stored in the first storage unit 253.
  • the first storage unit 253 stores the posture information estimated by the sensor data processing unit 251 while the distribution user is taking the registration posture for each wearing part.
  • the attitude information for example, the yaw angle is stored as the first reference angle, the pitch angle is stored as the second reference angle, and the roll angle is stored as the third reference angle.
  • this posture information be posture information acquired within a predetermined period of time after the calibration is performed, in which drift error accumulation is considered to be small.
  • the posture for registration may be a unique posture that is unique to the distribution user, or may be a natural pose.
  • the pitch angle and roll angle estimated by the sensor data processing unit 251 are reduced in drift error by gravity correction.
  • the difference between the pitch angle and roll angle of a certain attachment site and the second reference angle and third reference angle stored in the first storage unit 253 is equal to or less than the threshold, the posture of the attachment site is registered. There is a possibility that it is close to the posture for That is, it is considered that the original yaw angle of the mounting site is close to or equal to the first reference angle stored in the first storage unit 253 .
  • the yaw angle correction unit 254 corrects the yaw angle input from the sensor data processing unit 251 for a certain mounting portion when the conditions regarding the pitch angle and the roll angle input from the sensor data processing unit 251 are satisfied for that mounting portion. correction. Specifically, when the difference between the pitch angle and the roll angle of a given attachment site and the second reference angle and third reference angle of the attachment site is equal to or less than a threshold value, the yaw angle correction unit 254 determines The yaw angle of the site is estimated to be the first reference angle, and the yaw angle input from the sensor data processing unit 251 for the mounting site is corrected using the first reference angle.
  • the yaw angle correction unit 254 may correct the yaw angle input from the sensor data processing unit 251 so that it becomes the first reference angle.
  • the yaw angle may be corrected to approach the first reference angle over time.
  • the yaw angle correction is performed for each attachment site that satisfies the conditions.
  • Angular correction may be performed.
  • the skeleton data generation unit 255 generates a skeleton structure based on the position information of each attachment site estimated by the sensor data processing unit 251 and the orientation information of each attachment site including the corrected yaw angle by the yaw angle correction unit 254. Skeleton data including position information and posture information of each part is generated.
  • generation of skeleton data will be described more specifically with reference to FIG.
  • FIG. 7 is an explanatory diagram showing a specific example of generating skeleton data.
  • the skeleton data generation unit 255 acquires mounting site information PD100 including position information and posture information of the mounting sites P101 to P106 on which the sensor devices 10A to 10F are mounted.
  • the skeleton data generator 255 generates skeleton data SD100 including position information and posture information of each part in the skeleton structure, as shown in the right diagram of FIG. get.
  • the skeleton data SD100 includes not only information on the mounting part SP101 corresponding to the mounting part P101 and the mounting part SP102 corresponding to the mounting part P102, but also information on the non-mounting part SP107.
  • skeleton data can also include bone information (position information, posture information, etc.).
  • skeleton data SD100 may include information on bone SB101.
  • the skeleton data generator 255 can identify bone information between parts based on position information and posture information of parts in the skeleton structure.
  • Application interface 256 is an interface with application unit 260 .
  • the application interface 256 may be configured as an API (Application Programming Interface).
  • the application interface 256 returns skeleton data of the delivery user to the application section 260 in response to a request from the application section 260 .
  • the application interface 256 receives from the application unit 260 an instruction to register posture information in the posture for registration.
  • FIG. 8 is an explanatory diagram showing the functions of the application unit 260.
  • the application section 260 has a base tool plug-in 261 , a second storage section 262 , a retargeting section 265 , a display control section 267 and a distribution control section 268 .
  • Base tool plug-in 261 is an interface with base tool 250 .
  • the platform tool plug-in 261 receives data from the platform tool 250 and converts the data into a format that can be handled by the application section 260 .
  • the infrastructure tool plug-in 261 receives skeleton data and notification from the infrastructure tool 250 indicating that the above-described yaw angle correction has been performed.
  • the second storage unit 262 stores various information used for the operation of the application unit 260 .
  • the second storage unit 262 may store information related to registration posture information stored in the first storage unit 253 of the base tool 250 .
  • the retargeting unit 265 receives the distribution user's skeleton data from the base tool plug-in 261 and retargets the skeleton data to generate an avatar image having the posture or movement indicated by the skeleton data.
  • the display control unit 267 generates various display screens and causes the display unit 220 to display the generated display screens. For example, the display control unit 267 generates an avatar display screen including the avatar video generated by the retargeting unit 265 and causes the display unit 220 to display the avatar display screen. Further, the display control unit 267 generates a guidance screen for guiding the distribution user to take the posture for registration described above based on the distribution user's operation on the operation unit 216 or the end of the calibration, and the guidance screen is displayed on the display unit 220 .
  • FIG. 9 is an explanatory diagram showing a specific example of the guidance screen.
  • the guidance screen includes guidance message 42 and skeleton data display 44 .
  • the guidance message 42 is a message requesting the delivery user to stand still, and in the example shown in FIG.
  • the skeleton data display 44 is a display showing skeleton data generated by the skeleton data generator 255 of the base tool 250 for the distribution user.
  • FIG. 9 shows an example in which the distribution user stands still in a salute posture as a unique posture.
  • the posture information estimated by the sensor data processing unit 251 of the platform tool 250 while the distribution user is stationary is stored in the first storage unit 253 of the platform tool 250 as described above.
  • the yaw angle is automatically corrected when the distribution user's posture becomes close to the registration posture, but the yaw angle is corrected based on a predetermined operation input. good too.
  • the display control unit 267 may generate an avatar display screen including the avatar video V for the distribution user, and arrange the correction button 46 on the avatar display screen. Then, when the correction button 46 is operated by the distribution user, the application unit 260 sends a yaw angle correction execution instruction to the base tool 250, and the yaw angle correction unit 254 of the base tool 250 performs yaw angle correction based on the execution instruction. Angular correction may be performed.
  • the distribution control unit 268 transmits the avatar video generated by the retargeting unit 265 to the distribution server 30 and requests the distribution server 30 to distribute the avatar video. As a result, the avatar video is distributed to the viewing user terminal 40 and displayed on the viewing user terminal 40 .
  • FIG. 11 is a flow chart showing the flow up to registration of posture information in the information processing system according to an embodiment of the present disclosure.
  • the display control unit 267 causes the display unit 220 to display an automatic correction selection screen for selecting whether or not to enable the automatic correction of the yaw angle, and the distribution user confirms the yaw angle on the automatic correction confirmation screen. Select whether to enable automatic correction (S308). When enabling the automatic yaw angle correction is selected (S308/Yes), the display control unit 267 causes the display unit 220 to display an orientation registration selection screen for selecting whether or not to register the unique orientation. , the distribution user selects whether or not to register the original posture on the posture registration selection screen (S312).
  • the display control unit 267 performs guidance shown in FIG.
  • the screen is displayed on the display unit 220 (S316).
  • the distribution user maintains stillness in a unique posture according to the guidance screen.
  • the first storage unit 253 stores the posture information of each wearing part of the delivery user estimated by the sensor data processing unit 251 while the delivery user is still in the original posture (S320).
  • sensor data is collected while the distribution user is stationary for a long time (that is, while the distribution user is taking a natural pose).
  • Posture information of each wearing part of the distribution user estimated by the processing unit 251 is stored (S320). Note that in both S320 and S324, the sensor data processing unit 251 may store a plurality of pieces of posture information. After S320 and S324, correction processing A, which will be described with reference to FIG. 12, is performed.
  • the display control unit 267 displays the orientation registration selection screen for selecting whether or not to register the unique orientation. Displayed on the unit 220, the distribution user selects whether or not to register the unique posture on the posture registration selection screen (S328).
  • the display control unit 267 performs guidance shown in FIG.
  • the screen is displayed on the display unit 220 (S332).
  • the distribution user maintains stillness in a unique posture according to the guidance screen.
  • the first storage unit 253 stores the posture information of each wearing part of the delivery user estimated by the sensor data processing unit 251 while the delivery user is still in the original posture (S336).
  • FIG. 12 is a flowchart showing correction processing A that is performed when automatic correction is enabled.
  • the sensor data processing unit 251 acquires sensor data from each sensor device 10 (S404). Then, the sensor data processing unit 251 performs acceleration integration and gravity correction on the sensor data acquired from each sensor device 10, and estimates posture information including the yaw angle, pitch angle, and roll angle of each attachment site. (S408).
  • the yaw angle correction unit 254 determines whether or not the conditions for yaw angle correction are satisfied (S412). Specifically, the yaw angle correction unit 254 determines whether or not the condition that the difference between the pitch angle and the roll angle of a certain attachment site and the second reference angle and the third reference angle of the attachment site is equal to or less than a threshold is satisfied. to judge whether
  • the yaw angle correction unit 254 stores the second reference angle and the third reference angle registered in the first storage unit 253 in association with each other. 1 The reference angle is read (S416). Then, the yaw angle correction unit 254 corrects the current yaw angle of the attachment site using the first reference angle (S420). After that, the processing from S404 is repeated until the operation of the base tool 250 is completed (S424).
  • FIG. 13 is a flowchart showing correction processing B that is performed when automatic correction is not enabled.
  • the sensor data processing unit 251 acquires sensor data from each sensor device 10 (S504).
  • the sensor data processing unit 251 performs acceleration integration and gravity correction on the sensor data acquired from each sensor device 10, and estimates posture information including the yaw angle, pitch angle, and roll angle of each attachment site. (S508).
  • the correction button 46 is pressed on the avatar display screen described with reference to FIG. Read out (S516).
  • the yaw angle correction unit 254 calculates the current pitch angle and roll angle.
  • the first reference angle associated with the second reference angle and the third reference angle that is the least different from the first reference angle may be retrieved.
  • the yaw angle correction unit 254 corrects the current yaw angle of the attachment site using the first reference angle (S520). After that, the processing from S404 is repeated until the operation of the base tool 250 is completed (S524).
  • the yaw angle can be corrected without the distribution users taking unnatural postures.
  • the yaw angle can be corrected for each attachment site. Therefore, if a part of the attachment site is in the natural pose or the initial position/posture, the yaw angle of the attachment site can be corrected.
  • a guidance screen for guiding the distribution user is displayed. It is possible to easily register a unique posture.
  • FIG. 14 is a flowchart showing the registration operation according to the first modified example.
  • the base tool 250 first acquires a plurality of learning data including the yaw angle, pitch angle and roll angle for each attachment site (S604).
  • the learning data may be distribution user posture information obtained in a period of about one minute immediately after calibration when the influence of a drift error is small, or may be a general-purpose data set.
  • the base tool 250 builds a relationship model between the pitch angle, the roll angle, and the yaw angle for each mounting site by learning based on the learning data, and registers the relationship model in the first storage unit 253 ( S608).
  • platform tool 250 evaluates the relationship model using multiple test data, including yaw, pitch and roll angles, for each attachment site (S612). For example, the base tool 250 inputs the yaw angle and pitch angle included in the test data into the relationship model, and calculates the difference between the output yaw angle and the yaw angle included in the test data as an estimation error.
  • the base tool 250 identifies the yaw angle and the pitch angle at which the yaw angle estimation error is less than the threshold for each attachment site, and uses the yaw angle and the pitch angle as the second reference angle and the third reference angle. It is registered in the first storage unit 253 (S616).
  • the yaw angle correction unit 254 satisfies the condition that the difference between the pitch angle and the roll angle of a certain attachment site and the second reference angle and the third reference angle of the attachment site is equal to or less than the threshold. yaw angle is estimated using the relational model. Then, the yaw angle correction unit 254 corrects the current yaw angle of the mounting site using the estimated yaw angle.
  • the first modification is useful in that, especially when a general-purpose data set is used as learning data for constructing a relationship model, distribution users do not have to stand still in the same posture to register posture information.
  • Second modification> An example has been described above in which the yaw angle correction unit 254 estimates the yaw angle based on the current pitch angle and roll angle, and corrects the current yaw angle using the estimated yaw angle. However, the yaw angle correction unit 254 can also estimate the yaw angle using another method.
  • the base tool 250 registers the position information of each attachment site and the yaw angle of each attachment site estimated by the sensor data processing unit 251 while the distribution user is taking the posture for registration in the first storage unit 253.
  • the position information may be information indicating a relative position viewed from the position of the distribution user's waist.
  • the sensor data processing unit 251 may estimate the position information based on the acceleration obtained by the sensor device 10, or may estimate the position information from the image of the distribution user obtained by the external camera.
  • the yaw angle correction unit 254 when the condition that the difference between the current position information and the position information registered in the first storage unit 253 is less than the threshold for a given attachment site is satisfied, the first storage unit 254 253 may be used to correct the current yaw angle.
  • the conditions may include posture information conditions such as the pitch angle and the roll angle as in the above-described embodiment in addition to the position information conditions. Correction of the yaw angle may be performed when both information conditions are satisfied.
  • the sensor device 10 includes a geomagnetic sensor, and the base tool 250 obtains the geomagnetic value of each attachment site and the yaw angle of each attachment site obtained by the geomagnetic sensor while the distribution user is taking the posture for registration.
  • the geomagnetism value may be information indicating a relative value with respect to the geomagnetism value of the distribution user's waist.
  • the yaw angle correcting unit 254 determines that the difference between the current geomagnetism value and the geomagnetism value registered in the first storage unit 253 is less than the threshold for a given attachment site. 253 may be used to correct the current yaw angle.
  • the conditions may include, in addition to the geomagnetism value condition, attitude information conditions such as the pitch angle and roll angle, position information conditions, and the like, as in the above-described embodiment.
  • FIG. 15 is an explanatory diagram showing a second configuration example of the information processing system.
  • the information processing system according to the second configuration example has a distribution user terminal 20-2 and a processing terminal 50-2.
  • the distribution user terminal 20-2 and the processing terminal 50-2 are connected via the network 12.
  • FIG. The distribution user terminal 20 - 2 has the base tool 250 and does not have the application section 260 .
  • the application unit 260 is installed in the processing terminal 50-2.
  • the distribution user terminal 20-2 transmits skeleton data to the processing terminal 50-2.
  • the application unit 260 of the processing terminal 50 - 2 generates an avatar image from the skeleton data, and distributes the avatar image to the viewing user terminal 40 via the distribution server 30 .
  • the developer of the base tool 250 and the developer of the application unit 260 may be the same or different.
  • FIG. 16 is an explanatory diagram showing a third configuration example of the information processing system.
  • the information processing system according to the third configuration example has a distribution user terminal 20-3 and a processing terminal 50-3.
  • the distribution user terminal 20-3 and the processing terminal 50-3 are connected via the network 12.
  • FIG. The distribution user terminal 20-3 has a base tool 250 and an application section 260-3.
  • the application unit 260-3 does not have the retargeting unit 265 and the delivery control unit 268 in the configuration of the application unit 260 described with reference to FIG. Instead, processing terminal 50-3 has retargeting section 265 and delivery control section 268.
  • the distribution user terminal 20-3 transmits skeleton data to the processing terminal 50-3. Then, the retargeting unit 265 of the processing terminal 50-3 generates an avatar image from the skeleton data, and the distribution control unit 268 distributes the avatar image to the viewing user terminal 40 via the distribution server 30.
  • the developer of the base tool 250, the developer of the application unit 260-3, the developer of the retargeting unit 265, and the developer of the distribution control unit 268 may be the same, can be different.
  • FIG. 17 is an explanatory diagram showing a fourth configuration example of the information processing system.
  • the information processing system according to the fourth configuration example has a distribution user terminal 20-4 and a processing terminal 50-4.
  • the delivery user terminal 20-4 and the processing terminal 50-4 are connected via the network 12.
  • FIG. The distribution user terminal 20-4 has a base tool 250.
  • FIG. The processing terminal 50-4 has an application section 260-4.
  • the application unit 260-4 does not include the function of the distribution control unit 268, and the processing terminal 50-4 has the function of the distribution control unit 268 separately.
  • the distribution user terminal 20-4 transmits skeleton data to the processing terminal 50-4. Then, the application unit 260-4 of the processing terminal 50-4 generates an avatar image from the skeleton data, and the distribution control unit 268 distributes the avatar image to the viewing user terminal 40 via the distribution server 30.
  • the developer of the base tool 250, the developer of the application unit 260-4, and the developer of the distribution control unit 268 may be the same or different.
  • FIG. 18 is an explanatory diagram showing a fifth configuration example of the information processing system.
  • the information processing system according to the fifth configuration example has a distribution user terminal 20-5 and a processing terminal 50-5.
  • the distribution user terminal 20-5 and the processing terminal 50-5 are connected via the network 12.
  • FIG. The distribution user terminal 20-5 has a base tool 250.
  • FIG. The processing terminal 50-5 has an application section 260-5.
  • the application unit 260-5 does not include the functions of the retargeting unit 265 and the distribution control unit 268, and the processing terminal 50-5 has the functions of the retargeting unit 265 and the distribution control unit 268 separately.
  • the distribution user terminal 20-5 transmits skeleton data to the processing terminal 50-5. Then, the application unit 260-5 supplies the skeleton data to the retargeting unit 265, the retargeting unit 265 generates an avatar video from the skeleton data, and the distribution control unit 268 distributes the avatar video to the viewing user terminal via the distribution server 30. Deliver to 40.
  • the developer of the base tool 250, the developer of the application unit 260-5, the developer of the retargeting unit 265, and the developer of the distribution control unit 268 may be the same or different. may
  • FIG. 19 is an explanatory diagram showing a sixth configuration example of the information processing system.
  • the information processing system according to the sixth configuration example has a first mobile terminal 61 , a second mobile terminal 62 and a third mobile terminal 63 .
  • the functions of the control unit 240 that is, the functions of the base tool 250 and the application unit 260 are implemented in the first mobile terminal 61 .
  • the first mobile terminal 61 also has a communication section for communicating with other second mobile terminals 62 and third mobile terminals 63 .
  • First mobile terminal 61 generates an avatar image of distribution user U ⁇ b>1 based on sensor data acquired from sensor device 10 , and transmits the avatar image to second mobile terminal 62 and third mobile terminal 63 .
  • 19 shows an example in which the first mobile terminal 61, the second mobile terminal 62 and the third mobile terminal 63 communicate via the network 12, the first mobile terminal 61, the second mobile terminal 62 and The third mobile terminal 63 may communicate directly without going through the network 12 .
  • the functions of the display unit 220 and the communication unit 230 are implemented in the second mobile terminal 62 .
  • the second mobile terminal 62 receives the avatar image from the first mobile terminal 61 and displays a display screen including the avatar image on the display unit 220 . Thereby, the user U4 using the second mobile terminal 62 can check the avatar video.
  • the functions of the operation unit 216 and the communication unit 230 are implemented in the third mobile terminal 63 .
  • a user U5 who uses the third portable terminal 63 performs an operation of instructing the operation unit 216 to perform calibration, an operation of selecting whether to enable automatic correction, an operation of pressing a correction button, or the like. Then, the third mobile terminal 63 transmits information indicating the operation to the first mobile terminal 61 .
  • the third mobile terminal 63 may also have the function of the display unit 220 that displays a display screen including an avatar image for the above operation.
  • the functions of the second mobile terminal 62 and the functions of the third mobile terminal 63 may be collectively implemented in one mobile terminal.
  • the second mobile terminal 62 and the third mobile terminal 63 may also have the function of the application section 260 .
  • the first mobile terminal 61 transmits skeleton data to the second mobile terminal 62 and the third mobile terminal 63 instead of the avatar video
  • the second mobile terminal 62 and the third mobile terminal 63 transmit the avatar video from the skeleton data. can be generated and displayed.
  • a part or all of the functions of the application unit 260 may be implemented in each mobile terminal.
  • Use cases of the sixth configuration example of the information processing system include, for example, shooting outdoors, shooting while moving, and shooting in a specific environment.
  • the use of a mobile terminal eliminates the need to secure a power supply and transport equipment, making it possible to perform motion capture and data processing with lighter clothing.
  • a distribution user U1 who is a performer carries a first mobile terminal 61, and the first mobile terminal 61 transmits skeleton data or an avatar video to each of the second mobile terminals 62 owned by a plurality of users such as producers and directors. This makes it possible to immediately check skeleton data or avatar images in multiple environments.
  • FIG. 20 is a block diagram showing the hardware configuration of the distribution user terminal 20.
  • the distribution user terminal 20 comprises a CPU (Central Processing Unit) 201 , a ROM (Read Only Memory) 202 , a RAM (Random Access Memory) 203 and a host bus 204 .
  • the distribution user terminal 20 also includes a bridge 205 , an external bus 206 , an interface 207 , an input device 208 , an output device 210 , a storage device (HDD) 211 , a drive 212 and a communication device 215 .
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the distribution user terminal 20 also includes a bridge 205 , an external bus 206 , an interface 207 , an input device 208 , an output device 210 , a storage device (HDD) 211 , a drive 212 and a communication device 215 .
  • HDMI storage device
  • the CPU 201 functions as an arithmetic processing device and a control device, and controls overall operations within the distribution user terminal 20 according to various programs.
  • the CPU 201 may be a microprocessor.
  • the ROM 202 stores programs, calculation parameters, and the like used by the CPU 201 .
  • the RAM 203 temporarily stores programs used in the execution of the CPU 201, parameters that change as appropriate during the execution, and the like. These are interconnected by a host bus 204 comprising a CPU bus or the like. Functions such as the base tool 250 and the application unit 260 described with reference to FIG.
  • the host bus 204 is connected via a bridge 205 to an external bus 206 such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • an external bus 206 such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • the input device 208 includes input means for the user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the user's input and outputs it to the CPU 201 . etc.
  • input information such as a mouse, keyboard, touch panel, button, microphone, switch, and lever
  • input control circuit that generates an input signal based on the user's input and outputs it to the CPU 201 . etc.
  • the user of the distribution user terminal 20 can input various data to the distribution user terminal 20 and instruct processing operations.
  • the output device 210 includes, for example, a display device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a lamp.
  • output device 210 includes audio output devices such as speakers and headphones.
  • the output device 210 outputs reproduced content, for example.
  • the display device displays various information such as reproduced video data as text or images.
  • the audio output device converts reproduced audio data and the like into audio and outputs the audio.
  • the storage device 211 is a data storage device configured as an example of the storage unit of the delivery user terminal 20 according to this embodiment.
  • the storage device 211 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 211 is composed of, for example, an HDD (Hard Disk Drive).
  • the storage device 211 drives a hard disk and stores programs executed by the CPU 201 and various data.
  • the drive 212 is a reader/writer for storage media, and is built in or externally attached to the distribution user terminal 20 .
  • the drive 212 reads out information recorded in the attached removable storage medium 24 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 203 .
  • Drive 212 can also write information to removable storage medium 24 .
  • the communication device 215 is, for example, a communication interface configured with a communication device or the like for connecting to the network 12 .
  • the communication device 215 may be a wireless LAN (Local Area Network) compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wired communication device that performs wired communication.
  • LTE Long Term Evolution
  • each functional block in the base tool 250 described with reference to FIG. 4 may be distributed and implemented in a plurality of terminals.
  • each functional block in the application unit 260 described with reference to FIG. 8 may be distributed in multiple terminals.
  • each step in the processing of the distribution user terminal 20 in this specification does not necessarily have to be processed in chronological order according to the order described as the flowchart.
  • each step in the process of the distribution user terminal 20 may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • the information processing method according to (2) wherein the predetermined relationship includes a relationship in which a difference between the second rotation angle and the second reference angle is equal to or less than a threshold.
  • calibrating the gyro sensor estimating the posture information for registration of the moving body based on the output obtained from the gyro sensor while the moving body is taking the posture for registration after the calibration; registering the first rotation angle included in the orientation information for registration as the first reference angle, and registering the second rotation angle included in the orientation information for registration as the second reference angle;
  • the information processing method according to (2) or (3) above comprising: (5) The information processing method according to (4) above, including displaying, after the calibration, a guidance screen for guiding the moving body to take the posture for registration.
  • the posture information of the moving object includes a third rotation angle around an axis orthogonal to both the axis in the direction of gravity and the axis orthogonal to the direction of gravity;
  • (12) further comprising estimating position information indicating the position of the moving body;
  • a geomagnetic sensor is attached to the moving body,
  • An estimating unit for estimating posture information of a moving body including a first rotation angle about an axis in the direction of gravity and a second rotation angle about an axis orthogonal to the direction of gravity based on an output from a gyro sensor attached to the moving body.
  • a rotation angle correction unit that corrects the first rotation angle when a condition regarding the second rotation angle is satisfied
  • An information processing device including (15) the computer, An estimating unit for estimating posture information of a moving body including a first rotation angle about an axis in the direction of gravity and a second rotation angle about an axis orthogonal to the direction of gravity based on an output from a gyro sensor attached to the moving body.
  • Distribution user terminal 216 operation unit 220 display unit 230 communication unit 250 base tool 251 sensor data processing unit 252 calibration unit 253 first storage unit 254 yaw angle correction unit 255 skeleton data generation unit 256 application interface 260 application unit 261 base tool plug In 262 Second storage unit 265 Retargeting unit 267 Display control unit 268 Distribution control unit 30 Distribution server 40 Viewing user terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ドリフト誤差の補正に関するユーザの利便性を向上する。 【解決手段】動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定することと、前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行うことと、を含む、情報処理方法。

Description

情報処理方法、情報処理装置およびプログラム
　本開示は、情報処理方法、情報処理装置およびプログラムに関する。
　近年、ユーザの動きを示す動き情報を取得するためのモーションキャプチャ技術が盛んに開発されている。取得された動き情報は、例えばスポーツにおいてフォーム改善に用いられたり、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）またはＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）等のアプリケーションに用いられたりしている。また、取得された動き情報を用いて、ユーザの動きを模したアバター映像を生成し、当該アバター映像を配信することも行われている。
　なお、モーションキャプチャ技術を実現する方式としては、マーカを使用する光学式、ジャイロセンサおよび加速度センサなどを使用するセンサ方式、および映像を解析するカメラ方式などが知られている。例えば、特許文献１には、センサ方式により実現されるモーションキャプチャ技術が開示されている。
国際公開第２０１９／２０３１８８号公報
　上述したセンサ方式では、長時間の利用またはユーザの動きによりドリフト誤差が蓄積し、アバター映像が不自然な映像となり得る。このようにドリフト誤差が蓄積した場合に、ユーザによる判断および操作に基づいてドリフト誤差の影響を低減する処理を行う設計も考えられるが、当該設計はユーザの利便性の観点から改善の余地がある。
　そこで、本開示では、ドリフト誤差の補正に関するユーザの利便性を向上することが可能な、新規かつ改良された情報処理方法、情報処理装置およびプログラムを提案する。
　本開示によれば、動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定することと、前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行うことと、を含む、情報処理方法が提供される。
　また、本開示によれば、動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定する推定部と、前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行う回転角度補正部と、を含む、情報処理装置が提供される。
　また、本開示によれば、コンピュータを、動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定する推定部と、前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行う回転角度補正部と、として機能させるための、プログラムが提供される。
本開示の一実施形態による情報処理システムを示す説明図である。 視聴ユーザ端末４０に表示されるアバター映像Ｖの具体例を示す説明図である。 本開示の一実施形態による配信ユーザ端末２０の構成を示す説明図である。 基盤ツール２５０の機能を示す説明図である。 ヨー角、ピッチ角およびロール角を示す説明図である。 第１記憶部２５３が記憶する姿勢情報の具体例を示す説明図である。 スケルトンデータの生成の具体例を示す説明図である。 アプリケーション部２６０の機能を示す説明図である。 誘導画面の具体例を示す説明図である。 アバター表示画面の具体例を示す説明図である。 本開示の一実施形態による情報処理システムにおける姿勢情報の登録までの流れを示すフローチャートである。 自動補正が有効にされた場合に行われる補正処理Ａを示すフローチャートである。 自動補正が有効にされていない場合に行われる補正処理Ｂを示すフローチャートである。 第１の変形例による登録の動作を示すフローチャートである。 情報処理システムの第２の構成例を示す説明図である。 情報処理システムの第３の構成例を示す説明図である。 情報処理システムの第４の構成例を示す説明図である。 情報処理システムの第５の構成例を示す説明図である。 情報処理システムの第６の構成例を示す説明図である。 配信ユーザ端末２０のハードウェア構成を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　　１．情報処理システムの概要
　　２．配信ユーザ端末の構成
　　　２－１．全体構成
　　　２－２．基盤ツールの機能
　　　２－３．アプリケーション部の機能
　　３．動作
　　４．小括
　　５．変形例
　　　４－１．第１の変形例
　　　４－２．第２の変形例
　　６．情報処理システムの他の構成例
　　　５－１．第２の構成例
　　　５－２．第３の構成例
　　　５－３．第４の構成例
　　　５－４．第５の構成例
　　　５－５．第６の構成例
　　７．ハードウェア構成
　　８．補足
　＜＜１．情報処理システムの概要＞＞
　人間や動物等の動体の動きの情報を可視化するため、例えば身体の構造を示すスケルトン構造により表現されるスケルトンデータが用いられる。スケルトンデータは、部位の情報と、部位間を結ぶ線分であるボーンを含む。なお、スケルトン構造における部位は、例えば身体の末端部位や関節部位等に対応する。また、スケルトン構造におけるボーンは例えば人間の骨に相当し得るが、ボーンの位置や数は必ずしも実際の人間の骨格と整合していなくてもよい。
　スケルトンデータにおける部位の位置は、多様なモーションキャプチャ技術により取得可能である。例えば、身体の各部位にマーカを装着し、外部のカメラ等を用いてマーカの位置を取得するカメラ式の技術や、身体の部位にモーションセンサを装着し、モーションセンサにより取得されたセンサデータに基づいてモーションセンサの位置情報を取得するセンサ方式の技術が存在する。
　また、スケルトンデータの用途は多様である。例えば、スケルトンデータの時系列データは、スポーツにおいてフォーム改善に用いられたり、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）またはＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）等のアプリケーションに用いられたりしている。また、スケルトンデータの時系列データを用いて、ユーザの動きを模したアバター映像を生成し、当該アバター映像を配信することも行われている。
　以下では、本開示の一実施形態として、加速度センサおよびジャイロセンサなどのモーションセンサを利用してスケルトンデータを生成し、当該スケルトンデータに基づいてアバター映像を配信する情報処理システムの構成例を説明する。なお、以下では動体の一例として主に人間を説明するが、本開示の実施形態は、動物およびロボットなどの他の動体にも同様に適用可能である。
　図１は、本開示の一実施形態による情報処理システムを示す説明図である。図１に示したように、本開示の一実施形態による情報処理システムは、６つのセンサ装置１０Ａ～１０Ｆ、配信ユーザ端末２０、配信サーバ３０および視聴ユーザ端末４０を有する。図１に示したユーザＵ１はアバター映像を配信する配信ユーザであり、ユーザＵ２およびＵ３はアバター映像を視聴する視聴ユーザである。
　配信ユーザ端末２０、配信サーバ３０および視聴ユーザ端末４０は、ネットワーク１２を介して接続されている。ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　（センサ装置１０）
　センサ装置１０は、例えば加速度（Ａｃｃｅｌｅｒａｔｉｏｎ）を取得する加速度センサや角速度（Ａｎｇｕｌａｒ　ｖｅｌｏｃｉｔｙ）を取得するジャイロセンサ（角速度センサ）等の慣性センサ（ＩＭＵ：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）を含む。）を含む。また、センサ装置１０は、地磁気センサ、超音波センサ、気圧センサなどのセンサを含んでもよい。
　センサ装置１０Ａ～１０Ｆは、身体の基準となる関節部位（例えば腰や頭部）、あるいは身体の末端近傍（手首、足首、頭部等）に装着されることが望ましい。図１に示す例では、配信ユーザＵ１の腰にセンサ装置１０Ａが装着され、手首にセンサ装置１０Ｂおよび１０Ｅが装着され、足首にセンサ装置１０Ｃおよび１０Ｄが装着され、頭部にセンサ装置１０Ｆが装着されている。なお、以下では、センサ装置１０が装着された身体の部位を装着部位とも称する場合がある。また、センサ装置１０の数や装着位置（装着部位の位置）は図１に示す例に限定されず、配信ユーザＵ１に装着されるセンサ装置１０はより多くてもよいし、より少なくてもよい。
　このようなセンサ装置１０は、装着部位の加速度または角速度などをセンサデータとして取得し、当該センサデータを配信ユーザ端末２０に送信する。
　（配信ユーザ端末２０）
　配信ユーザ端末２０は、配信ユーザＵ１が利用する情報処理装置の一例である。配信ユーザ端末２０は、センサ装置１０からセンサデータを受信し、受信したセンサデータを用いて配信ユーザＵ１のアバター映像を生成する。詳細については後述するが、配信ユーザ端末２０は、センサデータに基づいて各装着部位の位置および姿勢を示す装着部位情報を取得し、装着部位情報に基づいて、スケルトン構造における各部位の位置情報および姿勢情報を含むスケルトンデータを生成する。さらに、配信ユーザ端末２０は、スケルトンデータが示す姿勢を有するアバター映像を生成する。配信ユーザ端末２０は、生成したアバター映像を配信サーバ３０に送信し、配信サーバ３０にアバター映像の配信を要求する。
　なお、図１においては配信ユーザ端末２０としてノートＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）を示しているが、配信ユーザ端末２０は、スマートフォンおよびデスクトップＰＣなどの他の情報処理装置であってもよい。
　（配信サーバ３０）
　配信サーバ３０は、配信ユーザ端末２０からの要求に基づき、アバター映像を視聴ユーザ端末４０に配信する。図１においては、ある事業者により提供される配信サービスを実現する１つの配信サーバ３０が示されているが、配信サービスを提供する複数の事業者および複数の配信サーバ３０が存在してもよい。この場合、配信ユーザ端末２０は、配信ユーザＵ１により指定された配信サービスを提供する配信サーバ３０にアバター映像の配信を要求し得る。
　（視聴ユーザ端末４０）
　視聴ユーザ端末４０は、視聴ユーザ（例えば、図１に示したユーザＵ２およびユーザＵ３）が利用する情報処理装置である。視聴ユーザ端末４０は、各種画面を表示する表示部、視聴ユーザの操作を検出する操作部、および視聴ユーザ端末４０の動作全般を制御する制御部を有する。視聴ユーザ端末４０は、例えば、視聴ユーザの操作に基づいて配信サーバ３０に配信ユーザＵ１のアバター映像の配信を要求し、配信サーバ３０から配信されたアバター映像を表示する。
　図２は、視聴ユーザ端末４０に表示されるアバター映像Ｖの具体例を示す説明図である。図２に示したように、視聴ユーザ端末４０には、例えば二次元キャラクターの映像がアバター映像Ｖとして表示される。当該アバター映像Ｖの姿勢には、配信ユーザＵ１の姿勢が反映される。すなわち、アバター映像Ｖは、配信ユーザＵ１の動きに合わせて変化する。
　（背景）
　上述した、モーションセンサを用いて実現されるモーションキャプチャ技術では、長時間の利用またはユーザの動きによりドリフト誤差が蓄積し、生成されるスケルトンデータが不正確になる場合がある。スケルトンデータが不正確である場合には、配信されるアバター映像も不自然な映像となり得る。
　このようなドリフト誤差が蓄積した場合、例えば再キャリブレーションまたはリセット処理が行われ得る。再キャリブレーションは、センサデータを処理して得られる姿勢情報に対して行われる処理であり、リセット処理は、スケルトンデータを生成するためのパラメータを調整する処理である。いずれの処理も、配信ユーザが初期位置姿勢となる必要がある。
　しかし、再キャリブレーションでは一時的にアバター映像の表示が消えてしまうし、リセット処理では初期位置姿勢で静止するアバター映像が表示される。いずれにしても、アバター映像が生配信される場合には、不自然なコンテンツになってしまうという不都合があった。
　また、上記の再キャリブレーションおよびリセット処理は、通常、配信ユーザまたは運営者側の判断および操作に基づいて行われように設計されるので、利便性の観点からも改善の余地がある。
　本件発明者らは、上記事情を一着眼点にして本開示の一実施形態を創作するに至った。本開示の一実施形態による情報処理システムでは、コンテンツが不自然になることを回避しつつ、ドリフト誤差を容易に解消することが可能である。以下、このような本開示の一実施形態による配信ユーザ端末２０の構成および動作を順次詳細に説明する。
　＜＜２．配信ユーザ端末の構成＞＞
　　＜２－１．全体構成＞
　図３は、本開示の一実施形態による配信ユーザ端末２０の構成を示す説明図である。図３に示したように、本開示の一実施形態による配信ユーザ端末２０は、操作部２１６と、表示部２２０と、通信部２３０と、制御部２４０と、を備える。
　操作部２１６は、配信ユーザ端末２０への指示または情報の入力のために配信ユーザにより操作される構成である。表示部２２０は、多様な表示画面を表示する。例えば、表示部２２０は、制御部２４０によって生成されたアバター映像を含む表示画面を表示する。通信部２３０は、ネットワーク１２を介して配信サーバ３０と通信する。例えば、通信部２３０は、制御部２４０によって生成されたアバター映像を配信サーバ３０にネットワーク１２を介して送信する。
　制御部２４０は、配信ユーザ端末２０の動作全般を制御する。特に、本開示の一実施形態による制御部２４０は、センサ装置１０から受信されたセンサデータに基づいて配信ユーザのスケルトンデータを生成し、当該スケルトンデータが示す姿勢を有するアバター映像を生成する機能を有する。このような制御部２４０の機能は、図３に示した基盤ツール２５０およびアプリケーション部２６０により実現される。
　基盤ツール２５０は、センサデータからスケルトンデータを生成する機能を有する。基盤ツール２５０は、生成したスケルトンデータをアプリケーション部２６０に供給する。また、本開示の一実施形態による基盤ツール２５０は、詳細については後述するように、センサデータから算出された配信ユーザの各部位の姿勢情報（特に、ヨー角）を補正する機能を有する。
　アプリケーション部２６０は、基盤ツール２５０と連携して多様な機能を実現する。例えば、アプリケーション部２６０は、基盤ツール２５０から供給されたスケルトンデータに基づいてアバター映像を生成し、アバター映像の配信を配信サーバ３０に要求する。ここで、アプリケーション部２６０は、アバター映像とその他のコンテンツデータの組み合わせの配信を配信サーバ３０に要求してもよい。その他のコンテンツデータとしては、例えば、背景データおよび楽曲データなどが挙げられる。なお、基盤ツール２５０の開発元とアプリケーション部２６０の開発元は同一であってもよいし、異なってもよい。以下、このような基盤ツール２５０およびアプリケーション部２６０の機能をより詳細に説明する。
　　＜２－２．基盤ツールの機能＞
　図４は、基盤ツール２５０の機能を示す説明図である。図４に示したように、基盤ツール２５０は、センサデータ処理部２５１、キャリブレーション部２５２、第１記憶部２５３、ヨー角補正部２５４、スケルトンデータ生成部２５５、およびアプリケーションインタフェース２５６、を有する。
　（センサデータ処理部２５１）
　センサデータ処理部２５１は、センサ装置１０から装着部位の加速度または角速度などを示すセンサデータを取得し、当該センサデータに基づいて各装着部位の位置情報および姿勢情報を推定する。例えば、センサデータ処理部２５１は、加速度データを積分して各装着部位の位置情報を推定し、角速度データを積分して各装着部位のヨー角、ピッチ角およびロール角などの回転角度を含む姿勢情報を推定する。
　図５は、ヨー角、ピッチ角およびロール角を示す説明図である。図５に示したように、ヨー角は、重力方向の軸（図５におけるｚ軸）周りの回転角度である第１回転角度の一例である。ピッチ角またはロール角の一方は、重力方向に直交する軸（図５におけるｘ軸）周りの回転角度である第２回転角度の一例である。ピッチ角またはロール角の他方は、重力方向の軸および重力方向に直交する軸の双方に直交する軸（図５におけるｙ軸）周りの回転角度である第３回転角度の一例である。なお、本明細書における各装着部位のヨー角は、配信ユーザの腰のヨー角を基準とする相対的な回転角度である。
　（キャリブレーション部２５２）
　キャリブレーション部２５２は、センサデータ処理部２５１から出力される姿勢情報のキャリブレーションを行う。キャリブレーション部２５２は、基盤ツール２５０の使用開始時にキャリブレーションを実行してもよいし、配信ユーザによる操作に従ってキャリブレーションを実行してもよい。キャリブレーション時には、配信ユーザは、初期位置姿勢として例えば仁王立ちで両腕を下した姿勢となる。
　（第１記憶部２５３）
　第１記憶部２５３は、基盤ツール２５０の動作に用いられる多様な情報を記憶する。例えば、第１記憶部２５３は、配信ユーザが登録用の姿勢をとっている間にセンサデータ処理部２５１により推定された登録用の姿勢情報を記憶する。
　図６は、第１記憶部２５３が記憶する姿勢情報の具体例を示す説明図である。図６に示したように、第１記憶部２５３は、装着部位ごとに、配信ユーザが登録用の姿勢をとっている間にセンサデータ処理部２５１により推定された姿勢情報を記憶する。姿勢情報としては、例えば、ヨー角が第１参照角度として記憶され、ピッチ角が第２参照角度として記憶され、ロール角が第３参照角度として記憶される。
　これらの姿勢情報は、キャリブレーションが行われてから、ドリフト誤差の蓄積が少ないと考えられる所定時間内に取得された姿勢情報であることが望ましい。なお、登録用の姿勢は、配信ユーザに個性的な姿勢である独自姿勢であってもよいし、ナチュラルポーズであってもよい。
　（ヨー角補正部２５４）
　センサデータ処理部２５１により推定されるピッチ角およびロール角は、重力補正により、ドリフト誤差が軽減される。また、ある装着部位のピッチ角およびロール角と第１記憶部２５３に記憶されている第２参照角度および第３参照角度との差分が閾値以下である場合には、当該装着部位の姿勢が登録用の姿勢に近い可能性がある。すなわち、当該装着部位の本来のヨー角は第１記憶部２５３に記憶されている第１参照角度に近い、または等しいと考えられる。
　そこで、ヨー角補正部２５４は、ある装着部位についてセンサデータ処理部２５１から入力されるピッチ角およびロール角に関する条件が満たされる場合に、当該装着部位についてセンサデータ処理部２５１から入力されるヨー角の補正を行う。具体的には、ヨー角補正部２５４は、ある装着部位のピッチ角およびロール角と当該装着部位の第２参照角度および第３参照角度との差分が閾値以下である場合に、現在の当該装着部位のヨー角が第１参照角度であると推定し、当該装着部位についてセンサデータ処理部２５１から入力されるヨー角を、第１参照角度を用いて補正する。
　ヨー角補正部２５４は、センサデータ処理部２５１から入力されるヨー角が第１参照角度になるように補正を行ってもよいし、例えばＫａｌｍａｎフィルタを使用してセンサデータ処理部２５１から入力されるヨー角を経時的に第１参照角度に近づけていく補正を行ってもよい。
　なお、上記では条件が満たされる装着部位ごとにヨー角の補正が行われる例を説明したが、ヨー角補正部２５４は、全ての装着部位の条件が満たされた場合に全ての装着部位のヨー角の補正を行ってもよい。
　（スケルトンデータ生成部２５５）
　スケルトンデータ生成部２５５は、センサデータ処理部２５１により推定された各装着部位の位置情報、およびヨー角補正部２５４による補正後のヨー角を含む各装着部位の姿勢情報に基づいて、スケルトン構造における各部位の位置情報および姿勢情報を含むスケルトンデータを生成する。以下、図７を参照して、スケルトンデータの生成についてより具体的に説明する。
　図７は、スケルトンデータの生成の具体例を示す説明図である。スケルトンデータ生成部２５５は、図７の左図に示したように、センサ装置１０Ａ～１０Ｆが装着された装着部位Ｐ１０１～Ｐ１０６の位置情報及び姿勢情報を含む装着部位情報ＰＤ１００を取得する。
　さらに、スケルトンデータ生成部２５５は、装着部位Ｐ１０１～Ｐ１０６の装着部位情報ＰＤ１００に基づき、図７の右図に示したように、スケルトン構造における各部位の位置情報及び姿勢情報を含むスケルトンデータＳＤ１００を取得する。スケルトンデータＳＤ１００には、装着部位Ｐ１０１に対応する装着部位ＳＰ１０１や装着部位Ｐ１０２に対応する装着部位ＳＰ１０２の情報だけでなく、非装着部位ＳＰ１０７の情報が含まれる。
　なお、スケルトンデータには、部位の情報に加え、ボーンの情報（位置情報、姿勢情報等）も含まれ得る。例えば図７に示した例において、スケルトンデータＳＤ１００には、ボーンＳＢ１０１の情報が含まれ得る。スケルトンデータ生成部２５５は、スケルトン構造における部位の位置情報及び姿勢情報に基づいて、部位間のボーンの情報を特定することが可能である。
　（アプリケーションインタフェース２５６）
　アプリケーションインタフェース２５６は、アプリケーション部２６０とのインタフェースである。アプリケーションインタフェース２５６は、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）として構成されてもよい。例えば、アプリケーションインタフェース２５６は、アプリケーション部２６０からの要求に応じて配信ユーザのスケルトンデータをアプリケーション部２６０に返す。また、アプリケーションインタフェース２５６は、アプリケーション部２６０から登録用の姿勢における姿勢情報の登録指示を受ける。
　　＜２－３．アプリケーション部の機能＞
　以上、基盤ツール２５０の機能を説明した。続いて、図７を参照し、アプリケーション部２６０の機能を説明する。
　図８は、アプリケーション部２６０の機能を示す説明図である。図８に示したように、アプリケーション部２６０は、基盤ツールプラグイン２６１、第２記憶部２６２、リターゲティング部２６５、表示制御部２６７および配信制御部２６８を有する。
　（基盤ツールプラグイン２６１）
　基盤ツールプラグイン２６１は、基盤ツール２５０とのインタフェースである。基盤ツールプラグイン２６１は、基盤ツール２５０からデータを受け取り、当該データをアプリケーション部２６０で扱えるフォーマットに変換する。例えば、基盤ツールプラグイン２６１は、スケルトンデータ、および、上述したヨー角の補正が行われたことを示す通知などを基盤ツール２５０から受け取る。
　（第２記憶部２６２）
　第２記憶部２６２は、アプリケーション部２６０の動作に用いられる多様な情報を記憶する。例えば、第２記憶部２６２は、基盤ツール２５０の第１記憶部２５３に記憶されている登録用の姿勢情報に関する情報を記憶していてもよい。
　（リターゲティング部２６５）
　リターゲティング部２６５は、基盤ツールプラグイン２６１から配信ユーザのスケルトンデータを受け取り、当該スケルトンデータをリターゲットすることで、スケルトンデータが示す姿勢または動きを有するアバター映像を生成する。
　（表示制御部２６７）
　表示制御部２６７は、多様な表示画面を生成し、生成した表示画面を表示部２２０に表示させる。例えば、表示制御部２６７は、リターゲティング部２６５により生成されたアバター映像を含むアバター表示画面を生成し、当該アバター表示画面を表示部２２０に表示させる。また、表示制御部２６７は、配信ユーザによる操作部２１６への操作、またはキャリブレーションの終了に基づき、配信ユーザに上述した登録用の姿勢をとることを誘導する誘導画面を生成し、当該誘導画面を表示部２２０に表示させる。
　図９は、誘導画面の具体例を示す説明図である。図９に示したように、誘導画面は、誘導メッセージ４２およびスケルトンデータ表示４４を含む。誘導メッセージ４２は、配信ユーザに静止を求めるメッセージであり、図９に示した例では「任意の姿勢で１０秒静止して下さい。」である。スケルトンデータ表示４４は、配信ユーザについて基盤ツール２５０のスケルトンデータ生成部２５５により生成されたスケルトンデータを示す表示である。図９では、配信ユーザが独自姿勢として敬礼の姿勢で静止している例を示している。
　このように配信ユーザが静止している間に基盤ツール２５０のセンサデータ処理部２５１により推定された姿勢情報が上述したように基盤ツール２５０の第１記憶部２５３に記憶される。
　なお、上記では配信ユーザの姿勢が登録用の姿勢に近くなった場合にヨー角の補正が自動的に行われる例を説明したが、ヨー角の補正は所定の操作入力に基づいて行われてもよい。例えば、表示制御部２６７は、図１０に示したように、アバター映像Ｖを含むアバター表示画面を配信ユーザ用に生成し、当該アバター表示画面に、補正ボタン４６を配置してもよい。そして、当該補正ボタン４６が配信ユーザにより操作された場合、アプリケーション部２６０が基盤ツール２５０にヨー角の補正の実行指示を送り、当該実行指示に基づいて基盤ツール２５０のヨー角補正部２５４がヨー角の補正を行ってもよい。
　（配信制御部２６８）
　配信制御部２６８は、リターゲティング部２６５により生成されたアバター映像を配信サーバ３０に送信し、配信サーバ３０にアバター映像の配信を要求する。これにより、視聴ユーザ端末４０にアバター映像が配信され、視聴ユーザ端末４０にアバター映像が表示される。
　＜＜３．動作＞＞
　以上、本開示の一実施形態による情報処理システムの構成を説明した。続いて、本開示の一実施形態による情報処理システムの動作を説明する。
　（登録）
　図１１は、本開示の一実施形態による情報処理システムにおける姿勢情報の登録までの流れを示すフローチャートである。まず、配信ユーザが身体の各部位にセンサ装置１０を装着し、初期位置姿勢をとった状態において、配信ユーザ端末２０のキャリブレーション部２５２が各センサ装置１０のキャリブレーションを実行する（Ｓ３０４）。
　その後、表示部２２０がヨー角の自動補正を有効にするか否かの選択の自動補正選択画面を表示制御部２６７が表示部２２０に表示させ、配信ユーザが当該自動補正確認画面においてヨー角の自動補正を有効にするか否かを選択する（Ｓ３０８）。ヨー角の自動補正を有効にすることが選択された場合（Ｓ３０８／Ｙｅｓ）、独自姿勢を登録するか否かの選択のための姿勢登録選択画面を表示制御部２６７が表示部２２０に表示させ、配信ユーザが当該姿勢登録選択画面において独自姿勢を登録するか否かを選択する（Ｓ３１２）。
　姿勢登録選択画面において独自姿勢を登録することが選択された場合（Ｓ３１２／Ｙｅｓ）、表示制御部２６７は、登録用の姿勢として独自姿勢をとることを配信ユーザに誘導する図９に示した誘導画面を表示部２２０に表示させる（Ｓ３１６）。配信ユーザは、当該誘導画面に従って独自姿勢での静止を維持する。第１記憶部２５３は、配信ユーザが独自姿勢で静止している間にセンサデータ処理部２５１により推定された配信ユーザの各装着部位の姿勢情報を記憶する（Ｓ３２０）。
　姿勢登録選択画面において独自姿勢を登録することが選択されなかった場合（Ｓ３１２／Ｎｏ）、配信ユーザが長時間静止している間（すなわち、配信ユーザがナチュラルポーズをとっている間）にセンサデータ処理部２５１により推定された配信ユーザの各装着部位の姿勢情報を記憶する（Ｓ３２０）。なお、Ｓ３２０およびＳ３２４のいずれにおいても、センサデータ処理部２５１は、複数の姿勢情報を記憶してもよい。Ｓ３２０およびＳ３２４の後、図１２を参照して説明する補正処理Ａが行われる。
　自動補正選択画面においてヨー角の自動補正を有効にしないことが選択された場合（Ｓ３０８／Ｎｏ）、独自姿勢を登録するか否かの選択のための姿勢登録選択画面を表示制御部２６７が表示部２２０に表示させ、配信ユーザが当該姿勢登録選択画面において独自姿勢を登録するか否かを選択する（Ｓ３２８）。
　姿勢登録選択画面において独自姿勢を登録することが選択された場合（Ｓ３２８／Ｙｅｓ）、表示制御部２６７は、登録用の姿勢として独自姿勢をとることを配信ユーザに誘導する図９に示した誘導画面を表示部２２０に表示させる（Ｓ３３２）。配信ユーザは、当該誘導画面に従って独自姿勢での静止を維持する。第１記憶部２５３は、配信ユーザが独自姿勢で静止している間にセンサデータ処理部２５１により推定された配信ユーザの各装着部位の姿勢情報を記憶する（Ｓ３３６）。
　姿勢登録選択画面において独自姿勢を登録することが選択されなかった場合（Ｓ３２８／Ｎｏ）、配信ユーザが長時間静止している間（すなわち、配信ユーザがナチュラルポーズをとっている間）にセンサデータ処理部２５１により推定された配信ユーザの各装着部位の姿勢情報を記憶する（Ｓ３４０）。なお、Ｓ３３６およびＳ３４０のいずれにおいても、センサデータ処理部２５１は、複数の姿勢情報を記憶してもよい。Ｓ３３６およびＳ３４０の後、図１３を参照して説明する補正処理Ｂが行われる。
　（補正処理Ａ）
　図１２は、自動補正が有効にされた場合に行われる補正処理Ａを示すフローチャートである。図１２に示したように、まず、センサデータ処理部２５１が各センサ装置１０からセンサデータを取得する（Ｓ４０４）。そして、センサデータ処理部２５１が、各センサ装置１０から取得したセンサデータに対して、加速度の積分および重力補正などを行い、各装着部位のヨー角、ピッチ角およびロール角を含む姿勢情報を推定する（Ｓ４０８）。
　その後、ヨー角補正部２５４は、ヨー角補正の条件が満たされたか否かを判断する（Ｓ４１２）。具体的には、ヨー角補正部２５４は、ある装着部位のピッチ角およびロール角と当該装着部位の第２参照角度および第３参照角度との差分が閾値以下であるという条件が満たされたか否かを判断する。
　ある装着部位についてヨー角補正の条件が満たされた場合（Ｓ４１２／Ｙｅｓ）、ヨー角補正部２５４は、第１記憶部２５３に第２参照角度および第３参照角度と関連付けて登録されている第１参照角度を読み出す（Ｓ４１６）。そして、ヨー角補正部２５４は、上記装着部位の現在のヨー角を、第１参照角度を用いて補正する（Ｓ４２０）。その後、基盤ツール２５０の動作が終了するまで、Ｓ４０４からの処理が繰り返される（Ｓ４２４）。
　（補正処理Ｂ）
　図１３は、自動補正が有効にされていない場合に行われる補正処理Ｂを示すフローチャートである。図１３に示したように、まず、センサデータ処理部２５１が各センサ装置１０からセンサデータを取得する（Ｓ５０４）。そして、センサデータ処理部２５１が、各センサ装置１０から取得したセンサデータに対して、加速度の積分および重力補正などを行い、各装着部位のヨー角、ピッチ角およびロール角を含む姿勢情報を推定する（Ｓ５０８）。
　その後、図１０を参照して説明したアバター表示画面において補正ボタン４６が押された場合（Ｓ５１２／Ｙｅｓ）、ヨー角補正部２５４は、第１記憶部２５３に登録されている第１参照角度を読み出す（Ｓ５１６）。ここで、第１記憶部２５３に第１参照角度、第２参照角度および第３参照角度からなる複数の姿勢情報が登録されている場合、ヨー角補正部２５４は、現在のピッチ角およびロール角との差分が最小である第２参照角度および第３参照角度に関連付けられている第１参照角度を読み出してもよい。
　そして、ヨー角補正部２５４は、上記装着部位の現在のヨー角を、第１参照角度を用いて補正する（Ｓ５２０）。その後、基盤ツール２５０の動作が終了するまで、Ｓ４０４からの処理が繰り返される（Ｓ５２４）。
　＜＜４．小括＞＞
　以上説明した本開示の一実施形態によれば、多様な作用効果が得られる。例えば、自動補正が有効にされている場合には、配信ユーザによる判断および操作を要さずに、自動的に各装着部位のヨー角を補正することが可能である。このような情報処理システムでは、配信ユーザの利便性が向上する。
　また、本開示の一実施形態によれば、ヨー角の補正のための独自姿勢を登録しておくことができる。当該独自姿勢として配信ユーザがとる癖のある姿勢または決めポーズなどを登録しておくことにより、配信ユーザが不自然な姿勢をとることなくヨー角を補正できる。
　また、本開示の一実施形態によれば、装着部位ごとにヨー角を補正することができる。従って、一部の装着部位がナチュラルポーズまたは初期位置姿勢になれば当該装着部位のヨー角を補正できるので、配信ユーザが全身でナチュラルポーズまたは初期位置姿勢をとる必要がない。
　また、本開示の一実施形態によれば、独自姿勢の登録の際には配信ユーザを誘導する誘導画面が表示されるので、配信ユーザが当該誘導画面に沿って独自姿勢で静止することで、簡易に独自姿勢を登録することが可能である。
　また、本開示の一実施形態によれば、現在のヨー角を補正する際に、現在のヨー角を第１参照角度に経時的に近づけていく補正を行うことが可能である。かかる構成によれば、ヨー角の急激な変化によりアバター映像の姿勢が不自然に変化することを回避し得る。
　また、本開示の一実施形態によれば、アバター表示画面における補正ボタン４６の押下などの所定の操作入力に基づいてヨー角の補正を行うことも可能である。かかる構成によれば、配信ユーザが登録時の姿勢をとっている時に配信ユーザが補正ボタン４６を押すことにより、ヨー角の補正をより高精度に実現することが可能である。
　＜＜５．変形例＞＞
　以上、本開示の一実施形態を説明した。以下では、上述した実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上述した実施形態に適用されてもよいし、組み合わせで上述した実施形態に適用されてもよい。また、各変形例は、上述した構成に代えて適用されてもよいし、上述した構成に対して追加的に適用されてもよい。
　　＜４－１．第１の変形例＞
　上記では、基盤ツール２５０がヨー角の補正のために配信ユーザの姿勢情報を事前に登録しておく例を説明したが、基盤ツール２５０は、ヨー角の補正のための他の情報として、ヨー角とピッチ角およびロール角との関係モデルなどを登録しておいてもよい。以下、図１４を参照して、第１の変形例による登録の動作を説明する。
　図１４は、第１の変形例による登録の動作を示すフローチャートである。図１４に示したように、基盤ツール２５０は、まず、各装着部位について、ヨー角、ピッチ角およびロール角を含む複数の学習用データを取得する（Ｓ６０４）。当該学習用データは、キャリブレーション直後の１分程度のドリフト誤差の影響が小さい期間で得られた配信ユーザの姿勢情報であってもよいし、汎用データセットであってもよい。
　そして、基盤ツール２５０は、学習用データに基づく学習により、各装着部位について、ピッチ角およびロール角と、ヨー角との関係モデルを構築し、当該関係モデルを第１記憶部２５３に登録する（Ｓ６０８）。さらに、基盤ツール２５０は、各装着部位について、ヨー角、ピッチ角およびロール角を含む複数のテスト用データを用いて関係モデルを評価する（Ｓ６１２）。例えば、基盤ツール２５０は、テスト用データに含まれるヨー角およびピッチ角を関係モデルに入力し、出力されるヨー角とテスト用データに含まれるヨー角との差分を推定誤差として算出する。
　続いて、基盤ツール２５０は、各装着部位について、ヨー角の推定誤差が閾値未満であったヨー角およびピッチ角を特定し、当該ヨー角およびピッチ角を第２参照角度および第３参照角度として第１記憶部２５３に登録する（Ｓ６１６）。
　当該第１の変形例では、ヨー角補正部２５４は、ある装着部位のピッチ角およびロール角と当該装着部位の第２参照角度および第３参照角度との差分が閾値以下であるという条件が満たされた場合に、関係モデルを用いてヨー角を推定する。そして、ヨー角補正部２５４は、推定されたヨー角を用いて当該装着部位の現在のヨー角を補正する。
　当該第１の変形例は、とりわけ関係モデルの構築に学習用データとして汎用データセットを用いる場合に、配信ユーザが姿勢情報の登録のために同一姿勢で静止しなくてよい点で有用である。
　　＜４－２．第２の変形例＞
　上記では、ヨー角補正部２５４が現在のピッチ角およびロール角に基づいてヨー角を推定し、推定されたヨー角を用いて現在のヨー角を補正する例を説明した。しかし、ヨー角補正部２５４は、他の方法でヨー角を推定することも可能である。
　例えば、基盤ツール２５０は、配信ユーザが登録用の姿勢をとっている間にセンサデータ処理部２５１により推定された各装着部位の位置情報と各装着部位のヨー角を第１記憶部２５３に登録してもよい。ここで、位置情報は、配信ユーザの腰の位置から見た相対的な位置を示す情報であってもよい。また、センサデータ処理部２５１は、センサ装置１０により得られる加速度に基づいて位置情報を推定してもよいし、外部カメラにより得られた配信ユーザの映像から位置情報を推定してもよい。
　そして、ヨー角補正部２５４は、ある装着部位について現在の位置情報と第１記憶部２５３に登録されている位置情報との差分が閾値未満となる条件が満たされた場合に、第１記憶部２５３に登録されているヨー角を用いて現在のヨー角を補正してもよい。なお、条件には、位置情報の条件に加えて、上述した実施形態のようにピッチ角およびロール角などの姿勢情報の条件が含まれてもよく、ヨー角補正部２５４は、位置情報および姿勢情報の双方の条件が満たされた場合にヨー角の補正を行ってもよい。
　または、センサ装置１０は地磁気センサを含み、基盤ツール２５０は、配信ユーザが登録用の姿勢をとっている間に地磁気センサにより得られた各装着部位の地磁気値と各装着部位のヨー角を第１記憶部２５３に登録してもよい。ここで、地磁気値は、配信ユーザの腰の地磁気値から見た相対的な値を示す情報であってもよい。
　そして、ヨー角補正部２５４は、ある装着部位について現在の地磁気値と第１記憶部２５３に登録されている地磁気値との差分が閾値未満となる条件が満たされた場合に、第１記憶部２５３に登録されているヨー角を用いて現在のヨー角を補正してもよい。なお、条件には、地磁気値の条件に加えて、上述した実施形態のようにピッチ角およびロール角などの姿勢情報の条件、および位置情報の条件などが含まれてもよい。
　このような第２の変形例によっても、ヨー角の補正を適切に実現することが可能である。
　＜＜６．情報処理システムの他の構成例＞＞
　上記では、情報処理システムの第１の構成例として、配信ユーザ端末２０が基盤ツール２５０およびアプリケーション部２６０を有する構成例を説明した。しかし、本開示の情報処理システムには他の構成例も考えられる。以下、情報処理システムの他の構成例を説明する。
　　＜５－１．第２の構成例＞
　図１５は、情報処理システムの第２の構成例を示す説明図である。図１５に示したように、第２の構成例による情報処理システムは、配信ユーザ端末２０－２および処理端末５０－２を有する。配信ユーザ端末２０－２と処理端末５０－２はネットワーク１２を介して接続されている。配信ユーザ端末２０－２は、基盤ツール２５０を有し、アプリケーション部２６０を有さない。アプリケーション部２６０は、処理端末５０－２に実装されている。
　当該第２の構成例においては、配信ユーザ端末２０－２が処理端末５０－２にスケルトンデータを送信する。そして、処理端末５０－２のアプリケーション部２６０がスケルトンデータからアバター映像を生成し、配信サーバ３０を介してアバター映像を視聴ユーザ端末４０に配信する。当該第２の構成例において、基盤ツール２５０の開発元とアプリケーション部２６０の開発元は同一であってもよいし、異なってもよい。
　　＜５－２．第３の構成例＞
　図１６は、情報処理システムの第３の構成例を示す説明図である。図１６に示したように、第３の構成例による情報処理システムは、配信ユーザ端末２０－３および処理端末５０－３を有する。配信ユーザ端末２０－３と処理端末５０－３はネットワーク１２を介して接続されている。配信ユーザ端末２０－３は、基盤ツール２５０およびアプリケーション部２６０－３を有する。アプリケーション部２６０－３は、図８を参照して説明したアプリケーション部２６０が有する構成のうち、リターゲティング部２６５および配信制御部２６８を有さない。代わりに、処理端末５０－３がリターゲティング部２６５および配信制御部２６８を有する。
　当該第３の構成例においては、配信ユーザ端末２０－３が処理端末５０－３にスケルトンデータを送信する。そして、処理端末５０－３のリターゲティング部２６５がスケルトンデータからアバター映像を生成し、配信制御部２６８が配信サーバ３０を介してアバター映像を視聴ユーザ端末４０に配信する。当該第３の構成例において、基盤ツール２５０の開発元、アプリケーション部２６０－３の開発元、リターゲティング部２６５の開発元、および配信制御部２６８の開発元は、同一であってもよいし、異なってもよい。
　　＜５－３．第４の構成例＞
　図１７は、情報処理システムの第４の構成例を示す説明図である。図１７に示したように、第４の構成例による情報処理システムは、配信ユーザ端末２０－４および処理端末５０－４を有する。配信ユーザ端末２０－４と処理端末５０－４はネットワーク１２を介して接続されている。配信ユーザ端末２０－４は、基盤ツール２５０を有する。処理端末５０－４は、アプリケーション部２６０－４を有する。アプリケーション部２６０－４は配信制御部２６８の機能を含まず、処理端末５０－４は別途配信制御部２６８の機能を有する。
　当該第４の変形例においては、配信ユーザ端末２０－４が処理端末５０－４にスケルトンデータを送信する。そして、処理端末５０－４のアプリケーション部２６０－４がスケルトンデータからアバター映像を生成し、配信制御部２６８が配信サーバ３０を介してアバター映像を視聴ユーザ端末４０に配信する。当該第４の構成例において、基盤ツール２５０の開発元、アプリケーション部２６０－４の開発元、および配信制御部２６８の開発元は、同一であってもよいし、異なってもよい。
　　＜５－４．第５の構成例＞
　図１８は、情報処理システムの第５の構成例を示す説明図である。図１８に示したように、第５の構成例による情報処理システムは、配信ユーザ端末２０－５および処理端末５０－５を有する。配信ユーザ端末２０－５と処理端末５０－５はネットワーク１２を介して接続されている。配信ユーザ端末２０－５は、基盤ツール２５０を有する。処理端末５０－５は、アプリケーション部２６０－５を有する。アプリケーション部２６０－５はリターゲティング部２６５および配信制御部２６８の機能を含まず、処理端末５０－５は別途リターゲティング部２６５および配信制御部２６８の機能を有する。
　当該第５の変形例においては、配信ユーザ端末２０－５が処理端末５０－５にスケルトンデータを送信する。そして、アプリケーション部２６０－５がスケルトンデータをリターゲティング部２６５に供給し、リターゲティング部２６５がスケルトンデータからアバター映像を生成し、配信制御部２６８が配信サーバ３０を介してアバター映像を視聴ユーザ端末４０に配信する。当該第５の構成例において、基盤ツール２５０の開発元、アプリケーション部２６０－５の開発元、リターゲティング部２６５の開発元および配信制御部２６８の開発元は、同一であってもよいし、異なってもよい。
　＜５－５．第６の構成例＞
　上記では、主に、ＰＣ型の配信ユーザ端末２０に操作部２１６、表示部２２０、通信部２３０および制御部２４０などの機能が実装される例を説明したが、これらの機能は、スマートフォンのような携帯端末に実装されてもよい。また、上記機能は、複数の携帯端末に分散的に実装されてもよいし、分散的かつ重複的に実装されてもよい。図１９を参照し、第６の構成例として、上記機能が複数の携帯端末に分散的に実装される例を説明する。
　図１９は、情報処理システムの第６の構成例を示す説明図である。図１９に示したように、第６の構成例による情報処理システムは、第１携帯端末６１、第２携帯端末６２および第３携帯端末６３を有する。
　第１携帯端末６１には、制御部２４０の機能、すなわち、基盤ツール２５０およびアプリケーション部２６０の機能が実装される。また、第１携帯端末６１は、他の第２携帯端末６２および第３携帯端末６３と通信するための通信部も有する。第１携帯端末６１は、センサ装置１０から取得されるセンサデータに基づいて配信ユーザＵ１のアバター映像を生成し、第２携帯端末６２および第３携帯端末６３に当該アバター映像を送信する。なお、図１９においては第１携帯端末６１、第２携帯端末６２および第３携帯端末６３がネットワーク１２を介して通信する例を示しているが、第１携帯端末６１、第２携帯端末６２および第３携帯端末６３はネットワーク１２を介さずに直接通信してもよい。
　第２携帯端末６２には、表示部２２０および通信部２３０の機能が実装される。第２携帯端末６２は、第１携帯端末６１からアバター映像を受信し、アバター映像を含む表示画面を表示部２２０に表示する。これにより、第２携帯端末６２を利用するユーザＵ４は、アバター映像を確認できる。
　第３携帯端末６３には、操作部２１６および通信部２３０の機能が実装される。第３携帯端末６３を利用するユーザＵ５が、操作部２１６に対してキャリブレーションの実行を指示する操作、自動補正を有効にするか否かを選択する操作、または補正ボタンを押す操作などを行うと、第３携帯端末６３は当該操作を示す情報を第１携帯端末６１に送信する。第３携帯端末６３は、上記の操作のために、アバター映像を含む表示画面を表示する表示部２２０の機能も有してよい。
　なお、第２携帯端末６２の機能および第３携帯端末６３の機能は１つの携帯端末にまとめて実装されてもよい。また、第２携帯端末６２および第３携帯端末６３はアプリケーション部２６０の機能も有してもよい。この場合、第１携帯端末６１は、アバター映像に代えてスケルトンデータを第２携帯端末６２および第３携帯端末６３に送信し、第２携帯端末６２および第３携帯端末６３はスケルトンデータからアバター映像を生成して表示してもよい。また、各携帯端末にはアプリケーション部２６０の一部または全ての機能が実装されてもよい。
　このような情報処理システムの第６の構成例には、多様なユースケースが想定される。情報処理システムの第６の構成例のユースケースとしては、例えば、屋外での撮影、移動しながらの撮影、および特定環境での撮影などが考えられる。屋外での撮影および移動しながらの撮影においては、携帯端末を用いることにより電源確保および機材運搬設備などが不要となり、より軽装でモーションキャプチャおよびデータ処理を行うことが可能である。また、例えば演者である配信ユーザＵ１が第１携帯端末６１を持ち運び、第１携帯端末６１がプロデューサまたは監督などの複数のユーザが有する各第２携帯端末６２にスケルトンデータまたはアバター映像などを送信することにより、複数の環境で即座にスケルトンデータまたはアバター映像などのチェックを行うことが可能となる。
　また、ライブ会場、および上方が開けた場所などの特定環境での撮影では、電波が拡散し易いので、センサ装置１０から送信されたセンサデータの受信が困難になる。この点、第１携帯端末６１のような小型通信デバイスを演者が装着することにより、第１携帯端末６１とセンサ装置１０の距離が小さくなるので、第１携帯端末６１がセンサデータを高精度に受信可能である。専用電源が不要であるので、演者の衣装やパフォーマンスへの影響も抑制できる。また、第２携帯端末６２または別の表示装置などを第１携帯端末６１から離れた場所に配置することが可能である。
　＜＜７．ハードウェア構成＞＞
　以上、本開示の実施形態を説明した。上述したヨー角の補正およびスケルトンデータの生成などの情報処理は、ソフトウェアと、以下に説明する配信ユーザ端末２０のハードウェアとの協働により実現される。
　図２０は、配信ユーザ端末２０のハードウェア構成を示したブロック図である。配信ユーザ端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、配信ユーザ端末２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。
　ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って配信ユーザ端末２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、図３を参照して説明した基盤ツール２５０およびアプリケーション部２６０などの機能が実現され得る。
　ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。配信ユーザ端末２０のユーザは、該入力装置２０８を操作することにより、配信ユーザ端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
　ストレージ装置２１１は、本実施形態にかかる配信ユーザ端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
　ドライブ２１２は、記憶媒体用リーダライタであり、配信ユーザ端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。
　通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　なお、上記では図２０を参照して配信ユーザ端末２０のハードウェア構成について説明したが、配信サーバ３０のハードウェアおよび視聴ユーザ端末４０のハードウェアは配信ユーザ端末２０と実質的に同一に構成することが可能であるため、説明を省略する。
　＜＜８．補足＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、図４を参照して説明した基盤ツール２５０内の各機能ブロックは、複数の端末に分散的に実装されてもよい。同様に、図８を参照して説明したアプリケーション部２６０内の各機能ブロックは、複数の端末に分散的に実装されてもよい。
　また、本明細書の配信ユーザ端末２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、配信ユーザ端末２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、配信ユーザ端末２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した配信ユーザ端末２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定することと、
　前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行うことと、
を含む、情報処理方法。
（２）
　前記条件は、前記第２回転角度が第２参照角度と所定の関係を有することを含み、
　前記第１回転角度の補正を行うことは、前記第２参照角度に対応する第１参照角度を用いて前記第１回転角度の補正を行うことを含む、前記（１）に記載の情報処理方法。
（３）
　前記所定の関係は、前記第２回転角度と前記第２参照角度の差分が閾値以下である関係を含む、前記（２）に記載の情報処理方法。
（４）
　前記ジャイロセンサのキャリブレーションを行うことと、
　前記キャリブレーションの後に前記動体が登録用の姿勢をとっている間に前記ジャイロセンサから得られた出力に基づき、前記動体の前記登録用の姿勢情報を推定することと、
　前記登録用の姿勢情報に含まれる前記第１回転角度を前記第１参照角度として登録し、前記登録用の姿勢情報に含まれる前記第２回転角度を前記第２参照角度として登録することと、
を含む、前記（２）または（３）に記載の情報処理方法。
（５）
　前記キャリブレーションの後に、前記動体に前記登録用の姿勢をとることを誘導する誘導画面を表示することを含む、前記（４）に記載の情報処理方法。
（６）
　前記第１回転角度の補正を行うことは、前記１回転角度を前記第１参照角度に経時的に近づけていく補正を行うことである、前記（２）～（４）のいずれか一項に記載の情報処理方法。
（７）
　所定の操作入力が行われたことに基づいて前記第１回転角度の補正を行うことをさらに含む、前記（１）～（６）のいずれか一項に記載の情報処理方法。
（８）
　前記第１回転角度と前記第２回転角度を含む複数の学習用データに基づき、前記第１回転角度と前記第２回転角度との関係モデルを学習により構築することをさらに含み、
　前記第１参照角度は、前記動体の前記第２回転角度から前記関係モデルに基づいて推定される第１回転角度である、前記（２）または（３）に記載の情報処理方法。
（９）
　前記関係モデルを前記第１回転角度と前記第２回転角度を含む複数のテスト用データを用いて評価することと、
　前記複数のテスト用データを用いた評価において、前記第１回転角度の推定誤差が閾値以下であった第２回転角度を前記第２参照角度として抽出することと、
をさらに含む、前記（８）に記載の情報処理方法。
（１０）
　前記動体の複数の部位に前記ジャイロセンサが取り付けられ、
　前記第１回転角度の補正を行うことは、ある部位についての前記第２回転角度に関する条件が満たされる場合に、当該部位についての前記第１回転角度の補正を行うことを含む、前記（１）～（９）のいずれか一項に記載の情報処理方法。
（１１）
　前記動体の姿勢情報は、前記重力方向の軸、および前記重力方向に直交する軸の双方に直交する軸周りの第３回転角度を含み、
　前記条件は、前記第２回転角度および前記第３回転角度に関する条件である、前記（１）～１０に記載の情報処理方法。
（１２）
　前記動体の位置を示す位置情報を推定することをさらに含み、
　前記条件は、前記動体の位置に関する条件を含む、前記（１）～（１１）のいずれか一項に記載の情報処理方法。
（１３）
　前記動体には地磁気センサが取り付けられ、
　前記条件は、前記地磁気センサから得られる地磁気値に関する条件を含む、前記（１）～（１２）のいずれか一項に記載の情報処理方法。
（１４）
　動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定する推定部と、
　前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行う回転角度補正部と、
を含む、情報処理装置。
（１５）
　コンピュータを、
　動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定する推定部と、
　前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行う回転角度補正部と、
として機能させるための、プログラム。
２０　配信ユーザ端末
２１６　操作部
２２０　表示部
２３０　通信部
２５０　基盤ツール
２５１　センサデータ処理部
２５２　キャリブレーション部
２５３　第１記憶部
２５４　ヨー角補正部
２５５　スケルトンデータ生成部
２５６　アプリケーションインタフェース
２６０　アプリケーション部
２６１　基盤ツールプラグイン
２６２　第２記憶部
２６５　リターゲティング部
２６７　表示制御部
２６８　配信制御部
３０　配信サーバ
４０　視聴ユーザ端末

Claims (15)

  1. 　動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定することと、
    　前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行うことと、
    を含む、情報処理方法。
  2. 　前記条件は、前記第２回転角度が第２参照角度と所定の関係を有することを含み、
    　前記第１回転角度の補正を行うことは、前記第２参照角度に対応する第１参照角度を用いて前記第１回転角度の補正を行うことを含む、請求項１に記載の情報処理方法。
  3. 　前記所定の関係は、前記第２回転角度と前記第２参照角度の差分が閾値以下である関係を含む、請求項２に記載の情報処理方法。
  4. 　前記ジャイロセンサのキャリブレーションを行うことと、
    　前記キャリブレーションの後に前記動体が登録用の姿勢をとっている間に前記ジャイロセンサから得られた出力に基づき、前記動体の前記登録用の姿勢情報を推定することと、
    　前記登録用の姿勢情報に含まれる前記第１回転角度を前記第１参照角度として登録し、前記登録用の姿勢情報に含まれる前記第２回転角度を前記第２参照角度として登録することと、
    を含む、請求項２に記載の情報処理方法。
  5. 　前記キャリブレーションの後に、前記動体に前記登録用の姿勢をとることを誘導する誘導画面を表示することを含む、請求項４に記載の情報処理方法。
  6. 　前記第１回転角度の補正を行うことは、前記１回転角度を前記第１参照角度に経時的に近づけていく補正を行うことである、請求項２に記載の情報処理方法。
  7. 　所定の操作入力が行われたことに基づいて前記第１回転角度の補正を行うことをさらに含む、請求項１に記載の情報処理方法。
  8. 　前記第１回転角度と前記第２回転角度を含む複数の学習用データに基づき、前記第１回転角度と前記第２回転角度との関係モデルを学習により構築することをさらに含み、
    　前記第１参照角度は、前記動体の前記第２回転角度から前記関係モデルに基づいて推定される第１回転角度である、請求項２に記載の情報処理方法。
  9. 　前記関係モデルを前記第１回転角度と前記第２回転角度を含む複数のテスト用データを用いて評価することと、
    　前記複数のテスト用データを用いた評価において、前記第１回転角度の推定誤差が閾値以下であった第２回転角度を前記第２参照角度として抽出することと、
    をさらに含む、請求項８に記載の情報処理方法。
  10. 　前記動体の複数の部位に前記ジャイロセンサが取り付けられ、
    　前記第１回転角度の補正を行うことは、ある部位についての前記第２回転角度に関する条件が満たされる場合に、当該部位についての前記第１回転角度の補正を行うことを含む、請求項１に記載の情報処理方法。
  11. 　前記動体の姿勢情報は、前記重力方向の軸、および前記重力方向に直交する軸の双方に直交する軸周りの第３回転角度を含み、
    　前記条件は、前記第２回転角度および前記第３回転角度に関する条件である、請求項１に記載の情報処理方法。
  12. 　前記動体の位置を示す位置情報を推定することをさらに含み、
    　前記条件は、前記動体の位置に関する条件を含む、請求項１に記載の情報処理方法。
  13. 　前記動体には地磁気センサが取り付けられ、
    　前記条件は、前記地磁気センサから得られる地磁気値に関する条件を含む、請求項１に記載の情報処理方法。
  14. 　動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定する推定部と、
    　前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行う回転角度補正部と、
    を含む、情報処理装置。
  15. 　コンピュータを、
    　動体に取り付けられたジャイロセンサからの出力に基づき、重力方向の軸周りの第１回転角度、および前記重力方向に直交する軸周りの第２回転角度を含む前記動体の姿勢情報を推定する推定部と、
    　前記第２回転角度に関する条件が満たされる場合に、前記第１回転角度の補正を行う回転角度補正部と、
    として機能させるための、プログラム。
PCT/JP2022/000903 2021-04-08 2022-01-13 情報処理方法、情報処理装置およびプログラム WO2022215313A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023512824A JPWO2022215313A1 (ja) 2021-04-08 2022-01-13
EP22784300.0A EP4321973A1 (en) 2021-04-08 2022-01-13 Information processing method, information processing device, and program
CN202280026569.8A CN117120961A (zh) 2021-04-08 2022-01-13 信息处理方法、信息处理装置和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021065822 2021-04-08
JP2021-065822 2021-04-08

Publications (1)

Publication Number Publication Date
WO2022215313A1 true WO2022215313A1 (ja) 2022-10-13

Family

ID=83546312

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000903 WO2022215313A1 (ja) 2021-04-08 2022-01-13 情報処理方法、情報処理装置およびプログラム

Country Status (4)

Country Link
EP (1) EP4321973A1 (ja)
JP (1) JPWO2022215313A1 (ja)
CN (1) CN117120961A (ja)
WO (1) WO2022215313A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503530A (ja) * 2005-08-01 2009-01-29 トヨタ自動車株式会社 加速度センサの補正装置および加速度センサの出力値補正方法
JP2009250778A (ja) * 2008-04-07 2009-10-29 Alpine Electronics Inc カルマンフィルタ処理における繰り返し演算制御方法及び装置
JP2011257342A (ja) * 2010-06-11 2011-12-22 Nsk Ltd ヘッドトラッキング装置及びヘッドトラッキング方法
JP2015149051A (ja) * 2014-01-08 2015-08-20 富士通株式会社 入力装置、入力方法および入力プログラム
WO2019203188A1 (ja) 2018-04-17 2019-10-24 ソニー株式会社 プログラム、情報処理装置、及び情報処理方法
JP2019211864A (ja) * 2018-05-31 2019-12-12 株式会社コロプラ コンピュータプログラム、情報処理装置および情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503530A (ja) * 2005-08-01 2009-01-29 トヨタ自動車株式会社 加速度センサの補正装置および加速度センサの出力値補正方法
JP2009250778A (ja) * 2008-04-07 2009-10-29 Alpine Electronics Inc カルマンフィルタ処理における繰り返し演算制御方法及び装置
JP2011257342A (ja) * 2010-06-11 2011-12-22 Nsk Ltd ヘッドトラッキング装置及びヘッドトラッキング方法
JP2015149051A (ja) * 2014-01-08 2015-08-20 富士通株式会社 入力装置、入力方法および入力プログラム
WO2019203188A1 (ja) 2018-04-17 2019-10-24 ソニー株式会社 プログラム、情報処理装置、及び情報処理方法
JP2019211864A (ja) * 2018-05-31 2019-12-12 株式会社コロプラ コンピュータプログラム、情報処理装置および情報処理方法

Also Published As

Publication number Publication date
CN117120961A (zh) 2023-11-24
EP4321973A1 (en) 2024-02-14
JPWO2022215313A1 (ja) 2022-10-13

Similar Documents

Publication Publication Date Title
US8953036B2 (en) Information processing apparatus, information processing method, program, and information processing system
CN111954490A (zh) 程序、信息处理装置和信息处理方法
CN103635891A (zh) 大量同时远程数字呈现世界
US11609345B2 (en) System and method to determine positioning in a virtual coordinate system
JP2010257081A (ja) 画像処理方法及び画像処理装置
JPWO2020110659A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN113365085A (zh) 一种直播视频生成方法及装置
US11694380B2 (en) System and method for immersive telecommunications
WO2022215313A1 (ja) 情報処理方法、情報処理装置およびプログラム
JP2006318385A (ja) 画像生成システム、プログラムおよび情報記憶媒体
JP2020135428A (ja) 位置データ処理装置およびプログラム
US20240175717A1 (en) Information processing method, information processing apparatus, and program
WO2022168428A1 (ja) 情報処理方法、情報処理装置およびプログラム
JP5359950B2 (ja) 運動支援装置、運動支援方法およびプログラム
EP4294019A1 (en) Display terminal, communication system, display method, and communication method
JP2005346016A (ja) 挙手検知機、およびこれを用いた挙手検知システム
WO2022113834A1 (ja) システム、撮像装置、情報処理装置、情報処理方法および情報処理プログラム
JP7458731B2 (ja) 画像生成システム、画像処理装置、情報処理装置、画像生成方法、及びプログラム
WO2022044399A1 (ja) 端末装置、及びフォーム改善支援方法
US10477138B2 (en) Methods and systems for presenting specific information in a virtual reality environment
KR101882980B1 (ko) 운동관련 물리량 측정센서 기반 모션데이터 생성방법
JPWO2017199352A1 (ja) 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム
JP2024033276A (ja) 通信システム、情報処理システム、動画作成方法、プログラム
CN116958352A (zh) 美术资源的处理方法、装置、电子设备及存储介质
JP2024033277A (ja) 通信システム、情報処理システム、映像再生方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22784300

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023512824

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18285130

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022784300

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022784300

Country of ref document: EP

Effective date: 20231108