WO2019124069A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2019124069A1
WO2019124069A1 PCT/JP2018/044640 JP2018044640W WO2019124069A1 WO 2019124069 A1 WO2019124069 A1 WO 2019124069A1 JP 2018044640 W JP2018044640 W JP 2018044640W WO 2019124069 A1 WO2019124069 A1 WO 2019124069A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
rhythm
user
unit
degree
Prior art date
Application number
PCT/JP2018/044640
Other languages
English (en)
French (fr)
Inventor
敬太 望月
康隆 福本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019560940A priority Critical patent/JP7192794B2/ja
Priority to US16/772,475 priority patent/US20200388190A1/en
Priority to CN201880071450.6A priority patent/CN111315453B/zh
Priority to EP18890236.5A priority patent/EP3730196A4/en
Publication of WO2019124069A1 publication Critical patent/WO2019124069A1/ja
Priority to JP2022193967A priority patent/JP7424456B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836—Sensors arranged on the body of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program, and more particularly to an information processing apparatus, an information processing method, and a program suitable for use in recognizing a rhythm of movement of a user.
  • the exercise rhythm of each user is estimated based on exercise information from sensors attached to each of a plurality of users, and the degree of difference between the exercise rhythm of each user and the basic exercise rhythm, or exercise between users
  • a system has been proposed which calculates the degree of difference in rhythm and feeds back the result to the user.
  • a tempo for example, beats per minute: BPM
  • BPM beats per minute
  • rhythm of the user's movement is usually not as monotonous as the beat of music, but more complex. Therefore, the number of beats per unit time may not properly represent the rhythm of the user's movement.
  • the present technology has been made in view of such a situation, and makes it possible to appropriately recognize the rhythm of the user's movement.
  • the information processing apparatus is configured to detect the movement of the detection position detected by the sensor device at one or more detection positions including at least one position on the user's trunk.
  • a motion rhythm recognition unit that recognizes a motion rhythm that indicates a rhythm of movement is provided.
  • the information processing device is based on detection data indicating movement of the detection position detected by the sensor device at one or more detection positions including at least one location on the user's trunk. And recognize a motion rhythm indicating a rhythm of the movement of the user.
  • a program according to one aspect of the present technology is a program of the user's movement based on detection data indicating movement of the detection position detected by the sensor device at one or more detection positions including at least one position on the user's trunk.
  • the computer is made to execute a process of recognizing a motion rhythm indicating a rhythm.
  • a rhythm of movement of the user based on detection data indicating movement of the detection position detected by the sensor device at one or more detection positions including at least one position on the trunk of the user. Motion rhythm is recognized.
  • FIG. 1 is a block diagram showing an embodiment of a music recommendation system to which the present technology is applied. It is a flowchart for demonstrating a music recommendation process. It is a figure showing an example of composition of a computer.
  • FIG. 1 shows a configuration example of hardware of a rendering system 100 to which the present technology is applied.
  • the rendering system 100 is a system that analyzes the motion of the user and produces the performance of the user based on the analysis result.
  • the type of performance to be rendered is not particularly limited. For example, performances such as theater, music, dance etc. are targeted.
  • the rendering system 100 includes wearable sensors 101-1 to 101-5, an analysis computer 102, a control computer 103, and a rendering device 104.
  • wearable sensors 101-1 to 101-5 will be simply referred to as wearable sensors 101 unless it is necessary to distinguish them individually.
  • Each wearable sensor 101 is a sensor device which is attached to different positions (hereinafter referred to as detection points or detection positions) of the user and detects the movement of each detection point.
  • Each wearable sensor 101 transmits a communication packet including motion detection data indicating the detection result of the motion of each detection point to the analysis computer 102.
  • the analysis computer 102 analyzes the motion of the user based on motion detection data from each wearable sensor 101.
  • the analysis computer 102 transmits data indicating the result of the motion analysis of the user to the control computer 103.
  • the control computer 103 controls the rendering of the user's performance by the rendering device 104 based on the result of the motion analysis of the user. For example, the control computer 103 generates effect control data for controlling an effect by the effect device 104, and transmits the effect control data to the effect device 104.
  • the effect device 104 effects the user's performance based on the effect control data.
  • each wearable sensor 101 and the analysis computer 102 for example, low delay short distance wireless communication of an arbitrary system is adopted. By employing the short distance wireless communication, it is possible to reduce the power consumption of the wearable sensor 101 and to miniaturize the wearable sensor 101.
  • any type of wireless communication or wired communication is adopted.
  • control computer 103 For communication between the control computer 103 and the rendering device 104, for example, any type of wireless communication or wired communication is adopted.
  • analysis computer 102 and the control computer 103 may be configured by one device.
  • FIG. 2 shows an example of the minimum configuration of the wearable sensor 101. Specifically, FIG. 2 shows an example in which only one wearable sensor 101 is attached to the user.
  • the wearable sensor 101-1 is attached to the head of the user and detects the movement of the head of the user.
  • the wearable sensor 101-6 is attached to the user's waist and detects the motion of the user's waist. That is, the wearable sensor 101-1 or the wearable sensor 101-6 detects the motion, the center of gravity, the posture, etc. of the user's trunk.
  • the rhythm is often taken basically by the vertical movement of the trunk. Therefore, for example, in the case where only motion rhythm recognition to be described later is performed in motion analysis, as shown in A or B of FIG. 2, the wearable sensor 101 may be attached to only one place on the user's trunk.
  • FIG. 3 shows an example in which the wearable sensor 101 is attached to the limbs in addition to the trunk in order to capture the movement of the entire body of the user.
  • the wearable sensor 101 does not have to be attached to all the hands and feet of the user, and may be attached to only the hands or feet, for example.
  • wearable sensors 101-2 to 101-5 are additionally attached to the user's wrists and ankles in comparison with A of FIG. 2.
  • the wearable sensor 101-2 is attached to the user's left wrist and detects movement of the left wrist.
  • the wearable sensor 101-3 is attached to the user's right wrist and detects movement of the right wrist. That is, the wearable sensor 101-2 and the wearable sensor 101-3 detect the movement of the user's hands and the snap of the wrist.
  • the wearable sensor 101-4 is attached to the left ankle of the user and detects movement of the left ankle.
  • the wearable sensor 101-5 is attached to the right ankle of the user and detects movement of the right ankle. That is, the wearable sensor 101-4 and the wearable sensor 101-5 detect the movement, the step, and the like of the user's feet.
  • the motion analysis of the user is performed based on the interlocking movement of the user's trunk, both hands, and both feet.
  • wearable sensors 101-4 and 101-5 are additionally attached to the user's ankles, as compared to FIG. 2B. That is, the wearable sensor 101-4 and the wearable sensor 101-5 detect the movement, the step, and the like of the user's feet.
  • the motion analysis of the user is performed on the basis of the interlocking movement of the user's trunk and the mutual legs.
  • the mounting number and mounting position of the wearable sensor 101 shown in FIGS. 2 and 3 are an example, and may be changed as appropriate depending on the application, accuracy, etc. of the motion analysis.
  • the wearable sensor 101 may be worn on the back as the user's trunk. Also, the wearable sensor 101 may be attached to two or more places on the user's trunk.
  • the method of mounting the wearable sensor 101 is not particularly limited. For example, bands, belts, supporters, tapes, clips and the like are used.
  • the mounting position of each wearable sensor 101 is prevented from moving as much as possible without disturbing the movement of the user or giving a sense of discomfort to the user. Is desirable.
  • the wearable sensor 101-1 to the wearable sensor 101-5 will be described as an example where the user wears the wearable sensor 101-1 on the head, both hands, and both feet. .
  • FIG. 4 shows a configuration example of the function of the rendering system 100.
  • the effect system 100 includes the wearable sensor 101-1 to the wearable sensor 101-5, the communication unit 151, the sensor synchronization unit 152, the motion analysis unit 153, the effect control unit 154, the lighting device 155, the video device 156, and the audio device 157. Prepare.
  • the communication unit 151 receives a communication packet from each wearable sensor 101 and supplies the communication packet to the sensor synchronization unit 152.
  • the sensor synchronization unit 152 absorbs the time difference of the motion detection data of each detection point by synchronizing the motion detection data included in the communication packet from each wearable sensor 101.
  • the sensor synchronization unit 152 supplies each motion detection data after synchronization to the motion analysis unit 153.
  • the motion analysis unit 153 is realized by, for example, the analysis computer 102 of FIG. 1 and performs motion analysis of the user.
  • the motion analysis unit 153 includes a motion rhythm recognition unit 161, a motion BPM (Beats Per Minute) recognition unit 162, and a motion recognition unit 163.
  • the motion rhythm recognition unit 161 performs recognition processing of a motion rhythm indicating the rhythm of the movement of the user based on the motion detection data from each wearable sensor 101.
  • the motion rhythm recognition unit 161 supplies the effect control unit 154 with data indicating the recognition result of the motion rhythm of the user.
  • the motion BPM recognition unit 162 performs recognition processing of the motion BPM indicating the fundamental frequency of the motion of the user based on the motion detection data from each wearable sensor 101.
  • the motion BPM recognition unit 162 supplies data indicating the recognition result of the motion BPM of the user to the effect control unit 154.
  • the motion recognition unit 163 recognizes the motion of the user based on the motion detection data from each wearable sensor 101.
  • the motion recognition unit 163 supplies the effect control unit 154 with data indicating the recognition result of the motion of the user.
  • the effect control unit 154 is realized by, for example, the control computer 103 in FIG. 1 and controls the effects of the user's performance by the lighting device 155, the video device 156, and the audio device 157.
  • the effect control unit 154 includes an illumination control unit 171, an image control unit 172, and an acoustic control unit 173.
  • the illumination control unit 171 generates illumination effect control data for controlling an effect by the illumination device 155 based on the motion rhythm, motion BPM, motion, and the like of the user, and transmits the illumination effect control data to the illumination device 155.
  • the video control unit 172 generates video rendering control data for controlling the rendering by the video device 156 based on the motion rhythm, motion BPM, motion, and the like of the user, and transmits the video rendering control data to the video device 156.
  • the sound control unit 173 generates sound effect control data for controlling the effect by the sound device 157 based on the motion rhythm, the motion BPM, the motion, and the like of the user, and transmits the data to the sound device 157.
  • the illumination device 155 is configured by, for example, various lights, light sources, and the like.
  • the lighting device 155 performs lighting effects by outputting various lights under the control of the lighting control unit 171 based on the lighting effect control data.
  • the video device 156 is configured by, for example, a projector, a monitor, and the like.
  • the video device 156 performs video rendering by outputting various types of video under the control of the video control unit 172 based on the video rendering control data.
  • the acoustic device 157 is configured of, for example, a mixer, a speaker, and the like.
  • the sound device 157 performs sound effects by outputting various sounds under the control of the sound control unit 173 based on the sound effect control data.
  • FIG. 5 shows a configuration example of the wearable sensor 101 of FIG.
  • FIG. 6 shows an example of the specification of each sensor of the wearable sensor 101.
  • the wearable sensor 101 includes an HDR (High Dynamic Range) acceleration sensor 201, an LDR (Low Dynamic Range) acceleration sensor 202, an HDR (High Dynamic Range) gyro sensor 203, an LDR (Low Dynamic Range) gyro sensor 204, a geomagnetic sensor 205, distortion.
  • Sensor 206 barometric pressure sensor 207, time information acquisition unit 208, sensor data acquisition unit 209, merge processing unit 210, posture detection unit 211, correction unit 212, buffer 213, packet generation unit 214, transmission control unit 215, transmission unit And 216.
  • the HDR acceleration sensor 201 detects accelerations in three axial directions of a pitch axis (x axis), a roll axis (y axis), and a yaw axis (z axis) of a position (detection point) at which the wearable sensor 101 is mounted. I do.
  • the HDR acceleration sensor 201 samples the acceleration of the detection point at a sampling frequency of 1024 Hz, and outputs 16-bit ⁇ 3-axis sensor data (hereinafter, referred to as HDR acceleration data).
  • the LDR acceleration sensor 202 detects accelerations in the directions of the pitch axis, the roll axis, and the yaw axis of the detection point. For example, the LDR acceleration sensor 202 samples the acceleration of the detection point at a sampling frequency of 1024 Hz, and outputs 16-bit ⁇ 3-axis sensor data (hereinafter referred to as LDR acceleration data).
  • the dynamic range of acceleration that can be detected by the HDR acceleration sensor 201 is wider than that of the LDR acceleration sensor 202.
  • the HDR acceleration sensor 201 outputs sensor data at ⁇ 32 G and the LDR acceleration sensor 202 outputs ⁇ 16 G.
  • the HDR gyro sensor 203 detects angular velocity around the pitch axis of the detection point, around the roll axis, and around three axes around the yaw axis. For example, the HDR gyro sensor 203 samples the angular velocity of the detection point at a sampling frequency of 1024 Hz, and outputs 16-bit ⁇ 3-axis sensor data (hereinafter referred to as HDR angular velocity data).
  • the LDR gyro sensor 204 detects angular velocity around the pitch axis of the detection point, around the roll axis, and around three axes around the yaw axis. For example, the LDR gyro sensor 204 samples the angular velocity of the detection point at a sampling frequency of 1024 Hz, and outputs 16-bit ⁇ 3-axis sensor data (hereinafter referred to as LDR angular velocity data).
  • the dynamic range of the angular velocity that can be detected by the HDR gyro sensor 203 is wider than that of the LDR gyro sensor 204.
  • the HDR gyro sensor 203 outputs sensor data at ⁇ 4000 dps
  • the LDR gyro sensor 204 outputs sensor data at ⁇ 2000 dps.
  • the geomagnetic sensor 205 detects geomagnetism in the directions of the pitch axis, the roll axis, and the yaw axis around the detection point. For example, the geomagnetic sensor 205 samples the geomagnetism around the detection point at a sampling frequency of 128 Hz, and outputs 16-bit ⁇ 3-axis sensor data (hereinafter referred to as geomagnetic data).
  • the strain sensor 206 detects strain (for example, expansion and contraction of the detection point) in two axial directions of the pitch axis and roll axis of the detection point.
  • the distortion sensor 206 samples distortion of the detection point at a sampling frequency of 256 Hz, and outputs 16-bit ⁇ 2-axis sensor data (hereinafter referred to as distortion data).
  • the pressure sensor 207 detects the pressure around the detection point. For example, the position in the height direction of the detection point is detected based on the pressure around the detection point.
  • the barometric pressure sensor 207 samples the barometric pressure around the detection point at a sampling frequency of 128 Hz, and outputs 24-bit sensor data (hereinafter, referred to as barometric pressure data).
  • the time information acquisition unit 208 includes, for example, a clock, acquires time information indicating the current time, and supplies the time information to the sensor data acquisition unit 209.
  • the sensor data acquisition unit 209 acquires HDR acceleration data, LDR acceleration data, HDR angular velocity data, and LDR angular velocity data from the HDR acceleration sensor 201, LDR acceleration sensor 202, HDR gyro sensor 203, and LDR gyro sensor 204, respectively.
  • the acquired time is added to the acquired data, and the data is supplied to the merge processing unit 210.
  • the sensor data acquisition unit 209 acquires geomagnetic data from the geomagnetic sensor 205, adds the acquired time to the acquired data, and supplies the data to the attitude detection unit 211.
  • the sensor data acquisition unit 209 acquires distortion data and barometric pressure data from the distortion sensor 206 and the barometric pressure sensor 207, adds the acquired time to the acquired data, and supplies the data to the correction unit 212.
  • the merge processing unit 210 performs merge processing of HDR acceleration data and LDR acceleration data, and merge processing of HDR angular velocity data and LDR angular velocity data.
  • the merge processing unit 210 supplies the post-merged acceleration data and angular velocity data to the posture detection unit 211 and the buffer 213.
  • the attitude detection unit 211 detects the attitude of the detection point based on the acceleration data, the angular velocity data, and the geomagnetic data.
  • the posture of the detection point is represented, for example, by the Euler angle.
  • the posture detection unit 211 supplies data indicating the calculation result (hereinafter referred to as posture data) to the buffer 213.
  • the correction unit 212 corrects distortion data and barometric pressure data, and supplies the corrected distortion data and barometric pressure data to the buffer 213.
  • the buffer 213 temporarily accumulates posture data, acceleration data, angular velocity data, distortion data, and barometric pressure data.
  • the packet generation unit 214 generates a communication packet for transmitting motion detection data including posture data, acceleration data, angular velocity data, distortion data, and barometric pressure data stored in the buffer 213, and transmits the communication packet to the transmission control unit 215. Supply.
  • the transmission control unit 215 controls transmission of communication packets by the transmission unit 216.
  • the transmission unit 216 transmits a communication packet to the communication unit 151 by wireless communication of a predetermined scheme.
  • each part of the wearable sensor 101 is driven by a battery, for example.
  • This processing is started, for example, when the power of the wearable sensor 101 is turned on, and ends when the power is turned off.
  • step S1 the sensor data acquisition unit 209 starts acquisition of sensor data.
  • the sensor data acquisition unit 209 includes HDR acceleration data, LDR acceleration data, HDR angular velocity data, and LDR from the HDR acceleration sensor 201, the LDR acceleration sensor 202, the HDR gyro sensor 203, and the LDR gyro sensor 204, respectively.
  • the angular velocity data is acquired, the acquired data is added with the acquired time, and processing to be supplied to the merge processing unit 210 is started.
  • the sensor data acquisition unit 209 acquires geomagnetic data from the geomagnetic sensor 205, adds the acquired time to the acquired data, and starts processing for supplying the acquired data to the attitude detection unit 211.
  • the sensor data acquisition unit 209 acquires distortion data and barometric pressure data from the distortion sensor 206 and the barometric pressure sensor 207, adds the acquired time to the acquired data, and starts processing for supplying the corrected data to the correction unit 212.
  • step S2 the merge processing unit 210 starts merge processing of acceleration data and angular velocity data.
  • the merge processing unit 210 merges (synthesizes) the HDR acceleration data and the LDR acceleration data, supplies the merged acceleration data to the buffer 213, and starts processing for accumulation.
  • data based on LDR acceleration data is used as data within the dynamic range of LDR acceleration data, and data based on HDR acceleration data is used as data in other ranges. used.
  • the detection accuracy of the acceleration within the dynamic range of the LDR acceleration data is improved.
  • the merge processing unit 210 merges (synthesizes) the HDR angular velocity data and the LDR angular velocity data, supplies the merged angular velocity data to the buffer 213, and starts processing for accumulation.
  • angular velocity data after merging data based on LDR angular velocity data is used as data within the dynamic range of LDR angular velocity data, and data based on HDR angular velocity data is used as data in other ranges. used. Thereby, in the angular velocity data after merging, detection accuracy of the angular velocity within the dynamic range of LDR angular velocity data is improved.
  • step S3 the posture detection unit 211 starts detection of the posture. Specifically, based on acceleration data, angular velocity data, and geomagnetic data, the posture detection unit 211 performs Euler around the pitch axis, the roll axis, and the three axes around the yaw axis, which indicate the attitude of the detection point. Start the process of detecting corners. Further, the posture detection unit 211 supplies the posture data indicating the detection result to the buffer 213, and starts processing for storing.
  • step S4 the correction unit 212 starts correction of distortion data and barometric pressure data.
  • the correction unit 212 starts processing such as noise removal of distortion data and barometric pressure data, data size conversion, and the like.
  • the correction unit 212 supplies the distortion data and the barometric pressure data after correction to the buffer 213 and starts processing for accumulating.
  • step S5 the packet generation unit 214 determines whether it is time to transmit a communication packet. This determination process is repeatedly executed until it is determined that it is the timing to transmit the communication packet, and when it is determined that it is the timing to transmit the communication packet, the process proceeds to step S6.
  • communication packets are transmitted at predetermined intervals.
  • the communication packet is transmitted at a transmission frequency of 128 Hz (ie, 128 times per second).
  • the sampling frequency of motion detection data included in the communication packet is 128 Hz.
  • step S6 the packet generation unit 214 generates a communication packet.
  • the packet generation unit 214 reads the latest posture data, acceleration data, angular velocity data, distortion data, and pressure data from the buffer 213.
  • the packet generation unit 214 acquires time information indicating the current time from the time information acquisition unit 138. Then, the packet generation unit 214 generates a communication packet including the attitude data, the acceleration data, the angular velocity data, the distortion data, and the pressure data read from the buffer 213.
  • FIG. 8 shows an example of the format of the communication packet generated by the packet generation unit 214.
  • the communication packet includes a header, a time stamp, and motion detection data.
  • the time when sensor data was acquired is set in the time stamp.
  • the earliest time among the acquisition times of each sensor data used for the movement detection data in the communication packet is set as the time when the sensor data is acquired.
  • a time stamp time when sensor data is acquired
  • the format of the communication packet is, for example, a header, time stamp 1, data 1 included in motion detection data (for example, posture data), time stamp 2, data 2 included in motion detection data (for example, acceleration data) , ⁇ become that way.
  • the motion detection data includes posture data, acceleration data, angular velocity data, distortion data, and barometric pressure data read from the buffer 213.
  • the motion detection data is encrypted by, for example, a predetermined method.
  • FIG. 9 shows a specification example of each data included in the motion detection data.
  • the size of the attitude data is, for example, 16 bits ⁇ 3 axes.
  • the transmission frequency of the communication packet is 128 Hz
  • the sampling frequency of the attitude data is 128 Hz
  • the bit rate is 6,144 bps (bit per second).
  • the size of acceleration data is, for example, 20 bits ⁇ 3 axes.
  • the transmission frequency of the communication packet is 128 Hz
  • the sampling frequency of the acceleration data is 128 Hz
  • the bit rate is 7,680 bps.
  • the size of angular velocity data is, for example, 20 bits ⁇ 3 axes.
  • the transmission frequency of the communication packet is 128 Hz
  • the sampling frequency of the angular velocity data is 128 Hz
  • the bit rate is 7,680 bps.
  • the size of distortion data is, for example, 16 bits ⁇ 2 axes.
  • the transmission frequency of the communication packet is 128 Hz
  • the sampling frequency of the distortion data is 128 Hz
  • the bit rate is 4096 bps.
  • the pressure data size is, for example, 24 bits.
  • the transmission frequency of the communication packet is 128 Hz
  • the sampling frequency of barometric pressure data is 128 Hz
  • the bit rate is 2,048 bps.
  • the packet generation unit 214 supplies the communication packet to the transmission control unit 215. Also, the packet generation unit 214 deletes, from the buffer 213, each data to be transmitted by the communication packet and data older than that.
  • step S7 the transmission unit 216 transmits the communication packet to the communication unit 151 under the control of the transmission control unit 215.
  • step S5 Thereafter, the process returns to step S5, and the processes after step S5 are performed.
  • This process is started, for example, when the power of the analysis computer 102 is turned on and ends when the power is turned off.
  • step S31 the motion analysis unit 153 starts motion analysis.
  • the motion rhythm recognition unit 161 is supplied from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152 using, for example, the motion rhythm recognition model obtained by the learning process in advance.
  • the recognition processing of the motion rhythm of the user is started based on the motion detection data.
  • the motion rhythm recognition unit 161 starts processing for detecting the timing at which the user has taken a motion rhythm (rhythm of movement).
  • FIG. 11 simply shows the difference between the music beat and the motion rhythm.
  • the upper graph shows an example of music beats and the lower graph shows an example of motion rhythm.
  • the beats of music change little in the same music, and are regularly inscribed at substantially constant intervals.
  • motion rhythms are often synchronized with the beat of the music (on top of the beat of the music), but they may be taken at any timing that is different from the beat and can not be understood from the music. There are many.
  • a motion rhythm is represented by the accent of the user's movement.
  • the accent of the user's movement is represented, for example, by the change in the user's movement direction, speed, and pattern. For example, the following is mentioned as an example of the motion which takes motion rhythm in dance.
  • the timing when the orientation, speed or pattern changes for example, when the user stops the movement, changes the direction of the movement, or starts moving becomes the timing when the user takes the motion rhythm.
  • the user is taking motion rhythm at every timing when the user's motion direction, speed and pattern change.
  • the head may be shaken up and down, but the motion rhythm may be taken at the timing when the head is stopped up and down, or the motion rhythm may be taken only at one of the timings.
  • the motion rhythm may be taken only at one of the timings.
  • the motion rhythm recognition unit 161 starts calculation of a moving average of an interval at which the user has taken the motion rhythm (firing interval of the motion rhythm).
  • the motion rhythm recognition unit 161 detects the rhythm degree indicating the strength of the motion rhythm of the user (the strength of the rhythm of the user's movement), and the rhythm control data indicating the detected rhythm degree Start the process of supplying to The rhythm degree is represented, for example, by the accent strength of the user's movement.
  • a user wearing each wearable sensor 101 dances while taking rhythm in accordance with the click sound. That is, while the user dances, the user takes a rhythm at the timing of the click sound.
  • the click sound interval may or may not be constant.
  • the click sound is input to the deep neural network as correct data. That is, the timing at which the click sound rang is given to the deep neural network as correct data indicating the timing at which the user has taken the motion rhythm.
  • the norm of the acceleration data (Acc in the figure) of each wearable sensor 101 and the norm of the angular velocity data (Gyro in the figure) shift a frame of a predetermined sample (for example, x sample) width in the time axis direction , Frame unit is extracted. Then, the norm of the acceleration data of each wearable sensor 101 in the extracted frame and the norm of the angular velocity data are synchronized, and the data after synchronization is input to the deep neural network.
  • the norm refers to the magnitude of the acceleration data or the vector of the angular velocity data.
  • a learning process using a deep neural network generates a motion rhythm recognition model for recognizing the motion rhythm of the user.
  • the motion rhythm recognition model outputs a discrete value of 1 or 0 indicating whether the motion rhythm has been taken or not.
  • the rhythm degree continuously value
  • the motion rhythm recognition model may output the reliability of the recognition result.
  • the motion BPM recognition unit 162 starts recognition processing of the motion BPM of the user based on the motion detection data supplied from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152.
  • the motion BPM is represented, for example, by the fundamental frequency of the motion of the user.
  • the fundamental frequency of acceleration data or angular velocity data is detected as motion BPM.
  • this one vertical movement corresponds to one beat of the motion BPM.
  • the motion rhythm represents irregularly observed motion of the user
  • the motion BPM represents periodic motion when observing the motion of the user in the long term.
  • general BPM is decided by music.
  • the BPM of the music may be changed by a factor of 2 or 1 and so on, and the music may be danced to the speed. Therefore, even with the same music, the motion of the user may be faster or slower. Therefore, the motion BPM does not necessarily match the BPM of the music, and may change in the same music.
  • the motion recognition unit 163 uses, for example, a motion recognition model obtained by the learning process in advance, based on motion detection data supplied from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152. , Start recognition processing of user's motion.
  • the motion is, for example, a unit of motion that constitutes an action of a user (person) based on a predetermined classification. Therefore, motion is a user's motion for a shorter time than an action. Also, the motion may be a motion of the whole body of the user or a motion of a part of the body of the user.
  • an action is an assembly of a series of motions based on a predetermined classification, and consists of a combination of multiple motions.
  • a set of motions for achieving a predetermined purpose is an action.
  • classifications of actions and motions can be arbitrarily set or changed. For example, based on sports events such as dance, ice skating, rugby, triathlon, swimming and mountain climbing, actions to be recognized as motion are classified. In this case, for example, it is possible to regard a sport combining multiple events such as gymnastic synthesis as one action.
  • an action whose motion is to be recognized is based on the action of daily life such as commuting, driving, work, studying, parenting, sleeping, cooking, eating, watching TV, singing, playing, photographing, etc. being classified.
  • motions to be recognized are classified based on dance skills such as slide, jerk, and bizmarque, for the action of dance.
  • the motion to be recognized is classified based on the movement of dance such as rotation, jump, step, roll, pitch and the like with respect to the action of dance.
  • the motion to be recognized may be classified based on both the dance technique and the movement.
  • motions to be recognized are classified based on the skills of figure skating such as Axel, Lutz, Sarkou.
  • motions to be recognized are classified based on the movement of figure skating such as sliding, rotating, jumping, stepping and the like.
  • the motion to be recognized may be classified based on both the technique and the movement of the figure skate.
  • motions to be recognized are classified based on rugby-specific movements such as scrum, try, run, pass, and tackle.
  • motions to be recognized are classified based on general motions such as running, jumping, throwing, catching, and colliding with an action of rugby. Note that motions to be recognized may be classified based on both rugby-specific movements and general movements.
  • motions to be recognized are classified based on the swimming method of swimming such as crawling, swimming, butterfly, and back swimming.
  • motions to be recognized are classified based on swimming movements such as dive, turn, breathing, kick and the like.
  • the motion to be recognized may be classified based on both the swimming method and the movement of swimming.
  • the motion to be recognized is classified based on the exercise event such as a horse, a floor, a hanging ring, and the like for the action of gymnastics integrated.
  • motions to be recognized are classified based on movements at the time of commuting such as walking, resting, taking a train, climbing stairs, etc., for the action of commuting.
  • the motion to be recognized is classified based on the movement during driving such as an accelerator, a brake, a gear change, and a backward check with respect to an action of driving.
  • motions to be recognized are classified based on movements at work such as speaking, listening, writing, telephone, using a PC, meeting, etc., for the action of work.
  • each eye of the triathlon can be an action for which motion is to be individually recognized. That is, swimming, cycling, or running may be classified as an action, and a motion recognition process may be performed for each action.
  • the motion recognition unit 163 basically recognizes up to the type of motion of the user (for example, meaning information of motion), and does not perform detailed motion recognition of each motion.
  • the number of wearable sensors 101 can be reduced by limiting recognition to the type of motion of the user based on a predetermined classification.
  • the burden on the user can be reduced as compared with the conventional motion capture system used in CG (Computer Graphics) or the like. For example, even if the user wears the wearable sensor 101, the user can perform almost normal movement with almost no restriction on movement.
  • a user wearing each wearable sensor 101 performs various motions to be recognized. Then, the type of motion (motion class) performed by the user is given to the deep neural network as correct data.
  • motion class type of motion
  • the norm of the acceleration data (Acc in the figure) and the norm of the angular velocity data (Gyro in the figure) of each wearable sensor 101 when the user performs each motion have a predetermined sample (for example, x sample) width
  • the frame is extracted on a frame basis while shifting the frame in the time axis direction. Then, the norm of the acceleration data in the extracted frame and the norm of the angular velocity data are synchronized, and the data after synchronization is input to the deep neural network.
  • a learning process using a deep neural network generates a motion recognition model for recognizing the motion of the user.
  • step S32 the motion rhythm recognition unit 161 determines whether a motion rhythm has been taken. If it is determined that the motion rhythm has been taken, the process proceeds to step S33.
  • step S33 the motion rhythm recognition unit 161 notifies rhythm timing. That is, the motion rhythm recognition unit 161 supplies, to the effect control unit 154, rhythm timing data indicating the timing at which the user has taken the motion rhythm.
  • step S34 the motion rhythm recognition unit 161 determines whether the motion rhythm has changed. For example, the motion rhythm recognition unit 161 determines that the motion rhythm has changed when the moving average of the interval at which the user takes the motion rhythm changes by a predetermined threshold or more, and the process proceeds to step S35.
  • step S34 it is always determined that the motion rhythm has changed, and the process proceeds to step S35.
  • step S35 the motion rhythm recognition unit 161 notifies the rhythm change timing. That is, the motion rhythm recognition unit 161 supplies rhythm change timing data indicating the timing at which the motion rhythm has changed to the effect control unit 154.
  • step S34 for example, the motion rhythm recognition unit 161 determines that the motion rhythm has not changed if the moving average of the interval taking the motion rhythm has not changed by a predetermined threshold or more, and the processing of step S35. Is skipped, and the process proceeds to step S36.
  • step S32 If it is determined in step S32 that no motion rhythm has been taken, the processing in steps S33 to S35 is skipped, and the process proceeds to step S36.
  • step S36 the motion BPM recognition unit 162 determines whether the motion BPM has changed. For example, if the amount of change in motion BPM is equal to or greater than a predetermined threshold, the motion BPM recognition unit 162 determines that the motion BPM has changed, and the process proceeds to step S37.
  • step S36 it is always determined that the motion BPM has changed, and the process proceeds to step S37.
  • step S37 the motion BPM recognition unit 162 notifies of the motion BPM. That is, the motion BPM recognition unit 162 supplies motion BPM data indicating the detected motion BPM to the effect control unit 154.
  • step S36 for example, if the amount of change in motion BPM is less than the predetermined threshold, the motion BPM recognition unit 162 determines that the motion BPM has not changed, and the processing in step S37 is skipped, and the processing The process proceeds to step S38.
  • step S38 the motion recognition unit 163 determines whether motion has been detected. If it is determined that a motion is detected, the process proceeds to step S39.
  • step S39 the motion recognition unit 163 notifies of the type of motion. That is, the motion recognition unit 163 supplies motion data indicating the type of the detected motion to the effect control unit 154.
  • the timing for notifying the type of motion is, for example, the timing at which the motion is completed. For example, as shown in FIG. 16, when the user jumps, the type of motion is notified when the user stands up after landing.
  • step S32 Thereafter, the process returns to step S32, and the processes after step S32 are performed.
  • step S38 determines whether motion has been detected. If it is determined in step S38 that no motion has been detected, the process returns to step S32, and the processes of step S32 and subsequent steps are performed.
  • This processing is started, for example, when the power of the control computer 103 is turned on, and ends when the power is turned off.
  • step S61 the effect control unit 154 acquires a motion analysis result. Specifically, the effect control unit 154 acquires rhythm degree data, rhythm timing data, rhythm change timing data, motion BPM data, or motion data from the motion analysis unit 153.
  • step S62 the effect control unit 154 performs effect control based on the motion analysis result.
  • the lighting control unit 171 causes the lighting device 155 to emit light strongly. At this time, the illumination control unit 171 may adjust the light amount based on the degree of rhythm.
  • the illumination control unit 171 changes the illumination direction of the illumination device 155.
  • the illumination control unit 171 shakes the illumination direction of the illumination device 155 left and right, up and down, and the like.
  • the illumination control unit 171 may adjust the speed at which the illumination direction is changed based on the degree of rhythm.
  • the video control unit 172 applies an effect to the video output from the video device 156.
  • the video control unit 172 may adjust the type and strength of the effect based on the degree of rhythm.
  • the sound control unit 173 causes the sound device 157 to sound an effect sound. At this time, the sound control unit 173 may adjust the type and strength of the sound effect based on the degree of rhythm.
  • the illumination control unit 171 changes the color theme of the illumination device 155 or switches the light emission pattern.
  • the video control unit 172 changes the color theme of the video output from the video device 156, switches the video, and performs a cut change of the video.
  • the sound control unit 173 switches BGM (Back Ground Music) output from the sound device 157. Also, for example, the sound control unit 173 switches the beat pattern output from the sound device 157. Furthermore, for example, the sound control unit 173 causes the sound device 157 to sound an effect sound.
  • BGM Back Ground Music
  • the illumination control unit 171 adjusts the timing of periodical blinking of the light output from the illumination device 155 based on the motion BPM. For example, the illumination control unit 171 matches the periodic timing of the light output from the illumination device 155 with the motion BPM.
  • the video control unit 172 adjusts the speed of animation of the avatar output from the video device 156 based on the motion BPM. For example, the video control unit 172 adjusts the speed of animation of the avatar to the motion BPM.
  • the sound control unit 173 causes the sound device 157 to output a beat pattern of the same BPM as the motion BPM. Also, for example, the sound control unit 173 adjusts the BPM of the music output from the sound device 157. For example, the sound control unit 173 adjusts the BPM of the music to the motion BPM.
  • the lighting control unit 171 causes the lighting device 155 to flash light at the timing when the motion is performed. At this time, the illumination control unit 171 may adjust the color and intensity of light based on the type and intensity of motion.
  • the lighting control unit 171 changes the color theme of the lighting device 155 at the timing when the motion is performed. At this time, the illumination control unit 171 may select a color theme based on the type and strength of motion.
  • the lighting control unit 171 switches the light emission pattern of the lighting device 155 at the timing when the motion is performed. At this time, the illumination control unit 171 may select the light emission pattern based on the type and strength of the motion.
  • the video control unit 172 applies an effect to the video output from the video device 156 at the timing when the motion is performed. At this time, the video control unit 172 may adjust the type and strength of the effect based on the type and strength of the motion.
  • the video control unit 172 assigns an animation associated with the motion to the avatar output from the video device 156 at the timing when the motion is performed. For example, the video control unit 172 causes the avatar to perform the same motion as the user.
  • the video control unit 172 causes the video device 156 to output a particle expression related to the motion at the timing when the motion is performed.
  • the video control unit 172 performs cut change of the video output from the video device 156 at the timing when the motion is performed.
  • the sound control unit 173 causes the sound device 157 to sound an effect sound. At this time, the sound control unit 173 may adjust the type and strength of the sound effect based on the type and strength of the motion.
  • step S61 the process returns to step S61, and the processes after step S61 are performed.
  • effective rendering can be performed in accordance with the user's motion rhythm, rhythm degree, motion BPM, or motion. Further, for example, even when the user performs a performance without playing music, it is possible to perform effective rendering based on only the user's movement.
  • the wearable sensors 101-1 to 101-5 in FIG. 4 the communication unit 151, and the sensor synchronization unit 152 are provided for each user.
  • the communication unit 151 and the sensor synchronization unit 152 can also be shared by a plurality of users. Then, for example, based on the motion rhythm, the rhythm degree, the motion BPM, or the motion of each user, the effect control is performed by the above-described method.
  • the motion rhythm recognition unit 161 may recognize a pattern of motion rhythm that appears repeatedly by observing the motion rhythm over a long period of time. Then, the effect control may be performed using a motion rhythm pattern.
  • acceleration data or angular velocity data may be converted into skeleton information of a human body and input.
  • the skeleton information is represented, for example, by the position and posture of each joint of the human body.
  • the motion rhythm recognition unit 161 may recognize that the user is in motion rhythm when the norm of the acceleration data exceeds a predetermined threshold. Also, for example, the motion rhythm recognition unit 161 may detect the timing at which the norm of the acceleration data becomes minimum, and may recognize that the user is in motion rhythm at that timing. As timing at which the norm of the acceleration data becomes minimum, for example, timing at which the motion of the user is stationary is assumed.
  • the machine learning when the user wears a plurality of wearable sensors 101, for example, the average value or the maximum value of the acceleration data of each wearable sensor 101 is used.
  • the performance presentation is not necessarily performed on the stage or the seat where the performance is being performed.
  • the effect may be performed by controlling the video and sound of the wearable device of each spectator. Good.
  • FIG. 19 illustrates a configuration example of the function of the sink evaluation system 300 to which the present technology is applied.
  • parts corresponding to those in FIG. 4 are given the same reference numerals, and the description thereof will be omitted as appropriate.
  • the sink evaluation system 300 is a system that evaluates the degree of synchronization indicating the degree of coincidence of the rhythms of movements of a plurality of users.
  • the sink evaluation system 300 is a system that evaluates the degree of coincidence (synchronization level) of movement rhythms among a plurality of users.
  • the sink evaluation system 300 includes motion analysis processing units 301-1 through to motion analysis processing units 301-n, a sync degree detection unit 302, and a presentation device 303.
  • the motion analysis processing unit 301-1 to the motion analysis processing unit 301-n are respectively provided for each user to be subjected to the sink evaluation.
  • the motion analysis processing unit 301-1 to the motion analysis processing unit 301-n are simply referred to as a motion analysis processing unit 301 when it is not necessary to distinguish them individually.
  • Each motion analysis processing unit 301 includes wearable sensors 101-1 to 101-5, a communication unit 151, a sensor synchronization unit 152, and a motion rhythm recognition unit 161.
  • the motion rhythm recognition unit 161 recognizes the motion rhythm of the user based on the motion detection data acquired from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152.
  • the motion rhythm recognition unit 161 supplies data indicating the recognition result of the motion rhythm of the user to the sync degree detection unit 302.
  • the sync degree detection unit 302 detects the sync degree of the motion rhythm between the users.
  • the sync degree detection unit 302 supplies data indicating the detected sync degree to the presentation device 303.
  • the presentation device 303 presents the synchronization degree of the motion rhythm between the users by video, sound, light, vibration or the like.
  • the communication unit 151, the sensor synchronization unit 152, and the motion rhythm recognition unit 161 do not necessarily have to be provided for each motion analysis processing unit 301, and may be shared among a plurality of motion analysis processing units 301.
  • This process is started, for example, when an instruction to start the process is input to the sink evaluation system 300, and ends when an instruction to end the process is input.
  • each motion analysis processing unit 301 recognizes the motion rhythm of each user. Specifically, each motion rhythm recognition unit 161 is based on the motion detection data supplied from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152 by the same processing as step S31 in FIG. 10 described above. And perform recognition processing of each user's motion rhythm. Then, each motion rhythm recognition unit 161 supplies, to the sync degree detection unit 302, rhythm timing data indicating the timing at which each user has taken motion rhythm and rhythm degree data indicating the rhythm degree.
  • step S102 the sync degree detection unit 302 detects the sync degree.
  • the sync degree detection unit 302 arranges the timing when the user A takes the motion rhythm and the timing when the user B takes the motion rhythm in chronological order from the oldest one.
  • the following Rhythm_A is a matrix in which the times at which the user A takes a motion rhythm are arranged in time series
  • the Rhythm_B is a matrix in which the times at which the user B takes a motion rhythm are arranged in time series.
  • Rhythm_A [0.342, 0.628, 1.391, ...]
  • Rhythm_B [0.322, 0.839, 1.458, ...]
  • the sync degree detection unit 302 pairs the elements of Rhythm_A with the elements of Rhythm_B that are close in time.
  • an array Rhythm_Pair consisting of (rhythm_a, rhythm_b) pairs is obtained.
  • rhythm_a indicates an element of Rhythm_A
  • rhythm_b indicates an element of Rhythm_B.
  • FIG. 21 is a graph plotting each pair constituting the array Rhythm_Pair.
  • the horizontal axis indicates the time when the user A takes the motion rhythm, and the vertical axis shows the time when the user B takes the motion rhythm.
  • the sync degree detection unit 302 calculates a correlation coefficient between rhythm_a and rhythm_b of the array Rhythm_Pair. Then, the sync degree detection unit 302 uses the calculated correlation coefficient as a sync degree of rhythm timing between the user A and the user B.
  • FIG. 22 is a graph showing an example of the rhythm degree of the user A and the user B.
  • the horizontal axis shows time, and the vertical axis shows the degree of rhythm.
  • the solid line graph indicates the rhythm degree of the user A, and the dotted line graph indicates the rhythm degree of the user B.
  • the sync degree detection unit 302 calculates the cross-correlation of the rhythm degree of the user A and the user B by the following equation (1).
  • f in the equation (1) represents a function indicating the degree of rhythm of the user A
  • g represents a function indicating the degree of rhythm of the user B
  • m indicates the shift amount.
  • FIG. 23 shows an example of the cross correlation of the rhythm degree of the user A and the user B.
  • the horizontal axis indicates the shift amount m, and the vertical axis indicates the cross correlation.
  • the sync degree detection unit 302 obtains the maximum value of the cross correlation between the rhythm degree of the user A and the user B as the sync degree of the motion rhythm of the user A and the user B.
  • the peak value of the cross-correlation of the dotted circle is the synch of the motion rhythms of the user A and the user B.
  • the sync degree detection unit 302 may detect the shift amount m when the cross correlation between the rhythm degree of the user A and the user B is maximum as the shift of the motion rhythm between the user A and the user B. It is possible.
  • the sync degree detection unit 302 supplies, to the presentation device 303, sync degree data indicating the detected sync degree.
  • step S103 the presentation device 303 presents the degree of sync.
  • the presentation device 303 presents a concrete numerical value of the degree of sync by video and audio. Also, for example, the presentation device 303 presents the degree of sync according to the type of sound effect, volume, or speed, intensity or color of light, or intensity or speed of vibration.
  • step S101 Thereafter, the process returns to step S101, and the processes after step S101 are performed.
  • the motion rhythm may be recognized for each part (for example, the head, hands, feet, waist, etc.) of each user, and the sync degree of the motion rhythm may be detected between parts of a plurality of users.
  • the sync degree may be used for presentation control of performance in which each user participates.
  • the performance in which each user participates there are cases where each user participates as a performer and each user participates as a spectator.
  • each user participates in performance as a performer, for example, when the degree of sync of each performer exceeds a predetermined threshold, or the number of times the degree of sync exceeds a reference value within a predetermined time (firing frequency) is predetermined When the threshold is exceeded, various effects are performed.
  • the wearable sensor 101 is attached to each spectator. Then, for example, various effects are performed when the sync rate of the motion rhythm of each spectator exceeds a predetermined threshold, or when the firing frequency of the sync degree exceeds a predetermined threshold within a predetermined time.
  • rhythm degree of each user may be used in place of or in addition to the sync degree for effect control of performance in which each user participates.
  • each user participates in the performance as a performer, for example, when the sum of the rhythm degree of each performer exceeds a predetermined threshold, or the sum of the rhythm degree of each performer exceeds a predetermined reference value within a predetermined time
  • the number of times (ignition frequency) exceeds a predetermined threshold various effects are performed.
  • the sense of unity and excitement of the venue can be reflected in the effect by directing the performance based on the degree of sync and the degree of rhythm of the audience. As a result, the sense of unity and excitement of the venue can be further enhanced.
  • FIG. 24 shows a configuration example of hardware of a photographing system 400 to which the present technology is applied.
  • symbol is attached
  • the imaging system 400 includes wearable sensors 101-1 to 101-5, a computer 401, a display device 402, and an imaging unit 403.
  • Each wearable sensor 101 transmits a communication packet including motion detection data to the computer 401.
  • the computer 401 controls the photographing of the user by the photographing unit 403 based on the motion detection data, and receives an image obtained as a result of the photographing.
  • the computer 401 also controls display of the captured user's image by the display device 402.
  • the display device 402 includes, for example, a projector, a monitor, and the like, and displays an image under the control of the computer 401.
  • the imaging unit 403 includes one or more cameras.
  • the photographing unit 403 photographs a user under the control of the computer 401, and transmits an image obtained as a result of the photographing to the computer 401.
  • each wearable sensor 101 and the computer 401 for communication between each wearable sensor 101 and the computer 401, for example, low delay short distance wireless communication of an arbitrary system is adopted. By employing the short distance wireless communication, it is possible to reduce the power consumption of the wearable sensor 101 and to miniaturize the wearable sensor 101.
  • any type of wireless communication is adopted.
  • the computer 401 and the display device 402 may be configured by one device, or the computer 401 and the imaging unit 403 may be configured by one device. Also, for example, the computer 401, the display device 402, and the imaging unit 403 may be configured by one device.
  • FIG. 25 shows an example of the functional configuration of the imaging system 400.
  • the imaging system 400 includes a motion analysis processing unit 301, a display device 402, an imaging unit 403, an imaging control unit 451, a storage unit 452, and a display control unit 453.
  • the motion analysis processing unit 301 includes wearable sensors 101-1 to 101-5, a communication unit 151, a sensor synchronization unit 152, and a motion rhythm recognition unit 161.
  • the motion rhythm recognition unit 161 recognizes the motion rhythm of the user based on the motion detection data acquired from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152.
  • the motion rhythm recognition unit 161 supplies data indicating the recognition result of the motion rhythm of the user to the imaging control unit 451 and causes the storage unit 452 to store the data.
  • the imaging control unit 451 controls the imaging of the imaging unit 403. For example, the imaging control unit 451 controls the imaging timing of the imaging unit 403 based on the recognition result of the motion rhythm of the user.
  • the imaging unit 403 causes the storage unit 452 to store an image obtained as a result of imaging.
  • the display control unit 453 controls the display of the image stored in the storage unit 452 by the display device 402 based on the recognition result of the motion rhythm of the user.
  • Imaging control processing executed by the imaging system 400 will be described with reference to the flowchart in FIG.
  • This process is started, for example, when an instruction to start imaging is input to the imaging system 400.
  • step S201 the motion rhythm recognition unit 161 starts recognition and recording of motion rhythm. Specifically, the motion rhythm recognition unit 161 performs processing similar to that of step S31 in FIG. 10 described above, based on the motion detection data supplied from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152. , Start recognition processing of the user's motion rhythm. Also, the motion rhythm recognition unit 161 supplies the rhythm timing data indicating the timing at which the user has taken the motion rhythm and the rhythm degree data indicating the rhythm degree to the storage unit 452 and starts processing for storage.
  • step S202 as in the process of step S32 of FIG. 10, it is determined whether a motion rhythm has been taken. If it is determined that the motion rhythm has been taken, the process proceeds to step S203.
  • step S203 the imaging system 400 performs imaging. Specifically, the motion rhythm recognition unit 161 supplies, to the imaging control unit 451, rhythm timing data indicating the timing at which the user has taken the motion rhythm.
  • the imaging unit 403 Under the control of the imaging control unit 451, the imaging unit 403 performs imaging of the user in synchronization with the timing at which the user takes a motion rhythm, and causes the storage unit 452 to store an image obtained as a result of imaging.
  • step S204 the imaging system 400 determines whether to end the imaging. If it is determined that the photographing is not finished, the process returns to step S202.
  • step S204 the processes of steps S202 to S204 are repeatedly executed until it is determined that the photographing is ended.
  • step S204 for example, when an instruction to end imaging is input, the imaging system 400 determines to end imaging, and the imaging control process ends.
  • This process is started, for example, when an instruction to display an image is input to the imaging system 400.
  • step S231 the display control unit 453 sets a display layout based on the rhythm timing.
  • step S232 the display control unit 453 determines whether to process the image based on the degree of rhythm. For example, when the setting for processing the image based on the degree of rhythm is turned on, the display control unit 453 determines to process the image based on the degree of rhythm, and the process proceeds to step S233.
  • step S233 the display control unit 453 calculates the effect strength of each image. Specifically, the display control unit 453 detects the degree of rhythm of the user at the time of photographing each image based on the degree of rhythm data stored in the storage unit 452, and detects each image based on the detected degree of rhythm. Calculate the strength of the effect applied to For example, the effect intensity is set to a value obtained by multiplying the rhythm degree by a predetermined constant.
  • step S234 the display control unit 453 applies an effect to each image stored in the storage unit 452 based on the calculated effect intensity.
  • step S232 for example, when the setting for processing the image based on the degree of rhythm is turned off, the display control unit 453 determines not to process the image based on the degree of rhythm, and steps S233 and S234. Is skipped, and the process proceeds to step S235.
  • step S235 the display device 402 displays an image under the control of the display control unit 453.
  • FIG. 28 shows an example of a display screen when the image is not processed based on the degree of rhythm.
  • the display screen of FIG. 28 is roughly divided into an image display unit 501 on the upper side of the screen and an operation unit 502 on the lower side of the screen.
  • rhythm timing image images when the user takes a motion rhythm (hereinafter referred to as a rhythm timing image) are displayed in time series.
  • the rhythm timing image P1 to the rhythm timing image P4 are displayed in order from the left to the right in order of shooting time.
  • the interval of each rhythm timing image is adjusted based on the interval of time when the user actually took the motion rhythm.
  • the selected rhythm timing image is enlarged and displayed clearly.
  • the selected rhythm timing image may be stored or shared.
  • a seek bar 511 On the operation unit 502, a seek bar 511, a slider 512, a play button 513, a fast reverse button 514, and a fast forward button 515 are displayed.
  • the width of the slider 512 indicates an indication of the temporal range of the rhythm timing image displayed on the image display unit 501.
  • the circle at the center of the slider 512 indicates a standard of the photographing time of the rhythm timing image displayed substantially at the center of the image display unit 501. Then, the slider 512 is slid left or right on the seek bar 511 indicating the time axis, whereby the temporal range of the rhythm timing image displayed on the image display unit 501 is adjusted. When the slider 512 is slid to the left, the temporal range of the rhythm timing image displayed on the image display unit 501 returns. On the other hand, when the slider 512 is slid to the right, the temporal range of the rhythm timing image displayed on the image display unit 501 advances.
  • rhythm timing image displayed in the display screen is automatically advanced frame by frame at predetermined intervals in time series.
  • the fast reverse button 514 is pressed, the rhythm timing image displayed on the image display unit 501 is fast returned.
  • the fast forward button 515 is pressed, the rhythm timing image displayed on the image display unit 501 is fast forwarded.
  • the rhythm timing image displayed on the image display unit 501 may be scrolled in the left direction (the direction in which time passes) with the layout shown in FIG.
  • a displayed image may be enlarged or reduced by performing a pinch operation on the display screen.
  • FIG. 29 shows an example of a display screen in the case of processing an image based on the degree of rhythm.
  • parts corresponding to those in FIG. 28 are given the same reference numerals, and the description thereof will be omitted as appropriate.
  • the display screen of FIG. 29 is divided into an image display unit 501 and an operation unit 502, similarly to the display screen of FIG.
  • the operation unit 502 has the same configuration as the operation unit 502 of the display screen of FIG.
  • the rhythm timing image displayed on the image display unit 501 is different in that an effect is applied.
  • the rhythm timing image P11 to the rhythm timing image P14 are displayed on the image display unit 501.
  • the image size changes based on the degree of rhythm. For example, the larger the user's degree of rhythm at the time of shooting the rhythm timing image, the larger the image size, and the smaller the degree of rhythm, the smaller the image size.
  • the image swings left and right like a pendulum based on the degree of rhythm.
  • the larger the user's degree of rhythm at the time of shooting the rhythm timing image the larger the shake width of the image, and the smaller the rhythm degree, the smaller the shake width of the image.
  • a rhythm timing image P14 particles are displayed around the image based on the degree of rhythm. For example, as the degree of rhythm of the user at the time of shooting the rhythm timing image is larger, the number of particles is increased or the particles are brightened. On the other hand, as the degree of rhythm of the user at the time of shooting of the rhythm timing image is smaller, the number of particles is smaller or the particles are darker.
  • rhythm timing image P1 to the rhythm timing image P14 when any of the rhythm timing image P1 to the rhythm timing image P14 is selected on the display screen of FIG. 28 or FIG. 29, the predetermined time based on the selected rhythm timing image
  • the internal video may be played back.
  • moving pictures in the vicinity of each rhythm timing image may be reproduced (digest reproduction) continuously in time series.
  • the pickup display and the moving image display may be switched.
  • a pickup display tab 531 and a moving image display tab 532 are displayed at the upper end of the display screen of FIG. 30, a pickup display tab 531 and a moving image display tab 532 are displayed.
  • a moving image display tab 532 is selected.
  • the pickup display tab 531 is selected, for example, the display screen of FIG. 28 or 29 described above is displayed below the pickup display tab 531 and the moving image display tab 532.
  • the video display tab 532 When the video display tab 532 is selected, the video of the photographed user is displayed below the pickup display tab 531 and the video display tab 532. Also, the operation unit 533 is displayed superimposed on the moving image.
  • the operation unit 533 includes a seek bar 541, a slider 542, motion buttons 543-1 to 543-3, a play button 544, a fast reverse button 545, a fast forward button 546, a fast reverse button 547, a fast forward button 548, a fast reverse button 549.
  • the fast forward button 550 is displayed.
  • the seek bar 541 and the slider 542 are similar to the seek bar 511 and the slider 512 in FIGS. 28 and 29, respectively.
  • the reproduction position in the time axis direction of the moving image returns.
  • the reproduction position in the time axis direction of the moving image advances.
  • the motion button 543-1 to the motion button 543-3 indicate the temporal position of the detected motion.
  • the type of the detected motion is displayed in the motion button 543-1 to the motion button 543-3. Then, when any one of the motion button 543-1 to the motion button 543-3 is selected, reproduction of the moving image is started from the portion of the selected motion.
  • a function may be provided to repeat and reproduce the moving image of the selected motion part.
  • the playback position of the moving image is returned to the previous rhythm timing.
  • the fast-forwarding button 546 is pressed, the playback position of the moving image is advanced to the next rhythm timing.
  • the playback position of the moving image is returned to the beginning of the previous motion.
  • the fast-forwarding button 548 is pressed, the playback position of the moving image is advanced to the beginning of the motion one after.
  • the chapters are divided, for example, into sections in which the user's rhythm pattern is substantially constant, or into sections in which the user's motion BPM is substantially constant.
  • ⁇ Modification of Third Embodiment> For example, by applying the third embodiment to the first embodiment, it is possible to capture the user every time the user takes a motion rhythm while the user is performing a performance. Then, for example, a series of photographed images can be collected into an album and distributed to the user.
  • FIG. 31 illustrates a configuration example of functions of an imaging system 600 to which the present technology is applied.
  • parts corresponding to those in FIG. 19 and FIG. 25 are given the same reference numerals, and the description thereof will be omitted as appropriate.
  • the imaging system 600 includes a motion analysis processing unit 301-1 to a motion analysis processing unit 301-n, a sync degree detection unit 302, a display device 402, a shooting unit 403, a storage unit 452, a sync degree peak detection unit 601, a shooting control unit 602. And a display control unit 603.
  • the motion rhythm recognition unit 161 of each motion analysis processing unit 301 performs recognition processing of the motion rhythm of each user based on the motion detection data acquired from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152.
  • the motion rhythm recognition unit 161 supplies data indicating the recognition result of the motion rhythm of the user to the sync degree detection unit 302 and the photographing control unit 602.
  • the sync degree peak detection unit 601 detects a peak of the sync degree of motion between users detected by the sync degree detection unit 302.
  • the sync degree peak detection unit 601 supplies the imaging control unit 602 with data indicating the detection result of the peak of the sync degree. Further, the sync degree peak detection unit 601 causes the storage unit 452 to store data indicating the sync degree and the peak detection result of the sync degree.
  • the imaging control unit 602 controls the imaging of the imaging unit 403. For example, the imaging control unit 602 controls the imaging timing of the imaging unit 403 based on the recognition result of the motion rhythm of each user recognized by each motion rhythm recognition unit 161. Further, for example, the imaging control unit 602 controls the imaging timing of the imaging unit 403 based on the peak of the sync degree of the motion rhythm between the users detected by the sync degree peak detection unit 601.
  • the display control unit 603 controls the display by the display device 402 of the image stored in the storage unit 452 based on the recognition result of the motion rhythm of each user and the peak of the synchronization degree of the motion rhythm between the users.
  • Imaging control processing executed by the imaging system 600 will be described with reference to the flowchart in FIG.
  • This process is started, for example, when an instruction to start imaging is input to the imaging system 600.
  • step S301 the motion rhythm recognition unit 161 of each motion analysis processing unit 301 starts recognition and recording of motion rhythm. Specifically, each motion rhythm recognition unit 161 is based on the motion detection data supplied from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152 by the same processing as step S31 in FIG. 10 described above. Then, recognition processing of motion rhythm of each user is started. Also, each motion rhythm recognition unit 161 supplies the rhythm timing data indicating the timing at which each user takes the motion rhythm and the rhythm degree data indicating the rhythm degree to the storage unit 452 and starts processing for storing.
  • step S302 the imaging system 600 starts detection and recording of the sync degree.
  • the sync degree detection unit 302 starts the process of detecting the sync degree of the motion rhythm among the users by the same process as step S102 in FIG.
  • the sync degree detection unit 302 also starts processing for supplying sync degree data indicating the detected sync degree to the sync degree peak detection unit 601.
  • the sync degree peak detection unit 601 starts detection processing of the sync degree peak.
  • the sync degree peak detection unit 601 also starts processing for adding the detection result of the peak of the sync degree to the sync degree data and storing the result in the storage unit 452.
  • step S303 the synchronization degree peak detection unit 601 determines whether or not the peak of the synchronization degree is detected. If it is determined that the peak of the sync degree is not detected, the process proceeds to step S304.
  • each motion rhythm recognition unit 161 determines whether a motion rhythm has been taken. If at least one motion rhythm recognition unit 161 determines that the motion rhythm has been taken, the process proceeds to step S305.
  • step S303 when it is determined in step S303 that the peak of the sync degree is detected, the process of step S304 is skipped, and the process proceeds to step S305.
  • step S305 the imaging system 600 performs imaging.
  • each motion rhythm recognition unit 161 supplies, to the imaging control unit 602, rhythm timing data indicating the timing at which the user took the motion rhythm. Also, when the peak of the sync degree is detected, the sync degree peak detection unit 601 notifies the imaging control unit 602 of sync degree peak detection data indicating that the peak of the sync degree is detected.
  • the photographing unit 403 Under the control of the photographing control unit 602, the photographing unit 403 synchronizes the timing when one or more users take the motion rhythm or in synchronization with the timing when the synchronization degree of the motion rhythm between the users reaches a peak. Shooting, and the storage unit 452 stores an image obtained as a result of shooting.
  • the imaging unit 403 may capture all the users at once or may capture each user individually. In the latter case, for example, only the user who took the motion rhythm may be photographed, or the user who does not have the motion rhythm may also be photographed. In the latter case, the user may be photographed one by one, or the user may be divided into one or more groups and photographed for each group.
  • step S304 when none of the motion rhythm recognition units 161 determines that the motion rhythm is taken, the process of step S305 is skipped, and the process proceeds to step S306. That is, if the peak of the sync degree is not detected and no user takes a motion rhythm, shooting is not performed.
  • step S306 as in the process of step S204 in FIG. 26, it is determined whether to end shooting. If it is determined that the photographing is not ended, the process returns to step S303.
  • step S306 the processes of steps S303 to S306 are repeatedly executed until it is determined that the photographing is ended.
  • step S306 the shooting control process ends.
  • This process is started, for example, when an instruction to display an image is input to the imaging system 600.
  • step S331 the display control unit 603 determines whether to set a display layout based on the degree of synchronization. For example, when the setting for setting the display layout based on the sync degree is turned on, the display control unit 603 determines that the display layout is set based on the sync degree, and the process proceeds to step S332.
  • step S332 the display control unit 603 sets a display layout based on the sync degree and the rhythm timing.
  • step S331 for example, when the setting for setting the display layout based on the sync degree is off, the display control unit 603 determines that the display layout is not set based on the sync degree, and the process is Go to S333.
  • step S333 the display control unit 603 sets a display layout based on the rhythm timing. That is, unlike the process of step S332, only the rhythm timing is used to set the display layout, and the sync degree is not used.
  • steps S334 to S336 the same processes as steps S232 to S234 in FIG. 27 are performed.
  • step S 337 the display device 402 displays an image under the control of the display control unit 603.
  • FIGS. 34 and 36 an example of a display screen displayed on the display device 402 in this process will be described.
  • parts corresponding to those in FIGS. 28 and 29 are given the same reference numerals, and the description thereof will be omitted as appropriate.
  • FIG. 34 shows an example of displaying an image based only on rhythm timing without using the sync degree.
  • the display screen of FIG. 34 is roughly divided into an image display unit 501 on the upper side of the screen and an operation unit 502 on the lower side of the screen, as in the display screens of FIG. 28 and FIG.
  • the configuration of the operation unit 502 is the same as the display screen of FIGS. 28 and 29.
  • rhythm timing images of two users of the user A and the user B are displayed side by side vertically.
  • the display layout of the rhythm timing image of each user is the same as the display screen of FIG. That is, the rhythm timing image Pa1 to the rhythm timing image Pa4 of the user A are displayed in time series.
  • the rhythm timing image Pb1 to the rhythm timing image Pb3 of the user B are displayed in time series.
  • the rhythm timing image Pa1 and the rhythm timing image Pb1 arranged in the vertical direction, and the rhythm timing image Pa3 and the rhythm timing image Pb2 are images taken at almost the same time. As a result, it can be understood that the timings at which the user A and the user B took the motion rhythm were almost the same.
  • the rhythm timing image Pa2 is an image captured at the timing when the user A takes the motion rhythm when the user B does not take the motion rhythm.
  • the images Pa1 to Pb3 may use images obtained by individually photographing each user, or images obtained by extracting each user from images obtained by photographing the user A and the user B together.
  • rhythms of motion motion rhythms
  • other users can easily compare the model movement with their own movement, in particular, The difference in rhythm can be recognized accurately.
  • each user can easily recognize, for example, how his or her movement can be matched to the model and improve his / her movement.
  • FIG. 35 shows an example of displaying an image based on the sync degree and the rhythm timing.
  • the display screen of FIG. 35 is roughly divided into an image display unit 501 on the upper side of the screen and an operation unit 502 on the lower side of the screen.
  • the configuration of the operation unit 502 is the same as that of the display screen of FIG.
  • rhythm timing image Pa11 to the rhythm timing image Pa14 of the user A are displayed in time series.
  • the rhythm timing image Pb11 to the rhythm timing image Pb14 of the user B are displayed in time series.
  • rhythm timing image Pa11 and rhythm timing image Pb11 arranged in the vertical direction
  • rhythm timing image Pa12 and rhythm timing image Pb12 rhythm timing image Pa13 and rhythm timing image Pb13
  • rhythm timing image Pa14 and rhythm timing image Pb14 Each is an image taken at the same timing when the sync degree reaches a peak.
  • images Pa11 to Pb14 may use images obtained by individually photographing each user, or images obtained by extracting each user from images obtained by photographing user A and user B together.
  • FIG. 36 shows another example in the case of displaying an image based on the sync degree and the rhythm timing.
  • the display screen of FIG. 36 is largely divided into an image display unit 501 on the upper side of the screen and an operation unit 502 on the lower side of the screen, as in the display screens of FIG. 34 and FIG.
  • the configuration of the operation unit 502 is the same as the display screen of FIGS. 34 and 35.
  • the images of the users A to C photographed at the time when the sync degree reaches a peak are collectively displayed in one. That is, in the image P21 and the image P22, the images of the users A to C captured when the sync degree reaches the peak are included in one image.
  • images obtained by shooting the users A to C at the same time may be used, or an image obtained by combining the images obtained by individually shooting each user when the sink degree reaches a peak may be used. You may use.
  • effects may be applied to each image based on the degree of rhythm as in the display screen of FIG. 34 to FIG. 36.
  • each user may be constantly photographed, and the photographed image (moving image) may be processed and displayed based on the rhythm timing, the rhythm degree, and the sync degree later.
  • FIG. 37 illustrates an exemplary configuration of functions of a music recommendation system 700 to which the present technology is applied.
  • symbol is attached
  • the music recommendation system 700 includes a motion analysis processing unit 701, a music DB (database) 702, a music analysis unit 703, a music rhythm DB (database) 704, a comparison unit 705, and a recommendation unit 706.
  • the motion analysis processing unit 701 includes wearable sensors 101-1 to 101-5, a communication unit 151, a sensor synchronization unit 152, a motion rhythm recognition unit 161, and a motion BPM recognition unit 162.
  • the motion rhythm recognition unit 161 recognizes the motion rhythm of the user based on the motion detection data supplied from the wearable sensors 101 via the communication unit 151 and the sensor synchronization unit 152.
  • the motion rhythm recognition unit 161 supplies data indicating the recognition result of the motion rhythm of the user to the comparison unit 705.
  • the motion BPM recognition unit 162 recognizes the motion BPM of the user based on the motion detection data supplied to each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152.
  • the motion BPM recognition unit 162 supplies data indicating the recognition result of the motion BPM of the user to the comparison unit 705.
  • music data used for reproduction of each music is registered.
  • the music analysis unit 703 analyzes the music data registered in the music DB 702.
  • the music analysis unit 703 includes a beat detection unit 711, a sound source separation unit 712, and a musical instrument rhythm recognition unit 713.
  • the beat detection unit 711 detects the beat of each music based on each music data registered in the music DB 702.
  • the beat detection unit 711 registers data indicating the beat of each detected music in the music rhythm DB 704.
  • the sound source separation unit 712 separates each music piece data registered in the music piece DB 702 for each sound source (that is, for each musical instrument), and supplies the sound data for each musical instrument after separation to the musical instrument rhythm recognition unit 713.
  • the musical instrument rhythm recognition unit 713 performs a rhythm recognition process for each musical instrument of each musical composition based on sound data of each musical instrument of each musical composition. For example, the musical instrument rhythm recognition unit 713 recognizes the timing at which the rhythm of each musical instrument is taken and the rhythm degree indicating the strength of the rhythm of each musical instrument based on the volume and the like of each musical instrument. The musical instrument rhythm recognition unit 713 registers, in the musical piece rhythm DB 704, data indicating the rhythm and the rhythm degree for each musical instrument of each recognized musical piece.
  • the music rhythm DB 704 has registered therein beats of each music and data indicating the rhythm and rhythm degree of each musical instrument.
  • the comparison unit 705 compares the rhythm of the user's movement with the rhythm of each music registered in the music rhythm DB 704, and supplies data indicating the comparison result to the recommendation unit 706.
  • the recommendation unit 706 selects a song to be recommended to the user based on the result of comparing the rhythm of the user's movement and the rhythm of each song, and outputs data indicating the song to be recommended.
  • step S401 the motion analysis processing unit 701 recognizes the motion rhythm and motion BPM of the user.
  • the motion rhythm recognition unit 161 performs processing similar to that of step S31 in FIG. 10 described above, based on the motion detection data supplied from each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152. , Perform recognition processing of motion rhythm of each user. Then, the motion rhythm recognition unit 161 supplies, to the comparison unit 705, rhythm timing data indicating the timing at which the user has taken the motion rhythm and rhythm degree data indicating the rhythm degree.
  • the motion BPM recognition unit 162 recognizes the motion BPM of the user based on the motion detection data supplied to each wearable sensor 101 via the communication unit 151 and the sensor synchronization unit 152 by the same processing as step S31 in FIG. 10 described above. Do the processing.
  • the motion BPM recognition unit 162 supplies motion BPM data indicating the detected motion BPM to the comparison unit 705.
  • step S402 the comparison unit 705 searches for music that matches the user's movement.
  • the comparison unit 705 extracts, from among the songs registered in the song rhythm DB, songs having a BPM whose difference from the motion BPM of the user is within a predetermined range.
  • the comparison unit 705 detects the matching degree between the rhythm of each musical instrument of the extracted music and the motion rhythm of the user.
  • the degree of matching between the rhythm of each instrument and the motion rhythm can be detected by the same calculation method as that of the motion rhythm between the users described above.
  • the correlation coefficient between the timing at which the rhythm of each instrument is taken and the timing at which the user takes the motion rhythm can be taken as the matching degree.
  • the cross-correlation of the rhythm degree of each instrument and the user's rhythm degree can be made the matching degree.
  • the comparison unit 705 supplies data indicating the matching degree of each extracted music to the recommendation unit 706.
  • step S403 the recommendation unit 706 recommends a music.
  • the recommendation unit 706 extracts music that matches the movement of the user based on the matching degree of each music. For example, the recommendation unit 706 extracts music having a matching degree of at least one musical instrument equal to or higher than a predetermined threshold. Alternatively, for example, the recommendation unit 706 obtains the maximum value of the matching degree for each piece of music, and extracts a predetermined number of music pieces having the highest matching degree value. Also, for example, the recommendation unit 706 calculates the average value of the matching degrees of all the musical instruments for each music, and extracts the music whose average value of the matching degrees is equal to or more than a predetermined threshold. Alternatively, for example, the recommendation unit 706 extracts a predetermined number of music pieces having the highest average matching degree.
  • the recommendation unit 706 outputs data indicating the extracted music to a device at a subsequent stage.
  • the device at the subsequent stage presents information on the recommended music, or reproduces the recommended music.
  • the recommended music may be selected based on the result of comparing the motion rhythm of the user and the rhythm for each instrument.
  • the music is reproduced in a state in which the BPM of the recommended music matches the motion BPM of the user.
  • all or part of the motion rhythm recognition unit 161, the motion BPM recognition unit 162, and the motion recognition unit 163 may be provided in the wearable sensor 101.
  • the target object may be any of living things such as animals or inanimate things such as robots.
  • the recognition target is an inanimate object, it may be an inanimate object which moves autonomously or by user operation such as a robot, or an inanimate object which is moved by an external force such as waves of the floating of the sea or the wind. .
  • FIG. 39 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 1001 a read only memory (ROM) 1002, and a random access memory (RAM) 1003 are mutually connected by a bus 1004.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an imaging device, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface or the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the program. A series of processing is performed.
  • the program executed by the computer 1000 can be provided by being recorded on, for example, a removable recording medium 1011 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by attaching the removable recording medium 1011 to the drive 1010.
  • the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008.
  • the program can be installed in advance in the ROM 1002 or the recording unit 1008.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can also be configured as follows.
  • Motion recognizing a rhythm of movement of the user based on detection data indicating movement of the detection position detected by the sensor device at one or more detection positions including at least one location on the user's trunk An information processing apparatus comprising a rhythm recognition unit.
  • a motion BPM recognition unit that recognizes a motion BPM that is a fundamental frequency of the motion of the user based on the detection data.
  • the motion rhythm recognition unit recognizes the motion rhythms of a plurality of users, The information processing apparatus according to any one of (1) to (6), further including: a sync degree detection unit that detects a sync degree indicating the degree of coincidence of the motion rhythm among the users. (8) The information processing apparatus according to (7), further including an effect control unit configured to control an effect of performance in which the plurality of users participate based on the degree of synchronization. (9) The motion rhythm recognition unit detects a rhythm degree indicating the strength of the motion rhythm of each user, The information processing apparatus according to (7) or (8), wherein the sync degree detection unit detects the sync degree based on the rhythm degree of each user.
  • a photographing control unit that controls photographing of each of the users based on the degree of synchronization;
  • the information processing apparatus according to any one of (7) to (9), further including at least one of a display control unit that controls display of the image of each user based on the degree of synchronization.
  • a shooting control unit that controls shooting of the user based on the motion rhythm;
  • the motion rhythm recognition unit detects a rhythm degree indicating the strength of the motion rhythm,
  • the information processing apparatus according to (11), wherein the display control unit further controls display of the image of the user based on the degree of rhythm.
  • the motion rhythm recognition unit detects the rhythm degree of a plurality of users
  • the information processing apparatus further including an effect control unit configured to control an effect of performance in which the plurality of users participate based on the degree of rhythm of the plurality of users.
  • the information processing apparatus according to any one of 16).
  • a motion rhythm indicating the rhythm of the user's movement is recognized Processing method.
  • SYMBOLS 100 rendering system 101-1 to 101-6 wearable sensor, 102 analysis computer, 103 control computer, 104 rendering device, 151 communication unit, 153 motion analysis unit, 154 rendering control unit, 155 lighting device, 156 imaging device, 157 sound equipment, 161 motion rhythm recognition unit, 162 motion BPM recognition unit, 163 motion recognition unit, 171 illumination control unit, 172 image control unit, 173 sound control unit, 300 sink evaluation system, 301-1 to 301-n motion analysis Processing unit, 302 sync degree detection unit, 303 presentation device, 400 imaging system, 401 computer, 402 display device, 403 imaging unit, 451 imaging control unit, 453 Display control unit, 600 shooting system, 601 sync degree peak detection unit, 602 shooting control unit, 603 display control unit, 700 music recommendation system, 701 motion analysis processing unit, 703 music analysis unit, 704 comparison unit, 705 recommendation unit, 711 Beat detection unit, 712 Sound source separation unit, 713 Rhythm recognition unit by instrument

Abstract

本技術は、ユーザの動きのリズムを適切に認識することができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 情報処理装置は、少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識するモーションリズム認識部を備える。本技術は、例えば、パフォーマンスの演出を行う演出システムに適用できる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、ユーザの動きのリズムを認識する場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。
　従来、複数のユーザにそれぞれ装着したセンサからの運動情報に基づいて、各ユーザの運動リズムを推定し、各ユーザの運動リズムと基本となる運動リズムとの間の相違度や、ユーザ間の運動リズムの相違度を計算し、その結果をユーザにフィードバックするシステムが提案されている。また、運動リズムとして、テンポ（例えば１分あたりのビート数：ＢＰＭ）を利用することが提案されている（例えば、特許文献１参照）。
特開２０１１－８７７９４号公報
　しかしながら、ユーザの動きのリズムは、通常は音楽のビートのような単調なものではなく、より複雑である。従って、単位時間あたりのビート数では、ユーザの動きのリズムを適切に表せない場合がある。
　本技術は、このような状況に鑑みてなされたものであり、ユーザの動きのリズムを適切に認識できるようにするものである。
　本技術の一側面の情報処理装置は、少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識するモーションリズム認識部を備える。
　本技術の一側面の情報処理方法は、情報処理装置が、少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する。
　本技術の一側面のプログラムは、少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する処理をコンピュータに実行させる。
　本技術の一側面においては、少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムが認識される。
　本技術の一側面によれば、ユーザの動きのリズムを適切に認識することができる。また、本技術の一側面によれば、ユーザの動きのリズムを適切に利用することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した演出システムのハードウエアの構成例を示すブロック図である。 ウエアラブルセンサの装着位置の例を示す図である。 ウエアラブルセンサの装着位置の例を示す図である。 本技術を適用した演出システムの機能の構成例を示すブロック図である。 ウエアラブルセンサの構成例を示すブロック図である。 ウエアラブルセンサが備えるセンサの仕様例を示す表である。 ウエアラブルセンサの処理を説明するためのフローチャートである。 通信パケットのフォーマットの例を示す図である。 動き検出データの構成例を示す表である。 モーション解析処理を説明するためのフローチャートである。 音楽のビートとモーションリズムの違いを説明するための図である。 モーションリズム認識モデルの生成方法の例を説明するための図である。 ダンスの技の例を示す図である。 ダンスの技の例を示す図である。 モーション認識モデルの生成方法の例を説明するための図である。 モーションの種類を通知するタイミングの例を示す図である。 演出制御処理を説明するためのフローチャートである。 演出方法の具体例を示す表である。 本技術を適用したシンク評価システムの機能の構成例を示すブロック図である。 シンク評価処理を説明するためのフローチャートである。 シンク度の検出方法の第１の例を説明するための図である。 シンク度の検出方法の第２の例を説明するための図である。 シンク度の検出方法の第２の例を説明するための図である。 本技術を適用した撮影システムの第１の実施の形態のハードウエアの構成例を示すブロック図である。 本技術を適用した撮影システムの第１の実施の形態の機能の構成例を示すブロック図である。 撮影制御処理を説明するためのフローチャートである。 表示制御処理を説明するためのフローチャートである。 表示画面の第１の例を示す図である。 表示画面の第２の例を示す図である。 表示画面の第３の例を示す図である。 本技術を適用した撮影システムの第２の実施の形態の機能の構成例を示すブロック図である。 撮影制御処理を説明するためのフローチャートである。 表示制御処理を説明するためのフローチャートである。 表示画面の第４の例を示す図である。 表示画面の第５の例を示す図である。 表示画面の第６の例を示す図である。 本技術を適用した楽曲推薦システムの一実施の形態を示すブロック図である。 楽曲推薦処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（演出システム）
　２．第２の実施の形態（シンク評価システム）
　３．第３の実施の形態（撮影システム）
　４．第４の実施の形態（撮影システム）
　５．第５の実施の形態（楽曲推薦システム）
　６．変形例
　７．その他
　＜＜１．第１の実施の形態＞＞
　まず、図１乃至図１８を参照して、本技術の第１の実施の形態について説明する。
　＜演出システムのハードウエア構成例＞
　図１は、本技術を適用した演出システム１００のハードウエアの構成例を示している。
　演出システム１００は、ユーザのモーション解析を行い、解析結果に基づいて、ユーザのパフォーマンスの演出を行うシステムである。
　なお、演出対象となるパフォーマンスの種類は、特に限定されない。例えば、演劇、音楽、舞踏等のパフォーマンスが演出対象となる。
　演出システム１００は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、解析用計算機１０２、制御用計算機１０３、及び、演出機器１０４を備える。
　なお、以下、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５を個々に区別する必要がない場合、単にウエアラブルセンサ１０１と称する。
　各ウエアラブルセンサ１０１は、ユーザの互いに異なる位置（以下、検出ポイント又は検出位置と称する）に装着され、各検出ポイントの動きを検出するセンサ装置である。各ウエアラブルセンサ１０１は、各検出ポイントの動きの検出結果を示す動き検出データを含む通信パケットを解析用計算機１０２に送信する。
　解析用計算機１０２は、各ウエアラブルセンサ１０１からの動き検出データに基づいて、ユーザのモーション解析を行う。解析用計算機１０２は、ユーザのモーション解析の結果を示すデータを制御用計算機１０３に送信する。
　制御用計算機１０３は、ユーザのモーション解析の結果に基づいて、演出機器１０４によるユーザのパフォーマンスの演出を制御する。例えば、制御用計算機１０３は、演出機器１０４による演出を制御するための演出制御データを生成し、演出機器１０４に送信する。
　演出機器１０４は、演出制御データに基づいて、ユーザのパフォーマンスの演出を行う。
　なお、各ウエアラブルセンサ１０１と解析用計算機１０２との間の通信には、例えば、任意の方式の低遅延の近距離無線通信が採用される。近距離無線通信を採用することにより、ウエアラブルセンサ１０１の消費電力を削減するとともに、ウエアラブルセンサ１０１を小型化することが可能になる。
　解析用計算機１０２と制御用計算機１０３との間の通信には、例えば、任意の方式の無線通信又は有線通信が採用される。
　制御用計算機１０３と演出機器１０４との間の通信には、例えば、任意の方式の無線通信又は有線通信が採用される。
　また、例えば、解析用計算機１０２と制御用計算機１０３とを１つのデバイスにより構成するようにしてもよい。
　＜各ウエアラブルセンサ１０１の装着位置の例＞
　図２及び図３は、各ウエアラブルセンサ１０１の装着位置（検出ポイント）の例を模式的に示している。
　図２は、ウエアラブルセンサ１０１の最小構成の例を示している。具体的には、図２は、ウエアラブルセンサ１０１が１つのみユーザに装着される場合の例を示している。
　後述するモーション解析において、ユーザの頭や腰等の体幹の動きを検出することで、解析精度が向上するという実験結果が出ている。従って、ウエアラブルセンサ１０１を１つのみユーザに装着する場合、ユーザの体幹上にウエアラブルセンサ１０１を装着することが望ましい。
　例えば、図２のＡでは、ウエアラブルセンサ１０１－１が、ユーザの頭部に装着されており、ユーザの頭部の動きを検出する。図２のＢでは、ウエアラブルセンサ１０１－６が、ユーザの腰に装着されており、ユーザの腰の動きを検出する。すなわち、ウエアラブルセンサ１０１－１又はウエアラブルセンサ１０１－６により、ユーザの体幹の動き、重心、姿勢等が検出される。
　例えば、ダンスでは、基本的に体幹の上下運動によりリズムがとられることが多い。従って、例えば、モーション解析において後述するモーションリズムの認識のみを行う場合、図２のＡ又はＢに示されるように、ユーザの体幹上の１カ所のみにウエアラブルセンサ１０１を装着するだけでもよい。
　図３は、ユーザの体全体の動きを捉えるために、体幹に加えて手足にウエアラブルセンサ１０１を装着した例を示している。なお、必ずしもユーザの手足の全てにウエアラブルセンサ１０１を装着する必要はなく、例えば、手だけ又は足だけに装着するようにしてもよい。
　図３のＡでは、図２のＡと比較して、ユーザの両手首及び両足首にウエアラブルセンサ１０１－２乃至ウエアラブルセンサ１０１－５が追加で装着されている。
　ウエアラブルセンサ１０１－２は、ユーザの左手首に装着され、左手首の動きを検出する。ウエアラブルセンサ１０１－３は、ユーザの右手首に装着され、右手首の動きを検出する。すなわち、ウエアラブルセンサ１０１－２及びウエアラブルセンサ１０１－３により、ユーザの両手の動きや手首のスナップ等が検出される。
　ウエアラブルセンサ１０１－４は、ユーザの左足首に装着され、左足首の動きを検出する。ウエアラブルセンサ１０１－５は、ユーザの右足首に装着され、右足首の動きを検出する。すなわち、ウエアラブルセンサ１０１－４及びウエアラブルセンサ１０１－５により、ユーザの両足の動きやステップ等が検出される。
　そして、ユーザの体幹、両手、及び、両足の相互の動きの連動性に基づいて、ユーザのモーション解析が行われる。
　図３のＢでは、図２のＢと比較して、ユーザの両足首にウエアラブルセンサ１０１－４及びウエアラブルセンサ１０１－５が追加で装着されている。すなわち、ウエアラブルセンサ１０１－４及びウエアラブルセンサ１０１－５により、ユーザの両足の動きやステップ等が検出される。
　そして、ユーザの体幹及び両足の相互の動きの連動性に基づいて、ユーザのモーション解析が行われる。
　なお、図２及び図３のウエアラブルセンサ１０１の装着数及び装着位置は、その一例であり、モーション解析の用途や精度等により適宜変更される。
　例えば、ユーザの体幹上として背中にウエアラブルセンサ１０１を装着するようにしてもよい。また、ユーザの体幹上の２カ所以上にウエアラブルセンサ１０１を装着するようにしてもよい。
　なお、一般的に、ウエアラブルセンサ１０１の装着数が多くなるほど、モーション解析の精度が向上する一方、ユーザに与える負荷が大きくなる。一方、ウエアラブルセンサ１０１の装着数が少なくなるほど、ユーザに与える負荷が小さくなる一方、モーション解析の精度が低下する。
　なお、肘や膝といった中間関節だけでリズムをとるケースはあまりないと想定される。従って、最大でも腰、頭、両手、両足の６か所、必要であれば追加で指にウエアラブルセンサ１０１を装着すれば十分だと考えられる。
　また、ウエアラブルセンサ１０１の装着方法は、特に限定されない。例えば、バンド、ベルト、サポータ、テープ、クリップ等が用いられる。なお、各検出ポイントの動きを高精度に検出できるように、ユーザの動きを阻害したり、ユーザに不快感を与えたりしない程度に、できる限り各ウエアラブルセンサ１０１の装着位置が動かないようにすることが望ましい。
　なお、以下、図１及び図３のＡに示されるように、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５をユーザの頭部、両手、及び、両足に装着した場合を例に挙げて説明する。
　＜演出システムの機能の構成例＞
　図４は、演出システム１００の機能の構成例を示している。
　演出システム１００は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、センサ同期部１５２、モーション解析部１５３、演出制御部１５４、照明機器１５５、映像機器１５６、及び、音響機器１５７を備える。
　通信部１５１は、各ウエアラブルセンサ１０１から通信パケットを受信し、センサ同期部１５２に供給する。
　センサ同期部１５２は、各ウエアラブルセンサ１０１からの通信パケットに含まれる動き検出データの同期を取ることにより、各検出ポイントの動き検出データの時間差を吸収する。センサ同期部１５２は、同期を取った後の各動き検出データをモーション解析部１５３に供給する。
　モーション解析部１５３は、例えば、図１の解析用計算機１０２により実現され、ユーザのモーション解析を行う。モーション解析部１５３は、モーションリズム認識部１６１、モーションＢＰＭ（Beats Per Minute）認識部１６２、及び、モーション認識部１６３を備える。
　モーションリズム認識部１６１は、各ウエアラブルセンサ１０１からの動き検出データに基づいて、ユーザの動きのリズムを示すモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータを演出制御部１５４に供給する。
　モーションＢＰＭ認識部１６２は、各ウエアラブルセンサ１０１からの動き検出データに基づいて、ユーザの動きの基本周波数を示すモーションＢＰＭの認識処理を行う。モーションＢＰＭ認識部１６２は、ユーザのモーションＢＰＭの認識結果を示すデータを演出制御部１５４に供給する。
　モーション認識部１６３は、各ウエアラブルセンサ１０１からの動き検出データに基づいて、ユーザのモーションの認識処理を行う。モーション認識部１６３は、ユーザのモーションの認識結果を示すデータを演出制御部１５４に供給する。
　演出制御部１５４は、例えば、図１の制御用計算機１０３により実現され、照明機器１５５、映像機器１５６、及び、音響機器１５７によるユーザのパフォーマンスの演出の制御を行う。演出制御部１５４は、照明制御部１７１、映像制御部１７２、及び、音響制御部１７３を備える。
　照明制御部１７１は、ユーザのモーションリズム、モーションＢＰＭ、及び、モーション等に基づいて、照明機器１５５による演出を制御するための照明演出制御データを生成し、照明機器１５５に送信する。
　映像制御部１７２は、ユーザのモーションリズム、モーションＢＰＭ、及び、モーション等に基づいて、映像機器１５６による演出を制御するための映像演出制御データを生成し、映像機器１５６に送信する。
　音響制御部１７３は、ユーザのモーションリズム、モーションＢＰＭ、及び、モーション等に基づいて、音響機器１５７による演出を制御するための音響演出制御データを生成し、音響機器１５７に送信する。
　照明機器１５５は、例えば、各種のライトや光源等により構成される。照明機器１５５は、照明演出制御データに基づいて、照明制御部１７１の制御の下に、各種の光を出力することにより、照明演出を行う。
　映像機器１５６は、例えば、プロジェクタやモニタ等により構成される。映像機器１５６は、映像演出制御データに基づいて、映像制御部１７２の制御の下に、各種の映像を出力することにより、映像演出を行う。
　音響機器１５７は、例えばミキサーやスピーカ等により構成される。音響機器１５７は、音響演出制御データに基づいて、音響制御部１７３の制御の下に、各種の音を出力することにより、音響演出を行う。
　＜ウエアラブルセンサ１０１の構成例＞
　図５は、図１のウエアラブルセンサ１０１の構成例を示している。また、図６は、ウエアラブルセンサ１０１の各センサの仕様の例を示している。
　ウエアラブルセンサ１０１は、ＨＤＲ（High Dynamic Range）加速度センサ２０１、ＬＤＲ（Low Dynamic Range）加速度センサ２０２、ＨＤＲ（High Dynamic Range）ジャイロセンサ２０３、ＬＤＲ（Low Dynamic Range）ジャイロセンサ２０４、地磁気センサ２０５、歪みセンサ２０６、気圧センサ２０７、時刻情報取得部２０８、センサデータ取得部２０９、マージ処理部２１０、姿勢検出部２１１、補正部２１２、バッファ２１３、パケット生成部２１４、送信制御部２１５、及び、送信部２１６を備える。
　ＨＤＲ加速度センサ２０１は、ウエアラブルセンサ１０１が装着されている位置（検出ポイント）のピッチ軸（ｘ軸）、ロール軸（ｙ軸）、及び、ヨー軸（ｚ軸）の３軸方向の加速度の検出を行う。例えば、ＨＤＲ加速度センサ２０１は、１０２４Ｈｚのサンプリング周波数で検出ポイントの加速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＨＤＲ加速度データと称する）を出力する。
　ＬＤＲ加速度センサ２０２は、検出ポイントのピッチ軸、ロール軸、及び、ヨー軸の３軸方向の加速度の検出を行う。例えば、ＬＤＲ加速度センサ２０２は、１０２４Ｈｚのサンプリング周波数で検出ポイントの加速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＬＤＲ加速度データと称する）を出力する。
　なお、ＨＤＲ加速度センサ２０１の方がＬＤＲ加速度センサ２０２より検出可能な加速度のダイナミックレンジが広い。例えば、ＨＤＲ加速度センサ２０１は±３２Ｇ、ＬＤＲ加速度センサ２０２は±１６Ｇでセンサデータを出力する。
　ＨＤＲジャイロセンサ２０３は、検出ポイントのピッチ軸回り、ロール軸回り、及び、ヨー軸回りの３軸回りの角速度の検出を行う。例えば、ＨＤＲジャイロセンサ２０３は、１０２４Ｈｚのサンプリング周波数で検出ポイントの角速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＨＤＲ角速度データと称する）を出力する。
　ＬＤＲジャイロセンサ２０４は、検出ポイントのピッチ軸回り、ロール軸回り、及び、ヨー軸回りの３軸回りの角速度の検出を行う。例えば、ＬＤＲジャイロセンサ２０４は、１０２４Ｈｚのサンプリング周波数で検出ポイントの角速度をサンプリングし、１６ビット×３軸のセンサデータ（以下、ＬＤＲ角速度データと称する）を出力する。
　なお、ＨＤＲジャイロセンサ２０３の方がＬＤＲジャイロセンサ２０４より検出可能な角速度のダイナミックレンジが広い。例えば、ＨＤＲジャイロセンサ２０３は±４０００ｄｐｓ、ＬＤＲジャイロセンサ２０４は±２０００ｄｐｓでセンサデータを出力する。
　地磁気センサ２０５は、検出ポイント周辺のピッチ軸、ロール軸、及び、ヨー軸の３軸方向の地磁気の検出を行う。例えば、地磁気センサ２０５は、１２８Ｈｚのサンプリング周波数で検出ポイント周辺の地磁気をサンプリングし、１６ビット×３軸のセンサデータ（以下、地磁気データと称する）を出力する。
　歪みセンサ２０６は、検出ポイントのピッチ軸及びロール軸の２軸方向の歪み（例えば、検出ポイントの伸縮等）を検出する。例えば、歪みセンサ２０６は、２５６Ｈｚのサンプリング周波数で検出ポイントの歪みをサンプリングし、１６ビット×２軸のセンサデータ（以下、歪みデータと称する）を出力する。
　気圧センサ２０７は、検出ポイント周辺の気圧を検出する。例えば、検出ポイント周辺の気圧に基づいて、検出ポイントの高さ方向の位置が検出される。例えば、気圧センサ２０７は、１２８Ｈｚのサンプリング周波数で検出ポイント周辺の気圧をサンプリングし、２４ビットのセンサデータ（以下、気圧データと称する）を出力する。
　時刻情報取得部２０８は、例えば時計等により構成され、現在時刻を示す時刻情報を取得し、センサデータ取得部２０９に供給する。
　センサデータ取得部２０９は、ＨＤＲ加速度センサ２０１、ＬＤＲ加速度センサ２０２、ＨＤＲジャイロセンサ２０３、及び、ＬＤＲジャイロセンサ２０４からそれぞれＨＤＲ加速度データ、ＬＤＲ加速度データ、ＨＤＲ角速度データ、及び、ＬＤＲ角速度データを取得し、取得したデータに取得した時刻を付加してマージ処理部２１０に供給する。また、センサデータ取得部２０９は、地磁気センサ２０５から地磁気データを取得し、取得したデータに取得した時刻を付加して姿勢検出部２１１に供給する。さらに、センサデータ取得部２０９は、歪みセンサ２０６及び気圧センサ２０７からそれぞれ歪みデータ及び気圧データを取得し、取得したデータに取得した時刻を付加して補正部２１２に供給する。
　マージ処理部２１０は、ＨＤＲ加速度データとＬＤＲ加速度データのマージ処理、及び、ＨＤＲ角速度データとＬＤＲ角速度データのマージ処理を行う。マージ処理部２１０は、マージ後の加速度データ及び角速度データを姿勢検出部２１１及びバッファ２１３に供給する。
　姿勢検出部２１１は、加速度データ、角速度データ、及び、地磁気データに基づいて、検出ポイントの姿勢の検出を行う。検出ポイントの姿勢は、例えば、オイラー角により表される。姿勢検出部２１１は、計算結果を示すデータ（以下、姿勢データと称する）をバッファ２１３に供給する。
　補正部２１２は、歪みデータ及び気圧データの補正を行い、補正後の歪みデータ及び気圧データをバッファ２１３に供給する。
　バッファ２１３は、姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを一時的に蓄積する。
　パケット生成部２１４は、バッファ２１３に蓄積されている姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを含む動き検出データを送信するための通信パケットを生成し、送信制御部２１５に供給する。
　送信制御部２１５は、送信部２１６による通信パケットの送信を制御する。
　送信部２１６は、所定の方式の無線通信により通信パケットを通信部１５１に送信する。
　なお、図示を省略しているが、ウエアラブルセンサ１０１の各部は、例えば、バッテリにより駆動される。
　＜演出システムの処理＞
　次に、図７乃至図１８を参照して、演出システム１００の処理について説明する。
　＜ウエアラブルセンサ１０１の処理＞
　まず、図７のフローチャートを参照して、ウエアラブルセンサ１０１の処理について説明する。
　この処理は、例えば、ウエアラブルセンサ１０１の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ１において、センサデータ取得部２０９は、センサデータの取得を開始する。
　具体的には、センサデータ取得部２０９は、ＨＤＲ加速度センサ２０１、ＬＤＲ加速度センサ２０２、ＨＤＲジャイロセンサ２０３、及び、ＬＤＲジャイロセンサ２０４からそれぞれＨＤＲ加速度データ、ＬＤＲ加速度データ、ＨＤＲ角速度データ、及び、ＬＤＲ角速度データを取得し、取得したデータに取得した時刻を付加してマージ処理部２１０に供給する処理を開始する。また、センサデータ取得部２０９は、地磁気センサ２０５から地磁気データを取得し、取得したデータに取得した時刻を付加して姿勢検出部２１１に供給する処理を開始する。さらに、センサデータ取得部２０９は、歪みセンサ２０６及び気圧センサ２０７からそれぞれ歪みデータ及び気圧データを取得し、取得したデータに取得した時刻を付加して補正部２１２に供給する処理を開始する。
　ステップＳ２において、マージ処理部２１０は、加速度データ及び角速度データのマージ処理を開始する
　具体的には、マージ処理部２１０は、ＨＤＲ加速度データとＬＤＲ加速度データをマージし（合成し）、マージ後の加速度データをバッファ２１３に供給し、蓄積させる処理を開始する。
　なお、マージ後の加速度データのうち、ＬＤＲ加速度データのダイナミックレンジの範囲内のデータには、ＬＤＲ加速度データに基づくデータが使用され、それ以外の範囲のデータには、ＨＤＲ加速度データに基づくデータが使用される。これにより、マージ後の加速度データにおいて、ＬＤＲ加速度データのダイナミックレンジの範囲内の加速度の検出精度が向上する。
　また、マージ処理部２１０は、ＨＤＲ角速度データとＬＤＲ角速度データをマージし（合成し）、マージ後の角速度データをバッファ２１３に供給し、蓄積させる処理を開始する。
　なお、マージ後の角速度データのうち、ＬＤＲ角速度データのダイナミックレンジの範囲内のデータには、ＬＤＲ角速度データに基づくデータが使用され、それ以外の範囲のデータには、ＨＤＲ角速度データに基づくデータが使用される。これにより、マージ後の角速度データにおいて、ＬＤＲ角速度データのダイナミックレンジの範囲内の角速度の検出精度が向上する。
　ステップＳ３において、姿勢検出部２１１は、姿勢の検出を開始する。具体的には、姿勢検出部２１１は、加速度データ、角速度データ、及び、地磁気データに基づいて、検出ポイントの姿勢を示すピッチ軸回り、ロール軸回り、及び、ヨー軸回りの３軸回りのオイラー角を検出する処理を開始する。また、姿勢検出部２１１は、検出結果を示す姿勢データをバッファ２１３に供給し、蓄積させる処理を開始する。
　ステップＳ４において、補正部２１２は、歪みデータ及び気圧データの補正を開始する。例えば、補正部２１２は、歪みデータ及び気圧データのノイズ除去、データサイズの変換等の処理を開始する。また、補正部２１２は、補正後の歪みデータ及び気圧データをバッファ２１３に供給し、蓄積させる処理を開始する。
　ステップＳ５において、パケット生成部２１４は、通信パケットを送信するタイミングであるか否かを判定する。この判定処理は、通信パケットを送信するタイミングであると判定されるまで繰り返し実行され、通信パケットを送信するタイミングであると判定された場合、処理はステップＳ６に進む。
　なお、例えば、通信パケットは、所定の間隔で送信される。例えば、通信パケットは、１２８Ｈｚの送信頻度で（すなわち、１秒間に１２８回）送信される。この場合、通信パケットに含まれる動き検出データのサンプリング周波数は１２８Ｈｚとなる。
　ステップＳ６において、パケット生成部２１４は、通信パケットを生成する。例えば、パケット生成部２１４は、最新の姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データをバッファ２１３から読み出す。また、パケット生成部２１４は、現在時刻を示す時刻情報を時刻情報取得部１３８から取得する。そして、パケット生成部２１４は、バッファ２１３から読み出した姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを含む通信パケットを生成する。
　図８は、パケット生成部２１４により生成される通信パケットのフォーマットの例を示している。通信パケットは、ヘッダ、タイムスタンプ、及び、動き検出データを含む。
　タイムスタンプには、例えば、センサデータを取得した時刻が設定される。なお、センサデータを取得した時刻には、例えば、通信パケット内の動き検出データに用いられた各センサデータの取得時刻のうち、最も早い時刻が設定される。また、例えば、動き検出データに含まれる各データの取得タイミングが異なる場合、データ毎にタイムスタンプ（センサデータを取得した時刻）を通信パケットに格納するようにしてもよい。この場合、通信パケットのフォーマットは、例えば、ヘッダ、タイムスタンプ１、動き検出データに含まれるデータ１（例えば、姿勢データ）、タイムスタンプ２、動き検出データに含まれるデータ２（例えば、加速度データ）、・・・のようになる。
　動き検出データには、バッファ２１３から読み出された姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データが含まれる。なお、動き検出データは、例えば、所定の方式により暗号化される。
　図９は、動き検出データに含まれる各データの仕様例を示している。
　姿勢データのサイズは、例えば、１６ビット×３軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、姿勢データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは６，１４４ｂｐｓ（bit per second）となる。
　加速度データのサイズは、例えば、２０ビット×３軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、加速度データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは７，６８０ｂｐｓとなる。
　角速度データのサイズは、例えば、２０ビット×３軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、角速度データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは７，６８０ｂｐｓとなる。
　歪みデータのサイズは、例えば、１６ビット×２軸とされる。通信パケットの送信頻度が１２８Ｈｚの場合、歪みデータのサンプリング周波数は１２８Ｈｚとなり、ビットレートは４，０９６ｂｐｓとなる。
　気圧データのサイズは、例えば、２４ビットとされる。通信パケットの送信頻度が１２８Ｈｚの場合、気圧データのサンプリング周波数は１２８Ｈｚとなり、ビットレートは２，０４８ｂｐｓとなる。
　パケット生成部２１４は、通信パケットを送信制御部２１５に供給する。また、パケット生成部２１４は、通信パケットにより送信する各データ、及び、それより古いデータをバッファ２１３から削除する。
　ステップＳ７において、送信部２１６は、送信制御部２１５の制御の下に、通信パケットを通信部１５１に送信する。
　その後、処理はステップＳ５に戻り、ステップＳ５以降の処理が実行される。
　＜モーション解析処理＞
　次に、図１０のフローチャートを参照して、図７のウエアラブルセンサ１０１の処理に対応してモーション解析部１５３により実行されるモーション解析処理について説明する。
　この処理は、例えば、解析用計算機１０２の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ３１において、モーション解析部１５３は、モーション解析を開始する。
　具体的には、モーションリズム認識部１６１は、例えば、事前の学習処理により得られたモーションリズム認識用モデルを用いて、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、ユーザのモーションリズムの認識処理を開始する。
　例えば、モーションリズム認識部１６１は、ユーザがモーションリズム（動きのリズム）をとったタイミングを検出する処理を開始する。
　なお、図１１は、音楽のビートとモーションリズムの違いを簡単に示している。上のグラフは音楽のビートの例を示し、下のグラフはモーションリズムの例を示している。
　音楽のビートは、同じ楽曲内ではほとんど変化せず、略一定の間隔で規則的に刻まれる。これに対して、モーションリズムは、音楽のビートと同期する（音楽のビートにのる）ことも多いが、ビートとは異なるタイミングであって、楽曲からは分からない任意のタイミングでとられることも多い。
　例えば、モーションリズムは、ユーザの動きのアクセントにより表される。また、ユーザの動きのアクセントは、例えば、ユーザの動きの向き、スピード、及び、パターンの変化により表される。例えば、ダンスにおいてモーションリズムをとる動きの例として、以下が挙げられる。
・体幹を上下させたり、左右に揺らしたりする。
・一時静止してポーズをとる。
・首、手、又は、足の運動方向を素早く切り替える。
・ターンする。
・手を周期的に動かす。
・ステップを踏む。
・ヘッドバンギングを行う。
・指を鳴らす。
・指でカウントをとる。
・急な動きをとる。
　上記の動きにおいて、向き、スピード、又は、パターンが変化するタイミング、例えば、ユーザが動きを止めたり、動きの向きを変えたり、又は、動き出したりするタイミングが、ユーザがモーションリズムをとるタイミングとなる。
　ただし、ユーザの動きの向き、スピード、及び、パターンが変化する全てのタイミングで、ユーザがモーションリズムをとっているとは限らない。例えば、ヘッドバンギングでは、頭が上下に揺らされるが、頭を上及び下で止める両方のタイミングで、モーションリズムがとられる場合もあるし、いずれか一方のタイミングでのみ、モーションリズムがとられる場合もある。
　また、例えば、モーションリズム認識部１６１は、ユーザがモーションリズムをとった間隔（モーションリズムの発火間隔）の移動平均の算出を開始する。
　さらに、例えば、モーションリズム認識部１６１は、ユーザのモーションリズムの強さ（ユーザの動きのリズムの強さ）を示すリズム度を検出し、検出したリズム度を示すリズム度データを演出制御部１５４に供給する処理を開始する。リズム度は、例えば、ユーザの動きのアクセントの強さにより表される。
　ここで、図１２を参照して、モーションリズム認識モデルの生成方法の例について説明する。
　例えば、各ウエアラブルセンサ１０１を装着したユーザが、クリック音に合わせてリズムをとりながら踊る。すなわち、ユーザは踊りながら、クリック音が鳴動するタイミングでリズムをとる。クリック音の間隔は、一定でもよいし、一定でなくてもよい。そして、そのクリック音が正解データとしてディープニューラルネットワークに入力される。すなわち、クリック音が鳴動したタイミングが、ユーザがモーションリズムをとったタイミングを示す正解データとして、ディープニューラルネットに与えられる。
　一方、各ウエアラブルセンサ１０１の加速度データ（図内のＡｃｃ）のノルム及び角速度データ（図内のＧｙｒｏ）のノルムが、所定のサンプル（例えば、ｘサンプル）幅のフレームを時間軸方向にシフトしながら、フレーム単位で抽出される。そして、抽出されたフレーム内の各ウエアラブルセンサ１０１の加速度データのノルム及び角速度データのノルムの同期がとられ、同期後のデータがディープニューラルネットワークに入力される。
　ここで、ノルムとは、加速度データ又は角速度データのベクトルの大きさのことである。
　そして、ディープニューラルネットワークを用いた学習処理により、ユーザのモーションリズムを認識するためのモーションリズム認識モデルが生成される。
　なお、この例では、モーションリズム認識モデルが、モーションリズムがとられた否かを示す１又は０の離散値を出力する例を示しているが、リズム度（連続値）を出力するようにしてもよい。また、例えば、モーションリズム認識モデルが、認識結果の信頼度も出力するようにしてもよい。
　モーションＢＰＭ認識部１６２は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、ユーザのモーションＢＰＭの認識処理を開始する。
　ここで、モーションＢＰＭは、例えば、ユーザの動きの基本周波数により表される。例えば、加速度データ又は角速度データの基本周波数がモーションＢＰＭとして検出される。例えば、ユーザが体の上下運動で一定周期のリズムをとっている場合、この一回の上下運動がモーションＢＰＭの一拍に対応する。
　従って、モーションリズムは、不規則に観測されるユーザの運動を表し、モーションＢＰＭは、長期的にユーザの動きを観測したときの周期的運動を表す。
　なお、一般的なＢＰＭは楽曲により決まる。一方、ユーザが楽曲に合わせて踊る場合、楽曲のＢＰＭを２倍、１／２倍等に自分で変化させて、その速度に合わせて踊る場合がある。そのため、同じ楽曲でも、ユーザの動きが速くなったり、遅くなったりする。従って、モーションＢＰＭは、楽曲のＢＰＭとは必ずしも一致せず、同じ楽曲内でも変化する場合がある。
　モーション認識部１６３は、例えば、事前の学習処理により得られたモーション認識用モデルを用いて、通信部１５１及びセンサ同期部１５２を介して、各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、ユーザのモーションの認識処理を開始する。
　ここで、本技術におけるモーションの定義について説明する。なお、この第１の実施の形態では、ユーザのパフォーマンスの演出を行う例を示しているが、本技術におけるモーションはパフォーマンス関連に限定されるものではない。
　具体的には、モーションとは、例えば、所定の分類に基づく、ユーザ（人）の行動を構成する動きの単位のことである。従って、モーションは、行動よりも短時間のユーザの動きとなる。また、モーションは、ユーザの全身の動きであってもよいし、ユーザの体の一部の動きであってもよい。
　一方、行動とは、所定の分類に基づく、一連のモーションの集合体であり、複数のモーションの組み合わせからなる。例えば、所定の目的を達成するための一連のモーションの集合体が行動となる。
　なお、本技術において、行動及びモーションの分類は、任意に設定したり変更したりすることが可能である。例えば、ダンス、アイススケート、ラグビー、トライアスロン、水泳、登山等のスポーツの種目に基づいて、モーションを認識する対象となる行動が分類される。この場合、例えば、体操総合のように複数の種目を組み合わせたスポーツを、１つの行動とみなすことも可能である。
　また、例えば、通勤、運転、仕事、勉強、育児、睡眠、料理、食べる、ＴＶを観る、歌う、演奏する、撮影する等の日常生活の行動に基づいて、モーションを認識する対象となる行動が分類される。
　一方、例えば、ダンスという行動に対して、スライド、ジャーク、ビズマーキー等のダンスの技に基づいて、認識対象となるモーションが分類される。或いは、ダンスという行動に対して、回転、跳躍、ステップ、横揺れ、縦揺れ等のダンスの動きに基づいて、認識対象となるモーションが分類される。なお、ダンスの技及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。
　例えば、フィギュアスケートという行動に対して、アクセル、ルッツ、サルコウ等のフィギュアスケートの技に基づいて、認識対象となるモーションが分類される。或いは、フィギュアスケートという行動に対して、滑る、回転する、跳ぶ、ステップする等のフィギュアスケートの動きに基づいて、認識対象となるモーションが分類される。なお、フィギュアスケートの技及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。
　例えば、ラグビーという行動に対して、スクラム、トライ、ラン、パス、タックル等のラグビー特有の動きに基づいて、認識対象となるモーションが分類される。或いは、例えば、ラグビーという行動に対して、走る、跳ぶ、投げる、捕る、ぶつかる等の一般的な動きに基づいて、認識対象となるモーションが分類される。なお、ラグビー特有の動き及び一般的な動きの両方に基づいて、認識対象となるモーションが分類されてもよい。
　例えば、水泳という行動に対して、クロール、平泳ぎ、バタフライ、背泳ぎ等の水泳の泳法に基づいて、認識対象となるモーションが分類される。或いは、例えば、水泳という行動に対して、飛び込み、ターン、息継ぎ、キック等の水泳の動きに基づいて、認識対象となるモーションが分類される。なお、水泳の泳法及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。
　例えば、トライアスロンという行動に対して、スイミング、サイクリング、ランニングのトライアスロンの種目に基づいて、認識対象となるモーションが分類される。
　例えば、体操総合という行動に対して、あん馬、床、吊り輪等の体操の種目に基づいて、認識対象となるモーションが分類される。
　例えば、通勤という行動に対して、歩く、休む、電車に乗る、階段を登る等の通勤時の動きに基づいて、認識対象となるモーションが分類される。
　例えば、運転という行動に対して、アクセル、ブレーキ、ギア変更、後方確認等の運転時の動きに基づいて、認識対象となるモーションが分類される。
　例えば、仕事という行動に対して、話す、聞く、書く、電話、ＰＣを使う、打合せ等の仕事時の動きに基づいて、認識対象となるモーションが分類される。
　なお、同じユーザの動きが、分類の違いにより、行動にもモーションにもなり得る。例えば、トライアスロンの各種目（スイミング、サイクリング、ランニング）は、それぞれ単独でモーションを認識する対象となる行動にもなり得る。すなわち、スイミング、サイクリング、又は、ランニングが行動に分類され、各行動に対してモーションの認識処理が行われる場合がある。
　また、ユーザの全身のモーションだけでなく、例えば、足のモーション、手のモーション等、ユーザの部位毎のモーションを認識対象としてもよい。
　なお、モーション認識部１６３は、基本的には、ユーザのモーションの種類（例えば、モーションの意味情報）までを認識し、各モーションの詳細な動きの認識は行わない。
　例えば、ユーザがダンスを行っている場合、図１３及び図１４に示されるように、ポップコーン、スライド、ラコステ、バートシンプソン、フォーシング、ブルックリン、ジャーク、ビズマーキー、ワーム、フロントグルーブ、ジャンプ等のダンスの個々の技の種類が認識される。一方、個々の技における動きの違いまでは認識されない。すなわち、ユーザが同じダンスの技を手足の動きやリズムを変えて行っても、同じダンスの技として認識され、それ以上の違いは認識されない。
　このように、所定の分類に基づくユーザのモーションの種類までの認識に限定することにより、ウエアラブルセンサ１０１の装着数を少なくすることができる。その結果、ＣＧ（Computer Graphics）等で用いられる従来のモーションキャプチャシステムと比較して、ユーザの負担を軽減することができる。例えば、ユーザは、ウエアラブルセンサ１０１を装着しても、動きがほとんど制約されずに、ほぼ普段通りの動きをすることが可能になる。
　なお、必要に応じて、各モーションの詳細な動きまで認識するようにしてもよい。
　ここで、図１５を参照して、モーション認識モデルの生成方法の例について説明する。
　例えば、各ウエアラブルセンサ１０１を装着したユーザが、認識対象となる様々なモーションを行う。そして、ユーザが行ったモーションの種類（モーションクラス）が、正解データとしてディープニューラルネットワークに与えられる。
　一方、ユーザが各モーションを行ったときの各ウエアラブルセンサ１０１の加速度データ（図内のＡｃｃ）のノルム及び角速度データ（図内のＧｙｒｏ）のノルムが、所定のサンプル（例えば、ｘサンプル）幅のフレームを時間軸方向にシフトしながら、フレーム単位で抽出される。そして、抽出されたフレーム内の加速度データのノルム及び角速度データのノルムの同期がとられ、同期後のデータがディープニューラルネットワークに入力される。
　そして、ディープニューラルネットワークを用いた学習処理により、ユーザのモーションを認識するためのモーション認識モデルが生成される。
　図１０に戻り、ステップＳ３２において、モーションリズム認識部１６１は、モーションリズムがとられたか否かを判定する。モーションリズムがとられたと判定された場合、処理はステップＳ３３に進む。
　ステップＳ３３において、モーションリズム認識部１６１は、リズムタイミングを通知する。すなわち、モーションリズム認識部１６１は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータを演出制御部１５４に供給する。
　ステップＳ３４において、モーションリズム認識部１６１は、モーションリズムが変化したか否かを判定する。例えば、モーションリズム認識部１６１は、ユーザがモーションリズムをとった間隔の移動平均が所定の閾値以上変化した場合、モーションリズムが変化したと判定し、処理はステップＳ３５に進む。
　なお、最初のステップＳ３４の処理では、必ずモーションリズムが変化したと判定され、処理はステップＳ３５に進む。
　ステップＳ３５において、モーションリズム認識部１６１は、リズム変化タイミングを通知する。すなわち、モーションリズム認識部１６１は、モーションリズムが変化したタイミングを示すリズム変化タイミングデータを演出制御部１５４に供給する。
　その後、処理はステップＳ３６に進む。
　一方、ステップＳ３４において、例えば、モーションリズム認識部１６１は、モーションリズムをとった間隔の移動平均が所定の閾値以上変化していない場合、モーションリズムが変化していないと判定し、ステップＳ３５の処理はスキップされ、処理はステップＳ３６に進む。
　また、ステップＳ３２において、モーションリズムがとられていないと判定された場合、ステップＳ３３乃至ステップＳ３５の処理はスキップされ、処理はステップＳ３６に進む。
　ステップＳ３６において、モーションＢＰＭ認識部１６２は、モーションＢＰＭが変化したか否かを判定する。例えば、モーションＢＰＭ認識部１６２は、モーションＢＰＭの変化量が所定の閾値以上である場合、モーションＢＰＭが変化したと判定し、処理はステップＳ３７に進む。
　なお、最初のステップＳ３６の処理では、必ずモーションＢＰＭが変化したと判定され、処理はステップＳ３７に進む。
　ステップＳ３７において、モーションＢＰＭ認識部１６２は、モーションＢＰＭを通知する。すなわち、モーションＢＰＭ認識部１６２は、検出したモーションＢＰＭを示すモーションＢＰＭデータを演出制御部１５４に供給する。
　その後、処理はステップＳ３８に進む。
　一方、ステップＳ３６において、例えば、モーションＢＰＭ認識部１６２は、モーションＢＰＭの変化量が所定の閾値未満である場合、モーションＢＰＭが変化していないと判定し、ステップＳ３７の処理はスキップされ、処理はステップＳ３８に進む。
　ステップＳ３８において、モーション認識部１６３は、モーションを検出したか否かを判定する。モーションを検出したと判定された場合、処理はステップＳ３９に進む。
　ステップＳ３９において、モーション認識部１６３は、モーションの種類を通知する。すなわち、モーション認識部１６３は、検出したモーションの種類を示すモーションデータを演出制御部１５４に供給する。
　なお、モーションの種類を通知するタイミングは、例えば、モーションが完了したタイミングとされる。例えば、図１６に示されるように、ユーザがジャンプした場合、ユーザが着地後に立ち上がった時点で、モーションの種類が通知される。
　その後、処理はステップＳ３２に戻り、ステップＳ３２以降の処理が実行される。
　一方、ステップＳ３８において、モーションを検出していないと判定された場合、処理はステップＳ３２に戻り、ステップＳ３２以降の処理が実行される。
　＜演出制御処理＞
　次に、図１７のフローチャートを参照して、図１０のモーション解析処理に対応して演出制御部１５４により実行される演出制御処理について説明する。
　この処理は、例えば、制御用計算機１０３の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ６１において、演出制御部１５４は、モーション解析結果を取得する。具体的には、演出制御部１５４は、リズム度データ、リズムタイミングデータ、リズム変化タイミングデータ、モーションＢＰＭデータ、又は、モーションデータをモーション解析部１５３から取得する。
　ステップＳ６２において、演出制御部１５４は、モーション解析結果に基づいて、演出制御を行う。
　ここで、図１８を参照して、演出方法の具体例について説明する。
　まず、ユーザがモーションリズムをとったタイミングにおける演出方法の例について説明する。
　例えば、照明制御部１７１は、照明機器１５５を強めに光らせる。このとき、照明制御部１７１は、リズム度に基づいて光量を調整するようにしてもよい。
　例えば、照明制御部１７１は、照明機器１５５の照明方向を変化させる。例えば、照明制御部１７１は、照明機器１５５の照明方向を左右や上下等に振らせる。このとき、照明制御部１７１は、リズム度に基づいて照明方向を変化させる速度を調整するようにしてもよい。
　例えば、映像制御部１７２は、映像機器１５６から出力される映像に対してエフェクトをかける。このとき、映像制御部１７２は、リズム度に基づいてエフェクトの種類や強さを調整するようにしてもよい。
　例えば、音響制御部１７３は、音響機器１５７により効果音を鳴動させる。このとき、音響制御部１７３は、リズム度に基づいて効果音の種類や強さを調整するようにしてもよい。
　次に、ユーザのモーションリズムが変化するタイミングにおける演出方法の例について説明する。
　例えば、照明制御部１７１は、照明機器１５５のカラーテーマを変えたり、発光パターンを切り替えたりする。
　例えば、映像制御部１７２は、映像機器１５６から出力される映像のカラーテーマを変えたり、映像を切り替えたり、映像のカットチェンジを行ったりする。
　例えば、音響制御部１７３は、音響機器１５７から出力されるＢＧＭ（Back Ground Music）を切り替える。また、例えば、音響制御部１７３は、音響機器１５７から出力されるビートパターンを切り替える。さらに、例えば、音響制御部１７３は、音響機器１５７により効果音を鳴動させる。
　次に、ユーザのモーションＢＰＭによる演出方法の例について説明する。
　例えば、照明制御部１７１は、モーションＢＰＭに基づいて、照明機器１５５から出力される光の定期的な明滅のタイミングを調整する。例えば、照明制御部１７１は、照明機器１５５から出力される光の定期的なタイミングをモーションＢＰＭに合わせる。
　例えば、映像制御部１７２は、モーションＢＰＭに基づいて、映像機器１５６から出力されるアバターのアニメーションの速度を調整する。例えば、映像制御部１７２は、アバターのアニメーションの速度をモーションＢＰＭに合わせる。
　例えば、音響制御部１７３は、音響機器１５７からモーションＢＰＭと同じＢＰＭのビートパターンを出力させる。また、例えば、音響制御部１７３は、音響機器１５７から出力される楽曲のＢＰＭを調整する。例えば、音響制御部１７３は、楽曲のＢＰＭをモーションＢＰＭに合わせる。
　次に、ユーザのモーションによる演出方法の例について説明する。
　例えば、照明制御部１７１は、モーションが行われたタイミングで照明機器１５５を派手に光らせる。このとき、照明制御部１７１は、モーションの種類や強さに基づいて、光の色や強さを調整するようにしてもよい。
　例えば、照明制御部１７１は、モーションが行われたタイミングで照明機器１５５のカラーテーマを変える。このとき、照明制御部１７１は、モーションの種類や強さに基づいて、カラーテーマを選択するようにしてもよい。
　例えば、照明制御部１７１は、モーションが行われたタイミングで照明機器１５５の発光パターンを切り替える。このとき、照明制御部１７１は、モーションの種類や強さに基づいて、発光パターンを選択するようにしてもよい。
　例えば、映像制御部１７２は、モーションが行われたタイミングで映像機器１５６から出力される映像に対してエフェクトをかける。このとき、映像制御部１７２は、モーションの種類や強さに基づいて、エフェクトの種類や強さを調整するようにしてもよい。
　例えば、映像制御部１７２は、モーションが行われたタイミングで、映像機器１５６から出力されるアバターにモーションと関連性のあるアニメーションを割り当てる。例えば、映像制御部１７２は、アバターにユーザと同じモーションをさせる。
　例えば、映像制御部１７２は、モーションが行われたタイミングで、映像機器１５６からモーションと関連性のあるパーティクル表現を出力させる。
　例えば、映像制御部１７２は、モーションが行われたタイミングで、映像機器１５６から出力される映像のカットチェンジを行う。
　例えば、音響制御部１７３は、音響機器１５７により効果音を鳴動させる。このとき、音響制御部１７３は、モーションの種類や強さに基づいて効果音の種類や強さを調整するようにしてもよい。
　図１７に戻り、その後、処理はステップＳ６１に戻り、ステップＳ６１以降の処理が実行される。
　以上のようにして、ユーザのパフォーマンス中に、ユーザのモーションリズム、リズム度、モーションＢＰＭ、又は、モーションに合わせて効果的な演出を行うことができる。また、例えば、音楽を流さずにユーザがパフォーマンスを行う場合にも、ユーザの動きのみに基づいて、効果的な演出を行うことができる。
　＜第１の実施の形態の変形例＞
　以上の説明では、１人のユーザによるパフォーマンスの演出を行う例を示したが、本技術は、複数のユーザによるパフォーマンスの演出を行う場合にも適用できる。
　この場合、例えば、各ユーザに対して、図４のウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、及び、センサ同期部１５２が設けられる。なお、通信部１５１及びセンサ同期部１５２は、複数のユーザ間で共有することも可能である。そして、例えば、各ユーザのモーションリズム、リズム度、モーションＢＰＭ、又は、モーションに基づいて、上述した方法により演出制御が行われる。
　また、モーションリズム認識部１６１は、モーションリズムを長期的に観測することにより、繰り返し出現するモーションリズムのパターンを認識するようにしてもよい。そして、モーションリズムのパターンを用いて、演出制御が行われるようにしてもよい。
　さらに、例えば、モーションリズム認識モデル及びモーション認識モデルに、生の加速度データや角速度データを入力する代わりに、加速度データや角速度データを人体の骨格情報に変換して入力するようにしてもよい。ここで、骨格情報とは、例えば、人体の各関節の位置や姿勢により表される。
　また、例えば、機械学習を用いずにモーションリズム認識部１６１を構築することも可能である。
　例えば、モーションリズム認識部１６１が、加速度データのノルムが所定の閾値を超えた場合に、ユーザがモーションリズムをとっていると認識するようにしてもよい。また、例えば、モーションリズム認識部１６１が、加速度データのノルムが極小になるタイミングを検出し、そのタイミングでユーザがモーションリズムをとっていると認識するようにしてもよい。加速度データのノルムが極小になるタイミングとして、例えば、ユーザの動きが静止しているタイミングが想定される。
　なお、この機械学習を用いない例において、ユーザが複数のウエアラブルセンサ１０１を装着している場合、例えば、各ウエアラブルセンサ１０１の加速度データの平均値又は最大値等が用いられる。
　また、本技術において、パフォーマンスの演出は、必ずしもパフォーマンスが行われているステージや客席に対して行われるとは限らない。例えば、各観客がＡＲ（Augmented Reality）を用いた眼鏡型のウエアラブルデバイスを介してパフォーマンスを見ている場合、各観客のウエアラブルデバイスの映像や音声を制御することにより演出が行われるようにしてもよい。
　＜＜２．第２の実施の形態＞＞
　次に、図１９乃至図２３を参照して、本技術の第２の実施の形態について説明する。
　＜シンク評価システム３００の機能の構成例＞
　図１９は、本技術を適用したシンク評価システム３００の機能の構成例を示している。なお、図中、図４と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　シンク評価システム３００は、複数のユーザの動きのリズムの一致度を示すシンク度を評価するシステムである。換言すれば、シンク評価システム３００は、複数のユーザの間の動きのリズムの一致度（同期レベル）を評価するシステムである。
　シンク評価システム３００は、モーション解析処理部３０１－１乃至モーション解析処理部３０１－ｎ、シンク度検出部３０２、及び、提示機器３０３を備える。
　モーション解析処理部３０１－１乃至モーション解析処理部３０１－ｎは、シンク評価の対象となる各ユーザに対してそれぞれ設けられる。
　なお、以下、モーション解析処理部３０１－１乃至モーション解析処理部３０１－ｎを個々に区別する必要がない場合、単にモーション解析処理部３０１と称する。
　各モーション解析処理部３０１は、それぞれウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、センサ同期部１５２、及び、モーションリズム認識部１６１を備える。
　モーションリズム認識部１６１は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から取得した動き検出データに基づいて、ユーザのモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータをシンク度検出部３０２に供給する。
　シンク度検出部３０２は、ユーザ間のモーションリズムのシンク度を検出する。シンク度検出部３０２は、検出したシンク度を示すデータを提示機器３０３に供給する。
　提示機器３０３は、映像、音、光、振動等によりユーザ間のモーションリズムのシンク度の提示を行う。
　なお、通信部１５１、センサ同期部１５２、及び、モーションリズム認識部１６１は、必ずしもモーション解析処理部３０１毎に設ける必要はなく、複数のモーション解析処理部３０１間で共有するようにしてもよい。
　＜シンク評価処理＞
　次に、図２０のフローチャートを参照して、シンク評価システム３００により実行されるシンク評価処理について説明する。
　この処理は、例えば、シンク評価システム３００に処理の開始の指令が入力されたとき開始され、処理の終了の指令が入力されたとき終了する。
　ステップＳ１０１において、各モーション解析処理部３０１は、各ユーザのモーションリズムを認識する。具体的には、各モーションリズム認識部１６１は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、各ユーザのモーションリズムの認識処理を行う。そして、各モーションリズム認識部１６１は、各ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データをシンク度検出部３０２に供給する。
　ステップＳ１０２において、シンク度検出部３０２は、シンク度を検出する。
　ここで、図２１乃至図２３を参照して、シンク度の検出方法の例について説明する。
　まず、図２１を参照して、ユーザＡとユーザＢがモーションリズムをとったタイミングの相関関係に基づいて、２人のユーザ間のシンク度を検出する例について説明する。
　例えば、シンク度検出部３０２は、ユーザＡがモーションリズムをとったタイミング、及び、ユーザＢがモーションリズムをとったタイミングを古いものから順に時系列に並べる。例えば、下記のRhythm_Aは、ユーザＡがモーションリズムをとった時刻を時系列に並べた行列であり、Rhythm_Bは、ユーザＢがモーションリズムをとった時刻を時系列に並べた行列である。
　Rhythm_A＝［0.342, 0.628, 1.391,・・・］
　Rhythm_B＝［0.322, 0.839, 1.458,・・・］
　次に、シンク度検出部３０２は、Rhythm_Aの各要素とRhythm_Bの各要素のうち、時刻が近いもの同士をペアリングする。これにより、（rhythm_a, rhythm_b）のペアからなる配列Rhythm_Pairが得られる。なお、rhythm_aはRhythm_Aの要素を示し、rhythm_bはRhythm_Bの要素を示している。
　図２１は、配列Rhythm_Pairを構成する各ペアをグラフにプロットしたものである。横軸は、ユーザＡがモーションリズムをとった時刻を示し、縦軸は、ユーザＢがモーションリズムをとった時刻を示している。
　次に、シンク度検出部３０２は、配列Rhythm_Pairのrhythm_aとrhythm_bとの間の相関係数を計算する。そして、シンク度検出部３０２は、計算した相関係数を、ユーザＡとユーザＢの間のリズムタイミングのシンク度として用いる。
　なお、ユーザが３人以上の場合においても、各ユーザ間の相関係数に基づいて、全ユーザ間のシンク度を検出することが可能である。例えば、２人ずつの各ユーザ間の相関係数を計算し、計算した相関係数の平均値を全ユーザ間のシンク度として検出することが可能である。
　次に、図２２及び図２３を参照して、ユーザＡとユーザＢのリズム度に基づいて、シンク度を検出する例について説明する。
　図２２は、ユーザＡとユーザＢのリズム度の例を示すグラフである。横軸は時間を示し、縦軸はリズム度を示している。また、実線のグラフはユーザＡのリズム度を示し、点線のグラフはユーザＢのリズム度を示している。
　そして、シンク度検出部３０２は、次式（１）により、ユーザＡとユーザＢのリズム度の相互相関を計算する。
Figure JPOXMLDOC01-appb-M000001
　なお、式（１）のｆはユーザＡのリズム度を示す関数を示し、ｇはユーザＢのリズム度を示す関数を示している。また、ｍはシフト量を示している。
　図２３は、ユーザＡとユーザＢのリズム度の相互相関の例を示している。横軸はシフト量ｍを示し、縦軸は相互相関を示している。
　例えば、シンク度検出部３０２は、ユーザＡとユーザＢのリズム度の相互相関の最大値を、ユーザＡとユーザＢのモーションリズムのシンク度として求める。例えば、図２３の例では、点線の丸で囲まれた部分の相互相関のピーク値が、ユーザＡとユーザＢのモーションリズムのシンク度とされる。
　また、例えば、シンク度検出部３０２は、ユーザＡとユーザＢのリズム度の相互相関が最大となるときのシフト量ｍを、ユーザＡとユーザＢの間のモーションリズムのズレとして検出することが可能である。
　なお、ユーザが３人以上の場合においても、各ユーザ間の相互相関に基づいて、全ユーザ間のシンク度を検出することが可能である。例えば、２人ずつの各ユーザ間の相互相関を計算し、計算した相互相関の平均値を全ユーザ間のシンク度として検出することが可能である。
　シンク度検出部３０２は、検出したシンク度を示すシンク度データを提示機器３０３に供給する。
　ステップＳ１０３において、提示機器３０３は、シンク度の提示を行う。
　なお、シンク度の提示方法には、任意の方法を用いることができる。例えば、提示機器３０３は、映像や音声により、具体的なシンク度の数値を提示する。また、例えば、提示機器３０３は、効果音の種類、音量、若しくは、スピード、光の強さ若しくは色、又は、振動の強さ又は速さにより、シンク度を提示する。
　その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
　以上のようにして、複数のユーザ間のモーションリズムのシンク度を正確かつ容易に検出することができる。
　また、例えば、各ユーザに対してリアルタイムにシンク度を提示することにより、各ユーザがシンク度を高めるように、ダンス等のパフォーマンスを改善することができる。
　＜第２の実施の形態の変形例＞
　例えば、各ユーザの部位（例えば、頭、手、足、腰等）毎にモーションリズムを認識し、複数のユーザの部位間のモーションリズムのシンク度を検出するようにしてもよい。
　また、例えば、上述した第１の実施の形態において、各ユーザが参加するパフォーマンスの演出制御にシンク度を用いるようにしてもよい。ここで、各ユーザが参加するパフォーマンスには、各ユーザがパフォーマとして参加する場合と、各ユーザが観客として参加する場合がある。
　各ユーザがパフォーマとしてパフォーマンスに参加する場合、例えば、各パフォーマのシンク度が所定の閾値を超えた場合、又は、所定の時間内にシンク度が基準値を超えた回数（発火頻度）が所定の閾値を超えた場合、各種の演出が行われる。
　一方、各ユーザが観客としてパフォーマンスに参加する場合、例えば、各観客にウエアラブルセンサ１０１が装着される。そして、例えば、各観客のモーションリズムのシンク度が所定の閾値を超えた場合、又は、所定の時間内にシンク度の発火頻度が所定の閾値を超えた場合、各種の演出が行われる。
　また、例えば、各ユーザが参加するパフォーマンスの演出制御に、シンク度の代わりに、或いは、シンク度に加えて、各ユーザのリズム度を用いるようにしてもよい。
　各ユーザがパフォーマとしてパフォーマンスに参加する場合、例えば、各パフォーマのリズム度の総和が所定の閾値を超えた場合、又は、所定の時間内に各パフォーマのリズム度の総和が所定の基準値を超えた回数（発火頻度）が所定の閾値を超えた場合、各種の演出が行われる。
　一方、各ユーザが観客としてパフォーマンスに参加する場合、例えば、各観客のリズム度の総和が所定の閾値を超えた場合、又は、所定の時間内に各観客のリズム度の発火頻度が所定の閾値を超えた場合、各種の演出が行われる。
　なお、観客のシンク度やリズム度に基づいてパフォーマンスの演出を行うことにより、会場の一体感や盛り上がりを演出に反映することができる。その結果、さらに会場の一体感や盛り上がりを高めることができる。
　＜＜３．第３の実施の形態＞＞
　次に、図２４乃至図３０を参照して、本技術の第３の実施の形態について説明する。
　＜撮影システム４００のハードウエアの構成例＞
　図２４は、本技術を適用した撮影システム４００のハードウエアの構成例を示している。なお、図中、図１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　撮影システム４００は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、計算機４０１、表示機器４０２、及び、撮影部４０３を備える。
　各ウエアラブルセンサ１０１は、動き検出データを含む通信パケットを計算機４０１に送信する。
　計算機４０１は、動き検出データに基づいて、撮影部４０３によるユーザの撮影を制御し、撮影の結果得られた画像を受信する。また、計算機４０１は、撮影されたユーザの画像の表示機器４０２による表示を制御する。
　表示機器４０２は、例えば、プロジェクタ、モニタ等を備え、計算機４０１の制御の下に、画像の表示を行う。
　撮影部４０３は、１以上のカメラを備える。撮影部４０３は、計算機４０１の制御の下に、ユーザの撮影を行い、撮影の結果得られた画像を計算機４０１に送信する。
　なお、各ウエアラブルセンサ１０１と計算機４０１との間の通信には、例えば、任意の方式の低遅延の近距離無線通信が採用される。近距離無線通信を採用することにより、ウエアラブルセンサ１０１の消費電力を削減するとともに、ウエアラブルセンサ１０１を小型化することが可能になる。
　計算機４０１と撮影部４０３との間の通信には、例えば、任意の方式の無線通信が採用される。
　なお、例えば、計算機４０１と表示機器４０２を１つのデバイスにより構成したり、計算機４０１と撮影部４０３を１つのデバイスにより構成したりしてもよい。また、例えば、計算機４０１、表示機器４０２、及び、撮影部４０３を１つのデバイスにより構成してもよい。
　＜撮影システム４００の機能の構成例＞
　図２５は、撮影システム４００の機能の構成例を示している。
　なお、図中、図１９及び図２４と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　撮影システム４００は、モーション解析処理部３０１、表示機器４０２、撮影部４０３、撮影制御部４５１、記憶部４５２、及び、表示制御部４５３を備える。モーション解析処理部３０１は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、センサ同期部１５２、及び、モーションリズム認識部１６１を備える。
　モーションリズム認識部１６１は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から取得した動き検出データに基づいて、ユーザのモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータを撮影制御部４５１に供給するとともに、記憶部４５２に記憶させる。
　撮影制御部４５１は、撮影部４０３の撮影の制御を行う。例えば、撮影制御部４５１は、ユーザのモーションリズムの認識結果に基づいて、撮影部４０３の撮影タイミングを制御する。
　撮影部４０３は、撮影の結果得られた画像を記憶部４５２に記憶させる。
　表示制御部４５３は、ユーザのモーションリズムの認識結果に基づいて、記憶部４５２に記憶されている画像の表示機器４０２による表示を制御する。
　＜撮影システム４００の処理＞
　次に、図２６乃至図３０を参照して、撮影システム４００の処理について説明する。
　＜撮影制御処理＞
　まず、図２６のフローチャートを参照して、撮影システム４００により実行される撮影制御処理について説明する。
　この処理は、例えば、撮影システム４００に撮影の開始の指令が入力されたとき開始される。
　ステップＳ２０１において、モーションリズム認識部１６１は、モーションリズムの認識及び記録を開始する。具体的には、モーションリズム認識部１６１は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、ユーザのモーションリズムの認識処理を開始する。また、モーションリズム認識部１６１は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データを記憶部４５２に供給し、記憶させる処理を開始する。
　ステップＳ２０２において、図１０のステップＳ３２の処理と同様に、モーションリズムがとられたか否かが判定される。モーションリズムがとられたと判定された場合、処理はステップＳ２０３に進む。
　ステップＳ２０３において、撮影システム４００は、撮影を行う。具体的には、モーションリズム認識部１６１は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータを撮影制御部４５１に供給する。
　撮影部４０３は、撮影制御部４５１の制御の下に、ユーザがモーションリズムをとったタイミングに同期して、ユーザの撮影を行い、撮影の結果得られた画像を記憶部４５２に記憶させる。
　ステップＳ２０４において、撮影システム４００は、撮影を終了するか否かを判定する。撮影を終了しないと判定された場合、処理はステップＳ２０２に戻る。
　その後、ステップＳ２０４において、撮影を終了すると判定されるまで、ステップＳ２０２乃至ステップＳ２０４の処理が繰り返し実行される。
　一方、ステップＳ２０４において、撮影システム４００は、例えば、撮影の終了の指令が入力された場合、撮影を終了すると判定し、撮影制御処理は終了する。
　＜表示制御処理＞
　次に、図２７のフローチャートを参照して、撮影システム４００により実行される表示制御処理について説明する。
　この処理は、例えば、撮影システム４００に画像の表示の指令が入力されたとき開始される。
　ステップＳ２３１において、表示制御部４５３は、リズムタイミングに基づいて、表示レイアウトを設定する。
　なお、表示レイアウトの具体例については、図２８乃至図３０を参照して後述する。
　ステップＳ２３２において、表示制御部４５３は、リズム度に基づいて画像を加工するか否かを判定する。例えば、表示制御部４５３は、リズム度に基づいて画像を加工する設定がオンにされている場合、リズム度に基づいて画像を加工すると判定し、処理はステップＳ２３３に進む。
　ステップＳ２３３において、表示制御部４５３は、各画像のエフェクト強度を計算する。具体的には、表示制御部４５３は、記憶部４５２に記憶されているリズム度データに基づいて、各画像の撮影時のユーザのリズム度を検出し、検出したリズム度に基づいて、各画像に適用するエフェクトの強度を計算する。例えば、エフェクト強度は、リズム度に所定の定数を乗じた値に設定される。
　ステップＳ２３４において、表示制御部４５３は、計算したエフェクト強度に基づいて、記憶部４５２に記憶されている各画像にエフェクトをかける。
　その後、処理はステップＳ２３５に進む。
　一方、ステップＳ２３２において、例えば、表示制御部４５３は、リズム度に基づいて画像を加工する設定がオフにされている場合、リズム度に基づいて画像を加工しないと判定し、ステップＳ２３３及びステップＳ２３４の処理はスキップされ、処理はステップＳ２３５に進む。
　ステップＳ２３５において、表示機器４０２は、表示制御部４５３の制御の下に、画像を表示する。
　その後、表示制御処理は終了する。
　ここで、図２８乃至図３０を参照して、この処理で表示機器４０２に表示される表示画面の例について説明する。
　図２８は、リズム度に基づいて画像を加工しない場合の表示画面の例を示している。
　図２８の表示画面は、画面の上方の画像表示部５０１と、画面の下方の操作部５０２に大きく分かれる。
　画像表示部５０１には、ユーザがモーションリズムをとったときの画像（以下、リズムタイミング画像と称する）が、時系列に並べて表示される。この例では、リズムタイミング画像Ｐ１乃至リズムタイミング画像Ｐ４が、左から右に撮影時刻順に並べて表示されている。また、各リズムタイミング画像の間隔は、実際にユーザがモーションリズムをとった時刻の間隔に基づいて調整される。
　例えば、リズムタイミング画像Ｐ１乃至リズムタイミング画像Ｐ４のうちいずれかが選択された場合、選択されたリズムタイミング画像が拡大され鮮明に表示される。このとき、例えば、選択されたリズムタイミング画像を保存したり、共有したりできるようにしてもよい。
　操作部５０２には、シークバー５１１、スライダ５１２、再生ボタン５１３、早戻しボタン５１４、及び、早送りボタン５１５が表示されている。
　スライダ５１２の幅は、画像表示部５０１に表示されるリズムタイミング画像の時間的な範囲の目安を示している。スライダ５１２の中央の円は、画像表示部５０１の略中央に表示されるリズムタイミング画像の撮影時刻の目安を示している。そして、スライダ５１２が、時間軸を示すシークバー５１１上を左又は右にスライドされることにより、画像表示部５０１に表示されるリズムタイミング画像の時間的な範囲が調整される。スライダ５１２が左にスライドされると、画像表示部５０１に表示されるリズムタイミング画像の時間的な範囲が戻る。一方、スライダ５１２が右にスライドされると、画像表示部５０１に表示されるリズムタイミング画像の時間的な範囲が進む。
　再生ボタン５１３が押下されると、リズムタイミング画像の自動再生が開始される。例えば、撮影時刻がスライダ５１２の中央の円の部分に対応する時刻付近のリズムタイミング画像のみが表示画面内に大きく表示される。そして、表示画面内に表示されるリズムタイミング画像が、所定の間隔で時系列に従って１コマずつ自動的に進められる。このとき、早戻しボタン５１４が押下されると、画像表示部５０１に表示されるリズムタイミング画像が早戻しされる。一方、早送りボタン５１５が押下されると、画像表示部５０１に表示されるリズムタイミング画像が早送りされる。
　なお、再生ボタン５１３が押下された場合、図２８のレイアウトのまま、画像表示部５０１に表示されるリズムタイミング画像を左方向（時間が進む方向）にスクロールさせるようにしてもよい。
　また、例えば、表示画面に対してピンチ操作が行われることにより、表示されている画像が拡大又は縮小されるようにしてもよい。
　図２９は、リズム度に基づいて画像を加工する場合の表示画面の例を示している。なお、図中、図２８と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　図２９の表示画面は、図２８の表示画面と同様に、画像表示部５０１と操作部５０２に分かれる。操作部５０２は、図２８の表示画面の操作部５０２と同様の構成である。一方、画像表示部５０１に表示されるリズムタイミング画像にエフェクトがかけられている点が異なっている。
　具体的には、この例では、リズムタイミング画像Ｐ１１乃至リズムタイミング画像Ｐ１４が画像表示部５０１に表示されている。
　例えば、リズムタイミング画像Ｐ１２のように、リズム度に基づいて画像サイズが変化する。例えば、リズムタイミング画像の撮影時のユーザのリズム度が大きいほど、画像サイズが大きくなり、リズム度が小さいほど、画像サイズが小さくなる。
　例えば、リズムタイミング画像Ｐ１３のように、リズム度に基づいて、画像が振り子のように左右にスイングする。例えば、リズムタイミング画像の撮影時のユーザのリズム度が大きいほど、画像の振れ幅が大きくなり、リズム度が小さいほど、画像の振れ幅が小さくなる。
　例えば、リズムタイミング画像Ｐ１４のように、リズム度に基づいて、画像の周囲にパーティクルが表示される。例えば、リズムタイミング画像の撮影時のユーザのリズム度が大きいほど、パーティクルの数が多くなったり、パーティクルが明るくなったりする。一方、リズムタイミング画像の撮影時のユーザのリズム度が小さいほど、パーティクルの数が少なくなったり、パーティクルが暗くなったりする。
　なお、以上の説明では、ユーザがモーションリズムをとったときに撮影する例を示したが、例えば、ユーザを常時撮影し、後でリズムタイミング及びリズム度に基づいて、撮影した画像（動画）を加工して表示するようにしてもよい。
　この場合、例えば、図２８又は図２９の表示画面において、リズムタイミング画像Ｐ１乃至リズムタイミング画像Ｐ１４のいずれかのリズムタイミング画像が選択された場合、選択されたリズムタイミング画像を基準とする所定の時間内の動画が再生されるようにしてもよい。また、例えば、各リズムタイミング画像付近の動画を時系列に連続して再生（ダイジェスト再生）できるようにしてもよい。
　また、例えば、図３０の表示画面のように、ピックアップ表示と動画表示が切り替えられるようにしてよい。
　具体的には、図３０の表示画面の上端には、ピックアップ表示タブ５３１及び動画表示タブ５３２が表示されている。この例では、動画表示タブ５３２が選択されている場合の例が示されている。なお、ピックアップ表示タブ５３１が選択されている場合、例えば、上述した図２８又は図２９の表示画面が、ピックアップ表示タブ５３１及び動画表示タブ５３２の下方に表示される。
　動画表示タブ５３２が選択されている場合、ピックアップ表示タブ５３１及び動画表示タブ５３２の下方に、撮影したユーザの動画が表示される。また、動画に重畳して、操作部５３３が表示される。
　操作部５３３には、シークバー５４１、スライダ５４２、モーションボタン５４３－１乃至モーションボタン５４３－３、再生ボタン５４４、早戻しボタン５４５、早送りボタン５４６、早戻しボタン５４７、早送りボタン５４８、早戻しボタン５４９、及び、早送りボタン５５０が表示されている。
　シークバー５４１及びスライダ５４２は、図２８及び図２９のシークバー５１１及びスライダ５１２と同様のものである。スライダ５４２がシークバー５４１上を左にスライドされると、動画の時間軸方向の再生位置が戻る。一方、スライダ５４２がシークバー５４１上を右にスライドされると、動画の時間軸方向の再生位置が進む。
　モーションボタン５４３－１乃至モーションボタン５４３－３は、検出されたモーションの時間的な位置を示している。なお、実際には、検出されたモーションの種類がモーションボタン５４３－１乃至モーションボタン５４３－３内に表示される。そして、モーションボタン５４３－１乃至モーションボタン５４３－３のうちのいずれかが選択されると、選択されたモーションの部分から動画の再生が開始される。
　なお、例えば、選択したモーションの部分の動画をリピート再生する機能を設けるようにしてもよい。
　再生ボタン５４４が押下されると、動画の再生が開始される。
　早戻しボタン５４５が押下されると、動画の再生位置が１つ前のリズムタイミングに戻される。一方、早送りボタン５４６が押下されると、動画の再生位置が１つ後のリズムタイミングに進められる。
　早戻しボタン５４７が押下されると、動画の再生位置が１つ前のモーションの先頭に戻される。一方、早送りボタン５４８が押下されると、動画の再生位置が１つ後のモーションの先頭に進められる。
　早戻しボタン５４９が押下されると、動画の再生位置が１つ前のチャプタの先頭に戻される。一方、早送りボタン５５０が押下されると、動画の再生位置が１つ後のチャプタの先頭に進められる。
　なお、チャプタは、例えば、ユーザのリズムパターンが略一定の区間、又は、ユーザのモーションＢＰＭが略一定の区間毎に区切られる。
　以上のようにして、ユーザがモーションリズムをとったタイミングの画像を簡単に撮影し、表示することができる。
　また、ユーザがモーションリズムをとるときは、例えば、静止したり、ポーズを決めていたりすることが多い。従って、ユーザがモーションリズムをとったときに撮影することにより、ユーザが動いていても、ユーザの見栄えのよい画像をぶれずに撮影することができる。
　＜第３の実施の形態の変形例＞
　例えば、第１の実施の形態に、第３の実施の形態を適用することにより、ユーザがパフォーマンスを行っている最中に、ユーザがモーションリズムをとるごとにユーザを撮影することができる。そして、例えば、撮影した一連の画像をアルバムにまとめて、ユーザに配信することができる。
　＜＜４．第４の実施の形態＞＞
　次に、図３１乃至図３６を参照して、本技術の第４の実施の形態について説明する。
　＜撮影システム６００の機能の構成例＞
　図３１は、本技術を適用した撮影システム６００の機能の構成例を示している。なお、図中、図１９及び図２５と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　撮影システム６００は、モーション解析処理部３０１－１乃至モーション解析処理部３０１－ｎ、シンク度検出部３０２、表示機器４０２、撮影部４０３、記憶部４５２、シンク度ピーク検出部６０１、撮影制御部６０２、及び、表示制御部６０３を備える。
　各モーション解析処理部３０１のモーションリズム認識部１６１は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から取得した動き検出データに基づいて、各ユーザのモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータをシンク度検出部３０２及び撮影制御部６０２に供給する。
　シンク度ピーク検出部６０１は、シンク度検出部３０２により検出されるユーザ間のモーションのシンク度のピークを検出する。シンク度ピーク検出部６０１は、シンク度のピークの検出結果を示すデータを撮影制御部６０２に供給する。また、シンク度ピーク検出部６０１は、シンク度及びシンク度のピークの検出結果を示すデータを記憶部４５２に記憶させる。
　撮影制御部６０２は、撮影部４０３の撮影の制御を行う。例えば、撮影制御部６０２は、各モーションリズム認識部１６１により認識された各ユーザのモーションリズムの認識結果に基づいて、撮影部４０３の撮影タイミングを制御する。また、例えば、撮影制御部６０２は、シンク度ピーク検出部６０１により検出されたユーザ間のモーションリズムのシンク度のピークに基づいて、撮影部４０３の撮影タイミングを制御する。
　表示制御部６０３は、各ユーザのモーションリズムの認識結果、及び、ユーザ間のモーションリズムのシンク度のピークに基づいて、記憶部４５２に記憶されている画像の表示機器４０２による表示を制御する。
　＜撮影システム６００の処理＞
　次に、図３２乃至図３６を参照して、撮影システム６００の処理について説明する。
　＜撮影制御処理＞
　まず、図３２のフローチャートを参照して、撮影システム６００により実行される撮影制御処理について説明する。
　この処理は、例えば、撮影システム６００に撮影の開始の指令が入力されたとき開始される。
　ステップＳ３０１において、各モーション解析処理部３０１のモーションリズム認識部１６１は、モーションリズムの認識及び記録を開始する。具体的には、各モーションリズム認識部１６１は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、各ユーザのモーションリズムの認識処理を開始する。また、各モーションリズム認識部１６１は、各ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データを記憶部４５２に供給し、記憶させる処理を開始する。
　ステップＳ３０２において、撮影システム６００は、シンク度の検出及び記録を開始する。具体的には、シンク度検出部３０２は、図２０のステップＳ１０２と同様の処理により、各ユーザ間のモーションリズムのシンク度を検出する処理を開始する。また、シンク度検出部３０２は、検出したシンク度を示すシンク度データをシンク度ピーク検出部６０１に供給する処理を開始する。
　シンク度ピーク検出部６０１は、シンク度のピークの検出処理を開始する。また、シンク度ピーク検出部６０１は、シンク度データにシンク度のピークの検出結果を付加して記憶部４５２に記憶させる処理を開始する。
　ステップＳ３０３において、シンク度ピーク検出部６０１は、シンク度のピークを検出したか否かを判定する。シンク度のピークを検出していないと判定された場合、処理はステップＳ３０４に進む。
　ステップＳ３０４において、各モーションリズム認識部１６１は、モーションリズムがとられたか否かを判定する。いずれか１つ以上のモーションリズム認識部１６１が、モーションリズムがとられたと判定した場合、処理はステップＳ３０５に進む。
　一方、ステップＳ３０３において、シンク度のピークを検出したと判定された場合、ステップＳ３０４の処理はスキップされ、処理はステップＳ３０５に進む。
　ステップＳ３０５において、撮影システム６００は、撮影を行う。
　具体的には、各モーションリズム認識部１６１は、モーションリズムがとられたことを検出した場合、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータを撮影制御部６０２に供給する。また、シンク度ピーク検出部６０１は、シンク度のピークを検出した場合、シンク度のピークを検出したことを示すシンク度ピーク検出データを撮影制御部６０２に通知する。
　撮影部４０３は、撮影制御部６０２の制御の下に、１以上のユーザがモーションリズムをとったタイミング、又は、各ユーザ間のモーションリズムのシンク度がピークになったタイミングに同期して、ユーザの撮影を行い、撮影の結果得られた画像を記憶部４５２に記憶させる。
　なお、撮影部４０３は、全てのユーザを一度に撮影するようにしてもよいし、各ユーザを個別に撮影するようにしてもよい。後者の場合、例えば、モーションリズムをとったユーザのみ撮影するようにしてもよいし、モーションリズムをとっていないユーザも撮影するようにしてもよい。また、後者の場合、ユーザを１人ずつ撮影するようにしてもよいし、ユーザを１人以上の複数のグループに分けて、グループ毎に撮影するようにしてもよい。
　その後、処理はステップＳ３０６に進む。
　一方、ステップＳ３０４において、いずれのモーションリズム認識部１６１も、モーションリズムがとられていないと判定した場合、ステップＳ３０５の処理はスキップされ、処理はステップＳ３０６に進む。すなわち、シンク度のピークが検出されておらず、かつ、いずれのユーザもモーションリズムをとっていない場合、撮影は行われない。
　ステップＳ３０６において、図２６のステップＳ２０４の処理と同様に、撮影を終了するか否かが判定される。撮影を終了しないと判定された場合、処理はステップＳ３０３に戻る。
　その後、ステップＳ３０６において、撮影を終了すると判定されるまで、ステップＳ３０３乃至ステップＳ３０６の処理が繰り返し実行される。
　一方、ステップＳ３０６において、撮影を終了すると判定された場合、撮影制御処理は終了する。
　＜表示制御処理＞
　次に、図３３のフローチャートを参照して、撮影システム６００により実行される表示制御処理について説明する。
　この処理は、例えば、撮影システム６００に画像の表示の指令が入力されたとき開始される。
　ステップＳ３３１において、表示制御部６０３は、シンク度に基づいて表示レイアウトを設定するか否かを判定する。例えば、表示制御部６０３は、シンク度に基づいて表示レイアウトを設定する設定がオンにされている場合、シンク度に基づいて表示レイアウトを設定すると判定し、処理はステップＳ３３２に進む。
　ステップＳ３３２において、表示制御部６０３は、シンク度及びリズムタイミングに基づいて、表示レイアウトを設定する。
　なお、表示レイアウトの具体例については、図３５及び図３６を参照して後述する。
　その後、処理はステップＳ３３４に進む。
　一方、ステップＳ３３１において、例えば、表示制御部６０３は、シンク度に基づいて表示レイアウトを設定する設定がオフにされている場合、シンク度に基づいて表示レイアウトを設定しないと判定し、処理はステップＳ３３３に進む。
　ステップＳ３３３において、表示制御部６０３は、リズムタイミングに基づいて、表示レイアウトを設定する。すなわち、ステップＳ３３２の処理と異なり、表示レイアウトの設定にリズムタイミングだけが用いられ、シンク度は用いられない。
　なお、表示レイアウトの具体例については、図３４を参照して後述する。
　その後、処理はステップＳ３３４に進む。
　ステップＳ３３４乃至ステップＳ３３６において、図２７のステップＳ２３２乃至ステップＳ２３４と同様の処理が実行される。
　ステップＳ３３７において、表示機器４０２は、表示制御部６０３の制御の下に、画像を表示する。
　その後、表示制御処理は終了する。
　ここで、図３４及び図３６を参照して、この処理で表示機器４０２に表示される表示画面の例について説明する。なお、図中、図２８及び図２９と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　図３４は、シンク度を用いずに、リズムタイミングのみに基づいて画像を表示する場合の例を示している。
　図３４の表示画面は、図２８及び図２９の表示画面と同様に、画面の上方の画像表示部５０１と、画面の下方の操作部５０２に大きく分かれている。操作部５０２の構成は、図２８及び図２９の表示画面と同様である。
　一方、画像表示部５０１には、ユーザＡ及びユーザＢの２人のユーザのリズムタイミング画像が上下に並べて表示されている。各ユーザのリズムタイミング画像の表示レイアウトは、図２８の表示画面と同様である。すなわち、ユーザＡのリズムタイミング画像Ｐａ１乃至リズムタイミング画像Ｐａ４が、時系列に並べて表示されている。また、ユーザＢのリズムタイミング画像Ｐｂ１乃至リズムタイミング画像Ｐｂ３が、時系列に並べて表示されている。
　上下に並んでいるリズムタイミング画像Ｐａ１とリズムタイミング画像Ｐｂ１、及び、リズムタイミング画像Ｐａ３とリズムタイミング画像Ｐｂ２は、ほぼ同時刻に撮影された画像である。これにより、ユーザＡとユーザＢが、モーションリズムをとったタイミングがほぼ一致していたことが分かる。
　一方、リズムタイミング画像Ｐａ２は、ユーザＢがモーションリズムをとっていないときにユーザＡがモーションリズムをとったタイミングで撮影された画像である。
　また、リズムタイミング画像Ｐａ４とリズムタイミング画像Ｐｂ３の時間方向の位置が微妙にずれている。これにより、ユーザＡとユーザＢがモーションリズムをとったタイミングにズレがあったことが分かる。
　なお、画像Ｐａ１乃至画像Ｐｂ３には、各ユーザを個別に撮影した画像を用いてもよいし、ユーザＡ及びユーザＢを一緒に撮影した画像から各ユーザを抽出した画像を用いてもよい。
　図３４の例では、各ユーザ間の動きのリズム（モーションリズム）を容易に比較することができる。従って、例えば、複数のユーザのうちの１人を手本となるユーザとすることにより、他のユーザは手本となる動きと自分の動きとを容易に比較することができ、特に、動きのリズムの違いを正確に認識することができる。その結果、各ユーザは、例えば、どうすれば自分の動きを手本に合わすことができるかを容易に認識し、自分の動きを改善することができる。
　図３５は、シンク度及びリズムタイミングに基づいて画像を表示する場合の例を示している。
　図３５の表示画面は、図３４の表示画面と同様に、画面の上方の画像表示部５０１と、画面の下方の操作部５０２に大きく分かれている。操作部５０２の構成は、図３４の表示画面と同様である。
　一方、画像表示部５０１には、ユーザＡとユーザＢの動きのシンク度がピークになったときのユーザＡ及びユーザＢのリズムタイミング画像のみが抽出されて表示されている。
　すなわち、ユーザＡのリズムタイミング画像Ｐａ１１乃至リズムタイミング画像Ｐａ１４が、時系列に並べて表示されている。また、ユーザＢのリズムタイミング画像Ｐｂ１１乃至リズムタイミング画像Ｐｂ１４が、時系列に並べて表示されている。
　上下に並んでいるリズムタイミング画像Ｐａ１１とリズムタイミング画像Ｐｂ１１、リズムタイミング画像Ｐａ１２とリズムタイミング画像Ｐｂ１２、リズムタイミング画像Ｐａ１３とリズムタイミング画像Ｐｂ１３、及び、リズムタイミング画像Ｐａ１４とリズムタイミング画像Ｐｂ１４の各ペアは、それぞれシンク度がピークとなったときに同じタイミングで撮影された画像である。
　なお、画像Ｐａ１１乃至画像Ｐｂ１４には、各ユーザを個別に撮影した画像を用いてもよいし、ユーザＡ及びユーザＢを一緒に撮影した画像から各ユーザを抽出した画像を用いてもよい。
　図３６は、シンク度及びリズムタイミングに基づいて画像を表示する場合の他の例を示している。
　図３６の表示画面は、図３４及び図３５の表示画面と同様に、画面の上方の画像表示部５０１と、画面の下方の操作部５０２に大きく分かれている。操作部５０２の構成は、図３４及び図３５の表示画面と同様である。
　一方、画像表示部５０１には、図３５の表示画面と同様に、ユーザＡ乃至ユーザＣの動きのシンク度がピークになったときのユーザＡ乃至ユーザＣのリズムタイミング画像のみが抽出されて表示されている。
　ただし、この表示画面では、図３５の表示画面と異なり、シンク度がピークになったときに撮影されたユーザＡ乃至ユーザＣの画像が１つにまとめて表示されている。すなわち、画像Ｐ２１及び画像Ｐ２２は、それぞれシンク度がピークになったときに撮影されたユーザＡ乃至ユーザＣの画像が１つの画像内に含まれている。
　なお、画像Ｐ２１及び画像Ｐ２２には、ユーザＡ乃至ユーザＣを一緒に撮影した画像を用いてもよいし、各ユーザをシンク度がピークになったときに個別に撮影した画像を合成した画像を用いてもよい。
　図３５及び図３６の例では、各ユーザ間のシンク度が高い瞬間、例えば、各ユーザの動きがぴったり一致して決まっている瞬間の画像を簡単に抽出して表示することができる。
　なお、図３４乃至図３６の表示画面において、図２９の表示画面と同様に、リズム度に基づいて各画像にエフェクトをかけるようにしてもよい。
　また、例えば、各ユーザを常時撮影し、後でリズムタイミング、リズム度、及び、シンク度に基づいて、撮影した画像（動画）を加工して表示するようにしてもよい。
　＜＜５．第５の実施の形態＞＞
　次に、図３７及び図３８を参照して、本技術の第５の実施の形態について説明する。
　＜楽曲推薦システム７００の機能の構成例＞
　図３７は、本技術を適用した楽曲推薦システム７００の機能の構成例を示している。なお、図中、図４と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　楽曲推薦システム７００は、モーション解析処理部７０１、楽曲ＤＢ（データベース）７０２、楽曲解析部７０３、楽曲リズムＤＢ（データベース）７０４、比較部７０５、及び、推薦部７０６を備える。
　モーション解析処理部７０１は、ウエアラブルセンサ１０１－１乃至ウエアラブルセンサ１０１－５、通信部１５１、センサ同期部１５２、モーションリズム認識部１６１、及び、モーションＢＰＭ認識部１６２を備える。
　モーションリズム認識部１６１は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１供給される動き検出データに基づいて、ユーザのモーションリズムの認識処理を行う。モーションリズム認識部１６１は、ユーザのモーションリズムの認識結果を示すデータを比較部７０５に供給する。
　モーションＢＰＭ認識部１６２は、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１供給される動き検出データに基づいてユーザのモーションＢＰＭの認識処理を行う。モーションＢＰＭ認識部１６２は、ユーザのモーションＢＰＭの認識結果を示すデータを比較部７０５に供給する。
　楽曲ＤＢ７０２には、各楽曲の再生に用いる楽曲データが登録されている。
　楽曲解析部７０３は、楽曲ＤＢ７０２に登録されている楽曲データの解析処理を行う。楽曲解析部７０３は、ビート検出部７１１、音源分離部７１２、及び、楽器別リズム認識部７１３を備える。
　ビート検出部７１１は、楽曲ＤＢ７０２に登録されている各楽曲データに基づいて、各楽曲のビートを検出する。ビート検出部７１１は、検出した各楽曲のビートを示すデータを楽曲リズムＤＢ７０４に登録する。
　音源分離部７１２は、楽曲ＤＢ７０２に登録されている各楽曲データを音源毎（すなわち、楽器毎）に分離し、分離後の楽器毎の音響データを楽器別リズム認識部７１３に供給する。
　楽器別リズム認識部７１３は、各楽曲の楽器毎の音響データに基づいて、各楽曲の楽器毎のリズムの認識処理を行う。例えば、楽器別リズム認識部７１３は、各楽器の音量等に基づいて、各楽器のリズムがとられたタイミング、及び、各楽器のリズムの強さを示すリズム度を認識する。楽器別リズム認識部７１３は、認識した各楽曲の楽器毎のリズム及びリズム度を示すデータを楽曲リズムＤＢ７０４に登録する。
　楽曲リズムＤＢ７０４は、各楽曲のビート、並びに、楽器毎のリズム及びリズム度を示すデータが登録されている。
　比較部７０５は、ユーザの動きのリズムと楽曲リズムＤＢ７０４に登録されている各楽曲のリズムとを比較し、比較結果を示すデータを推薦部７０６に供給する。
　推薦部７０６は、ユーザの動きのリズムと各楽曲のリズムとを比較した結果に基づいて、ユーザに推薦する楽曲を選択し、推薦する楽曲を示すデータを出力する。
　＜楽曲推薦処理＞
　次に、図３８のフローチャートを参照して、楽曲推薦システム７００により実行される楽曲推薦処理について説明する。
　ステップＳ４０１において、モーション解析処理部７０１は、ユーザのモーションリズム及びモーションＢＰＭを認識する。
　具体的には、モーションリズム認識部１６１は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１から供給される動き検出データに基づいて、各ユーザのモーションリズムの認識処理を行う。そして、モーションリズム認識部１６１は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データを比較部７０５に供給する。
　モーションＢＰＭ認識部１６２は、上述した図１０のステップＳ３１と同様の処理により、通信部１５１及びセンサ同期部１５２を介して各ウエアラブルセンサ１０１供給される動き検出データに基づいてユーザのモーションＢＰＭの認識処理を行う。モーションＢＰＭ認識部１６２は、検出したモーションＢＰＭを示すモーションＢＰＭデータを比較部７０５に供給する。
　ステップＳ４０２において、比較部７０５は、ユーザの動きに合う楽曲を検索する。
　例えば、比較部７０５は、楽曲リズムＤＢに登録されている楽曲の中から、ユーザのモーションＢＰＭとの差が所定の範囲内のＢＰＭを持つ楽曲を抽出する。
　次に、比較部７０５は、抽出した楽曲の各楽器のリズムとユーザのモーションリズムとのマッチング度を検出する。なお、各楽器のリズムとモーションリズムとのマッチング度は、上述したユーザ間のモーションリズムのシンク度と同様の計算方法により検出することが可能である。例えば、各楽器のリズムをとったタイミングとユーザがモーションリズムをとったタイミングとの相関係数をマッチング度とすることができる。また、例えば、各楽器のリズム度とユーザのリズム度との相互相関をマッチング度とすることができる。
　比較部７０５は、抽出した各楽曲のマッチング度を示すデータを推薦部７０６に供給する。
　ステップＳ４０３において、推薦部７０６は、楽曲を推薦する。
　具体的には、推薦部７０６は、各楽曲のマッチング度に基づいて、ユーザの動きに合う楽曲を抽出する。例えば、推薦部７０６は、少なくとも１つの楽器のマッチング度が所定の閾値以上である楽曲を抽出する。或いは、例えば、推薦部７０６は、楽曲毎にマッチング度の最大値を求め、マッチング度の最大値が上位の所定の数の楽曲を抽出する。また、例えば、推薦部７０６は、楽曲毎に全ての楽器のマッチング度の平均値を計算し、マッチング度の平均値が所定の閾値以上である楽曲を抽出する。或いは、例えば、推薦部７０６は、マッチング度の平均値が上位の所定の数の楽曲を抽出する。
　そして、推薦部７０６は、抽出した楽曲を示すデータを後段の装置に出力する。
　後段の装置は、例えば、推薦された楽曲に関する情報を提示したり、推薦された楽曲を再生したりする。
　その後、楽曲推薦処理は終了する。
　以上のようにして、ユーザの動きに合う楽曲を適切に推薦することができる。例えば、ユーザのモーションリズムと一致又は類似するリズムを持つ楽曲を推薦することができる。これにより、例えば、ユーザがＢＧＭなしでダンスを始めた場合、そのダンスに合う楽曲を検索し、ＢＧＭとして流すことができる。
　＜第５の実施の形態の変形例＞
　以上の説明では、ユーザのモーションＢＰＭと一致又は類似するＢＰＭをもつ楽曲の中から推薦する楽曲を選択する例を示したが、ＢＰＭを用いずに、楽器毎のリズムだけを用いて、推薦する楽曲を選択するようにしてもよい。
　また、例えば、各楽曲のＢＰＭをユーザのモーションＢＰＭに合わせた後、ユーザのモーションリズムと楽器毎のリズムとを比較した結果に基づいて、推薦する楽曲を選択するようにしてもよい。この場合、例えば、推薦する楽曲のＢＰＭをユーザのモーションＢＰＭに合わせた状態で、楽曲が再生される。
　＜＜６．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　上述した各装置やシステムの機能の分担はその一例であり、適宜変更することが可能である。
　例えば、モーションリズム認識部１６１、モーションＢＰＭ認識部１６２、及び、モーション認識部１６３の全部又は一部を、ウエアラブルセンサ１０１に設けるようにしてもよい。
　また、以上の説明では、人のモーション解析を行う場合に本技術を適用する例を示したが、人以外のオブジェクトのモーション解析を行う場合にも本技術を適用することが可能である。対象となるオブジェクトは、動物等の生物、又は、ロボット等の無生物のいずれであってもよい。また、認識対象が無生物である場合、ロボット等のように自律的或いはユーザ操作により動く無生物、又は、海の浮き等の波や風等の外部からの力により動く無生物のいずれであってもよい。
　＜＜７．その他＞＞
　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図３９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識するモーションリズム認識部を
　備える情報処理装置。
（２）
　前記モーションリズムは、前記ユーザの動きのアクセントにより表される
　前記（１）に記載の情報処理装置。
（３）
　前記動きのアクセントは、前記ユーザの動きの向き、スピード、及び、パターンの変化により表される
　前記（２）に記載の情報処理装置。
（４）
　前記モーションリズムに基づいて、前記ユーザのパフォーマンスの演出を制御する演出制御部を
　さらに備える前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションＢＰＭを認識するモーションＢＰＭ認識部を
　さらに備え、
　前記演出制御部は、さらに前記モーションＢＰＭに基づいて、前記演出を制御する
　前記（４）に記載の情報処理装置。
（６）
　前記検出データに基づいて、前記ユーザの行動を構成する動きの単位であるモーションを認識するモーション認識部を
　さらに備え、
　前記演出制御部は、さらに認識された前記モーションに基づいて、前記演出を制御する
　前記（４）又は（５）に記載の情報処理装置。
（７）
　前記モーションリズム認識部は、複数のユーザの前記モーションリズムを認識し、
　各前記ユーザ間の前記モーションリズムの一致度を示すシンク度を検出するシンク度検出部を
　さらに備える前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記シンク度に基づいて、前記複数のユーザが参加するパフォーマンスの演出を制御する演出制御部を
　さらに備える前記（７）に記載の情報処理装置。
（９）
　前記モーションリズム認識部は、各前記ユーザの前記モーションリズムの強さを示すリズム度を検出し、
　前記シンク度検出部は、各前記ユーザのリズム度に基づいて、前記シンク度を検出する
　前記（７）又は（８）に記載の情報処理装置。
（１０）
　前記シンク度に基づいて、各前記ユーザの撮影を制御する撮影制御部と、
　前記シンク度に基づいて、各前記ユーザの画像の表示を制御する表示制御部と
　のうち少なくとも１つをさらに備える前記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記モーションリズムに基づいて、前記ユーザの撮影を制御する撮影制御部と、
　前記モーションリズムに基づいて、前記ユーザの画像の表示を制御する表示制御部と
　のうち少なくとも１つをさらに備える前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１２）
　前記モーションリズム認識部は、前記モーションリズムの強さを示すリズム度を検出し、
　前記表示制御部は、さらに前記リズム度に基づいて、前記ユーザの画像の表示を制御する
　前記（１１）に記載の情報処理装置。
（１３）
　前記モーションリズムと楽曲のリズムとを比較した結果に基づいて、推薦する楽曲を選択する推薦部を
　さらに備える前記（１）乃至（４）及び（７）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションＢＰＭを認識するモーションＢＰＭ認識部を
　さらに備え、
　前記推薦部は、さらに前記モーションＢＰＭと楽曲のＢＰＭとを比較した結果に基づいて、推薦する楽曲を選択する
　前記（１３）に記載の情報処理装置。
（１５）
　前記モーションリズム認識部は、前記モーションリズムの強さを示すリズム度を検出する
　前記（１）乃至（８）及び（１０）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記モーションリズム認識部は、複数のユーザの前記リズム度を検出し、
　前記複数のユーザの前記リズム度に基づいて、前記複数のユーザが参加するパフォーマンスの演出を制御する演出制御部を
　さらに備える前記（１５）に記載の情報処理装置。
（１７）
　前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションＢＰＭを認識するモーションＢＰＭ認識部を
　さらに備える前記（１）乃至（４）、（７）乃至（１３）、（１５）及び（１６）のいずれかに記載の情報処理装置。
（１８）
　前記検出位置は、前記ユーザの両手及び両足のうちの少なくとも１カ所をさらに含む
　前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　情報処理装置が、
　少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する
　情報処理方法。
（２０）
　少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する
　処理をコンピュータに実行させるためのプログラム。
　１００　演出システム，　１０１－１乃至１０１－６　ウエアラブルセンサ，　１０２　解析用計算機，　１０３　制御用計算機，　１０４　演出機器，　１５１　通信部,　１５３　モーション解析部，　１５４　演出制御部，　１５５　照明機器，　１５６　映像機器，　１５７　音響機器，　１６１　モーションリズム認識部，　１６２　モーションＢＰＭ認識部，　１６３　モーション認識部，　１７１　照明制御部，　１７２　映像制御部，　１７３　音響制御部，　３００　シンク評価システム，　３０１－１乃至３０１－ｎ　モーション解析処理部，　３０２　シンク度検出部，　３０３　提示機器，　４００　撮影システム，　４０１　計算機，　４０２　表示機器，　４０３　撮影部，　４５１　撮影制御部，　４５３　表示制御部，　６００　撮影システム，　６０１　シンク度ピーク検出部，　６０２　撮影制御部，　６０３　表示制御部，　７００　楽曲推薦システム，　７０１　モーション解析処理部，　７０３　楽曲解析部，　７０４　比較部，　７０５　推薦部，　７１１　ビート検出部，　７１２　音源分離部，　７１３　楽器別リズム認識部

Claims (20)

  1. 　少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識するモーションリズム認識部を
    　備える情報処理装置。
  2. 　前記モーションリズムは、前記ユーザの動きのアクセントにより表される
    　請求項１に記載の情報処理装置。
  3. 　前記動きのアクセントは、前記ユーザの動きの向き、スピード、及び、パターンの変化により表される
    　請求項２に記載の情報処理装置。
  4. 　前記モーションリズムに基づいて、前記ユーザのパフォーマンスの演出を制御する演出制御部を
    　さらに備える請求項１に記載の情報処理装置。
  5. 　前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションＢＰＭを認識するモーションＢＰＭ認識部を
    　さらに備え、
    　前記演出制御部は、さらに前記モーションＢＰＭに基づいて、前記演出を制御する
    　請求項４に記載の情報処理装置。
  6. 　前記検出データに基づいて、前記ユーザの行動を構成する動きの単位であるモーションを認識するモーション認識部を
    　さらに備え、
    　前記演出制御部は、さらに認識された前記モーションに基づいて、前記演出を制御する
    　請求項４に記載の情報処理装置。
  7. 　前記モーションリズム認識部は、複数のユーザの前記モーションリズムを認識し、
    　各前記ユーザ間の前記モーションリズムの一致度を示すシンク度を検出するシンク度検出部を
    　さらに備える請求項１に記載の情報処理装置。
  8. 　前記シンク度に基づいて、前記複数のユーザが参加するパフォーマンスの演出を制御する演出制御部を
    　さらに備える請求項７に記載の情報処理装置。
  9. 　前記モーションリズム認識部は、各前記ユーザの前記モーションリズムの強さを示すリズム度を検出し、
    　前記シンク度検出部は、各前記ユーザのリズム度に基づいて、前記シンク度を検出する
    　請求項７に記載の情報処理装置。
  10. 　前記シンク度に基づいて、各前記ユーザの撮影を制御する撮影制御部と、
    　前記シンク度に基づいて、各前記ユーザの画像の表示を制御する表示制御部と
    　のうち少なくとも１つをさらに備える請求項７に記載の情報処理装置。
  11. 　前記モーションリズムに基づいて、前記ユーザの撮影を制御する撮影制御部と、
    　前記モーションリズムに基づいて、前記ユーザの画像の表示を制御する表示制御部と
    　のうち少なくとも１つをさらに備える請求項１に記載の情報処理装置。
  12. 　前記モーションリズム認識部は、前記モーションリズムの強さを示すリズム度を検出し、
    　前記表示制御部は、さらに前記リズム度に基づいて、前記ユーザの画像の表示を制御する
    　請求項１１に記載の情報処理装置。
  13. 　前記モーションリズムと楽曲のリズムとを比較した結果に基づいて、推薦する楽曲を選択する推薦部を
    　さらに備える請求項１に記載の情報処理装置。
  14. 　前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションＢＰＭを認識するモーションＢＰＭ認識部を
    　さらに備え、
    　前記推薦部は、さらに前記モーションＢＰＭと楽曲のＢＰＭとを比較した結果に基づいて、推薦する楽曲を選択する
    　請求項１３に記載の情報処理装置。
  15. 　前記モーションリズム認識部は、前記モーションリズムの強さを示すリズム度を検出する
    　請求項１に記載の情報処理装置。
  16. 　前記モーションリズム認識部は、複数のユーザの前記リズム度を検出し、
    　前記複数のユーザの前記リズム度に基づいて、前記複数のユーザが参加するパフォーマンスの演出を制御する演出制御部を
    　さらに備える請求項１５に記載の情報処理装置。
  17. 　前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションＢＰＭを認識するモーションＢＰＭ認識部を
    　さらに備える請求項１に記載の情報処理装置。
  18. 　前記検出位置は、前記ユーザの両手及び両足のうちの少なくとも１カ所をさらに含む
    　請求項１に記載の情報処理装置。
  19. 　情報処理装置が、
    　少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する
    　情報処理方法。
  20. 　少なくともユーザの体幹上の１カ所を含む１以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2018/044640 2017-12-19 2018-12-05 情報処理装置、情報処理方法、及び、プログラム WO2019124069A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019560940A JP7192794B2 (ja) 2017-12-19 2018-12-05 情報処理装置、情報処理方法、及び、プログラム
US16/772,475 US20200388190A1 (en) 2017-12-19 2018-12-05 Information processing apparatus, information processing method, and program
CN201880071450.6A CN111315453B (zh) 2017-12-19 2018-12-05 信息处理设备、信息处理方法及程序
EP18890236.5A EP3730196A4 (en) 2017-12-19 2018-12-05 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2022193967A JP7424456B2 (ja) 2017-12-19 2022-12-05 情報処理装置、情報処理方法、及び、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-242674 2017-12-19
JP2017242674 2017-12-19

Publications (1)

Publication Number Publication Date
WO2019124069A1 true WO2019124069A1 (ja) 2019-06-27

Family

ID=66994647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044640 WO2019124069A1 (ja) 2017-12-19 2018-12-05 情報処理装置、情報処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US20200388190A1 (ja)
EP (1) EP3730196A4 (ja)
JP (2) JP7192794B2 (ja)
CN (1) CN111315453B (ja)
WO (1) WO2019124069A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220145675A (ko) * 2021-04-22 2022-10-31 국민대학교산학협력단 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치
WO2023189649A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理システム、プログラムおよび情報処理方法
JP7467764B2 (ja) 2020-09-29 2024-04-15 新▲東▼方教育科技集▲団▼有限公司 ダンス断片認識方法、ダンス断片認識装置及び記憶媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809489B (zh) * 2017-07-05 2021-09-03 索尼公司 信息处理装置、信息处理方法和存储介质
US20220385748A1 (en) * 2021-05-27 2022-12-01 Qualcomm Incorporated Conveying motion data via media packets
US20230388140A1 (en) * 2022-05-27 2023-11-30 Ricoh Company, Ltd. Information processing apparatus, information processing system, method for providing rhythm, and non-transitory recording medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299631A (ja) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム
JP2011087794A (ja) 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
JP2015066107A (ja) * 2013-09-27 2015-04-13 ブラザー工業株式会社 情報処理装置及びプログラム
US20150290495A1 (en) * 2007-04-19 2015-10-15 Nike, Inc. Footwork Training System and Method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5344323A (en) * 1993-02-16 1994-09-06 Les Burns Teaching recognition of body movement errors in dancing
US6266623B1 (en) * 1994-11-21 2001-07-24 Phatrat Technology, Inc. Sport monitoring apparatus for determining loft time, speed, power absorbed and other factors such as height
EP0969901A1 (en) * 1997-03-12 2000-01-12 Neurocom International, Inc System and method for monitoring training programs
US6018705A (en) * 1997-10-02 2000-01-25 Personal Electronic Devices, Inc. Measuring foot contact time and foot loft time of a person in locomotion
JP2000325666A (ja) 2000-01-01 2000-11-28 Konami Co Ltd ダンスゲーム装置
US6778866B1 (en) * 2000-03-16 2004-08-17 Ted S. Bettwy Method and apparatus for learning specific body motion
US20040219498A1 (en) * 2002-04-09 2004-11-04 Davidson Lance Samuel Training apparatus and methods
US8009966B2 (en) 2002-11-01 2011-08-30 Synchro Arts Limited Methods and apparatus for use in sound replacement with automatic synchronization to images
JP2004248830A (ja) 2003-02-19 2004-09-09 Kato Seisakusho:Kk 弦楽器を用いたリズムゲーム装置
US20070006489A1 (en) * 2005-07-11 2007-01-11 Nike, Inc. Control systems and foot-receiving device products containing such systems
US7827000B2 (en) * 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
JP2007292847A (ja) * 2006-04-21 2007-11-08 Victor Co Of Japan Ltd 楽曲編集・再生装置
KR100784075B1 (ko) * 2007-02-13 2007-12-10 강태구 온라인 작곡을 위한 시스템, 방법 및 컴퓨터 판독 가능한기록 매체
US8676541B2 (en) * 2008-06-13 2014-03-18 Nike, Inc. Footwear having sensor system
US20100152619A1 (en) * 2008-12-16 2010-06-17 24/8 Llc System, method, and computer-program product for measuring pressure points
JP2011239937A (ja) 2010-05-18 2011-12-01 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム処理方法、ならびに、プログラム
US11263919B2 (en) * 2013-03-15 2022-03-01 Nike, Inc. Feedback signals from image data of athletic performance
CN105850093B (zh) * 2013-09-05 2020-02-07 耐克创新有限合伙公司 以捕捉的体育活动图像数据进行赛事及用可验证令牌代理上传器上传
JP2019004927A (ja) * 2017-06-20 2019-01-17 カシオ計算機株式会社 電子機器、リズム情報報知方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150290495A1 (en) * 2007-04-19 2015-10-15 Nike, Inc. Footwork Training System and Method
JP2008299631A (ja) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム
JP2011087794A (ja) 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
JP2015066107A (ja) * 2013-09-27 2015-04-13 ブラザー工業株式会社 情報処理装置及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467764B2 (ja) 2020-09-29 2024-04-15 新▲東▼方教育科技集▲団▼有限公司 ダンス断片認識方法、ダンス断片認識装置及び記憶媒体
KR20220145675A (ko) * 2021-04-22 2022-10-31 국민대학교산학협력단 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치
KR102490769B1 (ko) * 2021-04-22 2023-01-20 국민대학교산학협력단 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치
WO2023189649A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理システム、プログラムおよび情報処理方法

Also Published As

Publication number Publication date
US20200388190A1 (en) 2020-12-10
JP7424456B2 (ja) 2024-01-30
JPWO2019124069A1 (ja) 2020-12-10
JP7192794B2 (ja) 2022-12-20
JP2023022265A (ja) 2023-02-14
EP3730196A1 (en) 2020-10-28
EP3730196A4 (en) 2021-06-09
CN111315453A (zh) 2020-06-19
CN111315453B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
JP7424456B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN110997093B (zh) 信息处理装置、信息处理方法和程序
US8979710B2 (en) Adaptable exercise system and method
JP2017136142A (ja) 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
JP6830829B2 (ja) プログラム、表示装置、表示方法、放送システム及び放送方法
US11682157B2 (en) Motion-based online interactive platform
US20160179206A1 (en) Wearable interactive display system
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
JP2010125253A (ja) 運動支援システム、方法、装置及び指導情報生成装置
JP2018050884A (ja) 報知装置、報知方法及びプログラム
KR20060054678A (ko) 음향에 동기 된 캐릭터 동영상 구현 장치 및 구현 방법
JP2023027113A (ja) プログラム、電子機器および制御方法
JP5928279B2 (ja) 運動支援装置及びプログラム
US20240048934A1 (en) Interactive mixed reality audio technology
Piana et al. Towards a multimodal repository of expressive movement qualities in dance
WO2019035349A1 (ja) 通信装置及び通信方法
US20220111283A9 (en) Adaptable exercise system and method
JP2020194030A (ja) カラオケシステム
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
US20240135617A1 (en) Online interactive platform with motion detection
WO2022102446A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法
WO2023011356A1 (zh) 视频生成方法及电子设备
JP2024058403A (ja) コンテンツ再生制御システム
St Clair Ears In Motion: Designing a toolkit for the sounds of sport
Suzuki et al. Beat playing system based on rhythmic human motions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18890236

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019560940

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018890236

Country of ref document: EP

Effective date: 20200720