WO2020090223A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2020090223A1
WO2020090223A1 PCT/JP2019/034883 JP2019034883W WO2020090223A1 WO 2020090223 A1 WO2020090223 A1 WO 2020090223A1 JP 2019034883 W JP2019034883 W JP 2019034883W WO 2020090223 A1 WO2020090223 A1 WO 2020090223A1
Authority
WO
WIPO (PCT)
Prior art keywords
timing
reproduction
information processing
user
information
Prior art date
Application number
PCT/JP2019/034883
Other languages
English (en)
French (fr)
Inventor
高橋　慧
惇一 清水
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020554791A priority Critical patent/JP7363804B2/ja
Priority to DE112019005499.6T priority patent/DE112019005499T5/de
Priority to US17/287,374 priority patent/US20210366450A1/en
Publication of WO2020090223A1 publication Critical patent/WO2020090223A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G10H1/42—Rhythm comprising tone forming circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/46—Volume control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control
    • G10H2210/391—Automatic tempo adjustment, correction or control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a recording medium.
  • Patent Document 1 discloses a technique of creating a music selection list for providing a user with music content having a tempo according to the walking tempo of another pedestrian.
  • the detection result of the user's body movement is used to provide music content.
  • a time lag occurs between the timing and the timing at which the content is reproduced.
  • the present disclosure provides a mechanism that enables provision of real-time content according to the movement of the user's body.
  • an information processing device including a reproduction control unit that controls reproduction of content based on a prediction result of timing of a predetermined state in the moving operation, which is predicted based on sensor information about the moving operation of the user. Will be provided.
  • the processor including: An information processing method to be executed is provided.
  • a reproduction control unit that controls reproduction of content based on a prediction result of timing of a predetermined state in the moving operation, which is predicted by the computer based on sensor information about the moving operation of the user, There is provided a recording medium having a program recorded thereon for functioning as.
  • FIG. 1 is a diagram for explaining an outline of an information processing device according to an embodiment of the present disclosure. It is a figure for demonstrating a technical subject. It is a block diagram which shows an example of a logical functional structure of the information processing apparatus which concerns on this embodiment. It is a figure for explaining an example of reproduction control concerning this embodiment.
  • 6 is a flowchart showing an example of the flow of content reproduction control processing executed by the information processing apparatus according to the present embodiment.
  • 7 is a flowchart showing an example of the flow of a reproduction control process based on reliability, which is executed by the information processing device according to the present embodiment. It is a block diagram which shows another example of the logical structure of the information processing apparatus which concerns on this embodiment.
  • An information processing device is a device having a function of controlling reproduction of content.
  • the content is data composed of sound, image, and / or tactile stimulus such as sound effect, music, image, movie, or game.
  • an outline of the information processing apparatus will be described with reference to FIG. 1.
  • FIG. 1 is a diagram for explaining the outline of the information processing device 1 according to the present embodiment.
  • the information processing device 1 illustrated in FIG. 1 is a headphone type device and can output sound as content.
  • the information processing device 1 has sensors such as an acceleration sensor and a gyro sensor inside, and can output contents based on sensor information obtained by the sensors.
  • a user wearing the information processing device 1 can perform a moving operation.
  • the moving motion is a motion involving landing, such as walking, running, or jumping.
  • the information processing device 1 can detect the landing timing of the user based on the sensor information, and reproduce the footsteps according to the detected timing.
  • a time lag occurs between the landing timing and the timing at which the footsteps are reproduced. This is because various processes such as sensing, detection of landing timing based on sensor information, reading of footsteps, and the like are performed from when the user's landing occurs until the reproduction of footsteps is started. This point will be described in detail with reference to FIG.
  • FIG. 2 is a diagram for explaining a technical problem.
  • a graph 101 in the upper part of FIG. 2 is a graph showing the time transition of the sensor information, the vertical axis is the sensor information (for example, acceleration), and the horizontal axis is the time.
  • the lower graph 102 in FIG. 2 is a graph showing the waveform of the footsteps output at the timing corresponding to the detection result of the landing based on the sensor information, where the vertical axis is the amplitude and the horizontal axis is the time. Assuming that landing occurs at the timing t 1 when the sensor information has the peak shown in the graph 101, it is desirable that footsteps be output at the timing t 1 of landing. However, since the various processes from landing occurs until footsteps of reproduction is started is made, as shown in the graph 102, between the timing t 2 when the reproduced timing t 1 and the footsteps of landing is initiated There is a time lag.
  • the present disclosure provides a mechanism that enables provision of real-time content according to the movement of the user's body.
  • content playback is controlled based on the prediction result of the user's movement behavior.
  • the information processing device 1 starts playing the content earlier based on the prediction result of the landing timing.
  • the time lag described with reference to FIG. 2 is prevented from occurring, and the footsteps can be reproduced at the user's landing timing.
  • the predicted result may differ from the actual operation, such as when the user stops. Therefore, in the proposed technique, the detection and prediction of the user's motion are performed in parallel, and the reproduction of the content is controlled by combining them. For example, the information processing device 1 starts the reproduction of the footsteps at the predicted landing timing, while lowering the volume of the footsteps being reproduced when the landing is not detected at the timing. By such processing, it is possible to provide content with less discomfort even when the prediction result and the actual operation are different.
  • the configuration of the information processing device 1 illustrated in FIG. 1 is merely an example, and the information processing device 1 may be realized as a smartphone, a tablet terminal, an HMD (Head Mounted Display), or the like in addition to headphones. Good.
  • HMD Head Mounted Display
  • the first use case is a use case in which the user enjoys becoming a character.
  • the user wears headphones (corresponding to the information processing device 1) that he or she usually wears or is lent at a theme park or the like.
  • the footsteps are output in association with the moving operation of the user.
  • the character is a robot
  • a creaking footstep sound is output
  • the character is a small animal
  • a light bouncing footstep sound is output. In this way, the footsteps according to the character are presented, so that the user can fully enjoy the character.
  • the second use case is a use case in which the user enjoys the virtual space.
  • the user wears an HMD with headphones (corresponding to the information processing device 1).
  • the HMD can provide a user with an AR (Augmented Reality) experience by superimposing and displaying a virtual object in a real space with a transparent display device.
  • the HMD can provide a VR (Virtual Reality) experience to the user by displaying the virtual space with a non-transparent display device.
  • the HMD outputs a footstep sound of stepping on water when the user walks in an area where water accumulates in the virtual space. In this way, the footsteps corresponding to the virtual space are presented, so that the user can be immersed in the virtual space.
  • FIG. 3 is a block diagram showing an example of a logical functional configuration of the information processing device 1 according to the present embodiment.
  • the information processing device 1 includes a first sensor unit 10, an output unit 20, a storage unit 30, and a control unit 40.
  • the first sensor unit 10 has a function of sensing information regarding a user's moving action. In particular, it has a function of sensing the movement of the body of the user of the first sensor unit 10.
  • the first sensor unit 10 includes an acceleration sensor and a gyro sensor, and senses sensor information indicating a vertical movement of the body in a moving operation, an impact at the time of landing, and the like.
  • the first sensor unit 10 may sense the movement of each part of the user's body such as the movement of the hand or the movement of the head.
  • the first sensor unit 10 outputs sensor information obtained as a result of sensing to the control unit 40.
  • the output unit 20 has a function of outputting content under the control of the control unit 40.
  • the output unit 20 includes a display device that outputs an image, a sound output device that outputs a sound, and / or a tactile stimulus output device that outputs a tactile stimulus.
  • the display device is realized by, for example, a display, a projector, or a retina projection device.
  • the sound output device is realized by, for example, headphones, earphones, or headphones.
  • the tactile stimulation output device is realized by, for example, an eccentric motor, a low frequency output device, or an electric stimulation output device.
  • Storage unit 30 has a function of storing information used for information processing by the information processing device 1.
  • the storage unit 30 stores the content output from the output unit 20.
  • the storage unit 30 stores various setting information for controlling reproduction of content.
  • Control unit 40 functions as an arithmetic processing device and a control device, and has a function of controlling overall operations in the information processing device 1 according to various programs. As shown in FIG. 3, the control unit 40 includes a detection unit 41, a prediction unit 42, and a reproduction control unit 43.
  • the detection unit 41 has a function of detecting the state of the user's moving action based on the sensor information about the user's moving action. For example, the detection unit 41 detects the timing of a predetermined state in the moving operation.
  • the timing of the predetermined state is, for example, the timing of landing in the walking motion or the running motion, or the timing of reaching the highest point in the jump motion.
  • the highest point in the jump operation refers to a state in which the distance from the ground to any part of the body such as the foot, the head, or the center of gravity is maximized.
  • the predetermined state is not limited to these examples, and may include any state in the moving operation.
  • the detection unit 41 uses the time series transition of sensor information indicating acceleration in the direction of gravity or the time series transition of a calculation result based on sensor information such as INS (inertial navigation system) calculation to determine a predetermined state in a moving operation. Detect the timing of.
  • the detection unit 41 can detect various states such as the stop of the movement operation and the change of the traveling direction.
  • the detection unit 41 can detect the degree of the movement motion (walking, running, etc.) based on the amplitude and / or the cycle of the sensor information.
  • the detection unit 41 outputs information indicating the detection result to the reproduction control unit 43.
  • the sensor information may be raw data obtained from the sensor, or may be a processing result obtained by applying a predetermined process such as averaging or removal of outliers to the raw data.
  • the timing may refer to a time, an elapsed time from a predetermined time, or a processing result in which a predetermined process is applied to these values.
  • the prediction unit 42 has a function of predicting the timing of a predetermined state in the moving operation based on the sensor information regarding the moving operation of the user. That is, the prediction unit 42 has a function of predicting the timing detected by the detection unit 41 before it is detected by the detection unit 41. For example, the prediction unit 42 predicts the timing of the predetermined state in the moving operation based on the sensor information, the calculation result based on the sensor information such as the INS calculation, and / or the detection result by the detection unit 41.
  • the reproduction control unit 43 has a function of controlling the reproduction of the content by the output unit 20 based on the prediction result of the prediction unit 42.
  • the reproduction control unit 43 reproduces the content stored in the storage unit 30 with a reproduction parameter according to the prediction result of the prediction unit 42.
  • the reproduction parameter includes, for example, identification information of the content to be reproduced, reproduction timing, volume, effect, and the like.
  • the reproduction control unit 43 may control the content based on the detection result of the detection unit 41.
  • the reproduction control unit 43 reproduces the content stored in the storage unit 30 with the reproduction parameter according to the detection result of the detection unit 41 and the prediction result of the prediction unit 42.
  • Prediction of timing of predetermined state-Prediction using time-series transition of detection result Timing of predetermined state is predicted based on time-series transition of time interval of predetermined state timing detected based on sensor information May be.
  • the prediction unit 42 can predict the next landing timing by adding the average value of the time intervals of the past landing timings to the previous landing timing. This is because walking is usually a regular exercise.
  • D n is, for example, the average value of D 0 to D n-1 .
  • the timing of a predetermined state may be predicted based on a time-series transition of sensor information.
  • the prediction unit 42 predicts the next landing timing based on the tendency indicated by the time-series transition of the sensor information.
  • the acceleration component in the gravity direction can be obtained by the inner product of the vector v and the value (x, y, z) of the acceleration sensor.
  • the predicting unit 42 learns how many seconds after the acceleration component in the gravity direction exceeds the predetermined threshold value, it will be used for prediction based on the time-series transition of the acceleration component in the gravity direction and the detection result of the landing timing. ..
  • the landing timing can be specified as the timing at which the norm ⁇ (x ⁇ 2 + y ⁇ 2 + z ⁇ 2) of the value of the acceleration sensor increases and then decreases.
  • Timing of predetermined state is predicted based on prediction result of time-series transition of sensor information or prediction result of time-series transition of calculation result based on sensor information May be done.
  • the prediction unit 42 predicts the time series transition of the sensor information or the calculation result based on the sensor information, and predicts the next landing timing based on the prediction result.
  • An arbitrary model such as RNN (recurrent neural network) may be used to predict the time-series transition.
  • the target of prediction may be the sensor information itself, the inner product of the vector in the direction of gravity and the value of the acceleration sensor, or the norm described above.
  • the prediction techniques described above may be appropriately combined and used.
  • the final prediction result may be obtained by weighting and averaging the prediction results according to the prediction accuracy.
  • the reproduction control section 43 reproduces the content at the timing of the predicted predetermined state.
  • the reproduction control unit 43 reads the content before the timing of the predicted predetermined state, and starts the reproduction of the content at the timing. Furthermore, the reproduction control unit 43 may start the reproduction of the sound before the timing when the predicted predetermined state is reached. For example, the reproduction control unit 43 sets the predicted predetermined state for the attack section (the section from the rising of the sound to the maximum volume) so that the maximum volume is reproduced at the timing of reaching the predicted predetermined state. The sound reproduction is started prior to the timing. This makes it possible to present content according to the predetermined state at the same timing as when the user's state reaches the predetermined state.
  • the sound reaches the maximum volume from the rising of the sound through the attack section, and then attenuates and disappears.
  • the sound includes an attack section, a decay section, a sustain section, and a release section in order in the time direction.
  • the decay section is a section in which the volume decreases from the maximum volume.
  • the sustain section is a section in which the sound volume attenuated after the decay section continues.
  • the release section is a section until the volume is attenuated and disappears.
  • the reproduction control unit 43 controls the reproduction of the content when the sensor information does not detect that the predetermined state is actually reached at the timing of the predicted predetermined state. Specifically, the reproduction control unit 43 controls the reproduction of the content when the detection unit 41 does not detect that the predetermined state is actually reached at the timing of the predetermined state predicted by the prediction unit 42. Alternatively, the reproduction control unit 43 controls the reproduction of the content when the detection unit 41 detects a tendency that the predetermined state is not reached (for example, a state in which the user is likely to slow the walking speed and stop walking). As control of the reproduction of the content here, the reproduction control unit 43 stops the reproduction of the content, lowers the volume, or applies a predetermined effect to the content to be reproduced. The predetermined effect is blurring or fade-out.
  • Blur applied to a sound is to control the volume so that it does not reach the maximum volume of the sound defined in the content, or to control the volume in the range that does not reach the maximum volume, rather than simply lowering the volume.
  • control of the attack strength which will be described later, can be mentioned.
  • Blur applied to a sound may be considered as a control that adds a spatial spread to the sound.
  • there are spatial effects such as reverb, delay, and echo.
  • Blurring applied to an image is control such as mosaic processing that obscures the outline or boundary of an object shown in image content.
  • the fade-out applied to a sound refers to controlling the sound volume so that the sound gradually disappears without exceeding the maximum sound volume defined in the content.
  • Fade-out applied to an image refers to control such that the image gradually disappears, such as gradually increasing the transmittance of the image to make it completely transparent.
  • the reproduction control unit 43 starts playing the footsteps before the predicted landing timing, but fades out the footsteps being reproduced when the landing is not actually detected at the predicted landing timing. Let As a result, the user can be made unaware of the footsteps, and it is possible to prevent the user from feeling uncomfortable that the footsteps are heard even when the user is not landing. For example, when the sound of stepping on the fallen leaves is reproduced as the footstep sound, fading out in the attack section can make the user feel as if the fallen leaves are moving.
  • FIG. 4 is a diagram for explaining an example of reproduction control according to the present embodiment.
  • the upper graph 111 of FIG. 4 is a graph showing the time transition of the sensor information, the vertical axis is the sensor information (for example, acceleration), and the horizontal axis is the time. In reality, there are a plurality of axes and types of sensors, but here, a representative one axis is shown.
  • the lower graph 112 of FIG. 4 is a graph showing the waveform of the footsteps output at the timing according to the prediction result of the landing timing, the vertical axis is the amplitude, and the horizontal axis is the time.
  • the reproduction control unit 43 starts the reproduction of the footsteps at the timing t 3 prior to the predicted landing timing t 1 .
  • the reproduction control unit 43 starts the reproduction of the footsteps from the timing t 3 before the predicted landing timing t 1 as shown by the waveform 114. , After the timing t 1, the footsteps are faded out.
  • FIG. 5 is a flowchart showing an example of the flow of content reproduction control processing executed by the information processing apparatus 1 according to the present embodiment.
  • the first sensor unit 10 acquires sensor information when the user is walking (step S102).
  • the prediction unit 42 predicts the next landing time based on the sensor information (step S104).
  • the reproduction control unit 43 reproduces the footsteps at the predicted landing time (step S106).
  • the first sensor unit 10 further acquires sensor information when the user walks (step S108).
  • the detection unit 41 detects whether the user stops walking (step S110). For example, the detection unit 41 detects whether the user is landing or whether the user is likely to stop walking.
  • step S110 when it is detected that the user does not stop walking, such as when the landing is actually detected or when the user continues walking (step S110 / NO), the reproduction control unit 43 causes the footstep sound Reproduction is continued (step S112). Then, the process returns to step S108.
  • step S110 / YES when it is detected that the user stops walking, such as when no landing is detected or when trying to stop walking is detected (step S110 / YES), the reproduction control unit 43 fades out the footsteps. The reproduction of footsteps is stopped (step S114).
  • the reproduction controller 43 may control the reproduction of the content based on the reliability of the sensor information.
  • the reliability of the sensor information can be defined as the degree of the information of the user's moving action in the sensor information.
  • the case where the reliability of the sensor information is low may be a case where the headphones are loosely fixed and a large amount of vibration is included in the sensor information due to a gap between the headphones and the user's head. Be done.
  • the information processing device 1 is realized as a smartphone, a case where the reliability of the sensor information is low, a case where the user is operating the smartphone with a hand, and a vibration caused by the operation of the hand is often included in the sensor information is cited. Be done.
  • the reliability of sensor information can be defined as the immediacy of sensor information. For example, when sensing in a fixed cycle fails due to high processing load, the reliability of sensor information is low.
  • the reliability of the sensor information can be defined as the reliability of the prediction by the prediction unit 42. For example, when it is difficult to predict the next motion, such as when the user repeatedly moves while walking, the reliability of the prediction is low. In addition, the reliability of the prediction is low even when the degree of information of the user's moving action in the sensor information is low.
  • the reproduction control unit 43 may output a sound with a strong attack when the reliability is higher than a predetermined threshold, and may output a sound with a weak attack when the reliability is lower than the predetermined threshold.
  • a sound with a strong attack is a sound with a short attack section, a high maximum volume at the end of the attack section, and / or a short section from the maximum volume to a predetermined volume.
  • a sound with a strong attack a section with the maximum amplitude (that is, the maximum volume) appears within 1 second after the rising of the sound, and after 1 second, the amplitude of the sound is attenuated to 20% or less of the maximum amplitude.
  • a sound with a weak attack is a sound with a long attack section, a small maximum volume at the end of the attack section, and / or a long section from the maximum volume to a predetermined volume.
  • the reproduction control unit 43 may increase the volume when the reliability is higher than a predetermined threshold, and may reduce the volume when the reliability is lower than the predetermined threshold.
  • FIG. 6 is a flowchart showing an example of the flow of a reproduction control process based on reliability executed by the information processing device 1 according to the present embodiment.
  • the first sensor unit 10 acquires sensor information when the user is walking (step S202).
  • the prediction unit 42 predicts the next landing time based on the sensor information (step S204).
  • the reproduction control unit 43 determines whether the reliability of the sensor information is high (step S206). When it is determined that the reliability of the sensor information is high (step S206 / YES), the reproduction control unit 43 reproduces footsteps with a strong attack (step S208). On the other hand, when it is determined that the reliability of the sensor information is low (step S206 / NO), the reproduction control unit 43 reproduces a footstep with a weak attack (step S210).
  • the reproduction control unit 43 may control the reproduction of the content based on the user information of the user or the character information of the character corresponding to the user. Examples of content reproduction control here include selection of content to be reproduced, control of volume, and application of effects.
  • User information may include information indicating the state of the user, such as the physical strength of the user, the magnitude of change in the action, the intensity of the action, and the duration of the action.
  • the character information may include information indicating the state of the character, such as the physical strength of the character, the magnitude of the change in motion, the motion intensity, and the motion duration.
  • the reproduction control unit 43 controls the reproduction of the content based on the magnitude (in other words, severity) of the change in the user's movement operation indicated by the sensor information. Specifically, when the user is running, the reproduction control unit 43 increases the volume of the footsteps in proportion to the amplitude of the acceleration, or selects a footstep with a higher volume as the reproduction target. On the other hand, when the user is walking, the reproduction control unit 43 reduces the volume of the footsteps, or reproduces the footsteps at the timing of landing once every several times. Alternatively, the reproduction control unit 43 changes the sound source reproduced as the footstep sound, or changes the parameter of the algorithm for generating the footstep waveform.
  • the reproduction control unit 43 reproduces strong footsteps when the physical strength of the character in the game is high, and reproduces footsteps or collapsed footsteps when the character is tired or damaged due to being attacked. .. Further, the reproduction control unit 43 reproduces a weak footstep sound when the character is unable to fight.
  • the control may be applied to not only the footsteps but also any sounds when the body is moved.
  • the reproduction control unit 43 reproduces a powerful and sharp sound according to the movement of the hand when the physical strength of the character is high, and reproduces a delayed sound when the character is damaged.
  • User information may include information indicating the user's attributes, such as the user's age, gender, height, weight, and carry-on items.
  • the information indicating the attributes of the user may be input by the user, or may be recognized based on the walking method or the like.
  • the character information may include information indicating the attributes of the character, such as the age, sex, height, weight, equipment and race of the character.
  • the information indicating the attribute of the character is acquired based on the setting information in the content such as the game or VR content.
  • the reproduction control unit 43 outputs footsteps according to the age, shoes worn, and gender of the user. Also, in the game experience, the reproduction control unit 43 outputs mechanical footsteps when the character is a realistic robot, outputs electronic sounds when the character is an animated robot, and the character is an animal. If so, it outputs a soft footstep.
  • the reproduction control unit 43 may select a sound to be reproduced in association with the user's waving motion according to the attribute of the user or the character.
  • User information indicates the user's location, such as the user's geographical location information, information indicating the geographical area in which the user is located, information indicating the room in the building in which the user is located, and altitude. It may contain information.
  • the character information may include geographical position information of the character in the virtual space, information indicating the geographical area in which the character is located, information indicating the room in the building in which the character is located, and information indicating the position of the character such as altitude. ..
  • the reproduction control unit 43 reproduces the sound of water in the area where the puddle is superimposed and displays the sound of stepping on the fallen leaf in the area where the overlapping leaves are displayed. Play footsteps. The same is true for characters.
  • FIG. 7 is a block diagram showing another example of the logical configuration of the information processing device 1 according to the present embodiment.
  • the information processing device 1 illustrated in FIG. 7 includes a second sensor unit 11 and a position information acquisition unit 44 in addition to the components illustrated in FIG.
  • the second sensor unit 11 has a function of sensing information regarding the position of the user.
  • the second sensor unit 11 includes an imaging device that captures a captured image of the surroundings of the user, a wireless communication device that transmits and receives signals to and from the surroundings, a GNSS (Global Navigation Satellite System) device, a geomagnetic sensor, an illuminance sensor, and the like. obtain.
  • the second sensor unit 11 outputs sensor information obtained as a result of sensing to the control unit 40.
  • Position information acquisition unit 44 has a function of acquiring information indicating the position of the user based on the sensor information obtained by the second sensor unit 11.
  • the position information acquisition unit 44 is a result of SLAM (Simultaneous Localization and Mapping) calculation based on a captured image of the surroundings of the user, and is information indicating the position of the user based on beacons, GNSS information, or geomagnetic information received from the surroundings.
  • SLAM Simultaneous Localization and Mapping
  • the position information acquisition unit 44 may acquire information indicating whether it is indoors or outdoors based on the illuminance information.
  • the position information may be manually input by a user or an event management staff member, for example.
  • the reproduction control unit 43 controls the reproduction of the content based on the position information acquired by the position information acquisition unit 44. For example, the reproduction control unit 43 reproduces the content stored in the storage unit 30 with the reproduction parameter according to the position information acquired by the position information acquisition unit 44. For example, the reproduction control unit 43 reproduces the sound of sand when the user is located in the area where the desert is superimposed, and reproduces the sound of water when the user is located in the area where the water is superimposed.
  • the detection unit 41 may control the landing detection interval according to the state of the user. Specifically, the detection unit 41 allows landing detection at short intervals when the user's movement is large, but does not allow landing detection at short intervals when the user's movement is small.
  • Detecting landing is typically performed based on whether or not an evaluation value calculated based on sensor information such as acceleration or angular velocity exceeds a first threshold value. Further, since it is assumed that there is some time between the landing and the next landing, after the landing is detected, the next landing is detected after the time exceeding the second threshold has elapsed. Therefore, the detection unit 41 detects the landing when the evaluation value exceeds the first threshold after a time period exceeding the second threshold has elapsed after the landing was detected.
  • the detection unit 41 may dynamically set the first threshold value and the second threshold value based on the sensor information. For example, the detection unit 41 sets the first threshold value and the second threshold value for detecting the next landing based on the size of the sensor information at the time of the previous landing detection.
  • the detection unit 41 sets the first threshold value small and the second threshold value large.
  • the detection unit 41 sets the first threshold value large and the second threshold value small.
  • the playback control unit 43 may control the playback parameter of the sound source (that is, music) based on the detection result by the detection unit 41. Specifically, the reproduction control unit 43 sets the volume, the reproduction speed, the cutoff frequency of the low-pass filter, the pan, and the like based on the detection result of the magnitude of the moving operation. For example, the reproduction control unit 43 reproduces a sound source with a slow tempo at a low volume when the user walks slowly. On the other hand, the reproduction control unit 43 reproduces a sound source with a fast tempo at a high volume when the user is running.
  • the user can obtain a feeling as if he / she is playing music, even if he / she does not have a playing technique, and can enjoy a high music experience.
  • music that is more exciting due to the user's vigorous movement is played back, so running or walking is promoted.
  • the reproduction control unit 43 may prevent the reproduction parameter from being changed again until a predetermined time elapses after the content reproduction parameter is changed. In other words, the reproduction control unit 43 changes the reproduction parameter again after a predetermined time has elapsed after changing the reproduction parameter of the content. As a result, the frequency of changing the reproduction parameter is reduced, so that it is possible to prevent deterioration of the user experience.
  • the reproduction control unit 43 may link the reproduction parameter to the maximum value of the sensor information when the movement operation largely changes, and may adopt the default reproduction parameter in other cases.
  • the default reproduction parameter is basically adopted, and the frequency of changing the reproduction parameter is reduced, so that it is possible to prevent deterioration of the user experience.
  • the reproduction control unit 43 may select the reproduction parameter of the content from among the discretized candidates. For example, the reproduction control unit 43 does not continuously change the reproduction speed, but changes the reproduction speed to 0.5 times, 1 time, 1.5 times, or 2 times the default reproduction speed. As a result, the frequency of change is reduced as compared with the case where the reproduction parameters are continuously changed, so that it is possible to prevent deterioration of the user experience.
  • FIG. 8 is a diagram for explaining an example of control of the reproduction parameter of the sound source according to the present embodiment.
  • a graph 121 in the upper part of FIG. 8 is a graph showing the time transition of the sensor information, the vertical axis is the sensor information (for example, acceleration), and the horizontal axis is the time.
  • the lower graph 122 in FIG. 8 is a graph showing the time series transition of the reproduction parameter, the vertical axis is BPM (Beats Per Minute), and the horizontal axis is time.
  • the reproduction control unit 43 starts increasing the BPM from the time t 4 when the user starts the moving operation, and fixes the BPM at the time t 5 when the BPM reaches the size of the moving operation.
  • the reproduction control unit 43 until the time t 6 after the moving operation becomes sluggish maintaining the same BPM, lowering the BPM over the subsequent time t 7.
  • FIG. 9 is a flowchart showing an example of the reproduction parameter control processing of the sound source according to the present embodiment.
  • the reproduction control unit 43 sets the reproduction parameter P 0 (step S302).
  • the detection unit 41 detects the magnitude of the moving operation based on the sensor information (step S304).
  • the reproduction control unit 43 calculates a new reproduction parameter P 1 based on the detected magnitude of the moving motion (step S306).
  • the reproduction control unit 43 determines whether or not the difference between the current parameter P 0 and the new parameter P 1 is larger than the threshold Th (that is,
  • the reproduction control unit 43 determines whether or not a predetermined time has elapsed after setting the reproduction parameter P 0 (step S310). When it is determined that the predetermined time has elapsed after setting the reproduction parameter P 0 (step S310 / YES), the reproduction control unit 43 sets a new reproduction parameter P 1 (step S312). On the other hand, if
  • the playback control unit 43 plays the sound source, and if the beat of the sound source being played and the timing of the predetermined state in the moving operation match, the content (more To be precise, the reproduction of a content different from the sound source being reproduced) may be controlled.
  • the timing of the predetermined state here may be the timing detected by the detection unit 41 or the timing predicted by the prediction unit 42.
  • the reproduction control unit 43 reproduces the footsteps only when the beat of the sound source being reproduced matches the predicted landing timing. This allows the user to feel a sense of unity with the music, thus improving the user experience.
  • matching means not only complete matching, but also a concept that allows deviation within a predetermined threshold.
  • the reproduction control unit 43 responds to the beat of the sound source being reproduced when the beat of the sound source being reproduced matches the timing of a predetermined state in the moving operation, and when there is a deviation within a predetermined threshold. At a timing, a content different from the sound source being reproduced is reproduced. For example, when the beat of the sound source being played back and the timing of landing are matched but not completely matched, the playback control unit 43 plays the footsteps at the timing of the beat of the sound source being played, not at the timing of landing. To do. In other words, the reproduction control unit 43 discretizes the reproduction timing of the footstep into the timing of the beat of the sound source being reproduced. This point will be specifically described with reference to FIG.
  • FIG. 10 is a diagram for explaining an example of footstep reproduction control according to the beat of the sound source being reproduced according to the present embodiment.
  • the upper chart 131 of FIG. 10 is a chart shown on the time axis with the timing of the beat of the sound source being “X”.
  • the chart 132 in the middle of FIG. 10 is a chart shown on the time axis with the landing timing being “X”.
  • a chart 133 in the lower part of FIG. 10 is a chart shown on the time axis with the reproduction timing of the footstep being “X”.
  • a quarter note beat appears once every 500 milliseconds
  • an eighth note beat appears once every 250 milliseconds.
  • the reproduction control unit 43 reproduces the footstep sound corresponding to the landing timing of 200 milliseconds in 250 milliseconds and the footstep sound corresponding to the landing timing of 800 milliseconds in 750 milliseconds.
  • the footsteps are reproduced at the timing of the beat, so that the user can feel a sense of unity with the music.
  • the reproduction control unit 43 reproduces the sound source, and when the beat of the sound source being reproduced matches the timing of the predetermined state in the moving operation, the reproduction is being performed. At the timing when the bar of the sound source is switched, the reproduction of the sound source being reproduced or another sound source may be controlled.
  • the timing of the predetermined state here may be the timing detected by the detection unit 41 or the timing predicted by the prediction unit 42. For example, when the beat of the sound source being reproduced matches the detected or predicted landing timing, the reproduction control unit 43 starts the reproduction of another sound source at the timing at which the bar of the sound source being reproduced is switched, Stop playing a sound source that is playing or apply an effect to the sound source that is playing.
  • effects that can be applied include effects that obscure sounds such as reverb and effects that obscure sounds such as emphasis in the high range. It should be noted that the start of reproduction may be regarded as increasing the volume from 0, and the stop of reproduction may be regarded as decreasing the volume to 0.
  • the reproduction control unit 43 may start the reproduction of another sound source at the timing when the bar is switched when the movement operation is detected for a predetermined period. In this case, for example, as the user walks for a longer period of time, the number of reproduced sound sources gradually increases.
  • the reproduction control unit 43 may stop the reproduction of the sound source being reproduced at the timing when the bar is switched, when the movement operation is not detected for a predetermined period. In this case, for example, when the user stops walking, the number of reproduced sound sources gradually decreases. The more sound sources are reproduced as the user's movement operation is continued, and the fewer sound sources are reproduced when the movement operation is stopped, so that running or walking can be promoted.
  • the newly played sound source may be another sound source stored in the storage unit 30 or may be downloaded and the like. May be obtained from
  • the reproduced sound source may be a multi-track sound source.
  • the multi-track sound source is a sound source including a plurality of tracks in which sounds of respective musical instruments such as vocals and drums are recorded.
  • the reproduction control unit 43 switches the multi-track at the timing at which the bar of the track being reproduced is switched.
  • the reproduction of a plurality of tracks included in the sound source may be controlled.
  • the reproduction control unit 43 may stop the reproduction of the track being reproduced (that is, the track whose volume is not 0) at the timing when the bar of the multi-track sound source being reproduced is switched, or the track that has not been reproduced (that is, the volume may be Playback of track 0) is started.
  • the reproduction control unit 43 may apply the effect at the timing when the bar of the multitrack sound source being reproduced is switched.
  • the reproduction control unit 43 may start the reproduction of an unreproduced track at the timing when the bar is switched when the movement operation is detected for a predetermined period. In this case, for example, as the user walks for a long time, the number of reproduced tracks gradually increases. On the other hand, if the movement operation is not detected for a predetermined period, the reproduction control unit 43 may stop the reproduction of the track being reproduced at the timing when the bar is switched. In this case, for example, when the user stops walking, the number of reproduced tracks gradually decreases. As the user continues the moving motion, the number of reproduced tracks increases, and when the moving motion is stopped, the number of reproduced tracks decreases. Therefore, running or walking can be promoted.
  • FIG. 11 is a diagram for explaining an example of reproduction control according to the measure of the multitrack sound source being reproduced according to the present embodiment.
  • the chart 141 in the upper part of FIG. 11 is a chart showing the timing of landing in the moving operation of the user on the time axis.
  • a graph 142 in the middle part of FIG. 11 is a graph showing the volume of the track A included in the multi-track sound source, the horizontal axis represents time, and the vertical axis represents volume.
  • the lower graph 143 in FIG. 11 is a graph showing the volume of the track B included in the multi-track sound source, in which the vertical axis represents volume and the horizontal axis represents time.
  • the reproduction control unit 43 starts the reproduction of the track A as shown in the graph 142 at the timing of the fourth step shown in the chart 141 (that is, the timing t 10 of bar switching).
  • the reproduction control unit 43 starts the reproduction of the track B as shown in the graph 143 at the timing of the eighth step shown in the chart 141 (that is, the timing t 11 when the bar is switched).
  • the reproduction control unit 43 stops the reproduction of the track B as shown in the graph 143 at the timing t 12 of bar switching shown in the chart 141.
  • FIG. 12 is a flowchart showing an example of the flow of a reproduction control process executed by the information processing apparatus 1 according to the present embodiment according to the bar of the multitrack sound source being reproduced.
  • the detection unit 41 detects landing based on the sensor information (step S402).
  • the reproduction control unit 43 determines whether landing is continuously detected during a predetermined period (step S404). When it is determined that it has been detected (step S404 / YES), the reproduction control unit 43 determines whether or not the beat of the multitrack sound source being reproduced and the landing timing match (step S406). If it is determined that they do not match (step S406 / NO), the process returns to step S406 again.
  • step S406 / YES When it is determined that they match (step S406 / YES), the playback control unit 43 gradually raises the volume of the unplayed track at the timing when the bar of the multitrack sound source being played is switched (step S408). On the other hand, when it is determined that the landing is not continuously detected within the predetermined period (step S404 / NO), the reproduction control unit 43 gradually reduces the volume of the track being reproduced (step S410).
  • FIG. 13 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to this embodiment.
  • the information processing apparatus 900 illustrated in FIG. 13 can realize the information processing apparatus 1 illustrated in FIGS. 3 and 7, for example.
  • Information processing by the information processing device 1 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing device 900 also includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • the information processing apparatus 900 may have a processing circuit such as an electric circuit, a DSP, or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls overall operations in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores a program used in the execution of the CPU 901, parameters that appropriately change in the execution, and the like.
  • the CPU 901 can form the control unit 40 shown in FIGS. 3 and 7, for example.
  • the CPU 901, the ROM 902, and the RAM 903 are connected to each other by a host bus 904a including a CPU bus and the like.
  • the host bus 904a is connected to an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be separately configured, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever, to which information is input by the user. Further, the input device 906 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or a PDA that supports the operation of the information processing device 900. .. Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above-described input means and outputs the input signal to the CPU 901. By operating the input device 906, the user of the information processing device 900 can input various data to the information processing device 900 and instruct a processing operation.
  • the input device 906 may be formed by a device that detects information about the user.
  • the input device 906 includes various sensors such as an image sensor (for example, camera), a depth sensor (for example, stereo camera), an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor. Can be included.
  • the input device 906 includes information about the state of the information processing device 900 itself, such as the posture and moving speed of the information processing device 900, and information about the surrounding environment of the information processing device 900 such as brightness and noise around the information processing device 900. May be obtained.
  • the input device 906 receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite) and receives position information including the latitude, longitude and altitude of the device. It may include a GNSS module to measure. Regarding the position information, the input device 906 may detect the position by transmission / reception with Wi-Fi (registered trademark), a mobile phone / PHS / smartphone, or by short-distance communication.
  • the input device 906 can form, for example, the first sensor unit 10 and the second sensor unit 11 illustrated in FIGS. 3 and 7.
  • the output device 907 is formed of a device capable of visually or auditorily notifying the user of the acquired information.
  • Such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, audio output devices such as speakers and headphones, and printer devices. ..
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900, for example.
  • the display device visually displays the results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it audibly.
  • the output device 907 can form, for example, the output unit 20 shown in FIGS. 3 and 7.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded in the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form the storage unit 30 illustrated in FIGS. 3 and 7, for example.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing device 900.
  • the drive 909 reads out information recorded on a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs it to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of data transmission by, for example, a USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various kinds of communication.
  • the communication device 913 can send and receive signals and the like to and from the Internet and other communication devices, for example, according to a predetermined protocol such as TCP / IP.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), WAN (Wide Area Network), and the like.
  • the network 920 may also include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the above computer program may be distributed, for example, via a network without using a recording medium.
  • the information processing device 1 controls the reproduction of content based on the prediction result of the timing of the predetermined state in the moving operation, which is predicted based on the sensor information regarding the moving operation of the user. To do. Since the reproduction control of the content according to the prediction result can be started before the predetermined state in the moving operation is actually detected, it is possible to provide the content in real time according to the movement of the user's body. .. For example, the information processing device 1 starts the reproduction process of the footsteps earlier than the landing timing based on the prediction result of the landing timing in the walking motion of the user. This makes it possible to prevent the occurrence of a time lag between the actual landing timing and the footstep reproduction timing.
  • the information processing device 1 includes the first sensor unit 10, the second sensor unit 11, the output unit 20, the storage unit 30, and the control unit 40, but the present technology is applied. It is not limited to the example.
  • the components of the first sensor unit 10, the second sensor unit 11, the output unit 20, the storage unit 30, and the control unit 40 may be realized as a device different from other components.
  • the smartphone may be connected to headphones including the first sensor unit 10, the second sensor unit 11, the storage unit 30, and the control unit 40, and including the output unit 20.
  • the smartphone includes a storage unit 30 and a control unit 40, and is connected to an earphone including an output unit 20 and a wearable device attached to a limb including a first sensor unit 10 and a second sensor unit 11. Good.
  • the storage unit 30 and the control unit 40 are included in a server on the cloud and are connected to a terminal device including the first sensor unit 10, the second sensor unit 11, the storage unit 30 and the control unit 40 via a network. May be done.
  • the technology may be used for medical purposes.
  • the information processing device 1 feeds back the landing timing with a sound or an image to a patient who performs rehabilitation of walking. This makes it easier for the patient to grasp the walking rhythm.
  • the information processing device 1 may present the next target step position by sound or image.
  • the information processing device 1 may record a log of daily walking and provide the degree of improvement to the patient.
  • An information processing apparatus comprising: a reproduction control unit that controls reproduction of content based on a prediction result of timing of a predetermined state in the moving operation, which is predicted based on sensor information about the moving operation of the user.
  • a reproduction control unit that controls reproduction of content based on a prediction result of timing of a predetermined state in the moving operation, which is predicted based on sensor information about the moving operation of the user.
  • the information processing device is Playing the content at the predicted timing of the predetermined state, When it is not detected by the sensor information that the predetermined state is actually reached at the predicted timing of the predetermined state, the reproduction of the content is controlled, The information processing apparatus according to any one of (1) to (4) above.
  • the information processing device wherein the reproduction control unit stops reproduction of the content, reduces the volume, or applies a predetermined effect to the content.
  • the information processing device (7) The information processing device according to (6), wherein the predetermined effect is blurring or fade-out.
  • the reproduction control unit controls reproduction of the content based on the reliability of the sensor information.
  • the reproduction control unit outputs a sound with a strong attack when the reliability is higher than a predetermined threshold, and outputs a sound with a weak attack when the reliability is lower than the predetermined threshold.
  • the information processing device according to [1].
  • the reproduction control unit controls reproduction of the content based on user information of the user or character information of a character corresponding to the user, according to any one of (1) to (10) above.
  • Information processing device (12) The information processing device according to (11), wherein the user information includes at least one of an attribute, a state, and a position of the user.
  • the content includes sound, The state of the user includes a magnitude of change in the moving operation of the user indicated by the sensor information, The information processing device according to (12).
  • the information processing device according to (12) wherein the character information includes at least one of an attribute, a state, and a position of the character.
  • the information processing device according to any one of (1) to (14), wherein the reproduction control unit suppresses the reproduction parameter from being changed again until a predetermined time elapses after the reproduction parameter of the content is changed. .. (16)
  • the reproduction control unit reproduces a sound source, and controls reproduction of the content when the beat of the sound source being reproduced matches the predicted timing of the predetermined state.
  • (1) to (15) The information processing device according to any one of items.
  • the reproduction control unit reproduces a sound source, and when the beat of the sound source being reproduced matches the timing of the predetermined state, at the timing at which the bar of the sound source being reproduced is switched, the sound source being reproduced or
  • the information processing apparatus according to any one of (1) to (16), which controls reproduction of another sound source.
  • the reproduction control unit reproduces a multi-track sound source, and when the beat of the multi-track sound source being reproduced matches the timing of the predetermined state, at the timing at which the bar of the multi-track sound source being reproduced is switched,
  • the information processing device which controls reproduction of a plurality of tracks included in the multi-track sound source.
  • An information processing method executed by a processor comprising: controlling reproduction of content based on a prediction result of timing of a predetermined state in the moving operation, which is predicted based on sensor information about the moving operation of the user.

Abstract

ユーザの体の動きに応じたリアルタイムなコンテンツの提供を可能にする仕組みを提供する。ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部（４３）、を備える情報処理装置。

Description

情報処理装置、情報処理方法及び記録媒体
　本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
　近年、ユーザの体の動きの検出結果に応じたコンテンツを提供する技術が提案されている。その一例として、歩行者の歩行テンポに応じたテンポを有する音楽コンテンツを、当該歩行者に提供する技術が提案されている。さらに、下記特許文献１では、他の歩行者の歩行テンポに応じたテンポを有する音楽コンテンツをユーザに提供するための選曲リストを作成する技術が開示されている。
特開２００７－２５００５３号公報
　上記特許文献１等において提案されている技術では、ユーザの体の動きの検出結果が、音楽コンテンツの提供に用いられている。しかし、ユーザの体の動きの検出結果に応じたタイミングでリアルタイムにコンテンツを再生しようとすると、当該タイミングとコンテンツが再生されるタイミングとの間にタイムラグが生じる。センシング、センシングの結果得られたセンサ情報に基づくユーザの体の動きの検出処理、及びコンテンツの読み出し等、ユーザの体の動きが発生してからコンテンツの再生が開始されるまでに各種処理が行われるためである。
　そこで、本開示では、ユーザの体の動きに応じたリアルタイムなコンテンツの提供を可能にする仕組みを提供する。
　本開示によれば、ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、を備える情報処理装置が提供される。
　また、本開示によれば、ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御すること、を含む、プロセッサにより実行される情報処理方法が提供される。
　また、本開示によれば、コンピュータを、ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、として機能させるためのプログラムが記録された記録媒体が提供される。
本開示の一実施形態に係る情報処理装置の概要を説明するための図である。 技術的課題を説明するための図である。 本実施形態に係る情報処理装置の論理的な機能構成の一例を示すブロック図である。 本実施形態に係る再生制御の一例を説明するための図である。 本実施形態に係る情報処理装置により実行されるコンテンツの再生制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置により実行される信頼度に基づく再生制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置の論理的な構成の他の一例を示すブロック図である。 本実施形態に係る音源の再生パラメータの制御の一例を説明するための図である。 本実施形態に係る音源の再生パラメータの制御処理の一例を示すフローチャートである。 本実施形態に係る再生中の音源の拍に応じた足音の再生制の一例を説明するための図である。 本実施形態に係る再生中のマルチトラック音源の小節に応じた再生制御の一例を説明するための図である。 本実施形態に係る情報処理装置により実行される再生中のマルチトラック音源の小節に応じた再生制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．はじめに
　　２．構成例
　　３．技術的特徴
　　　３．１．基本処理
　　　３．２．変形例
　　４．ハードウェア構成例
　　５．まとめ
　＜＜１．はじめに＞＞
　（１）概要
　本開示の一実施形態に係る情報処理装置は、コンテンツの再生を制御する機能を有する装置である。コンテンツは、効果音、音楽、画像、映画、又はゲーム等の、音、画像、及び／又は触覚刺激により構成されるデータである。以下、図１を参照しながら、本開示の一実施形態に係る情報処理装置の概要を説明する。
　図１は、本実施形態に係る情報処理装置１の概要を説明するための図である。図１に示す情報処理装置１は、ヘッドホン型の装置であり、コンテンツとして音を出力することができる。情報処理装置１は、内部に加速度センサ及びジャイロセンサ等のセンサを有し、センサにより得られたセンサ情報に基づいてコンテンツを出力することができる。
　例えば、情報処理装置１を装着したユーザは、移動動作を行い得る。ここで、移動動作とは、歩行、走行、又は跳躍等の、着地を伴う動作である。このとき、図１に示すように、情報処理装置１は、センサ情報に基づいてユーザの着地のタイミングを検出し、検出されたタイミングに応じて足音を再生し得る。しかし、ユーザの移動動作の検出結果に応じたタイミングでリアルタイムに足音を再生しようとすると、着地のタイミングと足音が再生されるタイミングとの間にタイムラグが生じる。センシング、センサ情報に基づく着地のタイミングの検出、及び足音の読み出し等、ユーザの着地が発生してから足音の再生が開始されるまでに各種処理が行われるためである。この点について、図２を参照して詳しく説明する。
　図２は、技術的課題を説明するための図である。図２の上段のグラフ１０１はセンサ情報の時間推移位を示すグラフであり、縦軸はセンサ情報（例えば、加速度）であり、横軸は時間である。図２の下段のグラフ１０２は、センサ情報に基づく着地の検出結果に応じたタイミングで出力される足音の波形を示すグラフであり、縦軸は振幅であり、横軸は時間である。グラフ１０１に示すセンサ情報のピークとなるタイミングｔ１において着地が発生するものとすると、着地のタイミングｔ１で足音が出力されることが望ましい。しかし、着地が発生してから足音の再生が開始されるまでに各種処理が行われるため、グラフ１０２に示すように、着地のタイミングｔ１と足音の再生が開始されるタイミングｔ２との間にタイムラグが生じる。
　そこで、本開示では、ユーザの体の動きに応じたリアルタイムなコンテンツの提供を可能にする仕組みを提供する。
　詳しくは、提案技術では、ユーザの移動動作の予測結果に基づいて、コンテンツの再生が制御される。例えば、情報処理装置１は、着地タイミングの予測結果に基づいて早めにコンテンツの再生を開始する。これにより、図２を参照しながら説明したタイムラグの発生が防止されるので、ユーザの着地タイミングで足音を再生することが可能となる。
　一方で、ユーザが停止した場合など、予測結果と実際の動作とが相違する場合がある。そこで、提案技術では、ユーザの動作の検出と予測とが並列的に行われ、それらを組み合わせてコンテンツの再生が制御される。例えば、情報処理装置１は、予測された着地のタイミングで足音の再生を開始する一方で、当該タイミングで着地が検出されない場合には再生中の足音の音量を下げる。このような処理により、予測結果と実際の動作とが相違する場合であっても、違和感の少ないコンテンツを提供することが可能となる。
　なお、図１に示した情報処理装置１の構成は、あくまで一例であり、情報処理装置１は、ヘッドホン以外にも、例えばスマートフォン、タブレット端末、又はＨＭＤ（Head　Mounted　Display）等として実現されてもよい。
　（２）ユースケース
　・第１のユースケース
　第１のユースケースは、ユーザがキャラクターになりきって楽しむユースケースである。ユーザは、普段装着している、又はテーマパーク等で貸与されたヘッドホン（情報処理装置１に相当）を装着する。そして、ユーザが特定のエリアに入ったり、ヘッドホンに接続されたスマートフォンのアプリケーションが起動されたりした場合に、ユーザの移動動作に連動して足音が出力される。例えば、キャラクターがロボットである場合には機械が軋むような足音が出力され、キャラクターが小動物である場合には軽く弾むような足音が出力される。このように、キャラクターに応じた足音が提示されることで、ユーザは、キャラクターになりきって楽しむことが可能となる。
　・第２のユースケース
　第２のユースケースは、ユーザが仮想空間を楽しむユースケースである。ユーザは、ヘッドホン付きのＨＭＤ（情報処理装置１に相当）を装着する。ＨＭＤは、透過性の表示装置により実空間に仮想オブジェクトを重畳して表示することでＡＲ（Augmented　Reality）体験をユーザに提供し得る。また、ＨＭＤは、非透過性の表示装置により仮想空間を表示することでＶＲ（Virtual　Reality）体験をユーザに提供し得る。例えば、ＨＭＤは、ユーザが仮想空間のうち水がたまっている領域を歩くと、水を踏むような足音を出力する。このように、仮想空間に応じた足音が提示されることで、ユーザは、仮想空間により没入することが可能となる。
　＜＜２．構成例＞＞
　図３は、本実施形態に係る情報処理装置１の論理的な機能構成の一例を示すブロック図である。図３に示すように、情報処理装置１は、第１のセンサ部１０、出力部２０、記憶部３０及び制御部４０を含む。
　（１）第１のセンサ部１０
　第１のセンサ部１０は、ユーザの移動動作に関する情報をセンシングする機能を有する。とりわけ、第１のセンサ部１０のユーザの体の動きをセンシングする機能を有する。例えば、第１のセンサ部１０は、加速度センサ、及びジャイロセンサを含み、移動動作における体の上下運動及び着地時の衝撃等を示すセンサ情報をセンシングする。他にも、第１のセンサ部１０は、手の動き又は頭の動き等の、ユーザの体の各部位の動きをセンシングしてもよい。第１のセンサ部１０は、センシングの結果得られたセンサ情報を、制御部４０に出力する。
　（２）出力部２０
　出力部２０は、制御部４０による制御に基づいてコンテンツを出力する機能を有する。例えば、出力部２０は、画像を出力する表示装置、音を出力する音出力装置、及び／又は触覚刺激を出力する触覚刺激出力装置を含む。表示装置は、例えば、ディスプレイ、プロジェクタ、又は網膜投影装置により実現される。音出力装置は、例えば、ヘッドホン、イヤホン、又はヘッドホンにより実現される。触覚刺激出力装置は、例えば、偏心モータ、低周波出力装置、又は電気刺激出力装置により実現される。
　（３）記憶部３０
　記憶部３０は、情報処理装置１による情報処理に用いられる情報を記憶する機能を有する。例えば、記憶部３０は、出力部２０から出力されるコンテンツを記憶する。他にも、記憶部３０は、コンテンツの再生制御のための各種設定情報を記憶する。
　（４）制御部４０
　制御部４０は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する機能を有する。図３に示すように、制御部４０は、検出部４１、予測部４２及び再生制御部４３を含む。
　・検出部４１
　検出部４１は、ユーザの移動動作に関するセンサ情報に基づいて、ユーザの移動動作における状態を検出する機能を有する。例えば、検出部４１は、移動動作における所定状態のタイミングを検出する。所定状態のタイミングは、例えば、歩行動作若しくは走行動作において着地するタイミング、又はジャンプ動作における最高地点に到達するタイミングである。なお、ジャンプ動作における最高地点とは、地面から足、頭部又は重心等の身体の任意の部位までの距離が最大になる状態を指す。もちろん、所定状態は、これらの例に限定されず、移動動作における任意の状態を含み得る。例えば、検出部４１は、重力方向の加速度等を示すセンサ情報の時系列推移、又はＩＮＳ（inertial　navigation　system）演算等のセンサ情報に基づく演算結果の時系列推移に基づいて、移動動作における所定状態のタイミングを検出する。他にも、検出部４１は、移動動作の停止、及び進行方向の変更等の、多様な状態を検出し得る。また、検出部４１は、移動動作の大きさ（歩いている又は走っている等）の度合いを、センサ情報の振幅及び／又は周期等に基づいて検出し得る。検出部４１は、検出結果を示す情報を再生制御部４３に出力する。なお、センサ情報は、センサから得られる生データであってもよいし、生データに対し平均又は外れ値の除去等の所定の処理が適用された処理結果であってもよい。また、タイミングとは、時刻を指していてもよいし、所定時刻からの経過時間を指していてもよいし、これらの値に所定の処理が適用された処理結果であってもよい。
　・予測部４２
　予測部４２は、ユーザの移動動作に関するセンサ情報に基づいて、移動動作における所定状態のタイミングを予測する機能を有する。即ち、予測部４２は、検出部４１により検出されるタイミングを、検出部４１により検出されるよりも前に予測する機能を有する。例えば、予測部４２は、センサ情報、ＩＮＳ演算等のセンサ情報に基づく演算結果、及び／又は検出部４１による検出結果に基づいて、移動動作における所定状態のタイミングを予測する。
　・再生制御部４３
　再生制御部４３は、予測部４２による予測結果に基づいて、出力部２０によるコンテンツの再生を制御する機能を有する。例えば、再生制御部４３は、記憶部３０に記憶されたコンテンツを、予測部４２による予測結果に応じた再生パラメータで再生する。再生パラメータは、例えば、再生対象のコンテンツの識別情報、再生タイミング、音量、及びエフェクト等を含む。さらに、再生制御部４３は、検出部４１による検出結果に基づいて、コンテンツを制御してもよい。例えば、再生制御部４３は、記憶部３０に記憶されたコンテンツを、検出部４１による検出結果、及び予測部４２による予測結果に応じた再生パラメータで再生する。
　＜＜３．技術的特徴＞＞
　＜３．１．基本処理＞
　（１）所定状態のタイミングの予測
　・検出結果の時系列推移を利用した予測
　所定状態のタイミングは、センサ情報に基づいて検出された所定状態のタイミングの時間間隔の時系列推移に基づいて予測されてもよい。例えば、予測部４２は、過去の着地タイミングの時間間隔の平均値を前回の着地タイミングに加算することで、次回の着地タイミングを予測することができる。通常、歩行は規則的な運動であるためである。
　例えば、過去の着地時刻が古い順にＴ０、Ｔ１、Ｔ２、…、Ｔｎである場合、着地間隔Ｄ０、Ｄ１、…、Ｔｎ－１は、それぞれＤ０＝Ｔ１－Ｔ０、Ｄ１＝Ｔ２－Ｔ１、…、Ｄｎ－１＝Ｔｎ－Ｔｎ－１と定義される。ここで、現在時刻がＴｎである場合、次回の着地時刻Ｔｎ＋１は、Ｔｎ＋１＝Ｔｎ＋Ｄｎと求められる。Ｄｎは、例えばＤ０からＤｎ－１までの平均値である。Ｄｎを計算する際には、Ｄ０からＤｎ－１までのうち外れ値を除いたり、直近の値により重み付けを施したりすることで、Ｄｎをより正確に予測することもできる。
　・センサ情報の傾向を利用した予測
　所定状態のタイミングは、センサ情報の時系列推移に基づいて予測されてもよい。例えば、予測部４２は、センサ情報の時系列推移が示す傾向に基づいて、次回の着地タイミングを予測する。
　例えば、歩行における重力方向成分のベクトルｖが既知である場合、ベクトルｖと加速度センサの値（ｘ，ｙ，ｚ）との内積により、重力方向の加速度成分を求めることができる。予測部４２は、この重力方向の加速度成分の時系列推移と、着地タイミングの検出結果により、重力方向の加速度成分が所定の閾値を超えてから何秒後に着地するかを学習し、予測に用いる。なお、着地のタイミングは、加速度センサの値のノルム√（ｘ＾２＋ｙ＾２＋ｚ＾２）が増加してから減少に転じるタイミングとして特定され得る。
　・センサ情報又はセンサ情報に基づく演算結果の時系列推移に基づく予測
　所定状態のタイミングは、センサ情報の時系列推移の予測結果又はセンサ情報に基づく演算結果の時系列推移の予測結果に基づいて予測されてもよい。例えば、予測部４２は、センサ情報又はセンサ情報に基づく演算結果の時系列推移を予測し、その予測結果に基づいて次回の着地のタイミングを予測する。時系列推移の予測には、例えば、ＲＮＮ（recurrent　neural　network）等の任意のモデルが用いられ得る。また、予測の対象は、センサ情報そのものであってもよいし、上述した重力方向のベクトルと加速度センサの値の内積、又は上述したノルムであってもよい。
　・補足
　以上説明した予測技術は、適宜組み合わせて用いられてもよい。例えば、各々の予測結果が予測精度に応じて重み付け平均されることで、最終的な予測結果が得られてもよい。
　（２）コンテンツの再生制御
　再生制御部４３は、予測された所定状態のタイミングでコンテンツを再生する。再生制御部４３は、予測された所定状態のタイミングよりも前にコンテンツを読み出しておき、当該タイミングにおいてコンテンツの再生を開始する。さらに、再生制御部４３は、再生制御部４３は、予測された所定状態となるタイミングよりも前に音の再生を開始してもよい。例えば、再生制御部４３は、予測された所定状態となるタイミングに最大音量が再生されるように、アタック区間（音の立ち上がりから最大音量に至るまでの区間）の分、予測された所定状態となるタイミングに先行して音の再生を開始する。これにより、ユーザの状態が所定状態となるタイミングと同じタイミングで、当該所定状態に応じたコンテンツを提示することが可能となる。なお、音は、音の立ち上がりからアタック区間を経て最大音量に達し、その後減衰して消える。詳しくは、音は、時間方向に順にアタック区間、ディケイ（Ｄｅｃａｙ）区間、サステイン（Ｓｕｓｔａｉｎ）区間、及びリリース（Ｒｅｌｅａｓｅ）区間を含む。ディケイ区間は、最大音量から音量が減衰していく区間である。サステイン区間は、ディケイ区間を経て減衰した音量が継続する区間である。リリース区間は、音量が減衰して消えるまでの区間である。
　再生制御部４３は、予測された所定状態のタイミングで実際に所定状態となることがセンサ情報により検出されない場合、コンテンツの再生を制御する。詳しくは、再生制御部４３は、予測部４２により予測された所定状態のタイミングで実際に所定状態となることが検出部４１により検出されない場合に、コンテンツの再生を制御する。若しくは、再生制御部４３は、所定状態とならない傾向が検出部４１により検出された場合（例えば、ユーザが歩行速度を緩めて歩行を停止しそうな状態）、コンテンツの再生を制御する。ここでのコンテンツの再生の制御として、再生制御部４３は、コンテンツの再生を停止する、音量を下げる、又は再生するコンテンツに所定のエフェクトを適用する等を行う。所定のエフェクトは、ぼかし又はフェードアウト等である。音に適用されるぼかしとは、コンテンツ内で定義された音の最大音量まで達しないように音量を制御すること、又は単に音量を下げるのではなく最大音量に達しない範囲で音量を制御することを指す。具体的には、音に適用されるぼかしとして、後述するアタックの強弱の制御が挙げられる。音に適用されるぼかしは、音に空間的な広がりを加える制御であると捉えられてもよい。具体的には、音に適用されるぼかしとして、リバーブ、ディレイ及びエコー等の空間系のエフェクトが挙げられる。画像に適用されるぼかしとは、モザイク処理等の画像コンテンツに映る物の輪郭又は境目を不明瞭にする制御である。また、音に適用されるフェードアウトとは、コンテンツ内で定義された音の最大音量を超えずに、音が次第に消えていくように音量を制御することを指す。また、画像に適用されるフェードアウトとは、画像の透過率を徐々に上げて完全に透明化させる等の、画像が次第に消えていくように制御することを指す。例えば、再生制御部４３は、予測された着地のタイミングよりも前から足音の再生を開始する一方で、予測された着地のタイミングで実際に着地が検出されない場合には、再生中の足音をフェードアウトさせる。これにより、ユーザが足音を意識しないようにすることができ、着地していないのに足音が聞こえる、といった違和感を与えることを防止することができる。例えば、足音として落ち葉を踏む音が再生される場合、アタック区間でフェードアウトさせることで、単に落ち葉が動いている音としてユーザに感じさせることができる。
　これらの再生制御について、図４を参照しながら具体例を説明する。図４は、本実施形態に係る再生制御の一例を説明するための図である。図４の上段のグラフ１１１はセンサ情報の時間推移位を示すグラフであり、縦軸はセンサ情報（例えば、加速度）であり、横軸は時間である。実際には複数の軸や種類のセンサがあるが、ここでは代表的な一軸を示しているものとする。図４の下段のグラフ１１２は、着地タイミングの予測結果に応じたタイミングで出力される足音の波形を示すグラフであり、縦軸は振幅であり、横軸は時間である。グラフ１１１に示すセンサ情報のピークとなるタイミングｔ１において着地が発生するものとする。再生制御部４３は、波形１１３に示すように、予測された着地のタイミングｔ１よりも前のタイミングｔ３から足音の再生を開始する。他方、着地のタイミングｔ１において着地が検出されない場合、再生制御部４３は、波形１１４に示すように、予測された着地のタイミングｔ１よりも前のタイミングｔ３から足音の再生を開始しつつ、タイミングｔ１以降は足音をフェードアウトさせる。
　（３）処理の流れ
　図５は、本実施形態に係る情報処理装置１により実行されるコンテンツの再生制御処理の流れの一例を示すフローチャートである。図５に示すように、まず、第１のセンサ部１０は、ユーザの歩行時のセンサ情報を取得する（ステップＳ１０２）。次いで、予測部４２は、センサ情報に基づいて、次の着地時刻を予測する（ステップＳ１０４）。次に、再生制御部４３は、予測された着地時刻に足音を再生する（ステップＳ１０６）。次いで、第１のセンサ部１０は、ユーザの歩行時のセンサ情報をさらに取得する（ステップＳ１０８）。次に、検出部４１は、ユーザが歩行を停止するか否かを検出する（ステップＳ１１０）。例えば、検出部４１は、ユーザの着地、又はユーザが歩行を停止しそうな状態にあるか否かを検出する。そして、着地が実際に検出される又は歩行を継続していることが検出される等、ユーザが歩行を停止しないことが検出された場合（ステップＳ１１０／ＮＯ）、再生制御部４３は、足音の再生を継続する（ステップＳ１１２）。その後、処理はステップＳ１０８に戻る。一方で、着地が検出されない又は歩行を停止しようとしていることが検出される等、ユーザが歩行を停止することが検出された場合（ステップＳ１１０／ＹＥＳ）、再生制御部４３は、足音をフェードアウトさせる等、足音の再生を停止する（ステップＳ１１４）。
　＜３．２．変形例＞
　（１）信頼度に応じた再生制御
　再生制御部４３は、センサ情報の信頼度に基づいてコンテンツの再生を制御してもよい。
　センサ情報の信頼度は、センサ情報に占める、ユーザの移動動作の情報の度合いとして定義され得る。情報処理装置１がヘッドホンとして実現される場合、センサ情報の信頼度が低い場合として、ヘッドホンの固定が緩く、ヘッドホンとユーザの頭とのずれに起因する振動がセンサ情報に多く含まれる場合が挙げられる。情報処理装置１がスマートフォンとして実現される場合、センサ情報の信頼度が低い場合として、ユーザがスマートフォンを手で操作しており、手の操作に起因する振動がセンサ情報に多く含まれる場合が挙げられる。
　センサ情報の信頼度は、センサ情報の即時性として定義され得る。例えば、高い処理負荷に起因して、一定周期でのセンシングが失敗する場合、センサ情報の信頼度は低い。
　センサ情報の信頼度は、予測部４２による予測の信頼度として定義され得る。例えば、ユーザが歩いては止まる動作を繰り返している場合等、次の動作を予測することが困難な場合、予測の信頼度は低い。また、センサ情報に占めるユーザの移動動作の情報の度合いが低い場合も、予測の信頼度は低い。
　センサ情報の信頼度に基づく再生制御としては、信頼度が高いほど明瞭なコンテンツを再生し、信頼度が低いほど不明瞭なコンテンツを再生することが挙げられる。例えば、再生制御部４３は、信頼度が所定の閾値よりも高い場合にアタックが強い音を出力し、信頼度が当該所定の閾値よりも低い場合にアタックが弱い音を出力してもよい。アタックが強い音とは、アタック区間が短い、アタック区間終端の最大音量が大きい、及び／又は最大音量から所定の音量に減衰するまでの区間が短い音である。アタックが強い音の一例としては、音の立ち上がりから１秒以内に最大振幅（即ち、最大音量）の区間が現れ、１秒後以降は音の振幅が最大振幅の２０％以下に減衰するような音が挙げられる。アタックが弱い音とは、アタック区間が長い、アタック区間終端の最大音量が小さい、及び／又は最大音量から所定の音量に減衰するまでの区間が長い音である。また、再生制御部４３は、信頼度が所定の閾値よりも高い場合に音量を大きくし、信頼度が当該所定の閾値よりも低い場合に音量を小さくしてもよい。信頼度が高いほど明瞭なコンテンツを再生することで、ユーザにコンテンツを明示することが可能となる。一方で、信頼度が低いほど不明瞭なコンテンツを再生することで、予測が外れた場合にもユーザに違和感を与えにくくすることが可能となる。
　図６は、本実施形態に係る情報処理装置１により実行される信頼度に基づく再生制御処理の流れの一例を示すフローチャートである。図６に示すように、まず、第１のセンサ部１０は、ユーザの歩行時のセンサ情報を取得する（ステップＳ２０２）。次いで、予測部４２は、センサ情報に基づいて、次の着地時刻を予測する（ステップＳ２０４）。次に、再生制御部４３は、センサ情報の信頼度が高いか否かを判定する（ステップＳ２０６）。センサ情報の信頼度が高いと判定された場合（ステップＳ２０６／ＹＥＳ）、再生制御部４３は、アタックの強い足音を再生する（ステップＳ２０８）。一方で、センサ情報の信頼度が低いと判定された場合（ステップＳ２０６／ＮＯ）、再生制御部４３は、アタックの弱い足音を再生する（ステップＳ２１０）。
　（２）ユーザ情報又はキャラクター情報に基づく再生制御
　再生制御部４３は、ユーザのユーザ情報又はユーザに対応するキャラクターのキャラクター情報に基づいて、コンテンツの再生を制御してもよい。ここでのコンテンツの再生制御としては、再生するコンテンツの選択、音量の制御、及びエフェクトの適用等が挙げられる。
　・状態に基づく再生制御
　ユーザ情報は、ユーザの体力、動作の変化の大きさ、動作強度、及び動作継続時間等の、ユーザの状態を示す情報を含み得る。キャラクター情報は、例えば、キャラクターの体力、動作の変化の大きさ、動作強度、及び動作継続時間等の、キャラクターの状態を示す情報を含み得る。
　例えば、再生制御部４３は、センサ情報が示すユーザの移動動作の変化の大きさ（換言すると、激しさ）に基づいて、コンテンツの再生を制御する。具体的には、ユーザが走っている場合、再生制御部４３は、加速度の振幅に比例して足音の音量を大きくしたり、再生対象としてより音量の大きな足音を選択したりする。一方で、ユーザが歩いている場合、再生制御部４３は、足音の音量を小さくしたり、数回に一回の着地のタイミングで足音を再生したりする。または、再生制御部４３は、足音として再生する音源を変えたり、足音の波形を生成するアルゴリズムのパラメータを変えたりする。
　例えば、再生制御部４３は、ゲームにおけるキャラクターの体力が高い場合には力強い足音を再生し、キャラクターが疲れた又は攻撃されてダメージを負った場合には足を引きずった又は崩れた足音を再生する。さらに、再生制御部４３は、キャラクターが戦闘不能になった場合には弱いイメージの足音を再生する。もちろん、足音に限らず、体を動かした場合の任意の音に、かかる制御が適用されてもよい。例えば、再生制御部４３は、キャラクターの体力が高い場合には手の動きに応じて力強い鋭い音を再生し、ダメージを負った場合には間延びした音を再生する。
　・属性に基づく再生制御
　ユーザ情報は、ユーザの年齢、性別、身長、体重、及び携行品等の、ユーザの属性を示す情報を含み得る。ユーザの属性を示す情報は、ユーザにより入力されてもよいし、歩き方等に基づいて認識されてもよい。キャラクター情報は、キャラクターの年齢、性別、身長、体重、装備品及び種族等の、キャラクターの属性を示す情報を含み得る。キャラクターの属性を示す情報は、ゲーム又はＶＲコンテンツ等のコンテンツ内の設定情報に基づき取得される。
　例えば、ＡＲ体験において、再生制御部４３は、ユーザの年齢、履いている靴、性別に応じた足音を出力する。また、ゲーム体験において、再生制御部４３は、キャラクターが写実的なロボットである場合には機械的な足音を出力し、キャラクターがアニメーションのロボットである場合には電子音を出力し、キャラクターが動物である場合は柔らかい足音を出力する。
　もちろん、足音以外にも、再生制御部４３は、ユーザの手を振り回す動きに連動して再生する音を、ユーザ又はキャラクターの属性に応じて選択してもよい。
　・位置に基づく再生制御
　ユーザ情報は、ユーザの地理的位置情報、ユーザが位置する地理的エリアを示す情報、ユーザが位置する建物内の部屋を示す情報、及び高度等の、ユーザの位置を示す情報を含み得る。キャラクター情報は、仮想空間におけるキャラクターの地理的位置情報、キャラクターが位置する地理的エリアを示す情報、キャラクターが位置する建物内の部屋を示す情報、及び高度等のキャラクターの位置を示す情報を含み得る。
　例えば、ＡＲ体験において、再生制御部４３は、水たまりが重畳表示されたエリアでは水音を再生し、落ち葉が重畳表示されたエリアでは落ち葉を踏む音を再生する等、ユーザが位置するエリアに応じた足音を再生する。キャラクターに関しても同様である。
　　－構成例
　ここで、図７を参照しながら、ユーザの位置を示す情報を取得するための構成を説明する。図７は、本実施形態に係る情報処理装置１の論理的な構成の他の一例を示すブロック図である。図７に示す情報処理装置１は、図３に示した構成要素に加えて、第２のセンサ部１１及び位置情報取得部４４を含む。
　・第２のセンサ部１１
　第２のセンサ部１１は、ユーザの位置に関する情報をセンシングする機能を有する。例えば、第２のセンサ部１１は、ユーザの周囲の撮像画像を撮像する撮像装置、周囲と信号を送受信する無線通信装置、ＧＮＳＳ（Global　Navigation　Satellite　System）装置、地磁気センサ、又は照度センサ等を含み得る。第２のセンサ部１１は、センシングの結果得られたセンサ情報を、制御部４０に出力する。
　・位置情報取得部４４
　位置情報取得部４４は、第２のセンサ部１１により得られたセンサ情報に基づいて、ユーザの位置を示す情報を取得する機能を有する。例えば、位置情報取得部４４は、ユーザの周囲の撮像画像に基づくＳＬＡＭ（Simultaneous　Localization　and　Mapping）演算の結果、周囲から受信したビーコン、ＧＮＳＳ情報、又は地磁気情報に基づいて、ユーザの位置を示す情報を取得する。位置情報取得部４４は、照度情報に基づいて、屋内か屋外かを示す情報を取得してもよい。他にも、位置情報は、例えば、ユーザ又はイベントの運営係員により手動で入力されてもよい。
　・再生制御部４３
　再生制御部４３は、位置情報取得部４４により取得された位置情報にさらに基づいて、コンテンツの再生を制御する。例えば、再生制御部４３は、記憶部３０に記憶されたコンテンツを、位置情報取得部４４により取得された位置情報に応じた再生パラメータで再生する。例えば、再生制御部４３は、砂漠が重畳されたエリアにユーザが位置すれば砂の音を再生し、水が重畳されたエリアにユーザが位置すれば水の音を再生する。
　（３）着地検出間隔の制御
　検出部４１は、着地を検出する間隔を、ユーザの状態に応じて制御してもよい。詳しくは、検出部４１は、ユーザの移動動作が大きい場合には短い間隔での着地の検出を許容する一方で、ユーザの動作が少ない場合には短い間隔での着地の検出を許容しない。
　着地の検出は、典型的には、加速度又は角速度等のセンサ情報に基づいて計算された評価値が、第１の閾値を超えるか否かにより行われる。また、着地と次の着地との間にはある程度の時間があくと想定されるので、着地が検出されたあと、第２の閾値を超える時間が経過した後に次の着地が検出される。従って、検出部４１は、着地が検出された後、第２の閾値を超える時間が経過した後に、評価値が第１の閾値を超えた場合に、着地を検出する。
　検出部４１は、センサ情報に基づいて、第１の閾値及び第２の閾値を動的に設定してもよい。例えば、検出部４１は、前回の着地検出時のセンサ情報の大きさに基づいて、次の着地を検出するための第１の閾値及び第２の閾値を設定する。ユーザがゆっくり歩いているとき（例えば、加速度が低い場合）、着地時の衝撃は小さく、着地と次の着地との時間間隔は長いと想定される。そこで、検出部４１は、ユーザがゆっくり歩いていることを示すセンサ情報が取得された場合、第１の閾値を小さく、第２の閾値を大きく設定する。一方で、検出部４１は、ユーザが走っているとき（例えば、加速度が大きい場合）、着地時の衝撃は大きく、着地と次の着地との時間間隔は短いと想定される。そこで、検出部４１は、ユーザが走っていることを示すセンサ情報が取得された場合、第１の閾値を大きく、第２の閾値を小さく設定する。
　（４）音源の再生パラメータの制御
　再生制御部４３は、検出部４１による検出結果に基づいて、音源（即ち、音楽）の再生パラメータを制御してもよい。詳しくは、再生制御部４３は、移動動作の大きさの検出結果に基づいて、音量、再生速度、ローパスフィルタのカットオフ周波数、及びパン等を設定する。例えば、再生制御部４３は、ユーザがゆっくり歩いている場合に、テンポが遅い音源を小さい音量で再生する。一方で、再生制御部４３は、ユーザが走っている場合に、テンポが速い音源を大きい音量で再生する。これにより、ユーザは、演奏技術を持っていなくても、あたかも音楽を演奏しているかのような感覚を得ることができ、高い音楽体験を享受することができる。また、ユーザが激しく動くことでより盛り上がる音楽が再生されるので、ランニング又はウォーキングが促進される。
　ここで、再生パラメータの変更頻度が多いと、ユーザ体験が劣化し得る。例えば、音楽の再生速度が短期間で繰り返し変更されると、音楽の拍が乱れてしまう。そこで、再生制御部４３は、コンテンツの再生パラメータを変更後、所定時間経過するまで再生パラメータの再度の変更を抑制してもよい。換言すると、再生制御部４３は、コンテンツの再生パラメータを変更後、所定時間経過してから再生パラメータを再度変更する。これにより、再生パラメータの変更頻度が少なくなるので、ユーザ体験の劣化を防止することができる。
　また、再生制御部４３は、移動動作が大きく変化した場合にセンサ情報の最大値に再生パラメータを連動させ、それ以外の場合にはデフォルトの再生パラメータを採用してもよい。これにより、基本的にはデフォルトの再生パラメータが採用されて、再生パラメータの変更頻度が少なくなるので、ユーザ体験の劣化を防止することが可能となる。
　また、再生制御部４３は、コンテンツの再生パラメータを、離散化された候補の中から選択してもよい。例えば、再生制御部４３は、再生速度を連続的に変更せずに、デフォルトの再生速度の０．５倍、１倍、１．５倍、２倍の再生速度に変更する。これにより、再生パラメータが連続的に変更される場合と比較して、変更頻度が少なくなるので、ユーザ体験の劣化を防止することが可能となる。
　以下、図８及び図９を参照しながら、再生パラメータの変更頻度に起因するユーザ体験の劣化を防止するための再生制御処理について具体的に説明する。
　図８は、本実施形態に係る音源の再生パラメータの制御の一例を説明するための図である。図８の上段のグラフ１２１はセンサ情報の時間推移位を示すグラフであり、縦軸はセンサ情報（例えば、加速度）であり、横軸は時間である。図８の下段のグラフ１２２は、再生パラメータの時系列推移を示すグラフであり、縦軸はＢＰＭ（Beats　Per　Minute）であり、横軸は時間である。図８に示すように、再生制御部４３は、ユーザが移動動作を開始した時刻ｔ４からＢＰＭを上げ始め、移動動作の大きさに応じたＢＰＭになった時刻ｔ５でＢＰＭを固定する。そして、再生制御部４３は、移動動作が緩慢になった後も時刻ｔ６に至るまで同じＢＰＭを維持し、その後時刻ｔ７にかけてＢＰＭを下げる。
　図９は、本実施形態に係る音源の再生パラメータの制御処理の一例を示すフローチャートである。まず、再生制御部４３は、再生パラメータＰ０を設定する（ステップＳ３０２）。次いで、検出部４１は、センサ情報に基づいて、移動動作の大きさを検出する（ステップＳ３０４）。次に、再生制御部４３は、検出された移動動作の大きさに基づいて、新しい再生パラメータＰ１を計算する（ステップＳ３０６）。次いで、再生制御部４３は、現在のパラメータＰ０と新しいパラメータＰ１との差が、閾値Ｔｈよりも大きいか否か（即ち、｜Ｐ０－Ｐ１｜＞Ｔｈが成り立つか否か）を判定する（ステップＳ３０８）。｜Ｐ０－Ｐ１｜＞Ｔｈが成り立つ場合（ステップＳ３０８／ＹＥＳ）、再生制御部４３は、再生パラメータＰ０を設定してから所定時間経過したか否かを判定する（ステップＳ３１０）。再生パラメータＰ０を設定してから所定時間が経過したと判定された場合（ステップＳ３１０／ＹＥＳ）、再生制御部４３は、新しい再生パラメータＰ１を設定する（ステップＳ３１２）。他方、｜Ｐ０－Ｐ１｜＞Ｔｈが成り立たない（ステップＳ３０８／ＮＯ）、又は再生パラメータＰ０を設定してから所定時間が経過していないと判定された場合（ステップＳ３１０／ＮＯ）、再生制御部４３は、再生パラメータＰ０を維持する（ステップＳ３１４）。
　（５）再生中の音源の拍に応じた再生制御
　再生制御部４３は、音源を再生し、再生中の音源の拍と、移動動作における所定状態のタイミングとが整合する場合に、コンテンツ（より正確には、再生中の音源とは異なるコンテンツ）の再生を制御してもよい。ここでの所定の状態のタイミングは、検出部４１により検出されたタイミングであってもよいし、予測部４２により予測されたタイミングであってもよい。例えば、再生制御部４３は、再生中の音源の拍と予測された着地のタイミングとが整合する場合に限定して、足音を再生する。これにより、ユーザは音楽との一体感を覚えることができるので、ユーザ体験を向上させることができる。
　ここで、整合するとは、完全一致のみを意味するものではなく、所定の閾値以内のずれも許容する概念である。再生制御部４３は、再生中の音源の拍と、移動動作における所定状態のタイミングとが整合する場合であって、所定の閾値以内のずれが存在する場合、再生中の音源の拍に応じたタイミングで、再生中の音源とは異なるコンテンツを再生する。例えば、再生制御部４３は、再生中の音源の拍と着地のタイミングとが整合しつつも完全一致はしていない場合、着地のタイミングではなく、再生中の音源の拍のタイミングで足音を再生する。換言すると、再生制御部４３は、足音の再生タイミングを、再生中の音源の拍のタイミングに離散化する。この点について、図１０を参照して具体的に説明する。
　図１０は、本実施形態に係る再生中の音源の拍に応じた足音の再生制御の一例を説明するための図である。図１０の上段のチャート１３１は音源の拍のタイミングを「Ｘ」として時間軸上に示すチャートである。図１０の中段のチャート１３２は着地タイミングを「Ｘ」として時間軸上に示すチャートである。図１０の下段のチャート１３３は足音の再生タイミングを「Ｘ」として時間軸上に示すチャートである。チャート１３１に示すように、１２０ＢＰＭの場合、４分音符の拍は５００ミリ秒ごとに１回出現し、８分音符の拍は２５０ミリ秒ごとに１回出現する。拍の開始タイミングを０秒とおくと、足音は２５０ミリ秒で割り切れる秒数において再生されることが望ましい。チャート１３２を参照すると、着地タイミングは２００ミリ秒、及び８００ミリ秒に予測されており、これらは２５０ミリ秒では割り切れない。そこで、再生制御部４３は、２００ミリ秒の着地タイミングに応じた足音を２５０ミリ秒において再生し、８００ミリ秒の着地タイミングに応じた足音を７５０ミリ秒において再生する。これにより、ユーザの着地のタイミングと再生中の音源の拍とがずれる場合であっても、足音は拍のタイミングで再生されるので、ユーザは音楽との一体感を覚えることができる。
　（６）再生中の音源の小節に応じた再生制御
　再生制御部４３は、音源を再生し、再生中の音源の拍と、移動動作における所定状態のタイミングとが整合する場合に、再生中の音源の小節が切り替わるタイミングで、再生中の音源又は他の音源の再生を制御してもよい。ここでの所定の状態のタイミングは、検出部４１により検出されたタイミングであってもよいし、予測部４２により予測されたタイミングであってもよい。例えば、再生制御部４３は、再生中の音源の拍と検出又は予測された着地のタイミングとが整合する場合、再生中の音源の小節が切り替わるタイミングで、他の音源の再生を開始したり、再生中の音源の再生を停止したり、再生中の音源にエフェクトを適用したりする。適用され得るエフェクトとしては、リバーブ等の音を不明瞭化するエフェクト、及び高音域の強調等の音を明瞭化するエフェクトが挙げられる。なお、再生の開始は音量を０から上げることとして捉えられてもよく、再生の停止は音量を０にすることとして捉えられてもよい。
　例えば、再生制御部４３は、所定期間にわたって移動動作が検出された場合、小節が切り替わるタイミングで他の音源の再生を開始してもよい。この場合、例えばユーザが長期間歩行するほど、再生される音源の数が徐々に増加する。他方、再生制御部４３は、所定期間にわたって移動動作が検出されない場合、小節が切り替わるタイミングで再生中の音源の再生を停止してもよい。この場合、例えばユーザが歩行を停止すると、再生される音源の数が徐々に減少する。ユーザ移動動作を継続するほど再生される音源が増え、移動動作を停止すると再生される音源が減るので、ランニング又はウォーキングを促進することが可能である。
　再生中の音源の小節が切り替わるタイミングで新たな音源の再生が開始される場合、新たに再生される音源は、記憶部３０に記憶された他の音源であってもよいし、ダウンロード等により外部から得られてもよい。
　他に、再生される音源は、マルチトラック音源であってもよい。マルチトラック音源とは、ボーカル及びドラム等の各々の楽器の音が収録されたトラックを複数含む音源である。再生制御部４３は、マルチトラック音源を再生する場合、再生中のマルチトラック音源の拍と、移動動作における所定状態のタイミングとが整合する場合、再生中のトラックの小節が切り替わるタイミングで、マルチトラック音源に含まれる複数のトラックの再生を制御してもよい。例えば、再生制御部４３は、再生中のマルチトラック音源の小節が切り替わるタイミングで、再生中のトラック（即ち、音量が０でないトラック）の再生を停止したり、未再生のトラック（即ち、音量が０であるトラック）の再生を開始したりする。他に、再生制御部４３は、再生中のマルチトラック音源の小節が切り替わるタイミングで、エフェクトを適用してもよい。
　例えば、再生制御部４３は、所定期間にわたって移動動作が検出された場合、小節が切り替わるタイミングで未再生のトラックの再生を開始してもよい。この場合、例えばユーザが長期間歩行するほど、再生されるトラックの数が徐々に増加する。他方、再生制御部４３は、所定期間にわたって移動動作が検出されない場合、小節が切り替わるタイミングで再生中のトラックの再生を停止してもよい。この場合、例えばユーザが歩行を停止すると、再生されるトラックの数が徐々に減少する。ユーザが移動動作を継続するほど再生されるトラックが増え、移動動作を停止すると再生されるトラックが減るので、ランニング又はウォーキングを促進することが可能である。
　図１１は、本実施形態に係る再生中のマルチトラック音源の小節に応じた再生制御の一例を説明するための図である。図１１の上段のチャート１４１は、ユーザの移動動作における着地のタイミングを時間軸上に示すチャートである。図１１の中段のグラフ１４２は、マルチトラック音源に含まれるトラックＡの音量を示すグラフであり、横軸は時間であり縦軸は音量である。図１１の下段のグラフ１４３は、マルチトラック音源に含まれるトラックＢの音量を示すグラフであり、縦軸は音量であり、横軸は時間である。ここで、チャート１４１に示す歩数とマルチトラック音源の拍とが整合するものとする。マルチトラック音源が４分の４拍子であるとすると、４拍（即ち、４歩）が１小節に相当する。そのため、再生制御部４３は、チャート１４１に示す４歩目のタイミング（即ち、小節の切り替わりのタイミングｔ１０）で、グラフ１４２に示すようにトラックＡの再生を開始する。次いで、再生制御部４３は、チャート１４１に示す８歩目のタイミング（即ち、小節の切り替わりのタイミングｔ１１）で、グラフ１４３に示すようにトラックＢの再生を開始する。そして、再生制御部４３は、ユーザが歩行を停止すると、チャート１４１に示す小節の切り替わりのタイミングｔ１２で、グラフ１４３に示すようにトラックＢの再生を停止する。
　図１２は、本実施形態に係る情報処理装置１により実行される再生中のマルチトラック音源の小節に応じた再生制御処理の流れの一例を示すフローチャートである。図１２に示すように、まず、検出部４１は、センサ情報に基づいて着地を検出する（ステップＳ４０２）。次いで、再生制御部４３は、所定期間の間に連続的に着地が検出されたか否かを判定する（ステップＳ４０４）。検出されたと判定された場合（ステップＳ４０４／ＹＥＳ）、再生制御部４３は、再生中のマルチトラック音源の拍と着地タイミングとが整合するか否かを判定する（ステップＳ４０６）。整合しないと判定される場合（ステップＳ４０６／ＮＯ）、処理は再度ステップＳ４０６に戻る。整合すると判定された場合（ステップＳ４０６／ＹＥＳ）、再生制御部４３は、再生中のマルチトラック音源の小節が切り替わるタイミングで、未再生のトラックの音量を徐々に上げる（ステップＳ４０８）。一方で、所定期間の間に連続的に着地が検出されないと判定された場合（ステップＳ４０４／ＮＯ）、再生制御部４３は、再生中のトラックの音量を徐々に下げる（ステップＳ４１０）。
　＜＜４．ハードウェア構成例＞＞
　最後に、図１３を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１３は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１３に示す情報処理装置９００は、例えば、図３及び図７に示した情報処理装置１を実現し得る。本実施形態に係る情報処理装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図１３に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３及び図７に示す制御部４０を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図３及び図７に示す第１のセンサ部１０及び第２のセンサ部１１を形成し得る。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図３及び図７に示す出力部２０を形成し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図３及ぶ図７に示す記憶部３０を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜５．まとめ＞＞
　以上、図１～図１３を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１は、ユーザの移動動作に関するセンサ情報に基づいて予測される、移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する。実際に移動動作における所定状態が検出されるよりも前に、予測結果に応じたコンテンツの再生制御を開始することができるので、ユーザの体の動きに応じたリアルタイムなコンテンツの提供が可能となる。例えば、情報処理装置１は、ユーザの歩行動作における着地タイミングの予測結果に基づいて、着地タイミングよりも早めに足音の再生処理を開始する。これにより、実際の着地タイミングと足音の再生タイミングとのタイムラグの発生を防止することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、情報処理装置１は、第１のセンサ部１０、第２のセンサ部１１、出力部２０、記憶部３０、及び制御部４０を含むものとしたが、本技術はかかる例に限定されない。例えば、第１のセンサ部１０、第２のセンサ部１１、出力部２０、記憶部３０、及び制御部４０の、少なくとも一部の構成要素は他の構成要素と別の装置として実現されてもよい。例えば、スマートフォンが、第１のセンサ部１０、第２のセンサ部１１、記憶部３０、及び制御部４０を含み、出力部２０を含むヘッドホンに接続されてもよい。また、スマートフォンが記憶部３０及び制御部４０を含み、第１のセンサ部１０、及び第２のセンサ部１１を含む、手足に装着されるウェアラブルデバイス、及び出力部２０を含むイヤホンに接続されてもよい。また、記憶部３０及び制御部４０は、クラウド上のサーバに含まれ、第１のセンサ部１０、第２のセンサ部１１、記憶部３０及び制御部４０を含む端末装置とネットワークを介して接続されてもよい。
　また、本技術のユースケースは、上記実施形態で説明したユースケース以外にも多様に考えられる。例えば、本技術は、医療目的に利用されてもよい。例えば、情報処理装置１は、歩行のリハビリテーションを行う患者に対し、着地タイミングを音で又は画像でフィードバックする。これにより、患者は歩行リズムを把握しやすくなる。また、情報処理装置１は、次の目標ステップ位置を音又は画像で提示してもよい。さらに、情報処理装置１は、日々の歩行のログを記録して、改善度合いを患者に提供してもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、を備える情報処理装置。
（２）
　前記所定状態のタイミングは、前記センサ情報に基づいて検出された前記所定状態のタイミングの時間間隔の時系列推移に基づいて予測される、前記（１）に記載の情報処理装置。
（３）
　前記所定状態のタイミングは、前記センサ情報の時系列推移に基づいて予測される、前記（１）又は（２）に記載の情報処理装置。
（４）
　前記所定状態のタイミングは、前記センサ情報の時系列推移の予測結果又は前記センサ情報に基づく演算結果の時系列推移の予測結果に基づいて予測される、前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記再生制御部は、
　予測された前記所定状態のタイミングで前記コンテンツを再生し、
　予測された前記所定状態のタイミングで実際に前記所定状態となることが前記センサ情報により検出されない場合、前記コンテンツの再生を制御する、
前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記再生制御部は、前記コンテンツの再生を停止する、音量を下げる、又は前記コンテンツに所定のエフェクトを適用する、前記（５）に記載の情報処理装置。
（７）
　前記所定のエフェクトは、ぼかし、又はフェードアウトである、前記（６）に記載の情報処理装置。
（８）
　前記再生制御部は、前記センサ情報の信頼度に基づいて前記コンテンツの再生を制御する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記再生制御部は、前記信頼度が所定の閾値よりも高い場合にアタックが強い音を出力し、前記信頼度が前記所定の閾値よりも低い場合にアタックが弱い音を出力する、前記（８）に記載の情報処理装置。
（１０）
　前記所定状態のタイミングは、歩行動作若しくは走行動作において着地するタイミング、又はジャンプ動作における最高地点に到達するタイミングである、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記再生制御部は、前記ユーザのユーザ情報、又は前記ユーザに対応するキャラクターのキャラクター情報に基づいて、前記コンテンツの再生を制御する、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記ユーザ情報は、前記ユーザの属性、状態、又は位置の少なくともいずれかを含む、前記（１１）に記載の情報処理装置。
（１３）
　前記コンテンツは、音を含み、
　前記ユーザの状態は、前記センサ情報が示す前記ユーザの前記移動動作の変化の大きさを含む、
前記（１２）に記載の情報処理装置。
（１４）
　前記キャラクター情報は、前記キャラクターの属性、状態、又は位置の少なくともいずれかを含む、前記（１１）に記載の情報処理装置。
（１５）
　前記再生制御部は、前記コンテンツの再生パラメータを変更後、所定時間経過するまで前記再生パラメータの再度の変更を抑制する、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記再生制御部は、音源を再生し、再生中の前記音源の拍と、予測された前記所定状態のタイミングとが整合する場合に、前記コンテンツの再生を制御する、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記再生制御部は、音源を再生し、再生中の前記音源の拍と、前記所定状態のタイミングとが整合する場合に、再生中の前記音源の小節が切り替わるタイミングで、再生中の前記音源又は他の音源の再生を制御する、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記再生制御部は、マルチトラック音源を再生し、再生中の前記マルチトラック音源の拍と、前記所定状態のタイミングとが整合する場合、再生中の前記マルチトラック音源の小節が切り替わるタイミングで、前記マルチトラック音源に含まれる複数のトラックの再生を制御する、前記（１７）に記載の情報処理装置。
（１９）
　ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御すること、を含む、プロセッサにより実行される情報処理方法。
（２０）
　コンピュータを、
　ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、として機能させるためのプログラムが記録された記録媒体。
　１　　情報処理装置
　１０　　第１のセンサ部
　１１　　第２のセンサ部
　２０　　出力部
　３０　　記憶部
　４０　　制御部
　４１　　検出部
　４２　　予測部
　４３　　再生制御部
　４４　　位置情報取得部

Claims (20)

  1. 　ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、を備える情報処理装置。
  2. 　前記所定状態のタイミングは、前記センサ情報に基づいて検出された前記所定状態のタイミングの時間間隔の時系列推移に基づいて予測される、請求項１に記載の情報処理装置。
  3. 　前記所定状態のタイミングは、前記センサ情報の時系列推移に基づいて予測される、請求項１に記載の情報処理装置。
  4. 　前記所定状態のタイミングは、前記センサ情報の時系列推移の予測結果又は前記センサ情報に基づく演算結果の時系列推移の予測結果に基づいて予測される、請求項１に記載の情報処理装置。
  5. 　前記再生制御部は、
    　予測された前記所定状態のタイミングで前記コンテンツを再生し、
    　予測された前記所定状態のタイミングで実際に前記所定状態となることが前記センサ情報により検出されない場合、前記コンテンツの再生を制御する、
    請求項１に記載の情報処理装置。
  6. 　前記再生制御部は、前記コンテンツの再生を停止する、音量を下げる、又は前記コンテンツに所定のエフェクトを適用する、請求項５に記載の情報処理装置。
  7. 　前記所定のエフェクトは、ぼかし、又はフェードアウトである、請求項６に記載の情報処理装置。
  8. 　前記再生制御部は、前記センサ情報の信頼度に基づいて前記コンテンツの再生を制御する、請求項１に記載の情報処理装置。
  9. 　前記再生制御部は、前記信頼度が所定の閾値よりも高い場合にアタックが強い音を出力し、前記信頼度が前記所定の閾値よりも低い場合にアタックが弱い音を出力する、請求項８に記載の情報処理装置。
  10. 　前記所定状態のタイミングは、歩行動作若しくは走行動作において着地するタイミング、又はジャンプ動作における最高地点に到達するタイミングである、請求項１に記載の情報処理装置。
  11. 　前記再生制御部は、前記ユーザのユーザ情報、又は前記ユーザに対応するキャラクターのキャラクター情報に基づいて、前記コンテンツの再生を制御する、請求項１に記載の情報処理装置。
  12. 　前記ユーザ情報は、前記ユーザの属性、状態、又は位置の少なくともいずれかを含む、請求項１１に記載の情報処理装置。
  13. 　前記コンテンツは、音を含み、
    　前記ユーザの状態は、前記センサ情報が示す前記ユーザの前記移動動作の変化の大きさを含む、
    請求項１２に記載の情報処理装置。
  14. 　前記キャラクター情報は、前記キャラクターの属性、状態、又は位置の少なくともいずれかを含む、請求項１１に記載の情報処理装置。
  15. 　前記再生制御部は、前記コンテンツの再生パラメータを変更後、所定時間経過するまで前記再生パラメータの再度の変更を抑制する、請求項１に記載の情報処理装置。
  16. 　前記再生制御部は、音源を再生し、再生中の前記音源の拍と、予測された前記所定状態のタイミングとが整合する場合に、前記コンテンツの再生を制御する、請求項１に記載の情報処理装置。
  17. 　前記再生制御部は、音源を再生し、再生中の前記音源の拍と、前記所定状態のタイミングとが整合する場合に、再生中の前記音源の小節が切り替わるタイミングで、再生中の前記音源又は他の音源の再生を制御する、請求項１に記載の情報処理装置。
  18. 　前記再生制御部は、マルチトラック音源を再生し、再生中の前記マルチトラック音源の拍と、前記所定状態のタイミングとが整合する場合、再生中の前記マルチトラック音源の小節が切り替わるタイミングで、前記マルチトラック音源に含まれる複数のトラックの再生を制御する、請求項１７に記載の情報処理装置。
  19. 　ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御すること、を含む、プロセッサにより実行される情報処理方法。
  20. 　コンピュータを、
    　ユーザの移動動作に関するセンサ情報に基づいて予測される、前記移動動作における所定状態のタイミングの予測結果に基づいて、コンテンツの再生を制御する再生制御部、として機能させるためのプログラムが記録された記録媒体。
PCT/JP2019/034883 2018-11-01 2019-09-05 情報処理装置、情報処理方法及び記録媒体 WO2020090223A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020554791A JP7363804B2 (ja) 2018-11-01 2019-09-05 情報処理装置、情報処理方法及び記録媒体
DE112019005499.6T DE112019005499T5 (de) 2018-11-01 2019-09-05 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium
US17/287,374 US20210366450A1 (en) 2018-11-01 2019-09-05 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018206671 2018-11-01
JP2018-206671 2018-11-01

Publications (1)

Publication Number Publication Date
WO2020090223A1 true WO2020090223A1 (ja) 2020-05-07

Family

ID=70463942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034883 WO2020090223A1 (ja) 2018-11-01 2019-09-05 情報処理装置、情報処理方法及び記録媒体

Country Status (4)

Country Link
US (1) US20210366450A1 (ja)
JP (1) JP7363804B2 (ja)
DE (1) DE112019005499T5 (ja)
WO (1) WO2020090223A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189404A1 (ja) * 2022-03-30 2023-10-05 株式会社栗本鐵工所 入出力装置
WO2023189405A1 (ja) * 2022-03-30 2023-10-05 株式会社栗本鐵工所 入出力装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020158440A1 (ja) * 2019-01-30 2021-12-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195059A (ja) * 2000-01-11 2001-07-19 Yamaha Corp 演奏インターフェイス
JP2003305278A (ja) * 2002-04-15 2003-10-28 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005156641A (ja) * 2003-11-20 2005-06-16 Sony Corp 再生態様制御装置及び再生態様制御方法
JP2006202396A (ja) * 2005-01-20 2006-08-03 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
JP2008242063A (ja) * 2007-03-27 2008-10-09 Yamaha Corp 音楽再生制御装置
US20150182149A1 (en) * 2013-12-27 2015-07-02 Simbionics Methods for optimally matching musical rhythms to physical and physiologic rhythms
WO2018186178A1 (ja) * 2017-04-04 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007250053A (ja) 2006-03-15 2007-09-27 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
US9595932B2 (en) * 2013-03-05 2017-03-14 Nike, Inc. Adaptive music playback system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195059A (ja) * 2000-01-11 2001-07-19 Yamaha Corp 演奏インターフェイス
JP2003305278A (ja) * 2002-04-15 2003-10-28 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005156641A (ja) * 2003-11-20 2005-06-16 Sony Corp 再生態様制御装置及び再生態様制御方法
JP2006202396A (ja) * 2005-01-20 2006-08-03 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
JP2008242063A (ja) * 2007-03-27 2008-10-09 Yamaha Corp 音楽再生制御装置
US20150182149A1 (en) * 2013-12-27 2015-07-02 Simbionics Methods for optimally matching musical rhythms to physical and physiologic rhythms
WO2018186178A1 (ja) * 2017-04-04 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189404A1 (ja) * 2022-03-30 2023-10-05 株式会社栗本鐵工所 入出力装置
WO2023189405A1 (ja) * 2022-03-30 2023-10-05 株式会社栗本鐵工所 入出力装置

Also Published As

Publication number Publication date
US20210366450A1 (en) 2021-11-25
DE112019005499T5 (de) 2021-09-30
JPWO2020090223A1 (ja) 2021-10-21
JP7363804B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
US10092827B2 (en) Active trigger poses
JP6658545B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5819856B2 (ja) モーション・キャプチャー・システムにおけるユーザー意図の認識
WO2020090223A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP6055657B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
WO2017115793A1 (ja) ゲーム装置、処理方法及び情報記憶媒体
WO2019203190A1 (ja) プログラム、情報処理装置、及び情報処理方法
US20170216675A1 (en) Fitness-based game mechanics
JP2018514005A (ja) 乗り物酔いの監視及び、酔いを抑えるための追加音の付与
US20170312574A1 (en) Information processing device, information processing method, and program
JP6147486B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
JP6243595B2 (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
EP2579955A1 (en) Dance game and tutorial
JP6055651B2 (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
WO2018203453A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021092822A (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
WO2015033446A1 (ja) ランニング支援システムおよびこれに用いるヘッドマウントディスプレイ装置
JP5318016B2 (ja) ゲームシステム、ゲームシステムの制御方法、及びプログラム
WO2019235338A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220137908A1 (en) Head mounted processing apparatus
US20200086215A1 (en) Information processing apparatus, information processing method, and program
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
JP6603734B2 (ja) ゲームプログラムおよびゲーム装置
WO2020008856A1 (ja) 情報処理装置、情報処理方法、および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19880286

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020554791

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19880286

Country of ref document: EP

Kind code of ref document: A1