WO2024079910A1 - コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置 - Google Patents

コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置 Download PDF

Info

Publication number
WO2024079910A1
WO2024079910A1 PCT/JP2022/038467 JP2022038467W WO2024079910A1 WO 2024079910 A1 WO2024079910 A1 WO 2024079910A1 JP 2022038467 W JP2022038467 W JP 2022038467W WO 2024079910 A1 WO2024079910 A1 WO 2024079910A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
content
scene
vibration output
control signal
Prior art date
Application number
PCT/JP2022/038467
Other languages
English (en)
French (fr)
Inventor
怜 広見
好州 三木
井紅 中条
明男 新井
和真 橋本
Original Assignee
株式会社デンソーテン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソーテン filed Critical 株式会社デンソーテン
Priority to PCT/JP2022/038467 priority Critical patent/WO2024079910A1/ja
Publication of WO2024079910A1 publication Critical patent/WO2024079910A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • the present invention relates to a content playback device, a vibration control signal generating device, a server device, a vibration control signal generating method, a content playback system, and a design support device.
  • a vibration output mechanism In a content playback device that applies vibration to a user to improve the realism of content, the configuration that applies (outputs) the vibration to the user (hereinafter referred to as a vibration output mechanism) is not necessarily the same.
  • different models of chair-type vibration output mechanisms differ in the type of vibration output device used, the material and shape of the chair on which the user sits, and the mounting position of the vibration output device.
  • the optimal vibration generated differs depending on the type of vibration output mechanism, and the vibration output value for vibration control used to generate a vibration signal differs.
  • the present invention aims to provide technology that enables efficient design and adjustment of vibration output mechanisms.
  • An exemplary embodiment of the present invention is a content playback device that provides a user with vibrations according to the content being played back, and includes a vibration output mechanism that generates vibrations, and a controller.
  • the controller detects the vibration output device of the vibration output mechanism, and controls the vibration generated by the vibration output mechanism according to the detected vibration output device.
  • the present invention makes it possible to efficiently select a vibration output device and adjust vibration control parameter values to improve the realism of content.
  • FIG. 1 is an explanatory diagram illustrating an example of a content reproduction system according to an embodiment.
  • FIG. 2 is an explanatory diagram showing an overview of a vibration control signal generation process performed by the content playback device of FIG. 1;
  • FIG. 2 is a block diagram showing an example of the content reproducing device of FIG. 1;
  • FIG. 1 is a diagram showing an example of a scene information DB.
  • FIG. 1 is a diagram showing an example of a parameter information DB;
  • FIG. 1 is an explanatory diagram showing an example of the arrangement of vibration output devices in a vibrating sheet of a content reproduction system;
  • FIG. 4 is an explanatory diagram showing an overview of operations such as setting vibration control parameter values performed by the content reproduction device of FIG.
  • FIG. 1 is a diagram showing an example of a scene recognition DB
  • FIG. 7 is an explanatory diagram showing a first example of the role (structural vibration, air vibration) of each vibration output device in the content reproduction device of FIG.
  • FIG. 7 is an explanatory diagram showing a second example of the role (structural vibration, air vibration) of each vibration output device in the content reproduction device of FIG.
  • FIG. 7 is an explanatory diagram showing a third example of the role (structural vibration, air vibration) of each vibration output device in the content reproduction device of FIG.
  • FIG. 13 is an explanatory diagram showing an example of a content reproduction system according to a modified example.
  • FIG. 12 is a block diagram showing an example of a server device of FIG. 11 .
  • FIG. 1 is an explanatory diagram showing an example of a content reproduction system PS according to an embodiment.
  • the content reproduction system PS includes a content reproduction device 10, a display device (video display device) P1, a speaker (audio output device) P2, and a vibrating sheet (vibration output mechanism) P3.
  • the content playback device 10 is a device that generates control signals for actuators for video playback, audio playback, and vibration playback according to the content being played.
  • the display device P1 is a device that provides user U1 with video according to the content being played (video based on the video (control) signal of the content playback device 10).
  • the speaker P2 is a device that provides user U1 with audio according to the content being played (audio based on the audio (control) signal of the content playback device 10).
  • the display device P1 is, for example, a head-mounted display.
  • the display device P1 allows the user U1 to enjoy, for example, an XR (Cross Reality) experience by outputting an image corresponding to the content being played.
  • the display device P1 is equipped with devices that detect changes in the internal and external conditions of the user U1 using a sensor unit, such as a camera, microphone, motion sensor, etc.
  • the content provided to user U1 is not limited to XR content, but may be content such as movies, concert footage, games, etc. that is displayed on a normal display.
  • display device P1 may be a display such as a television set installed on the floor or a desk, or hung on a wall.
  • Speaker P2 is, for example, a headphone type speaker that is worn on the ears of user U1. Speaker P2 provides the audio of the content to user U1 by outputting audio corresponding to the content being played. Speaker P2 is not limited to a headphone type speaker, and may be, for example, a box-shaped speaker that is placed on the floor or a desk, or hung on a wall, a so-called box speaker.
  • the vibrating sheet P3 is, for example, a chair-type vibration output mechanism, and includes a seat (seat (chair) body) 20 on which the user U1 sits, and a number of vibration output devices 30.
  • the vibration output devices 30 are installed inside or outside the seat 20.
  • the vibration output devices 30 are configured with, for example, an electric vibration converter including an electric magnetic circuit, a piezoelectric element, and an electric cylinder.
  • the vibration output devices 30 generate vibrations according to the content being played (vibrations based on the vibration (control) signal of the content playback device 10), and impart (output) the vibrations to the user U1.
  • FIG. 2 is an explanatory diagram showing an overview of the vibration control signal generation process performed by the content playback device 10 of FIG. 1.
  • the content playback device 10 first detects scenes that satisfy predetermined conditions from the video data and audio data related to the content (step S1).
  • the specified conditions of a scene are conditions that determine whether the scene should generate vibration (vibration should be applied to the user).
  • the specified conditions of a scene are conditions related to the characteristics of the object in the content (weight, moving speed, etc.), the distance between the avatar corresponding to the user and the object in the content space (hereinafter referred to as object distance), etc. For example, if the conditions "object weight (kg) / object distance (m) squared is 10 or more" and "object is moving" are met in the content space, the content playback device 10 determines that the scene should generate vibration.
  • the content playback device 10 sets the priority of events to be subjected to vibration for the scene detected by scene detection (step S2). That is, when a scene is determined to be one in which vibration should be generated, multiple events may satisfy the vibration generation conditions. For example, if an elephant approaches while driving on a rough road in the content space, the vibration to be generated will be the vibration for driving on the rough road and the vibration for the elephant approaching. However, if vibrations corresponding to both are generated, the cause of the vibration (which object the vibration is directed at) will not be sensed due to human sensitivity to vibration. For this reason, the content playback device 10 sets the event for which the user should feel the vibration more as the higher priority event and performs control to generate vibration for that event preferentially.
  • the content playback device 10 extracts vibration control parameter values corresponding to the highest priority scene (the target event for vibration generation) (step S3).
  • the vibration control parameters are data used when generating vibration, and include parameters such as low-pass filter characteristics (cutoff frequency, etc.), delay characteristics, and amplification characteristics. These parameter values are associated with the scene and stored in a data table, etc. Note that in the case of a process for generating vibrations corresponding to multiple scenes in order of priority, a similar vibration generation process is performed for each of the multiple highest priority scenes.
  • the content playback device 10 generates a vibration control signal for the vibration output device 30 of the vibrating sheet P3 based on the extracted vibration control parameter value (step S4), and outputs the vibration control signal to the vibration output device 30 of the vibrating sheet P3.
  • the correlation between sound and vibration is relatively high among the information contained in much of the content.
  • the content playback device 10 processes the sound data contained in the content based on the content data (object distance, object weight, object type, etc.) and vibration control parameter values according to the scene to generate a vibration control signal.
  • the generated vibration control signal is output to the vibration output device 30 of the vibrating sheet P3. In this way, the content playback device 10 can impart vibration to the user according to the content being played back.
  • FIG. 3 is a configuration diagram showing an example of the content playback device 10 of Fig. 1.
  • Fig. 3 shows components necessary for explaining the features of this embodiment, and omits the description of general components.
  • the content playback device 10 includes a storage unit 12 and a controller 13.
  • the content input to the content playback device 10 is assumed to be "XR content.”
  • the "user” refers to the operator himself/herself in the XR space (a virtual character or avatar for the content viewing user).
  • the content viewing user (the operator himself/herself) will hear the sounds that the virtual character (avatar) is hearing (surrounding sounds (such as the vocalizations of other characters), the vocalizations of the virtual character).
  • the user in the XR content will have a function (microphone function) that converts the user's own voice and the surrounding voices into audio (electrical) signals.
  • the storage unit 12 is composed of volatile memory and non-volatile memory.
  • the volatile memory is composed of, for example, RAM (Random Access Memory).
  • the non-volatile memory is composed of, for example, ROM (Read Only Memory), flash memory, and a hard disk drive.
  • the non-volatile memory stores programs and data that can be read by the controller 13. At least a portion of the programs and data stored in the non-volatile memory may be obtained from another computer device (server device) connected by wire or wirelessly, or from a portable recording medium.
  • the storage unit 12 is provided with multiple databases (hereinafter sometimes referred to as “DBs (Databases)”) for various processes.
  • the databases provided are a content DB 121, a scene information DB 122, a priority information DB 123, a parameter information DB 124, and a scene recognition DB 125.
  • the content DB 121 is a database that stores data on a group of contents to be played by the content playback device 10. Based on the data on this group of contents, the video, audio, vibration, etc. of each piece of content are played. Note that this content data may be obtained from an external server (the external server is treated as the content DB 121), or the content DB 121 and an external server may be used in combination.
  • the scene information DB122 is a database that stores various information related to the scene for which vibration is to be generated.
  • Figure 4 shows an example of the scene information DB122.
  • the scene information DB 122 contains data for the items "detected scene,” “condition category,” “object,” “condition parameter,” “threshold,” and “condition formula,” and each piece of information is stored in association with the "detected scene” information.
  • the "detected scene” item in scene information DB122 is the name of a scene that constitutes the scene identification information. "Detected scene” also serves as identification information for identifying a data record in scene information DB122. In other words, a data record in scene information DB122 is generated for each "detected scene” data, and data for the items "condition category,” "object,” “condition parameter,” “threshold,” and “condition formula” corresponding to that data record is stored. Although a scene identification code such as a numerical value is normally used for "detected scene,” in this embodiment, a distinctive name is used to make the explanation easier to understand.
  • the "Condition Category” item in scene information DB122 indicates the category of scene detection information, such as the type of information on which a scene is detected.
  • the "Condition Category” data is broadly divided into categories such as the positional relationship between the user and the object in the XR space, the user's actions, spatial information about the user's presence, time information about the user's presence, or sound being emitted from the object.
  • the "object” item in scene information DB122 indicates the type of object used for scene detection.
  • "object” corresponds to information such as object 1, object 2, user, space 1, space 1 + object 3, content 1, object 4, object 5, object 6, etc.
  • object 1, object 2, object 3, object 4, object 5, and object 6 each indicate a different object in the XR space.
  • space 1 indicates, for example, the space in the XR space where the user exists, and content 1 indicates the content itself.
  • condition parameters item in scene information DB122 indicates conditions related to parameters, such as which parameters are to be used for the object ("object” data) when performing scene detection.
  • the "condition parameters” correspond to parameter type information such as distance, angle, speed, acceleration, rotation speed, in space, presence of object, quantity, start time to end time, and audio pattern.
  • the "Threshold" item in scene information DB122 indicates a threshold value corresponding to a condition parameter for determining a detected scene.
  • the "Conditional formula” item in scene information DB122 indicates a conditional formula for detecting a detected scene, and for example, the relationship between the conditional parameter and the threshold value is defined and stored as a conditional formula.
  • the detected scenes “Scene W”, “Scene X”, “Scene Y”, and “Scene Z” are actually data such as an “elephant walking scene”, “horse walking scene”, “car driving scene”, and “car making a sharp turn scene”, respectively.
  • the targets “Object 4", “Object 5", and “Object 6” are actually data such as an "elephant”, “horse", and “car”, respectively.
  • conditional expressions "Pattern w”, “Pattern x”, “Pattern y”, and “Pattern z” are actually data such as a “horse walking sound pattern”, “elephant walking sound pattern”, “car driving sound pattern”, and “tire squealing sound pattern”, respectively.
  • a voice pattern is represented, for example, by a feature vector whose elements are voice features. If the similarity (e.g., cosine similarity, Euclidean distance) between the feature vectors corresponding to two voice patterns is equal to or greater than a threshold, the two voice patterns can be determined to be similar.
  • the conditional expression "voice pattern is similar to pattern w" means that the similarity between the feature vector calculated from the voice occurring in the scene and the feature vector of the voice corresponding to pattern w is equal to or greater than a threshold.
  • the content playback device 10 may also detect a scene by combining the condition categories or condition parameters shown in FIG. 4.
  • a scene ⁇ may be detected in which the condition category is the positional relationship between the user and the object and the condition parameters are position and angle, i.e., the scene ⁇ satisfies the conditions of scene A and scene B.
  • the priority information DB123 is a database that stores various information related to the priority of vibration generation.
  • the content playback device 10 sets a priority of vibration generation for each scene in which vibration should be generated based on a predetermined rule.
  • the rules related to the priority of vibration generation are stored in the priority information DB123.
  • priority rules include "give priority to the scene detected first (or last)", “give priority to a scene with a shorter duration”, “give priority to a scene with a larger low-frequency amplitude”, “give priority to a scene that ends first”, etc.
  • the parameter information DB 124 is a database that stores information about vibration control parameters for each scene.
  • FIG. 5 is a diagram showing an example of the parameter information DB 124. As shown in FIG. 5, the parameter information DB 124 includes items such as "scene type" and "vibration control parameters,” and stores each piece of information in association with information about the "scene type.”
  • the "Scene Type” item in parameter information DB 124 indicates the type of scene.
  • the "Detected Scene” data shown in FIG. 4 is associated with the "Scene Type” data by a predetermined method (for example, a data table showing the correspondence).
  • the "Scene Type” data in parameter information DB 124 and the "Detected Scene” data in scene information DB 122 are associated by a predetermined method, and as a result, the data records in scene information DB 122 and parameter information DB 124 are associated (linked).
  • the item "Vibration control parameters" in the parameter information DB 124 indicates the vibration control parameters to be set in the corresponding scene, and data (values) of each parameter are stored individually for each vibration output device 30 of the vibrating sheet P3.
  • vibration control parameters data on items such as "LPF (Low Pass Filter, low frequency characteristics)", “delay (delay characteristics)”, and “amplification (amplification rate)” are stored. Note that while Figure 5 shows “vibration control parameters” for two types of vibration output devices, “vibration control parameters” are stored for vibration output devices that are individually controlled.
  • the data example shown in Figure 5 is the parameter values for vibration generation processing based on the content audio.
  • LPF indicates the cutoff frequency of the low-pass filter that extracts low-frequency components from the audio.
  • Delay indicates the time to delay the vibration relative to the audio.
  • Amplification indicates the amplification rate, i.e., the extent to which the original vibration generated from the audio is amplified or attenuated to control the vibration.
  • the controller 13 realizes various functions of the content playback device 10, and includes a processor that performs arithmetic processing and the like.
  • the processor includes, for example, a CPU (Central Processing Unit).
  • the controller 13 may be configured with one processor, or may be configured with multiple processors. When configured with multiple processors, those processors are connected so that they can communicate with each other, and work together to execute processing.
  • the controller 13 has, as its functions, a scene detection unit 131, a priority setting unit 132, a parameter extraction unit 133, and an output unit 134.
  • the functions of the controller 13 are realized by the processor executing arithmetic processing in accordance with the program stored in the storage unit 12.
  • the scene detection unit 131 includes a scene determination unit 131a that determines whether the scene in the content being played is a scene in which vibration control (generation) should be performed, and a parameter setting unit 131b that sets parameter values to be used in the vibration generation process.
  • the scene determination unit 131a determines whether a scene in the content being played satisfies a predetermined condition.
  • the scene determination unit 131a determines whether a scene should be subjected to vibration control (vibration should be generated) (detects a scene in which vibration control should be performed) by using, for example, video data and audio data related to the content and a conditional expression stored in the scene information DB 122.
  • the scene determination unit 131a determines whether a scene should be subjected to vibration control by using a conditional expression in the scene information DB 122 based on, for example, coordinate information of an object (object for which vibration is generated) in the XR space and information related to the object type.
  • the scene determination unit 131a determines which of the "detected scenes" stored in the scene information DB 122 the scene in question is, based on this information.
  • the scene determination unit 131a detects a scene in the content being played where sound is generated from an object.
  • scene W, scene X, scene Y, and scene Z which have the condition category "sound generated from object" shown in FIG. 4, are the candidate scenes.
  • the scene determination unit 131a calculates the similarity between the feature vector obtained from the audio signal of the content and the feature vector of the predetermined sound in the candidate scene (audio pattern of the condition parameter), and determines whether the candidate scene satisfies the audio pattern condition based on the determination result of whether the similarity is equal to or greater than a predetermined similarity threshold.
  • the scene determination unit 131a determines whether the candidate scene satisfies the object distance condition based on the determination result of whether the object distance in the content being played is equal to or less than a predetermined threshold. Then, the candidate scene that satisfies the audio pattern condition and the object distance condition (satisfies the condition formula) is determined as a detection scene that generates vibration.
  • the scene determination unit 131a determines that it does not correspond to any of the detected scenes, it is assumed that there is no corresponding detected scene and vibration is not generated (the vibration control parameter is set to a non-vibration value).
  • the parameter setting unit 131b sets (initializes or changes) the value of the "vibration control parameter" in the parameter information DB 124.
  • the main methods for setting parameter values are a setting method based on input information by the XR content developer or user, and an automatic setting method based on the content type, etc.
  • the user selects the scene for which the parameter value is to be set (adjusted) and the type of parameter to be set (adjusted), and sets the parameter to be set in that scene by operating the up/down operation button or the like.
  • setting it is preferable to display a test image of the scene for which the parameter is to be set, and generate vibrations based on the parameters being set, so that the user can feel the vibrations while setting.
  • the scene type of the content to be played back is first detected.
  • the content type is detected based on scene type information, etc., added to the content information, or is inferred by analyzing a portion of the content video and audio.
  • the automatic setting method then sets each parameter value according to the detected content type.
  • the parameter values can be obtained from a server (which collects parameter information from each device and stores appropriate parameter values according to the content's scene type by performing statistical processing, etc.) based on the content's scene type information (sending a parameter value request signal including the scene type information). This allows the parameter information DB 124 to be configured more appropriately.
  • the parameter setting unit 131b it is efficient for the parameter setting unit 131b to set vibration control parameter values as scenes in which vibration is generated for scenes in which the amplitude of low-frequency sound generated from an object exceeds a predetermined threshold.
  • Objects that generate large vibrations are highly correlated with objects that generate large low-frequency sound, and the magnitude of vibration is also correlated with the magnitude of the low-frequency sound. Therefore, it is presumed that scenes in which the amplitude of low-frequency sound exceeds a predetermined threshold will also have large amplitude vibrations that should be generated to improve realism, and it is efficient to set vibration control parameter values as scenes in which vibration is generated.
  • Such scenes can be set by the user or content developer, or obtained from a server (which collects scene information and parameter information for various contents from each device and stores appropriate scene information and parameter information after performing statistical processing, etc.).
  • the above audio amplitude threshold may also be determined according to the type (details) of content. Specifically, a data table of content types (details) and intensity thresholds is created in advance, and when selecting a scene for which conditions are to be set, the data table is searched for an intensity threshold corresponding to the target content, and the scene for which conditions are to be set is selected using the searched intensity threshold.
  • types of content include music videos that allow users to listen mainly to music, and animal documentaries that explain the biology of animals. If there is a scene of an elephant walking in a music video, it is often better not to generate excessive vibrations so as not to interfere with the music. On the other hand, if there is a scene of an elephant walking in an animal documentary, it is often better to generate vibrations to create a sense of realism.
  • the parameter setting unit 131b sets the threshold for music videos lower than the threshold for animal documentaries.
  • an elephant walking scene in a music video is less likely to be set as a scene in which vibrations should be generated than an elephant walking scene in an animal documentary, and the generation of unnecessary vibrations is suppressed in elephant walking scenes in music videos. This makes it possible to generate vibrations that are appropriate for the content.
  • each parameter value in the scene information DB 122 and the parameter information DB 124 may be updated by calculating (correcting) a new parameter value (for example, the adjustment value itself, or a value with an offset, etc. added) based on various vibration adjustments (vibration level adjustment, delay adjustment, etc.) that the user actually makes while watching content.
  • a new parameter value for example, the adjustment value itself, or a value with an offset, etc. added
  • various vibration adjustments vibration level adjustment, delay adjustment, etc.
  • the priority setting unit 132 sets priorities for the scenes detected by the scene detection unit 131.
  • the priority setting unit 132 refers to the priority information DB 123 and selects which scene should be given priority in processing when multiple types of scenes are detected simultaneously by the scene detection unit 131. Note that when only one scene is detected by the scene detection unit 131, that scene has the highest priority.
  • the parameter extraction unit 133 extracts vibration control parameter values for scenes for which priorities have been set by the priority setting unit 132.
  • the parameter extraction unit 133 refers to the parameter information DB 124 and extracts, from the parameter information DB 124, vibration control parameter values that correspond to the "detected scene" that has been given the highest priority by the priority setting unit 132.
  • the parameter extraction unit 133 extracts vibration control parameter values that correspond individually to each of the multiple vibration output devices 30, so that each vibration output device 30 can be controlled with its own vibration control parameter value. This makes it possible to further improve the sense of realism compared to a case in which each vibration output device 30 is controlled with a uniform vibration control parameter value.
  • the content playback device 10 can estimate from among the candidate objects that are candidates for vibration generating objects those object candidates that will have a large impact on the user when they generate vibrations, and select them as vibration generating objects. In this case, it is preferable to change the threshold value for selecting an object that generates vibrations based on the content type. In other words, depending on the content, it may be preferable to refrain from reproducing or emphasize the vibrations caused by objects that appear in the content, and it is preferable to adjust the determination content (judgment level) of the object that generates vibrations.
  • the principle of vibration generation is as follows: An object that will generate vibration in the content (for each scene) is determined based on the nature of the content. A vibration signal (vibration data) is then generated based on the audio signal corresponding to the determined object.
  • the audio signal corresponding to the object is the audio data of the object included in the content, or audio data of the object generated from the audio data in the scene (e.g. extracted by filtering the low-frequency range).
  • the vibration signal (vibration data) is also generated by extracting the low-frequency components of the object's audio signal and amplifying it appropriately.
  • the low-frequency characteristics (e.g., volume level) of the vocalizations of the sound-generating object of the content are estimated to determine the object.
  • the low-frequency characteristics of the vocalizations of the sound-generating object are estimated based on, for example, a reference vibration strength based on the type of object in the virtual space and the distance between a reference position (such as the user's position in the virtual space) and the object.
  • the sound-generating object with the highest low-frequency volume level of the vocalizations is determined to be the object that generates vibrations.
  • the parameter extraction unit 133 extracts dedicated vibration control parameter values for each vibration output device 30. This makes it possible to further improve the sense of realism compared to a case in which each vibration output device 30 is controlled with a uniform vibration control parameter value.
  • the parameter extraction unit 133 also includes a learning unit 133a.
  • the learning unit 133a learns the relationship between the scenes stored in the parameter information DB 124 and the vibration control parameter values.
  • the learning unit 133a updates the vibration control parameter values stored in the parameter information DB 124 by performing machine learning using, as learning data, the scenes stored in the parameter information DB 124, the corresponding vibration control parameter values, and the reaction of the user (the user watching the content to which vibration is applied) to the vibration control of the vibration output device 30 based on the parameter values.
  • the learning unit 133a may use, for example, user evaluations of vibration control parameter values (vibrations given to the user) (vibration adjustment operations by the user after vibration control, survey results by the user, etc.) as learning data.
  • the learning unit 133a learns (updates) vibration control parameter values according to the scene, from the perspective of what vibration control parameter values should be set for each scene to obtain a high user evaluation, i.e., a high sense of realism.
  • the learning unit 133a determines, from the learning results, what vibration control parameter values should be set when a new scene is played. Specifically, for example, when a viewer performs an adjustment operation on the vibration during playback of a fireworks scene that is not registered as a vibration generating scene, the vibration control parameter values are calculated using the new scene and the adjustment content as learning data, and data such as the vibration control parameter values based on the learning results are stored in the parameter information DB 124, etc. It is also possible to learn (generate) vibration control parameter values for a new scene using vibration control parameter values of a similar scene.
  • vibration control is performed using vibration control parameter values of a similar situation such as an explosion scene, and the learning results, i.e., the user's reaction, are used to learn (generate) vibration control parameter values for the fireworks scene.
  • the output unit 134 generates a vibration control signal for each vibration output device 30 using the vibration control parameter values extracted by the parameter extraction unit 133, and outputs it to each vibration output device 30. Specifically, the output unit 134 converts audio data in a vibration occurrence scene of the content being played back into original vibration data by performing band limiting processing suitable for vibration by an LPF. Furthermore, the output unit 134 performs vibration adjustment processing on the original vibration data based on the vibration control parameter values extracted by the parameter extraction unit 133, and generates a vibration control signal.
  • the output unit 134 performs vibration adjustment processing, such as adding frequency characteristics such as low-frequency emphasis, delaying, and amplifying the original vibration data according to the vibration control parameter value, for example.
  • vibration adjustment processing such as adding frequency characteristics such as low-frequency emphasis, delaying, and amplifying the original vibration data according to the vibration control parameter value, for example.
  • the output unit 134 outputs to each of the multiple vibration output devices 30 a vibration control signal (vibration control data) that has been adjusted according to the vibration control parameter value, using a signal suitable for vibration obtained by processing, for example, a sound signal generated from an object in the XR space of the content.
  • the output unit 134 outputs the vibration control data that has been individually adjusted for each vibration output device 30 to the corresponding vibration output device 30.
  • the vibration control parameter values are set for each scene, but it is also effective to make corrections according to the detailed situation in the scene (which can also be called detailed scene type).
  • the vibration characteristics can be adjusted by increasing or decreasing the values of the vibration control parameters "LPF,” "delay,” and "amplification” according to the distance between the user and the object (detailed scene by distance).
  • the content playback device 10 generates an original vibration signal based on the audio data in a scene in which vibration should be generated during content playback, and then processes the original vibration signal according to the scene type to generate a vibration control signal.
  • the content data does not include dedicated data for vibration control, it is possible to generate vibrations that are carefully adapted to each scene in the content.
  • the content playback device 10 breaks down the vibrations applied to the user (person) into aerial vibrations and structural vibrations.
  • Aerial vibrations refer to vibrations that are transmitted from the vibration source to the body through the air.
  • Structural vibrations refer to vibrations that are transmitted to the body through direct contact with the vibration source or through contact via structural parts or the ground.
  • the content playback device 10 breaks down the vibrations applied to the user for each scene of the content into air vibrations and structural vibrations, and assigns each of the multiple vibration output devices 30 to handle the air vibrations and the structural vibrations. In other words, the content playback device 10 generates a vibration control signal for each of the multiple vibration output devices 30 using a vibration control parameter value corresponding to the air vibration to drive the vibration output device 30, or generates a vibration control signal using a vibration control parameter value corresponding to the structural vibration to drive the vibration output device 30.
  • FIG. 6 is an explanatory diagram showing an example of the arrangement of vibration output devices 30 in a vibrating seat P3 of a content playback system PS.
  • vibration output devices 31, 32 for example consisting of an exciter (diaphragm)
  • a vibration output device 33 for example consisting of a six-axis electric cylinder, is installed in the lower portion 23 of the seat 20.
  • the vibration output devices 31 on the seat surface 21 of the seat 20 are arranged in five locations: the four corners (vibration output devices 31s) and the center (vibration output device 31c) of the seat surface 21.
  • the vibration output device 31c in the center of the seat surface 21 has a larger diaphragm than the other four surrounding vibration output devices 31s, making it easier to generate low-frequency, large-amplitude vibrations.
  • the vibration output devices 32 on the back surface 22 of the seat 20 are arranged in four locations, at the four corners of the back surface 22.
  • a vibration output device 33 that generates vibrations (low frequency, large amplitude) that rock the entire seat 20 is arranged in the lower part 23 of the seat 20. If the entire seat 20 is structured to be mounted on the vibration output device 33, the vibration generated by the vibration output device 33 can be used to rock the entire seat 20.
  • Structural vibrations are handled by vibration output devices that are advantageous for reproducing low frequencies, and in this case vibration output devices 31c and 33 are in charge.
  • strong structural vibrations that accompany the user's body movements are handled by vibration output device 33, which imparts to the user vibrations that shake the user's entire body.
  • Air vibrations are handled by vibration output devices that do not strongly press against the user, i.e., have low contact with the user, and in this case vibration output device 32, which is less susceptible to pressure from the user's weight, is in charge.
  • vibration output devices 31s at the four corners of seat 21 do not impart vibrations that shake the user's entire body and have relatively high contact with the user, here they are in charge of either structural vibrations or air vibrations as appropriate depending on the content being played and the scene.
  • the arrangement and function (structural vibration, air vibration) of the vibration output devices 30 in FIG. 6 are just an example, and the type, installation location, number, etc. of the vibration output devices 30, the contact state between the vibration output devices 30 and the viewing user, and the content to be played (particularly when only specific content is played, such as in a dedicated game machine) are used to determine whether structural vibration or air vibration is appropriate, and the vibrating sheet P3 is designed and assembled.
  • the contact state between the vibration output devices 30 and the viewing user can be detected based on the user's operation input or the image of the user's viewing state captured by a camera, and if the contact state is close, it is for structural vibration, and if the contact state is not close, it is for air vibration.
  • FIG. 7 is an explanatory diagram showing the operations such as setting vibration control parameter values performed by the content playback device 10 in FIG. 3 and an overview of the operation of the content playback device 10. These operations are broadly divided into a preparation stage before content playback (step S11) and during content playback (step S12).
  • the content viewing user or the like sets the hardware conditions (type, installation location, number, etc. of vibration output devices 30, and the contact state between the vibration output devices 30 and the viewing user).
  • the hardware conditions are input by the content viewing user or the like operating an input device such as a keyboard, or by searching a database based on the model of the vibrating sheet P3. It is also possible to input the hardware conditions automatically by inputting information provided by the connected vibrating sheet P3 (the configuration information of the vibrating sheet P3 is stored in a storage device and is read and provided when the content playback device 10 is connected).
  • the contact state between the vibration output device 30 and the viewing user is detected based on the result of the content viewing user operating an input device such as a keyboard, or based on the analysis result of a camera image capturing the state of the content viewing user.
  • the controller 13 determines the role of each vibration output device 30, i.e., whether it is for generating structural vibration, aerial vibration, or both, and stores this in the memory unit 12.
  • the role information for each vibration output device 30 includes information such as a correction coefficient at the time of each vibration generation (e.g., a coefficient of 1 when structural vibration occurs, and a coefficient of 0.5 when aerial vibration occurs), and this information is used when generating a vibration signal (e.g., multiplying the basic structural vibration signal by the coefficient to generate the vibration signal for the relevant vibration output device 30).
  • a correction coefficient at the time of each vibration generation e.g., a coefficient of 1 when structural vibration occurs, and a coefficient of 0.5 when aerial vibration occurs
  • this information is used when generating a vibration signal (e.g., multiplying the basic structural vibration signal by the coefficient to generate the vibration signal for the relevant vibration output device 30).
  • these decisions are made based on, for example, a data table (generated by the designers and developers of the content playback device 10 through experiments, etc
  • the controller 13 then analyzes the content, extracts each scene in the content in which vibration should be generated, and detects the situation related to vibration in each scene, such as the user's grounded state in the scene. The controller 13 then determines the vibration control parameter value of each vibration output device 30 for each scene in which vibration should be generated, based on the situation related to vibration in the scene and based on the above-mentioned determined information in charge of each vibration output device 30. Furthermore, the controller 13 stores the determined parameter information for each scene and each vibration output device 30 in the parameter information DB 124.
  • scene recognition DB 125 of the content playback device 10 various acoustic features of the scene, vibration classification, the grounding state of the user in the content, and vibration control parameter values are stored in association with the scene type as shown in FIG. 9.
  • the data in the scene recognition DB 125 is generated, for example, by the designers and developers of the content playback device 10 through experiments, and is stored in the scene recognition DB 125.
  • the content viewing user manually adjusts the assignment of each vibration output device 30 and the vibration control parameter values (step S13).
  • the controller 13 (scene recognition unit 135) of the content playback device 10 determines which scene stored in the scene recognition DB 125 the scene of the content being played back is, based on the acoustic features and video features of the scene of the content being played back. In other words, the controller 13 (scene recognition unit 135) compares the acoustic features and video features of the scene of the content being played back with the feature data of the scene recognition DB 125, and detects the scene of the data record in the scene recognition DB 125 whose features match.
  • the controller 13 (output unit 134) reads out the vibration control parameter values (vibration control parameter values of the same data record in the scene recognition DB 125) corresponding to this determined (detected) scene. Note that if there are multiple scenes in which vibration should be generated in the content being played, the controller 13 (priority setting unit 132) selects the scene with the highest priority as the target scene for generating vibration. The controller 13 (output unit 134) then generates a vibration control signal for each vibration output device 30 based on the read vibration control parameter values and audio information of the content being played, and outputs it to each vibration output device 30.
  • the controller 13 For each scene recognized from the content, the controller 13 generates a vibration control signal for each vibration output device 30 based on the vibration control parameter value for each vibration output device 30, and controls the vibration generated by each vibration output device 30.
  • the vibration control parameter value is set based on conditions such as the installation state of each vibration output device 30 on the vibrating sheet P3 (vibration output mechanism). Therefore, the controller 13 generates a vibration control signal for each vibration output device 30 based on the scene of the content being played, as well as the type, installation location, and number of vibration output devices 30, and controls the vibration generated by the vibration output devices 30.
  • each vibration output device 30 to vibrate appropriately for various vibrating sheets P3 (various vibration output mechanisms) that differ in type, installation location, and number of vibration output devices 30. Also, each vibration output device 30 can be vibrated appropriately for a variety of content with different types and contents, and their scenes. Also, by automating the setting of vibration control parameter values for each vibration output device 30 by the controller 13, it becomes possible to efficiently set and adjust vibration control parameter values in response to changes and modifications to the vibrating sheet P3 (various vibration output mechanisms).
  • the controller 13 also sets a vibration control parameter value for each scene of the content being played, and controls the vibration generated by the vibration output device 30 based on the vibration control parameter value.
  • the content is a music video
  • the content is an animal documentary
  • by providing the user with vibrations that are appropriate for the scene of the content being played it is possible to improve the realism of the content.
  • the controller 13 may set vibration control parameter values for each piece of content according to the content type (overall content) rather than for each scene of the content being played back, and vibrate each vibration output device 30 based on the vibration control parameter value.
  • the content is a music video
  • the content is an animal documentary
  • by providing the user with vibrations that are suitable for the content it is possible to improve the realism of the content.
  • FIG. 8 is a flowchart showing a scene recognition process for a content being reproduced, which is executed by the controller 13 of the content reproduction device 10 of Fig. 3.
  • Fig. 8 is a flowchart showing a scene recognition process for determining which vibration classification is appropriate for vibrations generated for each scene of the content being reproduced, which is executed by the controller 13 of the content reproduction device 10.
  • This flowchart shows the technical content of a computer program that causes a computer device to realize the scene recognition process.
  • the computer program is provided (sold, distributed, etc.) in the form of, for example, various readable non-volatile recording media in which the computer program is stored, or in the form of downloading via a communication line from a server in which the computer program is stored.
  • the computer program may be composed of only one program, or may be composed of multiple programs that cooperate with each other.
  • This scene recognition is started during the pre-content playback preparation stage S11, for example, when the user performs an operation to start pre-content playback preparation.
  • FIG. 9 is a diagram showing an example of the scene recognition DB 125.
  • FIG. 9 is a database of information for determining the vibration classification (air vibration, structural vibration) and vibration control parameter value for each scene based on the value of each item based on the scene recognition processing result of FIG. 8.
  • the vibration classification data of a data record in which the value of each item in FIG. 9 matches the scene recognition processing result becomes the vibration type of the generated vibration suitable for that scene, and the vibration control parameter value becomes the vibration control parameter value of the generated vibration suitable for that scene.
  • the scene recognition DB 125 is a database (data table) of recognition scenes corresponding to the audio in the content and the sitting/standing status of the virtual character relative to the content viewing user.
  • data records with the same data for each item are displayed in a format in which the frames for each item are appropriately combined. Also, since the data for the standing status of the virtual character is in the same data record format as the sitting status, the entire view is not displayed and details are omitted.
  • the data items in the scene recognition DB 125 include the characteristics of the sound (sound data) in the content scenes, such as “frequency,” “amplitude,” “steadiness of the sound source,” “steadiness of the audible sound,” “sense of pitch,” “number of simultaneous directions,” and “volume of low frequencies (of the audible sound),” as well as a “grounding” item indicating the seated or standing position of the virtual character relative to the viewing user, which can be determined from image data in the content, and vibration classifications of vibrations generated that are appropriate for the content situation indicated by the other items, which are associated with the recognized scenes (stored in data records generated for each recognized scene).
  • vibration control parameters Another data item in the scene recognition DB 125 is "vibration control parameters," which store vibration control parameter values appropriate for the scene in the corresponding data record.
  • the designer of the content playback device 10 selects appropriate scenes based on experiments, etc., and generates and stores the sound characteristic data corresponding to the scene and vibration control parameter values that match the scene.
  • the "vibration control parameters" may be stored in a separate database as parameter information DB124 as shown in FIG. 5, and the data records of both databases may be associated by scene type (data for the items "recognition scene” and "scene type”).
  • the scene recognition DB 125 also has an item called “recognized scene” that indicates the scene type, and scene type identification data (scene name, etc.) that matches the data for each item related to the characteristics of the audio (audio data) in the scenes of the above-mentioned content is stored as “recognized scene” data.
  • the process shown in FIG. 8 is a flowchart showing vibration control processing during content playback, and is executed repeatedly by the controller 13 during content playback (at a cycle that does not cause discomfort to the content viewing user due to delays in changing vibration control parameter values associated with scene changes).
  • step S101 the controller 13 (scene recognition unit 135) inputs and analyzes the audio signal in the scene of the content being played, extracts data on each item of audio characteristics, and proceeds to step S102.
  • this audio signal analysis can be realized by digitizing the audio signal and performing various processes such as frequency decomposition through arithmetic processing.
  • a video signal in the scene of the content being played may be input and analyzed, and used to determine the audio characteristics described below.
  • step S102 the controller 13 (scene recognition unit 135) determines whether the frequency band (main band) of the sound in the scene is high or low (determined based on its hierarchical relationship to the threshold), and proceeds to step S103. That is, for example, the threshold is set to a frequency of 20 Hz, and the scene recognition unit 135 determines that the sound has a low frequency when the sound intensity distribution below 20 Hz is high, and determines that the sound has a high frequency when the sound intensity distribution above 20 Hz is low.
  • step S103 the controller 13 (scene recognition unit 135) determines whether the amplitude of the sound (average value or maximum value) is large or small (determined based on its up-down relationship to the threshold value), and proceeds to step S104.
  • step S104 the controller 13 (scene recognition unit 135) determines whether the sound source is stationary or non-stationary (whether it emits a continuous sound or a sudden sound) and proceeds to step S105.
  • a sound source is an object within the content that is emitting sound.
  • the scene recognition unit 135 determines that a sound source is stationary when the dynamic range of the sound of the sound source is below a predetermined threshold, and determines that it is non-stationary when it exceeds the threshold.
  • step S105 the controller 13 (scene recognition unit 135) determines whether the audible sound is stationary or non-stationary, and proceeds to step S106.
  • the audible sound is the sound heard by a user (an avatar corresponding to the user) in the content (e.g., an XR content space), and the sound recorded by a microphone equipped by the user in the content.
  • the scene recognition unit 135 determines that the audible sound is stationary, for example, when the dynamic range of the audible sound is below a predetermined threshold, and determines that the sound is non-stationary when it exceeds the threshold.
  • step S106 the controller 13 (scene recognition unit 135) determines whether the pitch of the sound is strong or weak, and proceeds to step S107.
  • the scene recognition unit 135 determines that the pitch is strong when the pitch fluctuation (frequency fluctuation) of the sound is large (such as an animal's cry, which has a large pitch fluctuation over a wide frequency range), and determines that the pitch is low when the pitch fluctuation is small (such as a steady mechanical sound with a narrow frequency range).
  • step S107 the controller 13 (scene recognition unit 135) determines whether the sound is coming from a single direction or from multiple directions simultaneously, and proceeds to step S108.
  • the scene recognition unit 135 determines that the sound is coming from multiple directions simultaneously when, for example, there are multiple sound sources closer to the user than a predetermined threshold, and otherwise determines that the sound is coming from a single direction.
  • step S108 the controller 13 (scene recognition unit 135) determines whether the signal level of the low-frequency components of the audio is high or low, and proceeds to step S109.
  • the scene recognition unit 135 determines that the low-frequency components of the audio are high when the sound pressure of audio components below a predetermined frequency exceeds a predetermined threshold, and determines that the low-frequency components of the audio are low when the sound pressure is below the threshold.
  • step S109 the controller 13 (scene recognition unit 135) performs a data matching process on the scene recognition DB 125 using the results of the determinations made in steps S101 to S108, determines which scenes are relevant, and proceeds to step S110.
  • step S110 the controller 13 (output unit 134) extracts vibration control parameter values corresponding to each vibration output device 30 according to the scene determined from the scene recognition DB 125, processes the audio signal of the content using the vibration control parameter values to generate a vibration signal. Then, the generated vibration signal is output to each corresponding vibration output device 30 to generate the desired vibration, and the process ends. Note that the controller 13 (output unit 134) continues to generate vibration according to the content (audio) of the content being played using the vibration control parameter values before the update, until the vibration control parameter values are updated.
  • appropriate vibration control parameter values are set for each vibration output device 30 in the content reproduction system PS according to the hardware configuration of the content reproduction system PS and the characteristics of the sound during content reproduction, and each vibration output device 30 vibrates with a vibration generated based on the set vibration control parameter value. Therefore, appropriate vibrations according to the hardware configuration of the content reproduction system PS and the content of the content can be given to the content viewing user, allowing the content viewing user to enjoy realistic content reproduction.
  • the vibration control parameter value is determined (calculated) when the content is played back, but the vibration control parameter value of the content to be played back is calculated in advance using a similar method and stored in association with the content playback scene (playback time, scene, etc.). Then, when the content is played back, the vibration control parameter value associated with the relevant scene may be extracted to perform vibration control.
  • the vibration control parameter value may be recorded as one piece of content information together with the content body information (video and audio information) on the content recording medium, for example, on a content optical disc.
  • FIGS. 10A, 10B, and 10C are explanatory diagrams showing a first example, a second example, and a third example of the role (structural vibration, air vibration) of each vibration output device 30 in the content playback device 10 of FIG. 6.
  • the role of each vibration output device 30 varies depending on the hardware configuration of the content playback system PS and the content (scene) details.
  • the vibration output devices 31s at the four corners of the seat 21 and the four vibration output devices 32 on the back surface 22 are responsible for air vibrations and structural vibrations, respectively.
  • the vibration output devices 31s at the four corners of the seat 21 and the four vibration output devices 32 on the back surface 22 are responsible for air vibrations, and the vibration output device 31c at the center of the seat 21 is responsible for structural vibrations.
  • the vibration output device 31c at the center of the seat 21 is responsible for structural vibrations.
  • the vibration output devices 31s at the four corners of the seat 21 and the four vibration output devices 32 on the back surface 22 are responsible for air vibrations
  • the vibration output device 31c at the center of the seat 21 is responsible for structural vibrations (frequencies from 20 Hz to 40 Hz)
  • the vibration output device 33 at the lower part 23 of the seat 20 is responsible for structural vibrations (frequencies less than 20 Hz).
  • the content playback device 10 generates and outputs vibration signals for each vibration output device 30, 31, 32 according to vibration control parameter values (set in the scene recognition DB 125) corresponding to the role of each vibration output device 30, 31, 32, generating structural vibration or air vibration.
  • Modifications 11 is an explanatory diagram showing an example of a content reproduction system PS according to a modified example. Note that components in the modified example that are common to the embodiment described above are given the same reference numerals or names, and descriptions thereof may be omitted.
  • the modified content playback system PS is connected to the server device 40 using a communication line.
  • the content playback device 10 has components in common with the previously described embodiment.
  • the content playback device 10 outputs a vibration signal corresponding to the content being played back to the vibration output device 30, and the vibration output device 30 applies vibration to the user U1.
  • the server device 40 is connected to the content playback device 10 via a network N so as to be able to perform two-way communication.
  • the server device 40 may be a physical server or a virtual server.
  • the network N may be, for example, a local area network or the Internet.
  • FIG. 12 is a configuration diagram showing an example of the server device 40 in FIG. 11.
  • components necessary for explaining the features of this embodiment are shown, and descriptions of general components are omitted.
  • the server device 40 includes a communication unit 41, a storage unit 42, and a controller 43.
  • the communication unit 41 is an interface for performing data communication with other devices via the network N.
  • the communication unit 41 is, for example, a NIC (Network Interface Card).
  • the server device 40 has components equivalent to those of the content playback device 10 of the embodiment described above. Equivalent components (same structure, operation, etc.) are represented by the same names as those in FIG. 3, and the reference numerals are preceded by the SV symbol, and the description thereof is omitted.
  • the content reproduction device 10 transmits to the server device 40 information on the hardware configuration of the content reproduction device 10, video information showing the seating state of the content viewing user U1 on the vibrating sheet P3, and information on the content to be reproduced.
  • the server device 40 transmits a vibration control signal to each vibration output device 30 of the vibrating sheet P3 to the content reproduction device 10.
  • the content reproduction device 10 then synchronizes the image signal and audio signal of the content, and the vibration control signal from the server device 40, and outputs them to the display device P1, speaker P2, and each vibration output device 30.
  • the division of roles between the content playback device 10 and the server device 40 is not limited to this modified example and can be set as appropriate.
  • server device 40 can have information and programs that can accommodate various types of content playback systems PS with different configurations, and can perform processing that corresponds to the hardware configuration of the content playback system PS and the content to be played back in response to a request from the content playback system PS. Therefore, according to this modified example, there is an advantage that each content playback system PS does not need to have its own dedicated configuration, and updates to various information and programs can also be managed on the server device 40 side.
  • this design processing example an example is described in which a server device 40 is used as a design support device for a vibration output mechanism, but it is also possible to use a content playback device 10.
  • this design processing can also be realized by a design system using a computer system that has components equivalent to those of the server device 40 used in the processing in the following description.
  • FIG. 13 is a flowchart showing the design process of the vibrating sheet P3 executed by the controller 43 of the server device 40 in FIG. 12.
  • This flowchart shows the technical content of a computer program that causes the server device 40 to realize the design process of the content playback device 10.
  • the computer program is provided (sold, distributed, etc.) in the form of, for example, various readable non-volatile recording media on which the computer program is stored, or in the form of being downloaded via a communication line from a server on which the computer program is stored.
  • the computer program may be composed of only one program, or may be composed of multiple programs that work together.
  • the process shown in FIG. 13 is executed in the server device 40 when the designer of the content playback device 10 executes the design process, for example, when a process start operation is performed using an operation unit such as a keyboard.
  • step S201 the controller 43 inputs the audio data of the content, and proceeds to step S202.
  • video data of the content may also be input and used for subsequent determination processing, etc.
  • the content to be used is content that is frequently used in the content reproduction system PS or a similar type of content, it will be possible to make a design suitable for that frequently used content. For example, when designing a dedicated content reproduction system PS for a certain game, the content of that game will be used.
  • step S202 the controller 43 (scene detection unit SV131) determines whether the main component of the vibration to be generated is air vibration or structural vibration based on the audio data of the content and, if necessary, with reference to the video data, stores the result in the memory unit 12, and proceeds to step S203.
  • step S203 the controller 43 (scene detection unit SV131) determines whether playback of the content is complete (amount required for the preset design), and if not complete, returns to step S202, and if complete, moves to step S204.
  • the controller 43 by the processing of steps S202 and S203, it is possible to grasp the number of situations in which the main component of the vibration to be generated in the target content is air vibration, and the number of situations in which it is structural vibration.
  • step S204 the controller 43 (scene detection unit SV131) calculates the ratio of vibration conditions in which air vibrations are the main component to vibration conditions in which structural vibrations are the main component in the target content, and then proceeds to step S205.
  • step S205 the controller 43 inputs data on the state of the vibrating sheet P3 after all the vibration output devices 30 that can be installed thereon have been installed (the position of each vibration output device 30 and the vibration effect level), and also inputs data such as the part price and installation cost of each vibration output device 30, as well as the target price of the vibrating sheet P3 to be designed, and then proceeds to step S206.
  • this information on the vibrating sheet P3 is input, for example, by the designer of the vibrating sheet P3 operating a keyboard, etc.
  • step S206 the controller 43 determines the order of reduction of each vibration output device 30 based on the ratio of air vibration to structural vibration in the target content calculated in step S204 and the vibration effect level (degree of contribution to improving the sense of realism) of each vibration output device 30 input in step S205, and proceeds to step S207.
  • the vibration generation ratio of the vibration type (air vibration, structural vibration) in the target content it is responsible for and the lower the vibration effect on the content viewing user, the earlier it will be deleted (the higher the deletion priority).
  • the vibration component ratio which is the ratio of the main components of air vibration and structural vibration in the target content
  • the vibration output devices in charge of air vibration are A1, A2, and A3 in order of highest vibration effect level
  • the vibration output devices in charge of structural vibration are B1, B2, and B3 in order of highest vibration effect level.
  • the first deletion priority is vibration output device B3, which is the vibration output device in charge of structural vibration and has the lowest vibration effect level. Then, since one deletion priority for the vibration output device in charge of structural vibration has been decided, the proportion value of air vibration is reduced (for example, halved) in order to lower the dominance of air vibration (vibration component ratio becomes 4:3).
  • the next one also has a high proportion of air vibration, so the second deletion priority is vibration output device B2, which is the vibration output device in charge of structural vibration and has the lowest vibration effect level. Then, the new vibration component ratio becomes 2:3. Next, the proportion of structural vibration is high, so the third deletion priority is vibration output device A3, which is the vibration output device in charge of air vibration and has the lowest vibration effect level.
  • the deletion priorities are as follows, from top to bottom: vibration output devices B3, B2, A3, B1, A2, A1.
  • the vibration effect level is determined, for example, by subjective evaluation by members of a design and development group, for example, by statistical processing of the results of each subject's evaluation of the vibration effect level when multiple vibration output devices 30 are turned on in sequence to generate vibration when a certain content is played (such as the results of a questionnaire given to each subject).
  • step S207 the controller 43 reduces the vibration output devices 30 that are highest in the reduction order determined in step S206 among the vibration output devices 30 mounted on the vibrating sheet P3, calculates the manufacturing price of the vibrating sheet P3 in this case based on the input prices of each vibration output device 30 of the vibrating sheet P3, and proceeds to step S208.
  • the vibration output devices 30 are reduced simply according to the reduction priority order of the vibration output devices 30, but reductions may also be performed taking into account factors such as the cost of the vibration output devices 30 and the remaining price until the target described below is achieved.
  • this reduction in the number of components of the vibrating sheet P3 is a hypothetical process for calculating the manufacturing price, and does not actually result in a reduction in the number of components of the vibrating sheet P3 (the actual product). In reality, for example, the designer will decide on the final specifications and design based on the results of the evaluation process described above.
  • step S208 the controller 43 determines whether a predetermined target cost for the vibrating sheet P3 or a predetermined target number of vibration output devices 30 has been reached (or fallen below the target), and if so, notifies (displays) the result (the configuration of the vibrating sheet P3 in which each vibration output device 30 has been appropriately reduced) and terminates the process, and if not, returns to step S207 and continues the reduction process and its evaluation process.
  • the scope of this embodiment may also include a computer program that causes a processor (computer) to realize at least a portion of the functions of the content playback device 10.
  • the scope of this embodiment may also include a computer-readable non-volatile recording medium that records such a computer program.
  • the non-volatile recording medium may be, for example, the non-volatile memory described above, as well as an optical recording medium (e.g., an optical disk), a magneto-optical recording medium (e.g., a magneto-optical disk), a USB memory, or an SD card.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Vibration Prevention Devices (AREA)

Abstract

再生するコンテンツに応じた振動をユーザに付与するコンテンツ再生装置（１０）であって、振動を発生する振動出力機構（Ｐ３）と、コントローラ（１３）と、を備える。コントローラ（１３）は、振動出力機構（Ｐ３）の振動出力器（３０）を検出し、検出した振動出力器（３０）に応じて振動出力機構（Ｐ３）が発生する振動の制御を行う。

Description

コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置
　本発明は、コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置に関する。
　従来、ユーザが視聴するコンテンツに応じた振動をユーザに付与することで、コンテンツの臨場感の向上を図る技術が提案されている。例えば、ユーザーの周囲の空気を振動させて、ユーザーに身体全体で空気振動を体感させることで臨場感を向上させる技術が知られている（例えば特許文献１参照）。
特開平１１－４６３９１号公報
　コンテンツの臨場感を向上させるために振動をユーザに付与するコンテンツ再生装置において、振動をユーザに対して付与する（出力する）構成（以降、振動出力機構と称する）は同じ構成のものとは限らない。例えば、異なる機種の椅子型振動出力機構では、使用する振動出力器等の種別、ユーザが着座する椅子の材質や形状、振動出力器の装着位置等が異なる。このため、振動出力機構の種別により、最適な発生振動は異なり、振動信号生成に用いる振動制御用の振動出力値等が異なる。このため、使用する振動出力機構に応じて、専用のコンテンツ再生装置の設計及び調整を行う必要があった。或いは、振動制御信号を生成する振動制御信号生成装置に対応した専用の振動出力機構の設計及び調整を行う必要があった。そして従来、人手によりこれらの対応を行っていたため、膨大な工数の作業を必要とすることに課題があった。
　本発明は、上記の課題に鑑み、振動出力機構の設計及び調整を効率良く行うことが可能な技術を提供することを目的とする。
　例示的な本発明は、再生するコンテンツに応じた振動をユーザに付与するコンテンツ再生装置であって、振動を発生する振動出力機構と、コントローラと、を備える。前記コントローラは、前記振動出力機構の振動出力器を検出し、検出した前記振動出力器に応じて前記振動出力機構が発生する振動の制御を行う。
　本発明によれば、コンテンツの臨場感の向上に係る振動出力器の選択及び振動制御パラメータ値の調整を効率良く行うことが可能になる。
実施形態のコンテンツ再生システムの一例を示す説明図 図１のコンテンツ再生装置が行う振動制御信号生成処理の概要を示す説明図 図１のコンテンツ再生装置の一例を示す構成図 シーン情報ＤＢの一例を示す図 パラメータ情報ＤＢの一例を示す図 コンテンツ再生システムの振動シートにおける振動出力器の配置例を示す説明図 図３のコンテンツ再生装置で行われる振動制御パラメータ値の設定等の作業及びコンテンツ再生装置の動作の概要を示す説明図 図３のコンテンツ再生装置のコントローラが実行する再生中コンテンツに対するシーン認識処理を示すフローチャート シーン認識ＤＢの一例を示す図 図６のコンテンツ再生装置における各振動出力器の担当（構造振動、空気振動）の第１例を示す説明図 図６のコンテンツ再生装置における各振動出力器の担当（構造振動、空気振動）の第２例を示す説明図 図６のコンテンツ再生装置における各振動出力器の担当（構造振動、空気振動）の第３例を示す説明図 変形例のコンテンツ再生システムの一例を示す説明図 図１１のサーバ装置の一例を示す構成図 図１２のサーバ装置のコントローラが実行する振動シートの設計処理を示すフローチャート
　以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。
＜１．振動制御信号生成方法の概要＞
　図１は、実施形態のコンテンツ再生システムＰＳの一例を示す説明図である。図１に示すように、コンテンツ再生システムＰＳは、コンテンツ再生装置１０と、表示装置（映像表示器）Ｐ１と、スピーカ（音声出力器）Ｐ２と、振動シート（振動出力機構）Ｐ３と、を備える。
　コンテンツ再生装置１０は、再生するコンテンツに応じた映像再生用、音声再生用、及び振動再生用の各アクチュエータの制御信号を生成する装置である。表示装置Ｐ１は、再生するコンテンツに応じた映像（コンテンツ再生装置１０の映像（制御）信号に基づく映像）をユーザＵ１に提供する装置である。スピーカＰ２は、再生するコンテンツに応じた音声（コンテンツ再生装置１０の音声（制御）信号に基づく音声）をユーザＵ１に提供する装置である。
　表示装置Ｐ１は、例えばヘッドマウントディスプレイである。表示装置Ｐ１は、再生するコンテンツに応じた映像を出力することで、ユーザＵ１に例えばＸＲ（Cross　Reality）体験を享受させる。表示装置Ｐ１は、センサ部によってユーザＵ１の内外の状況の変化を検知するデバイス、例えばカメラやマイク、モーションセンサ等を備える。
　なお、ユーザＵ１に提供されるコンテンツは、ＸＲコンテンツに限定されるわけではなく、通常のディスプレイに表示される例えば映画やコンサート映像、ゲーム等のコンテンツであっても良い。この場合、表示装置Ｐ１は、例えば床上や机上に設置された、また壁に掛けられたテレビ等のディスプレイであって良い。
　スピーカＰ２は、例えばヘッドフォン型で構成され、ユーザＵ１の耳に装着される。スピーカＰ２は、再生するコンテンツに応じた音声を出力することで、ユーザＵ１にコンテンツの音声を提供する。スピーカＰ２は、ヘッドフォン型に限定されるわけではなく、例えば床上や机上に設置された、また壁に掛けられた箱型のスピーカ、所謂ボックススピーカであっても良い。
　振動シートＰ３は、例えば椅子型の振動出力機構であり、ユーザＵ１が着座する座席（シート（椅子）本体）２０と、複数の振動出力器３０と、を備える。振動出力器３０は、座席２０の内部、或いは外部に設置される。振動出力器３０は、例えば電気磁気回路、圧電素子、電動シリンダを含む電気振動変換器によって構成される。振動出力器３０は、再生するコンテンツに応じた振動（コンテンツ再生装置１０の振動（制御）信号に基づく振動）を発生し、当該振動をユーザＵ１に付与する（出力する）。
　図２は、図１のコンテンツ再生装置１０が行う振動制御信号生成処理の概要を示す説明図である。コンテンツ再生装置１０は、まず、コンテンツに関する映像データ及び音声データから予め定めた所定条件を満たすシーンを検出する（ステップＳ１）。
　シーンの所定条件とは、振動を発生すべき（振動をユーザに付与すべき）シーンであると判断される条件である。具体的には、シーンの所定条件とは、コンテンツにおける対象物の特性（重量、移動速度等）、コンテンツ空間におけるユーザに該当するアバターと当該対象物との距離（以降、対象物距離と称する）等に関する条件である。例えば、コンテンツ空間において「対象物重量（Ｋg）／対象物距離（ｍ）の二乗が１０以上」、「対象物が移動中」の条件を満たす場合に、コンテンツ再生装置１０は振動を発生すべきシーンと判断する。
　続いて、コンテンツ再生装置１０は、シーン検出によって検出したシーンに関して振動の対象とする事象の優先順位を設定する（ステップＳ２）。つまり、振動を発生すべきシーンとして判断した場合に、複数の事象が振動発生条件を満たす場合がある。例えば、コンテンツ空間において悪路走行中に像が接近した場合、悪路走行に対する振動と、象の接近に対する振動とが、発生すべき振動となる。しかし、両方に対応する振動を発生した場合に、振動に対する人の感受特性から振動の原因（どの対象物に対する振動か）が感じ取れなくなる。このため、コンテンツ再生装置１０は、ユーザがより感じるべき振動に対する事象を優先順位の高い事象として、当該事象に対する振動を優先的に発生する制御を行う。
　続いて、コンテンツ再生装置１０は、優先順位最上位のシーン（振動発生の対象事象）に応じた振動制御パラメータ値を抽出する（ステップＳ３）。振動制御パラメータは振動生成時に用いられるデータであり、ローパスフィルタ特性（カットオフ周波数等）、遅延特性、増幅特性等のパラメータがある。これらパラメータ値は、シーンと関連付けられてデータテーブル等に記憶される。なお、上位優先順に複数のシーンに対応する振動を発生する処理の場合は、当該複数の上位優先順位のシーンのそれぞれに対して同様の振動生成処理が行われる。
　続いて、コンテンツ再生装置１０は、抽出した振動制御パラメータ値に基づいて振動シートＰ３の振動出力器３０の振動制御信号を生成し（ステップＳ４）、当該振動制御信号を振動シートＰ３の振動出力器３０に対して出力する。具体的には、コンテンツの多くに含まれる情報の中では、音声と振動の相関性が比較的高い。このため、コンテンツ再生装置１０は、コンテンツに含まれる音声データを、コンテンツデータ（対象物距離、対象物重量、対象物種別等）、シーンに応じた振動制御パラメータ値に基づき加工して振動制御信号を生成する。そして、生成した振動制御信号を振動シートＰ３の振動出力器３０に対して出力する。これにより、コンテンツ再生装置１０は、再生するコンテンツに応じた振動をユーザに付与することができる。
＜２．コンテンツ再生装置＞
　図３は、図１のコンテンツ再生装置１０の一例を示す構成図である。図３では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。
　図３に示すように、コンテンツ再生装置１０は、記憶部１２と、コントローラ１３と、を備える。なお、この説明では、コンテンツ再生装置１０に入力されるコンテンツが、「ＸＲコンテンツ」であるとして説明する。すなわち、「ユーザ」とは、ＸＲ空間内における操作者自身（コンテンツ視聴ユーザに対する仮想キャラクター、アバター）を示す。コンテンツ視聴ユーザ（操作者自身）は、当該仮想キャラクター（アバター）が聴いている音（周囲の音（他キャラクタの発声音等）、仮想キャラクターの発声音）を聴くことになる。このため、ＸＲコンテンツ内における当該ユーザは、当該ユーザ自身の音声及び周囲の音声を音声（電気）信号に変換する機能（マイク機能）を有することになる。
　記憶部１２は、揮発性メモリ及び不揮発性メモリを含んで構成される。揮発性メモリは、例えばＲＡＭ（Random　Access　Memory）で構成される。不揮発性メモリは、例えばＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ハードディスクドライブで構成される。不揮発性メモリには、コントローラ１３により読み取り可能なプログラム及びデータが格納される。不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置（サーバ装置）、または可搬型記録媒体から取得される構成としても良い。
　記憶部１２には、各種処理用の複数のデータベース（以下「ＤＢ（Database）」と称することがある）が設けられる。データベースとしては、コンテンツＤＢ１２１と、シーン情報ＤＢ１２２と、優先順位情報ＤＢ１２３と、パラメータ情報ＤＢ１２４と、シーン認識ＤＢ１２５とが設けられる。
　コンテンツＤＢ１２１は、コンテンツ再生装置１０が再生するコンテンツ群のデータが格納されたデータベースである。このコンテンツ群のデータに基づき、各コンテンツの映像、音声、振動等が再生される。なお、これらのコンテンツのデータは、外部のサーバから入手するようにしても良く（外部のサーバをコンテンツＤＢ１２１として扱う）、またコンテンツＤＢ１２１と外部のサーバを併用するようにしても良い。
　シーン情報ＤＢ１２２は、振動生成の対象とするシーンに関する各種情報を記憶するデータベースである。図４は、シーン情報ＤＢ１２２の一例を示す図である。
　図４に示すように、シーン情報ＤＢ１２２には、「検出シーン」、「条件カテゴリ」、「対象物」、「条件パラメータ」、「閾値」、及び「条件式」の項目のデータが含まれ、「検出シーン」の情報に、各情報が対応付けされて記憶されている。
　シーン情報ＤＢ１２２の項目「検出シーン」は、シーンの識別情報をなすシーンの名称である。「検出シーン」は、シーン情報ＤＢ１２２におけるデータレコードを識別するための識別情報にもなっている。言い換えれば、「検出シーン」データ毎にシーン情報ＤＢ１２２のデータレコードが生成され、当該データレコードに対応する「条件カテゴリ」、「対象物」、「条件パラメータ」、「閾値」、及び「条件式」の項目のデータが記憶される。「検出シーン」は、数値等のシーン識別コードが通常使用されるが、本実施形態では説明を分かり易くするために識別性のある名称を用いている。
　シーン情報ＤＢ１２２の項目「条件カテゴリ」は、どのような情報を根拠にシーンを検出するかといったシーン検出用情報のカテゴリを示す。図４に示す例において「条件カテゴリ」のデータは、ＸＲ空間内におけるユーザと対象物の位置関係、ユーザの動作、ユーザが存在する空間情報、ユーザが存在する時間情報、或いは対象物から音声が発生していることなどといったカテゴリに大別される。
　シーン情報ＤＢ１２２の項目「対象物」は、シーン検出のために使用される対象物の種別を示す。図４に示す例において「対象物」は、物体１、物体２、ユーザ、空間１、空間１＋物体３、コンテンツ１、物体４、物体５、物体６などといった情報が対応する。ここで、物体１、物体２、物体３、物体４、物体５、物体６は、それぞれＸＲ空間内の異なるオブジェクトを示す。また、空間１は、例えばユーザが存在するＸＲ空間内の空間を示し、コンテンツ１はコンテンツ自体を示す。
　シーン情報ＤＢ１２２の項目「条件パラメータ」は、シーン検出を行う際に、対象物（「対象物」のデータ）に関してどのパラメータを用いるかといったパラメータに関する条件を示す。図４に示す例において「条件パラメータ」は、距離、角度、速度、加速度、回転速度、空間の中、物体の存在、数量、開始時刻～終了時刻、音声パターンなどといったパラメータ種別情報が対応する。
　シーン情報ＤＢ１２２の項目「閾値」は、検出シーンと判定するための条件パラメータに対応する閾値を示す。シーン情報ＤＢ１２２の項目「条件式」は、検出シーンを検出するための条件式を示し、例えば条件パラメータと閾値との関係が条件式として定義され、記憶される。
　なお、説明の便宜上、図４では「シーンＷ」、「物体４」、「パターンｗ」のように、「Ｗ」、「４」、「ｗ」といった符号を用いて各項目値を表記しているが、実際には、各項目値は、具体的な意味が理解可能な態様のデータが記憶されることになる。
　具体的に言えば、例えば検出シーンの「シーンＷ」、「シーンＸ」、「シーンＹ」、「シーンＺ」は、実際には、それぞれ例えば「象の歩行シーン」、「馬の歩行シーン」、「車の走行シーン」、「車の急旋回シーン」といったデータとなる。この場合、対象物である「物体４」、「物体５」、「物体６」は、実際には、それぞれ「象」、「馬」、「車」といったデータとなる。さらに、条件式の「パターンｗ」、「パターンｘ」、「パターンｙ」、「パターンｚ」は、実際には、それぞれ例えば「馬の歩行音のパターン」、「象の歩行音のパターン」、「車の走行音のパターン」、「タイヤのスキール音のパターン」といったデータとなる。
　音声パターンは、例えば音声の特徴量を要素とする特徴量ベクトル等によって表される。そして、２つの音声パターンのそれぞれに対応する特徴量ベクトル間の類似度（例えば、コサイン類似度、ユークリッド距離）が閾値以上である場合に、当該２つの音声パターンは類似していると判定できる。例えば、条件式の「音声パターンがパターンｗに類似」は、シーンにおいて発生している音声から算出された特徴量ベクトルと、パターンｗに相当する音声の特徴量ベクトルとの類似度が閾値以上であることを意味する。
　また、コンテンツ再生装置１０では、図４に示した条件カテゴリ、或いは条件パラメータを組み合わせてシーンを検出することにしても良い。例えば、条件カテゴリがユーザと対象物との位置関係であり、条件パラメータが位置と角度であるシーンα、つまりシーンＡの条件とシーンＢの条件とを満たすシーンαとする等としても良い。
　優先順位情報ＤＢ１２３は、振動発生の優先順位に関する各種情報を記憶するデータベースである。コンテンツ再生装置１０は、振動を発生すべき各シーンに対し、予め定めた所定のルールに基づいて振動発生の優先順位を設定する。この振動発生の優先順位に係るルールは、優先順位情報ＤＢ１２３に記憶される。ここでは詳細な説明を省略するが、優先順位ルールとしては、例えば「先（或いは後）に検出したシーンを優先」、「継続時間が短いシーンを優先」、「低域の振幅が大きい方のシーンを優先」、「先に終了するシーンを優先」などといったルールが設けられる。
　パラメータ情報ＤＢ１２４は、シーン毎の振動制御パラメータに関する情報を記憶するデータベースである。図５は、パラメータ情報ＤＢ１２４の一例を示す図である。図５に示すように、パラメータ情報ＤＢ１２４は、例えば「シーン種別」、及び「振動制御パラメータ」の項目が含まれ、「シーン種別」の情報に対応付けられて各情報が記憶されている。
　パラメータ情報ＤＢ１２４の項目「シーン種別」は、シーンの種別を示している。図４に示した「検出シーン」のデータは、予め定めた方法（例えば、対応関係を示すデータテーブル）により「シーン種別」のデータと関連付けられる。つまり、パラメータ情報ＤＢ１２４の項目「シーン種別」のデータと、シーン情報ＤＢ１２２の項目「検出シーン」のデータは予め定めた方法で関連付けられ、その結果、シーン情報ＤＢ１２２とパラメータ情報ＤＢ１２４との各データレコードは関連付けられる（リンクする）ことになる。
　パラメータ情報ＤＢ１２４の項目「振動制御パラメータ」は、対応するシーンにおいて設定する振動の制御パラメータを示し、振動シートＰ３の各振動出力器３０に対して個別に各パラメータのデータ（値）が記憶される。「振動制御パラメータ」として、例えば、「ＬＰＦ（Low　Pass　Filter、低周波特性）」、「ディレイ（遅延特性）」、及び「増幅（増幅率）」といった項目のデータがそれぞれ記憶される。なお、図５では２種類の振動出力器についての「振動制御パラメータ」を示しているが、個別制御する振動出力器について「振動制御パラメータ」が記憶される。
　図５に示したデータ例は、コンテンツ音声に基づく振動生成処理のパラメータ値である。「ＬＰＦ」は、音声から低域成分を抽出するローパスフィルタのカットオフ周波数を示す。「ディレイ」は、音声に対して振動を遅延させる時間を示す。「増幅」は、音声から生成した元振動をどの程度、増幅或いは減衰させて振動制御するかといった増幅率を示す。
　図３に戻って、説明を続ける。コントローラ１３は、コンテンツ再生装置１０の各種機能を実現するもので、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central　Processing　Unit）を含んで構成される。コントローラ１３は、１つのプロセッサで構成されても良いし、複数のプロセッサで構成されても良い。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続され、協働して処理を実行する。
　コントローラ１３は、その機能として、シーン検出部１３１と、優先順位設定部１３２と、パラメータ抽出部１３３と、出力部１３４と、を備える。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。
　シーン検出部１３１は、再生中のコンテンツのシーンが振動制御（発生）を行うべきシーンかどうかを判定するシーン判定部１３１ａと、振動生成処理のための処理に用いるパラメータ値を設定するパラメータ設定部１３１ｂと、を備える。
　シーン判定部１３１ａは、再生中のコンテンツから予め定めた所定条件を満たすシーンか否かを判定する。シーン判定部１３１ａは、例えばコンテンツに関する映像データ及び音声データと、シーン情報ＤＢ１２２に記憶される条件式とを用いて、振動制御を行うべき（振動を発生すべき）シーンか否かを判定する（振動制御を行うべきシーンを検出する）。具体的には、シーン判定部１３１ａは、例えばＸＲ空間内のオブジェクト（振動発生対象物体）の座標情報、及びオブジェクト種別に関する情報に基づき、シーン情報ＤＢ１２２の条件式を用いて、振動制御を行うべきシーンか否かを判定する。また、再生中のコンテンツのシーンが振動制御を行うべきシーンの場合、シーン判定部１３１ａは、これら情報に基づき当該シーンがシーン情報ＤＢ１２２に記憶された「検出シーン」のいずれのシーンかを判定する。
　具体例を挙げると、シーン判定部１３１ａは、再生中のコンテンツにおいて対象物から音声が発生しているシーンを検出する。音声発生シーンに対しては、図４に示した条件カテゴリが「対象物から音声が発生」であるシーンＷ、シーンＸ、シーンＹ、シーンＺが候補シーンとなる。シーン判定部１３１ａは、コンテンツの音声信号から得られた特徴量ベクトルと、候補シーンにおける予め定められた音声の特徴量ベクトル（条件パラメータの音声パターン）との類似度を算出し、当該類似度が予め定めた類似閾値以上であるか否かの判定結果により、候補シーンが音声パターン条件を満足するか否かを判定する。さらに、シーン判定部１３１ａは、再生中のコンテンツにおける対象物距離が予め定めた閾値以下であるか否かの判定結果により、候補シーンが対象物距離の条件を満足するか否かを判定する。そして、これら音声パターン条件及び対象物距離の条件を満たす（条件式を満たす）候補シーンを、振動発生を行う検出シーンとして判定する。
　なお、シーン判定部１３１ａによっていずれの検出シーンにも対応しないと判定された場合、該当する検出シーンは無いものとして振動発生は行わない（振動制御パラメータを無振動の値とする）。
　パラメータ設定部１３１ｂは、パラメータ情報ＤＢ１２４の「振動制御パラメータ」の値を設定（初期設定、変更）する。パラメータ値の主な設定方法は、ＸＲコンテンツの開発者等やユーザによる入力情報に基づく設定方法と、コンテンツ種別等に基づく自動設定方法と、がある。
　具体的には、ユーザによる入力情報に基づくパラメータ値の設定方法では、ユーザがパラメータ値を設定（調整）するシーン及び設定（調整）するパラメータ種別を選択し、アップダウン操作ボタン等の操作により当該シーンにおける設定対象のパラメータを設定する。設定の際には、パラメータ設定対象のシーンのテスト画像を表示し、また設定中のパラメータに基づく振動を発生させることにより、振動を実感しながら設定するのが好ましい。
　また、コンテンツのシーン種別等に基づくパラメータ値の自動設定方法では、まず、再生するコンテンツのシーン種別を検出する。コンテンツの種別の検出は、コンテンツ情報に付与されたシーン種別情報等により判定される、或いはコンテンツ映像、音声の一部を解析して推測される。そして、自動設定方法は、検出されたコンテンツの種別に応じて各パラメータ値を設定する。
　パラメータ値は、コンテンツのシーン種別情報に基づき（シーン種別情報を含むパラメータ値要求信号の送信）サーバ（各装置からパラメータ情報を収集し、統計的処理を施すなどしてコンテンツのシーン種別に応じた適切なパラメータ値を記憶）から取得する方法等が可能である。これにより、パラメータ情報ＤＢ１２４の設定をより適切な構成にすることができる。
　また、パラメータ設定部１３１ｂは、コンテンツのシーンのうち、対象物から発生する低周波領域の音声の振幅が予め定めた閾値を超えているシーンに対し、振動を発生するシーンとして振動制御パラメータ値を設定するのが効率的である。大きな振動を発生する対象物は、低周波領域の大きな音声を発生する対象物との相関が大きく、振動の大きさも音声の低周波領域の大きさとの相関がある。したがって、低周波領域の音声の振幅が予め定めた閾値を超えているシーンは、臨場感向上のために発生すべき振動の振幅も大きいと推測され、振動を発生するシーンとして振動制御パラメータ値を設定することが効率的である。
　なお、このようなシーンについては、ユーザやコンテンツ開発者が設定する、或いはサーバ（各装置から各種コンテンツのシーン情報及びパラメータ情報等を収集し、統計的処理を施すなどして適切なシーン情報及びパラメータ情報を記憶）から取得する方法等が考えられる。
　また、上記の音声の振幅閾値は、コンテンツの種類（内容）によって定められても良い。具体的には、コンテンツの種類（内容）と強度閾値のデータテーブルを予め作成しておき、条件を設定するシーン選択時に、対象のコンテンツに対応する強度閾値をデータテーブルから検索し、検索された強度閾値を用いて条件設定のシーンを選択する。
　例えば、コンテンツの種類には、ユーザに主として音楽を聴かせるためのミュージックビデオ、動物の生体を解説するための動物ドキュメンタリー等がある。ミュージックビデオ中に象の歩行シーンがある場合には、音楽の妨げにならないようにするため、過度に振動を発生させない方が良い場合が多い。一方、動物ドキュメンタリーにおける象の歩行シーンでは、臨場感を出すために振動を発生させた方が良い場合が多い。
　このため、パラメータ設定部１３１ｂは、ミュージックビデオにおける閾値を、動物ドキュメンタリーにおける閾値よりも低く設定する。その結果、ミュージックビデオにおける象の歩行シーンは、動物ドキュメンタリーにおける象の歩行シーンよりも振動を発生させる対象のシーンと設定され難くなり、ミュージックビデオ中の象の歩行シーンにおいて不要な振動の発生が抑制される。これにより、コンテンツに適した振動を発生させることが可能になる。
　なお、シーン情報ＤＢ１２２及びパラメータ情報ＤＢ１２４の各パラメータ値は、ユーザがコンテンツ視聴中に実際に行った振動の各種調整（振動レベル調整、ディレィ調整等）に基づき、新たなパラメータ値（例えば調整値自体、或いはオフセット等を加えた値）を算出（補正）して更新して良い。
　図３に戻って、説明を続ける。優先順位設定部１３２は、シーン検出部１３１によって検出されたシーンに対して優先順位を設定する。優先順位設定部１３２は、例えば優先順位情報ＤＢ１２３を参照し、シーン検出部１３１において同時に複数種のシーンが検出された場合に、どのシーンに対する処理を優先するかを選択する。なお、シーン検出部１３１において１つのシーンしか検出されなかった場合は、そのシーンが優先順位最上位となる。
　パラメータ抽出部１３３は、優先順位設定部１３２によって優先順位が設定されたシーンに対して振動制御パラメータ値を抽出する。詳細に言えば、パラメータ抽出部１３３は、パラメータ情報ＤＢ１２４を参照し、優先順位設定部１３２によって優先順位最上位とされた「検出シーン」に対応する振動制御パラメータ値を、パラメータ情報ＤＢ１２４から抽出する。この際、パラメータ抽出部１３３は、複数の振動出力器３０それぞれに対し、個別に対応する振動制御パラメータ値を抽出し、各振動出力器３０を専用の振動制御パラメータ値で制御できるようにする。これにより、各振動出力器３０を一律の振動制御パラメータ値で制御する場合に比べて、臨場感の更なる向上を図ることができる。
　コンテンツ再生装置１０は、優先順位設定部１３２によって設定された優先順位に基づき、振動発生対象物の候補となる対象物候補から、対象物候補の発生する振動のユーザに対する影響が大きい対象物候補を推定し、振動発生対象物として選定することができる。この場合、振動を発生する対象物として選択する場合の閾値については、コンテンツ種別に基づき変更するのが好ましい。つまり、コンテンツの内容によっては、コンテンツに登場する物体による振動の再現を控える、或いは強調するのが好ましい場合があり、振動を発生する対象物の決定内容（判断レベル）を調整するのが好ましいためである。
　つまり、振動の生成原理としては次のようになる。コンテンツの内容に基づきコンテンツ（の各シーン）において振動を発生する対象物を決定する。そして、決定した対象物に対応する音声信号に基づき、振動信号（振動データ）を生成する。この際、対象物に対応する音声信号は、コンテンツに含まれる対象物の音声データ、或いは当該シーンにおける音声データから生成した対象物の音声データ（例えば、低周波領域をフィルタリングして取り出す）である。また、振動信号（振動データ）は、対象物の音声信号の低周波数成分を取り出し、適当に増幅するなどして生成する。
　また、振動を発生する対象物を決定する方法としては、コンテンツの音声発生物体における発声音の低域特性（例えば音量レベル）を推定し、対象物を決定する。この際、音声発生物体における発声音の低域特性は、例えば仮想空間内の物体（オブジェクト）の種別に基づく基準振動強度と、基準位置（仮想空間内におけるユーザ位置等）と物体（オブジェクト）との距離と、に基づいて推定される。また、対象物の決定においては、音声発生物体における発声音の低域音量レベルが大きい方が、振動を発生する対象物として決定される。
　この際、パラメータ抽出部１３３は、各振動出力器３０それぞれに対し、専用の振動制御パラメータ値を抽出する。これにより、各振動出力器３０を一律の振動制御パラメータ値で制御する場合に比べて、臨場感のさらなる向上を図ることができる。
　また、パラメータ抽出部１３３は、学習部１３３ａを備える。学習部１３３ａは、パラメータ情報ＤＢ１２４に記憶されたシーンと、振動制御パラメータ値との関係性を学習する。
　学習部１３３ａは、例えばパラメータ情報ＤＢ１２４に記憶されたシーンと、対応する振動制御パラメータ値と、当該パラメータ値による振動出力器３０の振動制御に対するユーザ（振動が付与されるコンテンツ視聴ユーザ）の反応等とを学習データとして機械学習を行うことで、パラメータ情報ＤＢ１２４に記憶された振動制御パラメータ値を更新する。
　この際、学習部１３３ａは、例えば振動制御パラメータ値（ユーザに付与された振動）に対するユーザ評価（振動制御後のユーザによる振動調整操作や、ユーザによるアンケート結果等）を学習データとして用いることにしても良い。
　このように、学習部１３３ａは、各シーンに対してどのような振動制御パラメータ値を設定すると高いユーザ評価、すなわち高い臨場感が得られるかといった視点で、シーンに応じた振動制御パラメータ値を学習（更新）する。
　さらに、学習部１３３ａは、新たなシーンが再生された場合に、どのような振動制御パラメータ値を設定すべきかを、学習結果から決定する。具体的に言えば、例えば振動発生シーンとして登録されていない花火シーンの再生中に視聴ユーザが振動に対する調整操作を行った場合に、当該新たなシーンと調整内容を学習データとして振動制御パラメータ値を算出し、学習結果に基づく振動制御パラメータ値等のデータをパラメータ情報ＤＢ１２４等に記憶する。なお、類似のシーンの振動制御パラメータ値を利用して新たなシーンの振動制御パラメータ値を学習（生成）することも可能である。例えば、新たな花火シーンが再生された場合、爆発シーン等の類似状況の振動制御パラメータ値を用いて振動制御を行い、その学習結果、つまりユーザの反応を用いて花火シーンの振動制御パラメータ値を学習（生成）することができる。
　出力部１３４は、パラメータ抽出部１３３によって抽出された振動制御パラメータ値を用いて各振動出力器３０に対する振動制御信号を生成し、各振動出力器３０に出力する。具体的には、出力部１３４は、再生中のコンテンツの振動発生シーンにおける音声データに対し、ＬＰＦによる振動に適した帯域制限処理等を行って元振動データへ変換する。さらに、出力部１３４は、元振動データに対し、パラメータ抽出部１３３によって抽出された振動制御パラメータ値に基づく振動調整処理を行い、振動制御信号を生成する。
　具体的に言えば、出力部１３４は、例えば元振動データに対し、振動制御パラメータ値に応じて低域強調等の周波数特性付加処理、ディレイ、及び増幅といった振動の調整処理を行う。このようにして、出力部１３４は、例えばコンテンツのＸＲ空間内における対象物から発生する音声の信号を加工して得られた振動に適した信号を、振動制御パラメータ値に応じて調整処理した振動制御信号（振動制御データ）を複数の振動出力器３０それぞれに対して出力する。この際、出力部１３４は、振動出力器３０毎に個別の調整処理を施した振動制御データを、対応する振動出力器３０に対して出力する。
　なお、図５に示すように、振動制御パラメータ値は、シーン毎に設定されているが、さらに当該シーンにおける詳細な状況（詳細シーン種別とも言える）に応じて補正を行うことも有効である。例えば、ＸＲ空間内において振動対象物（例えば象）が存在するシーンで、ユーザと対象物との距離（距離別の詳細シーン）に応じて、振動制御パラメータ「ＬＰＦ」、「ディレイ」、及び「増幅」の値を増減し、振動の特性を調整することにしても良い。
　これにより、コンテンツ再生装置１０は、コンテンツ再生時の振動を発生すべきシーンにおいて、当該シーンにおける音声データに基づいて元振動信号を生成し、さらにシーン種別に応じて元振動信号を加工して振動制御信号を生成する。その結果、コンテンツのデータに振動制御用の専用データが無い一般的なコンテンツであっても、コンテンツにおける各シーンに細やかに適応された振動の発生が可能になる。
＜３．振動制御パラメータの設定＞
　続いて、振動出力機構（振動シートＰ３）を構成する複数の振動出力器３０への振動制御パラメータ値の設定について説明する。
　コンテンツ再生装置１０では、コンテンツの臨場感の向上を図るために、ユーザ（人）に付与する振動を、空気振動と構造振動とに分解する。空気振動とは、振動源から空気を介して身体に伝わる振動を意味する。構造振動とは、振動源との直接接触により、或いは構造部品や地面を介しての接触により身体に伝わる振動を意味する。
　ＸＲコンテンツ等のコンテンツ再生において、ユーザの体動を伴う強い振動のシーンの場合、ユーザに付与する振動は構造振動が適する。構造振動以外の振動をユーザに付与するシーンの場合、振動は空気振動が適する。ユーザの体動を伴う強い振動のシーンとは、例えばコンテンツ内の重量がある対象物が揺れる、映像全体（カメラ）が揺れる、ＸＲコンテンツ内におけるユーザの動きが所定の閾値を上回る、コンテンツ内のユーザを含む対象物やカメラが他の物体と接触する等の状況が生じたシーン等となる。また、ＸＲコンテンツ内におけるユーザに関して言えば、当該ユーザの接地状態（地面等に立っている状態、空中に飛んでいる状態）が構造振動及び空気振動の強弱に影響を与える。
　コンテンツ再生装置１０では、コンテンツのシーン毎にユーザに付与する振動を空気振動と構造振動とに分解し、複数の振動出力器３０それぞれに対して空気振動と構造振動とを担当させる。すなわち、コンテンツ再生装置１０は、複数の振動出力器３０それぞれに対し、空気振動に対応した振動制御パラメータ値を用いて振動制御信号を生成して振動出力器３０を駆動する、或いは、構造振動に対応した振動制御パラメータ値を用いて振動制御信号を生成して振動出力器３０を駆動する。
　これにより、コンテンツ視聴ユーザに対して、空気を介して身体に伝わる空気振動と、振動物体との接触等によって直接身体に伝わる構造振動とを、適切に使い分けて付与することができる。さらに、空気振動及び構造振動の発生（付与）位置や、振動周波数、振動波形等の振動形態を適宜設定することで、ユーザに対して、様々な形態で振動を付与することが可能になる。したがって、コンテンツの臨場感を向上させることができる。
　図６は、コンテンツ再生システムＰＳの振動シートＰ３における振動出力器３０の配置例を示す説明図である。コンテンツ再生システムＰＳにおいて、座席２０の座面２１及び背面２２それぞれの内部には、例えばエキサイター（振動板）からなる振動出力器３１、３２が設置される。また、座席２０の下部２３には、例えば６軸の電動シリンダからなる振動出力器３３が設置される。
　座席２０の座面２１の振動出力器３１は、座面２１の四隅（振動出力器３１ｓ）と、中央（振動出力器３１ｃ）との５箇所に配置される。そして、座面２１中央の振動出力器３１ｃは、他の周囲４つの振動出力器３１ｓに対して振動板が大きく、低周波数振動で大振幅の振動を発生し易くなっている。座席２０の背面２２の振動出力器３２は、背面２２の四隅の４箇所に配置される。また、座席２０の下部２３には、座席２０全体を揺り動かすような振動（低周波数、大振幅）を発生する振動出力器３３が配置される。なお、振動出力器３３の上に座席２０全体が搭載される構造にすれば、振動出力器３３が生成する振動により、座席２０全体が揺り動かされるような状態にすることができる。
　構造振動に関しては、低周波の再生に有利な振動出力器が担当し、ここでは、振動出力器３１ｃと振動出力器３３が担当する。特に、ユーザの体動を伴う強い構造振動は、振動出力器３３が担当し、ユーザの体全体を揺り動かすような振動をユーザに付与する。空気振動に関しては、ユーザに強くは圧接していない、つまりユーザへの接触性が低い振動出力器が担当し、ここでは、ユーザの体重による圧力がかかり難い振動出力器３２が担当する。座面２１四隅の振動出力器３１ｓは、ユーザの体全体を揺り動かす振動を付与するものでは無い点、ユーザへの接触性が比較的高い点を考慮して、ここでは、再生中のコンテンツやそのシーンに応じて構造振動或いは空気振動のいずれかを適宜担当する。
　なお、図６に係る振動出力器３０の配置や担当（構造振動、空気振動）は、一例であり、振動出力器３０の種類、設置箇所、個数等、また振動出力器３０と視聴ユーザとの接触状態に応じて、また再生するコンテンツに合わせて（特に、専用のゲーム機のように特定のコンテンツだけを再生する場合）、適宜構造振動或いは空気振動かが決定され、振動シートＰ３が設計、組み立てられる。なお、振動出力器３０と視聴ユーザとの接触状態は、ユーザによる操作入力やカメラによるユーザ視聴状態の撮影画像に基づき検出可能であり、接触状態が密接している場合は構造振動向けとなり、接触状態が密接していない場合は空気振動向けとなる。
　図７は、図３のコンテンツ再生装置１０で行われる振動制御パラメータ値の設定等の作業及びコンテンツ再生装置１０の動作の概要を示す説明図である。これらの作業・動作は、コンテンツ再生前の準備段階（ステップＳ１１）と、コンテンツ再生時（ステップＳ１２）とに大別される。
　ステップＳ１１のコンテンツ再生前の準備段階において、コンテンツ視聴ユーザ等は、ハード条件（振動出力器３０の種類と、設置箇所と、個数等、また振動出力器３０と視聴ユーザとの接触状態）の設定を行う。このハード条件（振動出力器３０設置条件等）の入力は、コンテンツ視聴ユーザ等がキーボード等の入力装置を操作する、或いは振動シートＰ３の機種に基づいてデータベースを検索する等により入力される。また、接続された振動シートＰ３から提供される情報（振動シートＰ３の構成情報を記憶装置に記憶しておき、コンテンツ再生装置１０の接続時に読み出して提供する）を入力すること等により自動的に入力されるようにすることも可能である。また、振動出力器３０と視聴ユーザとの接触状態の検出は、コンテンツ視聴ユーザによるキーボード等の入力装置の操作結果に基づき行われる、或いはコンテンツ視聴ユーザの状態を撮影したカメラ画像の解析結果に基づき行われる。
　そして、コントローラ１３は、これら設置条件と接触状態の情報に基づき、各振動出力器３０の担当、つまり構造振動発生用、空気振動発生用、或いは両振動併用を決定し、記憶部１２に記憶する。なお、各振動出力器３０の担当情報としては、各振動発生時の補正係数（例えば、構造振動発生時は係数１、空気振動発生時は係数０．５）といった情報を付加して、振動信号生成時にこの情報を使用する（例えば、基本構造振動信号に係数を積算して該当の振動出力器３０の振動信号とする等）。なお、これらの決定は、例えば、設置条件及び接触状態と、設置されている各振動出力器３０の担当との関係を示すデータが記憶されたデータテーブル（コンテンツ再生装置１０の設計開発者等が実験等により生成）に基づき行われる。
　次に、コントローラ１３は、コンテンツの内容を解析して、コンテンツにおける振動を発生すべき各シーンを抽出するとともに、当該各シーンにおける振動に関係する状況、例えばシーンにおけるユーザの接地状態等を検出する。そして、コントローラ１３は、振動を発生すべき各シーン毎に、シーンにおける振動に関係する状況に基づき、また上述の決定した各振動出力器３０の担当情報に基づき、各振動出力器３０の振動制御パラメータ値を決定する。さらに、コントローラ１３は、決定した各シーン毎、また各振動出力器３０毎のパラメータ情報をパラメータ情報ＤＢ１２４に記憶する。
　また、コンテンツ再生装置１０のシーン認識ＤＢ１２５には、図９に示すようにシーン種別に関連付けられて、当該シーンの各種音響的特徴と、振動分類と、コンテンツ内のユーザの接地状態と、振動制御パラメータ値が記憶されている。なお、シーン認識ＤＢ１２５のデータは、例えば、コンテンツ再生装置１０の設計開発者等が実験等により生成し、シーン認識ＤＢ１２５に記憶することになる。
　なお、必要に応じて（例えば、コンテンツ視聴ユーザの体格や、コンテンツ再生装置１０の接地環境に応じて）、コンテンツ視聴ユーザが手動で各振動出力器３０の担当や振動制御パラメータ値の調整を行う（ステップＳ１３）。
　ステップＳ１２のコンテンツ再生時において、コンテンツ再生装置１０のコントローラ１３（シーン認識部１３５）は、再生中のコンテンツのシーンにおける音響的特徴や映像の特徴に基づき、再生中のコンテンツのシーンがシーン認識ＤＢ１２５に記憶されたどのシーンであるかを判断する。つまり、コントローラ１３（シーン認識部１３５）は、再生中のコンテンツのシーンにおける音響的特徴や映像の特徴で、シーン認識ＤＢ１２５の特徴データを照合し、特徴が一致するシーン認識ＤＢ１２５におけるデータレコードのシーンを検出する。
　そして、コントローラ１３（出力部１３４）は、この判断（検出）されたシーンに対応する振動制御パラメータ値（シーン認識ＤＢ１２５における同じデータレコードの振動制御パラメータ値）を読み出す。なお、再生中のコンテンツにおいて、振動を発生すべきシーンが複数存在する場合、コントローラ１３（優先順位設定部１３２）は、振動を発生する対象シーンとして最上位の優先順位のシーンを選択する。そして、コントローラ１３（出力部１３４）は、読み出された振動制御パラメータ値及び再生中コンテンツの音声情報に基づいて各振動出力器３０に対する振動制御信号を生成し、各振動出力器３０に出力する。
　すなわち、コントローラ１３は、コンテンツから認識したシーン毎に、各振動出力器３０に対する振動制御パラメータ値に基づいて各振動出力器３０の振動制御信号を生成し、当該各振動出力器３０が発生する振動を制御する。そして、振動制御パラメータ値は、振動シートＰ３（振動出力機構）における各振動出力器３０の設置状態等の条件に基づいて設定される。このため、コントローラ１３は、再生中コンテンツのシーン、並びに振動出力器３０の種類、設置箇所、及び個数に基づいて各振動出力器３０の振動制御信号を生成し、振動出力器３０が発生する振動を制御する。
　これにより、振動出力器３０の種類、設置箇所、及び個数が異なる各種振動シートＰ３（各種振動出力機構）に対して、各振動出力器３０を適切に振動させることができる。また、種類や内容が異なる多様なコンテンツ、及びそのシーンに対して、各振動出力器３０を適切に振動させることができる。また、コントローラ１３によって各振動出力器３０に対する振動制御パラメータ値の設定の自動化を図ることで、振動シートＰ３（種振動出力機構）の変更・変化に伴う振動制御パラメータ値の設定・調整を効率良く行うことが可能になる。
　また、コントローラ１３は、再生中コンテンツのシーン毎に振動制御パラメータ値を設定し、当該振動制御パラメータ値に基づいて振動出力器３０が発生する振動の制御を行う。例えば、コンテンツがミュージックビデオである場合、バラード曲などの緩やかな曲と、他のアップテンポな曲とにおいて、各々に適した振動をユーザに付与することができる。また、例えば、コンテンツが動物ドキュメンタリーである場合、象の歩行シーンと、馬の走行シーンとにおいて、各々に適した振動をユーザに付与することができる。すなわち、再生中のコンテンツのシーンに適した振動をユーザに付与することで、コンテンツの臨場感を向上させることができる。
　なお、コントローラ１３は、再生中コンテンツのシーン毎ではなく、コンテンツ種別（コンテンツの全体的内容）に応じてコンテンツ毎に振動制御パラメータ値を設定し、当該振動制御パラメータ値に基づいて各振動出力器３０を振動させるようにしても良い。この場合、例えば、コンテンツがミュージックビデオである場合、ユーザに音楽を聴かせるに際して好適な振動をユーザに付与することができる。また、例えば、コンテンツが動物ドキュメンタリーである場合、ユーザに動物の生体を観察させる場合や、解説する場合に好適な振動をユーザに付与することができる。すなわち、コンテンツの内容に適した振動をユーザに付与することで、コンテンツの臨場感を向上させることができる。
＜４．コンテンツ再生時のシーン認識処理＞
　図８は、図３のコンテンツ再生装置１０のコントローラ１３が実行する再生中コンテンツに対するシーン認識処理を示すフローチャートである。詳細に言えば、図８は、コンテンツ再生装置１０のコントローラ１３が実行する再生中コンテンツの各シーンに対して発生する振動を、どの振動分類とするのが適切であるかを決定するシーン認識処理を示すフローチャートである。このフローチャートは、コンピュータ装置にシーン認識処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、例えば当該コンピュータプログラムが記憶された読み取り可能な各種不揮発性記録媒体の形態、当該コンピュータプログラムが記憶されたサーバから通信回線を介してダウンロードする形態で提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
　このシーン認識は、コンテンツ再生前準備段階Ｓ１１時、例えばユーザによるコンテンツ再生前準備開始操作により開始される。
　図９は、シーン認識ＤＢ１２５の一例を示す図である。詳細に言えば、図９は、図８のシーン認識処理結果に基づく各項目の値に基づき、各シーンにおける振動分類（空気振動、構造振動）及び振動制御パラメータ値を決定するための情報のデータベースである。図９の各項目の値がシーン認識処理結果と一致するデータレコードの振動分類データが当該シーンに適した発生振動の振動種別となり、振動制御パラメータ値が当該シーンに適した発生振動の振動制御パラメータ値となる。なお、同じシーンで両振動分類（空気振動、構造振動）に該当するような設定も可能で、その場合は空気振動担当及び構造振動担当の各振動出力器３０が対応する振動制御パラメータ値に応じて振動を発生することになる。
　なお、本例におけるシーン認識ＤＢ１２５は、コンテンツにおける音声とコンテンツ視聴ユーザに対する仮想キャラクターの着座・立位状況に対応した認識シーンのデータベース（データテーブル）となっている。なお、各項目の値と振動分類の関係が分かり易いように、各項目のデータが同じデータレコードについては、各項目の枠を適宜合体した形式で表示している。また、仮想キャラクターの立位状況のデータについては、着座状況と同様のデータレコード形態であるので、全貌の表示を止めて詳細を省略している。
　図９に示すように、シーン認識ＤＢ１２５におけるデータ項目としては、コンテンツのシーンにおける音声（音声データ）の特徴である「周波数」、「振幅」、「音源の定常性」、「聴取音の定常性」、「音程感」、「同時方向数」、「（聴取音の）低周波の大きさ」と、コンテンツにおける画像データ等から判別可能な視聴ユーザに対する仮想キャラクターの着座・立位状況を示す「接地」の項目、そして他項目で示されるコンテンツの状況において適切な発生振動の振動分類があり、認識シーンに対して対応付けられている（認識シーン毎に生成されるデータレコードに記憶される）。また、シーン認識ＤＢ１２５におけるデータ項目としては「振動制御パラメータ」もあり、該当データレコードのシーンに適した振動制御パラメータ値が記憶される。これらシーン認識ＤＢ１２５の各データは、コンテンツ再生装置１０の設計者等が実験等に基づき、適切なシーンの選別を行い、シーンに対応する音声の特性データ、シーンに適合する振動制御パラメータ値等を生成し、記憶される。
　なお、「振動制御パラメータ」については、図５に示すようなパラメータ情報ＤＢ１２４として別データベースとし、シーン種別（項目「認識シーン」と「シーン種別」のデータ）で両データベースのデータレコードを関連付けるようにしても良い。
　そして、シーン認識ＤＢ１２５にはシーン種別を示す「認識シーン」の項目もあり、上述のコンテンツのシーンにおける音声（音声データ）の特徴に関する各項目のデータと一致するシーン種別の識別データ（シーン名称等）が「認識シーン」のデータとして記憶される。
　図８に示す処理は、コンテンツ再生時における振動制御処理を示すフローチャートであり、コントローラ１３によりコンテンツ再生中に繰り返し（シーン変化に伴う振動制御パラメータ値の変更の遅延による影響がコンテンツ視聴ユーザを不快にさせない周期で）実行される。
　ステップＳ１０１において、コントローラ１３（シーン認識部１３５）は、再生中コンテンツのシーンにおける音声信号を入力して解析し、音声における特徴の各項目に関するデータを抽出し、ステップＳ１０２に移る。なお、この音声信号解析は、音声信号をデジタル化し、演算処理により周波数分解等の各種処理を行うことにより実現できる。また、再生中コンテンツのシーンにおける映像信号を入力して解析し、以下に説明する音声における特徴の判定に使用しても良い。
　ステップＳ１０２において、コントローラ１３（シーン認識部１３５）は、シーンにおける音声の周波数帯域（主要帯域）が高いか、低いか（閾値に対する上下関係で判定）を判別し、ステップＳ１０３に移る。つまり、例えば周波数２０Ｈｚに閾値が定められ、シーン認識部１３５は、音声が２０Ｈｚ未満の音声強度分布が高い場合に周波数が低いと判別し、２０Ｈｚ以上の音声強度分布が低い場合に周波数が高いと判別する。
　ステップＳ１０３において、コントローラ１３（シーン認識部１３５）は、音声の振幅（平均値や最大値）が大きいか、小さいか（閾値に対する上下関係で判定）を判別し、ステップＳ１０４に移る。
　ステップＳ１０４において、コントローラ１３（シーン認識部１３５）は、音源が定常的か、非定常的か（継続的な音を発するか、突発的な音を発するか）を判別し、ステップＳ１０５に移る。音源とは、コンテンツ内の音を発生している対象物である。自動車の走行音や動物の足音等の同様の音が継続的に続くような音を発生している音源は定常的となり、自動車のクラクションや動物の鳴き声等の突発的に発生している音源は非定常的となる。この判別方法の一例として、シーン認識部１３５は、例えば音源の音声のダイナミックレンジが予め定めた所定の閾値を下回る場合に定常的であると判別し、閾値を上回る場合に非定常的であると判別する。
　ステップＳ１０５において、コントローラ１３（シーン認識部１３５）は、聴取音が定常的か、非定常的かを判別し、ステップＳ１０６に移る。聴取音とは、コンテンツ内（例えば、ＸＲコンテンツ空間）におけるユーザ（ユーザに該当するアバター）が聴取する音、コンテンツ内においてユーザが装備するマイクによって収録される音声である。シーン認識部１３５は、例えば聴取音のダイナミックレンジが予め定めた所定の閾値を下回る場合に定常的であると判別し、閾値を上回る場合に非定常的であると判別する。
　ステップＳ１０６において、コントローラ１３（シーン認識部１３５）は、音声の音程感が強いか、弱いかを判別し、ステップＳ１０７に移る。シーン認識部１３５は、例えば音声の高低変動（周波数変動）が大きい場合（周波数範囲の広い音の高さの変動が大きい動物の鳴き声等）に音程感が強いと判別し、小さい場合（周波数範囲の狭い機械の定常音等）に音程感が低いと判別する。
　ステップＳ１０７において、コントローラ１３（シーン認識部１３５）は、音声が単方向から発生しているか、多方向から同時発生しているかを判別し、ステップＳ１０８に移る。シーン認識部１３５は、例えばユーザに対して音源が予め定めた所定の閾値より近い距離に複数存在する場合に音声が多方向同時発生していると判別し、それ以外の場合に音声が単方向から発生していると判別する。
　ステップＳ１０８において、コントローラ１３（シーン認識部１３５）は、音声の低周波成分の信号レベルが大きいか、小さいかを判別し、ステップＳ１０９に移る。シーン認識部１３５は、例えば予め定めた所定の周波数以下の音声成分の音圧が予め定めた所定の閾値を上回る場合に音声の低周波成分が大きいと判別し、閾値を下回る場合に音声の低周波成分が小さいと判別する。
　ステップＳ１０９において、コントローラ１３（シーン認識部１３５）は、ステップＳ１０１からステップＳ１０８までの判別結果を用いてシーン認識ＤＢ１２５のデータ照合処理を行い、該当するしシーンを判定し、ステップＳ１１０に移る。
　ステップＳ１１０において、コントローラ１３（出力部１３４）は、シーン認識ＤＢ１２５から判定したシーンに応じた各振動出力器３０が対応する振動制御パラメータ値を抽出し、コンテンツの音声信号を当該振動制御パラメータ値を用いて処理して振動信号を生成する。そして、生成した振動信号を対応する各振動出力器３０に出力して所望の振動を発生させ、処理を終える。なお、コントローラ１３（出力部１３４）は、振動制御パラメータ値が更新されるまで、更新前の振動制御パラメータ値を用いて再生中コンテンツの内容（音声）に応じた振動を継続して生成する。
　図８の処理によれば、コンテンツ再生システムＰＳのハード構成、及びコンテンツ再生中における音声の特性に応じて、コンテンツ再生システムＰＳにおける各振動出力器３０に適切な振動制御パラメータ値が設定され、当該設定された振動制御パラメータ値に基づき生成された振動で各振動出力器３０が振動する。したがって、コンテンツ再生システムＰＳのハード構成、及びコンテンツ内容に応じた適切な振動をコンテンツ視聴ユーザに付与でき、コンテンツ視聴ユーザは臨場感豊かなコンテンツ再生を楽しむことができる。
　なお、本処理例では、コンテンツ再生時に振動制御パラメータ値を決定（算出）するようにしているが、事前に再生対象のコンテンツの振動制御パラメータ値を同様の方法で算出してコンテンツの再生場面（再生時刻やシーン等）に関連付けて記憶しておく。そして、コンテンツ再生時に該当するシーンに関連付けられた振動制御パラメータ値を抽出して振動制御を行うようにしても良い。この場合、コンテンツ記録媒体に、例えばコンテンツ光ディスクに、コンテンツ情報の１つとして振動制御パラメータ値をコンテンツ本体情報（映像・音声情報）とともに記録すれば良い。
　図１０Ａ、図１０Ｂ、及び図１０Ｃは、図６のコンテンツ再生装置１０における各振動出力器３０の担当（構造振動、空気振動）の第１例、第２例、及び第３例を示す説明図である。各振動出力器３０の担当は、コンテンツ再生システムＰＳのハード構成、及びコンテンツ（シーン）内容に応じて異なる。
　本実施形態において、図１０Ａでは、座面２１の四隅の振動出力器３１ｓ及び背面２２の４つの振動出力器３２は、空気振動と構造振動とをそれぞれ担当する。図１０Ｂでは、座面２１の四隅の振動出力器３１ｓ及び背面２２の４つの振動出力器３２は空気振動を担当し、座面２１の中央の振動出力器３１ｃは構造振動を担当する。図１０Ｃでは、座面２１の四隅の振動出力器３１ｓ及び背面２２の４つの振動出力器３２は空気振動を担当し、座面２１の中央の振動出力器３１ｃは構造振動（周波数２０Ｈｚから４０Ｈｚまで）を担当し、座席２０の下部２３の振動出力器３３は構造振動（周波数２０Ｈｚ未満）を担当する。つまり、コンテンツ再生装置１０が各振動出力器３０、３１、３２の役割に応じた振動制御パラメータ値（シーン認識ＤＢ１２５に設定）に応じて各振動出力器３０、３１、３２の振動信号を生成して出力し、構造振動または空気振動を発生させる。
＜５．変形例＞
　図１１は、変形例のコンテンツ再生システムＰＳの一例を示す説明図である。なお、変形例における先に説明した実施形態と共通する構成要素には、同じ符号または同じ名称を付してその説明を省略する場合がある。
　図１１に示すように、変形例のコンテンツ再生システムＰＳは、サーバ装置４０に通信回線を用いて接続されている。
　コンテンツ再生装置１０は、先に説明した実施形態と共通する構成要素を備える。コンテンツ再生装置１０は、再生するコンテンツに応じた振動信号を振動出力器３０に出力し、振動出力器３０により振動をユーザＵ１に付与する。
　サーバ装置４０は、ネットワークＮを介し、コンテンツ再生装置１０と双方向通信可能に接続されている。サーバ装置４０は、物理サーバであっても良いし、仮想サーバであっても良い。ネットワークＮは、例えばローカルエリアネットワーク及びインターネット等である。
　図１２は、図１１のサーバ装置４０の一例を示す構成図である。図１２では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。
　図１２に示すように、サーバ装置４０は、通信部４１と、記憶部４２と、コントローラ４３と、を備える。通信部４１は、ネットワークＮを介して他の装置との間でデータ通信を行うためのインタフェースである。通信部４１は、例えばＮＩＣ（Network　Interface　Card）である。
　なお、サーバ装置４０は、先に説明した実施形態のコンテンツ再生装置１０と同等の構成要素を備える。なお、同等の構成要素（構造、動作等が同じ）については、図３における構成要素の名称と同じ名称で表し、符号については符号前部にＳＶの符号を付加し、その説明を省略する。
　本変形例のコンテンツ再生システムＰＳの場合、コンテンツ再生装置１０からサーバ装置４０に、コンテンツ再生装置１０のハード構成情報、コンテンツ視聴ユーザＵ１の振動シートＰ３の着座状態を示す映像情報、再生対象コンテンツの情報が送信される。また、サーバ装置４０からコンテンツ再生装置１０に、振動シートＰ３の各振動出力器３０に対する振動制御信号が送信される。そして、コンテンツ再生装置１０はコンテンツの画像信号と音声信号、及びサーバ装置４０からの振動制御信号を同期させて表示装置Ｐ１、スピーカＰ２、及び各振動出力器３０に出力する。
　なお、コンテンツ再生装置１０とサーバ装置４０の役割分担については、この変形例に限らず適宜設定することが可能である。例えば、コンテンツの再生機能もサーバに持たせて、サーバ装置４０からコンテンツ再生装置１０に、コンテンツの映像信号、音声信号、及び各振動出力器３０への振動制御信号を送信することも可能である。
　サーバ装置４０を用いることにより、サーバ装置４０に構成が異なる様々な種類のコンテンツ再生システムＰＳに対応できる情報及びプログラムを持たせ、そしてコンテンツ再生システムＰＳからの要求によりコンテンツ再生システムＰＳのハード構成及び再生対象のコンテンツに対応する処理を行うことが可能となる。したがって、本変形例によれば、コンテンツ再生システムＰＳが個々に専用の構成を持つ必要が無く、また各種情報やプログラムの更新もサーバ装置４０側で管理を行うことができるといった効果がある。
＜６．コンテンツ再生システムの振動シート（振動出力機構）の設計処理＞
　次に、振動出力機構の設計処理について、コンテンツ再生システムＰＳの振動シートＰ３の設計処理を例として説明する。
　この設計処理例では、振動出力機構の設計支援装置として、サーバ装置４０を利用する例について説明するが、コンテンツ再生装置１０を利用することも可能である。また、以下の説明において処理に利用するサーバ装置４０の構成要素と同等の構成要素を持つコンピュータシステムによる設計システム等でも、この設計処理を実現できる。
　図１３は、図１２のサーバ装置４０のコントローラ４３が実行する振動シートＰ３の設計処理を示すフローチャートである。このフローチャートは、サーバ装置４０にコンテンツ再生装置１０の設計処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、例えば当該コンピュータプログラムが記憶された読み取り可能な各種不揮発性記録媒体の形態、当該コンピュータプログラムが記憶されたサーバから通信回線を介してダウンロードする形態で提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
　図１３に示す処理は、サーバ装置４０において、コンテンツ再生装置１０の設計者が設計処理を実行する際、例えばキーボード等の操作部により処理開始操作が行われた際に実行される。
　ステップＳ２０１において、コントローラ４３は、コンテンツの音声データを入力し、ステップＳ２０２に移る。この際、コンテンツの映像データも入力して以降の判断処理等に用いても良い。なお、使用するコンテンツは、コンテンツ再生システムＰＳで使用する頻度の高いコンテンツやそれに類似する種別のコンテンツを使用すれば、当該使用頻度の高いコンテンツに適した設計が可能となる。例えば、あるゲームの専用コンテンツ再生システムＰＳの設計を行う場合は、当該ゲームコンテンツを用いることになる。
　ステップＳ２０２において、コントローラ４３（シーン検出部ＳＶ１３１）は、コンテンツの音声データに基づき、また必要に応じて映像データを参考に、生成する振動の主成分が空気振動、構造振動のいずれであるかを判別し、その結果を記憶部１２に記憶し、ステップＳ２０３に移る。
　ステップＳ２０３において、コントローラ４３（シーン検出部ＳＶ１３１）は、コンテンツの再生が完了したか（予め設定された設計に必要な量）を判定し、完了していなければステップＳ２０２に戻り、完了すればステップＳ２０４に移る。つまり、ステップＳ２０２、ステップＳ２０３の処理により、対象コンテンツにおける発生すべき振動の主成分が空気振動である状況の数、及び構造振動である状況の数が把握できる。
　ステップＳ２０４において、コントローラ４３（シーン検出部ＳＶ１３１）は、対象コンテンツにおける空気振動が主成分となる振動の状況と、構造振動が主成分となる振動の状況との割合を算出し、ステップＳ２０５に移る。
　ステップＳ２０５において、コントローラ４３は、振動シートＰ３に設置可能な振動出力器３０をすべて設置したシートの状態（各振動出力器３０の位置、及び振動効果レベル）のデータを入力し、また各振動出力器３０の部品価格、及び設置費用、また設計する振動シートＰ３の目標価格等のデータを入力し、ステップＳ２０６に移る。なお、これら振動シートＰ３の情報は、例えば振動シートＰ３の設計者等によるキーボード等の操作により入力される。
　ステップＳ２０６において、コントローラ４３は、ステップＳ２０４で算出した対象コンテンツにおける空気振動と構造振動との割合と、ステップＳ２０５で入力された各振動出力器３０の振動効果レベル（臨場感向上への寄与度）とに基づいて各振動出力器３０の削減順を決定し、ステップＳ２０７に移る。つまり、対象コンテンツにおいて担当とする振動種別（空気振動、構造振動）の振動発生割合が低く、またコンテンツ視聴ユーザに対する振動効果が低いほど、削除される順番が早くなる（削除優先順が高くなる）。
　例えば、対象コンテンツにおける空気振動及び構造振動の主成分毎の割合である振動成分割合が８：３であり、空気振動担当の振動出力器が振動効果レベルが高い順にＡ１、Ａ２、Ａ３とし、構造振動担当の振動出力器が振動効果レベルが高い順にＢ１、Ｂ２、Ｂ３とする。対象コンテンツでは空気振動の割合が多いので、先ず削除優先順位１位は構造振動担当の振動出力器で振動効果レベルが最も低い振動出力器Ｂ３となる。そして、構造振動担当の振動出力器の削除優先順位が１つ決まったので、空気振動の優位度を下げるために空気振動の割合値を減少（例えば、半減）する（振動成分割合が４：３になる）。同様の処理を続けると、次も空気振動の割合が多いので、削除優先順位２位は構造振動担当の振動出力器で振動効果レベルが最も低い振動出力器Ｂ２となる。そして、新たな振動成分割合が２：３になる。次は構造振動の割合が多いので、削除優先順位３位は空気振動担当の振動出力器で振動効果レベルが最も低い振動出力器Ａ３となる。そして、この処理を削除優先順位が全て決まるまで続ける。この場合、削除優先順位は、上位から振動出力器Ｂ３、Ｂ２、Ａ３、Ｂ１、Ａ２、Ａ１となる。
　なお、振動効果レベルは、例えば設計開発グループ員の感応評価、例えばあるコンテンツの再生に対して複数の振動出力器３０を順番に振動発生状態として各被験者が振動効果レベルを評価した結果（各被験者によるアンケート結果等）の統計的処理により求める。
　ステップＳ２０７において、コントローラ４３は、振動シートＰ３の搭載状態にある振動出力器３０のうち、ステップＳ２０６で決定した削減順が最上位の振動出力器３０を削減し、その場合の振動シートＰ３の製造価格を入力された振動シートＰ３の各振動出力器３０の価格等に基づき算出し、ステップＳ２０８に移る。なお、本例では、単純に振動出力器３０の削減優先順位に従って振動出力器３０を削減したが、振動出力器３０のコストや後述の目標達成まで残存価格等の要素を加味し、削減しても良い。
　また、この振動シートＰ３の部材削減は、製造価格を算出するための仮想上の処理であり、実際に振動シートＰ３（実体）の部材削減を行うわけではない。実際には、例えば上述の評価処理が終了した結果を参考に設計者等が最終的な仕様・設計を決定することになる。
　ステップＳ２０８において、コントローラ４３は、振動シートＰ３について予め定めた目標コストや、予め定めた振動出力器３０の目標数に達したか（目標以下になったか）否かを判断し、達していればその結果（各振動出力器３０が適当に削減された振動シートＰ３の構成）を報知（表示）して処理を終了し、達していなければステップＳ２０７に戻り、削減処理とその評価処理を続ける。
　これにより、振動シートＰ３に搭載する各振動出力器３０を適当な順で削減するシュミレーションを行いながら、目標を満たす振動シートＰ３の構成を確認することができ、コンテンツ再生システムＰＳ（振動シートＰ３）の設計の効率化を図ることができる。
＜７．留意事項等＞
　本明細書中で実施形態として開示された種々の技術的特徴は、その技術的創作の趣旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではない。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれる。また、本明細書中で示した複数の実施形態は、可能な範囲で適宜組み合わせて実施して良い。
　また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能の少なくとも一部は電気的なハードウェア資源によって実現されて良い。ハードウェア資源としては、例えばＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等であって良い。また逆に、ハードウェア資源によって実現されるとした機能の少なくとも一部は、ソフトウェア的に実現されて良い。
　また、本実施形態の範囲には、コンテンツ再生装置１０の少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれて良い。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれて良い。不揮発性記録媒体は、例えば上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いはＳＤカード等であって良い。
　　　１０　　　コンテンツ再生装置
　　　１２　　　記憶部
　　　１３　　　コントローラ
　　　２０　　　座席
　　　２１　　　座面
　　　２２　　　背面
　　　２３　　　下部
　　　３０、３１、３１ｃ、３１ｓ、３２、３３　　　振動出力器
　　　４０　　　サーバ装置（設計支援装置）
　　　Ｐ１　　　表示装置
　　　Ｐ２　　　スピーカ
　　　Ｐ３　　　振動シート（振動出力機構）
　　　ＰＳ　　　コンテンツ再生システム
　　　Ｕ１　　　ユーザ

Claims (11)

  1. 　再生するコンテンツに応じた振動をユーザに付与するコンテンツ再生装置であって、
    　振動を発生する振動出力機構と、コントローラと、を備え、
    　前記コントローラは、
    　　前記振動出力機構の振動出力器を検出し、
    　　検出した前記振動出力器に応じて前記振動出力機構が発生する振動の制御を行う、
    コンテンツ再生装置。
  2. 　前記コントローラは、
    　　再生中の前記コンテンツの音声と、前記振動出力器に応じたパラメータ値とに基づいて前記振動出力機構が発生する振動の制御を行う、
    請求項１に記載のコンテンツ再生装置。
  3. 　前記コントローラは、
    　　再生中の前記コンテンツのシーンに応じたパラメータ値に基づいて前記振動出力機構が発生する振動の制御を行う、
    請求項２に記載のコンテンツ再生装置。
  4. 　前記コントローラは、
    　　前記振動出力器を空気振動発生用と構造振動発生用とに分け、
    　　前記振動出力器に対して空気振動発生用と構造振動発生用とに対応した振動の制御を行う、
    請求項２に記載のコンテンツ再生装置。
  5. 　再生するコンテンツの再生信号に応じた振動制御信号を、振動を発生する振動出力機構に出力する振動制御信号生成装置であって、
    　コントローラを備え、
    　前記コントローラは、
    　　前記振動出力機構の振動出力器を検出し、
    　　検出した前記振動出力器に応じて前記振動制御信号を生成する、
    振動制御信号生成装置。
  6. 　コンテンツの再生信号に応じた振動制御信号を、振動を発生する振動出力機構に出力する振動制御信号生成装置に、通信回線を介して前記振動制御信号の生成用の振動生成情報を提供するサーバ装置であって、
    　コントローラを備え、
    　前記コントローラは、
    　　前記振動出力機構の振動出力器の情報を振動制御信号生成装置から受信し、
    　　受信した前記振動出力器に応じて前記振動生成情報を生成する、
    サーバ装置。
  7. 　振動制御信号によりコンテンツに応じた振動を振動出力機構に発生させる振動制御信号の生成方法であって、
    　前記振動出力機構の振動出力器を検出し、検出した前記振動出力器に応じて前記振動制御信号を生成する、
    振動制御信号生成方法。
  8. 　映像信号に応じた映像を表示する映像表示器と、
    　音声信号に応じた音声を出力する音声出力器と、
    　振動信号に応じた振動を出力する振動出力機構と、
    　コンテンツデータに応じた前記映像信号と前記音声信号と前記振動信号とを生成して当該各信号を前記映像表示器と前記音声出力器と前記振動出力機構に出力するコンテンツ再生装置と、
    を含むコンテンツ再生システムあって、
    　前記コンテンツ再生装置は、
    　　前記振動出力機構の振動出力器を検出し、
    　　検出した前記振動出力器に応じて前記振動信号を生成する、
    コンテンツ再生システム。
  9. 　コンテンツ再生装置は、
    　　前記音声信号と前記振動出力器とに基づいて前記振動信号を生成する、
    請求項８記載のコンテンツ再生システム。
  10. 　複数の振動出力器を備え、再生するコンテンツに応じた振動をユーザに付与する振動出力機構の設計支援装置であって、
    　コントローラを備え、
    　前記コントローラは、
    　　前記振動出力機構に対する前記複数の振動出力器の設置状態を検出し、
    　　前記複数の振動出力器の振動効果レベルに基づいて前記複数の振動出力器各々の削減優先順位を決定し、
    　　前記削減優先順位に応じて使用する前記振動出力器を設定し、
    　　前記設定した複数の振動出力器毎に前記振動出力機構の振動動作を適合させる適合対象コンテンツに応じて生成された振動制御信号を前記複数の振動出力器各々に出力し、
    　　前記設定した複数の振動出力器で前記振動出力機構を構成した場合の費用情報を算出する、
    設計支援装置。
  11. 　前記コントローラは、
    　前記振動出力器を空気振動発生用と構造振動発生用とに分け、前記削減優先順位を決定し、
    　空気振動と構造振動との発生に適した前記適合対象コンテンツにおける、空気振動の発生が適したシーンと構造振動の発生が適したシーンとの割合に応じて使用する前記振動出力器を設定する、
    請求項１０記載の設計支援装置。
PCT/JP2022/038467 2022-10-14 2022-10-14 コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置 WO2024079910A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/038467 WO2024079910A1 (ja) 2022-10-14 2022-10-14 コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/038467 WO2024079910A1 (ja) 2022-10-14 2022-10-14 コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置

Publications (1)

Publication Number Publication Date
WO2024079910A1 true WO2024079910A1 (ja) 2024-04-18

Family

ID=90669269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038467 WO2024079910A1 (ja) 2022-10-14 2022-10-14 コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置

Country Status (1)

Country Link
WO (1) WO2024079910A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115192A (ja) * 2004-10-14 2006-04-27 Seiko Epson Corp 音声出力装置
JP2016065986A (ja) * 2014-09-25 2016-04-28 積水化学工業株式会社 遮音性能診断装置、遮音性能診断方法
JP2021074363A (ja) * 2019-11-12 2021-05-20 株式会社カプコン 音声再生プログラム、音声再生装置および音声生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115192A (ja) * 2004-10-14 2006-04-27 Seiko Epson Corp 音声出力装置
JP2016065986A (ja) * 2014-09-25 2016-04-28 積水化学工業株式会社 遮音性能診断装置、遮音性能診断方法
JP2021074363A (ja) * 2019-11-12 2021-05-20 株式会社カプコン 音声再生プログラム、音声再生装置および音声生成方法

Similar Documents

Publication Publication Date Title
JP6734623B2 (ja) 音声信号に関係付けられる触覚効果を生成するためのシステム及び方法
JP6385389B2 (ja) パーソナライズされたオーディオを提供するためのシステムと方法
JP5339900B2 (ja) コンピューターインタラクティブ処理による選択的音源聴取
US20200186912A1 (en) Audio headset device
JP6055657B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
JP2020053791A (ja) 情報処理装置、および情報処理方法、プログラム、情報処理システム
KR20210065099A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램, 및 정보 처리 시스템
CN117479076A (zh) 一种音响效果调节方法、装置、电子设备及存储介质
US12035123B2 (en) Impulse response generation system and method
US20170157514A1 (en) Condition Ascertainment Unit
WO2024079910A1 (ja) コンテンツ再生装置、振動制御信号生成装置、サーバ装置、振動制御信号生成方法、コンテンツ再生システム、及び設計支援装置
KR20230038426A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
US11032659B2 (en) Augmented reality for directional sound
JP6882785B2 (ja) 空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム
US20240221714A1 (en) Transfer function generation system and method
CN115497491A (zh) 音频消除系统和方法
CN115487491A (zh) 音频消除系统和方法
US12125370B2 (en) Method and system for synchronizing a viewer-effect signal of a media content with a media signal of the media content
JP7277777B2 (ja) 音声再生プログラム、音声再生装置および音声生成方法
WO2020008856A1 (ja) 情報処理装置、情報処理方法、および記録媒体
WO2023166721A1 (ja) 情報処理装置、情報処理システムおよび情報処理方法
US20240233702A9 (en) Audio cancellation system and method
US20230098809A1 (en) Information processing apparatus, information processing system, and information processing method
US20240107257A1 (en) Relocation of sound components in spatial audio content
JP2023116109A (ja) 情報処理装置、情報処理システムおよび情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962127

Country of ref document: EP

Kind code of ref document: A1