WO2023286343A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2023286343A1
WO2023286343A1 PCT/JP2022/010534 JP2022010534W WO2023286343A1 WO 2023286343 A1 WO2023286343 A1 WO 2023286343A1 JP 2022010534 W JP2022010534 W JP 2022010534W WO 2023286343 A1 WO2023286343 A1 WO 2023286343A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
motion sickness
user
stimulus
information processing
Prior art date
Application number
PCT/JP2022/010534
Other languages
English (en)
French (fr)
Inventor
真里 齋藤
浩二 長田
和子 山岸
浩 小山田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/576,014 priority Critical patent/US20240256042A1/en
Publication of WO2023286343A1 publication Critical patent/WO2023286343A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program applicable to a device that reproduces video content.
  • HMDs Head Mounted Displays
  • large-screen displays A user who uses such a system can view video with a high sense of immersion, but may experience motion sickness or the like.
  • Patent Document 1 describes an entertainment system configured to reduce motion sickness.
  • This system is provided with an HMD having a swinging part.
  • the swing unit is driven according to the acceleration state of the viewpoint in the moving image displayed on the HMD.
  • the acceleration state of the viewpoint in the moving image displayed on the HMD As a result, it is possible to swing the head of the user wearing the HMD in cooperation with the moving image that the user is viewing, and it is possible to reduce motion sickness.
  • an object of the present technology is to provide an information processing device, an information processing method, and a program that can sufficiently suppress motion sickness of the user.
  • an information processing device includes an acquisition unit and a stimulus control unit.
  • the acquisition unit acquires motion sickness information including at least one of information estimating a state of motion sickness of a user viewing video content and information predicting the state of motion sickness.
  • the stimulus control unit controls presentation of the stimulus to the user based on the motion sickness information.
  • the acquisition unit may acquire, as the motion sickness information, degree information including at least one of information estimating the degree of motion sickness of the user and information predicting the degree of motion sickness.
  • the stimulus control section may control presentation of the stimulus to the user according to the degree information.
  • the stimulation control unit may start presenting the stimulation to the user when the degree of motion sickness represented by the degree information reaches a predetermined level.
  • the predetermined level may be set to a level at which a sign of motion sickness of the user appears.
  • the acquisition unit is configured to: user state information representing the state of the user related to motion sickness; user characteristic information representing the user's characteristic related to motion sickness; content state information representing the state of the video content related to motion sickness; At least one of an estimation process of estimating a state of visual sickness of the user and a prediction process of predicting the state of visual sickness of the user is executed based on at least one piece of content characteristic information representing characteristics of video content. , the motion sickness information may be generated.
  • the user state information may include at least one of the user's biometric information, operation information, speech information, and report information.
  • the biological information may include information on at least one of the user's perspiration amount, heart rate, eye movement amount, body sway, and electrocardiographic waveform.
  • the content state information may include information about motion sickness factors that cause motion sickness in the video content being reproduced.
  • the obtaining unit may estimate the motion sickness susceptibility characteristic of the video content being reproduced based on the information of the motion sickness element included in the content state information.
  • the content characteristic information may include information on motion sickness characteristics related to the video content estimated in advance for each scene of the video content or for the entire content.
  • the acquisition unit may read the motion sickness characteristic included in the content characteristic information.
  • the user characteristic information may include history information in which a state of motion sickness occurring in the user's past viewing experience is associated with motion sickness tendency characteristics in the viewing experience and recorded.
  • the acquisition unit may generate the motion sickness information based on motion sickness susceptibility characteristics related to the video content being reproduced and the history information.
  • the stimulus control unit may control at least one of the timing of presenting the stimulus, the duration of the stimulus, the parameter of the stimulus, or the type of the stimulus, based on the motion sickness information.
  • the acquisition unit may acquire information on symptoms of motion sickness of the user as the motion sickness information.
  • the stimulus control section may set the type of stimulus to be presented to the user according to the symptoms of motion sickness.
  • the acquisition unit may acquire, as the motion sickness information, information on a change type of the degree of motion sickness of the user.
  • the stimulus control section may set the timing of presenting the stimulus according to the change type of the degree of motion sickness.
  • the acquisition unit may acquire information on a stimulus that is highly effective in suppressing motion sickness of the user.
  • the stimulus control unit may present the user with a stimulus having a high inhibitory effect.
  • the stimulus control unit may change the stimulus presented to the user for each scene of the video content or for each predetermined time interval.
  • the acquisition unit may determine whether or not the same stimulus will continue to suppress motion sickness for the user.
  • the stimulus control unit continuously presents the same stimulus to the user when the suppressive effect continues, and changes the type of stimulus presented to the user when the suppressive effect does not continue. You may
  • the stimulation presented to the user may include at least one of vibration stimulation, electrical stimulation, sound stimulation, or light stimulation.
  • the stimulation control unit may change the video content based on the motion sickness information so as to suppress the progression of motion sickness of the user.
  • An information processing method is an information processing method executed by a computer system, and includes information estimating a state of motion sickness of a user viewing video content, or prediction of the state of motion sickness. obtaining motion sickness information including at least one of the information obtained by Presentation of stimuli to the user is controlled based on the motion sickness information.
  • a program causes a computer system to execute the following steps.
  • Acquiring motion sickness information including at least one of information estimating the state of motion sickness of the user watching the video content and information predicting the state of motion sickness. controlling presentation of stimuli to the user based on the motion sickness information;
  • FIG. 1 is a schematic diagram showing a configuration example of a content providing system according to an embodiment of the present technology
  • FIG. 1 is a block diagram showing a functional configuration example of a content providing system
  • FIG. It is an example of a determination table of the degree of motion sickness of a user.
  • 4 is a table showing an example of content state information of video content; 4 is a table showing an example of content characteristic information of video content; 7 is a table showing an example of history information related to motion sickness of a user; 4 is a flow chart showing an operation example of the content providing system; 4 is a time chart showing an example of stimulus presentation using estimation information of a sickness state; 4 is a time chart showing an example of stimulus presentation using prediction information of a sickness state; It is a time chart which shows an example of stimulus presentation. It is a time chart which shows an example of stimulus presentation. It is a time chart which shows an example of stimulus presentation. It is a time chart which shows an example of stimulus presentation. It is a time chart which shows an example of stimulus presentation. It is a time chart which shows an example of stimulus presentation. It is a time chart which shows an example of stimulus presentation. It is a time chart which shows an example of stimulus presentation.
  • FIG. 10 is a schematic diagram showing an example of change in video content according to sickness.
  • FIG. 1 is a schematic diagram showing a configuration example of a content providing system 100 according to an embodiment of the present technology.
  • the content providing system 100 is a system that uses the HMD 10 to provide various video content.
  • the HMD 10 is a display device that is worn on the head of the user 1 and displays an image in the field of view of the user 1 .
  • a video content is content that presents a video (moving image) to the user.
  • the video content includes video for displaying a VR (Virtual Reality) space (VR content), video of a simulator, video of a movie or a drama, video of a real space, and the like.
  • VR content Virtual Reality
  • audio is played back along with the video.
  • content that presents a tactile sensation or the like may be used as the video content.
  • FIG. 1A schematically shows a user 1 experiencing video content using the content providing system 100.
  • FIG. 1 wearing HMD 10 is experiencing video content while sitting on chair 5 .
  • the user 1 can perform various input operations related to video content by operating the controller 20 .
  • a physical stimulus that can be felt by the user 1 viewing the video content is presented by the stimulus presenting unit 25, which will be described later.
  • the presentation of stimuli for suppressing such motion sickness is controlled according to the state of motion sickness of the user 1. FIG. This makes it possible to sufficiently suppress motion sickness of the user 1 .
  • FIG. 1B schematically shows a configuration example of the HMD 10.
  • the HMD 10 has a base portion 11, an attachment band 12, and a display unit 13.
  • the HMD 10 is appropriately provided with a sensor section 21 and a stimulus presentation section 25, which will be described later.
  • the base portion 11 is a member arranged in front of the left and right eyes of the user 1 .
  • the base portion 11 is configured to cover the field of view of the user 1 and functions as a housing for housing the display unit 13 and the like.
  • the wearing band 12 is worn on the head of the user 1 .
  • the mounting band 12 has a temporal band 12a and a parietal band 12b.
  • the temporal band 12a is connected to the base portion 11 and worn so as to surround the user's head from the temporal region to the occipital region.
  • the parietal band 12b is connected to the temporal band 12a and worn so as to surround the user's head from the temporal region to the parietal region. This makes it possible to hold the base portion 11 in front of the user 1 .
  • the display unit 13 is arranged in front of the user 1 and displays moving images of video content.
  • the display unit 13 is configured using a display element such as an LCD (Liquid Crystal Display) or an organic EL display.
  • the display unit 13 has, for example, a right-eye display and a left-eye display that display images corresponding to the left and right eyes of the user 1, respectively. This enables stereoscopic display of the VR space. Note that the display unit 13 may be configured to display the same image on both eyes of the user 1 .
  • FIG. 2 is a block diagram showing a functional configuration example of the content providing system 100.
  • the content providing system 100 includes a controller 20, a sensor section 21, a stimulus presentation section 25, a storage section 30, and an information processing device 40 in addition to the HMD 10 (display unit 13) described above.
  • the controller 20 is an operation input device for the user 1 to perform operation input, and is connected to the information processing device 40 via, for example, a communication unit (not shown).
  • the controller 20 is a device configured to be held by the user 1 with both hands, and has operation units such as direction keys, selection buttons, and operation sticks. The user 1 can perform various input operations by appropriately operating these operation units.
  • a specific configuration of the controller 20 is not limited.
  • the sensor unit 21 is composed of sensor elements for detecting the state of the user 1 viewing the video content.
  • the sensor element is provided in a device (the HMD 10, the controller 20, etc.) used by the user 1, a device arranged around the user 1, or the like.
  • the sensor unit 21 has a biosensor 22 , an external camera 23 and a microphone 24 .
  • the biosensor 22 is a sensor that detects biometric information of the user 1, and is provided in the HMD 10 or the controller 20, for example.
  • a biosensor 22 provided in another device such as a wearable device worn by the user 1 may be used.
  • an acceleration sensor is used as the biosensor 22 .
  • the acceleration sensor detects body shaking such as shaking of the body and head of the user 1 .
  • a perspiration sensor that detects the amount of perspiration of the user 1 may be used as the biosensor 22 .
  • a heart rate sensor (pulse sensor) that detects the heart rate (pulse rate) of the user 1 may be used as the biosensor 22 .
  • an eyeball sensor that detects the amount of eyeball movement of the user 1 may be used.
  • the eyeball sensor is, for example, a camera mounted on the base portion 11 of the HMD 10 so as to photograph the eyeballs of the user 1 .
  • a sensor or the like that detects the electrooculogram of the user 1 may be used as the eyeball sensor.
  • An electrocardiographic sensor that detects an electrocardiographic waveform of the user 1 may be used as the biosensor 22 .
  • the specific configuration of the biosensor 22 is not limited, and a sensor capable of detecting arbitrary biometric information such as the body temperature and blood oxygen concentration of the user 1 may be used.
  • the external camera 23 is an imaging element that is placed around the user 1 and captures an image of the user 1 watching video content.
  • the video captured by the external camera 23 is used, for example, for motion capture for detecting the posture and motion of the user 1, gesture input by the user 1, and the like.
  • the shaking of the body of the user 1 may be detected from the image captured by the external camera 23 .
  • the microphone 24 is a sound pickup element that picks up the voice uttered by the user 1.
  • the microphone 24 is typically mounted on the HMD 10, but a stationary microphone 24 or the like may be used, for example.
  • the voice of the user 1 detected by the microphone 24 is used, for example, for conversation within video content, voice input, and the like. Also, the content of the voice is used for estimating the user's 1 mood, health condition, and the like.
  • the stimulus presentation unit 25 is composed of elements that present stimuli to the user 1, that is, elements that generate stimuli that the user 1 can feel. Each element constituting the stimulus presentation unit 25 is provided in a device used by the user 1 (the HMD 10, the controller 20, etc.), a device arranged around the user 1, or the like.
  • the stimulus presentation unit 25 presents a stimulus for suppressing motion sickness (hereinafter referred to as a suppressive stimulus).
  • a dedicated element for generating a suppressive stimulus may be used, or an element for generating a stimulus presented as part of video content (hereinafter referred to as a content stimulus) may be used.
  • a content stimulus may be For example, a vibration stimulus or the like that is presented along with an image of an explosion is a content stimulus.
  • An element that generates such a content stimulus may be used to present an inhibitory stimulus that suppresses motion sickness.
  • a vibrating element 26 that presents a vibration stimulus to the user 1 is used as the stimulus presentation unit 25 .
  • an element capable of generating vibration such as an eccentric motor or a VCM (Voice Coil Motor) is used.
  • VCM Vehicle Coil Motor
  • FIGS. 1A and 1B a plurality of vibration elements 26 provided in the content providing system 100 and the HMD 10 are schematically illustrated by dot regions.
  • the HMD 10 is provided with four vibration elements 26 a to 26 d and used as the stimulus presentation section 25 .
  • the vibrating element 26a is arranged in front of the center of the base portion 11 and presents vibration to the forehead portion of the user 1 .
  • the vibration elements 26b and 26c are arranged at the left and right connection points between the base portion 11 and the temporal band 12a, and present vibrations to the left and right temporal portions of the user 1.
  • the vibration element 26d is arranged on the rear side of the center of the temporal band 12a and presents vibration to the occipital region of the user 1. As shown in FIG.
  • a vibrating element 26e mounted on the controller 20 is used as the stimulus presenting section 25.
  • Vibration is presented to the palm of the user 1 by the vibration element 26e.
  • the arm of the user 1 is equipped with a vibration element 26f
  • the leg of the user 1 is equipped with a vibration element 26g.
  • Vibrations are presented to the arms and legs of the user 1 by the vibrating elements 26f and 26g.
  • a vibration element 26h is provided on the seat surface of the chair 5 on which the user 1 sits, and a vibration element 26i is provided on the backrest. Vibrations are presented to the buttocks and back of the user 1 by the vibrating elements 26h and 26i.
  • These vibrating elements 26 f to 26 i are also used as the stimulus presenting section 25 .
  • the vibration stimulus presented by the vibrating element 26 is an example of a tactile stimulus among the stimuli felt by the user 1 .
  • the stimulus presentation unit 25 may be capable of presenting tactile stimuli other than vibration stimuli.
  • a tactile element capable of presenting a pressure sense stimulus, a cooling element or a heating element capable of presenting a thermal stimulus, or the like may be used as the stimulus presenting unit 25 .
  • an electrical stimulation element 27 that presents electrical stimulation to the user 1 may be used.
  • the electrical stimulation element 27 for example, a GVS element that applies vestibular electrical stimulation (GVS: Galvanic Vestibular Stimulation) to the user 1 is used.
  • GVS is a stimulus that artificially presents a sense of acceleration and a sense of balance by applying a weak electric current to the vestibular apparatus that controls the sense of balance.
  • the GVS element includes, for example, an electrode behind the ear that provides electrical stimulation, and is provided in the speaker portion of the HMD 10 or the like.
  • an element or the like that provides muscle electrical stimulation, low-frequency electrical stimulation, or the like may be used as the electrical stimulation element 27 .
  • a speaker 28 that presents sound stimulation to the user 1 may be used as the stimulation presentation unit 25 .
  • a headphone element or the like mounted on the HMD 10 so as to cover the left and right ears of the user 1 is used.
  • an external speaker or the like provided separately from the HMD 10 may be used.
  • an element that presents an optical stimulus to the user 1 may be used as the stimulus presentation unit 25 .
  • the display unit 13 of the HMD 10 can be used to present light stimulation to the user 1 .
  • the display unit 13 functions as a stimulus presentation section 25 that presents optical stimuli.
  • a light source or the like that emits visible light may be provided around the display unit 13 .
  • the configuration of the stimulus presentation unit 25 is not limited, and the content providing system 100 may be provided with a plurality of elements or any one of the elements described above. These elements present inhibitory stimuli to the user 1 watching the video content.
  • the inhibitory stimulus presented to the user 1 by the stimulus presentation unit 25 includes at least one of vibration stimulus, electrical stimulus, sound stimulus, and light stimulus.
  • the storage unit 30 is a non-volatile storage device such as an SSD (Solid State Drive) or HDD (Hard Disk Drive). In addition, any non-transitory computer-readable recording medium may be used. As shown in FIG. 2, the storage unit 30 stores a control program 31, a content database 32, a user database 33, and a stimulus database .
  • the control program 31 is a program that controls the overall operation of the content providing system 100 including the HMD 10, the stimulus presentation unit 25, and the like.
  • the content database 32 stores data relating to video content viewed by the user 1 .
  • the data related to the video content includes, for example, video data reproduced within the video content, graphic data, audio data, an application program for advancing the video content, and the like.
  • the content database 32 stores content characteristic information representing characteristics of video content related to motion sickness.
  • the content characteristic information is information in which, for example, the degree of susceptibility to motion sickness of the video content (sickness susceptibility rate) is recorded in advance, and can be said to be static information of the video content related to motion sickness. The content characteristic information will be described later in detail with reference to FIG. 5 and the like.
  • the user database 33 stores user characteristic information representing characteristics of the user 1 regarding motion sickness.
  • the user characteristic information is, for example, information recording the characteristics of the user 1 himself/herself regarding visual sickness, and can be said to be static information of the user 1 regarding visual sickness.
  • the characteristics of motion sickness include, for example, the symptoms of motion sickness, the type of motion sickness-prone video, and the timing at which motion sickness occurs. Further, for example, information specifying a restraining stimulus capable of effectively restraining the user 1 from motion sickness may be recorded.
  • history information recording motion sickness experienced by the user in the past is stored as the user characteristic information. User characteristic information and history information will be described later in detail with reference to FIG. 6 and the like.
  • the stimulus database 34 stores data relating to inhibitory stimuli presented by the stimulus presentation unit 25 .
  • an ID is assigned to each of a plurality of inhibitory stimuli.
  • the stimulus type and stimulus parameters are recorded for each inhibitory stimulus labeled with each ID.
  • the vibration stimulus data includes information specifying the vibration element 26 and information specifying parameters such as vibration amplitude, frequency, and vibration pattern.
  • the information processing device 40 controls the operation of each block of the content providing system 100 .
  • the information processing device 40 may be mounted on the HMD 10 or configured as an external device separate from the HMD 10 .
  • the information processing device 40 has a hardware configuration necessary for a computer, such as a CPU and memory (RAM, ROM). Various processes are executed by the CPU loading the control program 31 stored in the storage unit 30 into the RAM and executing it.
  • a device such as a PLD (Programmable Logic Device) such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit) may be used.
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the CPU of the information processing device 40 executes the control program 31 according to the present embodiment, so that the functional blocks include a content processing unit 41, a content information acquisition unit 42, a user information acquisition unit 43, a motion sickness estimation unit, and a function block.
  • the prediction unit 44 and the stimulus control unit 45 are implemented.
  • These functional blocks execute the information processing method according to the present embodiment.
  • dedicated hardware such as an IC (integrated circuit) may be used as appropriate.
  • the content processing unit 41 executes video content.
  • the content processing unit 41 executes an application program stored in the content database 32, and generates moving image data forming a screen of video content using video data and graphic data.
  • the generated moving image data is output to the display unit 13 of the HMD 10 as appropriate.
  • the content processing unit 41 also reads the information of the user's 1 input operation output from the controller 20, and progresses the video content according to the user's input operation.
  • the content information acquisition unit 42 acquires information about video content related to motion sickness. Specifically, content characteristic information representing characteristics of video content related to motion sickness and content state information representing the state of video content related to motion sickness are acquired.
  • the content property information is appropriately read from the content database 32 described above.
  • the content state information is information representing the state of the video content being reproduced (for example, the background change speed, the number of items and characters, the brightness of the screen, etc.). These pieces of information are referred to when estimating the degree of susceptibility to sickness (sickness susceptibility rate) and the like of video content.
  • the content state information can be said to be dynamic information of video content related to motion sickness.
  • the ID of the scene being reproduced is acquired from the content processing unit 41, and information representing the state of the scene (change speed of the background, etc.) is read based on the scene ID.
  • information representing the state of the scene being reproduced may be read directly from the content processing section 41 .
  • the output of the sensor unit 21 may be read as the content state information.
  • a change in posture of the user 1 may be detected from an image captured by the external camera 23, and the background change speed and the like may be estimated.
  • changes in surround sound or the like may be estimated from the sound detected by the microphone 24 .
  • the content processing section 41 and the sensor section 21 function as a content sensor that outputs content state information.
  • the user information acquisition unit 43 acquires information about the user 1 regarding motion sickness. Specifically, user characteristic information representing the characteristics of the user 1 related to motion sickness and user state information representing the state of the user 1 related to motion sickness are acquired. The user characteristic information is appropriately read from the user database 33 described above.
  • the user state information is information representing the state of the user 1 while watching the video content, and is referred to when estimating/predicting the state of motion sickness of the user 1 .
  • the user state information can be said to be user 1's dynamic information related to motion sickness.
  • the user state information includes biometric information of the user 1 .
  • biometric information information such as the amount of perspiration and heart rate of the user 1 detected by the biosensor 22 and information such as shaking of the body of the user 1 captured by the external camera 23 are read as biometric information.
  • operation information of the controller 20 by the user 1 may be read as the user state information.
  • the operation information is, for example, information representing the reaction of the user 1, such as the speed and timing with which the user 1 presses a button, and information representing the history of operations (operation log).
  • utterance information of the user 1 may be read from the voice of the user 1 detected using the microphone 24 .
  • the utterance information is, for example, data representing the content of the utterance uttered by the user 1 while viewing the video content. Further, as the user status information, declaration information declared by the user 1 himself may be read.
  • the report information is data that the user 1 has answered to a question or the like regarding the health condition, for example. In addition, any information that can represent the state of the user 1 while watching the video content may be used as the user state information.
  • the motion sickness estimation/prediction unit 44 acquires motion sickness information representing the motion sickness state of the user 1 watching the video content.
  • the motion sickness is, for example, poor physical condition such as nausea, headache, and dizziness caused by the user 1 viewing video content.
  • the degree and type of these poor physical conditions differ from person to person for each user 1 and also vary depending on the video content.
  • the symptom and the degree of the symptom that the user 1 feels when watching the video content is the state of motion sickness. Even if the user 1 is unaware of the symptoms, the user's perspiration, heart rate, etc. may change.
  • This state is a state in which an omen of motion sickness appears, and is one state of motion sickness of the user 1 .
  • the motion sickness information acquired by the motion sickness state estimation/prediction unit 44 is information that objectively represents the motion sickness state induced in the user 1 in this way using parameters such as numerical values and types.
  • the motion sickness information includes the following items representing the state of motion sickness of the user 1 . - Degree of visual sickness of user 1 - Change type of degree of visual sickness of user 1 - Symptom of visual sickness of user 1 - Change type of symptom of visual sickness of user 1
  • the degree of motion sickness is, for example, a parameter that expresses the progress of motion sickness by dividing it into a plurality of stages (see FIG. 3). Alternatively, a parameter that expresses the progress of motion sickness as a numerical value (percentage, etc.) may be used.
  • the type of change in the degree of motion sickness is, for example, the type of progression of motion sickness (a type in which motion sickness progresses gradually, a type in which motion sickness develops rapidly, or the like).
  • the symptoms of motion sickness are, for example, symptoms of poor physical condition (headache, dizziness, nausea, etc.) perceived by the user 1 due to motion sickness.
  • the type of change in the symptoms of motion sickness is, for example, the type of progression of the symptoms (a type in which a headache occurs first and then nausea, a type in which a headache and dizziness occur at the same time, etc.).
  • the motion sickness information includes at least one of information estimating the state of motion sickness of the user 1 watching the video content and information predicting the state of motion sickness.
  • the information for estimating the state of motion sickness (hereinafter referred to as estimation information) is information representing the current state of motion sickness of user 1 .
  • the information that predicts the state of motion sickness (hereinafter referred to as prediction information) is information representing the state of motion sickness of the user 1 at a later point in time, that is, in the future.
  • the sickness state estimation/prediction unit 44 acquires at least one of the estimation information and the prediction information representing the current and future states of motion sickness.
  • the sickness state estimation/prediction unit 44 estimates the state of visual sickness of the user 1 based on at least one of the above-described user state information, user characteristic information, content state information, and content characteristic information. Run the estimation process. This estimation process generates estimation information that estimates the state of motion sickness of user 1 .
  • the estimation process for example, the current degree of motion sickness, the current symptom type, and the like are estimated. Also, for example, the degree of motion sickness, the type of change in symptoms, and the like may be estimated. In addition, the presence or absence of motion sickness may be estimated.
  • the sickness state estimation/prediction unit 44 predicts the state of motion sickness of the user 1 based on at least one of the above-described user state information, user characteristic information, content state information, and content characteristic information. Prediction processing to be performed. This prediction process generates prediction information that predicts the state of motion sickness of user 1 .
  • the degree of motion sickness, the type of symptom, etc. at a later point in time are predicted. For example, the predicted value after a predetermined time (1 minute, 3 minutes, 5 minutes, etc.) may be calculated, or the time until the predicted value reaches a certain threshold, and the symptoms become conscious. The time to, etc. may be predicted.
  • a configuration is also possible in which either one of the estimation process and the prediction process is executed.
  • either the estimation information or the prediction information is generated as motion sickness information.
  • the motion sickness estimation/prediction unit 44 executes at least one of estimation processing and prediction processing to generate motion sickness information. Specific contents of the estimation processing and prediction processing by the sickness state estimation/prediction unit 44 will be described in detail later.
  • the motion sickness estimation/prediction unit 44 corresponds to an acquisition unit that acquires visual motion sickness information.
  • the stimulus control unit 45 controls presentation of inhibitory stimuli to the user 1 based on the motion sickness information. That is, the stimulus control unit 45 presents a stimulus (suppressive stimulus) that reduces visual sickness such as vibration stimulation or electrical stimulation based on the state of visual sickness estimated/predicted by the sickness state estimation/prediction unit 44. Control the method and content of the stimulus.
  • the stimulus control unit 45 controls at least one of the timing of presenting the inhibitory stimulus, the duration of the inhibitory stimulus, the parameter of the inhibitory stimulus, and the type of the inhibitory stimulus. control one.
  • the timing, duration, and type of inhibitory stimulus to present the inhibitory stimulus are set based on the motion sickness information.
  • Data stored in the stimulus database 34 for example, are used as the parameters of the inhibitory stimulus. Of course, you may set the parameter of an inhibitory stimulus individually.
  • the stimulus control section 45 Based on these pieces of information, the stimulus control section 45 generates a signal for presenting an inhibitory stimulus, and outputs the signal to each element forming the stimulus presentation section 25 .
  • the vibratory stimulus is presented multiple times in order to suppress motion sickness of the user 1 .
  • the timing of driving the vibration element 26 (the timing of presenting the vibration stimulus), the driving time of the vibration element (duration of the vibration element), and the like are appropriately set according to the state of motion sickness.
  • the intensity, period, waveform, etc. of the signal applied to the vibration element 26 are appropriately set, and the intensity, frequency, pattern, etc. of the vibration stimulus are controlled.
  • tactile stimulation other than vibration stimulation, electrical stimulation, sound stimulation, light stimulation, and the like are appropriately set as suppressive stimulation.
  • the information processing device 40 estimates and predicts the state of motion sickness of the user 1 based on the video content and the state of the user 1, and presents the suppression stimulus for reducing the motion sickness using the result. controlled. As a result, it is possible to effectively present a stimulus according to the state of the user 1, and to sufficiently suppress motion sickness.
  • degree information including at least one of information estimating the degree of motion sickness of user 1 and information predicting the degree of motion sickness is acquired as motion sickness information by the motion sickness state estimation/prediction unit 44.
  • estimation information that estimates the degree of motion sickness and prediction information that predicts the degree of motion sickness are generated by estimation processing and prediction processing. In the following, the estimation processing for estimating the degree of motion sickness will be mainly described.
  • FIG. 3 is an example of a determination table for the degree of motion sickness of user 1 .
  • FIG. 3 shows determinations for determining the degree of motion sickness using the user state information (here, "controller operation”, “sweating”, and “heart rate variability") acquired by the user information acquisition unit 43.
  • a table is shown. In this table, the parameters representing the current state of the user 1 are evaluated based on the parameters representing the state of the user 1 at a steady state (that is, the state in which motion sickness does not occur), and the degree of motion sickness is determined (estimated). be done.
  • the reference parameters may be measured and classified according to the game genre (shooting game, action game, puzzle game, etc.). Also, parameters measured during a period other than the time the game is played may be used as normal parameters. For example, parameters measured during the period from login to before the start of the game, or during the period during which various settings are being made are used as normal parameters. This makes it possible to accurately determine the degree of motion sickness based on the information immediately before the occurrence of motion sickness.
  • Level 1 is a state in which User 1 is not drunk at all.
  • Level 2 is a state in which the user 1 has signs of motion sickness. For example, the user 1 is not aware of symptoms of motion sickness, but changes appear in her physical condition.
  • Level 3 is a state in which the user 1 is starting to get motion sickness, for example, a state in which the user 1 has started to become aware of symptoms of motion sickness.
  • Level 4 is a state in which the user 1 is intoxicated by video content, and is in a state in which, for example, compared to the state of level 3, symptoms of visual sickness are severe.
  • the current operation of the controller 20 by the user 1 is compared with the normal operation.
  • the timing and operation accuracy of user 1's operation read when executing the estimation process are compared with the timing and operation accuracy during steady operation.
  • the degree of motion sickness is determined to be Level 1.
  • the degree of motion sickness is determined to be Level 2.
  • the degree of motion sickness is determined to be level 3.
  • the degree of motion sickness is determined to be Level 4.
  • the information on regular operations is set based on, for example, the operation history of games or the like that the user 1 has played in the past.
  • the operation history is appropriately read as, for example, user characteristic information.
  • information on regular operations may be set based on the operation history of the game (video content) currently being played by the user 1 and the game of the same genre or similar game. . This makes it possible to properly estimate the degree of motion sickness even when the operation style of the user 1 changes depending on the genre.
  • Information on the operation of the controller 20 by the user 1 is an example of user operation information. It should be noted that it is also possible to estimate the degree of motion sickness using information that records the operation details of the controller 20 by the user 1 . For example, the history of the operation to pause the video content and the record of the period during which the user 1 has not performed any operation are the logs that record the interruption of the video content. Such a log is referred to, and the higher the frequency of interruptions, the higher the degree of motion sickness is determined.
  • the current amount of perspiration of the user 1 is compared with the steady amount of perspiration.
  • This can be said to be a process of evaluating mental perspiration of user 1 accompanying motion sickness. For example, when the amount of perspiration of user 1 changes by less than 3% compared to the steady amount of perspiration, it is determined that the degree of motion sickness is level 1 . Further, when the amount of perspiration of user 1 changes by 3% or more and less than 5% of the steady amount of perspiration, the degree of motion sickness is determined to be level 2 .
  • the degree of motion sickness is level 3 .
  • the amount of perspiration of user 1 changes by 10% or more compared to the steady amount of perspiration, it is determined that the degree of motion sickness is level 4 .
  • the current heart rate variability (heart rate variability) of the user 1 is compared with the steady state heart rate variability (steady heart rate variability). For example, when the heart rate variability of user 1 changes by less than 3% compared to the steady heart rate variability, the degree of motion sickness is determined to be Level 1. Further, when the heart rate variability of user 1 changes by 3% or more and less than 5% compared to the steady heart rate variability, the degree of motion sickness is determined to be level 2 . Further, when the heart rate variability of the user 1 changes by 5% or more and less than 10% of the steady heart rate variability, the degree of motion sickness is determined to be level 3 . Further, when the heart rate variability of user 1 changes by 10% or more compared to the steady heart rate variability, the degree of motion sickness is determined to be level 4. FIG.
  • Information on the amount of perspiration and heart rate (heart rate variability) of the user 1 is an example of the biometric information of the user 1 .
  • the amount of movement of the eyeballs of the user 1 may be used as the biological information.
  • the degree of motion sickness is determined to be higher as the amount of eye movement or the frequency of movement increases.
  • the biometric information the shaking of the body of the user 1 may be used.
  • the degree of motion sickness is determined to be higher as the shaking of the user 1's head and whole body is greater.
  • an electrocardiographic waveform of the user 1 may be used as the biological information.
  • an electrocardiographic waveform for example, it is possible to detect modulation of the autonomic nerves (sympathetic nerves and parasympathetic nerves) of the user 1 .
  • the specific content of the biological information is not limited, and the degree of motion sickness is estimated by combining one or more of the parameters described above.
  • User state information other than the operation information and biometric information described above may be used.
  • user 1's utterance information is used as the user state information.
  • the degree of motion sickness is estimated from the content and frequency of free speech uttered by the user 1 while watching the video content.
  • the degree of motion sickness is determined to be higher as the number of remarks indicating poor physical condition such as "feeling sick", “getting drunk”, “dizziness", and "headache” increases.
  • the state of the voice itself of the user 1 may be used as the user state information.
  • the voice of user 1 is analyzed by frequency analysis or the like. Based on the analysis result, it is detected whether or not the voice state of the user 1 deviates from the steady state.
  • the degree of deviation of the voice of the user 1 may be detected. For example, when the tone of user 1's voice deviates from the normal tone, the degree of motion sickness is determined to be higher as the amount of deviation is greater and the deviation period is longer.
  • the report information of user 1 may be used as the user status information.
  • a simple question asking the user 1 about the degree of motion sickness is presented by video or audio.
  • the result of stepwise evaluation of the motion sickness state by the user 1 is input via a button or verbally, and is read as the degree of motion sickness. In this way, by using the information reported by the user 1, it is possible to estimate the degree of motion sickness with high accuracy.
  • the user 1 may rate his/her sickness state after experiencing the video content or after each scene is finished.
  • an evaluation screen for rating motion sickness is displayed on the display unit 13 .
  • the degree of motion sickness of the user 1 is rated using, for example, an evaluation method called SSQ (Simulator Sickness Questionnaire).
  • SSQ Simulator Sickness Questionnaire
  • SSQ a method of answering the following question items in four stages (0: not at all, 1: a little, 2: moderately, 3: much) is adopted.
  • the estimation processing for estimating the current degree of motion sickness based mainly on the user state information has been described.
  • the degree of motion sickness after a predetermined time period is predicted based on the rate of change or the like.
  • the amount of perspiration after a predetermined time period is calculated using an approximation curve or the like representing an increase in the amount of perspiration, and the degree of motion sickness after the predetermined time period is predicted based on the calculation result.
  • the time at which the degree of motion sickness changes to the next level may be predicted from the increase in the amount of perspiration. Similarly, it is possible to appropriately predict the degree of motion sickness by using changes in other biological information and the like. In addition, the method of predicting the degree of motion sickness using user state information is not limited.
  • FIG. 4 is a table showing an example of content state information of video content.
  • FIG. 5 is a table showing an example of content characteristic information of video content. In the following, motion sickness characteristics of video content will be described with reference to FIGS. 4 and 5.
  • FIG. 4 is a table showing an example of content state information of video content.
  • FIG. 5 is a table showing an example of content characteristic information of video content. In the following, motion sickness characteristics of video content will be described with reference to FIGS. 4 and 5.
  • the susceptibility to motion sickness of video content is general susceptibility to motion sickness of video content, and is a characteristic determined according to the properties of video content.
  • the motion sickness that occurs in the user 1 who has viewed the video content is considered to be caused by various factors related to the video content. These factors that cause motion sickness are referred to as motion sickness factors.
  • a motion sickness element is typically an element that represents the physical state of video and audio that constitute video content. For example, the brightness of the image, the speed of the background of the image, the change in the sound, etc., can be the motion sickness factors.
  • the motion sickness estimation/prediction unit 44 acquires information representing the likelihood of motion sickness of the video content estimated based on these motion sickness factors.
  • motion sickness factors that cause motion sickness.
  • factors related to the screen as a whole and the background such as the average brightness of the screen, the variation in brightness of each part of the screen, the degree of change in the brightness and color of the background and each part within a certain period of time, and the speed of change of the background, are considered motion sickness factors. Used. In this case, for example, it is estimated that the higher the average brightness or the greater the variation in brightness, the more susceptible the person is to motion sickness. In addition, it is presumed that the greater the background change speed, luminance change, color change, or the like, the more prone to motion sickness.
  • elements related to objects displayed on the screen such as the number of objects such as items and characters displayed, the ratio of objects moving on the screen, the movement speed, the degree and speed of color change of each object with respect to the screen may be used as the motion sickness element.
  • the greater the number of objects such as items and characters the greater the movement of the viewpoint of the user 1.
  • the higher the proportion of moving objects the more prone to motion sickness.
  • motion sickness is more likely to occur as the moving speed of the object and the degree and speed of color change increase.
  • Elements related to scene changes may also be used as motion sickness elements.
  • the higher the frequency of scene switching the easier it is to get motion sickness.
  • motion sickness is more likely to occur when the field of view moves linearly than when the field of view moves stepwise due to screen switching.
  • the frequency of switching the volume and type of sound, the amount of movement of surround sound, the amount of change in tactile stimulation, and the like are used as motion sickness factors. In this case, it is estimated that the higher the sound switching frequency, the easier it is to get motion sickness. In addition, it is estimated that the larger the amount of movement of the surround sound, the change in the tactile stimulus, etc., the easier it is to get motion sickness.
  • the motion sickness characteristics may be estimated in real time when the user 1 is viewing the video content, or may be estimated in advance and read as appropriate.
  • the table in FIG. 4A shows content state information read at timings t1, t2, . . . , and the table in FIG. Sickness susceptibility characteristics are shown.
  • the "sickness element value" shown in the table of content state information in FIG. 4A is the value of element 1, element 2, ... (physical quantity, degree of change, etc.).
  • the value of element 1 ranges from 0 to 1
  • the value of element 2 ranges from 0 to 100.
  • scene A is from t1 to t5
  • scene B is from t6 to t10
  • scene C is from t11 to t15.
  • the sickness state estimation/prediction unit 44 reads the "value of the sickness factor" at each timing, and estimates the susceptibility to motion sickness of the video content according to the state of the sickness factor.
  • "Ease of motion sickness” shown in the table of susceptibility to motion sickness characteristics in FIG. is.
  • the value of element 1 is 0, and the susceptibility to motion sickness for element 1 is estimated to be 0.
  • the value of element 2 is 10, and the susceptibility to motion sickness for element 2 is estimated to be 1.
  • the maximum value of the susceptibility to motion sickness of each element is used as the total value of the susceptibility to motion sickness at that timing.
  • the total value of the susceptibility to motion sickness is 1.
  • the susceptibility to motion sickness for element 1 is 4, and the susceptibility to motion sickness for element 2 is 2.
  • the total value of the susceptibility to motion sickness at timing t6 is 4.
  • the content state information includes information about motion sickness factors that cause motion sickness in the video content being reproduced.
  • the sickness state estimation/prediction unit 44 estimates the sickness susceptibility characteristic of the video content being reproduced based on the information of the sickness factor included in the content state information. This makes it possible to reliably estimate the susceptibility to motion sickness even when the video, audio, or the like of the video content changes due to, for example, an operation by the user 1 or the like.
  • the table in FIG. 5 shows content characteristic information recording motion sickness characteristics in scenes A, B, C, . . . of video content.
  • This content characteristic information is, for example, information estimated based on the characteristics of the video content before the user 1 actually experiences the video content.
  • the sickness susceptibility characteristics for scenes A, B, and C match the characteristics of scenes A, B, and C shown in FIG.
  • it is possible to construct the content property information by recording the motion sickness property (content state information) estimated in real time when the user 1 played last time. Further, for example, the motion sickness characteristics may be evaluated at the time of producing the video content.
  • the total value of the susceptibility to motion sickness and the value of the susceptibility to motion sickness for each element are recorded for each scene. For example, only the total value of the susceptibility to motion sickness may be recorded, or only the value of the susceptibility to motion sickness for each element may be recorded. Also, it is not always necessary to record the susceptibility to motion sickness for each scene. For example, a representative value (average value, maximum value, or the like) may be obtained from the values of the susceptibility to motion sickness determined for each scene, and the susceptibility to motion sickness may be defined for each content. These values are stored in the content database 32 and read as appropriate at the timing required for processing.
  • the content characteristic information includes information about motion sickness characteristics related to the video content estimated in advance for each scene of the video content or for the entire content.
  • the sickness state estimation/prediction unit 44 reads the motion sickness susceptibility characteristic included in the content characteristic information, and acquires the motion sickness susceptibility characteristic related to the video content being reproduced. Since this process does not require actual estimation of motion sickness characteristics at each timing, it is possible to sufficiently reduce the processing load.
  • FIG. 6 is a table showing an example of history information about motion sickness of user 1.
  • the history information is information recorded in association with the state of motion sickness that occurred in the user's past viewing experience and the motion sickness characteristics in that viewing experience.
  • the history information is stored in the user database 33 as user characteristic information.
  • the content used when recording the history information (hereinafter referred to as experienced content) may be video content being experienced by the user 1, or may be completely different content.
  • experienced content may be video content being experienced by the user 1, or may be completely different content.
  • FIG. 6 shows history information recorded at predetermined time intervals (here, one-minute intervals).
  • this history information the degree of sickness and the presence or absence of each symptom are recorded as "sickness" of user 1 .
  • the symptom data is estimated and recorded based on, for example, the report by the user 1, the content of free speech, biological information, and the like.
  • the total value of the ease of motion sickness and the value of the ease of motion sickness of each element are recorded as the "easiness of motion sickness" of the content that has been experienced.
  • the history information is information in which the user state information and the content state information at the time of viewing the experienced content are recorded.
  • the degree of motion sickness reaches level 2
  • signs of motion sickness appear.
  • the degree of motion sickness reaches level 3 and user 1 begins to get motion sickness.
  • the degree of motion sickness reaches level 4. Therefore, it can be said that this user 1 is a type whose symptoms are short-lived and whose symptoms gradually become severe.
  • the user database 33 accumulates history information recorded with various video contents.
  • the sickness state estimation/prediction unit 44 estimates/predicts the degree of motion sickness based on the accumulated history information.
  • a learning device is constructed that learns the relationship between the degree of visual sickness of user 1 and the motion sickness characteristics of content, using historical information on the state of visual sickness of user 1 as learning data.
  • the algorithm used for the learner is not limited, and any machine learning algorithm may be used.
  • the current degree of motion sickness of the user 1 is estimated.
  • the motion sickness estimation/prediction unit 44 generates motion sickness information (estimation information and prediction of the degree of motion sickness) based on the motion sickness susceptibility characteristics and the history information regarding the video content being reproduced. information) is generated.
  • motion sickness information estimate information and prediction of the degree of motion sickness
  • the degree of motion sickness of the user 1 induced by the video content from the characteristics of each of the user 1 and the video content, and it is possible to greatly improve the estimation accuracy of the degree of motion sickness. becomes.
  • the degree of motion sickness of the user 1 may be estimated/predicted from motion sickness characteristics related to video content without using user characteristic information (history information or the like).
  • the motion sickness susceptibility characteristic estimated from the content state information and the motion sickness susceptibility characteristic recorded as the content characteristic information are appropriately referred to when performing the estimation processing and the prediction processing.
  • the current motion sickness degree of the user 1 is higher as the motion sickness tendency characteristic of the scene currently being reproduced is higher.
  • the degree of motion sickness of user 1 may be estimated/predicted from user characteristic information without using the motion sickness susceptibility characteristic.
  • the change type of the degree of motion sickness is determined from the user characteristic information. Based on the determined change type of the degree of motion sickness, the degree of motion sickness is estimated/predicted from the viewing time (elapsed time) of the video content or the like.
  • the specific content of the estimation processing/prediction processing of the degree of motion sickness is not limited.
  • any process of estimating/predicting the degree of motion sickness may be performed based on at least one of user state information, user characteristic information, content state information, and content characteristic information, or a combination thereof.
  • the motion sickness estimation/prediction unit 44 acquires, as the motion sickness information, symptom information including at least one of information estimating the motion sickness symptoms of the user 1 and information predicting the motion sickness symptoms. be. Specifically, by the estimation process and the prediction process, estimation information that estimates the symptoms of motion sickness of user 1 and prediction information that predicts the symptoms of motion sickness are generated.
  • a learning device is constructed that learns the relationship between the symptom of user 1's motion sickness and the motion sickness characteristics of the content.
  • This learning device is configured to estimate the current symptom of motion sickness of the user 1, for example, by inputting motion sickness susceptibility characteristics of the video content being reproduced. Further, by appropriately configuring the learning device, it is possible to predict the symptoms of motion sickness after a predetermined period of time, or to predict the timing at which the symptoms of motion sickness will change. It should be noted that processing for estimating/predicting symptoms of motion sickness may be performed using a rule-based algorithm or the like instead of the machine learning technique.
  • symptoms of motion sickness may be estimated based on user state information (biological information, operation information, speech information, report information, etc.). For example, the presence or absence of headache, dizziness, nausea, etc. is estimated based on the outputs of the biosensors 22 and the external camera 23 . Alternatively, the symptom of motion sickness is estimated from the content of user 1's utterance.
  • the symptoms of motion sickness may be estimated/predicted from the viewing time (elapsed time) of the video content, etc., based on the change type of the symptoms of motion sickness.
  • the specific contents of the estimation processing/prediction processing of the symptoms of motion sickness are not limited.
  • FIG. 7 is a flowchart showing an operation example of the content providing system 100. As shown in FIG. The processing shown in FIG. 7 is, for example, loop processing that is repeatedly executed during reproduction of video content. Processing for reproducing video content is executed by the content processing unit, and the loop processing shown in FIG. .
  • the user information acquisition unit 43 acquires user characteristic information about the user 1 who uses the content providing system 100 (step 101). Specifically, the user characteristic information (such as history information shown in FIG. 6) stored in the user database 33 is read as appropriate.
  • the content information acquisition section 42 acquires content characteristic information relating to the video content to be reproduced by the content providing system 100 (step 102). Specifically, the content characteristic information stored in the content database 32 (such as motion sickness characteristics of the video content shown in FIG. 5) is read as appropriate. Note that the processing of steps 101 and 102 may be appropriately executed according to the progress of the video content (for example, scene switching, etc.).
  • the user information acquisition unit 43 acquires user status information representing the current status of the user 1 (step 103). For example, data such as the output of the biosensor 22 or the like that measures the user 1 while watching the video content, or the contents of free speech of the user 1 are read.
  • content state information indicating the current state of the video content is obtained by the content information obtaining unit 42 (step 104).
  • the content processing unit 41 reads the scene ID during playback of the video content and the information representing the state of motion sickness factors such as changes in the screen and the number of characters.
  • the motion sickness estimation/prediction unit 44 executes at least one of estimation processing and prediction processing for the motion sickness state of the user 1 (step 105). Specifically, the estimation described with reference to FIGS. A process or prediction process is performed. In the estimation process, for example, the degree and symptoms of motion sickness of user 1 are estimated. Also, in the prediction process, for example, the degree and symptoms of motion sickness after a predetermined time period are predicted. In addition, a change type of the degree of motion sickness or a change type of symptoms may be determined. These pieces of information are output to the stimulus control unit 45 as motion sickness information representing the state of motion sickness of the user 1 .
  • the stimulus control unit 45 selects and generates suppression stimuli for suppressing motion sickness (step 106).
  • an inhibitory stimulus to be presented to the user 1 is selected from the stimulus database 34 based on the estimated value or predicted value of the state of motion sickness. This makes it possible to easily set the type (pattern) of the inhibitory stimulus, the parameter, the presentation site, and the like.
  • the type of inhibitory stimulus to be presented to the user 1 the parameter, the presentation site, and the like are calculated based on the estimated value and the predicted value of the state of motion sickness. For example, the inhibitory stimulus data stored in the stimulus database 34 may be adjusted, or new inhibitory stimulus data may be generated.
  • the timing, duration, etc. of presenting the inhibitory stimulus are calculated based on the estimated value and predicted value of the state of motion sickness. For example, when vibration stimulation is used, the timing to start vibration, the time to continue vibration, and the like are calculated. Alternatively, the number of repetitions of vibration stimulation, an interval, or the like may be set.
  • the presentation of the inhibitory stimulus to the user 1 is controlled according to the degree information representing the degree of motion sickness. For example, whether or not to present a restraining stimulus is determined according to the degree of motion sickness.
  • the intensity, type, etc. of the inhibitory stimulus are set according to the degree of motion sickness.
  • the presentation site, frequency, or the like of the inhibitory stimulus may be set according to the degree of motion sickness.
  • the presentation of the inhibitory stimulus to the user 1 may be controlled according to the symptom information representing the symptom of motion sickness.
  • the intensity and type of inhibitory stimulus are set according to the symptoms of motion sickness.
  • the presentation site, frequency, etc. of the inhibitory stimulus may be set according to the symptoms of motion sickness.
  • the presentation control of the inhibitory stimulus will be specifically described with reference to FIGS. 8 to 13 and the like.
  • an inhibitory stimulus is presented by the stimulus presentation unit 25 provided in the content providing system 100 (step 107).
  • the stimulus control unit 45 generates a signal for presenting the inhibitory stimulus from the inhibitory stimulus data selected/generated in step 106 and outputs it to each element constituting the stimulus presentation unit 25 . .
  • the timing and duration of presenting the inhibitory stimulus are controlled.
  • the inhibitory stimulus it is determined whether the video content has ended (step 108). If the video content has not ended (No in step 108), the processing after step 103 is executed again. If the video content has ended (Yes in step 108), the processing shown in FIG. 7 ends.
  • a vibrating stimulus presented by the vibrating element 26 will be described as an example.
  • the type (pattern) of vibration stimulation is set according to the state of motion sickness. For example, patterns such as vibration stimulation with a constant period, irregular vibration stimulation, gradually increasing vibration stimulation, or gradually decreasing vibration stimulation are set.
  • parameters related to vibration are set according to the state of motion sickness. Note that the contents described below are applicable even when stimuli other than vibration stimuli (electrical stimuli, etc.) are used as inhibitory stimuli.
  • FIG. 8 is a time chart showing an example of stimulus presentation using estimation information of a sickness state.
  • the upper graph in FIG. 8 is a graph showing the estimated value of the degree of motion sickness of user 1 at timing t, and the vertical axis represents the level of the estimated value (level 1 to level 4).
  • the lower graph in FIG. 8 is a graph showing the vibration stimulus control signal at timing t, and the vertical axis represents the intensity of the vibration stimulus.
  • the stimulus control unit 45 starts presenting the vibration stimulus (suppressive stimulus) to the user 1 when the degree of motion sickness represented by the degree information reaches a predetermined level. That is, when the degree of motion sickness increases and exceeds a predetermined threshold level, a vibration stimulus is presented to the user 1 . Also, if the degree of motion sickness is equal to or less than a predetermined level, no vibration stimulus is presented. As a result, it is possible to avoid a situation in which an extra stimulus or the like is presented.
  • the predetermined level is set to a level at which an omen of motion sickness of the user 1 appears.
  • the predetermined level is set to level 2. That is, when the user 1 is not aware of the symptoms of motion sickness, but changes in physical condition appear, the presentation of the vibration stimulus (suppressive stimulus) is started. In this way, it may be possible to delay the progression of motion sickness or alleviate the symptoms by presenting stimuli from the early stages of motion sickness in which symptoms are not conscious. It may also be possible to avoid the occurrence of symptoms. .
  • the stimulation control unit 45 starts the process of presenting the vibration stimulation. It is assumed that the user 1 is not aware of the symptoms of motion sickness at the timing t1. Therefore, in FIG. 8, the intensity and frequency of the vibration stimulus presented after t1 are set relatively low, and the vibration is presented inconspicuously. This makes it possible to suppress motion sickness without hindering the user 1's video experience.
  • the degree of motion sickness of user 1 is level 3 at timing t2.
  • the intensity and frequency of the vibration stimulation presented after t2 are set to be greater than those of the vibration stimulation up to that point. This makes it possible to effectively suppress the progression of motion sickness. In this way, the parameters of vibration stimulation may be changed according to the degree of motion sickness.
  • the presentation of the vibration stimulus is immediately controlled according to the current degree of motion sickness of the user 1 .
  • FIG. 9 is a time chart showing an example of stimulus presentation using prediction information of a sickness state.
  • a predicted value of the degree of motion sickness of user 1 after a predetermined time ( ⁇ T0) is calculated.
  • the upper graph in FIG. 9 is a graph showing the predicted value of the degree of motion sickness predicted at timing t, and the vertical axis represents the level of the predicted value (level 1 to level 4).
  • the lower graph in FIG. 9 is a graph showing the control signal of the vibration stimulation at timing t, and the vertical axis represents the intensity of the vibration stimulation.
  • the stimulus control unit 45 sets the timing t1′ for presenting the vibratory stimulus to a point in time before the timing (t1+ ⁇ T0) at which the degree of motion sickness reaches level 2 (t1+ ⁇ T0).
  • t1′ (t1+ ⁇ T0) ⁇ T1.
  • ⁇ T1 is a constant less than or equal to ⁇ T0.
  • ⁇ T1 may be set according to, for example, the type of change in the degree of motion sickness of user 1, or a default value may be used. This makes it possible to present a vibratory stimulus prior to a sign of motion sickness. Such processing is expected to have the effect of sufficiently delaying the progression of motion sickness.
  • timing t2 it is predicted that the degree of motion sickness of user 1 will rise to level 3 at timing (t2+ ⁇ T0).
  • control is performed to increase the intensity and frequency of the vibration stimulation.
  • Example of presentation control of inhibitory stimuli 10 to 13 are time charts showing an example of stimulus presentation. Control examples for presenting inhibitory stimuli according to the state of motion sickness will be described below with reference to FIGS. 10 to 13. FIG. Note that although the case of using estimation information related to motion sickness is mainly described here, the following description can also be appropriately applied to the case of using prediction information.
  • FIG. 10 vibration stimuli are presented according to the symptoms of motion sickness.
  • the upper part of FIG. 10 shows the results of estimating the symptoms of motion sickness (headache, dizziness, nausea) of user 1 .
  • the lower part of FIG. 10 shows a graph showing the control signal of the vibration stimulation.
  • the type of inhibitory stimulus to be presented to the user 1 is set by the stimulus control unit 45 according to the symptoms of motion sickness.
  • the type of vibration stimulus (vibration pattern) and the presentation site are set according to the symptom of motion sickness as the type of suppressive stimulus.
  • other stimulation such as pressure stimulation, thermal stimulation, electrical stimulation, sound stimulation, and light stimulation may be set.
  • a correspondence relationship between symptoms of motion sickness and stimulus types can be specified based on user characteristics and history information, for example. For example, when stimuli were presented to user 1 in the past, stimuli that were highly effective in preventing worsening of symptoms and reducing motion sickness are identified and recorded as user characteristic information. As described above, in the present embodiment, information on stimuli with a high suppressing effect on motion sickness of the user 1 is acquired, and the stimuli with a high suppressing effect on the user 1 are presented. This makes it possible to effectively suppress the state of motion sickness.
  • FIG. 11 the vibration stimulus is presented according to the change type of the degree of motion sickness.
  • 11A and 11B show the results of estimating the degree of motion sickness of user 1, and the lower part of each figure shows a graph showing the control signal of the vibration stimulation.
  • FIGS. 11A and 11B are examples of vibratory stimulation control intended for users 1 who have different types of changes in the degree of motion sickness.
  • the timing of presenting the inhibitory stimulus is set according to the change type of the degree of motion sickness.
  • the type of change in the degree of motion sickness can be determined, for example, based on the history information of user 1 (see FIG. 6).
  • the stimulus control unit determines the change type of the current degree of motion sickness for the user 1, and adjusts the timing of presenting the inhibitory stimulus based on the determination result. This makes it possible to present the inhibitory stimulus at a timing that matches the progress of the motion sickness of the user 1 . As a result, for example, it is possible to avoid a situation in which the presentation of the inhibitory stimulus is delayed, or a situation in which the inhibitory stimulus is presented from an unnecessarily early stage.
  • FIG. 11A shows an example of control of vibration stimulus presented to user 1 whose degree of motion sickness increases rapidly.
  • the degree of motion sickness rises to level 2 at timing t1
  • the degree of motion sickness rises to level 3 within a relatively short time.
  • the presentation of the vibratory stimulus is started at the time (timing t1) when it is estimated that there is a symptom of motion sickness.
  • FIG. 11B shows a control example of the vibration stimulus presented to the user 1 whose degree of motion sickness gradually increases.
  • level 2 is maintained for a relatively long period of time, and then the degree of motion sickness rises to level 3.
  • the vibrating stimulus is presented at an early stage to the user 1 who has prolonged symptoms of motion sickness, there is a risk that the viewing experience of the user 1 will be unnecessarily hindered. Therefore, in FIG.
  • presentation of the vibratory stimulus is started at timing t1′ after a certain delay time (Delay) has elapsed from the time point (timing t1) at which the symptom of motion sickness is estimated to be present in FIG. 11A.
  • Delay a certain delay time
  • the method of setting the delay time is not limited, and may be set as appropriate according to the past history of the user 1, for example.
  • FIG. 12 the vibration stimulus is changed in consideration of user 1's familiarity.
  • the upper part of FIG. 12A and FIG. 12B schematically shows the scene switching of the video content, and the lower part of each figure shows a graph showing the control signal of the vibration stimulation.
  • the degree of motion sickness has reached a certain level, and control is being performed to present vibration stimuli at certain intervals.
  • the type of vibration stimulation is changed according to the scene (scenes A, B, C, . . . ) of the video content. For example, when scene A is played back, type 1 vibration stimulation is presented, when scene B is played back, type 2 vibration stimulation is presented, and when scene C is played back, type 3 vibration stimuli are presented.
  • parameters other than the type (vibration pattern) such as frequency, intensity, and presentation position may be changed for each scene.
  • the type of vibration stimulation etc., but also the type of restraining stimulation itself may be changed.
  • the stimulus control unit 45 changes the inhibitory stimulus presented to the user 1 for each scene of the video content.
  • a correspondence relationship between each scene and an inhibitory stimulus may be set arbitrarily.
  • video content when producing video content, general susceptibility to motion sickness (content characteristic information) is estimated. Then, video content may be produced in which visual motion sickness suppressing stimuli are added in accordance with the estimated value for each scene.
  • the corresponding inhibitory stimulus type and stimulus pattern may be set according to the characteristics of the video content and restrictions on production. For example, in a scene in which a stimulus (content stimulus) is presented as content presentation, it is possible to shift the presentation site of the suppressive stimulus so that the content stimulus and the suppressive stimulus are not confused. In addition, in relatively quiet scenes, it is also possible to set to present less intense stimuli that are difficult to notice. Note that it is not always necessary to associate inhibitory stimuli with scenes, and inhibitory stimuli may be switched in a predetermined order in accordance with scene switching. By changing the inhibitory stimulus for each scene, it is possible to avoid a situation in which the user 1 becomes accustomed to the inhibitory stimulus, and naturally maintain the effect of suppressing motion sickness.
  • the type of vibration stimulation is changed at predetermined time intervals ⁇ T.
  • type 1, type 2, and type 3 vibration stimulations are used by switching in this order.
  • the same type of vibration stimulation is presented at predetermined intervals until the switching timing comes.
  • the same type of vibratory stimulus is presented four times during ⁇ T.
  • stimuli may be randomly selected and used instead of repeating a fixed order.
  • the stimulus control section 45 may change the inhibitory stimulus presented to the user 1 at predetermined time intervals ⁇ T. This makes it possible to easily implement a process of evenly presenting a plurality of inhibitory stimuli to the user 1, for example. As a result, it is possible to avoid a situation in which the user 1 becomes accustomed to the suppressive stimulus, and easily maintain the effect of suppressing motion sickness.
  • FIG. 13 the vibration stimulus to be presented to the user 1 is selected according to the effect of the vibration stimulus on the user 1 .
  • the upper part of FIGS. 13A and 13B shows the estimation result of the degree of motion sickness of user 1, and the lower part of each figure shows a graph showing the control signal of the vibration stimulation.
  • presentation of the vibration stimulus is started at timing t1.
  • FIGS. 13A and 13B are examples of vibratory stimulus control intended for users 1 who have different types of motion sickness suppression effects for the same stimulus.
  • the present embodiment it is determined whether or not the effect of suppressing motion sickness by the same suppressive stimulus continues for user 1 . Then, when the inhibitory effect continues, the same inhibitory stimulus is continuously presented to the user 1 . Moreover, when the inhibitory effect does not continue, the type of inhibitory stimulus presented to the user 1 is changed. Whether or not the user 1 is of a type in which the inhibitory effect of the same inhibitory stimulus continues can be determined based on the history information of the user 1, for example. For example, in the past history of user 1, it is determined to what extent the progression of motion sickness was suppressed by the same stimulus.
  • FIG. 13A shows a control example of the vibration stimulus presented to the user 1 of the type in which the effect of suppressing motion sickness by the same suppressive stimulus continues. For this user 1, the suppression effect continues even when the same vibration stimulation continues. Therefore, the stimulation control unit 45 continuously presents the same type of vibration stimulation to the user 1 .
  • FIG. 13B shows an example of control of the vibration stimulus presented to the user 1 of the type in which the effect of suppressing motion sickness by the same suppressive stimulus does not continue. If this user 1 continues to present the same vibration stimulus, there is a possibility that the suppression effect will decrease. Therefore, the stimulation control unit 45 avoids a situation in which the user 1 becomes accustomed to the stimulation by changing the type of vibration stimulation. As a result, compared to the case where the same stimulus is continuously presented, it is possible to enhance the suppression effect and sufficiently delay the progress of motion sickness.
  • the effect of the inhibitory stimulus may change before and after the onset of motion sickness.
  • the onset of motion sickness is, for example, a state in which the user 1 becomes aware of symptoms of motion sickness.
  • the degree of motion sickness changes from level 2, which is a sign of motion sickness, to level 3, which is the beginning of motion sickness. After such motion sickness develops, it may be difficult for the user 1 to have an effect on the inhibitory stimulus.
  • the inhibitory effect of the inhibitory stimulus may be controlled according to the inhibitory effect after the onset of motion sickness.
  • the presentation of the inhibitory stimulus is continued even after the onset of motion sickness.
  • the degree of motion sickness worsens even after the user 1 starts to get motion sickness.
  • the type of inhibitory stimulus is changed for user 1 whose inhibitory effect is reduced.
  • the suppressive effect can be enhanced compared to the case where the same stimulus is continuously presented.
  • presentation of the inhibitory stimulus may be stopped for the user 1 whose inhibitory effect is reduced.
  • a restraining stimulus is presented to the user 1 who is watching the video content.
  • presentation of the requested stimulus to the user 1 is controlled based on information obtained by estimating/predicting the state of motion sickness of the user 1 .
  • the content characteristic information the information of the motion sickness characteristics (see FIG. 5, etc.) estimated from the states of the motion sickness factors of the video content is used.
  • data of motion sickness when another user views the video content, or the like may be used as the content characteristic information.
  • the actual motion sickness may be obtained from a certain scale of test users.
  • the characteristics of motion sickness occurring in the test user may be used as the characteristics of the video content.
  • motion sickness characteristics for the entire content or for each scene are estimated and added to the video content to be released.
  • the motion sickness state may be acquired from the initial user's data and added to the video content so that subsequent users can use it. That is, information on the initial user's motion sickness may be used as the motion sickness susceptibility characteristic of the video content.
  • the data attached to the video content is updated at regular intervals.
  • the present technology also functions as a recording tool for constructing a database of history information or the like that records the characteristics of the user's individual motion sickness.
  • a recording tool for constructing a database of history information or the like that records the characteristics of the user's individual motion sickness.
  • FIG. 14 is a schematic diagram showing an example of changing the video content according to the state of motion sickness.
  • 14A to 14C schematically show a driving game course 6 and a vehicle 7 running on the course 6 as an example of video content.
  • a video viewed from a vehicle 7 traveling along a course 6 is displayed to the user. Therefore, the degree and frequency of background change are determined by the degree and frequency of curves on the course 6 .
  • FIG. 14A is a schematic diagram showing the course 6a at timing t1.
  • the course includes a group of curves set at relatively long intervals, followed by a group of curves set at relatively short intervals.
  • the course 6a shown in FIG. 14A is changed to the course 6b shown in FIG. 14B. That is, among the curves set at relatively long intervals, the curves that the vehicle 7 has not reached are set to be curved gently. Also, the number of curves in the group of curves set at relatively short intervals is reduced, and the degree of curvature of each curve is set loosely. This makes it possible to reduce the degree to which the background changes and reduce the frequency. Therefore, the course 6b is the course 6 in which the sickness susceptibility characteristic is set lower than the course 6a before the change.
  • course 6b shown in FIG. 14B is changed to course 6c shown in FIG. 14C. That is, a group of curves set at relatively short intervals is deleted. As a result, the background does not change significantly in course 6 in the latter half, and the motion sickness susceptibility characteristic can be set sufficiently low.
  • the video content may be changed so as to suppress the progress of the user's motion sickness. This allows the user to continue enjoying the viewing experience without aggravating motion sickness. It is not limited to the case of changing the course 6.
  • the speed of the vehicle 7, and the items, background images, sounds, etc. that make up the video content can be dynamically changed so that the user's motion sickness does not progress. good too.
  • the present technology is not limited to this, and may be applied to, for example, an HMD for AR experiences.
  • the HMD is provided with an outward-facing camera that captures the field of view of the user, and the display unit displays an image captured by the outward-facing camera.
  • the display unit displays an image captured by the outward-facing camera.
  • the present technology it is also possible to apply the present technology to a system using a large display or a stationary display such as an enclosure display. Also in this case, the presentation of the inhibitory stimulus to the user is controlled according to the result of appropriately estimating/predicting the user's state of motion sickness.
  • video content is game content that provides various amusement in VR space.
  • video content that functions as a simulator assuming operation of vehicles such as vehicles, aircraft, and ships, and field work may be used.
  • a video of a work site during remote operation, a virtual video for work support, or the like may be used as the video content.
  • present technology can be applied to arbitrary video content.
  • the information processing apparatus 40 operated by the user executes the information processing method according to the present technology.
  • the information processing method and the program according to the present technology may be executed by the information processing device 40 and another computer that can communicate via a network or the like.
  • the information processing method and program according to the present technology can be executed not only in a computer system configured by a single computer, but also in a computer system in which a plurality of computers work together.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules within a single housing, are both systems.
  • the information processing method according to the present technology and the execution of the program by the computer system for example, when the process of acquiring the motion sickness information and the process of controlling the presentation of the stimulus are executed by a single computer, and when each process is executed by a different computer including both when executed by Execution of each process by a predetermined computer includes causing another computer to execute part or all of the process and obtaining the result.
  • the information processing method and program according to the present technology can also be applied to a cloud computing configuration in which a single function is shared by a plurality of devices via a network and processed jointly.
  • the present technology can also adopt the following configuration.
  • an acquisition unit that acquires motion sickness information including at least one of information estimating a state of motion sickness of a user viewing video content and information predicting the state of motion sickness; and a stimulus control unit that controls presentation of a stimulus to the user based on the motion sickness information.
  • the information processing device acquires, as the motion sickness information, degree information including at least one of information estimating the degree of motion sickness of the user and information predicting the degree of motion sickness, The information processing device, wherein the stimulus control unit controls presentation of the stimulus to the user according to the degree information.
  • the information processing device is configured to: user state information representing the state of the user related to motion sickness; user characteristic information representing the user's characteristic related to motion sickness; content state information representing the state of the video content related to motion sickness; At least one of an estimation process of estimating a state of visual sickness of the user and a prediction process of predicting the state of visual sickness of the user is executed based on at least one piece of content characteristic information representing characteristics of video content. , an information processing device that generates the motion sickness information.
  • the user state information includes at least one of biological information, operation information, utterance information, and report information of the user.
  • Information processing apparatus includes at least one of biological information, operation information, utterance information, and report information of the user.
  • the information processing device includes information on at least one of the user's perspiration amount, heart rate, eye movement amount, body sway, and electrocardiographic waveform.
  • the information processing device includes information on motion sickness factors that cause motion sickness in the video content being played, The information processing apparatus, wherein the acquisition unit estimates a motion sickness susceptibility characteristic related to the video content being reproduced based on the information of the motion sickness element included in the content state information.
  • the information processing device includes information on motion sickness characteristics related to the video content estimated in advance for each scene of the video content or for the entire content, The information processing device, wherein the acquisition unit reads the motion sickness characteristic included in the content characteristic information.
  • the information processing device includes history information recorded in association with a state of motion sickness that occurred in the user's past viewing experience and motion sickness characteristics in the viewing experience, The information processing apparatus, wherein the acquisition unit generates the motion sickness information based on motion sickness susceptibility characteristics related to the video content being reproduced and the history information.
  • the information processing device according to any one of (1) to (10), The information processing device, wherein the stimulus control unit controls at least one of the timing of presenting the stimulus, the duration of the stimulus, the parameter of the stimulus, or the type of the stimulus, based on the motion sickness information.
  • the information processing device according to (11), The acquisition unit acquires information on symptoms of motion sickness of the user as the motion sickness information, The information processing device, wherein the stimulus control unit sets the type of stimulus to be presented to the user according to the symptoms of motion sickness.
  • the information processing device (13) The information processing device according to (11) or (12), The acquisition unit acquires, as the motion sickness information, information on a change type of the degree of motion sickness of the user, The information processing device, wherein the stimulus control unit sets the timing of presenting the stimulus according to the change type of the degree of motion sickness. (14) The information processing device according to any one of (1) to (13), The acquisition unit acquires information on a stimulus that is highly effective in suppressing motion sickness of the user, The information processing device, wherein the stimulus control unit presents the stimulus having the high inhibitory effect to the user. (15) The information processing device according to any one of (1) to (14), The information processing device, wherein the stimulus control section changes the stimulus presented to the user for each scene of the video content or for each predetermined time interval.
  • the information processing device according to any one of (1) to (15), The acquisition unit determines whether or not an effect of suppressing motion sickness due to the same stimulus continues for the user, The stimulus control unit continuously presents the same stimulus to the user when the suppressive effect continues, and changes the type of stimulus presented to the user when the suppressive effect does not continue.
  • Device. The information processing device according to any one of (1) to (16), The information processing device, wherein the stimulation presented to the user includes at least one of vibration stimulation, electrical stimulation, sound stimulation, and optical stimulation.
  • the information processing device according to any one of (1) to (17), The information processing apparatus, wherein the stimulus control unit changes the video content so as to suppress progression of the user's motion sickness based on the motion sickness information.
  • Acquiring motion sickness information including at least one of information estimating the state of motion sickness of the user viewing the video content or information predicting the state of motion sickness; An information processing method in which a computer system controls presentation of a stimulus to the user based on the motion sickness information.
  • acquiring motion sickness information including at least one of information estimating the state of motion sickness of the user viewing the video content or information predicting the state of motion sickness;

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術の一形態に係る情報処理装置は、取得部と、刺激制御部とを具備する。前記取得部は、映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得する。前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する。

Description

情報処理装置、情報処理方法、及びプログラム
 本技術は、映像コンテンツを再生する装置に適用可能な情報処理装置、情報処理方法、プログラムに関する。
 近年、HMD(Head Mounted Display)や大画面のディスプレイ等を用いて、映像を再生する技術が開発されている。このようなシステムを利用するユーザは、高い没入感で映像を視聴することが可能となる一方で、映像酔い等を感じる場合がある。
 特許文献1には、映像酔いを低減するように構成されたエンタテイメントシステムについて記載されている。このシステムには、揺動部を備えるHMDが設けられる。また揺動部は、HMDに表示されている動画像における視点の加速状況に応じて駆動される。これにより、HMDを装着したユーザの頭部を、ユーザが視聴している動画像と連携して揺動することが可能となり、映像酔いを低減することが可能となっている(特許文献1の明細書段落[0031][0039][0056][0057]図1等)。
国際公開第2020/090477号
 今後、没入感の高い視聴体験を提供する技術は、エンターテイメント、教育、作業支援等の様々な分野での応用が期待されており、ユーザの映像酔いを十分に抑制することが可能な技術が求められている。
 以上のような事情に鑑み、本技術の目的は、ユーザの映像酔いを十分に抑制することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
 上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、刺激制御部とを具備する。
 前記取得部は、映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得する。
 前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する。
 この情報処理装置では、映像コンテンツを見ているユーザに刺激が提示される。このとき、ユーザへの刺激の提示は、ユーザの映像酔い状態を推定・予測した情報をもとに制御される。これにより、ユーザの状態にあった刺激の提示等が可能となり、ユーザの映像酔いを十分に抑制することが可能となる。
 前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いを推定した情報、又は前記映像酔いの度合いを予測した情報の少なくとも一方を含む度合い情報を取得してもよい。この場合、前記刺激制御部は、前記度合い情報に応じて、前記ユーザに対する刺激の提示を制御してもよい。
 前記刺激制御部は、前記度合い情報が表す前記映像酔いの度合いが所定のレベルに達した場合に、前記ユーザに対する刺激の提示を開始してもよい。
 前記所定のレベルは、前記ユーザの映像酔いの予兆が表われるレベルに設定されてもよい。
 前記取得部は、映像酔いに関する前記ユーザの状態を表すユーザ状態情報、映像酔いに関する前記ユーザの特性を表すユーザ特性情報、映像酔いに関する前記映像コンテンツの状態を表すコンテンツ状態情報、及び映像酔いに関する前記映像コンテンツの特性を表すコンテンツ特性情報の少なくとも一つに基づいて、前記ユーザの映像酔いの状態を推定する推定処理、又は前記ユーザの映像酔いの状態を予測する予測処理の少なくとも一方を実行して、前記映像酔い情報を生成してもよい。
 前記ユーザ状態情報は、前記ユーザの生体情報、操作情報、発話情報、及び申告情報の少なくとも一つを含んでもよい。
 前記生体情報は、前記ユーザの発汗量、心拍数、眼球の運動量、身体の動揺、及び心電波形の少なくとも一つに関する情報を含んでもよい。
 前記コンテンツ状態情報は、再生中の前記映像コンテンツにおいて映像酔いの要因となる酔い要素の情報を含んでもよい。この場合、前記取得部は、前記コンテンツ状態情報に含まれる前記酔い要素の情報に基づいて、再生中の前記映像コンテンツに関する酔いやすさ特性を推定してもよい。
 前記コンテンツ特性情報は、前記映像コンテンツのシーンごと又はコンテンツ全体について、予め推定された前記映像コンテンツに関する酔いやすさ特性の情報を含んでもよい。この場合、前記取得部は、前記コンテンツ特性情報に含まれる前記酔いやすさ特性を読み込んでもよい。
 前記ユーザ特性情報は、前記ユーザの過去の視聴体験において発生した映像酔いの状態と前記視聴体験における酔いやすさ特性とを関連づけて記録した履歴情報を含んでもよい。この場合、前記取得部は、再生中の前記映像コンテンツに関する酔いやすさ特性と、前記履歴情報とに基づいて、前記映像酔い情報を生成してもよい。
 前記刺激制御部は、前記映像酔い情報に基づいて、前記刺激を提示するタイミング、前記刺激の継続時間、前記刺激のパラメータ、又は前記刺激の種類の少なくとも1つを制御してもよい。
 前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの症状の情報を取得してもよい。この場合、前記刺激制御部は、前記映像酔いの症状に応じて、前記ユーザに提示する刺激の種類を設定してもよい。
 前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いの変化タイプの情報を取得してもよい。この場合、前記刺激制御部は、前記映像酔いの度合いの変化タイプに応じて、前記刺激を提示するタイミングを設定してもよい。
 前記取得部は、前記ユーザの映像酔いに対する抑制効果が高い刺激の情報を取得してもよい。この場合、前記刺激制御部は、前記ユーザに対して前記抑制効果が高い刺激を提示してもよい。
 前記刺激制御部は、前記映像コンテンツのシーン又は所定の時間間隔ごとに、前記ユーザに対して提示する刺激を変更してもよい。
 前記取得部は、前記ユーザに対して、同一の刺激による映像酔いの抑制効果が継続するか否かを判定してもよい。この場合、前記刺激制御部は、前記抑制効果が継続する場合、前記ユーザに対して同一の刺激を継続して提示し、前記抑制効果が継続しない場合、前記ユーザに提示する刺激の種類を変更してもよい。
 前記ユーザに対して提示される刺激は、振動刺激、電気刺激、音刺激、又は光刺激の少なくとも一つを含んでもよい。
 前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザの映像酔いの進行を抑えるように前記映像コンテンツを変更してもよい。
 本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得することを含む。
 前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示が制御される。
 本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
 映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得するステップ。
 前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御するステップ。
本技術の一実施形態に係るコンテンツ提供システムの構成例を示す模式図である。 コンテンツ提供システムの機能的な構成例を示すブロック図である。 ユーザの映像酔いの度合いの判定表の一例である。 映像コンテンツのコンテンツ状態情報の一例を示す表である。 映像コンテンツのコンテンツ特性情報の一例を示す表である。 ユーザの映像酔いに関する履歴情報の一例を示す表である。 コンテンツ提供システムの動作例を示すフローチャートである。 酔い状態の推定情報を用いた刺激提示の一例を示すタイムチャートである。 酔い状態の予測情報を用いた刺激提示の一例を示すタイムチャートである。 刺激提示の一例を示すタイムチャートである。 刺激提示の一例を示すタイムチャートである。 刺激提示の一例を示すタイムチャートである。 刺激提示の一例を示すタイムチャートである。 酔い状態に応じた映像コンテンツの変更例を示す模式図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 [コンテンツ提供システムの構成]
 図1は、本技術の一実施形態に係るコンテンツ提供システム100の構成例を示す模式図である。コンテンツ提供システム100は、HMD10を用いて様々な映像コンテンツを提供するシステムである。HMD10は、ユーザ1の頭部に装着して使用され、ユーザ1の視界に画像を表示する表示装置である。
 映像コンテンツとは、ユーザに映像(動画像)を提示するコンテンツである。例えばVR(Virtual Reality)空間を表示する映像(VRコンテンツ)、シミュレータの映像、映画やドラマ等の映像、実空間を撮影した映像等は、映像コンテンツに含まれる。また映像コンテンツでは、映像とともに音声が再生される。この他、映像コンテンツとして、触覚感覚等を提示するコンテンツが用いられてもよい。
 図1Aには、コンテンツ提供システム100を使用して、映像コンテンツを体験しているユーザ1が模式的に図示されている。ここでは、HMD10を装着したユーザ1が、椅子5に座った状態で、映像コンテンツを体験している。またユーザ1は、コントローラ20を操作することで、映像コンテンツに関する各種の入力操作を行うことが可能である。
 HMD10等を用いたVR体験を行った場合、ユーザ1が映像酔い(VR酔い)を発症するといった問題がある。これは、映像コンテンツを視聴することで、ユーザ1が映像そのものに酔う現象である。一方で映像酔いのメカニズムについては不明な部分も多く、効果的に抑制する手法に乏しかった。
 そこで本実施形態では、後述する刺激提示部25により、映像コンテンツを見ているユーザ1が感じることができる物理的な刺激が提示される。このように、ユーザ1に対して適切な刺激を提示することで、ユーザ1の映像酔いを抑制することが可能である。
 コンテンツ提供システム100では、このような映像酔いを抑制する刺激の提示が、ユーザ1の映像酔いの状態に応じて制御される。これにより、ユーザ1の映像酔いを十分に抑制することが可能となる。
 図1Bには、HMD10の構成例が模式的に図示されている。図1Bに示すように、HMD10は、基体部11と、装着バンド12と、表示ユニット13とを有する。またHMD10には、後述するセンサ部21や、刺激提示部25が適宜設けられる。
 基体部11は、ユーザ1の左右の眼の前方に配置される部材である。基体部11は、ユーザ1の視界を覆うように構成され、表示ユニット13等を収納する筐体として機能する。
 装着バンド12は、ユーザ1の頭部に装着される。装着バンド12は、側頭バンド12aと、頭頂バンド12bとを有する。側頭バンド12aは、基体部11に接続され、側頭部から後頭部にかけてユーザの頭部を囲むように装着される。頭頂バンド12bは、側頭バンド12aに接続され、側頭部から頭頂部にかけてユーザの頭部を囲むように装着される。これにより、ユーザ1の眼前に基体部11を保持することが可能となる。
 表示ユニット13は、ユーザ1の眼前に配置され、映像コンテンツの動画像を表示する。表示ユニット13は、LCD(Liquid Crystal Display)や有機ELディスプレイ等の表示素子を用いて構成される。
 表示ユニット13は、例えばユーザ1の左眼及び右眼にそれぞれの眼に対応した画像を表示する右眼用ディスプレイ及び左眼用ディスプレイを有する。これにより、VR空間の立体表示等が可能となる。なお表示ユニット13は、ユーザ1の両眼に同一の画像を表示するように構成されてもよい。
 図2は、コンテンツ提供システム100の機能的な構成例を示すブロック図である。コンテンツ提供システム100は、上記したHMD10(表示ユニット13)に加え、コントローラ20、センサ部21、刺激提示部25、記憶部30、及び情報処理装置40を有する。
 コントローラ20は、ユーザ1が操作入力を行うための操作入力装置であり、例えば図示しない通信部を介して情報処理装置40に接続される。コントローラ20は、ユーザ1が両手で持つように構成された装置であり、方向キー、選択ボタン、操作スティック等の操作部を有する。ユーザ1は、これらの操作部を適宜操作することで、各種の入力操作を行うことが可能となる。コントローラ20の具体的な構成は限定されず、例えば方手持ちの装置や、マウス、キーボード、タッチパネル等の入力デバイスがコントローラ20として用いられてもよい。
 センサ部21は、映像コンテンツを見ているユーザ1の状態を検出するためのセンサ素子により構成される。センサ素子は、ユーザ1が使用しているデバイス(HMD10、コントローラ20等)や、ユーザ1の周辺に配置されたデバイス等に設けられる。
 本実施形態では、センサ部21は、生体センサ22、外部カメラ23、マイク24を有する。
 生体センサ22は、ユーザ1の生体情報を検出するセンサであり、例えばHMD10やコントローラ20に設けられる。また例えば、ユーザ1が装着したウェアラブルデバイス等の他のデバイスに設けられた生体センサ22が用いられてもよい。
 例えば生体センサ22として、加速度センサが用いられる。加速度センサにより、ユーザ1の体や頭部の揺れといった身体の動揺が検出される。
 また生体センサ22として、ユーザ1の発汗量を検出する発汗センサが用いられてもよい。
 また生体センサ22として、ユーザ1の心拍数(脈拍数)を検出する心拍センサ(脈拍センサ)が用いられてもよい。
 また生体センサ22として、ユーザ1の眼球の運動量を検出する眼球センサが用いられてもよい。眼球センサは、例えばユーザ1の眼球を撮影可能なようにHMD10の基体部11に搭載されたカメラである。あるいはユーザ1の眼電位を検出するセンサ等が眼球センサとして用いられてもよい。
 また生体センサ22として、ユーザ1の心電波形を検出する心電センサが用いられてもよい。心電センサを用いることで、ユーザ1の自立神経の状態等を検出可能である。
 この他、生体センサ22の具体的な構成は限定されず、ユーザ1の体温や血中酸素濃度といった任意の生体情報を検出可能なセンサが用いられてよい。
 外部カメラ23は、ユーザ1の周辺に配置され、映像コンテンツを見ている最中のユーザ1を撮影する撮影素子である。外部カメラ23により撮影された映像は、例えばユーザ1の姿勢や動作を検出するモーションキャプチャや、ユーザ1によるジェスチャー入力等に用いられる。また、外部カメラ23により撮影された映像から、ユーザ1の身体の動揺等が検出されてもよい。
 マイク24は、ユーザ1の発した音声を収音する収音素子である。マイク24は、典型的にはHMD10に搭載されるが、例えば据え置き型のマイク24等が用いられてもよい。マイク24により検出されたユーザ1の音声は、例えば映像コンテンツ内での会話や、音声入力等に用いられる。また音声の内容は、ユーザ1の気分や健康状態等の推定に用いられる。
 刺激提示部25は、ユーザ1に対して刺激を提示する素子、すなわちユーザ1が感じることができる刺激を発生させる素子で構成される。刺激提示部25を構成する各素子は、ユーザ1が使用しているデバイス(HMD10、コントローラ20等)や、ユーザ1の周辺に配置されたデバイス等に設けられる。
 本実施形態では、刺激提示部25により映像酔いを抑制するための刺激(以下、抑制刺激と記載する)が提示される。
 刺激提示部25としては、抑制刺激を発生するための専用の素子が用いられてもよいし、映像コンテンツの一部として提示される刺激(以下、コンテンツ刺激と記載する)を発生させる素子が用いられてもよい。例えば、爆発の映像に合わせて提示される振動刺激等がコンテンツ刺激となる。このようなコンテンツ刺激を発生させる素子を利用して、映像酔いを抑制する抑制刺激が提示されてもよい。
 本実施形態では、刺激提示部25として、ユーザ1に対して振動刺激を提示する振動素子26が用いられる。振動素子26としては、例えば偏心モータや、VCM(Voice Coil Motor)等の振動を発生させることが可能な素子が用いられる。
 図1A及び図1Bには、コンテンツ提供システム100及びHMD10に設けられる複数の振動素子26が、ドットの領域により模式的に図示されている。
 例えば図1Bに示すように、HMD10には、4つの振動素子26a~26dが設けられ、刺激提示部25として用いられる。振動素子26aは、基体部11の中央前側に配置されユーザ1の前頭部分に振動を提示する。振動素子26b及び26cは、基体部11と側頭バンド12aとの左側及び右側の接続箇所に配置され、ユーザ1の左側頭部分及び右側頭部分に振動を提示する。振動素子26dは、側頭バンド12aの中央後側に配置されユーザ1の後頭部分に振動を提示する。
 また図1Aに示すように、コンテンツ提供システム100では、コントローラ20に搭載された振動素子26eが刺激提示部25として用いられる。振動素子26eにより、ユーザ1の手の平に振動が提示される。
 また、ユーザ1の腕部には振動素子26fが装着され、ユーザ1の脚部には振動素子26gが装着される。振動素子26f及び26gにより、ユーザ1の腕部及び脚部に振動が提示される。また、ユーザ1が座る椅子5の座面には、振動素子26hが設けられ、背もたれには振動素子26iが設けられる。振動素子26h及び26iにより、ユーザ1の臀部及び背中に振動が提示される。これら振動素子26f~26iも、刺激提示部25として用いられる。
 振動素子26が提示する振動刺激は、ユーザ1が感じる刺激のうち、触覚刺激の一例である。刺激提示部25は、振動刺激以外の触覚刺激を提示可能であってもよい。例えば、圧覚刺激を提示可能な触覚素子や、温冷刺激等を提示可能な冷却素子や加熱素子等が刺激提示部25として用いられてもよい。
 また、刺激提示部25として、ユーザ1に対して電気刺激を提示する電気刺激素子27が用いられてもよい。
 電気刺激素子27としては、例えば、ユーザ1に対して前庭電気刺激(GVS:Galvanic Vestibular Stimulation)を作用させるGVS素子が用いられる。GVSは、平衡感覚を司る前庭器官に微弱な電流を通電させることで、加速度の感覚や平衡感覚を人工的に提示する刺激である。GVS素子は、例えば耳の後に電気刺激を与える電極を備え、HMD10のスピーカ部分等に設けられる。
 この他、筋電気刺激や低周波の電気刺激等を与える素子等が電気刺激素子27として用いられてもよい。
 また、刺激提示部25として、ユーザ1に対して音刺激を提示するスピーカ28が用いられてもよい。スピーカ28は、例えばユーザ1の左右の耳を覆うようにHMD10に搭載されたヘッドホン素子等が用いられる。またHMD10とは別に設けられた外部スピーカ等が用いられてもよい。
 また、刺激提示部25として、ユーザ1に対して光刺激を提示する素子が用いられてもよい。例えば、HMD10の表示ユニット13を用いて、ユーザ1に光刺激を提示することが可能である。この場合、表示ユニット13は、光刺激を提示する刺激提示部25として機能する。また例えば、表示ユニット13の周辺に可視光を発光する光源等が設けられてもよい。
 刺激提示部25の構成は限定されず、コンテンツ提供システム100には、上記した素子のうち、複数の素子又はいずれか一つの素子が設けられればよい。映像コンテンツを見ているユーザ1には、これらの素子により、抑制刺激が提示される。このように、刺激提示部25によりユーザ1に対して提示される抑制刺激には、振動刺激、電気刺激、音刺激、又は光刺激の少なくとも一つが含まれる。
 記憶部30は、不揮発性の記憶デバイスであり、例えばSSD(Solid State Drive)やHDD(Hard Disk Drive)等が用いられる。その他、コンピュータが読み取り可能な非一過性の任意の記録媒体が用いられてよい。
 図2に示すように記憶部30には、制御プログラム31と、コンテンツデータベース32と、ユーザデータベース33と、刺激データベース34とが記憶される。
 制御プログラム31は、HMD10や刺激提示部25等を含むコンテンツ提供システム100全体の動作を制御するプログラムである。
 コンテンツデータベース32には、ユーザ1が視聴する映像コンテンツに関するデータが格納される。映像コンテンツに関するデータには、例えば、映像コンテンツ内で再生される映像データ、グラフィックデータ、音声データ、映像コンテンツを進行させるアプリケーションプログラム等が含まれる。
 さらに、コンテンツデータベース32には、映像酔いに関する映像コンテンツの特性を表すコンテンツ特性情報が格納される。コンテンツ特性情報は、例えば映像コンテンツの酔いやすさの度合い(酔いやすさレート)等を予め記録した情報であり、映像酔いに関する映像コンテンツの静的な情報であると言える。コンテンツ特性情報については、図5等を参照して後に詳しく説明する。
 ユーザデータベース33には、映像酔いに関するユーザ1の特性を表すユーザ特性情報が格納される。ユーザ特性情報は、例えばユーザ1自身の映像酔いについての特性を記録した情報であり、映像酔いに関するユーザ1の静的な情報であると言える。映像酔いについての特性とは、例えば映像酔いの症状や、酔いやすい映像の種類、酔いが発生するタイミング等である。また例えば、ユーザ1の映像酔いを効果的に抑制できる抑制刺激を指定する情報等が記録されてもよい。
 また本実施形態では、ユーザ特性情報として、過去にユーザが体験した映像酔いを記録した履歴情報が格納される。ユーザ特性情報や履歴情報については、図6等を参照して後に詳しく説明する。
 刺激データベース34には、刺激提示部25により提示される抑制刺激に関するデータが格納される。例えば複数の抑制刺激に対してそれぞれIDが付与される。各IDでラベリングされた抑制刺激ごとに、刺激の種類や刺激のパラメータが記録される。例えば、振動刺激に関するデータには、振動素子26を指定する情報や、振動の振幅、周波数、振動パターン等のパラメータを指定する情報等が含まれる。
 刺激データベース34を用いることで、様々な抑制刺激を容易に扱うことが可能となる。
 情報処理装置40は、コンテンツ提供システム100が有する各ブロックの動作を制御する。情報処理装置40は、HMD10に搭載されてもよいし、HMD10とは別体の外部装置として構成されてもよい。情報処理装置40は、例えばCPUやメモリ(RAM、ROM)等のコンピュータに必要なハードウェア構成を有する。CPUが記憶部30に記憶されている制御プログラム31をRAMにロードして実行することにより、種々の処理が実行される。
 情報処理装置40として、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
 本実施形態では、情報処理装置40のCPUが本実施形態に係る制御プログラム31を実行することで、機能ブロックとして、コンテンツ処理部41、コンテンツ情報取得部42、ユーザ情報取得部43、酔い状態推定・予測部44、及び刺激制御部45が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが適宜用いられてもよい。
 コンテンツ処理部41は、映像コンテンツを実行する。例えばコンテンツ処理部41は、コンテンツデータベース32に格納されたアプリケーションプログラムを実行し、映像データやグラフィックデータを用いて映像コンテンツの画面を構成する動画像データを生成する。生成された動画像データは、HMD10の表示ユニット13に適宜出力される。またコンテンツ処理部41は、コントローラ20から出力されたユーザ1の入力操作の情報を読み込み、ユーザの入力操作に応じて、映像コンテンツを進行させる。
 コンテンツ情報取得部42は、映像酔いに関する映像コンテンツの情報を取得する。具体的には、映像酔いに関する映像コンテンツの特性を表すコンテンツ特性情報と、映像酔いに関する映像コンテンツの状態を表すコンテンツ状態情報とが取得される。
 コンテンツ特性情報は、上記したコンテンツデータベース32から適宜読み込まれる。
 コンテンツ状態情報は、再生中の映像コンテンツの状態(例えば背景の変化速度、アイテムやキャラクタの数、画面の輝度等)を表す情報である。これらの情報は、映像コンテンツの酔いやすさの度合い(酔いやすさレート)等を推定する際に参照される。コンテンツ状態情報は、映像酔いに関する映像コンテンツの動的な情報であると言える。
 例えば、コンテンツ処理部41から再生中のシーンのIDが取得され、シーンのIDに基づいて、そのシーンの状態(背景の変化速度等)を表す情報が読み込まれる。あるいは、再生中のシーンの状態を表す情報が、コンテンツ処理部41から直接読み込まれてもよい。
 またコンテンツ状態情報として、センサ部21の出力が読み込まれてもよい。例えば、外部カメラ23により撮影された映像から、ユーザ1の姿勢変化が検出され、背景の変化速度等が推定されてもよい。あるいは外部スピーカ等が用いられている場合には、マイク24により検出された音声からサラウンド音の変化等が推定されてもよい。
 このように、コンテンツ処理部41及びセンサ部21は、コンテンツ状態情報を出力するコンテンツセンサとして機能する。
 ユーザ情報取得部43は、映像酔いに関するユーザ1の情報を取得する。具体的には、映像酔いに関するユーザ1の特性を表すユーザ特性情報と、映像酔いに関するユーザ1の状態を表すユーザ状態情報とが取得される。
 ユーザ特性情報は、上記したユーザデータベース33から適宜読み込まれる。
 ユーザ状態情報は、映像コンテンツを見ている最中のユーザ1の状態を表す情報であり、ユーザ1の映像酔いの状態を推定・予測する際に参照される。ユーザ状態情報は、映像酔いに関するユーザ1の動的な情報であると言える。
 ユーザ状態情報には、ユーザ1の生体情報が含まれる。例えば生体センサ22により検出されたユーザ1の発汗量や心拍数等の情報や、外部カメラ23により撮影されたユーザ1の身体の揺動等の情報が、生体情報として読み込まれる。
 またユーザ状態情報として、ユーザ1によるコントローラ20の操作情報が読み込まれてもよい。操作情報は、例えばユーザ1がボタンを押す速度やタイミングといったユーザ1の反応を表す情報や、操作の履歴(操作ログ)等を表す情報である。
 またユーザ状態情報として、マイク24を用いて検出されたユーザ1の音声から、ユーザ1の発話情報が読み込まれてもよい。発話情報は、例えばユーザ1が映像コンテンツを視聴している最中に発した発話の内容を表すデータである。
 またユーザ状態情報として、ユーザ1自身により申告された申告情報が読み込まれてもよい。申告情報は、例えば健康状態に関する質問等にユーザ1が回答したデータである。
 この他、映像コンテンツを見ている最中のユーザ1の状態を表すことが可能な任意の情報が、ユーザ状態情報として用いられてよい。
 酔い状態推定・予測部44は、映像コンテンツを見ているユーザ1の映像酔いの状態を表す映像酔い情報を取得する。
 映像酔いは、例えばユーザ1が映像コンテンツを視聴することで発生する吐き気、頭痛、めまい等の体調不良である。これらの体調不良の度合いや種類は、ユーザ1ごとに個人差があり、映像コンテンツによっても異なる。
 ユーザ1の主観的には、映像コンテンツを見ている際にユーザ1が感じる症状やその度合いが映像酔いの状態となる。なお、ユーザ1が症状を自覚していない場合であっても、ユーザ1の発汗や心拍数等が変化することもあり得る。この状態は、映像酔いの予兆があらわれた状態であり、ユーザ1の映像酔いの一つの状態である。
 酔い状態推定・予測部44により取得される映像酔い情報は、このようにユーザ1に誘発される映像酔いの状態を、数値やタイプ等のパラメータを用いて客観的に表した情報である。
 例えば映像酔い情報には、ユーザ1の映像酔いの状態を表す以下の項目が含まれる。
 ・ユーザ1の映像酔いの度合い
 ・ユーザ1の映像酔いの度合いの変化タイプ
 ・ユーザ1の映像酔いの症状
 ・ユーザ1の映像酔いの症状の変化タイプ
 映像酔いの度合いとは、例えば映像酔いの進み具合を複数の段階に分けて表すパラメータである(図3参照)。あるいは、映像酔いの進み具合を数値(%表記等)で表すパラメータが用いられてもよい。
 映像酔いの度合いの変化タイプとは、例えば映像酔いの進み方のタイプ(徐々に酔いが進行するタイプや、急激に酔うタイプ等)である。
 映像酔いの症状とは、例えば映像酔いによりユーザ1が自覚する体調不良の症状(頭痛、めまい、吐き気等)である。
 映像酔いの症状の変化タイプとは、例えば症状の進み方のタイプ(最初に頭痛がして、後から吐き気がするタイプや、頭痛とめまいが同時に生じるタイプ等)である。
 本実施形態では、映像酔い情報には、映像コンテンツを見ているユーザ1の映像酔いの状態を推定した情報、又は映像酔いの状態を予測した情報の少なくとも一方が含まれる。
 ここで、映像酔いの状態を推定した情報(以下、推定情報と記載する)とは、現在の時点のユーザ1の映像酔いの状態を表す情報である。また、映像酔いの状態を予測した情報(以下、予測情報と記載する)とは、現在よりも後の時点、すなわち未来のユーザ1の映像酔いの状態を表す情報である。
 このように、酔い状態推定・予測部44は、現在及び未来の映像酔いの状態を表す推定情報及び予測情報の少なくとも一方を取得する。
 本実施形態では、酔い状態推定・予測部44は、上記したユーザ状態情報、ユーザ特性情報、コンテンツ状態情報、及びコンテンツ特性情報の少なくとも一つに基づいて、ユーザ1の映像酔いの状態を推定する推定処理を実行する。この推定処理により、ユーザ1の映像酔いの状態を推定した推定情報が生成される。
 推定処理では、例えば、現在の映像酔いの度合い、現在の症状のタイプ等が推定される。また例えば、映像酔いの度合いや症状の変化のタイプ等が推定されてもよい。この他、映像酔いの発生の有無等が推定されてもよい。
 また本実施形態では、酔い状態推定・予測部44は、上記したユーザ状態情報、ユーザ特性情報、コンテンツ状態情報、及びコンテンツ特性情報の少なくとも一つに基づいて、ユーザ1の映像酔いの状態を予測する予測処理を実行する。この予測処理により、ユーザ1の映像酔いの状態を予測した予測情報が生成される。
 予測処理では、例えば、現在よりも後の時点における、映像酔いの度合いや症状のタイプ等が予測される。例えば所定時間後(1分後、3分後、5分後等)の予測値が算出されてもよいし、予測値が一定の閾値に達するまでの時間や、症状が自覚されるようになるまでの時間等が予測されてもよい。
 なお、推定処理及び予測処理のどちらか一方を実行するような構成も可能である。この場合、推定情報又は予測情報のいずれかが、映像酔い情報として生成される。
 このように酔い状態推定・予測部44は、推定処理、又は予測処理の少なくとも一方を実行して、映像酔い情報を生成する。酔い状態推定・予測部44による推定処理、予測処理の具体的な内容については、後に詳しく説明する。
 本実施形態では、酔い状態推定・予測部44は、映像酔い情報を取得する取得部に相当する。
 刺激制御部45は、映像酔い情報に基づいて、ユーザ1に対する抑制刺激の提示を制御する。すなわち、刺激制御部45は、酔い状態推定・予測部44により推定・予測された映像酔いの状態をもとに、振動刺激や電気刺激等の映像酔いを低減する刺激(抑制刺激)を提示する方法や、刺激の内容を制御する。
 具体的には刺激制御部45は、映像酔い情報(推定情報又は予測情報)に基づいて、抑制刺激を提示するタイミング、抑制刺激の継続時間、抑制刺激のパラメータ、又は抑制刺激の種類の少なくとも1つを制御する。
 例えば抑制刺激を提示するタイミング、継続時間、及び抑制刺激の種類等は、映像酔い情報をもとに設定される。また抑制刺激のパラメータは、例えば刺激データベース34に格納されたデータが利用される。もちろん、抑制刺激のパラメータを個別に設定してもよい。
 刺激制御部45は、これらの情報をもとに、抑制刺激を提示するための信号を生成し、刺激提示部25を構成する各素子に出力する。
 一例として、抑制刺激として、振動刺激が用いられる場合を考える。この場合、ユーザ1の映像酔いを抑制するために、複数回にわたって振動刺激が提示される。この時、振動素子26を駆動するタイミング(振動刺激を提示するタイミング)や、振動素子の駆動時間(振動素子の継続時間)等が、映像酔いの状態に応じて適宜設定される。また、振動素子26に加える信号の強度、周期、波形等が適宜設定され、振動刺激の強度、周波数、パターン等が制御される。また映像酔いの状態によっては、振動刺激以外の触覚刺激や、電気刺激、音刺激、光刺激等が抑制刺激として適宜設定される。
 このように、情報処理装置40では、映像コンテンツやユーザ1の状態をもとに、ユーザ1の映像酔いの状態を推定・予測し、その結果を用いて映像酔いを低減させる抑制刺激の提示が制御される。これにより、ユーザ1の状態に応じて効果的に刺激を提示することが可能となり、映像酔いを十分に抑制することが可能となる。
 [映像酔いの度合い]
 本実施形態では、酔い状態推定・予測部44により、映像酔い情報として、ユーザ1の映像酔いの度合いを推定した情報、又は映像酔いの度合いを予測した情報の少なくとも一方を含む度合い情報が取得される。
 具体的には、推定処理及び予測処理により、映像酔いの度合いを推定した推定情報及び映像酔いの度合いを予測した予測情報が生成される。
 以下では、映像酔いの度合いを推定する推定処理を中心に説明する。
 [ユーザ状態情報を用いた映像酔いの度合いの推定・予測]
 図3は、ユーザ1の映像酔いの度合いの判定表の一例である。図3には、ユーザ情報取得部43により取得されるユーザ状態情報(ここでは、"コントローラ操作"、"発汗"、及び"心拍変動")を用いて、映像酔いの度合いを判定するための判定表が示されている。
 この表では、定常時のユーザ1の状態(すなわち映像酔いになっていない状態)を表すパラメータを基準に、現在のユーザ1の状態を表すパラメータが評価され、映像酔いの度合いが判定(推定)される。
 定常時のパラメータについては、例えばユーザ1が酔い要素の低いコンテンツを視聴した際の測定値が用いられる。
 また、映像コンテンツがゲームコンテンツである場合にはゲームジャンル(シューティングゲーム、アクションゲーム、パズルゲーム等)によって、基準となるパラメータを測定し分けてもよい。
 また、ゲームを行っている時間以外で測定したパラメータを、定常時のパラメータとして用いてもよい。例えばログインからゲーム開始前までの期間や、各種の設定を行っている期間等に測定されたパラメータが、定常時のパラメータとして用いられる。これにより、映像酔いが発生する直前の情報を基準にして、映像酔いの度合いを精度よく判定することが可能となる。
 図3に示す例では、映像酔いの度合いがレベル1~レベル4の4段階に分けられている。
 レベル1は、ユーザ1が全く酔っていない状態である。
 レベル2は、ユーザ1に映像酔いの兆候がある状態であり、例えばユーザ1が映像酔いの症状を自覚していないが、体調に変化が現れているような状態である。
 レベル3は、ユーザ1が酔い始めている状態であり、例えばユーザ1が映像酔いの症状を自覚しはじめた状態である。
 レベル4は、ユーザ1が映像コンテンツに酔った状態であり、例えばレベル3の状態に比べ、映像酔いの症状が重くなっているような状態である。
 "コントローラ操作"の項目では、ユーザ1による現在のコントローラ20の操作と、定常操作とが比較される。例えば、推定処理を実行する際に読み込まれたユーザ1の操作のタイミングや操作精度が、定常操作時のタイミングや操作精度と比較される。
 例えば、コントローラ20の操作が、履歴から予測される定常操作と同様の操作(例えば、ばらつきが3%未満)である場合、映像酔いの度合いはレベル1であると判定される。
 また、定常操作に対するコントローラ20の操作のばらつきが3%以上5%未満である場合、映像酔いの度合いはレベル2であると判定される。
 また、定常操作に対するコントローラ20の操作のばらつきが5%以上10%未満である場合、映像酔いの度合いはレベル3であると判定される。
 また、定常操作に対するコントローラ20の操作のばらつきが10%以上である場合、映像酔いの度合いはレベル4であると判定される。
 定常操作の情報は、例えば過去にユーザ1が行ったゲーム等の操作履歴をもとに設定される。操作履歴は、例えばユーザ特性情報として、適宜読み込まれる。
 また"コントローラ操作"の項目では、現在ユーザ1がプレイしているゲーム(映像コンテンツ)と、同じジャンルのゲームや類似ゲームでの操作履歴を基準にして、定常操作の情報が設定されてもよい。これにより、ジャンルによってユーザ1の操作スタイルが変化するような場合であっても、映像酔いの度合いを適正に推定することが可能となる。
 ユーザ1によるコントローラ20の操作の情報は、ユーザの操作情報の一例である。なおユーザ1によるコントローラ20の操作内容を記録した情報を用いて、映像酔いの度合いを推定することも可能である。例えば、映像コンテンツを一時停止にする操作の履歴や、ユーザ1が操作を行っていない期間等の記録は、映像コンテンツの中断を記録したログとなる。このようなログが参照され、中断の頻度が高いほど、映像酔いの度合いが高く判定される。
 図3に戻り、"発汗"の項目では、現在のユーザ1の発汗量と、定常発汗量とが比較される。これは、映像酔いに伴うユーザ1の精神性発汗を評価する処理であると言える。
 例えば、ユーザ1の発汗量が、定常発汗量に比べて3%未満で変化する場合、映像酔いの度合いはレベル1であると判定される。
 また、ユーザ1の発汗量が、定常発汗量に比べて3%以上5%未満で変化する場合、映像酔いの度合いはレベル2であると判定される。
 また、ユーザ1の発汗量が、定常発汗量に比べて5%以上10%未満で変化する場合、映像酔いの度合いはレベル3であると判定される。
 また、ユーザ1の発汗量が、定常発汗量に比べて10%以上で変化する場合、映像酔いの度合いはレベル4であると判定される。
 "心拍変動"の項目では、現在のユーザ1の心拍数の変動量(心拍変動)と、定常時の心拍数の変動量(定常心拍変動)とが比較される。
 例えば、ユーザ1の心拍変動が、定常心拍変動に比べて3%未満で変化する場合、映像酔いの度合いはレベル1であると判定される。
 また、ユーザ1の心拍変動が、定常心拍変動に比べて3%以上5%未満で変化する場合、映像酔いの度合いはレベル2であると判定される。
 また、ユーザ1の心拍変動が、定常心拍変動に比べて5%以上10%未満で変化する場合、映像酔いの度合いはレベル3であると判定される。
 また、ユーザ1の心拍変動が、定常心拍変動に比べて10%以上で変化する場合、映像酔いの度合いはレベル4であると判定される。
 ユーザ1の発汗量、心拍数(心拍変動)の情報は、ユーザ1の生体情報の一例である。
 この他、生体情報として、ユーザ1の眼球の運動量が用いられてもよい。例えば眼球の運動量や運動の頻度が大きいほど、映像酔いの度合いが高く判定される。
 また、生体情報として、ユーザ1の身体の動揺が用いられてもよい。例えばユーザ1の頭部や身体全体の揺れが大きいほど、映像酔いの度合いが高く判定される。
 また、生体情報として、ユーザ1の心電波形が用いられてもよい。心電波形を用いることで、例えばユーザ1の自律神経(交換神経及び副交感神経)の変調を検出することが可能である。この自律神経の変調が大きいほど、映像酔いの度合いが高く判定される。
 生体情報の具体的な内容は限定されず、上記したパラメータのうち一つ、又は複数を組み合わせて映像酔いの度合いが推定される。
 上記で説明した操作情報及び生体情報以外のユーザ状態情報が用いられてもよい。
 例えば、ユーザ状態情報として、ユーザ1の発話情報が用いられる。この場合、ユーザ1が映像コンテンツを見ている際に発した自由発話の内容や頻度から、映像酔いの度合いが推定される。例えば「気持ち悪い」、「酔ってきた」、「目が回る」、「頭が痛い」といった体調不良である旨の発言が多いほど、映像酔いの度合いが高く判定される。
 また、ユーザ状態情報として、ユーザ1の音声そのものの状態が用いられてもよい。この場合、ユーザ1の音声が周波数解析等により解析される。その解析結果をもとに、ユーザ1の声の状態が定常状態から逸脱しているか否かが検知される。またユーザ1の声の逸脱の度合いが検知されてもよい。例えば、ユーザ1の声のトーンが、通常のトーンから外れているような場合には、そのずれ量が大きいほど、またずれている期間が長いほど、映像酔いの度合いが高く判定される。
 また例えば、ユーザ状態情報として、ユーザ1の申告情報が用いられてもよい。例えばユーザ1に対して映像酔いの度合いを訪ねる簡易質問が映像や音声で提示される。この場合、ユーザ1が自身の酔い状態を段階的に評価した結果が、ボタンや口頭で入力され、映像酔いの度合いとして読み込まれる。このように、ユーザ1が申告した情報を用いることで、映像酔いの度合いを高精度に推定することが可能となる。
 また、映像コンテンツの体験後や、各シーンの終了後といったタイミングで、ユーザ1により自身の酔い状態がレイティングされてもよい。この場合、例えば表示ユニット13に映像酔いをレイティングするための評価画面が表示される。
 評価画面では、例えばSSQ(Simulator Sickness Questionnaire)と呼ばれる評価方式を用いて、ユーザ1の映像酔いの度合いがレイティングされる。
 SSQでは、以下の質問項目に対して4段階(0:まったくない、1:すこしある、2:中程度にある、3:大いにある)で回答する方式が採用される。
「1:全般的に気分が悪い」、「2:疲労感がある」、「3:頭痛がする」、「4:目の疲れを感じる」、「5:目の焦点が合わせにくい」、「6:唾液がよく出る」、「7:冷や汗が出る」、「8:吐き気がする」、「9:注意集中が困難である」、「10:頭重感がする」、「11:視界がぼやける」、「12:開眼で身体がふらつく」、「13:閉眼で身体がふらつく」、「14:回転性のめまいがする」、「15:胃重感がする」、「16:ゲップが出る」
 またSSQでは、これらの質問項目についての回答結果から、総合スコア(Total Score)や、悪心(Nausea)、眼精疲労(Oculomotor)、失見当識(Disorientation)といった、下位の指標が評価される。
 なお、このようなSSQに代えて、より簡易な質問項目(例えば「気持ち悪いか?」、「めまいがするか?」、「頭痛がするか?」、「吐き気がするか?」等)が用いられてもよい。
 このように、ユーザ1にレイティングされた情報は、例えば後述する履歴情報等とともに、ユーザ1の映像酔いについての履歴として、ユーザデータベース33に蓄積される。
 上記では、主に、ユーザ状態情報に基づいて、現在の映像酔いの度合いを推定する推定処理について説明した。
 ユーザ状態情報に基づいて、未来の映像酔いの度合いを予測する予測処理を実行可能である。例えばユーザ状態情報に変化があった場合に、その変化率等に基づいて、所定時間後の映像酔いの度合いが予測される。
 一例として、ユーザの発汗量が徐々に上昇している場合を考える。この場合、発汗量の上昇を表す近似曲線等を利用して、所定時間後の発汗量が算出され、その算出結果に基づいて所定時間後の映像酔いの度合いが予測される。発汗量の上昇から、映像酔いの度合いが次のレベルに変化する時刻等が予測されてもよい。同様に、他の生体情報の変化等を利用して、映像酔いの度合いを適宜予測することが可能である。
 この他、ユーザ状態情報を用いて、映像酔いの度合いを予測する方法は限定されない。
 [映像コンテンツの酔いやすさ特性]
 図4は、映像コンテンツのコンテンツ状態情報の一例を示す表である。図5は、映像コンテンツのコンテンツ特性情報の一例を示す表である。以下では、図4及び図5を参照して、映像コンテンツの酔いやすさ特性について説明する。
 映像コンテンツの酔いやすさとは、映像コンテンツについての一般的な酔いやすさであり、映像コンテンツの性質に応じて定まる特性である。映像コンテンツを視聴したユーザ1に発生する映像酔いは、映像コンテンツに関する様々な要素によって引き起こされるものと考えられる。これらの映像酔いの要因となる要素を、酔い要素と記載する。
 酔い要素は、典型的には、映像コンテンツを構成する映像及び音声の物理状態を表す要素である。例えば、映像の明るさや、映像の背景の速度、音声の変化等が、酔い要素となりえる。酔い状態推定・予測部44では、これらの酔い要素をもとに推定された映像コンテンツの酔いやすさを表す情報が取得される。
 映像酔いの要因となる酔い要素としては、様々な要素が挙げられる。
 例えば、画面の平均輝度、画面の部分ごとの輝度のばらつき、一定時間内での背景や各部分の輝度や色の変化度合い、背景の変化速度といった、画面全体や背景に係る要素が酔い要素として用いられる。
 この場合、例えば平均輝度が高いほど、あるいは輝度のばらつきが大きいほど、酔いやすいと推定される。また、背景の変化速度、輝度変化、色変化等が大きいほど、酔いやすいと推定される。
 また、表示されるアイテムやキャラクタ等のオブジェクトの数、画面内を移動するオブジェクトの比率、移動速度、各オブジェクトの画面に対する色の変化度合いや変化速度といった、画面内に表示されるオブジェクトに係る要素が酔い要素として用いられてもよい。
 この場合、アイテムやキャラクタ等のオブジェクトの数が多いほど、ユーザ1の視点移動が増えるため、酔いやすいと推定される。同様に、動くオブジェクトの比率が多いほど、酔いやすいと推定される。また、オブジェクトの移動速度や色変化の度合いや速度が大きいほど、酔いやすいと推定される。
 また、映像コンテンツのシーン切り替え頻度、遷移シーンの変化度合といった、シーンの変化に係る要素が酔い要素として用いられてもよい。
 この場合、シーン切り替え頻度が高いほど、酔いやすいと推定される。またシーンの切り替え方として、視野がリニアに動く方が、画面切り替えにより視野がステップ的に動くよりも酔いやすいと推定される。
 映像の物理状態だけでなく、音の変化や触覚刺激の変化等を酔いやすさの推定に用いることも可能である。例えば、音の大きさや種類の切り替え頻度や、サラウンド音の移動量、触覚刺激の変化量等が酔い要素として用いられる。
 この場合、音の切り替え頻度が多いほど、酔いやすいと推定される。またサラウンド音の移動量、触覚刺激の変化等が大きいほど、酔いやすいと推定される。
 このように、基本的には、映像及び音声の物理状態の変化が大きいほど、その映像コンテンツは酔いやすいと推定される。
 酔いやすさ特性は、ユーザ1が映像コンテンツを視聴しているタイミングでリアルタイムに推定してもよいし、予め推定しておいて適宜読み込んでもよい。
 まず、酔い要素の情報を使って、酔いやすさ特性をリアルタイムで推定する方法について説明する。
 図4Aの表には、タイミングt1、t2、・・・において読み込まれたコンテンツ状態情報が示されており、図4Bの表には、タイミングt1、t2、・・・で推定された映像コンテンツの酔いやすさ特性が示されている。
 図4Aのコンテンツ状態情報の表に示す"酔い要素の値"は、要素1、要素2、・・・の値(物理量や、その変化の度合い等)である。例えば要素1の値の範囲は0以上1以下であり、要素2の値の範囲は0以上100以下である。また、各タイミングにおける映像コンテンツのシーンが判定され、シーンID(ID=A、B、C、・・・)が紐づけられる。例えば、t1~t5は、シーンAであり、t6~t10はシーンBであり、t11~t15はシーンCである。
 酔い状態推定・予測部44では、このように各タイミングで"酔い要素の値"が読み込まれ、酔い要素の状態に応じた映像コンテンツの酔いやすさが推定される。図4Bの酔いやすさ特性の表に示す"酔いやすさ"は、要素1、要素2、・・・について推定された酔いやすさ(ここでは0~4までの5段階表記とする)の値である。
 例えば、タイミングt1では、要素1の値は0であり、要素1に関する酔いやすさは0と推定される。一方で要素2の値は10であり、要素2に関する酔いやすさは1と推定される。ここでは、各要素の酔いやすさの最大値が、そのタイミングにおける酔いやすさの総合値として用いられる。タイミングt1では、酔いやすさの総合値は1である。
 また例えば、タイミングt6では、要素1に関する酔いやすさが4となり、要素2に関する酔いやすさが2となる。この結果、タイミングt6での酔いやすさの総合値は4となる。
 このように、コンテンツ状態情報には、再生中の映像コンテンツにおいて映像酔いの要因となる酔い要素の情報が含まれる。酔い状態推定・予測部44は、このコンテンツ状態情報に含まれる酔い要素の情報に基づいて、再生中の映像コンテンツに関する酔いやすさ特性を推定する。
 これにより、例えばユーザ1の操作等により映像コンテンツの映像や音声等が変化する場合であっても、その酔いやすさを確実に推定することが可能となる。
 次に、予め推定された酔いやすさ特性を用いて、現在の酔いやすさを推定する方法について説明する。
 図5の表には、映像コンテンツのシーンA、B、C、・・・における酔いやすさ特性を記録したコンテンツ特性情報が示されている。このコンテンツ特性情報は、例えばユーザ1が実際に映像コンテンツを体験する前に、映像コンテンツの特性をもとに推定された情報である。ここでは、シーンA、B、Cに関する酔いやすさ特性が、図4に示すシーンA、B、Cの特性と一致している。
 例えば、ユーザ1が前回プレイした際に、リアルタイムで推定された酔いやすさ特性(コンテンツ状態情報)を記録することで、コンテンツ特性情報を構築することが可能である。また例えば、映像コンテンツの制作時に酔いやすさ特性を評価しておいてもよい。
 図5に示す例では、シーンごとに、酔いやすさの総合値と、要素ごとの酔いやすさの値が記録されている。例えば、酔いやすさの総合値だけを記録してもよいし、要素ごとの酔いやすさの値だけを記録してもよい。
 また、必ずしもシーンごとに酔いやすさを記録する必要はない。例えば、シーンごとに判定した酔いやすさの値から代表値(平均値や最大値等)を求め、コンテンツ単位で酔いやすさを定義してもよい。
 これらの値は、コンテンツデータベース32に蓄積され、処理に必要なタイミングで適宜読み込まれる。
 このように、コンテンツ特性情報には、映像コンテンツのシーンごと又はコンテンツ全体について、予め推定された映像コンテンツに関する酔いやすさ特性の情報が含まれる。酔い状態推定・予測部44は、このコンテンツ特性情報に含まれる酔いやすさ特性を読み込み、再生中の映像コンテンツに関する酔いやすさ特性を取得する。
 この処理は、各タイミングで酔いやすさ特性を実際に推定する必要がないため、処理負荷を十分に低減することが可能となる。
 [酔いやすさ特性と履歴情報とを用いた映像酔いの度合いの推定・予測]
 図6は、ユーザ1の映像酔いに関する履歴情報の一例を示す表である。
 履歴情報は、ユーザの過去の視聴体験において発生した映像酔いの状態とその視聴体験における酔いやすさ特性とを関連づけて記録した情報である。履歴情報は、ユーザ特性情報としてユーザデータベース33に格納される。
 履歴情報を記録する際に用いられるコンテンツ(以下では体験済みコンテンツと記載する)は、ユーザ1が体験中の映像コンテンツでもよいし、全く別のコンテンツでもよい。
 ここでは、上記した酔いやすさ特性と、履歴情報とを用いて、映像酔いの度合いを推定・予測する方法について説明する。
 図6には、所定の時間間隔(ここでは1分間隔)で記録された履歴情報が示されている。この履歴情報には、ユーザ1の"酔い状態"として、酔い状態の度合いと各症状の有無とが記録されている。なお、症状に関するデータは、例えばユーザ1による申告や、自由発話の内容、生体情報等をもとに推定して記録される。
 また履歴情報には、体験済みコンテンツの"酔いやすさ"として、酔いやすさの総合値と要素ごとの酔いやすさの値とが記録されている。
 すなわち、履歴情報は、体験済みコンテンツの視聴時における、ユーザ状態情報と、コンテンツ状態情報とを記録した情報であると言える。
 例えば履歴情報の"酔い状態"の項目からは、映像酔いの度合いの変化タイプを読み取ることが可能である。図6に示す例では、体験開始後4分の時点で、映像酔いの度合いがレベル2となり、映像酔いの兆候が表れる。その直後、体験開始後5分の時点で、映像酔いの度合いがレベル3となりユーザ1が酔いはじめる。そして、体験開始後14分には、映像酔いの度合いがレベル4となる。従ってこのユーザ1は、兆候状態が短く、徐々に症状が重くなるタイプであると言える。
 ユーザデータベース33には、様々な映像コンテンツで記録された履歴情報が蓄積される。酔い状態推定・予測部44では、蓄積された履歴情報をもとに、映像酔いの度合いが推定・予測される。
 例えばユーザ1の映像酔い状態の履歴情報を学習データとして、ユーザ1の映像酔いの度合いと、コンテンツの酔いやすいさ特性との関連性を学習した学習器が構築される。学習器に用いるアルゴリズムは限定されず、任意の機械学習アルゴリズムが用いられてよい。この学習器に、現在再生されている映像コンテンツの酔いやすさ特性を入力することで、現在のユーザ1の映像酔いの度合いが推定される。また、学習器を適宜構成することで、所定時間後の映像酔いの度合いを予測することや、映像酔いの度合いが変化するタイミング等を予測することが可能である。
 なお、機械学習の手法に代えて、ルールベースのアルゴリズム等を用いて映像酔いの度合いを推定・予測する処理が実行されてもよい。
 このように、本実施形態では、酔い状態推定・予測部44により、再生中の映像コンテンツに関する酔いやすさ特性と、履歴情報とに基づいて、映像酔い情報(映像酔いの度合いの推定情報や予測情報)が生成される。
 これにより、ユーザ1及び映像コンテンツの各々の特性から、映像コンテンツによって誘発されるユーザ1の映像酔いの度合いを推定することが可能となり、映像酔いの度合いの推定精度を大幅に向上することが可能となる。
 ユーザ特性情報(履歴情報等)を用いずに、映像コンテンツに関する酔いやすさ特性から、ユーザ1の映像酔いの度合いを推定・予測してもよい。この場合、コンテンツ状態情報から推定される酔いやすさ特性や、コンテンツ特性情報として記録された酔いやすさ特性が、推定処理や予測処理を実行する際に適宜参照される。
 例えば、現在再生されているシーンの酔いやすさ特性が高いほど、現在のユーザ1の映像酔いの度合いが高いと推定される。また例えば、これから再生されるシーンの酔いやすさ特性が高いほど、そのシーンが再生される際のユーザ1の映像酔いの度合いが高くなると予測される。これにより、例えばユーザ1の履歴情報が蓄積されておらず、履歴情報が使えない場合等であっても、ユーザ1の映像酔いの度合いを推定・予測することが可能となる。
 また、酔いやすさ特性を用いずに、ユーザ特性情報から、ユーザ1の映像酔いの度合いを推定・予測してもよい。例えばユーザ特性情報から映像酔いの度合いの変化タイプが判定される。そして判定された映像酔いの度合いの変化タイプを基準として、映像コンテンツの視聴時間(経過時間)等から映像酔いの度合いが推定・予測される。
 この他、映像酔いの度合いの推定処理・予測処理の具体的な内容は限定されない。例えばユーザ状態情報、ユーザ特性情報、コンテンツ状態情報、及びコンテンツ特性情報の少なくとも1つ、又はこれらの組み合わせに基づいて、映像酔いの度合いを推定・予測する任意の処理が実行されてよい。
 [映像酔いの症状の推定・予測]
 上記では、主にユーザ1の映像酔いの度合いを推定する方法について説明した。映像酔いの度合いだけでなく、どのような映像酔いの症状が生じるのかを推定・予測することも可能である。
 本実施形態では、酔い状態推定・予測部44により、映像酔い情報として、ユーザ1の映像酔いの症状を推定した情報、又は映像酔いの症状を予測した情報の少なくとも一方を含む症状情報が取得される。
 具体的には、推定処理及び予測処理により、ユーザ1の映像酔いの症状を推定した推定情報及び映像酔いの症状を予測した予測情報が生成される。
 例えば図6等を参照して説明した履歴情報を学習データとして、ユーザ1の映像酔いの症状と、コンテンツの酔いやすいさ特性との関連性を学習した学習器が構築される。この学習器は、例えば再生中の映像コンテンツの酔いやすさ特性を入力として、現在のユーザ1の映像酔いの症状を推定するように構成される。また、学習器を適宜構成することで、所定時間後の映像酔いの症状を予測することや、映像酔いの症状が変化するタイミング等を予測することも可能である。
 なお、機械学習の手法に代えて、ルールベースのアルゴリズム等を用いて映像酔いの症状を推定・予測する処理が実行されてもよい。
 また、ユーザ状態情報(生体情報、操作情報、発話情報、申告情報等)をもとに、映像酔いの症状が推定されてもよい。例えば各生体センサ22や外部カメラ23の出力をもとに、頭痛、めまい、吐き気等の有無が推定される。あるいはユーザ1の発話内容から、映像酔いの症状が推定される。
 ユーザ1の映像酔いの症状のみならず、映像酔いの症状がどのように変化するのかといった情報(映像酔いの症状の変化タイプ)を推定することも可能である。
 例えば図6に示す履歴情報の"酔い状態"の項目からは、映像酔いの症状の変化タイプを読み取ることが可能である。図6に示す例では、ユーザ1に映像酔いの兆候が表れた直後にめまいが発生し、その後症状の進行にともない頭痛が発生する、すなわちユーザ1は、めまいが続いた後で頭痛が発生し、頭痛の発生に伴い症状が重くなるタイプであると言える。
 このような映像酔いの症状の変化タイプを基準として、映像コンテンツの視聴時間(経過時間)等から映像酔いの症状が推定・予測されてもよい。
 この他、映像酔いの症状の推定処理・予測処理の具体的な内容は限定されない。
 [コンテンツ提供システムの動作]
 図7は、コンテンツ提供システム100の動作例を示すフローチャートである。図7に示す処理は、例えば映像コンテンツの再生中に繰り返し実行されるループ処理である映像コンテンツを再生する処理はコンテンツ処理部により実行され、そのバックグラウンドで図7に示すループ処理が実行される。
 まず、ユーザ情報取得部43により、コンテンツ提供システム100を使用するユーザ1に関するユーザ特性情報が取得される(ステップ101)。具体的には、ユーザデータベース33に格納されたユーザ特性情報(図6に示す履歴情報等)が適宜読み込まれる。
 次に、コンテンツ情報取得部42により、コンテンツ提供システム100で再生される映像コンテンツに関するコンテンツ特性情報が取得される(ステップ102)。具体的には、コンテンツデータベース32に格納されたコンテンツ特性情報(図5に示す映像コンテンツの酔いやすさ特性等)が適宜読み込まれる。
 なおステップ101及び102の処理は、映像コンテンツの進行状況(例えばシーンの切り替わり等)に応じて、適宜実行されてよい。
 次に、ユーザ情報取得部43により、ユーザ1の現在の状態を表すユーザ状態情報が取得される(ステップ103)。例えば、映像コンテンツを見ている最中のユーザ1を測定した生体センサ22等の出力や、ユーザ1の自由発話の内容等のデータが読み込まれる。
 次に、コンテンツ情報取得部42により、映像コンテンツの現在の状態を表すコンテンツ状態情報が取得される(ステップ104)。例えば、映像コンテンツの再生中のシーンIDや、画面の変化やキャラクタの数といった酔い要素の状態を表す情報が、コンテンツ処理部41から読み込まれる。
 次に、酔い状態推定・予測部44により、ユーザ1の映像酔いの状態についての推定処理又は予測処理の少なくとも一方が実行される(ステップ105)。具体的には、ステップ101~104で取得したユーザ特性情報、ユーザ状態情報、コンテンツ特性情報、及びコンテンツ状態情報の少なくとも1つをもとに、図3~図6等を参照して説明した推定処理や予測処理が実行される。
 推定処理では、例えばユーザ1の映像酔いの度合いや症状が推定される。また予測処理では、例えば所定時間後の映像酔いの度合いや症状が予測される。この他、映像酔いの度合いの変化タイプや、症状の変化タイプが判定されてもよい。これらの情報は、ユーザ1の映像酔いの状態を表す映像酔い情報として、刺激制御部45に出力される。
 次に、刺激制御部45により、ユーザ1の映像酔い情報に基づいて、映像酔いを抑制する抑制刺激が選択・生成される(ステップ106)。
 抑制刺激を選択する処理では、映像酔いの状態の推定値や予測値に基づいて、刺激データベース34から、ユーザ1に提示する抑制刺激が選択される。これにより、抑制刺激の種類(パターン)、パラメータ、提示部位等を容易に設定することが可能である。
 抑制刺激を生成する処理では、映像酔いの状態の推定値や予測値に基づいて、ユーザ1に提示する抑制刺激の種類、パラメータ、提示部位等が算出される。例えば刺激データベース34に格納された抑制刺激のデータを調整してもよいし、新たに抑制刺激のデータを生成してもよい。
 さらにステップ106では、映像酔いの状態の推定値や予測値に基づいて、抑制刺激を提示するタイミング・継続時間等が算出される。例えば振動刺激を用いる場合、振動を開始するタイミング、振動を継続する時間等が算出される。あるいは、振動刺激の繰り返し回数や、インターバル等が設定されてもよい。
 本実施形態では、映像酔いの度合いを表す度合い情報に応じて、ユーザ1に対する抑制刺激の提示が制御される。
 例えば映像酔いの度合いに応じて、抑制刺激を提示するか否かが判定される。また映像酔いの度合いに応じて、抑制刺激の強度や種類等が設定される。あるいは、映像酔いの度合いに応じて、抑制刺激の提示部位や頻度等が設定されてもよい。
 また映像酔いの症状を表す症状情報に応じて、ユーザ1に対する抑制刺激の提示が制御されてもよい。
 例えば映像酔いの症状に応じて、抑制刺激の強度や種類等が設定される。あるいは、映像酔いの症状に応じて、抑制刺激の提示部位や頻度等が設定されてもよい。
 抑制刺激の提示制御については、図8~図13等を参照して具体的に説明する。
 次に、コンテンツ提供システム100に設けられた刺激提示部25により、抑制刺激が提示される(ステップ107)。具体的には、刺激制御部45により、ステップ106で選択・生成された抑制刺激のデータから、抑制刺激を提示するための信号が生成され、刺激提示部25を構成する各素子に出力される。この時、各素子に対する信号出力のタイミングや期間等を調整することで、抑制刺激を提示するタイミングや継続時間が制御される。
 抑制刺激が提示されると、映像コンテンツが終了したか否かが判定される(ステップ108)。映像コンテンツが終了していない場合(ステップ108のNo)、ステップ103以降の処理が再度実行される。また映像コンテンツが終了した場合(ステップ108のYes)、図7に示す処理が終了する。
 [映像酔いの状態に応じた抑制刺激の提示制御]
 ユーザ1の映像酔い情報を用いて抑制刺激の提示を制御する方法について説明する。
 以下では、抑制刺激の一例として、振動素子26により提示される振動刺激を例に挙げて説明する。
 この場合、映像酔いの状態に応じて、振動刺激のタイプ(パターン)が設定される。例えば、一定周期の振動刺激、不規則な振動刺激、徐々に増強する振動刺激、あるいは徐々に減弱する振動刺激等のパターンが設定される。
 また、映像酔いの状態に応じて、振動に関するパラメータ(強度、振動数、提示部位)や、振動刺激を提示するタイミング、継続時間等が設定される。
 なお、振動刺激以外の刺激(電気刺激等)を抑制刺激として用いる場合であっても、以下に説明する内容は適用可能である。
 [推定値に応じた抑制刺激の提示制御]
 図8は、酔い状態の推定情報を用いた刺激提示の一例を示すタイムチャートである。図8の上段のグラフは、タイミングtでのユーザ1の映像酔いの度合いの推定値を示すグラフであり、縦軸は推定値のレベル(レベル1~レベル4)を表している。また図8の下段のグラフは、タイミングtでの振動刺激の制御信号を示すグラフであり、縦軸は振動刺激の強度を表している。
 本実施形態では、刺激制御部45により、度合い情報が表す映像酔いの度合いが所定のレベルに達した場合に、ユーザ1に対する振動刺激(抑制刺激)の提示が開始される。すなわち、映像酔いの度合いが上昇して閾値となる所定のレベルを超えると、ユーザ1に振動刺激が提示される。また映像酔いの度合いが所定のレベル以下である場合には、振動刺激は提示されない。これにより、余分な刺激等が提示されるといった事態を回避することができる。
 所定のレベルは、ユーザ1の映像酔いの予兆が表われるレベルに設定される。
 本実施形態では、所定のレベルは、レベル2に設定される。すなわち、ユーザ1が映像酔いの症状を自覚していないが、体調に変化があらわれた時点で、振動刺激(抑制刺激)の提示が開始される。
 このように、症状が自覚されていない映像酔いの初期の段階から、刺激を提示することで、映像酔いの進行を遅らせることや、症状を軽くすることが可能な場合がある。また症状の発生を回避することが可能となる場合もある。。
 図8に示す例では、タイミングt1において、ユーザ1の映像酔いの度合いがレベル2であると推定される。この場合、刺激制御部45により、振動刺激を提示する処理が開始される。なお、タイミングt1では、ユーザ1は映像酔いの症状を自覚していないものと考えられる。そこで図8では、t1以降に提示される振動刺激の強度及び頻度が比較的小さく設定され、振動が目立たないように提示される。これにより、ユーザ1の映像体験を阻害することなく、映像酔いを抑制することが可能となる。
 また、図8に示す例では、タイミングt2において、ユーザ1の映像酔いの度合いがレベル3であると推定される。この場合、ユーザ1は映像酔いの症状を感じ始めているものと考えられる。そこで、図8では、t2以降に提示される振動刺激の強度及び頻度が、それまでの振動刺激に比べて大きく設定される。これにより、映像酔いの進行を効果的に抑制することが可能となる。このように、映像酔いの度合いに応じて、振動刺激のパラメータが変更されてもよい。
 このように、酔い状態の推定情報を用いた刺激提示では、ユーザ1の現在の映像酔いの度合いに応じて、振動刺激の提示が即応的に制御される。これにより、映像酔いの状態の変化に合わせて、抑制刺激を確実に提示することが可能となり、映像酔いを十分に抑制することが可能となる。
 [予測値に応じた抑制刺激の提示制御]
 図9は、酔い状態の予測情報を用いた刺激提示の一例を示すタイムチャートである。ここでは、予測処理の一例として、所定時間(ΔT0)後のユーザ1の映像酔いの度合いの予測値が算出されるものとする。
 図9の上段のグラフは、タイミングtにおいて予測された映像酔いの度合いの予測値を示すグラフであり、縦軸は予測値のレベル(レベル1~レベル4)を表している。また図9の下段のグラフは、タイミングtでの振動刺激の制御信号を示すグラフであり、縦軸は振動刺激の強度を表している。
 図9に示す例では、タイミングt1の時点で、ΔT0後に、ユーザ1の映像酔いの度合いがレベル2に上がると予測される。この場合、刺激制御部45は、振動刺激を提示するタイミングt1'を、映像酔いの度合いがレベル2に達するタイミング(t1+ΔT0)よりも前の時点に設定する。ここでは、t1'=(t1+ΔT0)-ΔT1に設定される。ここで、
ΔT1は、ΔT0以下の定数である。ΔT1は、例えばユーザ1の映像酔いの度合いの変化タイプ等に応じて設定されてもよいし、デフォルトの値が用いられてもよい。
 これにより、映像酔いの予兆に先がけて、振動刺激を提示することが可能となる。このような処理により、映像酔いの進行を十分に遅らせるといった効果が期待される。
 また、図9に示す例では、タイミングt2の時点で、タイミング(t2+ΔT0)にユーザ1の映像酔いの度合いがレベル3に上がると予測される。この場合、映像酔いの度合いがレベル3になるタイミングに先がけて、振動刺激の強度及び頻度を増加する制御が行われる。この制御が行われるタイミングt2'は、定数ΔT2を用いて、t2'=(t1+ΔT0)-ΔT2に設定される。
 これにより、ユーザ1が映像酔いの症状を自覚するタイミングを十分に遅らせるといった効果が期待される。
 [抑制刺激の提示制御例]
 図10~図13は、刺激提示の一例を示すタイムチャートである。以下では、図10~図13を参照して、映像酔いの状態に応じて抑制刺激を提示する際の制御例についてそれぞれ説明する。なお、ここでは主に映像酔いに関する推定情報を用いる場合について説明するが、以下の説明は予測情報を用いる場合にも適宜適用可能である。
 図10では、映像酔いの症状に合わせて振動刺激が提示される。図10の上段には、ユーザ1の映像酔いの症状(頭痛、めまい、吐き気)の推定結果が図示されている。また、図10の下段には、振動刺激の制御信号を示すグラフが図示されている。
 例えば、映像酔いの症状のタイプにより、酔いの低減に効果のある刺激が異なることが考えられる。そこで、本実施形態では、刺激制御部45により、映像酔いの症状に応じて、ユーザ1に提示する抑制刺激の種類が設定される。これにより、映像酔いの症状にあった抑制刺激を提示することが可能となり、映像酔いの抑制効果を高めることが可能となる。
 ここでは、例えば抑制刺激の種類として、振動刺激のタイプ(振動パターン)や、提示部位が、映像酔いの症状に応じて設定される。また、振動刺激に代えて、圧覚刺激、温冷刺激、電気刺激、音刺激、光刺激等の他の刺激が設定されてもよい。
 図10に示す例では、タイミングt1においてユーザ1がめまいを感じていると推定され、タイプ1の振動刺激の提示が開始される。その後、タイミングt2においてユーザが頭痛を感じていると推定され、振動刺激の種類がタイプ1からタイプ2に変更される。さらにタイミングt3においてユーザが吐き気を感じていると推定され、振動刺激の種類がタイプ2からタイプ3に変更される。
 映像酔いの症状と、刺激のタイプとの対応関係は、例えばユーザの特性や履歴情報に基づいて特定することが可能である。例えば、ユーザ1に対して過去に刺激を提示した際に、症状の悪化を防ぐ効果や映像酔いの低減効果の高かった刺激が特定され、ユーザ特性情報として記録される。
 このように、本実施形態では、ユーザ1の映像酔いに対する抑制効果が高い刺激の情報が取得され、ユーザ1に対して抑制効果が高い刺激が提示される。これにより、映像酔いの状態を効果的に抑制することが可能となる。
 図11では、映像酔いの度合いの変化タイプに合わせて振動刺激が提示される。図11A及ぶ図11Bの上段には、ユーザ1の映像酔いの度合いの推定結果が図示されており、各図の下段には、振動刺激の制御信号を示すグラフが図示されている。図11A及び図11Bは、映像酔いの度合いの変化タイプが互いに異なるユーザ1を対象とした振動刺激の制御例である。
 本実施形態では、映像酔いの度合いの変化タイプに応じて、抑制刺激を提示するタイミングが設定される。映像酔いの度合いの変化タイプは、例えばユーザ1の履歴情報に基づいて判定することが可能である(図6参照)。刺激制御部は、現在のユーザ1についての映像酔いの度合いの変化タイプを判定し、その判定結果をもとに、抑制刺激を提示するタイミングを調整する。
 これにより、ユーザ1の映像酔いの進行にあったタイミングで抑制刺激を提示することが可能となる。この結果、例えば抑制刺激の提示が遅れるといった事態や、不必要に早い段階から抑制刺激を提示するといった事態を回避することが可能となる。
 図11Aには、映像酔いの度合いが急激に増加するタイプのユーザ1に提示する振動刺激の制御例が図示されている。このユーザ1は、例えばタイミングt1で映像酔いの度合いがレベル2に上がった後、比較的短時間の内に映像酔いの度合いがレベル3に上がる。
 このように、映像酔いの度合いが急激に変化するユーザ1については、振動刺激をすぐに提示することが好ましい。このため、図11Aでは、映像酔いの兆候があると推定された時点(タイミングt1)で、振動刺激の提示が開始される。
 一方で図11Bには、映像酔いの度合いが徐々に増加するタイプのユーザ1に提示する振動刺激の制御例が図示されている。このユーザ1は、タイミングt1で映像酔いの度合いがレベル2に上がった後、比較的長い期間レベル2を維持し、その後で映像酔いの度合いがレベル3に上がる。
 このように、映像酔いの兆候が長引くユーザ1に対して、振動刺激を早い段階で提示してしまうと、ユーザ1の視聴体験を不必要に阻害してしまう恐れがある。このため、図11Bでは、図11Aでは、映像酔いの兆候があると推定された時点(タイミングt1)から一定の遅延時間(Delay)が経過したタイミングt1'に振動刺激の提示が開始される。
 遅延時間を設定する方法は限定されず、例えばユーザ1の過去の履歴等に応じて適宜設定されてよい。
 図12では、ユーザ1の慣れを考慮して振動刺激が変更される。図12A及ぶ図12Bの上段には、映像コンテンツのシーンの切り替わりが模式的に図示されており、各図の下段には、振動刺激の制御信号を示すグラフが図示されている。ここでは、例えば映像酔いの度合いが一定のレベルに達しており、一定の間隔で振動刺激を提示する制御が行われているものとする。
 図12Aでは、映像コンテンツのシーン(シーンA、B、C・・・)に応じて、振動刺激のタイプが変更される。例えばシーンAが再生される場合には、タイプ1の振動刺激が提示され、シーンBが再生される場合には、タイプ2の振動刺激が提示され、シーンCが再生される場合には、タイプ3の振動刺激が提示される。
 なお振動刺激の場合、タイプ(振動パターン)以外にも、周波数、強度、提示位置といったパラメータがシーンごとに変更されてもよい。
 もちろん、振動刺激のタイプ等を変更するだけでなく、抑制刺激の種類そのものを変更してもよい。
 このように、本実施形態では、刺激制御部45により、映像コンテンツのシーンごとに、ユーザ1に対して提示する抑制刺激が変更される。各シーンと抑制刺激との対応関係は、任意に設定されてよい。
 例えば、映像コンテンツの制作時に、一般的な酔いやすさ(コンテンツ特性情報)が推定される。そして、シーンごとの推定値に合わせて映像酔いの抑制刺激を付与した映像コンテンツが制作されてもよい。
 また、映像コンテンツの特性や製作上の制約に応じて、対応する抑制刺激の種類や刺激パターンが設定されていてもよい。例えば、コンテンツの演出として刺激(コンテンツ刺激)を提示するようなシーンでは、コンテンツ刺激と抑制刺激とが混同されないように、抑制刺激の提示部位をずらすといった設定が可能である。また比較的静かなシーンでは、強度を落とした気付かれにくい刺激を提示するといった設定も可能である。
 なお、必ずしも抑制刺激とシーンとを対応づける必要はなく、シーンの切り替えに合わせて所定の順番で抑制刺激が切り替えられてもよい。
 シーンごとに抑制刺激変更することで、ユーザ1が抑制刺激に慣れてしまうといった事態を回避し、映像酔いの抑制効果を自然に維持することが可能となる。
 図12Bでは、所定の時間間隔ΔTで、振動刺激のタイプが変更される。この例では、タイプ1、タイプ2、及びタイプ3の振動刺激が、この順番で切り替えて用いられる。また切替のタイミングが来るまでは、同一タイプの振動刺激が所定のインターバルを開けて提示される。ここでは、ΔTの間に同一タイプの振動刺激が4回提示される。
 これに限定されず、例えばΔTを振動刺激のインターバルに設定し、毎回刺激のタイプが変更されるような設定も可能である。また刺激は一定の順番を繰り返す代わりに、ランダムに選択して用いてもよい。
 このように、刺激制御部45により、所定の時間間隔ΔTごとに、ユーザ1に対して提示する抑制刺激が変更されてもよい。
 これにより、例えば複数の抑制刺激をまんべんなくユーザ1に提示するといった処理を容易に実現することが可能となる。この結果、ユーザ1が抑制刺激に慣れてしまうといった事態を回避し、映像酔いの抑制効果を容易に維持することが可能となる。
 図13では、ユーザ1に対する振動刺激の効果に応じて、ユーザ1に提示する振動刺激が選択される。図13A及ぶ図13Bの上段には、ユーザ1の映像酔いの度合いの推定結果が図示されており、各図の下段には、振動刺激の制御信号を示すグラフが図示されている。ここでは、タイミングt1で振動刺激の提示が開始されるものとする。
 図13A及び図13Bは、同一の刺激に対する映像酔いの抑制効果のタイプが互いに異なるユーザ1を対象とした振動刺激の制御例である。
 本実施形態では、ユーザ1に対して、同一の抑制刺激による映像酔いの抑制効果が継続するか否かが判定される。そして、抑制効果が継続する場合、ユーザ1に対して同一の抑制刺激が継続して提示される。また抑制効果が継続しない場合、ユーザ1に提示する抑制刺激の種類が変更される。
 ユーザ1が同一の抑制刺激による抑制効果が継続するタイプであるか否かは、例えばユーザ1の履歴情報に基づいて判定することが可能である。例えばユーザ1の過去の履歴において、同じ刺激によって映像酔いの進行がどの程度抑えられたかが判定される。
 図13Aには、同一の抑制刺激による映像酔いの抑制効果が継続するタイプのユーザ1に提示する振動刺激の制御例が図示されている。このユーザ1は、同じ振動刺激が継続される場合でも、抑制効果が継続する。このため、刺激制御部45は、同じタイプの振動刺激を継続してユーザ1に提示する。
 一方で図13Bには、同一の抑制刺激による映像酔いの抑制効果が継続しないタイプのユーザ1に提示する振動刺激の制御例が図示されている。このユーザ1は、同じ振動刺激を継続して提示すると、抑制効果が低下してしまう可能性がある。このため、刺激制御部45は、振動刺激のタイプを変更して、ユーザ1が刺激に慣れてしまうといった事態を回避する。これにより、同じ刺激を提示し続ける場合と比べ、抑制効果を高め映像酔いの進行を十分に遅らせるといったことが可能となる。
 また、ユーザ1によっては、映像酔いが発症する前後で抑制刺激の効果が変化することがあり得る。ここで、映像酔いの発症とは、例えばユーザ1が映像酔いの症状を自覚した状態である。例えば、映像酔いが発症すると、映像酔いの度合いがレベル2の予兆段階から、レベル3の酔いはじめの段階となる。
 このような映像酔いが発症した後では、ユーザ1によっては抑制刺激が効果を持ちにくくなる場合がある。一方で、映像酔いが発症した後でも、抑制刺激による抑制効果が維持されるようなタイプもあり得る。このように映像酔いの発症後の抑制効果に応じて、抑制刺激の提示を制御してもよい。
 例えば、映像酔いが発症してからも効果が低減しないユーザ1については、発症してからも抑制刺激の提示が続けられる。これにより、ユーザ1が酔い始めた後でも、映像酔いの度合いが悪化するといった事態を回避することが可能である。
 また例えば、映像酔いが発症してしまうと、抑制効果が低下するユーザ1については、抑制刺激の種類が変更される。これにより、同一の刺激を提示し続ける場合と比べ、抑制効果を高めることができる。また抑制効果が低下するユーザ1については、抑制刺激の提示を中止してもよい。
 また、抑制刺激が効果を持ちにくいユーザ1については、映像コンテンツの臨場感等を損なう刺激は提示をさけるといった制御も可能である。これにより、効果の低い刺激を提示して、ユーザ1の視聴体験を不必要に阻害するといった事態を回避することが可能である。
 以上、本実施形態に係る情報処理装置40では、映像コンテンツを見ているユーザ1に抑制刺激が提示される。このとき、ユーザ1への要請刺激の提示は、ユーザ1の映像酔い状態を推定・予測した情報をもとに制御される。これにより、ユーザ1の状態にあった抑制刺激の提示等が可能となり、ユーザ1の映像酔いを十分に抑制することが可能となる。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記の実施形態では、コンテンツ特性情報として、映像コンテンツの酔い要素等の状態から推定された酔いやすさ特性(図5等参照)の情報が用いられた。
 これに限定されず、他のユーザが映像コンテンツを視聴した際の映像酔いのデータ等が、コンテンツ特性情報として用いられてもよい。
 例えば、映像コンテンツのリリース前に、ある程度の規模のテストユーザを対象として、実際の酔い状態を取得してもよい。すなわち、テストユーザに発生した映像酔いの特性(テストユーザの履歴情報)が、映像コンテンツの特性として用いられてもよい。この場合、テストユーザの映像酔いの状態(度合いや症状)から、コンテンツ全体やシーンごとの酔いやすさ特性が推定され、リリースされる映像コンテンツに付与される。
 また例えば、映像コンテンツのリリース直後に、初期のユーザのデータから酔い状態を取得し、それ以降のユーザが利用できるように映像コンテンツに付与してもよい。すなわち、映像コンテンツの酔いやすさ特性として、初期ユーザの映像酔いの情報が用いられてもよい。この場合、映像コンテンツに付与されるデータは、一定期間ごとに更新される。
 また、性別、年齢、地域、人種等によって、映像酔いの特性に差があるかどうかを分析し、酔い状態の推定に用いてもよい。
 また本技術は、ユーザ個人の映像酔いの特性を記録した履歴情報等のデータベースを構築する記録ツールとしても機能する。このように蓄積された、個人の酔い特性を用いることで、例えば対象者が他の映像コンテンツを視聴した場合に生じる、映像酔いの状態を推定するといったことも可能である。
 これにより、例えば対象者が映像コンテンツを購買する際に、酔わないコンテンツ(酔いにくいコンテンツ)をおすすめすることが可能となる。
 また、映像コンテンツの選択時に、推定される映像酔いのレイティング等を付加して提示するといったことが可能となる。
 また、映像コンテンツの設定等で、対象者が酔いにくいコースなどを個別に設定することや、おすすめの設定値を提示するといったことが可能となる。
 上記では、映像コンテンツを見ているユーザの映像酔いの状態に応じて、抑制刺激を提示する方法について説明した。これに限定されず、ユーザの映像酔いの状態に応じて、映像コンテンツそのものを動的に生成する処理が実行されてもよい。
 図14は、映像酔い状態に応じた映像コンテンツの変更例を示す模式図である。図14A~図14Cには、映像コンテンツの一例としてドライビングゲームのコース6と、コース6を走行する車両7とが模式的に図示されている。
 この映像コンテンツでは、コース6に沿って走行する車両7上から見た映像がユーザに表示される。従ってコース6上のカーブの曲がり具合や頻度によって、背景が変化する度合いや頻度が決まってくる。
 図14Aは、タイミングt1におけるコース6aを示す模式図である。この時点では、コース上には、比較的長い間隔で設定されたカーブ群と、そのあとに続く、比較的短い間隔で設定されたカーブ群とが含まれている。
 タイミングt1において、ユーザの映像酔いの度合いが1段階上昇したとする。この場合、図14Aに示すコース6aは、図14Bに示すコース6bに変更される。すなわち、比較的長い間隔で設定されたカーブ群のうち、車両7が到達していないカーブ群については曲がり具合が緩く設定される。また比較的短い間隔で設定されたカーブ群は、カーブの数が減らされ、個々のカーブの曲がり具合が緩く設定される。これにより、背景が変化する度合いを小さくし、その頻度を少なくすることが可能となる。従ってコース6bは、変更前のコース6aと比べ、酔いやすさ特性が低く設定されたたコース6となっている。
 また図14Bに示すように、タイミングt2において、ユーザの映像酔いの度合いがさらに1段階上昇したとする。この場合、図14Bに示すコース6bは、図14Cに示すコース6cに変更される。すなわち、また比較的短い間隔で設定されたカーブ群が削除される。これにより、後半のコース6において背景が大きく変化することはなくなり、酔いやすさ特性を十分に低く設定することが可能となる。
 このように、ユーザの映像酔い情報に基づいて、ユーザの映像酔いの進行を抑えるように映像コンテンツが変更されてもよい。これにより、ユーザは映像酔いを悪化させることなく視聴体験を継続して楽しむことが可能となる。
 なお、コース6を変更する場合に限定されず、例えば車両7のスピードや、映像コンテンツを構成する、アイテム、背景画像、音声等を、ユーザの映像酔いが進行しないように動的に変更してもよい。
 上記では、VR体験を行うためのHMD10を用いたシステムについて説明した。これに限定されず、例えばAR体験用のHMDに本技術が適用されてもよい。この場合、HMDにはユーザの視界を撮影する外向きカメラが設けられ、表示ユニットには、外向きカメラが撮影した映像が表示される。この映像に仮想オブジェクトを重畳して表示することで、AR体験を提供することが可能となる。このような構成のHMDが用いられる場合であっても、ユーザの映像酔いの状態を推定・予測した情報に応じて、抑制刺激の提示を制御することで、ユーザの映像酔いを十分に抑制することが可能となる。
 この他、大型ディスプレイや、包囲型ディスプレイ等の据え置き型のディスプレイを用いたシステムに本技術を適用することも可能である。この場合も、ユーザの映像酔いの状態を適宜推定・予測した結果に応じて、ユーザに対する抑制刺激の提示が制御される。
 また映像コンテンツの種類等は限定されない。
 例えば映像コンテンツは、VR空間での様々なアミューズメントを提供するゲームコンテンツである。また、車両、航空機、船舶等の乗り物の操縦や、現場作業を想定したシミュレータとして機能する映像コンテンツが用いられてもよい。また遠隔操作を行う際の作業現場の映像や、作業支援を行う仮想映像等が映像コンテンツとして用いられてもよい。
 この他、任意の映像コンテンツについて、本技術は適用可能である。
 上記ではユーザにより操作される情報処理装置40により、本技術に係る情報処理方法が実行される場合を説明した。しかしながら情報処理装置40とネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。
 すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば映像酔い情報を取得する処理及び刺激の提示を制御する処理が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
 なお、本技術は以下のような構成も採ることができる。
(1)映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得する取得部と、
 前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する刺激制御部と
 を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
 前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いを推定した情報、又は前記映像酔いの度合いを予測した情報の少なくとも一方を含む度合い情報を取得し、
 前記刺激制御部は、前記度合い情報に応じて、前記ユーザに対する刺激の提示を制御する
 情報処理装置。
(3)(2)に記載の情報処理装置であって、
 前記刺激制御部は、前記度合い情報が表す前記映像酔いの度合いが所定のレベルに達した場合に、前記ユーザに対する刺激の提示を開始する
 情報処理装置。
(4)(3)に記載の情報処理装置であって、
 前記所定のレベルは、前記ユーザの映像酔いの予兆が表われるレベルに設定される
 情報処理装置。
(5)(1)から(4)のうちいずれか1つに記載の情報処理装置であって、
 前記取得部は、映像酔いに関する前記ユーザの状態を表すユーザ状態情報、映像酔いに関する前記ユーザの特性を表すユーザ特性情報、映像酔いに関する前記映像コンテンツの状態を表すコンテンツ状態情報、及び映像酔いに関する前記映像コンテンツの特性を表すコンテンツ特性情報の少なくとも一つに基づいて、前記ユーザの映像酔いの状態を推定する推定処理、又は前記ユーザの映像酔いの状態を予測する予測処理の少なくとも一方を実行して、前記映像酔い情報を生成する
 情報処理装置。
(6)(5)に記載の情報処理装置であって、
 前記ユーザ状態情報は、前記ユーザの生体情報、操作情報、発話情報、及び申告情報の少なくとも一つを含む
 情報処理装置。
(7)(6)に記載の情報処理装置であって、
 前記生体情報は、前記ユーザの発汗量、心拍数、眼球の運動量、身体の動揺、及び心電波形の少なくとも一つに関する情報を含む
 情報処理装置。
(8)(5)から(7)のうちいずれか1つに記載の情報処理装置であって、
 前記コンテンツ状態情報は、再生中の前記映像コンテンツにおいて映像酔いの要因となる酔い要素の情報を含み、
 前記取得部は、前記コンテンツ状態情報に含まれる前記酔い要素の情報に基づいて、再生中の前記映像コンテンツに関する酔いやすさ特性を推定する
 情報処理装置。
(9)(5)から(8)のうちいずれか1つに記載の情報処理装置であって、
 前記コンテンツ特性情報は、前記映像コンテンツのシーンごと又はコンテンツ全体について、予め推定された前記映像コンテンツに関する酔いやすさ特性の情報を含み、
 前記取得部は、前記コンテンツ特性情報に含まれる前記酔いやすさ特性を読み込む
 情報処理装置。
(10)(5)から(9)のうちいずれか1つに記載の情報処理装置であって、
 前記ユーザ特性情報は、前記ユーザの過去の視聴体験において発生した映像酔いの状態と前記視聴体験における酔いやすさ特性とを関連づけて記録した履歴情報を含み、
 前記取得部は、再生中の前記映像コンテンツに関する酔いやすさ特性と、前記履歴情報とに基づいて、前記映像酔い情報を生成する
 情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記刺激制御部は、前記映像酔い情報に基づいて、前記刺激を提示するタイミング、前記刺激の継続時間、前記刺激のパラメータ、又は前記刺激の種類の少なくとも1つを制御する
 情報処理装置。
(12)(11)に記載の情報処理装置であって、
 前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの症状の情報を取得し、
 前記刺激制御部は、前記映像酔いの症状に応じて、前記ユーザに提示する刺激の種類を設定する
 情報処理装置。
(13)(11)又は(12)に記載の情報処理装置であって、
 前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いの変化タイプの情報を取得し、
 前記刺激制御部は、前記映像酔いの度合いの変化タイプに応じて、前記刺激を提示するタイミングを設定する
 情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
 前記取得部は、前記ユーザの映像酔いに対する抑制効果が高い刺激の情報を取得し、
 前記刺激制御部は、前記ユーザに対して前記抑制効果が高い刺激を提示する
 情報処理装置。
(15)(1)から(14)のうちいずれか1つに記載の情報処理装置であって、
 前記刺激制御部は、前記映像コンテンツのシーン又は所定の時間間隔ごとに、前記ユーザに対して提示する刺激を変更する
 情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、
 前記取得部は、前記ユーザに対して、同一の刺激による映像酔いの抑制効果が継続するか否かを判定し、
 前記刺激制御部は、前記抑制効果が継続する場合、前記ユーザに対して同一の刺激を継続して提示し、前記抑制効果が継続しない場合、前記ユーザに提示する刺激の種類を変更する
 情報処理装置。
(17)(1)から(16)のうちいずれか1つに記載の情報処理装置であって、
 前記ユーザに対して提示される刺激は、振動刺激、電気刺激、音刺激、又は光刺激の少なくとも一つを含む
 情報処理装置。
(18)(1)から(17)のうちいずれか1つに記載の情報処理装置であって、
 前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザの映像酔いの進行を抑えるように前記映像コンテンツを変更する
 情報処理装置。
(19)映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得し、
 前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する
 ことをコンピュータシステムが実行する情報処理方法。
(20)映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得するステップと、
 前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御するステップと
 をコンピュータシステムに実行させるプログラム。
 1…ユーザ
 10…HMD
 13…表示ユニット
 20…コントローラ
 21…センサ部
 25…刺激提示部
 30…記憶部
 31…制御プログラム
 32…コンテンツデータベース
 33…ユーザデータベース
 34…刺激データベース
 40…情報処理装置
 41…コンテンツ処理部
 42…コンテンツ情報取得部
 43…ユーザ情報取得部
 44…酔い状態推定・予測部
 45…刺激制御部
 100…コンテンツ提供システム

Claims (20)

  1.  映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得する取得部と、
     前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する刺激制御部と
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いを推定した情報、又は前記映像酔いの度合いを予測した情報の少なくとも一方を含む度合い情報を取得し、
     前記刺激制御部は、前記度合い情報に応じて、前記ユーザに対する刺激の提示を制御する
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記刺激制御部は、前記度合い情報が表す前記映像酔いの度合いが所定のレベルに達した場合に、前記ユーザに対する刺激の提示を開始する
     情報処理装置。
  4.  請求項3に記載の情報処理装置であって、
     前記所定のレベルは、前記ユーザの映像酔いの予兆が表われるレベルに設定される
     情報処理装置。
  5.  請求項1に記載の情報処理装置であって、
     前記取得部は、映像酔いに関する前記ユーザの状態を表すユーザ状態情報、映像酔いに関する前記ユーザの特性を表すユーザ特性情報、映像酔いに関する前記映像コンテンツの状態を表すコンテンツ状態情報、及び映像酔いに関する前記映像コンテンツの特性を表すコンテンツ特性情報の少なくとも一つに基づいて、前記ユーザの映像酔いの状態を推定する推定処理、又は前記ユーザの映像酔いの状態を予測する予測処理の少なくとも一方を実行して、前記映像酔い情報を生成する
     情報処理装置。
  6.  請求項5に記載の情報処理装置であって、
     前記ユーザ状態情報は、前記ユーザの生体情報、操作情報、発話情報、及び申告情報の少なくとも一つを含む
     情報処理装置。
  7.  請求項6に記載の情報処理装置であって、
     前記生体情報は、前記ユーザの発汗量、心拍数、眼球の運動量、身体の動揺、及び心電波形の少なくとも一つに関する情報を含む
     情報処理装置。
  8.  請求項5に記載の情報処理装置であって、
     前記コンテンツ状態情報は、再生中の前記映像コンテンツにおいて映像酔いの要因となる酔い要素の情報を含み、
     前記取得部は、前記コンテンツ状態情報に含まれる前記酔い要素の情報に基づいて、再生中の前記映像コンテンツに関する酔いやすさ特性を推定する
     情報処理装置。
  9.  請求項5に記載の情報処理装置であって、
     前記コンテンツ特性情報は、前記映像コンテンツのシーンごと又はコンテンツ全体について、予め推定された前記映像コンテンツに関する酔いやすさ特性の情報を含み、
     前記取得部は、前記コンテンツ特性情報に含まれる前記酔いやすさ特性を読み込む
     情報処理装置。
  10.  請求項5に記載の情報処理装置であって、
     前記ユーザ特性情報は、前記ユーザの過去の視聴体験において発生した映像酔いの状態と前記視聴体験における酔いやすさ特性とを関連づけて記録した履歴情報を含み、
     前記取得部は、再生中の前記映像コンテンツに関する酔いやすさ特性と、前記履歴情報とに基づいて、前記映像酔い情報を生成する
     情報処理装置。
  11.  請求項1に記載の情報処理装置であって、
     前記刺激制御部は、前記映像酔い情報に基づいて、前記刺激を提示するタイミング、前記刺激の継続時間、前記刺激のパラメータ、又は前記刺激の種類の少なくとも1つを制御する
     情報処理装置。
  12.  請求項11に記載の情報処理装置であって、
     前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの症状の情報を取得し、
     前記刺激制御部は、前記映像酔いの症状に応じて、前記ユーザに提示する刺激の種類を設定する
     情報処理装置。
  13.  請求項11に記載の情報処理装置であって、
     前記取得部は、前記映像酔い情報として、前記ユーザの映像酔いの度合いの変化タイプの情報を取得し、
     前記刺激制御部は、前記映像酔いの度合いの変化タイプに応じて、前記刺激を提示するタイミングを設定する
     情報処理装置。
  14.  請求項1に記載の情報処理装置であって、
     前記取得部は、前記ユーザの映像酔いに対する抑制効果が高い刺激の情報を取得し、
     前記刺激制御部は、前記ユーザに対して前記抑制効果が高い刺激を提示する
     情報処理装置。
  15.  請求項1に記載の情報処理装置であって、
     前記刺激制御部は、前記映像コンテンツのシーン又は所定の時間間隔ごとに、前記ユーザに対して提示する刺激を変更する
     情報処理装置。
  16.  請求項1に記載の情報処理装置であって、
     前記取得部は、前記ユーザに対して、同一の刺激による映像酔いの抑制効果が継続するか否かを判定し、
     前記刺激制御部は、前記抑制効果が継続する場合、前記ユーザに対して同一の刺激を継続して提示し、前記抑制効果が継続しない場合、前記ユーザに提示する刺激の種類を変更する
     情報処理装置。
  17.  請求項1に記載の情報処理装置であって、
     前記ユーザに対して提示される刺激は、振動刺激、電気刺激、音刺激、又は光刺激の少なくとも一つを含む
     情報処理装置。
  18.  請求項1に記載の情報処理装置であって、
     前記刺激制御部は、前記映像酔い情報に基づいて、前記ユーザの映像酔いの進行を抑えるように前記映像コンテンツを変更する
     情報処理装置。
  19.  映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得し、
     前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御する
     ことをコンピュータシステムが実行する情報処理方法。
  20.  映像コンテンツを見ているユーザの映像酔いの状態を推定した情報、又は前記映像酔いの状態を予測した情報の少なくとも一方を含む映像酔い情報を取得するステップと、
     前記映像酔い情報に基づいて、前記ユーザに対する刺激の提示を制御するステップと
     をコンピュータシステムに実行させるプログラム。
PCT/JP2022/010534 2021-07-12 2022-03-10 情報処理装置、情報処理方法、及びプログラム WO2023286343A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/576,014 US20240256042A1 (en) 2021-07-12 2022-03-10 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021115204A JP2024115563A (ja) 2021-07-12 2021-07-12 情報処理装置、情報処理方法、及びプログラム
JP2021-115204 2021-07-12

Publications (1)

Publication Number Publication Date
WO2023286343A1 true WO2023286343A1 (ja) 2023-01-19

Family

ID=84919165

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010534 WO2023286343A1 (ja) 2021-07-12 2022-03-10 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240256042A1 (ja)
JP (1) JP2024115563A (ja)
WO (1) WO2023286343A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166510A1 (ja) * 2023-02-06 2024-08-15 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246725A (ja) * 2003-02-14 2004-09-02 Sharp Corp 表示装置、表示制御方法、表示制御プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体
JP2017054457A (ja) * 2015-09-11 2017-03-16 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
JP2017182130A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018126185A (ja) * 2017-02-06 2018-08-16 株式会社日立製作所 装置、音データの生成方法、及びプログラム
JP2021092883A (ja) * 2019-12-09 2021-06-17 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246725A (ja) * 2003-02-14 2004-09-02 Sharp Corp 表示装置、表示制御方法、表示制御プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体
JP2017054457A (ja) * 2015-09-11 2017-03-16 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
JP2017182130A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018126185A (ja) * 2017-02-06 2018-08-16 株式会社日立製作所 装置、音データの生成方法、及びプログラム
JP2021092883A (ja) * 2019-12-09 2021-06-17 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166510A1 (ja) * 2023-02-06 2024-08-15 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、及びプログラム

Also Published As

Publication number Publication date
US20240256042A1 (en) 2024-08-01
JP2024115563A (ja) 2024-08-27

Similar Documents

Publication Publication Date Title
US11000669B2 (en) Method of virtual reality system and implementing such method
US11751796B2 (en) Systems and methods for neuro-feedback training using video games
KR20210003718A (ko) 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션
JP2003189219A (ja) デジタル画像系列の表示システム及び表示方法
JP7364099B2 (ja) 出力制御装置、出力制御方法およびプログラム
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2014217704A (ja) 画像表示装置並びに画像表示方法
US20200219468A1 (en) Head mounted displaying system and image generating method thereof
JP2017227780A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US20230053767A1 (en) System, game console and method for adjusting a virtual environment
WO2023286343A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2018034113A1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供システム用のプログラム
TWI753428B (zh) 基於生理量測之延展實境調整技術
CN108563322B (zh) Vr/ar设备的控制方法和装置
JP2011234238A (ja) 映像表示装置、および映像表示制御方法、ならびに映像表示装置のプログラム、コンピュータ読み取り可能な記録媒体
JP7069389B1 (ja) ソリューション提供システム及び携帯端末
JP7069390B1 (ja) 携帯端末
WO2023189558A1 (ja) 情報処理システムおよび情報処理方法
JP7061714B1 (ja) ソリューション提供システム及び携帯端末
JP6963669B1 (ja) ソリューション提供システム及び携帯端末
NL2033360B1 (en) System for dichoptic treatment of amblyopia using both visual and auditory stimuli
JP2021171320A (ja) 身体状態再現方法、及び、身体状態再現システム
JP2024011187A (ja) 情報処理装置
JP6713526B1 (ja) Vdt症候群及び繊維筋痛症の改善
JP2022086880A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22841693

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18576014

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22841693

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP