WO2020116010A1 - 触覚及び温度のフィードバックシステム - Google Patents

触覚及び温度のフィードバックシステム Download PDF

Info

Publication number
WO2020116010A1
WO2020116010A1 PCT/JP2019/039040 JP2019039040W WO2020116010A1 WO 2020116010 A1 WO2020116010 A1 WO 2020116010A1 JP 2019039040 W JP2019039040 W JP 2019039040W WO 2020116010 A1 WO2020116010 A1 WO 2020116010A1
Authority
WO
WIPO (PCT)
Prior art keywords
temperature
user
unit
electronic device
operation target
Prior art date
Application number
PCT/JP2019/039040
Other languages
English (en)
French (fr)
Inventor
岳夫 稲垣
一真 高橋
実祐樹 白川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/290,391 priority Critical patent/US11934577B2/en
Priority to KR1020217016538A priority patent/KR20210093268A/ko
Priority to CN201980079244.4A priority patent/CN113168229A/zh
Priority to JP2020559748A priority patent/JP7452435B2/ja
Priority to DE112019006071.6T priority patent/DE112019006071T5/de
Publication of WO2020116010A1 publication Critical patent/WO2020116010A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41DOUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00Garments
    • A41D1/002Garments adapted to accommodate electronic equipment
    • AHUMAN NECESSITIES
    • A43FOOTWEAR
    • A43BCHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00Footwear characterised by the shape or the use
    • A43B3/34Footwear characterised by the shape or the use with electrical or electronic arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00Control of temperature
    • G05D23/19Control of temperature characterised by the use of electric means
    • G05D23/1917Control of temperature characterised by the use of electric means using digital means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00Control of temperature
    • G05D23/19Control of temperature characterised by the use of electric means
    • G05D23/1919Control of temperature characterised by the use of electric means characterised by the type of controller
    • G05D23/192Control of temperature characterised by the use of electric means characterised by the type of controller using a modification of the thermal impedance between a source and the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/013Force feedback applied to a game

Definitions

  • the technology according to the present disclosure (this technology) relates to, for example, an electronic device attached to a wearing article worn on the body, a feedback system including the electronic device, and a feedback control method using the electronic device.
  • a waistcoat worn by a user has a plurality of built-in air pressure generation devices, and the air pressure generation devices are selectively operated to change the sense of touch. There is something that gives feedback to the user.
  • Patent Document 1 when a temperature change occurs in a different environment such as a virtual environment, it is difficult to feed back the generated temperature change to the user. There is.
  • the present technology aims to provide an electronic device capable of feeding back changes in tactile sensation and temperature to a user, a feedback system including the electronic device, and a feedback control method using the electronic device.
  • a feedback system includes a deformation interface, an actuator control unit, a temperature changing unit, and a temperature control unit.
  • the transformation interface can press a part of a user who operates an operation target moving in a different environment in a real environment.
  • the actuator control unit controls the operation of the actuator that changes the shape of the deformation interface based on the change in the tactile sensation estimated to be obtained by the operation target.
  • the temperature changing unit can change the temperature that the user perceives at the site.
  • the temperature control unit controls the temperature of the temperature changing unit based on the change in temperature estimated to be perceived by the operation target.
  • the operation target obtains the operation of the actuator that changes the shape of the deformation interface that can press the part of the user who operates the operation target that moves in a different environment in the actual environment. Control based on the change in tactile sensation estimated to be present.
  • the temperature of the temperature changing unit that allows the user to change the temperature perceived by the site is based on the change in temperature estimated to be perceived by the operation target. Control.
  • An electronic device includes one or more deformation interfaces that can change the shape and one or more temperature changing units that can change the temperature.
  • the deformation interface can press the part of the user who operates the operation target that moves in a different environment in the real environment, and the temperature changing unit can change the temperature that the user perceives in the part.
  • FIG. 4 is a view on arrow IV in FIG. 2. It is a figure which shows the modification of 1st Embodiment. It is a figure which shows the modification of 1st Embodiment. It is a figure which shows the modification of 1st Embodiment. It is a figure which shows the modification of 1st Embodiment. It is a figure which shows the modification of 1st Embodiment. It is a figure which shows the modification of 1st Embodiment. It is a figure which shows the modification of 1st Embodiment. It is a figure which shows the modification of 1st Embodiment. It is a figure which shows the modification of 1st Embodiment. It is a figure which shows the modification of 1st Embodiment.
  • FIG. 25 is a sectional view taken along line XXVI-XXVI of FIG. 24. It is a figure which shows the modification of 3rd Embodiment. It is a figure which shows the modification of 3rd Embodiment. It is a figure which shows the modification of 3rd Embodiment. It is a figure which shows the modification of 3rd Embodiment. It is a figure which shows the modification of 3rd Embodiment.
  • the feedback system 10 includes an electronic device 1 as shown in FIG.
  • the feedback system 10 is a system that provides a feedback system of a change in tactile sense and a change in temperature to a user who operates an operation target (character) in a different environment such as a virtual environment in a real environment.
  • a different environment is a game (video game) in which an operation target is displayed on the display.
  • the “operation target” means a person appearing in a game, a person appearing in a movie, a tele tour presence of a virtual tour, or the like, which exists in a different environment such as a virtual environment or a remote place, and is dependent on the user's intention. It is a display or an object that operates by.
  • the tele-gistance is a robot that is remotely operated by a user when placed in a remote place.
  • the electronic device 1 includes a plurality of feedback units 2, an integrated controller 3, a different environment output unit 4, an operation unit 5, and a feedback calculation unit 6.
  • the plurality of feedback units 2 are all attached to the user's body, which is a self-contained type. The case of the above configuration will be described.
  • the plurality of feedback units 2 are attached to the surface (inner surface) of the clothes W worn by the user, which faces the user.
  • the clothes W to which the plurality of feedback units 2 are attached are waistcoats worn by the user on the upper body.
  • a case where eight feedback units 2 are attached to the clothes W will be described.
  • the shape of the portion of the feedback unit 2 facing the user is set to a square in which the lengths of two orthogonal sides are both 2.5 [cm].
  • six feedback units 2 are arranged at two positions on the left and right of the user's shoulder, chest, and abdomen with respect to the midline of the user.
  • two of the eight feedback units 2 are opposed to the two feedback units 2 arranged on the user's belly of the user's back with the user's midline as a reference. It is located at the position where Therefore, among the eight feedback units 2, two sets of two feedback units 2 are arranged at positions sandwiching the upper half of the user from the front-back direction.
  • the six feedback units 2 arranged on the front surface out of the eight feedback units 2 are indicated by reference numerals 2a to 2f.
  • the two feedback units 2 arranged on the back surface out of the eight feedback units 2 are indicated by reference numerals 2g and 2h. Further, in the figure, two sets of four feedback units 2 are indicated by reference numerals 2e to 2h.
  • the feedback unit 2 includes one deformation interface 21 and one temperature changing unit 22 that can operate in association with each other.
  • the deformable interface 21 is made of a material having elasticity, for example, silicone, and is formed in a hexahedral case shape.
  • the deformation interface 21 also includes an actuator 23 that changes the shape of the deformation interface 21.
  • the actuator 23 is formed including, for example, an air pump, and changes the shape of the deformation interface 21 with a fluid (gas). That is, the actuator 23 is a fluid actuator.
  • the deformation interface 21 can be attached to a part preset by the user and can press the part of the user.
  • the deformation interface 21 is arranged at a position where the upper body of the user is pressed, and can press the upper body of the user. That is, the plurality of deformation interfaces 21 and the temperature changing unit 22 are respectively arranged on the front surface and the back surface of the upper body of the user, and can press the front surface and the back surface of the upper body. Further, the deformation interface 21 is attached to the clothes W worn by the user.
  • the temperature changing portion 22 is formed to include, for example, a Peltier element, a nichrome wire, or the like, and the temperature can be changed by electrically adjusting the temperature. Therefore, the temperature changing unit 22 is attached to a site preset by the user and can change the temperature. In the first embodiment, a case where the temperature changing unit 22 is configured to include a Peltier element will be described. Further, the temperature changing unit 22 is arranged at a position closer to the user than the deformation interface 21.
  • the integrated controller 3 includes an actuator controller 31 and a temperature controller 32.
  • the actuator control unit 31 is formed, for example, including a CPU and a memory, and controls the operation of the actuator 23 according to the signal input from the feedback calculation unit 6. The processing performed by the actuator control unit 31 according to the signal input from the feedback calculation unit 6 will be described later.
  • the temperature control unit 32 is formed to include, for example, a CPU and a memory, and controls the operation of the temperature changing unit 22 according to the signal input from the feedback calculation unit 6. The process performed by the temperature control unit 32 according to the signal input from the feedback calculation unit 6 will be described later.
  • the different environment output unit 4 is formed using, for example, goggles (VR goggles) equipped with a head mounted display or a display installed on a wall surface or the like, and outputs a different environment (video/audio).
  • the different environment output unit 4 is formed using the goggles including the head mounted display.
  • the head mounted display is formed by arranging a display for displaying an image on a part of, for example, a goggle or a hat, and displays an image that can be visually recognized by both eyes or one eye of a user.
  • an image displayed using the head mounted display for example, an image of a virtual space or an image captured by a camera can be used.
  • the operation unit 5 is formed to include, for example, a lever and a button, and is used by a user to operate an operation target in a real environment.
  • the operation unit 5 has a configuration in which a lever or button is attached to a controller held by a user by hand.
  • the feedback calculation unit 6 is formed to include, for example, a CPU and a memory. In addition, the feedback calculation unit 6 operates the actuator 23 and the temperature changing unit 22 according to the different environment output from the different environment output unit 4 and the state of the operation target operated using the operation unit 5. A control signal for controlling the operation is calculated.
  • the different environment output from the different environment output unit 4 is an environment (battlefield, etc.) in which arrows, bullets, shells and the like fly around, and the operation target is a person who appears in the game.
  • the feedback calculation unit 6 calculates the control signal so that the deformation interface 21 arranged at the position where the flying object collides or the position near the position where the flying object collides expands.
  • the feedback calculation unit 6 calculates the control signal so that the temperature of the temperature changing unit 22 arranged at the position where the flying object collides or the position near the position where the flying object collides rises. ..
  • the plurality of deformation interfaces 21 swell and the temperatures of the plurality of temperature changing parts 22 rise.
  • the control signal is calculated.
  • the feedback calculation unit 6 causes the deformation interface 21 arranged at the position of the entrance through which the projectile penetrates or at a position close to the entrance through which the projectile penetrates (hereinafter referred to as “entrance”) to swell. Then, the control signal is calculated. Further, the feedback calculation unit 6 causes the deformation interface 21 arranged at the position of the exit through which the projectile penetrates or at a position close to the exit through which the projectile penetrates (hereinafter referred to as “exit”) to swell. , Calculate the control signal.
  • the feedback calculation unit 6 calculates the control signal such that the deformation interface 21 arranged at the inlet expands after the deformation interface 21 arranged at the inlet expands.
  • the feedback calculation unit 6 calculates the control signal such that the temperature of the temperature changing unit 22 arranged at the inlet rises and then the temperature of the temperature changing unit 22 arranged at the outlet rises. ..
  • the control signal is calculated so that the deformation interface 21 included in the feedback unit 2f swells and then the deformation interface 21 included in the feedback unit 2g swells.
  • the control signal is calculated so that the temperature of the temperature changing unit 22 included in the feedback unit 2g rises.
  • the different environment output from the different environment output unit 4 is an environment (a battlefield, etc.) in which an operation target (hereinafter, referred to as “enemy character”) imitating another person who possesses a weapon such as a sword or a stick is present. ) Will be described. Then, a case will be described in which, in a different environment, the upper body of the operation target collides with the weapon in a sweeping manner.
  • an operation target hereinafter, referred to as “enemy character”
  • the deformation interface 21 arranged at a position where the weapon first collides or a position near the position where the weapon first collides (hereinafter referred to as “initial position”) swells.
  • the control signal is calculated.
  • the feedback calculation unit 6 causes the deformation interface 21 arranged at the position where the weapon last collided or near the position where the weapon collided last (hereinafter referred to as “final position”) to swell.
  • the control signal is calculated.
  • the control signal is calculated so that the deformation interface 21 included in the feedback unit 2f swells and then the deformation interface 21 included in the feedback unit 2e swells.
  • the actuator control unit 31 controls the operation of the actuator 23 included in the deformation interface 21 based on the change in tactile sensation estimated to be obtained by the operation target.
  • the temperature control unit 32 controls the temperature of the temperature changing unit 22 based on the change in temperature estimated to be perceived by the operation target.
  • “tactile sensation estimated to have been obtained by the operation target” means, for example, when it is assumed that the operation target is replaced by the user when the operation target and the object come into contact with each other in the screen displayed on the display.
  • it is a tactile sensation that is estimated to be visually felt by the user.
  • the tactile sensation estimated to be obtained by the operation target can be set according to, for example, the speed or size (mass) of the object in contact with the operation target, the contact area between the operation target and the object, and the like. is there.
  • the temperature estimated to be perceived by the operation target means, for example, when the operation target touches an object on the screen, or when the surrounding environment of the operation target changes, the operation target is presented to the user. It is the temperature at which the user is estimated to visually feel if the user replaces it.
  • the temperature estimated to be perceived by the operation target should be set according to, for example, the length of time that the operation target and the object are in contact with each other, or the temperature change occurring in the surrounding environment of the operation target. Is possible.
  • the actuator control unit 31 individually controls the operation of the actuator 23 included in the deformation interface 21 with respect to the plurality of deformation interfaces 21.
  • the temperature control unit 32 individually controls the temperatures of the plurality of temperature changing units 22.
  • the operation of the actuator 23 is controlled based on the change in the tactile sensation that the operation target is estimated to have in the different environment.
  • the temperature of the temperature changing unit 22 is controlled based on the change in temperature estimated to be perceived by the operation target in the different environment.
  • the actuator control unit 31 controls the operation of the actuator 23 based on the change in the tactile sensation that the operation target is estimated to be obtained in the different environment.
  • the temperature control unit 32 controls the temperature of the temperature changing unit 22 based on the change in temperature estimated to be perceived by the operation target in the different environment.
  • the feedback system 10 including the electronic device 1 capable of feeding back the changes in the sense of touch and the temperature generated in the operation target in the different environment to the upper body of the user. Become.
  • the configuration of the first embodiment it is possible to provide a feedback control method using the electronic device 1 capable of feeding back changes in tactile sense and temperature generated in an operation target to a user's upper body under different environments.
  • the first embodiment it is possible to feed back the change in tactile sense and the change in temperature that have occurred in the operation target under different environments to the user at different timings. For this reason, like the situation that occurs in the real environment, you should feel the change in temperature after you feel the change in tactile sense (for example, the state where heat is transmitted from the arm of another person after being grasped by another person). It is possible to give feedback to the user. In addition, for example, by performing control to inflate the deformation interface 21 and control to change the temperature of the temperature changing unit 22 with respect to the plurality of feedback units 2 at different timings, for example, the situation where the hail falls is fed back to the user. It is possible.
  • the actuator 23 is formed by including the air pump and the shape of the deformation interface 21 is changed by the gas, it is possible to vibrate the deformation interface 21 at a low frequency. This makes it possible to present the user with a tactile sensation such as softness.
  • the shape of the deformation interface 21 is changed by the fluid. Therefore, for example, when a flying object collides with an operation target in a different environment, the user receives a pressure in addition to a feeling of being in contact with an object (a feeling of contact) and a feeling of receiving a vibration (a feeling of vibration). It is possible to present various tactile sensations and new sensations such as sensations (pressure feeling).
  • the sense of the strength of the force that the flying object gives to the operation target ( It is possible to present a variety of tactile sensations and new sensations such as force.
  • the configuration of the actuator 23 is configured to change the shape of the deformation interface 21 with gas.
  • the configuration is not limited to this, and the configuration of the deformation interface 21 may be changed with liquid.
  • the configuration of the modified interface 21 is configured to include the actuator 23, but the configuration is not limited to this, and the actuator 23 may be configured to exist outside the modified interface 21. That is, the configuration of the deformation interface 21 may not include the actuator 23.
  • the configuration of the actuator 23 is configured to change the shape of the deformation interface 21 with gas.
  • the configuration is not limited to this, and the configuration of changing the shape of the deformation interface 21 with electromagnetic force is used.
  • the actuator 23 may be an electromagnetic actuator. In this case, compared to a configuration in which the shape of the deformation interface 21 is changed by the fluid, it is possible to improve the response of control for changing the shape of the deformation interface 21.
  • the temperature changing unit 22 has a structure in which the temperature can be changed by adjusting the electric temperature.
  • the temperature may be changed by moving the adjusted fluid (liquid or the like).
  • the hose H through which the fluid moves is arranged so as to pass through the position where the feedback unit 2 of the clothes W is attached.
  • the different environment is the video game in which the operation target is displayed on the display, but the present invention is not limited to this, and the different environment may be a movie.
  • the different environment output unit 4 is formed using, for example, a screen of a movie theater.
  • the operation target may be a person who appears in the movie.
  • the different environment is the video game in which the operation target is displayed on the display, but the present invention is not limited to this, and the different environment may be an environment used for educational software such as vocational training.
  • the environment used for educational software such as vocational training includes, for example, driving/operation training of special vehicles, training of operation and maintenance of facilities and machines, safety training, and danger experience training.
  • the different environment is the video game in which the operation target is displayed on the display.
  • the present invention is not limited to this, and the different environment may be used as the communication tool.
  • the environment used for the communication tool is, for example, the release of a video created using an avatar (the operation target that serves as the user's alter ego in a different environment) that has a desired appearance, and an interaction event with a person in a remote location. Etc.
  • the clothes W to which the feedback unit 2 is attached are waistcoats worn by the user on the upper body.
  • the clothes W are, for example, as shown in FIGS. 7 and 8. It may be a short-sleeved shirt SS.
  • the garment W may be a long-sleeved shirt LS, as shown in FIGS. 9 and 10, for example.
  • the number of feedback units 2 may be 16, as shown in FIGS. 9 and 10.
  • the number of feedback units 2 is preferably an integral multiple of 8 in consideration of controllability. In this case, as shown in FIG.
  • the long-sleeved shirt LS may be configured to include a belt member B for fitting the waist or wrist of the long-sleeved shirt LS to the user's body. Furthermore, in this case, in addition to the touch feeling and the vibration feeling, the user can be provided with a variety of tactile sensations and new feelings such as a feeling of tightening the body by clothes (tightening feeling) by tightening the belt member B. It will be possible.
  • the garment W to which the feedback unit 2 is attached is the garment (vest) worn by the user on the upper body.
  • the garment W is not limited to this.
  • the garment W worn by the user on the lower body. (Tights etc.) may be used.
  • the clothes W to which the feedback unit 2 is attached may be clothes worn by the user on the upper body and the lower body.
  • the feedback calculation unit 6 is configured to calculate the control signal for controlling the operation of the actuator 23 and the operation of the temperature changing unit 22 according to the different environment and the state of the operation target. It is not limited to. That is, for example, when the operation target is set to wear armor in a different environment, the deformation interface 21 arranged in a portion (shoulder or the like) where the armor exerts a load on the user's body is replaced with another deformation interface 21 in advance. May be inflated more than. In addition, for example, when the operation target is a backpack or the like set in a different environment, the deformation interface 21 arranged in a portion (shoulder, waist, etc.) where a load is applied to the user's body is previously changed to another deformation interface 21. May be inflated more than.
  • the feedback unit 2 including the deformation interface 21 and the temperature changing unit 22 is arranged so as to press the position preset by the user, but the present invention is not limited to this. That is, for example, as shown in FIG. 12, a deformable member E that can be deformed according to the body shape of the user may be arranged between the deformable interface 21 and the temperature changing unit 22.
  • the partition D holding one deformation interface 21 is illustrated.
  • the partition D forms a deformation regulation member that regulates the deformation of the deformation interface 21 in the direction along the surface of the user's body.
  • the deformation interface 21 is arranged between the outermost layer sheet member OS and the first elastic sheet member ES1.
  • the temperature change part 22 is arrange
  • the innermost layer sheet member IS is arranged between the heat insulating sheet member AS and the body of the user.
  • the outermost layer sheet member OS is formed of a thick cloth having low elasticity.
  • the first stretchable sheet member ES1 is formed of a thin cloth having higher stretchability than the outermost layer sheet member OS.
  • the second stretchable sheet member ES2 is formed of a thin cloth having higher stretchability than the outermost layer sheet member OS.
  • the heat insulating sheet member AS is formed of a urethane sheet.
  • the innermost layer sheet member IS is formed of a thin cloth having higher elasticity than the outermost layer sheet member OS.
  • the deformable member E is formed using an elastic material such as a cushion formed by combining beads or a gel material. Therefore, the heat insulating sheet member AS is disposed between the user and the temperature changing unit 22 and forms a heat conductivity lowering member that lowers the heat conductivity from the temperature changing unit 22 to the user.
  • a plurality of deformation interfaces 21 may be arranged adjacent to the space formed between the outermost layer sheet member OS and the first elastic sheet member ES1. Further, as shown in FIG. 13, the vibration actuator 24 may be arranged outside the outermost layer sheet member OS (on the side far from the user).
  • the vibration actuator 24 is formed by using, for example, a laminated piezoelectric element and a vibration plate, and can feed back vibration to the user.
  • the feedback calculation unit 6 can perform the following calculation, for example.
  • the different environment output from the different environment output unit 4 is an environment (grass grass, etc.) in which there are objects to be exterminated (pests, imaginary creatures, etc.), and the operation target appears in the game.
  • the person is a person who will be described.
  • a case will be described in which the operation target shoots a bullet toward an object to be exterminated while the possessed gun is supported by the hand and shoulder.
  • the feedback calculation unit 6 first calculates the control signal so that the deformation interface 21 arranged at a position facing the shoulder swells when the operation target supports the gun with the hand and the shoulder. After that, the feedback calculation unit 6 calculates a control signal so as to operate the vibration actuator 24 when the operation target fires a bullet. As a result, the impact of firing is fed back to the user as vibration.
  • the configuration of the deformation interface 21 is not limited to the configuration of being attached to the site preset by the user, and may be attached to the range including the site preset by the user.
  • the configuration of the feedback calculation unit 6 is such that the shape of the deformation interface 21 is changed according to the part selected by the user in the range in which the deformation interface 21 is attached or the tactile sensation estimated to be obtained by the operation target. It is good also as a structure which performs the control which changes.
  • the configuration of the temperature changing unit 22 is not limited to the configuration to be attached to the user's preset site, and may be attached to the range including the user's preset site.
  • the configuration of the feedback calculation unit 6 is such that the temperature change unit 22 is configured in accordance with the part selected by the user in the range in which the deformation interface 21 is attached and the change in temperature estimated to be perceived by the operation target. The configuration may be such that control is performed to change the temperature.
  • the electronic device 1 is configured to include the feedback unit 2, the integrated controller 3, the different environment output unit 4, the operation unit 5, and the feedback calculation unit 6, but the configuration is not limited to this. Not a thing. That is, for example, the configuration of the electronic device 1 may be configured to include only the feedback unit 2 including the deformation interface 21 and the temperature changing unit 22.
  • the integrated controller 3, the different environment output unit 4, the operation unit 5, and the feedback calculation unit 6 are included in, for example, a server, and are wired or wireless between the server and the electronic device 1. The communication is configured by.
  • the feedback unit 2, the general controller 3, the different environment output unit 4, the operation unit 5, and the feedback calculation unit 6 are all attached to the user's body, but the configuration is a self-contained type. , But is not limited to this. That is, for example, a configuration in which the server or the like includes the general controller 3, the different environment output unit 4, and the feedback calculation unit 6, and a configuration in which wired or wireless communication is performed between the server and the electronic device 1 Good. Therefore, the actuator control unit 31 and the temperature control unit 32 may be arranged outside (outside) the electronic device 1. Similarly, the configuration of the feedback system 10 including the electronic device 1 may be a configuration in which the actuator control unit 31 and the temperature control unit 32 exist outside (outside) the electronic device 1.
  • the feedback system 10 according to the second embodiment includes the electronic device 1 similarly to the feedback system 10 according to the first embodiment (see FIG. 1). Note that in the following description, the description of the same configuration as that of the above-described first embodiment may be omitted.
  • the feedback system 10 is a system that provides a feedback system of changes in tactile sensation and changes in temperature to a user who operates an operation target in a different environment in an actual environment.
  • the different environment is a game in which the operation target is displayed on the display will be described as an example.
  • the electronic device 1 includes a plurality of feedback units 2, an integrated controller 3, a different environment output unit 4, an operation unit 5, and a feedback calculation unit 6 (see FIG. 1).
  • the plurality of feedback units 2 are attached to the surface (upper surface) of the insole SI of the shoe worn by the user, the surface facing the sole of the user.
  • the deformation interface 21 is arranged at a position for pressing the sole of the user, and can press the sole of the user.
  • the eight feedback units 2 are arranged in a region of the sole of the user excluding the arch. Descriptions of the configurations of the integrated controller 3, the different environment output unit 4, and the operation unit 5 are omitted.
  • the feedback calculation unit 6 determines the operation of the actuator 23 and the operation of the temperature change unit 22 according to the different environment output from the different environment output unit 4 and the state of the operation target operated using the operation unit 5. The control signal to control is calculated.
  • the deformation interface 21 is inflated.
  • the degree of swelling of the deformation interface 21 is, for example, about 50%.
  • the different environment output from the different environment output unit 4 is an environment in which dry ground and muddy ground are mixed, and the operation target is a person who appears in the game. Then, a case will be described in which the operation target that moves in a different environment moves from the dry ground to the muddy ground.
  • the feedback calculation unit 6 calculates the control signal so that the expanded deformation interface 21 contracts.
  • the different environment output from the different environment output unit 4 is an environment in which the dry ground and the snowy ground are mixed. Then, a case where the operation target moving in a different environment moves from the dry ground to the snow-covered ground will be described.
  • the feedback calculation unit 6 calculates the control signal so that the expanded deformation interface 21 contracts. In addition to this, the feedback calculation unit 6 calculates the control signal so that the temperature of the temperature changing unit 22 decreases after the swelling deformation interface 21 contracts.
  • the different environment output from the different environment output unit 4 is an environment in which a desert and a tree shade are mixed will be described. Then, a case where the operation target that moves in a different environment moves from the shade of a tree to the desert will be described.
  • the feedback calculation unit 6 calculates the control signal so that the expanded deformation interface 21 contracts. In addition to this, the feedback calculation unit 6 calculates the control signal so that the temperature of the temperature change unit 22 rises after the expanded deformation interface 21 contracts.
  • the different environment output from the different environment output unit 4 is an environment in which dry ground and rock are mixed. Then, a case will be described in which an operation target that moves in a different environment moves from dry ground to rock.
  • the feedback calculation unit 6 calculates the control signal so that the expanded deformation interface 21 further expands.
  • the different environment output from the different environment output unit 4 is a forest (jungle) in which dead leaves and branches have fallen on the ground will be described.
  • the feedback calculation unit 6 calculates the control signal so that the deformation interface 21 arranged linearly contracts.
  • the different environment output from the different environment output unit 4 is an environment in which dry ground and a rotten wooden bridge are mixed. Then, a case will be described in which the operation target moving in a different environment moves from the dry ground to the bridge, and then from the bridge to the dry ground.
  • the feedback calculation unit 6 calculates the control signal so that the swelling deformation interface 21 contracts at the timing when it moves from the dry ground to the bridge. After that, the control signal is calculated so that the contracted deformation interface 21 swells at the timing of moving from the bridge to the dry ground.
  • the feedback calculation unit 6 changes the speed of the fluid supplied to the actuator 23 or the speed of the fluid discharged from the actuator 23 in accordance with the operation of the operation target in a different environment, and thereby feeds back to the sole of the foot. Change the sense of touch.
  • the feedback control method according to the second embodiment is the same as the feedback control method according to the first embodiment, and the description thereof will be omitted.
  • the electronic device 1 capable of feeding back the tactile sensation and the temperature change generated in the operation target in the different environment to the sole of the user.
  • the feedback system 10 including the electronic device 1 capable of feeding back the tactile sensation and the temperature change generated in the operation target under the different environment to the sole of the user.
  • the configuration of the second embodiment it is possible to provide a feedback control method using the electronic device 1 capable of feeding back the tactile sensation and the temperature change generated in the operation target to the sole of the user under the different environment. It will be possible.
  • the feedback unit 2 is arranged in the region of the sole of the user excluding the arch, so that the user can be fed back with the sensation of the foot leaning outward. .. Further, the feedback unit 2 is arranged at a position corresponding to the shape of the bone of the foot (metafoot bone or the like) on the sole of the user. Therefore, it is possible to feed back the tactile change generated in the operation target in the different environment to the sole of the user by using a small number of feedback units 2. Further, for example, by inflating the deformation interface 21 arranged at a position facing the heel more than the deformation interface 21 arranged at another position, the user wears shoes with high heels (high heels, etc.). It becomes possible to feed back the interval.
  • the second embodiment by discharging the fluid from the actuator 23 in a short time, for example, it is possible to feed back the tactile sensation that is falling on the sole of the user's foot. Further, by alternately supplying and discharging the fluid to the actuator 23, for example, it is possible to feed back the vibrating tactile sensation to the sole of the user. With this, by feeding back the falling tactile sensation and the vibrating tactile sensation to the sole of the user, the user can feel a crack on the floor or the like of the walking foot, or the floor or the like under the foot. It is possible to feed back the feeling of falling out.
  • outdoors are output as a different environment
  • a facility such as a handrail that can be held by the user is installed in the actual environment so that, for example, walking for a victim or the like can be performed. It is possible to provide a new environment different from the actual environment for training and rehabilitation.
  • the shape of the deformation interface 21 is changed by the fluid. Therefore, for example, when the different environment is an environment in which dead leaves, branches, etc. are falling on the ground, in addition to the feeling of touch and vibration, the user can feel various feelings of unevenness on the ground (unevenness). It is possible to present a tactile sensation and a new sensation.
  • the different environment is an environment in which dry ground and muddy ground are mixed
  • the user feels a difference in hardness of the ground in addition to feeling of touch and vibration (hardness)
  • hardness it is possible to present a variety of tactile sensations and new sensations.
  • the feedback unit 2 was arrange
  • the number of feedback units 2 is eight, but the number is not limited to this, and the number of feedback units 2 may be 16, for example, as shown in FIGS. 16 and 17. Good. Further, the number of feedback units 2 may be 32 as shown in FIG. 18, or may be 64 as shown in FIG. 19, for example.
  • the feedback unit 2 is attached to the insole SI, but the present invention is not limited to this.
  • the feedback unit 2 may be attached to the upper surface of the footrest FT as shown in FIG. Good.
  • the footrest FT is provided with a fixing band for fixing the user's foot at an arbitrary position, so that the footrest FT can be placed in an appropriate position with respect to the sole of the user in a different environment. It becomes possible to feed back the changes in the sense of touch and the temperature generated in the operation target.
  • the feedback unit 2 was arrange
  • the feedback unit 2 arranged at a position facing the instep of the foot is inflated more than the feedback unit 2 arranged at a position facing the sole of the foot so that, for example, the foot comes out from the ground. It is possible to feed back the feeling of being caught. Therefore, for example, the different environment is a place where the ball is kicked (soccer ground, etc.), and when the user performs the action of kicking the ball as a player, the feedback unit 2 arranged at a position facing the instep of the user is inflated. You may control.
  • the feedback system 10 according to the third embodiment includes the electronic device 1 similarly to the feedback system 10 according to the first embodiment (see FIG. 1). Note that in the following description, the description of the same configuration as that of the above-described first embodiment may be omitted.
  • the feedback system 10 is a system that provides a feedback system of changes in tactile sensation and changes in temperature to a user who operates an operation target in a different environment in an actual environment.
  • the different environment is a game in which an operation target is displayed on the display will be described as an example.
  • the electronic device 1 includes a plurality of feedback units 2, an integrated controller 3, a different environment output unit 4, an operation unit 5, and a feedback calculation unit 6 (see FIG. 1).
  • the plurality of feedback units 2 are attached to the inner surface (the surface facing the user's hand) of the glove G worn by the user on both hands.
  • the glove G worn by the user on the right hand may be referred to as “right glove GR” and the glove G worn by the user on the left hand may be referred to as “left glove GL”. is there. Therefore, the deformation interface 21 is arranged at a position where the user's hand is pressed, and the user's hand can be pressed.
  • eight feedback units 2 are attached to the glove G will be described.
  • the eight feedback units 2 are located at five positions of the user's hand that face the fingertips, positions that face the base of the thumb, positions that face the center of the palm, and the center of the back of the hand. It is located at the position where As shown in FIG. 26, the deformation interface 21 included in the feedback unit 2 is arranged closer to the user's hand (finger) than the temperature changing unit 22 included in the feedback unit 2. Note that, in FIG. 26, the finger F of the user wearing the glove G is illustrated for the sake of explanation. Descriptions of the configurations of the integrated controller 3, the different environment output unit 4, and the operation unit 5 are omitted.
  • the feedback calculation unit 6 determines the operation of the actuator 23 and the operation of the temperature change unit 22 according to the different environment output from the different environment output unit 4 and the state of the operation target operated using the operation unit 5. The control signal to control is calculated.
  • the different environment output from the different environment output unit 4 is an environment in which a cup containing hot water is placed on a table and the operation target is a person who appears in the game. Then, a case will be described where an operation of grasping a cup containing hot water by hand is performed in a different environment.
  • the feedback calculation unit 6 calculates the control signal so that only the deformation interface 21 arranged at the position facing the fingertip swells. In addition to this, the feedback calculation unit 6 calculates the control signal so that the temperature of the temperature changing unit 22 arranged at the position facing the fingertip rises.
  • the different environment output from the different environment output unit 4 is an environment in which a grassland and a lake are mixed
  • a case will be described in which an operation target sitting in a grassland under a different environment performs an action of putting a hand in the lake.
  • the feedback calculation unit 6 calculates the control signal so that the remaining deformation interface 21 swells after the deformation interface 21 arranged at the position facing the fingertip swells. In addition to this, the feedback calculation unit 6 calculates the control signal so that the temperature of the remaining temperature changing unit 22 decreases after the temperature of the temperature changing unit 22 arranged at the position facing the fingertip decreases.
  • the different environment output from the different environment output unit 4 is an environment in which an operation target (enemy character) imitating another person exists near the operation target (self character) operated by the user. To do. Then, in a different environment, a case where the enemy character hits the player character with a fist, the player character receives the hit with the right hand, and then the enemy character grabs the hit arm with the left hand will be described. To do.
  • the feedback calculation unit 6 calculates the control signal so that the deformation interface 21 arranged at the position facing the center of the palm of the deformation interface 21 attached to the right glove GR swells. After that, the control signal is calculated so that the deformation interface 21 attached to the left glove GL, which is arranged at a position facing the base of the thumb and the center of the palm, swells. Further, among the deformation interfaces 21 attached to the left glove GL, the control signal is calculated so that the deformation interface 21 arranged at the position facing the tip of the finger swells.
  • the feedback calculation unit 6 raises the temperature of the swollen temperature changing unit 22 after the deforming interface 21 of the deforming interface 21 attached to the right glove GR is disposed at a position facing the center of the palm.
  • the control signal is calculated as follows. Furthermore, of the deforming interfaces 21 attached to the left glove GL, the deforming interface 21 arranged at the position facing the base of the thumb and the center of the palm swells, and then the temperature of the swollen temperature changing portion 22 rises. Calculate the control signal.
  • control signal so that the temperature of the swollen temperature changing unit 22 rises after the swollen deformable interface 21 of the deformable interface 21 attached to the left glove GL is disposed at the position facing the tip of the finger. Is calculated.
  • the different environment output from the different environment output unit 4 is an environment in which a cup containing hot water and a cup containing ice and water are placed on the table. Then, in a different environment, a case will be described in which a cup containing hot water is grasped with the right hand and a cup containing ice and water is grasped with the left hand.
  • the feedback calculation unit 6 calculates the control signal so that only the deformation interface 21 arranged at the position facing the fingertip of the deformation interface 21 attached to the right glove GR swells.
  • the control signal is calculated such that only the deformation interface 21 attached to the left glove GL, which is arranged at a position facing the fingertip, swells.
  • the feedback calculation unit 6 causes the temperature of the swollen temperature change unit 22 to rise after the swollen deformation interface 21 of the deformation interface 21 attached to the right glove GR is disposed at a position facing the fingertip. Calculate the control signal.
  • the control signal is calculated so that the temperature of the expanded temperature changing portion 22 decreases after the deformation interface 21 arranged at the position facing the fingertip swells.
  • the feedback control method according to the third embodiment is similar to the feedback control method according to the first embodiment, and the description thereof will be omitted.
  • the electronic device 1 capable of feeding back the changes in the tactile sensation and the temperature generated in the operation target in the different environment to the user's hands (both hands or one hand). Become.
  • a feedback system 10 including an electronic device 1 capable of feeding back changes in tactile sense and temperature generated in an operation target in a different environment to a user's hand (both hands or one hand) is provided. It becomes possible to do.
  • a feedback control method using the electronic device 1 capable of feeding back the tactile sensation and the temperature change generated in the operation target to the user's hand (both hands or one hand) under different environments is provided. It becomes possible to provide.
  • the shape of the deformation interface 21 is changed by the fluid. Therefore, for example, when the different environment is an environment in which another character imitating another person exists near the own character, and when the own character performs a motion of grasping the arm or the like of the other character in the different environment, It is possible to present a variety of tactile sensations and new sensations such as a sensation of grasping a living organism (living sensation) in addition to a touch sensation and a vibration sensation.
  • the number of feedback units 2 is eight, but the number is not limited to this, and the number of feedback units 2 may be sixteen as shown in FIGS. 27 and 28, for example. Good.
  • the feedback unit 2 is arranged at the opposite position.
  • the deformation interface 21 is arranged on the side closer to the user than the temperature changing unit 22, but the present invention is not limited to this.
  • the protective sheet GS may be provided between the temperature changing unit 22 and the user's hand (finger). This makes it possible to suppress the occurrence of low-temperature burns or the like even when the temperature changing unit 22 is raised. Therefore, the protective sheet GS is arranged between the user and the temperature changing unit 22, and forms a thermal conductivity lowering member that lowers the thermal conductivity from the temperature changing unit 22 to the user.
  • the deformation interface 21 is arranged on the side closer to the user than the temperature changing unit 22, but the present invention is not limited to this.
  • the section 22 may be arranged at the same distance with respect to the user.
  • the deformation interface 21 is arranged on the side closer to the user than the temperature changing unit 22, but the present invention is not limited to this.
  • the temperature changing unit 22 may be housed. This makes it easier to feed back the deformation of the deformation interface 21 to the user, as compared with a configuration in which the temperature changing unit 22 is arranged closer to the user than the deformation interface 21.
  • the protective sheet GS may be provided between the temperature changing unit 22 and the hand (finger) of the user.
  • the deformation interface 21 is arranged on the side closer to the user than the temperature changing unit 22, but the present invention is not limited to this. That is, for example, as shown in FIG. 33, the temperature changing portion 22 may be housed inside the deformation interface 21, and the temperature changing portion 22 may be fixed to the inner surface of the glove G. As a result, the deformation interface 21 has a function of protecting the user from the temperature of the temperature changing unit 22, and even when the temperature changing unit 22 is raised, it is possible to suppress the occurrence of low-temperature burns and the like. Becomes
  • the feedback system 10 according to the fourth embodiment includes the electronic device 1 similarly to the feedback system 10 according to the first embodiment (see FIG. 1). Note that in the following description, the description of the same configuration as that of the above-described first embodiment may be omitted.
  • the feedback system 10 is a system that provides a feedback system of changes in tactile sensation and changes in temperature to a user who operates an operation target in a different environment in an actual environment.
  • the fourth embodiment similar to the first embodiment, a case where the different environment is a game in which the operation target is displayed on the display will be described as an example.
  • the electronic device 1 includes a plurality of feedback units 2, an integrated controller 3, a different environment output unit 4, an operation unit 5, and a feedback calculation unit 6 (see FIG. 1).
  • the plurality of feedback units 2 are attached to the clothes W, the insole SI, and the glove G (right glove GR, left glove GL) (see FIGS. 2 to 4, 14 to 23, and 24 to 33). reference). Therefore, the deformation interface 21 is arranged at the position where the user's upper body, the user's sole, and the user's hand are pressed, and can press the user's upper body, the sole, and the hand.
  • the feedback calculation unit 6 determines the operation of the actuator 23 and the operation of the temperature change unit 22 according to the different environment output from the different environment output unit 4 and the state of the operation target operated using the operation unit 5.
  • the control signal to control is calculated.
  • the different environment output from the different environment output unit 4 is a bathroom in which a bathtub containing hot water is installed, and the operation target is a person who appears in the game.
  • the following description is based on the condition that the deformation interface 21 is contracted and the temperature of the temperature changing unit 22 is room temperature. Then, a case where the user performs an operation of dipping the foot into the bathtub under different environments will be described.
  • the feedback calculation unit 6 calculates the control signal so that the deformation interface 21 arranged on the insole SI, the deformation interface 21 arranged on the clothes W, and the deformation interface 21 arranged on the glove G are expanded in this order.
  • the control to inflate the deformation interface 21 arranged on the insole SI is performed in order, for example, from the deformation interface 21 arranged at the position facing the toes to the deformation interface 21 arranged at the position facing the heel.
  • the control to inflate the deformation interface 21 arranged on the clothes W is performed in order from the deformation interface 21 arranged at the position facing the waist to the deformation interface 21 arranged at the position facing the shoulder, for example.
  • the control to inflate the deformation interface 21 arranged on the glove G is performed in order, for example, from the deformation interface 21 arranged at the position facing the fingertip to the deformation interface 21 arranged at the position facing the side closer to the wrist.
  • the feedback calculation unit 6 controls the temperature changing unit 22 arranged on the insole SI, the temperature changing unit 22 arranged on the clothes W, and the temperature changing unit 22 arranged on the glove G so that the temperature rises in this order. Calculate the signal.
  • the control for raising the temperature changing portion 22 arranged on the insole SI is performed in order, for example, from the temperature changing portion 22 arranged at the position facing the toes to the temperature changing portion 22 arranged at the position facing the heel.
  • the control for raising the temperature changing unit 22 arranged on the clothes W is performed in order from the temperature changing unit 22 arranged at the position facing the waist to the temperature changing unit 22 arranged at the position facing the shoulder, for example.
  • the control to raise the temperature changing unit 22 arranged on the glove G is performed, for example, starting from the temperature changing unit 22 arranged at a position facing the fingertip and sequentially reaching the temperature changing unit 22 arranged at a position facing the side closer to the wrist. To do.
  • the different environment output from the different environment output unit 4 is an environment in which a building exists in the desert.
  • the deformation interface 21 is inflated at a degree of bulge of about 50% and the temperature of the temperature changing portion 22 is room temperature. Then, a case will be described in which the operation target that moves in a different environment moves out of the building and moves to the desert.
  • the feedback calculation unit 6 calculates the control signal so that only the deformation interface 21 arranged on the insole SI contracts. In addition to this, the feedback calculation unit 6 calculates the control signal so that the temperature of the temperature changing unit 22 arranged on the clothes W and the glove G rises. Further, in the feedback calculation unit 6, after the deformation interface 21 arranged on the insole SI contracts, the temperature of the temperature changing unit 22 arranged on the insole SI rises with the temperature of the temperature changing unit 22 arranged on the clothes W and the glove G.
  • the control signal is calculated as follows.
  • the different environment output from the different environment output unit 4 is an environment (battlefield, etc.) in which bullets, shells, etc. fly.
  • the following description is based on the condition that the deformation interface 21 is contracted and the temperature of the temperature changing unit 22 is room temperature.
  • the feedback calculation unit 6 outputs control signals so that the deformation interface 21 arranged on the right glove GR, the deformation interface 21 arranged on the garment W and the insole SI, and the deformation interface 21 arranged on the left glove GL swell in this order.
  • the control to inflate the deformation interface 21 arranged on the garment W is performed in order, for example, from the deformation interface 21 arranged at the position facing the right shoulder to the deformation interface 21 arranged at the position facing the left shoulder.
  • the temperature of the feedback calculation unit 6 increases in the order of the temperature changing unit 22 arranged on the right glove GR, the temperature changing unit 22 arranged on the clothes W and the insole SI, and the temperature changing unit 22 arranged on the left glove GL.
  • the control signal is calculated as follows.
  • the control of raising the temperature changing unit 22 arranged on the clothes W is performed in order, for example, from the deformation interface 21 arranged at the position facing the right shoulder to the deformation interface 21 arranged at the position facing the left shoulder.
  • the different environment output from the different environment output unit 4 is the dry ground burning a bonfire.
  • the following description is based on the condition that the deformation interface 21 is contracted and the temperature of the temperature changing unit 22 is room temperature. Then, in a different environment, a case where a user sitting on the ground sticks out the palms of both hands toward the bonfire will be described.
  • the feedback calculation unit 6 calculates the control signal so that only the deformation interface 21 arranged on the insole SI swells. In addition to this, the feedback calculation unit 6 controls the temperature changing unit 22 arranged on the glove G, the temperature changing unit 22 arranged on the insole SI, and the temperature changing unit 22 arranged on the clothes W so that the temperature rises in this order. Calculate the signal.
  • the control for raising the temperature changing unit 22 arranged on the glove G is performed in order of the temperature changing unit 22 arranged at a position facing the palm and the temperature changing unit 22 arranged at a position facing the back of the hand.
  • the different environment output from the different environment output unit 4 is an environment in which a building exists in the desert.
  • the deformation interface 21 is inflated at a degree of bulge of about 50% and the temperature of the temperature changing portion 22 is room temperature. Then, a case where the operation target operated by another user exists in the building and the operation target operated by the own user moves out of the building to the desert will be described.
  • the feedback calculation unit 6 calculates the control signal so that only the deformation interface 21 arranged on the insole SI contracts. In addition to this, the feedback calculation unit 6 calculates the control signal so that the temperature of the temperature changing unit 22 arranged on the clothes W and the glove G rises. Further, in the feedback calculation unit 6, after the deformation interface 21 arranged on the insole SI contracts, the temperature of the temperature changing unit 22 arranged on the insole SI rises with the temperature of the temperature changing unit 22 arranged on the clothes W and the glove G.
  • the control signal is calculated as follows. At this time, the feedback calculation unit 6 calculates the control signal such that the temperature of the temperature changing unit 22 worn by the own user is higher than the temperature of the temperature changing unit worn by another user.
  • the feedback calculation unit 6 swells in the order of the deformation interface 21 arranged on the insole SI, the deformation interface 21 arranged on the glove G, and the deformation interface 21 arranged on the clothes W. , Calculate the control signal.
  • the feedback calculation unit 6 sequentially operates the temperature changing unit 22 arranged on the insole SI, the temperature changing unit 22 arranged on the glove G, and the temperature changing unit 22 arranged on the clothes W.
  • the control signal is calculated so that the temperature drops at.
  • the feedback calculation unit 6 calculates the control signal so that the deformation interface 21 arranged on the insole SI further expands when the operation target submerged in the sea reaches the seabed. Then, when the operation target moving on the seabed grabs an object sinking on the seabed, the control signal is calculated so that the deformation interface 21 arranged on the glove G further swells.
  • the feedback control method according to the fourth embodiment is the same as the feedback control method according to the first embodiment, and the description thereof will be omitted.
  • the electronic device 1 capable of feeding back the tactile sensation and the temperature change generated in the operation target in the different environment to the user's upper body, soles and hands. Becomes
  • the feedback system 10 including the electronic device 1 capable of feeding back the tactile sensation and the temperature change generated in the operation target under the different environment to the user's upper body, soles and hands. It becomes possible to provide.
  • the feedback control method using the electronic device 1 capable of feeding back the tactile sensation and the temperature change generated in the operation target in the different environment to the user's upper body, soles and hands. Can be provided.
  • the feedback unit 2 is attached to the garment W, the insole SI, and the glove G.
  • the present invention is not limited to this, and the feedback unit 2 may be used as a member (goggles or the like) facing the head. May be attached.
  • the different environment is a place where the ball is headed (soccer ground, etc.), and when the user performs the action of heading the ball as a player, the feedback unit 2 arranged at a position facing the head of the user is placed. Control to inflate may be performed.
  • the deformation interface 21 arranged at a position facing the head where the helmet puts a load on the user's body is replaced with another deformation interface in advance. It may be inflated more than 21.
  • the feedback system 10 includes the electronic device 1 as shown in FIG.
  • the feedback system 10 is a system that provides a feedback system of changes in tactile sensation and changes in temperature to a user who operates an operation target in a different environment in an actual environment.
  • the different environment is a game (video game) in which an operation target is displayed on the display will be described.
  • the electronic device 1 includes a plurality of feedback units 2, an integrated controller 3, a different environment output unit 4, an operation unit 5, a biometric information detection unit 7, and a biometric information storage unit 8.
  • a feedback calculation unit 6 is provided. Note that, in FIG. 34, only one of the plurality of feedback units 2 is shown.
  • the plurality of feedback units 2 are attached to, for example, the clothes W (see FIGS. 2 to 4). Descriptions of the configurations of the integrated controller 3, the different environment output unit 4, and the operation unit 5 are omitted.
  • the biometric information detection unit 7 detects biometric information of the user.
  • the biological information detection unit 7 is formed using a plurality of electrodes attached to a head mounted display.
  • the plurality of electrodes form an electroencephalogram sensor that detects an electroencephalogram as the biometric information of the user.
  • the biometric information detection unit 7 may be, for example, an image sensor that acquires a face image (expression) of the user.
  • the temperature of the temperature changing unit 22 is corrected by decreasing the detected value of the user's body temperature according to the amount of increase in the temperature changing unit 22.
  • the biometric information of the user may be detected according to the change.
  • the biometric information storage unit 8 stores the variation amount of the biometric information detected by the biometric information detection unit 7 in association with the situation under a different environment. Furthermore, when the variation amount of the biometric information detected by the biological information detection unit 7 exceeds the variation threshold value, the biological information storage unit 8 stores the situation of exceeding the variation threshold value in association with the variation threshold value. To do.
  • the variation threshold may be set in advance. Further, the variation amount threshold value is obtained by associating the variation amount accumulated by the biometric information accumulating unit 8 with the usage history of the feedback system 10 and the electronic device 1 by the user and depending on the accumulated variation amount and the usage history. Then, it may be automatically changed and set for each user.
  • the heart rate of the user fluctuates greatly compared to other situations (such as during normal walking),
  • the variation amount threshold is exceeded, the variation amount of the heart rate is accumulated corresponding to the situation under different environment.
  • the feedback calculation unit 6 determines the operation of the actuator 23 and the operation of the temperature change unit 22 according to the different environment output from the different environment output unit 4 and the state of the operation target operated using the operation unit 5.
  • the control signal to control is calculated.
  • the feedback calculation unit 6 calculates the status of the user operating the operation target, the variation amount of the biometric information detected by the biometric information detection unit 7, and the biometric information accumulated by the biometric information accumulation unit 8.
  • the control signal is calculated according to the variation amount.
  • the different environment output from the different environment output unit 4 is a stormy urban area and the operation target is a person who appears in the game. Note that the following description is based on the assumption that the user has experienced the same situation multiple times.
  • the feedback calculation unit 6 determines whether or not the situation (occurrence situation) in which a large signboard has fallen in front of the operation target is stored in the biometric information storage unit 8 in association with the variation threshold. ,judge.
  • the operation of the actuator 23 is controlled with a variation amount larger than the variation amount threshold value or less.
  • the control signal is calculated as follows. In addition to this, the control signal is calculated so that the temperature of the temperature changing unit 22 rises by a change amount larger than the change amount threshold value or less.
  • the actuator control unit 31 causes the actuator to operate with a larger amount of change than when the user operates the operation target in a situation where the variation exceeds the variation threshold. 23 to control the operation. Further, the temperature control unit 32 changes the temperature with a change amount larger than that in the situation where the variation amount exceeds the variation threshold value in a situation in which the user operates the operation target and the variation amount exceeds the variation amount threshold value. The temperature of the section 22 is controlled.
  • the operation of the actuator 23 is controlled so as to feed back the change in tactile sense generated in the operation target to the user under the different environment.
  • the temperature of the temperature changing unit 22 is controlled so as to feed back to the user the change in temperature that has occurred in the operation target under different environments.
  • the operation of the actuator 23 is controlled with a variation amount larger than that in the situation in which the variation amount is equal to or less than the variation amount threshold value.
  • the temperature of the temperature changing unit 22 is changed by a variation larger than that in the situation in which the variation is less than or equal to the variation threshold.
  • the user's emotional situation or surprised situation is accumulated under different environments, and when a different environment is accumulated, the tactile and temperature changes are fed back to the user with a large change amount. It becomes possible to provide the electronic device 1 which can do.
  • the electronic device 1 capable of feeding back the tactile sensation and the change in temperature to the user with a large amount of change when the user is moved or surprised when a different environment is accumulated. It is possible to provide a feedback system 10 that includes.
  • the electronic device 1 capable of feeding back the tactile sensation and the change in temperature to the user with a large amount of change when the user is moved or surprised when a different environment is accumulated. It is possible to provide the used feedback control method.
  • the feedback system, the feedback control method, and the electronic device according to the present disclosure do not need to include all the constituent elements described in the above-described embodiments and the like, and conversely may include other constituent elements. It should be noted that the effects described in the present specification are merely examples and are not limited, and may have other effects.
  • the present technology may have the following configurations.
  • a deformation interface that can press the part of the user who operates the operation target moving in a different environment in the real environment,
  • An actuator control unit that controls the operation of an actuator that changes the shape of the deformation interface;
  • a temperature changing unit capable of changing the temperature perceived by the user at the site,
  • a temperature control unit for controlling the temperature of the temperature changing unit,
  • the actuator control unit controls the operation of the actuator based on a change in tactile sensation estimated to be obtained by the operation target,
  • the temperature control unit is a feedback system that controls the temperature of the temperature change unit based on a change in temperature estimated to be perceived by the operation target.
  • the operation of the actuator that changes the shape of the deformation interface that can press the part of the user who operates the operation target that moves in a different environment Control and A feedback control method for controlling the temperature of a temperature changing unit capable of changing the temperature perceived by the user at a site based on a change in temperature estimated to be perceived by the operation target.
  • One or more transformation interfaces that can change the shape, And one or more temperature changing parts capable of changing the temperature The deformation interface is capable of pressing a part of a user who operates an operation target moving in a different environment in a real environment,
  • the temperature change unit is an electronic device capable of changing the temperature perceived by the user at a site.
  • An actuator control unit that controls the operation of an actuator that changes the shape of the deformation interface based on a change in the tactile sensation estimated to be obtained by the operation target;
  • the electronic device according to (3) further including: a temperature control unit that controls the temperature of the temperature change unit based on a change in temperature estimated to be perceived by the operation target.
  • the temperature changing unit is the electronic device according to (3) or (4), wherein the temperature can be changed by electrically adjusting the temperature.
  • the electronic device according to any one of (3) to (7), wherein the temperature changing unit is arranged at a position closer to the user than the deformation interface.
  • the deformable member is the electronic device according to any one of (3) to (8), which is deformable according to the body shape of the user.
  • a thermal conductivity lowering member that lowers the thermal conductivity of the temperature generated by the temperature changing unit, The electronic device according to any one of (3) to (9), wherein the thermal conductivity lowering member is arranged between the user and the temperature changing unit.
  • the electronic device according to any one of (3) to (10), wherein at least one of the transformation interfaces can press the upper body of the user.
  • a biometric information detection unit that detects biometric information of the user
  • a biometric information storage unit that stores the variation amount of the biometric information detected by the biometric information detection unit in association with the situation under the different environment
  • An actuator control unit that controls the operation of an actuator that changes the shape of the deformation interface based on a change in the tactile sensation estimated to be obtained by the operation target
  • a temperature control unit that controls the temperature of the temperature change unit based on a change in temperature estimated to be perceived by the operation target
  • the biometric information storage unit when the variation amount of the biometric information detected by the biometric information detection unit exceeds a variation amount threshold value, stores the situation in which the variation amount threshold value is exceeded in association with the variation amount threshold value, In the situation in which the situation in which the user is operating the operation target is such that the variation amount exceeds the variation amount threshold, the actuator control unit changes the variation amount larger than a situation in which the variation amount is less than or equal to the variation amount threshold.
  • the temperature control unit when the user is operating the operation target, in a situation in which the variation amount exceeds the variation amount threshold value, the variation amount is larger than the situation in which the variation amount threshold value or less.
  • the electronic device according to any one of (3) to (19) above, wherein the temperature of the temperature changing portion is controlled by an amount.
  • the actuator is an electromagnetic actuator.
  • a plurality of feedback units including one of the deformation interfaces and one of the temperature changing units operable in association with each other;
  • the electronic device according to any one of (3) to (22), wherein two of the plurality of feedback units are arranged at positions sandwiching the upper body of the user from the front-rear direction.
  • An actuator control unit that controls the operation of an actuator that changes the shape of the deformation interface based on a change in the tactile sensation estimated to be obtained by the operation target;
  • a temperature control unit that controls the temperature of the temperature change unit based on a change in temperature estimated to be perceived by the operation target;
  • the electronic device according to any one of (3) to (23), wherein the temperature control unit controls the temperature of the temperature changing unit after the actuator control unit controls the operation of the actuator.
  • the operation target includes an actuator control unit that controls the operation of the actuator based on a change in the sense of touch that is estimated to be obtained,
  • the actuator control unit inflates the deformation interface, which is arranged in a portion where a load is applied to the user's body, inflated more than other deformation interfaces in advance according to the member worn by the operation target in the different environment.
  • the electronic device according to any one of (3) to (29), wherein at least one of the deformation interfaces can press the head of the user.
  • SYMBOLS 1 Electronic device, 2... Feedback unit, 21... Deformation interface, 22... Temperature change part, 23... Actuator, 24... Vibration actuator, 3... General controller, 31... Actuator control part, 32... Temperature control part, 4... Different Environmental output unit, 5... Operation unit, 6... Feedback calculation unit, 7... Biometric information detection unit, 8... Biometric information storage unit, 10... Feedback system, W... Clothes, H... Hose, SS... Short-sleeved shirt, LS... Long sleeve Shirt, B... Belt member, E... Deformation member, D... Partition wall, OS... Outermost layer sheet member, ES1... First elastic sheet member, ES2... Second elastic sheet member, AS... Insulating sheet member, IS... Inner layer sheet member, SI... Insole, FT... Footrest, S... Shoes, G... Gloves, F... Fingers, GS... Protective sheet

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Textile Engineering (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

電子デバイスが、異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能であり、且つ形状を変化可能な一つ以上の変形インターフェースと、ユーザが部位で知覚する温度を変化可能である一つ以上の温度変化部を備え、フィードバックシステムが、電子デバイスと、変形インターフェースの形状を変化させるアクチュエータの動作を操作対象が得ていると推定される触覚の変化に基づいて制御するアクチュエータ制御部と、ユーザが部位で知覚する温度を変化可能な温度変化部の温度を操作対象が知覚していると推定される温度の変化に基づいて制御する温度制御部を備える。

Description

[規則37.2に基づきISAが決定した発明の名称] 触覚及び温度のフィードバックシステム
 本開示に係る技術(本技術)は、例えば、身体に装着する装着物に取り付ける電子デバイスと、電子デバイスを含むフィードバックシステムと、電子デバイスを用いたフィードバック制御方法に関する。
 電子デバイスとしては、例えば、特許文献1に開示されているように、ユーザが装着するチョッキに複数の空気圧力生成デバイスを内蔵し、空気圧力生成デバイスを選択的に作動させることで、触覚の変化をユーザにフィードバックするものがある。
特表2010-512189号公報
 しかしながら、特許文献1に開示されている技術では、例えば、仮想環境等の異環境下において温度の変化が発生した場合に、発生した温度の変化をユーザにフィードバックすることが困難であるという問題点がある。
 本技術は、上記問題点を鑑み、触覚及び温度の変化をユーザにフィードバックすることが可能な電子デバイスと、電子デバイスを含むフィードバックシステムと、電子デバイスを用いたフィードバック制御方法を提供することを目的とする。
 本技術の一態様に係るフィードバックシステムは、変形インターフェースと、アクチュエータ制御部と、温度変化部と、温度制御部とを備える。変形インターフェースは、異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能である。アクチュエータ制御部は、操作対象が得ていると推定される触覚の変化に基づいて、変形インターフェースの形状を変化させるアクチュエータの動作を制御する。温度変化部は、ユーザが部位で知覚する温度を変化可能である。温度制御部は、操作対象が知覚していると推定される温度の変化に基づいて、温度変化部の温度を制御する。
 本技術の一態様に係るフィードバック制御方法では、異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能な変形インターフェースの形状を変化させるアクチュエータの動作を、操作対象が得ていると推定される触覚の変化に基づいて制御する。これに加え、本技術の一態様に係るフィードバック制御方法では、ユーザが部位で知覚する温度を変化可能な温度変化部の温度を、操作対象が知覚していると推定される温度の変化に基づいて制御する。
 本技術の一態様に係る電子デバイスは、形状を変化可能な一つ以上の変形インターフェースと、温度を変化可能な一つ以上の温度変化部とを備える。変形インターフェースは、異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能であり、温度変化部は、ユーザが部位で知覚する温度を変化可能である。
第1実施形態に係る電子デバイス及びフィードバックシステムの構成を示すブロック図である。 衣服を前面から見た図である。 衣服を背面から見た図である。 図2のIV線矢視図である。 第1実施形態の変形例を示す図である。 第1実施形態の変形例を示す図である。 第1実施形態の変形例を示す図である。 第1実施形態の変形例を示す図である。 第1実施形態の変形例を示す図である。 第1実施形態の変形例を示す図である。 第1実施形態の変形例を示す図である。 第1実施形態の変形例を示す図である。 第1実施形態の変形例を示す図である。 第2実施形態に係る電子デバイスを適用するインソールの平面図である。 第2実施形態の変形例を示す図である。 第2実施形態の変形例を示す図である。 第2実施形態の変形例を示す図である。 第2実施形態の変形例を示す図である。 第2実施形態の変形例を示す図である。 第2実施形態の変形例を示す図である。 第2実施形態の変形例を示す図である。 第2実施形態の変形例を示す図である。 第2実施形態の変形例を示す図である。 第3実施形態に係る電子デバイスを適用する手袋を掌の側から見た図である。 第3実施形態に係る電子デバイスを適用する手袋を手の甲の側から見た図である。 図24のXXVI-XXVI線断面図である。 第3実施形態の変形例を示す図である。 第3実施形態の変形例を示す図である。 第3実施形態の変形例を示す図である。 第3実施形態の変形例を示す図である。 第3実施形態の変形例を示す図である。 第3実施形態の変形例を示す図である。 第3実施形態の変形例を示す図である。 第5実施形態に係る電子デバイス及びフィードバックシステムの構成を示すブロック図である。
 以下、図面を参照して、本技術の実施形態を説明する。図面の記載において、同一または類似の部分には同一または類似の符号を付し、重複する説明を省略する。各図面は模式的なものであり、現実のものとは異なる場合が含まれる。以下に示す実施形態は、本技術の技術的思想を具体化するための装置や方法を例示するものであって、本技術の技術的思想は、下記の実施形態に例示した装置や方法に特定するものでない。本技術の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることが可能である。
 (第1実施形態)
 <フィードバックシステムの構成>
 第1実施形態に係るフィードバックシステム10は、図1中に示すように、電子デバイス1を備える。
 フィードバックシステム10は、仮想環境等の異環境下の操作対象(キャラクタ)を実環境下で操作するユーザに対して、触覚の変化及び温度の変化をフィードバックシステムするシステムである。第1実施形態では、一例として、異環境を、ディスプレイに操作対象が表示されるゲーム(テレビゲーム)とした場合について説明する。
 ここで、「操作対象」とは、ゲームに登場する人物や、映画に出演する人物や、バーチャルツアーのテレイグジスタンス等、仮想環境や遠隔地等の異環境に存在し、ユーザの意図に応じて動作する表示または物体である。なお、テレイグジスタンスとは、遠隔地に置いてユーザが遠隔操作するロボットである。
 <電子デバイスの構成>
 電子デバイス1は、図1中に示すように、複数のフィードバックユニット2と、総合コントローラ3と、異環境出力部4と、操作部5と、フィードバック演算部6を備える。なお、図1中には、複数のフィードバックユニット2のうち、一つのみを示している。
 第1実施形態では、一例として、複数のフィードバックユニット2と、総合コントローラ3と、異環境出力部4と、操作部5と、フィードバック演算部6の全てをユーザの身体に装着する、自己完結型の構成とした場合について説明する。
 複数のフィードバックユニット2は、図2から図4中に示すように、ユーザが着用する衣服Wの、ユーザと対向する面(内面)に取り付けられている。
 第1実施形態では、複数のフィードバックユニット2を取り付ける衣服Wを、ユーザが上半身に着用するチョッキとした場合について説明する。また、第1実施形態では、衣服Wに、8個のフィードバックユニット2を取り付ける場合について説明する。
 また、第1実施形態では、フィードバックユニット2のユーザと対向する部分の形状を、直交する二辺の長さが共に2.5[cm]である正方形に設定した場合について説明する。
 また、8個のフィードバックユニット2のうち6個のフィードバックユニット2は、ユーザの肩、胸、腹のうち、ユーザの正中線を基準として左右二箇所に配置されている。これに加え、8個のフィードバックユニット2のうち2個のフィードバックユニット2は、ユーザの背中のうち、ユーザの腹に配置されている2個のフィードバックユニット2と、ユーザの正中線を基準として対向する位置に配置されている。したがって、8個のフィードバックユニット2のうち、4個で二組のフィードバックユニット2は、ユーザの上半身を前後方向から挟む位置に配置されている。なお、図中では、8個のフィードバックユニット2のうち前面に配置されている6個のフィードバックユニット2を、符号2a~2fで示している。同様に、図中では、8個のフィードバックユニット2のうち背面に配置されている2個のフィードバックユニット2を、符号2g及び2hで示している。また、図中では、4個で二組のフィードバックユニット2を、符号2e~2hで示している。
 フィードバックユニット2は、互いに関連して動作可能な、一つの変形インターフェース21と一つの温度変化部22を含んでいる。
 変形インターフェース21は、弾性を有する材料、例えば、シリコーンを用いて、六面体のケース状に形成されている。
 また、変形インターフェース21は、変形インターフェース21の形状を変化させるアクチュエータ23を含む。
 アクチュエータ23は、例えば、空気ポンプを含んで形成されており、流体(気体)によって、変形インターフェース21の形状を変化させる。すなわち、アクチュエータ23は、流体アクチュエータである。
 以上により、変形インターフェース21は、ユーザの予め設定した部位に装着されて、ユーザの部位を押圧可能である。第1実施形態では、変形インターフェース21は、ユーザの上半身を押圧する位置に配置されており、ユーザの上半身を押圧可能である。
 すなわち、複数の変形インターフェース21及び温度変化部22は、それぞれ、ユーザの上半身の、前面と背面に配置されており、上半身の前面と背面を押圧可能である。
 また、変形インターフェース21は、ユーザが着用する衣服Wに取り付けられている。
 温度変化部22は、例えば、ペルチェ素子やニクロム線等を含んで形成されており、電気的な温度の調節によって、温度を変化可能である。したがって、温度変化部22は、ユーザの予め設定した部位に装着され、且つ温度を変化可能である。
 第1実施形態では、温度変化部22の構成を、ペルチェ素子を含む構成とした場合について説明する。
 また、温度変化部22は、変形インターフェース21よりもユーザに近い位置に配置されている。
 総合コントローラ3は、アクチュエータ制御部31と、温度制御部32を備える。
 アクチュエータ制御部31は、例えば、CPUとメモリを含んで形成されており、フィードバック演算部6から入力された信号に応じて、アクチュエータ23の動作を制御する。フィードバック演算部6から入力された信号に応じてアクチュエータ制御部31が行う処理については、後述する。
 温度制御部32は、例えば、CPUとメモリを含んで形成されており、フィードバック演算部6から入力された信号に応じて、温度変化部22の動作を制御する。フィードバック演算部6から入力された信号に応じて温度制御部32が行う処理については、後述する。
 異環境出力部4は、例えば、ヘッドマウントディスプレイを備えるゴーグル(VRゴーグル)等や、壁面等に設置したディスプレイを用いて形成されており、異環境(映像・音声)を出力する。第1実施形態では、上述したように、異環境出力部4をユーザの身体に装着する構成としているため、異環境出力部4を、ヘッドマウントディスプレイを備えるゴーグルを用いて形成する。
 ヘッドマウントディスプレイは、例えば、ゴーグルや帽子等の一部に、画像を表示するディスプレイが配置されて形成されており、ユーザの両目または片目で視認可能な画像を表示する。ヘッドマウントディスプレイを用いて表示する画像としては、例えば、仮想空間の画像や、カメラによって撮像した画像を用いることが可能である。
 操作部5は、例えば、レバーやボタン等を含んで形成されており、ユーザが実環境下で操作対象の操作に用いる。
 第1実施形態では、操作部5の構成を、ユーザが手で保持するコントローラにレバーやボタンが取り付けられた構成とした場合について説明する。
 フィードバック演算部6は、例えば、CPUとメモリを含んで形成されている。
 また、フィードバック演算部6は、異環境出力部4から出力している異環境と、操作部5を用いて操作している操作対象の状態に応じて、アクチュエータ23の動作と温度変化部22の動作を制御する制御信号を演算する。
 以下、フィードバック演算部6が行う演算の例を説明する。
 まず、異環境出力部4から出力している異環境が、矢、銃弾、砲弾等が飛び交う環境(戦場等)であり、操作対象が、ゲームに登場する人物である場合について説明する。
 そして、異環境において、操作対象の上半身に、矢、銃弾、砲弾の破片等、飛翔体が衝突した場合について説明する。
 この場合、フィードバック演算部6は、飛翔体が衝突した位置、または、飛翔体が衝突した位置と近い位置に配置されている変形インターフェース21が膨らむように、制御信号を演算する。
 これに加え、フィードバック演算部6は、飛翔体が衝突した位置、または、飛翔体が衝突した位置と近い位置に配置されている温度変化部22の温度が上昇するように、制御信号を演算する。
 なお、異環境において、操作対象の上半身に、例えば、砲弾の破片等、複数の飛翔体が衝突した場合には、複数の変形インターフェース21が膨らむとともに、複数の温度変化部22の温度が上昇するように、制御信号を演算する。
 次に、異環境において、操作対象の上半身を飛翔体が貫通した場合について説明する。
 この場合、フィードバック演算部6は、飛翔体が貫通した入口の位置、または、飛翔体が貫通した入口と近い位置(以降、「入口」と記載する)に配置されている変形インターフェース21が膨らむように、制御信号を演算する。さらに、フィードバック演算部6は、飛翔体が貫通した出口の位置、または、飛翔体が貫通した出口と近い位置(以降、「出口」と記載する)に配置されている変形インターフェース21が膨らむように、制御信号を演算する。
 このとき、フィードバック演算部6は、入口に配置されている変形インターフェース21が膨らんだ後に、出口に配置されている変形インターフェース21が膨らむように、制御信号を演算する。
 これに加え、フィードバック演算部6は、入口に配置されている温度変化部22の温度が上昇した後に、出口に配置されている温度変化部22の温度が上昇するように、制御信号を演算する。
 この場合、例えば、フィードバックユニット2fが含む変形インターフェース21が膨らんだ後に、フィードバックユニット2gが含む変形インターフェース21が膨らむように、制御信号を演算する。さらに、フィードバックユニット2fが含む温度変化部22の温度が上昇した後に、フィードバックユニット2gが含む温度変化部22の温度が上昇するように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、刀剣や棒等の武器を所持した他人を模した操作対象(以降、「敵キャラクタ」と記載する)が存在する環境(戦場等)である場合について説明する。
 そして、異環境において、操作対象の上半身に、武器が薙ぎ払うように衝突した場合について説明する。
 この場合、フィードバック演算部6は、武器が最初に衝突した位置、または、武器が最初に衝突した位置と近い位置(以降、「初期位置」と記載する)に配置されている変形インターフェース21が膨らむように、制御信号を演算する。
 さらに、フィードバック演算部6は、武器が最後に衝突した位置、または、武器が最後に衝突した位置と近い位置(以降、「最終位置」と記載する)に配置されている変形インターフェース21が膨らむように、制御信号を演算する。
 この場合、例えば、フィードバックユニット2fが含む変形インターフェース21が膨らんだ後に、フィードバックユニット2eが含む変形インターフェース21が膨らむように、制御信号を演算する。
 以上により、アクチュエータ制御部31は、操作対象が得ていると推定される触覚の変化に基づいて、変形インターフェース21が含むアクチュエータ23の動作を制御する。また、温度制御部32は、操作対象が知覚していると推定される温度の変化に基づいて、温度変化部22の温度を制御する。
 ここで、「操作対象が得ていると推定される触覚」とは、例えば、ディスプレイに表示されている画面の中において操作対象と物体が接触した際、操作対象をユーザに置き換えたと仮定した場合に、ユーザが視覚的に感じると推定される触覚である。なお、操作対象が得ていると推定される触覚は、例えば、操作対象に接触した物体の速度や大きさ(質量)、操作対象と物体との接触面積等に応じて設定することが可能である。
 また、「操作対象が知覚していると推定される温度」とは、例えば、画面の中において操作対象と物体が接触した際や、操作対象の周囲環境が変化した際、操作対象をユーザに置き換えたと仮定した場合に、ユーザが視覚的に感じると推定される温度である。なお、操作対象が知覚していると推定される温度は、例えば、操作対象と物体が接触している時間の長さや、操作対象の周囲環境に生じている温度変化等に応じて設定することが可能である。
 さらに、アクチュエータ制御部31は、複数の変形インターフェース21に対して、変形インターフェース21が含むアクチュエータ23の動作を個別に制御する。同様に、温度制御部32は、複数の温度変化部22に対して、温度を個別に制御する。
 <フィードバック制御方法>
 第1実施形態のフィードバックシステム10を用いて行うフィードバック制御方法では、異環境下で操作対象が得ていると推定される触覚の変化に基づいて、アクチュエータ23の動作を制御する。これに加え、異環境下で操作対象が知覚していると推定される温度の変化に基づいて、温度変化部22の温度を制御する。
 第1実施形態の構成であれば、アクチュエータ制御部31が、異環境下で操作対象が得ていると推定される触覚の変化に基づいて、アクチュエータ23の動作を制御する。これに加え、温度制御部32が、異環境下で操作対象が知覚していると推定される温度の変化に基づいて、温度変化部22の温度を制御する。
 これにより、異環境下で操作対象に発生した触覚及び温度の変化をユーザの上半身にフィードバックすることが可能な電子デバイス1を提供することが可能となる。
 第1実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化をユーザの上半身にフィードバックすることが可能な電子デバイス1を含むフィードバックシステム10を提供することが可能となる。
 第1実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化をユーザの上半身にフィードバックすることが可能な電子デバイス1を用いたフィードバック制御方法を提供することが可能となる。
 第1実施形態の構成であれば、異環境下で操作対象に発生した触覚の変化と温度の変化を、同時に、ユーザにフィードバックすることが可能である。
 第1実施形態の構成であれば、異環境下で操作対象に発生した触覚の変化と温度の変化を、異なるタイミングで、ユーザにフィードバックすることが可能である。
 このため、実環境で発生する状況のように、触覚の変化を感じた後に温度の変化を感じる状態(例えば、他人に腕を掴まれた後に、他人の腕から熱が伝わってくる状態)を、ユーザにフィードバックすることが可能である。
 また、複数のフィードバックユニット2に対し、異なるタイミングで、変形インターフェース21を膨らます制御と温度変化部22の温度を変化させる制御を行うことで、例えば、雹が降ってくる状況を、ユーザにフィードバックすることが可能である。
 第1実施形態の構成であれば、空気ポンプを含んでアクチュエータ23を形成し、気体によって変形インターフェース21の形状を変化させるため、低周波数によって変形インターフェース21を振動させることが可能である。これにより、ユーザへ、軟らかさ等の触感を提示することが可能となる。
 第1実施形態の構成であれば、流体によって変形インターフェース21の形状を変化させる。このため、例えば、異環境において操作対象に飛翔体が衝突した場合等に、ユーザへ、物体と接触している感覚(接触感)や、振動を受ける感覚(振動感)に加え、圧力を受ける感覚(圧感)等、多彩な触感や新たな感覚を提示することが可能となる。また、例えば、操作対象に飛翔体が衝突する速度や飛翔体の大きさ等を反映させて、ユーザへ、接触感や振動感に加え、飛翔体が操作対象へ与える力の強さの感覚(力感)等、多彩な触感や新たな感覚を提示することが可能となる。
 (第1実施形態の変形例)
 第1実施形態では、アクチュエータ23の構成を、気体によって、変形インターフェース21の形状を変化させる構成としたが、これに限定するものではなく、液体によって、変形インターフェース21の形状を変化させる構成としてもよい。
 第1実施形態では、変形インターフェース21の構成を、アクチュエータ23を含む構成としたが、これに限定するものではなく、アクチュエータ23が、変形インターフェース21の外部の存在する構成としてもよい。すなわち、変形インターフェース21の構成を、アクチュエータ23を含まない構成としてもよい。
 第1実施形態では、アクチュエータ23の構成を、気体によって、変形インターフェース21の形状を変化させる構成としたが、これに限定するものではなく、電磁力によって、変形インターフェース21の形状を変化させる構成としてもよい。すなわち、アクチュエータ23を、電磁アクチュエータとしてもよい。
 この場合、流体によって変形インターフェース21の形状を変化させる構成と比較して、変形インターフェース21の形状を変化させる制御のレスポンスを向上させることが可能となる。
 第1実施形態では、温度変化部22の構成を、電気的な温度の調節によって、温度を変化可能な構成としたが、これに限定するものではなく、温度変化部22の構成を、温度を調節した流体(液体等)が移動することで温度を変化可能な構成としてもよい。
 この場合、例えば、図5及び図6中に示すように、衣服Wのフィードバックユニット2を取り付ける位置を通過するように、流体が移動するホースHを配置する。
 第1実施形態では、異環境を、ディスプレイに操作対象が表示されるテレビゲームとしたが、これに限定するものではなく、異環境を、映画としてもよい。この場合、異環境出力部4は、例えば、映画館のスクリーン等を用いて形成する。また、操作対象は、映画に出演する人物としてもよい。
 第1実施形態では、異環境を、ディスプレイに操作対象が表示されるテレビゲームとしたが、これに限定するものではなく、異環境を、職業訓練等の教育ソフトに用いる環境としてもよい。なお、職業訓練等の教育ソフトに用いる環境とは、例えば、特殊車両の運転・操作トレーニングや、設備や機械のオペレーション及びメンテナンスのトレーニングや、安全教育トレーニングや、危険体感トレーニング等がある。
 第1実施形態では、異環境を、ディスプレイに操作対象が表示されるテレビゲームとしたが、これに限定するものではなく、異環境を、コミュニケーションツールに用いる環境としてもよい。なお、コミュニケーションツールに用いる環境とは、例えば、所望の外観であるアバター(異環境でユーザの分身となる操作対象)を用いて作成した動画の公開や、遠隔地に存在する人物との交流イベント等がある。
 第1実施形態では、フィードバックユニット2を取り付ける衣服Wを、ユーザが上半身に着用するチョッキとしたが、これに限定するものではなく、衣服Wを、例えば、図7及び図8中に示すように、半袖シャツSSとしてもよい。同様に、衣服Wを、例えば、図9及び図10中に示すように、長袖シャツLSとしてもよい。
 この場合、図9及び図10中に示すように、フィードバックユニット2の数を、16個としてもよい。なお、フィードバックユニット2の数は、制御の容易性を考慮して、8の整数倍とすることが好適である。
 また、この場合、図11中に示すように、長袖シャツLSの構成を、ユーザの身体に長袖シャツLSの腰や手首等をフィットさせるためのベルト部材Bを備える構成としてもよい。
 さらに、この場合、ユーザへ、接触感や振動感に加え、ベルト部材Bを締めることによって、衣服によって体を締め付けられる感覚(締付感)等、多彩な触感や新たな感覚を提示することが可能となる。
 図9及び図10中に示すように、フィードバックユニット2の数を16個とした場合、ユーザの肩、胸、腹、背中に加え、例えば、ユーザの腕(上腕、前腕)と対向する位置に、フィードバックユニット2を配置する。
 なお、フィードバックユニット2の数に関わらず、フィードバックユニット2を配置する位置は、例えば、異環境の内容に応じた位置(腰、脇、脇腹等)とすることが可能である。
 第1実施形態では、フィードバックユニット2を取り付ける衣服Wを、ユーザが上半身に着用する衣服(チョッキ)としたが、これに限定するものではなく、衣服Wを、例えば、ユーザが下半身に着用する衣服(タイツ等)としてもよい。また、フィードバックユニット2を取り付ける衣服Wを、ユーザが上半身及び下半身に着用する衣服としてもよい。
 第1実施形態では、フィードバック演算部6の構成を、異環境と操作対象の状態に応じて、アクチュエータ23の動作と温度変化部22の動作を制御する制御信号を演算する構成としたが、これに限定するものではない。
 すなわち、例えば、異環境において操作対象が鎧を装着している設定である場合、鎧によってユーザの身体に負荷が加わる部分(肩等)に配置した変形インターフェース21を、予め、他の変形インターフェース21よりも膨らませてもよい。
 また、例えば、異環境において操作対象がリュックサック等を背負っている設定である場合、ユーザの身体に負荷が加わる部分(肩及び腰等)に配置した変形インターフェース21を、予め、他の変形インターフェース21よりも膨らませてもよい。
 第1実施形態では、変形インターフェース21と温度変化部22を含むフィードバックユニット2を、ユーザに対して予め設定した位置を押圧するように配置したが、これに限定するものではない。すなわち、例えば、図12中に示すように、変形インターフェース21と温度変化部22との間に、ユーザの体型に応じて変形可能な変形部材Eを配置してもよい。なお、図12中には、一つの変形インターフェース21を保持する隔壁Dを図示している。隔壁Dは、ユーザの身体の表面に沿った方向への変形インターフェース21の変形を規制する変形規制部材を形成する。
 この場合、例えば、変形インターフェース21を、最外層シート部材OSと第一伸縮性シート部材ES1との間に配置する。また、温度変化部22を、第二伸縮性シート部材ES2と断熱シート部材ASとの間に配置する。また、断熱シート部材ASとユーザの身体との間には、最内層シート部材ISを配置する。
 最外層シート部材OSは、伸縮性の低い厚手の布で形成する。第一伸縮性シート部材ES1は、最外層シート部材OSよりも伸縮性の高い薄手の布で形成する。第二伸縮性シート部材ES2は、最外層シート部材OSよりも伸縮性の高い薄手の布で形成する。断熱シート部材ASは、ウレタンシートで形成する。最内層シート部材ISは、最外層シート部材OSよりも伸縮性の高い薄手の布で形成する。変形部材Eは、例えば、ビーズを組み合わせて構成したクッションや、ゲル状の材料等、弾性を有する材料を用いて形成する。
 したがって、断熱シート部材ASは、ユーザと温度変化部22との間に配置され、且つ温度変化部22からユーザへの熱伝導率を低下させる熱伝導率低下部材を形成する。
 また、図13中に示すように、複数の変形インターフェース21を、最外層シート部材OSと第一伸縮性シート部材ES1との間に形成された空間に、隣接させて配置してもよい。
 また、図13中に示すように、最外層シート部材OSの外側(ユーザから遠い側)に、振動アクチュエータ24を配置してもよい。
 振動アクチュエータ24は、例えば、積層した圧電素子と振動板を用いて形成されており、ユーザへ振動をフィードバックすることが可能である。
 振動アクチュエータ24を配置した構成とすることで、フィードバック演算部6が、例えば、以下の演算を行うことが可能となる。
 まず、異環境出力部4から出力している異環境が、駆除の対象となる物体(害獣、空想上の生物等)が存在する環境(草原等)であり、操作対象が、ゲームに登場する人物である場合について説明する。
 そして、異環境において、操作対象が、所持している銃を手と肩で支持した状態で、駆除の対象となる物体へ向けて弾丸を発射する動作を行った場合について説明する。
 この場合、フィードバック演算部6は、まず、操作対象が銃を手と肩で支持した時点で、肩と対向する位置に配置されている変形インターフェース21が膨らむように、制御信号を演算する。その後、フィードバック演算部6は、操作対象が弾丸を発射すると、振動アクチュエータ24を作動するように、制御信号を演算する。これにより、発射の衝撃を振動としてユーザにフィードバックする。
 以上により、変形インターフェース21の構成は、ユーザの予め設定した部位に装着する構成に限定するものではなく、ユーザの予め設定した部位を含む範囲に装着してもよい。この場合、フィードバック演算部6の構成は、変形インターフェース21を装着した範囲のうち、ユーザが選択した部位や、操作対象が得ていると推定される触覚の変化に応じて、変形インターフェース21の形状を変化させる制御を行う構成としてもよい。
 同様に、温度変化部22の構成は、ユーザの予め設定した部位に装着する構成に限定するものではなく、ユーザの予め設定した部位を含む範囲に装着してもよい。この場合、フィードバック演算部6の構成は、変形インターフェース21を装着した範囲のうち、ユーザが選択した部位や、操作対象が知覚していると推定される温度の変化に応じて、温度変化部22の温度を変化させる制御を行う構成としてもよい。
 第1実施形態では、電子デバイス1の構成を、フィードバックユニット2と、総合コントローラ3と、異環境出力部4と、操作部5と、フィードバック演算部6を備える構成としたが、これに限定するものではない。すなわち、例えば、電子デバイス1の構成を、変形インターフェース21と温度変化部22を含むフィードバックユニット2のみを備える構成としてもよい。この場合、総合コントローラ3と、異環境出力部4と、操作部5と、フィードバック演算部6は、例えば、サーバ等が備える構成とし、サーバと電子デバイス1との間で、有線、または、無線により通信を行う構成とする。
 第1実施形態では、フィードバックユニット2と、総合コントローラ3と、異環境出力部4と、操作部5と、フィードバック演算部6の全てをユーザの身体に装着する、自己完結型の構成としたが、これに限定するものではない。すなわち、例えば、総合コントローラ3と、異環境出力部4と、フィードバック演算部6を、サーバ等が備える構成とし、サーバと電子デバイス1との間で、有線、または、無線により通信を行う構成としてもよい。したがって、アクチュエータ制御部31と温度制御部32が、電子デバイス1の外(外部)に存在する構成としてもよい。同様に、電子デバイス1を備えるフィードバックシステム10の構成は、アクチュエータ制御部31と温度制御部32が、電子デバイス1の外(外部)に存在する構成としてもよい。
 (第2実施形態)
 <フィードバックシステムの構成>
 第2実施形態に係るフィードバックシステム10は、第1実施形態に係るフィードバックシステム10と同様、電子デバイス1を備える(図1を参照)。なお、以降の説明では、上述した第1実施形態と同様の構成について、説明を省略する場合がある。
 フィードバックシステム10は、異環境下の操作対象を実環境下で操作するユーザに対して、触覚の変化及び温度の変化をフィードバックシステムするシステムである。第2実施形態では、第1実施形態と同様、一例として、異環境を、ディスプレイに操作対象が表示されるゲームとした場合について説明する。
 <電子デバイスの構成>
 電子デバイス1は、複数のフィードバックユニット2と、総合コントローラ3と、異環境出力部4と、操作部5と、フィードバック演算部6を備える(図1を参照)。
 複数のフィードバックユニット2は、図14中に示すように、ユーザが履く靴のインソールSIのうち、ユーザの足裏と対向する面(上面)に取り付けられている。
 第2実施形態では、インソールSIに、8個のフィードバックユニット2を取り付ける場合について説明する。
 したがって、変形インターフェース21は、ユーザの足裏を押圧する位置に配置されており、ユーザの足裏を押圧可能である。
 また、8個のフィードバックユニット2は、ユーザの足裏のうち、土踏まずを除く領域に配置されている。
 総合コントローラ3と、異環境出力部4と、操作部5の構成については、説明を省略する。
 フィードバック演算部6は、異環境出力部4から出力している異環境と、操作部5を用いて操作している操作対象の状態に応じて、アクチュエータ23の動作と温度変化部22の動作を制御する制御信号を演算する。
 以下、フィードバック演算部6が行う演算の例を説明する。
 なお、以下の説明は、変形インターフェース21が膨らんでいる状態を前提とする。この場合、変形インターフェース21の膨らみ度合いは、例えば、50%程度とする。
 まず、異環境出力部4から出力している異環境が、乾燥した地面とぬかるんだ地面が混在する環境であり、操作対象が、ゲームに登場する人物である場合について説明する。
 そして、異環境下を移動する操作対象が、乾燥した地面からぬかるんだ地面へ移動した場合について説明する。
 この場合、フィードバック演算部6は、膨らんでいる変形インターフェース21が収縮するように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、乾燥した地面と積雪した地面が混在する環境である場合について説明する。
 そして、異環境下を移動する操作対象が、乾燥した地面から積雪した地面へ移動した場合について説明する。
 この場合、フィードバック演算部6は、膨らんでいる変形インターフェース21が収縮するように、制御信号を演算する。
 これに加え、フィードバック演算部6は、膨らんでいる変形インターフェース21が収縮した後に温度変化部22の温度が低下するように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、砂漠と木陰が混在する環境である場合について説明する。
 そして、異環境下を移動する操作対象が、木陰から砂漠へ移動した場合について説明する。
 この場合、フィードバック演算部6は、膨らんでいる変形インターフェース21が収縮するように、制御信号を演算する。
 これに加え、フィードバック演算部6は、膨らんでいる変形インターフェース21が収縮した後に温度変化部22の温度が上昇するように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、乾燥した地面と岩盤が混在する環境である場合について説明する。
 そして、異環境下を移動する操作対象が、乾燥した地面から岩盤へ移動した場合について説明する。
 この場合、フィードバック演算部6は、膨らんでいる変形インターフェース21がさらに膨らむように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、地面に枯れ葉や枝が落ちている森林(ジャングル)である場合について説明する。
 そして、異環境下を移動する操作対象が、地面に落ちている枝を踏んだ場合について説明する。
 この場合、フィードバック演算部6は、直線状に配置されている変形インターフェース21が収縮するように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、乾燥した地面と腐敗した木製の橋が混在する環境である場合について説明する。
 そして、異環境下を移動する操作対象が、乾燥した地面から橋へ移動した後、さらに、橋から乾燥した地面へ場合について説明する。
 この場合、フィードバック演算部6は、乾燥した地面から橋へ移動したタイミングで、膨らんでいる変形インターフェース21が収縮するように、制御信号を演算する。その後、橋から乾燥した地面へ移動したタイミングで、収縮した変形インターフェース21が膨らむように、制御信号を演算する。
 以上により、フィードバック演算部6は、異環境下における操作対象の動作に応じて、アクチュエータ23に供給する流体の速度や、アクチュエータ23から排出する流体の速度を変化させることで、足裏にフィードバックする触覚を変化させる。
 <フィードバック制御方法>
 第2実施形態のフィードバック制御方法は、第1実施形態に係るフィードバック制御方法と同様であるため、説明を省略する。
 第2実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化をユーザの足裏にフィードバックすることが可能な電子デバイス1を提供することが可能となる。
 第2実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化をユーザの足裏にフィードバックすることが可能な電子デバイス1を含むフィードバックシステム10を提供することが可能となる。
 第2実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化をユーザの足裏にフィードバックすることが可能な電子デバイス1を用いたフィードバック制御方法を提供することが可能となる。
 第2実施形態の構成であれば、フィードバックユニット2を、ユーザの足裏のうち、土踏まずを除く領域に配置しているため、ユーザに、足が外側に傾く感覚をフィードバックすることが可能となる。
 また、フィードバックユニット2を、ユーザの足裏のうち、足の骨(中足骨等)の形状に対応した位置に配置している。このため、少ない数のフィードバックユニット2を用いて、異環境下で操作対象に発生した触覚の変化をユーザの足裏にフィードバックすることが可能となる。
 また、例えば、踵と対向する位置に配置されている変形インターフェース21を、他の位置に配置されている変形インターフェース21よりも膨らませることで、ユーザに、踵が高い靴(ハイヒール等)を履いている間隔をフィードバックすることが可能となる。
 第2実施形態の構成であれば、ユーザが右足に履く靴のインソールSIに取り付けたフィードバックユニット2と、ユーザが左足に履く靴のインソールSIに取り付けたフィードバックユニット2に対し、それぞれに異なる制御を行うことが可能である。これにより、例えば、ユーザに対し、バランス感覚を誤認識させることや、坂道等の傾斜面を移動している間隔をフィードバックすることが可能となる。
 第2実施形態の構成であれば、アクチュエータ23から短時間で流体を排出することで、例えば、ユーザの足裏に落下している触覚をフィードバックすることが可能となる。また、アクチュエータ23へ流体の供給と排出とを交互に行うことで、例えば、ユーザの足裏に振動している触覚をフィードバックすることが可能となる。これにより、ユーザの足裏に、落下している触覚及び振動している触覚をフィードバックすることで、ユーザに、歩行している足下の床面等にヒビが入る感覚や、足下の床面等が抜ける感覚をフィードバックすることが可能となる。
 第2実施形態の構成であれば、異環境として屋外(市街地、森林等)を出力し、実環境には手すり等のユーザが保持可能な設備を設置することで、例えば、傷病者等に対する歩行訓練やリハビリに対し、実環境とは異なる新たな環境を提供することが可能となる。
 第2実施形態の構成であれば、流体によって変形インターフェース21の形状を変化させる。このため、例えば、異環境が地面に枯れ葉や枝等が落ちている環境である場合等に、ユーザへ、接触感や振動感に加え、地面の凹凸を感じる感覚(凹凸感)等、多彩な触感や新たな感覚を提示することが可能となる。また、例えば、異環境が乾燥した地面とぬかるんだ地面が混在する環境である場合等に、ユーザへ、接触感や振動感に加え、地面の硬さの違いを感じる感覚(硬軟感)等、多彩な触感や新たな感覚を提示することが可能となる。
 (第2実施形態の変形例)
 第2実施形態では、フィードバックユニット2を、ユーザの足裏のうち、土踏まずを除く領域に配置したが、これに限定するものではない。すなわち、例えば、図15中に示すように、フィードバックユニット2を、ユーザの足裏のうち、踵、指、拇指球等と対向する領域に配置してもよい。
 第2実施形態では、フィードバックユニット2の数を8個としたが、これに限定するものではなく、フィードバックユニット2の数を、例えば、図16及び図17中に示すように、16個としてもよい。また、フィードバックユニット2の数を、例えば、図18中に示すように、32個としてもよく、例えば、図19中に示すように、64個としてもよい。
 第2実施形態では、フィードバックユニット2をインソールSIに取り付けたが、これに限定するものではなく、フィードバックユニット2を、例えば、図20中に示すように、足置き台FTの上面に取り付けてもよい。
 この場合、図20中に示すように、足置き台FTに、ユーザの足を任意の位置に固定するための固定バンドを設けることで、ユーザの足裏に対し、適切な位置に、異環境下で操作対象に発生した触覚及び温度の変化をフィードバックすることが可能となる。
 第2実施形態では、フィードバックユニット2を、ユーザの足裏と対向する位置に配置したが、これに限定するものではなく、例えば、図21から図23中に示すように、フィードバックユニット2を、ユーザの足の甲と対向する位置に配置してもよい。なお、図21中には、変形インターフェース21が萎んでいる状態を示し、図22中には、変形インターフェース21が膨らんでいる状態を示す。また、図21及び図22は、インソールSIを、ユーザが履く靴Sに取り付けた状態を示す。
 この場合、例えば、足の甲と対向する位置に配置したフィードバックユニット2を、足裏と対向する位置に配置したフィードバックユニット2よりも膨らませることで、例えば、地面から出てきた手で足を掴まれたような感覚をフィードバックすることが可能となる。
 したがって、例えば、異環境が、ボールを蹴る場所(サッカーグラウンド等)であり、ユーザが選手としてボールを蹴る動作を行うと、ユーザの足の甲と対向する位置に配置したフィードバックユニット2を膨らませる制御を行ってもよい。
 (第3実施形態)
 <フィードバックシステムの構成>
 第3実施形態に係るフィードバックシステム10は、第1実施形態に係るフィードバックシステム10と同様、電子デバイス1を備える(図1を参照)。なお、以降の説明では、上述した第1実施形態と同様の構成について、説明を省略する場合がある。
 フィードバックシステム10は、異環境下の操作対象を実環境下で操作するユーザに対して、触覚の変化及び温度の変化をフィードバックシステムするシステムである。第3実施形態では、第1実施形態と同様、一例として、異環境を、ディスプレイに操作対象が表示されるゲームとした場合について説明する。
 <電子デバイスの構成>
 電子デバイス1は、複数のフィードバックユニット2と、総合コントローラ3と、異環境出力部4と、操作部5と、フィードバック演算部6を備える(図1を参照)。
 複数のフィードバックユニット2は、図24及び図25中に示すように、ユーザが両手に装着する手袋Gの内面(ユーザの手と対向する面)に取り付けられている。なお、以降の説明では、左右の手を区別する場合に、ユーザが右手に装着する手袋Gを「右手袋GR」、ユーザが左手に装着する手袋Gを「左手袋GL」と記載する場合がある。
 したがって、変形インターフェース21は、ユーザの手を押圧する位置に配置されており、ユーザの手を押圧可能である。
 第3実施形態では、手袋Gに、8個のフィードバックユニット2を取り付ける場合について説明する。
 また、8個のフィードバックユニット2は、ユーザの手のうち、指先と対向する五か所の位置と、親指の付け根と対向する位置と、掌の中心と対向する位置と、手の甲の中心と対向する位置に配置されている。
 フィードバックユニット2が含む変形インターフェース21は、図26中に示すように、フィードバックユニット2が含む温度変化部22よりも、ユーザの手(指)に近い側に配置されている。なお、図26中には、説明のために、手袋Gを装着したユーザの指Fを図示している。
 総合コントローラ3と、異環境出力部4と、操作部5の構成については、説明を省略する。
 フィードバック演算部6は、異環境出力部4から出力している異環境と、操作部5を用いて操作している操作対象の状態に応じて、アクチュエータ23の動作と温度変化部22の動作を制御する制御信号を演算する。
 以下、フィードバック演算部6が行う演算の例を説明する。
 なお、以下の説明は、変形インターフェース21が収縮している状態を前提とする。
 まず、異環境出力部4から出力している異環境が、湯が入ったコップがテーブルの上に置いてある環境であり、操作対象が、ゲームに登場する人物である場合について説明する。
 そして、異環境下において、湯が入ったコップを手でつかむ動作を行う場合について説明する。
 この場合、フィードバック演算部6は、指先と対向する位置に配置した変形インターフェース21のみが膨らむように、制御信号を演算する。
 これに加え、フィードバック演算部6は、指先と対向する位置に配置した温度変化部22の温度が上昇するように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、草原と湖が混在する環境である場合について説明する。
 そして、異環境下で草原に座っている操作対象が、手を湖に入れる動作を行う場合について説明する。
 この場合、フィードバック演算部6は、指先と対向する位置に配置した変形インターフェース21が膨らんだ後に、残りの変形インターフェース21が膨らむように、制御信号を演算する。
 これに加え、フィードバック演算部6は、指先と対向する位置に配置した温度変化部22の温度が低下した後に、残りの温度変化部22の温度が低下するように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、ユーザが操作する操作対象(自キャラクタ)の近くに、他人を模した操作対象(敵キャラクタ)が存在する環境である場合について説明する。
 そして、異環境下において、敵キャラクタが自キャラクタへ向けて拳による打撃を行い、自キャラクタが右手で打撃を受けとめた後、左手で敵キャラクタが打撃を行った腕をつかむ動作を行う場合について説明する。
 この場合、フィードバック演算部6は、右手袋GRに取り付けた変形インターフェース21のうち、掌の中心と対向する位置に配置した変形インターフェース21が膨らむように、制御信号を演算する。その後、左手袋GLに取り付けた変形インターフェース21のうち、親指の付け根及び掌の中心と対向する位置に配置した変形インターフェース21が膨らむように、制御信号を演算する。さらに、左手袋GLに取り付けた変形インターフェース21のうち、指の先端と対向する位置に配置した変形インターフェース21が膨らむように、制御信号を演算する。
 これに加え、フィードバック演算部6は、右手袋GRに取り付けた変形インターフェース21のうち、掌の中心と対向する位置に配置した変形インターフェース21が膨らんだ後に、膨らんだ温度変化部22の温度が上昇するように、制御信号を演算する。さらに、左手袋GLに取り付けた変形インターフェース21のうち、親指の付け根及び掌の中心と対向する位置に配置した変形インターフェース21が膨らんだ後に、膨らんだ温度変化部22の温度が上昇するように、制御信号を演算する。これに加え、左手袋GLに取り付けた変形インターフェース21のうち、指の先端と対向する位置に配置した変形インターフェース21が膨らんだ後に、膨らんだ温度変化部22の温度が上昇するように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、湯が入ったコップと、氷及び水が入ったコップが、テーブルの上に置いてある環境である場合について説明する。
 そして、異環境下において、湯が入ったコップを右手でつかむとともに、氷及び水が入ったコップを左手でつかむ動作を行う場合について説明する。
 この場合、フィードバック演算部6は、右手袋GRに取り付けた変形インターフェース21のうち、指先と対向する位置に配置した変形インターフェース21のみが膨らむように、制御信号を演算する。これに加え、左手袋GLに取り付けた変形インターフェース21のうち、指先と対向する位置に配置した変形インターフェース21のみが膨らむように、制御信号を演算する。
 さらに、フィードバック演算部6は、右手袋GRに取り付けた変形インターフェース21のうち、指先と対向する位置に配置した変形インターフェース21が膨らんだ後に、膨らんだ温度変化部22の温度が上昇するように、制御信号を演算する。さらに、左手袋GLに取り付けた変形インターフェース21のうち、指先と対向する位置に配置した変形インターフェース21が膨らんだ後に、膨らんだ温度変化部22の温度が低下するように、制御信号を演算する。
 <フィードバック制御方法>
 第3実施形態のフィードバック制御方法は、第1実施形態に係るフィードバック制御方法と同様であるため、説明を省略する。
 第3実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化をユーザの手(両手または片手)にフィードバックすることが可能な電子デバイス1を提供することが可能となる。
 第3実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化をユーザの手(両手または片手)にフィードバックすることが可能な電子デバイス1を含むフィードバックシステム10を提供することが可能となる。
 第3実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化をユーザの手(両手または片手)にフィードバックすることが可能な電子デバイス1を用いたフィードバック制御方法を提供することが可能となる。
 第3実施形態の構成であれば、流体によって変形インターフェース21の形状を変化させる。このため、例えば、異環境が自キャラクタの近くに他人を模した他キャラクタが存在する環境であり、異環境下において、自キャラクタが他キャラクタの腕等をつかむ動作を行う場合等に、ユーザへ、接触感や振動感に加え、生物をつかんだ感覚(生き物感)等、多彩な触感や新たな感覚を提示することが可能となる。
 (第3実施形態の変形例)
 第3実施形態では、フィードバックユニット2の数を8個としたが、これに限定するものではなく、フィードバックユニット2の数を、例えば、図27及び図28中に示すように、16個としてもよい。
 この場合、指先、親指の付け根、掌の中心及び手の甲の中心と対向する位置に加え、例えば、掌の手首寄り、手の甲の手首寄り、手の甲における親指の付け根、親指を除く指の第二関節と対向する位置に、フィードバックユニット2を配置する。
 第3実施形態では、変形インターフェース21を、温度変化部22よりもユーザに近い側に配置したが、これに限定するものではなく、例えば、図29中に示すように、温度変化部22を、変形インターフェース21よりもユーザに近い側に配置してもよい。
 この場合、例えば、図30中に示すように、温度変化部22とユーザの手(指)との間に配置した防護シートGSを備える構成としてもよい。これにより、温度変化部22を上昇させた場合であっても、低温火傷等の発生を抑制することが可能となる。
 したがって、防護シートGSは、ユーザと温度変化部22との間に配置され、且つ温度変化部22からユーザへの熱伝導率を低下させる熱伝導率低下部材を形成する。
 第3実施形態では、変形インターフェース21を、温度変化部22よりもユーザに近い側に配置したが、これに限定するものではなく、例えば、図31中に示すように、変形インターフェース21と温度変化部22とを、ユーザに対して同じ距離に配置してもよい。
 第3実施形態では、変形インターフェース21を、温度変化部22よりもユーザに近い側に配置したが、これに限定するものではなく、例えば、図32中に示すように、変形インターフェース21の内部に、温度変化部22を収容してもよい。これにより、温度変化部22を変形インターフェース21よりもユーザに近い側に配置する構成と比較して、変形インターフェース21の変形をユーザにフィードバックしやすくすることが可能となる。
 この場合、例えば、図32中に示すように、温度変化部22とユーザの手(指)との間に配置した防護シートGSを備える構成としてもよい。
 第3実施形態では、変形インターフェース21を、温度変化部22よりもユーザに近い側に配置したが、これに限定するものではない。すなわち、例えば、図33中に示すように、変形インターフェース21の内部に温度変化部22を収容し、さらに、温度変化部22を、手袋Gの内面に固定した構成としてもよい。これにより、変形インターフェース21が、温度変化部22の温度からユーザを防護する機能を奏することとなり、温度変化部22を上昇させた場合であっても、低温火傷等の発生を抑制することが可能となる。
 (第4実施形態)
 <フィードバックシステムの構成>
 第4実施形態に係るフィードバックシステム10は、第1実施形態に係るフィードバックシステム10と同様、電子デバイス1を備える(図1を参照)。なお、以降の説明では、上述した第1実施形態と同様の構成について、説明を省略する場合がある。
 フィードバックシステム10は、異環境下の操作対象を実環境下で操作するユーザに対して、触覚の変化及び温度の変化をフィードバックシステムするシステムである。第4実施形態では、第1実施形態と同様、一例として、異環境を、ディスプレイに操作対象が表示されるゲームとした場合について説明する。
 <電子デバイスの構成>
 電子デバイス1は、複数のフィードバックユニット2と、総合コントローラ3と、異環境出力部4と、操作部5と、フィードバック演算部6を備える(図1を参照)。
 複数のフィードバックユニット2は、衣服Wと、インソールSIと、手袋G(右手袋GR、左手袋GL)に取り付けられている(図2から図4、図14から図23、図24から図33を参照)。
 したがって、変形インターフェース21は、ユーザの上半身と、ユーザの足裏と、ユーザの手を押圧する位置に配置されており、ユーザの上半身と、足裏及び手を押圧可能である。
 総合コントローラ3と、異環境出力部4と、操作部5の構成については、説明を省略する。
 フィードバック演算部6は、異環境出力部4から出力している異環境と、操作部5を用いて操作している操作対象の状態に応じて、アクチュエータ23の動作と温度変化部22の動作を制御する制御信号を演算する。
 以下、フィードバック演算部6が行う演算の例を説明する。
 まず、異環境出力部4から出力している異環境が、温水が入った湯船が設置されている浴室であり、操作対象が、ゲームに登場する人物である場合について説明する。なお、以下の説明は、変形インターフェース21が収縮しているとともに、温度変化部22の温度が常温である状態を前提とする。
 そして、異環境下において、ユーザが足先から湯船に浸かる動作を行う場合について説明する。
 この場合、フィードバック演算部6は、インソールSIに配置した変形インターフェース21、衣服Wに配置した変形インターフェース21、手袋Gに配置した変形インターフェース21の順で膨らむように、制御信号を演算する。
 インソールSIに配置した変形インターフェース21を膨らませる制御は、例えば、足先と対向する位置に配置した変形インターフェース21を起点として、踵と対向する位置に配置した変形インターフェース21まで順に行う。
 衣服Wに配置した変形インターフェース21を膨らませる制御は、例えば、腰と対向する位置に配置した変形インターフェース21を起点として、肩と対向する位置に配置した変形インターフェース21まで順に行う。
 手袋Gに配置した変形インターフェース21を膨らませる制御は、例えば、指先と対向する位置に配置した変形インターフェース21を起点として、手首に近い側と対向する位置に配置した変形インターフェース21まで順に行う。
 これに加え、フィードバック演算部6は、インソールSIに配置した温度変化部22、衣服Wに配置した温度変化部22、手袋Gに配置した温度変化部22の順で温度が上昇するように、制御信号を演算する。
 インソールSIに配置した温度変化部22を上昇させる制御は、例えば、足先と対向する位置に配置した温度変化部22を起点として、踵と対向する位置に配置した温度変化部22まで順に行う。
 衣服Wに配置した温度変化部22を上昇させる制御は、例えば、腰と対向する位置に配置した温度変化部22を起点として、肩と対向する位置に配置した温度変化部22まで順に行う。
 手袋Gに配置した温度変化部22を上昇させる制御は、例えば、指先と対向する位置に配置した温度変化部22を起点として、手首に近い側と対向する位置に配置した温度変化部22まで順に行う。
 次に、異環境出力部4から出力している異環境が、砂漠の中に建築物が存在する環境である場合について説明する。なお、以下の説明は、変形インターフェース21が50%程度の膨らみ度合いで膨らんでいるとともに、温度変化部22の温度が常温である状態を前提とする。
 そして、異環境下を移動する操作対象が、建築物から出て砂漠へ移動した場合について説明する。
 この場合、フィードバック演算部6は、インソールSIに配置した変形インターフェース21のみが収縮するように、制御信号を演算する。
 これに加え、フィードバック演算部6は、衣服W及び手袋Gに配置した温度変化部22の温度が上昇するように、制御信号を演算する。さらに、フィードバック演算部6は、インソールSIに配置した変形インターフェース21が収縮した後に、インソールSIに配置した温度変化部22の温度が、衣服W及び手袋Gに配置した温度変化部22の温度が上昇するように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、銃弾や砲弾等が飛び交う環境(戦場等)である場合について説明する。なお、以下の説明は、変形インターフェース21が収縮しているとともに、温度変化部22の温度が常温である状態を前提とする。
 そして、異環境において、操作対象の右側にある地面に、砲弾が着弾して破裂した場合について説明する。
 この場合、フィードバック演算部6は、右手袋GRに配置した変形インターフェース21、衣服W及びインソールSIに配置した変形インターフェース21、左手袋GLに配置した変形インターフェース21の順で膨らむように、制御信号を演算する。
 衣服Wに配置した変形インターフェース21を膨らませる制御は、例えば、右肩と対向する位置に配置した変形インターフェース21を起点として、左肩と対向する位置に配置した変形インターフェース21まで順に行う。
 これに加え、フィードバック演算部6は、右手袋GRに配置した温度変化部22、衣服W及びインソールSIに配置した温度変化部22、左手袋GLに配置した温度変化部22の順で温度が上昇するように、制御信号を演算する。
 衣服Wに配置した温度変化部22を上昇させる制御は、例えば、右肩と対向する位置に配置した変形インターフェース21を起点として、左肩と対向する位置に配置した変形インターフェース21まで順に行う。
 次に、異環境出力部4から出力している異環境が、焚き火を焚いている乾燥した地面である場合について説明する。なお、以下の説明は、変形インターフェース21が収縮しているとともに、温度変化部22の温度が常温である状態を前提とする。
 そして、異環境下において、地面に座っているユーザが焚き火に向けて両手の掌を突き出している場合について説明する。
 この場合、フィードバック演算部6は、インソールSIに配置した変形インターフェース21のみが膨らむように、制御信号を演算する。
 これに加え、フィードバック演算部6は、手袋Gに配置した温度変化部22、インソールSIに配置した温度変化部22、衣服Wに配置した温度変化部22の順で温度が上昇するように、制御信号を演算する。
 手袋Gに配置した温度変化部22を上昇させる制御は、掌と対向する位置に配置した温度変化部22、手の甲と対向する位置に配置した温度変化部22の順に行う。
 次に、異環境出力部4から出力している異環境が、砂漠の中に建築物が存在する環境である場合について説明する。なお、以下の説明は、変形インターフェース21が50%程度の膨らみ度合いで膨らんでいるとともに、温度変化部22の温度が常温である状態を前提とする。
 そして、他ユーザが操作する操作対象が建築物に存在しており、自ユーザが操作する操作対象が建築物から出て砂漠へ移動した場合について説明する。
 この場合、フィードバック演算部6は、インソールSIに配置した変形インターフェース21のみが収縮するように、制御信号を演算する。
 これに加え、フィードバック演算部6は、衣服W及び手袋Gに配置した温度変化部22の温度が上昇するように、制御信号を演算する。さらに、フィードバック演算部6は、インソールSIに配置した変形インターフェース21が収縮した後に、インソールSIに配置した温度変化部22の温度が、衣服W及び手袋Gに配置した温度変化部22の温度が上昇するように、制御信号を演算する。このとき、フィードバック演算部6は、他のユーザが装着している温度変化部の温度よりも、自ユーザが装着している温度変化部22の温度が高くなるように、制御信号を演算する。
 次に、異環境出力部4から出力している異環境が、海岸線である場合について説明する。なお、以下の説明は、変形インターフェース21が収縮しているとともに、温度変化部22の温度が常温である状態を前提とする。
 そして、異環境下において、操作対象が足先から海に潜り、さらに、海底に沈んでいる物体をつかむ動作を行う場合について説明する。
 この場合、フィードバック演算部6は、操作対象が海に潜る際に、インソールSIに配置した変形インターフェース21、手袋Gに配置した変形インターフェース21、衣服Wに配置した変形インターフェース21の順で膨らむように、制御信号を演算する。
 これに加え、フィードバック演算部6は、操作対象が海に潜る際に、インソールSIに配置した温度変化部22、手袋Gに配置した温度変化部22、衣服Wに配置した温度変化部22の順で温度が低下するように、制御信号を演算する。
 さらに、フィードバック演算部6は、海中に潜った操作対象が海底に到達すると、インソールSIに配置した変形インターフェース21がさらに膨らむように、制御信号を演算する。
 そして、海底を移動している操作対象が海底に沈んでいる物体をつかむ動作を行うと、手袋Gに配置した変形インターフェース21がさらに膨らむように、制御信号を演算する。
 <フィードバック制御方法>
 第4実施形態のフィードバック制御方法は、第1実施形態に係るフィードバック制御方法と同様であるため、説明を省略する。
 第4実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化を、ユーザの上半身、足裏及び手にフィードバックすることが可能な電子デバイス1を提供することが可能となる。
 第4実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化を、ユーザの上半身、足裏及び手にフィードバックすることが可能な電子デバイス1を含むフィードバックシステム10を提供することが可能となる。
 第4実施形態の構成であれば、異環境下で操作対象に発生した触覚及び温度の変化を、ユーザの上半身、足裏及び手にフィードバックすることが可能な電子デバイス1を用いたフィードバック制御方法を提供することが可能となる。
 (第4実施形態の変形例)
 第4実施形態では、フィードバックユニット2を、衣服W、インソールSI及び手袋Gに取り付けたが、これに限定するものではなく、フィードバックユニット2を、さらに、頭部と対向する部材(ゴーグル等)に取り付けてもよい。
 この場合、例えば、異環境が、ボールをヘディングする場所(サッカーグラウンド等)であり、ユーザが選手としてボールをヘディングする動作を行うと、ユーザの頭部と対向する位置に配置したフィードバックユニット2を膨らませる制御を行ってもよい。
 また、例えば、異環境において操作対象が兜を装着している設定である場合、兜によってユーザの身体に負荷が加わる頭部と対向する位置に配置した変形インターフェース21を、予め、他の変形インターフェース21よりも膨らませてもよい。
 (第5実施形態)
 <フィードバックシステムの構成>
 第5実施形態に係るフィードバックシステム10は、図34中に示すように、電子デバイス1を備える。
 フィードバックシステム10は、異環境下の操作対象を実環境下で操作するユーザに対して、触覚の変化及び温度の変化をフィードバックシステムするシステムである。第5実施形態では、一例として、異環境を、ディスプレイに操作対象が表示されるゲーム(テレビゲーム)とした場合について説明する。
 <電子デバイスの構成>
 電子デバイス1は、図34中に示すように、複数のフィードバックユニット2と、総合コントローラ3と、異環境出力部4と、操作部5と、生体情報検出部7と、生体情報蓄積部8と、フィードバック演算部6を備える。なお、図34中には、複数のフィードバックユニット2のうち、一つのみを示している。
 複数のフィードバックユニット2は、例えば、衣服Wに取り付けられている(図2から図4を参照)。
 総合コントローラ3と、異環境出力部4と、操作部5の構成については、説明を省略する。
 生体情報検出部7は、ユーザの生体情報を検出する。
 第5実施形態では、生体情報検出部7を、ヘッドマウントディスプレイに取り付けた複数の電極を用いて形成した場合について説明する。複数の電極は、ユーザの生体情報として脳波を検出する脳波センサを形成する。ユーザの生体情報としては、ユーザの脳血流、心拍数、呼吸、発汗量、血圧、体温、発声した声の大きさ等を採用することも可能である。なお、生体情報検出部7は、例えば、ユーザの顔画像(表情)を取得するイメージセンサであってもよい。また、ユーザの生体情報としてユーザの体温を採用する場合、例えば、温度変化部22の温度を増加させた増加量に応じてユーザの体温の検出値を減少補正する等、温度変化部22の温度変化に応じて、ユーザの生体情報を検出してもよい。
 生体情報蓄積部8は、生体情報検出部7が検出した生体情報の変動量を、異環境下の状況に対応させて蓄積する。さらに、生体情報蓄積部8は、生体情報検出部7が検出した生体情報の変動量が、変動量閾値を超えている場合、変動量閾値を超えている状況を、変動量閾値に関連付けて記憶する。
 ここで、変動量閾値は、予め設定してもよい。また、変動量閾値は、生体情報蓄積部8が蓄積している変動量を、ユーザによるフィードバックシステム10や電子デバイス1の使用履歴と関連付けておき、蓄積している変動量と使用履歴とに応じて、ユーザ毎に自動で変化させて設定してもよい。
 具体的には、大きな物体が急激に落ちてきた状況や、眼前の建築物が崩壊した状況等において、他の状況(通常の歩行時等)と比較してユーザの心拍数が大きく変動し、変動量閾値を超えている場合、心拍数の変動量を、異環境下の状況に対応させて蓄積する。
 フィードバック演算部6は、異環境出力部4から出力している異環境と、操作部5を用いて操作している操作対象の状態に応じて、アクチュエータ23の動作と温度変化部22の動作を制御する制御信号を演算する。
 これに加え、フィードバック演算部6は、ユーザが操作対象を操作している状況と、生体情報検出部7が検出した生体情報の変動量と、生体情報蓄積部8が蓄積している生体情報の変動量に応じて、制御信号を演算する。
 以下、フィードバック演算部6が行う演算の例を説明する。
 異環境出力部4から出力している異環境が、暴風雨の市街地であり、操作対象が、ゲームに登場する人物である場合について説明する。なお、以下の説明は、ユーザが同様の状況を複数回経験している状態を前提とする。
 そして、異環境において、操作対象の眼前に、大きな看板が落ちてきた場合について説明する。
 この場合、フィードバック演算部6は、操作対象の眼前に大きな看板が落ちてきた状況(発生状況)が、生体情報蓄積部8が変動量閾値に関連付けて記憶している状況であるか否かを、判定する。
 さらに、発生状況が、生体情報蓄積部8が変動量閾値に関連付けて記憶している状況であると判定すると、変動量が変動量閾値以下の状況よりも大きい変化量でアクチュエータ23の動作を制御するように、制御信号を演算する。
 これに加え、変動量が変動量閾値以下の状況よりも大きい変化量で温度変化部22の温度が上昇するように、制御信号を演算する。
 以上により、アクチュエータ制御部31は、ユーザが操作対象を操作している状況が、変動量が変動量閾値を超えている状況では、変動量が変動量閾値以下の状況よりも大きい変化量でアクチュエータ23の動作を制御する。また、温度制御部32は、ユーザが操作対象を操作している状況が、変動量が変動量閾値を超えている状況では、変動量が変動量閾値以下の状況よりも大きい変化量で温度変化部22の温度を制御する。
 <フィードバック制御方法>
 第5実施形態のフィードバックシステム10を用いて行うフィードバック制御方法では、異環境下で操作対象に発生した触覚の変化をユーザにフィードバックするように、アクチュエータ23の動作を制御する。これに加え、異環境下で操作対象に発生した温度の変化をユーザにフィードバックするように、温度変化部22の温度を制御する。
 さらに、ユーザが操作対象を操作している状況が、変動量が変動量閾値を超えている状況では、変動量が変動量閾値以下の状況よりも大きい変化量でアクチュエータ23の動作を制御する。これに加え、ユーザが操作対象を操作している状況が、変動量が変動量閾値を超えている状況では、変動量が変動量閾値以下の状況よりも大きい変化量で温度変化部22の温度を制御する。
 第5実施形態の構成であれば、異環境下でユーザの感動した状況や驚いた状況等を蓄積し、異環境が蓄積した状況となると、大きな変化量で触覚及び温度の変化をユーザにフィードバックすることが可能な電子デバイス1を提供することが可能となる。
 第5実施形態の構成であれば、異環境が蓄積したユーザの感動した状況や驚いた状況等となると、大きな変化量で触覚及び温度の変化をユーザにフィードバックすることが可能な電子デバイス1を含むフィードバックシステム10を提供することが可能となる。
 第5実施形態の構成であれば、異環境が蓄積したユーザの感動した状況や驚いた状況等となると、大きな変化量で触覚及び温度の変化をユーザにフィードバックすることが可能な電子デバイス1を用いたフィードバック制御方法を提供することが可能となる。
(その他の実施形態)
 上記のように、本技術の実施形態を記載したが、この開示の一部をなす論述及び図面は本技術を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
 その他、上記の実施形態において説明される各構成を任意に応用した構成等、本技術はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本技術の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
 また、本開示のフィードバックシステム、フィードバック制御方法、電子デバイスでは、上記の実施形態等で説明した各構成要素を全て備える必要はなく、また逆に他の構成要素を備えていてもよい。
 なお、本明細書中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術は、以下のような構成を取ることが可能である。
(1)
 異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能な変形インターフェースと、
 前記変形インターフェースの形状を変化させるアクチュエータの動作を制御するアクチュエータ制御部と、
 前記ユーザが部位で知覚する温度を変化可能な温度変化部と、
 前記温度変化部の温度を制御する温度制御部と、を備え、
 前記アクチュエータ制御部は、前記操作対象が得ていると推定される触覚の変化に基づいて前記アクチュエータの動作を制御し、
 前記温度制御部は、前記操作対象が知覚していると推定される温度の変化に基づいて前記温度変化部の温度を制御するフィードバックシステム。
(2)
 異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能な変形インターフェースの形状を変化させるアクチュエータの動作を、前記操作対象が得ていると推定される触覚の変化に基づいて制御し、
 前記ユーザが部位で知覚する温度を変化可能な温度変化部の温度を、前記操作対象が知覚していると推定される温度の変化に基づいて制御するフィードバック制御方法。
(3)
 形状を変化可能な一つ以上の変形インターフェースと、
 温度を変化可能な一つ以上の温度変化部と、を備え、
 前記変形インターフェースは、異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能であり、
 前記温度変化部は、前記ユーザが部位で知覚する温度を変化可能である電子デバイス。
(4)
 前記操作対象が得ていると推定される触覚の変化に基づいて前記変形インターフェースの形状を変化させるアクチュエータの動作を制御するアクチュエータ制御部と、
 前記操作対象が知覚していると推定される温度の変化に基づいて前記温度変化部の温度を制御する温度制御部と、を備える前記(3)に記載した電子デバイス。
(5)
 前記温度変化部は、電気的な温度の調節によって温度を変化可能である前記(3)または(4)に記載した電子デバイス。
(6)
 互いに関連して動作可能な一つの前記変形インターフェースと一つの前記温度変化部とを含むフィードバックユニットを複数備える前記(3)~(5)のいずれかに記載した電子デバイス。
(7)
 前記アクチュエータは、流体アクチュエータである前記(4)~(6)のいずれかに記載した電子デバイス。
(8)
 前記温度変化部は、前記変形インターフェースよりも前記ユーザに近い位置に配置されている前記(3)~(7)のいずれかに記載した電子デバイス。
(9)
 弾性を有する変形部材を備え、
 前記変形部材は、前記ユーザの体型に応じて変形可能である前記(3)~(8)のいずれかに記載した電子デバイス。
(10)
 前記温度変化部が発生させた温度の熱伝導率を低下させる熱伝導率低下部材を備え、
 前記熱伝導率低下部材は、前記ユーザと前記温度変化部との間に配置される前記(3)~(9)のいずれかに記載した電子デバイス。
(11)
 少なくとも一つの前記変形インターフェースは、前記ユーザの上半身を押圧可能である前記(3)~(10)のいずれかに記載した電子デバイス。
(12)
 少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、衣服に取り付けられている前記(3)~(11)のいずれかに記載した電子デバイス。
(13)
 少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、それぞれ、前記上半身の前面と背面を押圧可能である前記(3)~(12)のいずれかに記載した電子デバイス。
(14)
 少なくとも一つの前記変形インターフェースは、前記ユーザの足裏を押圧可能である前記(3)~(13)のいずれかに記載した電子デバイス。
(15)
 少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、靴のインソールに取り付けられている前記(3)~(14)のいずれかに記載した電子デバイス。
(16)
 少なくとも一つの前記変形インターフェースは、前記ユーザの手を押圧可能である前記(3)~(15)のいずれかに記載した電子デバイス。
(17)
 少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、手袋に取り付けられている前記(3)~(16)のいずれかに記載した電子デバイス。
(18)
 前記異環境を出力する異環境出力部と、
 前記操作対象の操作に用いる操作部と、を備える前記(3)~(17)のいずれかに記載した電子デバイス。
(19)
 複数の前記変形インターフェースと、
 複数の前記温度変化部と、
 前記操作対象が得ていると推定される触覚の変化に基づいて前記変形インターフェースの形状を変化させるアクチュエータの動作を制御するアクチュエータ制御部と、
 前記操作対象が知覚していると推定される温度の変化に基づいて前記温度変化部の温度を制御する温度制御部と、を備え、
 前記アクチュエータ制御部は、前記複数の変形インターフェースの形状をそれぞれ変化させる前記アクチュエータの動作を異なるタイミングで個別に制御し、
 前記温度制御部は、前記複数の温度変化部の温度を異なるタイミングで個別に制御する前記(3)~(18)のいずれかに記載した電子デバイス。
(20)
 前記ユーザの生体情報を検出する生体情報検出部と、
 前記生体情報検出部が検出した生体情報の変動量を前記異環境下の状況に対応させて蓄積する生体情報蓄積部と、
 前記操作対象が得ていると推定される触覚の変化に基づいて前記変形インターフェースの形状を変化させるアクチュエータの動作を制御するアクチュエータ制御部と、
 前記操作対象が知覚していると推定される温度の変化に基づいて前記温度変化部の温度を制御する温度制御部と、を備え、
 前記生体情報蓄積部は、前記生体情報検出部が検出した生体情報の変動量が変動量閾値を超えている場合、前記変動量閾値を超えている前記状況を変動量閾値に関連付けて記憶し、
 前記アクチュエータ制御部は、前記ユーザが前記操作対象を操作している状況が、前記変動量が前記変動量閾値を超えている状況では、前記変動量が前記変動量閾値以下の状況よりも大きい変化量で前記アクチュエータの動作を制御し、
 前記温度制御部は、前記ユーザが前記操作対象を操作している状況が、前記変動量が前記変動量閾値を超えている状況では、前記変動量が前記変動量閾値以下の状況よりも大きい変化量で前記温度変化部の温度を制御する前記(3)~(19)のいずれかに記載した電子デバイス。
(21)
 前記温度変化部は、温度を調節した流体が移動することで温度を変化可能である前記(3)~(20)のいずれかに記載した電子デバイス。
(22)
 前記アクチュエータは、電磁アクチュエータである前記(4)~(6)のいずれかに記載した電子デバイス。
(23)
 互いに関連して動作可能な一つの前記変形インターフェースと一つの前記温度変化部とを含むフィードバックユニットを複数備え、
 前記複数のフィードバックユニットのうち二つは、前記ユーザの上半身を前後方向から挟む位置に配置されている前記(3)~(22)のいずれかに記載した電子デバイス。
(24)
 前記操作対象が得ていると推定される触覚の変化に基づいて前記変形インターフェースの形状を変化させるアクチュエータの動作を制御するアクチュエータ制御部と、
 前記操作対象が知覚していると推定される温度の変化に基づいて前記温度変化部の温度を制御する温度制御部と、を備え、
 前記温度制御部は、前記アクチュエータ制御部が前記アクチュエータの動作を制御した後に、前記温度変化部の温度を制御する前記(3)~(23)のいずれかに記載した電子デバイス。
(25)
 複数の前記フィードバックユニットを備え、
 前記複数のフィードバックユニットの数は、8の整数倍である前記(3)~(24)のいずれかに記載した電子デバイス。
(26)
 前記操作対象が得ていると推定される触覚の変化に基づいて前記アクチュエータの動作を制御するアクチュエータ制御部を備え、
 前記アクチュエータ制御部は、前記異環境において前記操作対象が装着している部材に応じて、前記ユーザの身体に負荷が加わる部分に配置した前記変形インターフェースを予め他の変形インターフェースよりも膨らませる前記(3)~(25)のいずれかに記載した電子デバイス。
(27)
 前記変形インターフェースの変形を規制する変形規制部材を備える前記(3)~(26)のいずれかに記載した電子デバイス。
(28)
 前記ユーザへ振動をフィードバックする振動アクチュエータを備える前記(3)~(27)のいずれかに記載した電子デバイス。
(29)
 少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、前記ユーザが足を置く足置き台に取り付けられている前記(3)~(28)のいずれかに記載した電子デバイス。
(30)
 少なくとも一つの前記変形インターフェースは、前記ユーザの足の甲を押圧可能である前記(3)~(29)のいずれかに記載した電子デバイス。
(31)
 少なくとも一つの前記変形インターフェースは、前記ユーザの頭部を押圧可能である前記(3)~(29)のいずれかに記載した電子デバイス。
(32)
 少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、前記ユーザの頭部に装着されている前記(3)~(31)のいずれかに記載した電子デバイス。
 1…電子デバイス、2…フィードバックユニット、21…変形インターフェース、22…温度変化部、23…アクチュエータ、24…振動アクチュエータ、3…総合コントローラ、31…アクチュエータ制御部、32…温度制御部、4…異環境出力部、5…操作部、6…フィードバック演算部、7…生体情報検出部、8…生体情報蓄積部、10…フィードバックシステム、W…衣服、H…ホース、SS…半袖シャツ、LS…長袖シャツ、B…ベルト部材、E…変形部材、D…隔壁、OS…最外層シート部材、ES1…第一伸縮性シート部材、ES2…第二伸縮性シート部材、AS…断熱シート部材、IS…最内層シート部材、SI…インソール、FT…足置き台、S…靴、G…手袋、F…指、GS…防護シート

Claims (20)

  1.  異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能な変形インターフェースと、
     前記変形インターフェースの形状を変化させるアクチュエータの動作を制御するアクチュエータ制御部と、
     前記ユーザが部位で知覚する温度を変化可能な温度変化部と、
     前記温度変化部の温度を制御する温度制御部と、を備え、
     前記アクチュエータ制御部は、前記操作対象が得ていると推定される触覚の変化に基づいて前記アクチュエータの動作を制御し、
     前記温度制御部は、前記操作対象が知覚していると推定される温度の変化に基づいて前記温度変化部の温度を制御するフィードバックシステム。
  2.  異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能な変形インターフェースの形状を変化させるアクチュエータの動作を、前記操作対象が得ていると推定される触覚の変化に基づいて制御し、
     前記ユーザが部位で知覚する温度を変化可能な温度変化部の温度を、前記操作対象が知覚していると推定される温度の変化に基づいて制御するフィードバック制御方法。
  3.  形状を変化可能な一つ以上の変形インターフェースと、
     温度を変化可能な一つ以上の温度変化部と、を備え、
     前記変形インターフェースは、異環境下で動く操作対象を実環境下で操作するユーザの部位を押圧可能であり、
     前記温度変化部は、前記ユーザが部位で知覚する温度を変化可能である電子デバイス。
  4.  前記操作対象が得ていると推定される触覚の変化に基づいて前記変形インターフェースの形状を変化させるアクチュエータの動作を制御するアクチュエータ制御部と、
     前記操作対象が知覚していると推定される温度の変化に基づいて前記温度変化部の温度を制御する温度制御部と、を備える請求項3に記載した電子デバイス。
  5.  前記温度変化部は、電気的な温度の調節によって温度を変化可能である請求項3に記載した電子デバイス。
  6.  互いに関連して動作可能な一つの前記変形インターフェースと一つの前記温度変化部とを含むフィードバックユニットを複数備える請求項3に記載した電子デバイス。
  7.  前記アクチュエータは、流体アクチュエータである請求項4に記載した電子デバイス。
  8.  前記温度変化部は、前記変形インターフェースよりも前記ユーザに近い位置に配置されている請求項3に記載した電子デバイス。
  9.  弾性を有する変形部材を備え、
     前記変形部材は、前記ユーザの体型に応じて変形可能である請求項3に記載した電子デバイス。
  10.  前記温度変化部が発生させた温度の熱伝導率を低下させる熱伝導率低下部材を備え、
     前記熱伝導率低下部材は、前記ユーザと前記温度変化部との間に配置される請求項3に記載した電子デバイス。
  11.  少なくとも一つの前記変形インターフェースは、前記ユーザの上半身を押圧可能である請求項3に記載した電子デバイス。
  12.  少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、衣服に取り付けられている請求項11に記載した電子デバイス。
  13.  少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、それぞれ、前記上半身の前面と背面を押圧可能である請求項11に記載した電子デバイス。
  14.  少なくとも一つの前記変形インターフェースは、前記ユーザの足裏を押圧可能である請求項3に記載した電子デバイス。
  15.  少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、靴のインソールに取り付けられている請求項14に記載した電子デバイス。
  16.  少なくとも一つの前記変形インターフェースは、前記ユーザの手を押圧可能である請求項3に記載した電子デバイス。
  17.  少なくとも一つの前記変形インターフェース及び少なくとも一つの前記温度変化部は、手袋に取り付けられている請求項16に記載した電子デバイス。
  18.  前記異環境を出力する異環境出力部と、
     前記操作対象の操作に用いる操作部と、を備える請求項3に記載した電子デバイス。
  19.  複数の前記変形インターフェースと、
     複数の前記温度変化部と、
     前記操作対象が得ていると推定される触覚の変化に基づいて前記変形インターフェースの形状を変化させるアクチュエータの動作を制御するアクチュエータ制御部と、
     前記操作対象が知覚していると推定される温度の変化に基づいて前記温度変化部の温度を制御する温度制御部と、を備え、
     前記アクチュエータ制御部は、前記複数の変形インターフェースの形状をそれぞれ変化させる前記アクチュエータの動作を異なるタイミングで個別に制御し、
     前記温度制御部は、前記複数の温度変化部の温度を異なるタイミングで個別に制御する請求項3に記載した電子デバイス。
  20.  前記ユーザの生体情報を検出する生体情報検出部と、
     前記生体情報検出部が検出した生体情報の変動量を前記異環境下の状況に対応させて蓄積する生体情報蓄積部と、
     前記操作対象が得ていると推定される触覚の変化に基づいて前記変形インターフェースの形状を変化させるアクチュエータの動作を制御するアクチュエータ制御部と、
     前記操作対象が知覚していると推定される温度の変化に基づいて前記温度変化部の温度を制御する温度制御部と、を備え、
     前記生体情報蓄積部は、前記生体情報検出部が検出した生体情報の変動量が変動量閾値を超えている場合、前記変動量閾値を超えている前記状況を変動量閾値に関連付けて記憶し、
     前記アクチュエータ制御部は、前記ユーザが前記操作対象を操作している状況が、前記変動量が前記変動量閾値を超えている状況では、前記変動量が前記変動量閾値以下の状況よりも大きい変化量で前記アクチュエータの動作を制御し、
     前記温度制御部は、前記ユーザが前記操作対象を操作している状況が、前記変動量が前記変動量閾値を超えている状況では、前記変動量が前記変動量閾値以下の状況よりも大きい変化量で前記温度変化部の温度を制御する請求項3に記載した電子デバイス。
PCT/JP2019/039040 2018-12-07 2019-10-03 触覚及び温度のフィードバックシステム WO2020116010A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/290,391 US11934577B2 (en) 2018-12-07 2019-10-03 Feedback system, feedback control method, and electronic device
KR1020217016538A KR20210093268A (ko) 2018-12-07 2019-10-03 촉각 및 온도의 피드백 시스템
CN201980079244.4A CN113168229A (zh) 2018-12-07 2019-10-03 触觉感测及温度反馈系统
JP2020559748A JP7452435B2 (ja) 2018-12-07 2019-10-03 触覚及び温度のフィードバックシステム
DE112019006071.6T DE112019006071T5 (de) 2018-12-07 2019-10-03 Feedbacksystem, feedbacksteuerverfahren und elektronische vorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018229517 2018-12-07
JP2018-229517 2018-12-07

Publications (1)

Publication Number Publication Date
WO2020116010A1 true WO2020116010A1 (ja) 2020-06-11

Family

ID=70975235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039040 WO2020116010A1 (ja) 2018-12-07 2019-10-03 触覚及び温度のフィードバックシステム

Country Status (6)

Country Link
US (1) US11934577B2 (ja)
JP (1) JP7452435B2 (ja)
KR (1) KR20210093268A (ja)
CN (1) CN113168229A (ja)
DE (1) DE112019006071T5 (ja)
WO (1) WO2020116010A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6946579B1 (ja) * 2021-01-20 2021-10-06 株式会社Synamon 情報処理装置、情報処理方法及びプログラム
WO2022209111A1 (ja) * 2021-03-29 2022-10-06 ソニーグループ株式会社 触覚提示装置、触覚提示方法及びプログラム
WO2023162490A1 (ja) * 2022-02-28 2023-08-31 ソニーグループ株式会社 触覚提示装置及び触覚提示層

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113589727B (zh) * 2021-07-29 2023-09-26 深圳市于斯为盛科技有限公司 一种加热鞋垫及其控制方法
US11500468B1 (en) * 2021-08-22 2022-11-15 Zero Point Energy Inc. Extended reality synchronization kit including a removable smart insole and a headset

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016153618A1 (en) * 2015-03-20 2016-09-29 Sony Computer Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in hmd rendered environments
US20170212593A1 (en) * 2016-01-27 2017-07-27 Ebay Inc. Simulating touch in a virtual environment
JP2018109999A (ja) * 2017-01-05 2018-07-12 イマージョン コーポレーションImmersion Corporation 調整可能触覚装着具

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3709257B2 (ja) * 1997-05-14 2005-10-26 安立計器株式会社 接触式温度計
TWI434718B (zh) 2006-12-07 2014-04-21 Cel Kom Llc 觸覺式可穿戴型遊戲裝置
CN110109534A (zh) * 2013-06-11 2019-08-09 意美森公司 用于基于压力的触觉效果的系统和方法
US9690381B2 (en) * 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US10109162B2 (en) * 2016-09-01 2018-10-23 Immersion Corporation Haptic effect enabled system using fluid
US10678334B1 (en) * 2018-11-30 2020-06-09 Facebook Technologies, Llc Systems and methods for providing substantially orthogonal movement of a device about a user's body part

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016153618A1 (en) * 2015-03-20 2016-09-29 Sony Computer Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in hmd rendered environments
US20170212593A1 (en) * 2016-01-27 2017-07-27 Ebay Inc. Simulating touch in a virtual environment
JP2018109999A (ja) * 2017-01-05 2018-07-12 イマージョン コーポレーションImmersion Corporation 調整可能触覚装着具

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6946579B1 (ja) * 2021-01-20 2021-10-06 株式会社Synamon 情報処理装置、情報処理方法及びプログラム
JP2022111618A (ja) * 2021-01-20 2022-08-01 株式会社Synamon 情報処理装置、情報処理方法及びプログラム
WO2022209111A1 (ja) * 2021-03-29 2022-10-06 ソニーグループ株式会社 触覚提示装置、触覚提示方法及びプログラム
WO2023162490A1 (ja) * 2022-02-28 2023-08-31 ソニーグループ株式会社 触覚提示装置及び触覚提示層

Also Published As

Publication number Publication date
US20210405755A1 (en) 2021-12-30
US11934577B2 (en) 2024-03-19
JPWO2020116010A1 (ja) 2021-10-14
CN113168229A (zh) 2021-07-23
DE112019006071T5 (de) 2021-09-09
JP7452435B2 (ja) 2024-03-19
KR20210093268A (ko) 2021-07-27

Similar Documents

Publication Publication Date Title
WO2020116010A1 (ja) 触覚及び温度のフィードバックシステム
US20180027894A1 (en) Protective garment systems for protecting an individual and methods of using the same
KR101619159B1 (ko) 사람의 움직임을 감지하기 위한 시스템 및 이를 사용하는 방법
US10446051B2 (en) Interactive cognitive-multisensory interface apparatus and methods for assessing, profiling, training, and improving performance of athletes and other populations
US20180027893A1 (en) Protective garment systems for protecting an individual and methods of using the same
EP2962583B1 (en) Articles of apparel providing enhanced body position feedback
TW201615106A (zh) 倂入運動服裝的感測器
US20170360122A1 (en) Selectively stiffenable assemblies, protective garments for protecting an individual, and systems and methods of using the same
CN106984041A (zh) 一种人机互动控制系统
WO2018094999A1 (zh) 具有风冷刺激功能的体感模拟设备
Laing et al. Clothing, textiles, and human performance
US10610143B2 (en) Concussion rehabilitation device and method
WO2018095000A1 (zh) 具有被动刺激功能的体感模拟设备
Garcia et al. The Mobile RehApp™: an AR-based mobile game for ankle sprain rehabilitation
US9913501B1 (en) Methods of reducing impact forces and injuries using a synthetic neck muscle system
McGregor et al. Design of the ARAIG haptic garment for enhanced resilience assessment and development in tactical training serious games
WO2018094997A1 (zh) 具有暖感刺激功能的体感模拟设备
US20180027909A1 (en) Protective garment systems for protecting an individual and methods of using the same
KR20170070520A (ko) 에어소프트 건을 이용하여 사용자 모션에 의해 구동되는 fps 게임 시스템 및 방법
Pohl et al. Inhibiting freedom of movement with compression feedback
Wang et al. Push-Ups: Enhancing Kinesthetic Experience with Shape-Forming Devices on the Feet Soles
CN108209866A (zh) 体感检测与体感模拟装置及方法
KR101107182B1 (ko) 전신 햅틱 슈트
Hibbard Karate breaking techniques: with practical applications for self-defense
US20240131395A1 (en) Reflexive training apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19893382

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020559748

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217016538

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19893382

Country of ref document: EP

Kind code of ref document: A1