WO2021187111A1 - 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システム - Google Patents

情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システム Download PDF

Info

Publication number
WO2021187111A1
WO2021187111A1 PCT/JP2021/008191 JP2021008191W WO2021187111A1 WO 2021187111 A1 WO2021187111 A1 WO 2021187111A1 JP 2021008191 W JP2021008191 W JP 2021008191W WO 2021187111 A1 WO2021187111 A1 WO 2021187111A1
Authority
WO
WIPO (PCT)
Prior art keywords
magnetic field
user
information processing
finger
processing device
Prior art date
Application number
PCT/JP2021/008191
Other languages
English (en)
French (fr)
Inventor
俊一 笠原
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021187111A1 publication Critical patent/WO2021187111A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Definitions

  • This technology relates to information processing devices, information processing methods, computer-readable recording media, and body movement generation systems that can be applied to devices that generate body movements.
  • a method of moving the user's body to generate physical exercise has been developed.
  • a method of generating motion by using electrical muscle stimulation (EMS) and a method of generating motion by using a mechanical actuator driven by a joint or the like are known. By using these methods, it is possible to realize assistance in various operations.
  • Non-Patent Document 1 describes a system for accelerating human reaction speed using EMS.
  • the system is configured to pre-occur physical exercise using EMS, for example, within a specific period of time between a user receiving a visual stimulus and a reaction.
  • EMS By appropriately setting the timing of generating the physical exercise by the EMS, it is possible to increase the reaction speed without impairing the feeling that the user himself / herself has performed the movement.
  • the technology for assisting human movements is expected to be applied in various fields such as education, amusement, and welfare, and the technology for realizing natural movement assist is required.
  • an object of the present technology is to provide an information processing device, an information processing method, a computer-readable recording medium, and a body movement generation system capable of realizing natural motion assist. It is in.
  • the information processing device includes a magnetic field control unit.
  • the magnetic field control unit includes a first magnetic field acting unit mounted on the body part based on the position information of the user's body part and the operation information regarding the contact operation performed by the user by moving the body part.
  • the magnetic field between the contact operation target and the second magnetic field acting unit is electrically changed.
  • the magnetic field between the first magnetic field acting unit attached to the user's body part and the second magnetic field acting unit provided as the operation target of the contact operation performed by moving the body part is electrically generated.
  • the process of changing to is executed based on the position information of the body part and the motion information related to the contact motion. As a result, it is possible to move the body part according to the position of the body part, the state of the contact movement, and the like, and it is possible to realize a natural movement assist.
  • At least one of the first magnetic field acting part and the second magnetic field acting part may include an electromagnet.
  • the magnetic field control unit may control the electromagnet so that a magnetic force acting as an attractive force or a repulsive force is generated between the first magnetic field acting unit and the second magnetic field acting unit.
  • the body part may be the finger of the user.
  • the contact operation may be a contact operation by the user's finger.
  • the operation target may be an input device that accepts the contact operation.
  • the operation information may include information on the operating state of the application that operates in response to the contact operation received via the input device.
  • the first magnetic field acting unit may include a permanent magnet attached to the user's finger.
  • the second magnetic field acting unit uses either at least one electromagnet arranged in the input device corresponding to the user's finger or a plurality of electromagnets arranged in an array in the input device. It may be included.
  • the magnetic field control unit may set a control pattern related to the magnetic force based on the position information and the operation information.
  • the motion information may include information that specifies the timing at which the body part comes into contact with the motion target.
  • the magnetic field control unit may set the control pattern so that the body part comes into contact with the operation target at the designated timing.
  • the magnetic field control unit may adjust the control pattern based on the timing when the body part comes into contact with the operation target.
  • the position information may include information representing the distance between the body part and the motion target.
  • the magnetic field control unit may control the strength of the magnetic force based on the distance between the body part and the operating object.
  • the magnetic field control unit may weaken the strength of the attractive force as the distance between the body part and the operation target is shorter.
  • the magnetic field control unit may increase the strength of the repulsive force as the distance between the body part and the operation target is shorter.
  • the magnetic field control unit may turn off the attractive force at the timing when the body part comes into contact with the operating object.
  • the magnetic field control unit may turn on the repulsive force at the timing when the body part comes into contact with the operating object.
  • the magnetic field control unit may control the electromagnet so as to generate a repulsive force that cancels a constant attractive force between the first magnetic field action unit and the second magnetic field action unit.
  • the magnetic field control unit may acquire the position information based on the output of the sensor that detects the position of the body part.
  • At least one of the first magnetic field acting part and the second magnetic field acting part may include an electromagnet.
  • the magnetic field control unit may acquire the position information based on the induced electromotive force generated in the electromagnet with the change in the position of the body part.
  • the information processing method is an information processing method executed by a computer system, and includes position information of a user's body part and motion information related to a contact operation performed by the user by moving the body part.
  • the present invention includes electrically changing the magnetic field between the first magnetic field acting portion attached to the body portion and the second magnetic field acting portion provided on the operation target of the contact operation.
  • a computer-readable recording medium records a program that causes a computer system to perform the following steps. Based on the position information of the body part of the user and the operation information related to the contact operation performed by the user by moving the body part, the first magnetic field acting unit attached to the body part and the operation target of the contact operation are set. A step of electrically changing the magnetic field between the provided second magnetic field acting portion.
  • the body movement generation system includes a first magnetic field acting unit, a second magnetic field acting unit, and a magnetic field control unit.
  • the first magnetic field acting unit is attached to the user's finger.
  • the second magnetic field acting unit is provided in an input device that accepts a contact operation by the user's finger.
  • the magnetic field control unit electrically changes the magnetic field between the first magnetic field action unit and the second magnetic field action unit based on the position information of the user's finger and the operation information related to the contact operation. Let me.
  • FIG. 1 is a schematic diagram for explaining an outline of a body movement generation system according to a first embodiment of the present technology.
  • FIG. 1 schematically shows how the user 1 is using the body movement generation system 100.
  • the body movement generation system 100 is a system that uses magnetic force to generate movement with respect to a body part that is moved when the user 1 performs a contact operation.
  • the contact operation is, for example, a series of operations involving contact between the user 1 and the target. For example, actions such as touching the screen, pressing a button, and grabbing an object are examples of contact actions.
  • the movement of the finger 2 of the user 1 is generated by using the mounting magnet unit 10 and the electromagnet unit 20.
  • the mounting magnet unit 10 is a unit mounted and used by the user 1, and includes a mounting magnet 11 mounted on each finger 2 of the user 1.
  • the electromagnet unit 20 includes at least one electromagnet 21 that generates a magnetic field acting on the mounting magnet 11.
  • a mounting magnet 11 is mounted on each of the five fingers 2 of the user 1's right hand, and five electromagnets 21 corresponding to each finger 2 (each mounting magnet 11) are provided.
  • the configuration for the left hand is omitted.
  • the body movement generation system 100 is a system that generates involuntary movements.
  • the body movement generation system 100 includes a screen interface 30 operated by the user 1 in contact with the finger 2.
  • the electromagnet unit 20 described above is provided in the screen interface 30. More specifically, a plurality of electromagnets 21 corresponding to each finger 2 are arranged on the back side of the operation surface 31 (the surface on which the finger 2 of the user 1 comes into contact) of the screen interface 30.
  • the electromagnet 21 is activated when the user 1 moves the finger 2 to perform a contact operation with respect to the screen interface 30.
  • a magnetic force acting as an attractive force or a repulsive force is generated between the corresponding electromagnet 21 and the mounting magnet 11, and it is possible to generate an involuntary movement on the finger 2 of the user 1.
  • the finger 2 of the user 1 is an example of a body part of the user.
  • the contact operation by the finger 2 of the user 1 is an example of the above-mentioned contact operation.
  • the contact operation assist and the like are realized by utilizing the movement of the finger 2 of the user 1 generated by the body movement generation system 100. For example, by generating an attractive force at an appropriate timing, it is possible to assist the touch input to the screen interface 30 and to induce a quick touch input by the computer assist. Further, for example, by generating a repulsive force in a place where the finger 2 should not be touched or a place where the finger 2 needs to be touched, the situation where the finger 2 of the user 1 is inadvertently touched can be avoided. It becomes possible to do.
  • the body movement generation system 100 can be applied to various scenes involving a contact operation. Hereinafter, a specific configuration of the body movement generation system 100 will be described.
  • FIG. 2 is a block diagram showing a functional configuration example of the body movement generation system 100.
  • FIG. 3 is a schematic view showing a configuration example of the body movement generation system 100.
  • the body movement generation system 100 includes a mounting magnet unit 10, an electromagnet unit 20, and a screen interface 30.
  • the body movement generation system 100 further includes a detection sensor 35, an application processing unit 36, and an electromagnet controller 40.
  • the mounting magnet unit 10 is a unit mounted on the finger 2 of the user 1, and has a plurality of mounting magnets 11.
  • the mounting magnet 11 is a permanent magnet mounted on the finger 2 of the user 1.
  • the mounting magnet unit 10 corresponds to the first magnetic field acting portion.
  • the mounting magnet 11 is mounted on each finger 2 of the user 1 via, for example, a mounting tool (not shown).
  • the mounting magnet 11 is fixed to a glove-shaped wearing tool or a ring-shaped wearing tool.
  • the mounting magnet 11 is arranged on the nail side near the tip of each finger 2, for example, as shown in FIG. This makes it possible to leave the tactile sensation on the ventral side of the finger 2.
  • the mounting magnet 11 is arranged so that one of the magnetic poles (S pole or N pole) faces the claw side.
  • the specific configuration such as the type and arrangement of the mounting magnet 11 is not limited.
  • a plurality of mounting magnets 11 may be arranged on one finger 2.
  • the mounting magnet 11 may be arranged on the side surface or the ventral side of each finger 2.
  • the mounting magnet 11 may be directly fixed to each finger 2 of the user 1.
  • the electromagnet unit 20 is provided in the screen interface 30.
  • the electromagnet unit 20 has at least one electromagnet 21 that generates a magnetic field acting on the mounting magnet unit 10 (mounting magnet 11).
  • the electromagnet 21 is composed of, for example, a coil and an iron core around which the coil is wound, and magnetizes the iron core by passing an electric current through the coil to generate a magnetic field. It is possible to change the magnetic field by changing the value and direction of the current flowing through this coil.
  • the electromagnet unit 20 corresponds to the second magnetic field acting unit.
  • the electromagnet unit 20 (electromagnet 21) is arranged on the side opposite to the operation surface (for example, the lower side of the operation surface) to which the finger of the user 1 of the screen interface 30 contacts.
  • the operation surface for example, the lower side of the operation surface
  • ten electromagnets 21 corresponding to the fingers 2 of the left and right hands of the user 1 are arranged corresponding to the positions of the fingers 2.
  • each electromagnet 21 is arranged so as to face the position where each finger 2 is arranged in the home position used for keyboard input or the like.
  • the electromagnet unit 20 includes at least one electromagnet 21 arranged on the screen interface 30 corresponding to the finger 2 of the user 1.
  • the screen interface 30 is an input device that accepts a contact operation by the finger 2 of the user 1.
  • a touch screen provided with a display such as a liquid crystal display or an organic EL, a projection screen projected by using a projector, or the like is used.
  • the screen interface 30 corresponds to the operation target of the contact operation.
  • the screen interface 30 has an operation surface 31 and a touch sensor 32.
  • the operation surface 31 is a display surface that the finger 2 of the user 1 comes into contact with.
  • a GUI Graphic User Interface
  • the touch sensor 32 is a sensor that detects the contact of the user 1's finger 2 with the operation surface 31.
  • the touch sensor 32 detects the presence or absence of contact between the finger 2 of the user 1 and the contact position on the operation surface 31.
  • the capacitance type contact detection sensor or the like provided on the operation surface 31 (display) becomes the touch sensor 32.
  • the touch sensor 32 is a camera or the like that captures the finger 2 of the user 1.
  • an operation icon or the like is displayed on the operation surface 31.
  • the display position of the icon or the like is set to a position corresponding to the electromagnet 21 (a position directly above the electromagnet 21).
  • the touch sensor 32 detects information (finger index) indicating the contacted finger 2, the contact position of the contacted finger 2, the timing at which the contact operation is performed, and the like. These detection results are appropriately output to the screen interface 30 and the electromagnet controller 40, which will be described later.
  • the detection sensor 35 is a sensor that detects the position of the finger 2 of the user 1.
  • a sensor capable of detecting the three-dimensional coordinates (X, Y, Z) of each finger 2 of the user 1 is used.
  • the X-coordinate and the Y-coordinate are, for example, coordinates on the X-axis and the Y-axis that are orthogonal to each other along the screen interface 30 (operation surface 31).
  • the Z coordinate is a coordinate on the Z axis orthogonal to the X axis and the Y axis, and is a coordinate value representing the distance (height) of the user 1 finger 2 from the screen interface 30.
  • the detection sensor 35 for example, a camera that captures the finger 2 of the user 1 or the like is used. Further, for example, a spatial sensor such as an infrared array sensor is used as the detection sensor 35. Further, for example, as the detection sensor 35, a capacitance sensor or the like capable of detecting the distance to the finger 2 may be used. In this case, the touch sensor 32 described above may function as the detection sensor 35. In addition, any sensor capable of three-dimensionally detecting the position of the finger 2 of the user 1 may be used as the detection sensor. For example, the touch sensor 32 described above may be used as the detection sensor 35. In this embodiment, the detection sensor 35 corresponds to a sensor that detects the position of a body part.
  • the application processing unit 36 executes a process for operating the application used by the user 1 via the screen interface 30. That is, the application processing unit 36 is an arithmetic unit that operates an application that operates in response to a contact operation. For example, a computer or the like whose display screen is the screen interface 30 functions as the application processing unit 36. In the application processing unit 36, for example, various processes such as a process of generating an operation screen of an application, a process of changing the screen according to the progress of the application, a process of reflecting an input of a contact operation performed by the user 1 in the operation of the application, and the like. Processing is executed.
  • the application processing unit 36 generates information (hereinafter, referred to as application information) regarding the operating state of the application that operates in response to the contact operation. For example, depending on the progress of the application, the icon or the like on which the contact operation should be performed (or the contact operation should be avoided) or the timing at which the contact operation should be performed may change on the operation screen. For example, information representing such icons and timings that change according to the state of the application is generated as application information.
  • designated information for designating parameters related to contact operation (contact operation) with respect to the operation screen is generated. For example, information for designating an icon or the like for generating a magnetic force (attractive force or repulsive force), information for specifying the timing for the user 1 to perform a contact operation, or the like is generated. These designated information is appropriately output to the electromagnet controller 40.
  • the electromagnet controller 40 is a control unit that controls the operation of each electromagnet 21 of the electromagnet unit 20.
  • the electromagnet controller 40 has a drive unit 41, a storage unit 42, and a control unit 43.
  • the drive unit 41 individually drives each electromagnet 21 arranged for each finger 2 of the user 1. Specifically, the drive unit 41 generates a drive current according to a control signal generated by the control unit 43 (electromagnet control unit 46) described later, and supplies the drive current to each electromagnet 21.
  • the specific configuration of the drive unit 41 is not limited, and is appropriately configured by using, for example, a current source capable of driving the electromagnet 21.
  • the drive unit 41 may be configured separately from the electromagnet controller 40.
  • the storage unit 42 is a non-volatile storage device.
  • a recording medium using a solid-state element such as an SSD (Solid State Drive) or a magnetic recording medium such as an HDD (Hard Disk Drive) is used.
  • the type of recording medium used as the storage unit 42 is not limited, and for example, any recording medium for recording data non-temporarily may be used.
  • the control program according to the present embodiment is stored in the storage unit 42.
  • the control program is, for example, a program that controls the operation of the entire electromagnet controller 40.
  • the information stored in the storage unit 42 is not limited.
  • the storage unit 42 corresponds to a computer-readable recording medium on which the program is recorded.
  • the control program corresponds to the program recorded on the recording medium.
  • the control unit 43 controls the operation of the electromagnet controller 40.
  • the control unit 43 has a hardware configuration necessary for a computer such as a CPU and a memory (RAM, ROM). When the CPU loads the control program stored in the storage unit 42 into the RAM and executes it, various processes are executed.
  • the control unit 43 corresponds to the information processing device according to the present embodiment.
  • control unit 43 for example, a device such as a PLD (Programmable Logic Device) such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit) may be used. Further, for example, a processor such as a GPU (Graphics Processing Unit) may be used as the control unit 43. Further, the control unit 43 may be configured by using the hardware or the like that constitutes the application processing unit 36 described above.
  • a PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the CPU of the control unit 43 executes the program (control program) according to the present embodiment, thereby forming the position information acquisition unit 44, the operation information acquisition unit 45, and the electromagnet control unit 46 as functional blocks. Is realized. Then, the information processing method according to the present embodiment is executed by these functional blocks. In addition, in order to realize each functional block, dedicated hardware such as an IC (integrated circuit) may be appropriately used.
  • IC integrated circuit
  • the position information acquisition unit 44 acquires the position information of the finger 2 of the user 1.
  • the position information is information that can represent, for example, the current position of each finger 2 of the user 1.
  • the position information acquisition unit 44 reads the three-dimensional coordinates of each finger 2 of the user 1 detected by the detection sensor 35 as position information. More specifically, a data set (i, X, Y, Z) including a finger index i indicating each finger 2 and a three-dimensional coordinate value of each finger 2 is read. Further, for example, an image of each finger 2 of the user 1 or data measured by the detection sensor 35 may be read. In this case, the position information acquisition unit 44 may calculate the three-dimensional coordinates of each finger 2 of the user 1 based on the image of the finger 2 of the user 1, the data of the detection sensor 35, and the like.
  • the position information acquisition unit 44 may read the detection result of the contact operation by the screen interface 30 (touch sensor 32).
  • the contact operation detection result includes information indicating whether or not the user 1's finger 2 is in contact with the operation surface 31. This is position information indicating whether or not the finger 2 of the user 1 is on the operation surface 31.
  • the detection result of the contact operation includes information indicating the contact position on the operation surface 31. This is position information representing the X and Y coordinates of the finger 2 of the user 1. It is also possible to control the electromagnet 21 based on this information.
  • the operation information acquisition unit 45 acquires operation information related to a contact operation (contact operation) performed by the user 1 by moving the finger 2.
  • the operation information is information necessary for causing the user 1 to perform a contact operation, or information generated when the user 1 performs a contact operation.
  • the operation information acquisition unit 45 reads the application information generated by the application processing unit 36 according to the operating state of the application.
  • the application information includes designated information for designating parameters related to the contact operation (icon for generating attractive / repulsive force, timing for generating magnetic force, etc.). This designated information is operation information required for performing a contact operation.
  • the operation information includes information (application information) regarding the operating state of the application that operates in response to the contact operation received via the screen interface 30.
  • the operation information acquisition unit 45 reads the detection result of the contact operation by the screen interface 30 (touch sensor 32).
  • the contact operation detection result includes, for example, information indicating the timing at which the finger 2 of the user 1 and the screen interface 30 come into contact with each other.
  • the information indicating the contact timing is the operation information generated by performing the contact operation.
  • the operation information corresponds to the operation information related to the contact operation.
  • the electromagnet control unit 46 controls each electromagnet 21 of the electromagnet unit 20 based on the information acquired by the position information acquisition unit 44 and the operation information acquisition unit 45. That is, the electromagnet control unit 46 is mounted on the finger 2 of the user 1 based on the position information of the finger 2 of the user 1 and the operation information regarding the contact operation performed by the user 1 by moving the finger 2. And the magnetic field between the electromagnet unit 20 provided in the screen interface 30 is electrically changed. Specifically, control signals for driving the electromagnet 21 corresponding to each finger 2 are generated based on the position information and the operation information. Then, the drive unit 41 drives the corresponding electromagnet 21 in response to each control signal, so that control for electrically changing the magnetic field is realized.
  • the electromagnet control unit 46 controls the electromagnet 21 so that a magnetic force acting as an attractive force or a repulsive force is generated between the mounting magnet unit 10 and the electromagnet unit 20. More specifically, each electromagnet 21 is individually controlled so that an attractive or repulsive force is generated between the corresponding electromagnet 21 and the mounting magnet 11. For example, the direction (attractive force / repulsive force) and timing of the magnetic force to be generated are set based on the designated information specified by the application among the operation information. The strength of the magnetic force is set based on the position information and the like.
  • the electromagnet control unit 46 corresponds to the magnetic field control unit.
  • FIG. 4 is a flowchart showing an example of the basic operation of the control unit.
  • the process shown in FIG. 4 is, for example, a loop process that is continuously executed during the operation of the application that operates in response to the contact operation.
  • the position information acquisition unit 44 acquires the position information of the finger 2 of the user 1 (step 101). Specifically, information (i, X, Y, Z) indicating the three-dimensional coordinates of each finger 2 of the user 1 is read from the detection sensor 35 as position information. The read position information is output to the electromagnet control unit 46. In this way, the electromagnet control unit 46 acquires the position information of the finger 2 of the user 1 based on the output of the detection sensor 35 that detects the position of the finger 2 of the user 1. By using the detection sensor 35, it is possible to accurately detect the position of the finger 2 of the user 1, and it is possible to realize highly accurate control of the electromagnet.
  • the operation information acquisition unit 45 acquires operation information related to the contact operation (step 102). For example, application information (designated information, etc.) generated by the application processing unit 36 according to the operating state of the application is read as operation information. Further, for example, the detection result of the contact operation by the screen interface 30 is read as the operation information. The read operation information is output to the electromagnet control unit 46.
  • the electromagnet control unit 46 controls the electromagnet 21 based on the position information and the operation information (step 103).
  • the finger 2 to perform the contact operation is specified based on the operation information.
  • a control signal for generating an attractive force is generated on the electromagnet 21 corresponding to the i-th finger 2.
  • a control signal for generating a repulsive force is generated for the electromagnet 21 corresponding to the i-th finger 2.
  • buttons that require sufficient attention to be tapped to execute a function, buttons that should not be tapped, and the like. Such buttons may generate a constant repulsive force so that the function cannot be performed without careful touch.
  • the control signal for generating each magnetic force is generated according to the specified timing. Will be generated. Further, the strength of these magnetic forces is set according to the position of the target finger 2 and the state of the application (for example, the type and progress of the task being executed).
  • the control of the electromagnet 21 described above is executed according to, for example, a predetermined control pattern.
  • the control pattern is a pattern that defines the direction (attractive force or repulsive force) of the magnetic force generated by the electromagnet 21, the strength of the magnetic force, the timing at which the magnetic force is generated, the rate at which the magnetic force is changed, and the like.
  • the operation performed as a contact operation differs depending on whether a quick tapping is required or a long press is required. That is, the type of contact operation required changes depending on the state of the application.
  • the control pattern is set according to the state of such an application (type of contact operation). The method of setting the control pattern will be described in detail later.
  • step 104 it is determined whether or not to end the control of the electromagnet 21 (step 104).
  • the control of the electromagnet 21 is finished. For example, when the user 1 sets the feedback by the electromagnet 21 to off, or when the task of the application is switched, the control of the electromagnet 21 ends. If it is determined that the control of the electromagnet 21 is not completed (No in step 104), the processes after step 101 are executed again, and the control of the electromagnet 21 is continued.
  • FIG. 5 is a schematic diagram for explaining control of the electromagnet according to the distance.
  • FIG. 5 schematically illustrates a state before the finger 2 of the user 1 comes into contact with the screen interface 30. Further, FIG. 5 schematically shows the attractive force and the repulsive force generated by the electromagnet 21 using white arrows and gray arrows.
  • the strength of the magnetic force decreases as the distance from the magnetic force source (electromagnet 21) increases.
  • the electromagnet 21 is controlled based on such characteristics.
  • a method of controlling the magnetic force (attractive force or repulsive force) generated by the electromagnet 21 according to the distance between the screen interface 30 and the finger 2 of the user 1 will be described.
  • the three-dimensional coordinates (X, Y, Z) of the finger 2 of the user 1 detected by the detection sensor 35 are input to the electromagnet control unit 46 as position information.
  • These three-dimensional coordinates are coordinates set with reference to the screen interface 30 (operation surface 31). Therefore, the position information includes information representing the distance R between the screen interface 30 and the finger 2 of the user 1.
  • the electromagnet control unit 46 calculates a parameter (distance parameter) representing the distance R between the screen interface 30 and the finger 2 of the user 1.
  • a parameter distance parameter representing the distance R between the screen interface 30 and the finger 2 of the user 1.
  • the Z coordinate of the user 1 finger 2 (the height of the user 1 finger with respect to the operation surface 31) is used as it is as a distance parameter.
  • the distance between the finger 2 of the user 1 and the electromagnet 21 may be used as a distance parameter.
  • the distance between the three-dimensional coordinates (X, Y, Z) of the finger 2 of the user 1 and the arrangement coordinates (X', Y', Z') of the corresponding electromagnet 21 is calculated as a distance parameter.
  • any parameter capable of expressing the distance R between the screen interface 30 and the finger 2 of the user 1 may be used as the distance parameter.
  • the electromagnet control unit 46 controls the strength of the magnetic force of the electromagnet 21 based on the distance R between the finger 2 of the user 1 and the screen interface 30. Specifically, the strength of the magnetic force (attractive force or repulsive force) is set according to the above-mentioned distance parameter. In this way, the body movement generation system 100 detects the position of the finger 2 of the user 1 and controls the strength of the attractive force or the repulsive force.
  • the method of setting the strength of the magnetic force based on the distance R differs between the case where the contact operation is required (when the attractive force is generated) and the case where the contact operation is suppressed (when the repulsive force is generated).
  • FIG. 6 is a graph showing an example of magnetic force control according to a distance.
  • the horizontal axis of the graph is the distance R between the finger 2 of the user 1 and the screen interface 30, and the vertical axis is the magnetic force F generated by the electromagnet 21, for example, the magnetic force at the center of the electromagnet 21.
  • the positive and negative directions on the vertical axis correspond to the repulsive force and the attractive force, respectively.
  • a graph of the magnetic force F when an attractive force is generated is shown by a thick solid line. Further, the graph of the magnetic force F when the repulsive force is generated is shown by the dotted line.
  • an attractive force is generated in a scene where a contact operation is performed on the screen interface 30, an attractive force is generated.
  • the strength of the attractive force is set high.
  • the finger 2 (mounting magnet 11) of the user 1 can be reliably attracted.
  • the distance R is larger than a certain threshold value, it is possible to perform processing such as not generating an attractive force.
  • the strength of the attractive force is set low.
  • the distance between the electromagnet 21 and the mounting magnet 11 is short, it is possible to sufficiently attract the finger 2 even with a weak force.
  • a strong attractive force is generated while the finger 2 is close to the screen interface 30, it may cause a sense of discomfort.
  • the distance R is small, it is possible to avoid the occurrence of such a feeling of strangeness by reducing the strength of the attractive force.
  • the electromagnet control unit requires a contact operation, the closer the distance R between the finger 2 of the user 1 and the screen interface 30 is, the weaker the attractive force is. As a result, the finger 2 of the user 1 can be naturally attracted without causing the user 1 to perceive a sense of discomfort.
  • a repulsive force is generated.
  • the strength of the repulsive force is set low. As a result, the user 1 can continue the normal operation without feeling an unnecessary repulsive force.
  • the strength of the repulsive force is set high.
  • the distance between the electromagnet 21 and the mounting magnet 11 is short, it is possible to apply a strong force (repulsive force) that pulls the electromagnet 21 away from the screen interface 30 to the finger 2 of the user 1, and the contact operation is sufficiently suppressed. Is possible.
  • the electromagnet control unit 46 suppresses the contact operation, the closer the distance R between the finger 2 of the user 1 and the screen interface 30 is, the stronger the repulsive force becomes. This makes it possible to reliably avoid unnecessary contact and to perform careful contact operation.
  • FIG. 7 is a schematic view for explaining the control of the electromagnet due to contact.
  • FIG. 7 schematically illustrates a state in which the finger 2 of the user 1 is in contact with the screen interface 30.
  • the screen interface 30 touch sensor 32
  • the magnetic force of the electromagnet 21 is controlled according to this timing.
  • the electromagnet control unit 46 cuts the output (attractive force) of the electromagnet 21, assuming that it is not necessary to drive the electromagnet 21. .. In this way, the electromagnet control unit 46 turns off the attractive force at the timing when the finger 2 of the user 1 comes into contact with the screen interface 30. As a result, it is possible to avoid a situation in which a feeling of strangeness occurs at the time of contact. As a result, for example, it is possible to make the user 1 perform a natural contact operation without making the user 1 feel the assist by the attractive force.
  • the electromagnet 21 may be controlled to assist such an operation.
  • the electromagnet control unit 46 controls the electromagnet 21 so as to generate a repulsive force that pulls the finger 2 of the user 1 apart. In this way, the electromagnet control unit 46 turns on the repulsive force at the timing when the finger 2 of the user 1 comes into contact with the screen interface 30. This makes it possible to generate a repulsive force that assists the user 1 in trying to release the finger 2. This makes it possible to easily perform a momentary contact operation.
  • FIG. 8 is a schematic diagram for explaining the control of the electromagnet when canceling the attractive force in the steady state.
  • the electromagnet 21 includes a ferromagnet such as an iron core. Therefore, even in a steady state in which the electromagnet 21 does not generate an attractive force, the mounting magnet 11 which is a permanent magnet is attracted to the iron core or the like of the electromagnet 21. In this way, an attractive force acts between the mounting magnet unit 10 (mounting magnet 11) and the electromagnet unit 20 (electromagnet 21) even in a steady state.
  • the attractive force acting between the mounting magnet 11 and the electromagnet 21 in a steady state will be referred to as a steady attractive force.
  • the steady attractive force is schematically illustrated using the dotted arrows.
  • the steady attractive force is a force that acts even when the electromagnet 21 is being driven.
  • the electromagnet control unit 46 controls the electromagnet 21 so as to generate a repulsive force that cancels a constant attractive force between the mounting magnet unit 10 (mounting magnet 11) and the electromagnet unit 20 (electromagnet 21).
  • the repulsive force that cancels the steady attractive force is schematically illustrated with gray arrows.
  • a constant current is passed through the electromagnet 21 to generate a repulsive force, which cancels a steady attractive force.
  • the strength of the repulsive force is set to such an extent that the steady attractive force can be canceled. This makes it possible to constantly cancel the steady attractive force.
  • a repulsive force may be generated by performing PWM (Pulse Width Modulation) control on the electromagnet 21.
  • PWM Pulse Width Modulation
  • a pulsed electric current is applied to the electromagnet 21 to generate a repulsive force.
  • the width of this pulse is appropriately set so that the steady attractive force acting on the finger 2 (mounting magnet 11) is appropriately canceled. This makes it possible to cancel the steady attractive force while suppressing power consumption.
  • the canceling process for canceling the steady attractive force may be executed by using the position of the finger 2 of the user 1 as a trigger.
  • the steady attractive force is extremely weak, and it is considered that the discomfort caused by the action of the attractive force is hardly perceived. Be done. Therefore, for example, when the distance R between the finger 2 of the user 1 and the screen interface 30 is equal to or more than a certain threshold value, the cancel process is not executed, and when the distance R is less than a certain threshold value, the cancel process is executed.
  • the cancellation process can be executed only when the finger 2 of the user 1 is in a position where a feeling of strangeness due to a steady attractive force is generated, and power consumption can be suppressed.
  • the strength of the repulsive force generated in the cancel process may be set according to the position (distance R) of the finger 2 of the user 1.
  • the current value, pulse width, etc. of the current applied to the electromagnet 21 are set according to the distance R so that a repulsive force of the same magnitude as the steady attractive force at the position of the finger 2 of the user 1 is generated.
  • NS the distance R from the screen interface 30
  • FIG. 9 is a graph showing an example of a control pattern relating to the magnetic force generated by the electromagnet 21.
  • the electromagnet control unit 46 sets a control pattern 5 regarding the magnetic force generated by the electromagnet 21 based on the position information and the operation information.
  • the control pattern 5 is a pattern showing a time change of the magnetic force generated by the electromagnet 21. This makes it possible to set the operation (position, movement, etc. of the finger 2) performed by the user 1 and the control pattern 5 according to the operating state of the application.
  • an example of the control pattern 5 is illustrated by a thick solid line graph. The horizontal axis of the graph is time T, and the vertical axis is the magnetic force F generated by the electromagnet 21.
  • the electromagnet control unit 46 sets the control pattern 5 so that the finger 2 of the user 1 comes into contact with the screen interface 30 at a designated timing. This makes it possible to realize operation assist that improves the accuracy of touch timing.
  • the designated contact timing will be referred to as the designated timing.
  • FIG. 9 shows a dotted line indicating the designated timing.
  • the designated timing is the timing at which the rhythm should be carved (rhythm timing).
  • the designated timing is the timing of the performance according to the tempo of the musical piece or the like.
  • the timing of generating the attractive force and the strength of the attractive force are set according to the designated timing.
  • the position (distance R) of the finger 2 of the user 1 is referred to.
  • the timing for generating the attractive force is set early, and when the positions of the fingers 2 are close, the timing for generating the attractive force is set late.
  • the strength of the attractive force is set high, and when the positions of the fingers 2 are close, the strength of the attractive force is set low.
  • the timing at which the attractive force is generated and the strength of the attractive force are both appropriately set so that the finger 2 of the user 1 comes into contact with the designated timing.
  • the control pattern 5 is a pattern in which a preceding motion is generated in order to bring the finger 2 of the user 1 into contact with the designated timing.
  • the timing of generating the preceding motion (timing of generating the attractive force, etc.) is too early, the assist by the attractive force may be perceived, and the feeling that the user 1 is moving the finger 2 by himself / herself may be impaired. Therefore, when setting the control pattern 5, for example, the timing for generating the preceding motion is set so as to fall within the period in which the feeling that the user 1 is moving the finger 2 by himself / herself is not impaired. This makes it possible to control the contact timing without being aware of the assist by the electromagnet 21.
  • FIG. 9 it is also possible to generate a repulsive force before generating an attractive force.
  • a repulsive force may be generated after the attractive force is generated to assist the action of pulling the contacted finger 2 apart (see FIG. 7). This makes it possible to perform the contact operation at a good tempo.
  • the electromagnet control unit 46 adjusts the control pattern 5 based on the timing when the finger 2 of the user 1 comes into contact with the screen interface 30.
  • the timing at which the finger 2 of the user 1 comes into contact with the screen interface 30 will be referred to as a detection timing.
  • the detection timing is detected by, for example, the touch sensor 32.
  • the control pattern 5 is adjusted on the assumption that the respective timings are largely deviated. For example, when the contact of the finger 2 is too early (when the detection timing is earlier than the specified timing), as shown in FIG. 9, an adjustment such as generating a repulsive force before generating the attractive force to delay the contact of the finger 2 is performed. Will be done. Further, for example, when the contact of the finger 2 is too late (when the detection timing is later than the designated timing), the contact of the finger 2 is accelerated by increasing the strength of the attractive force or decreasing the strength of the repulsive force.
  • adjustments may be made such as accelerating the timing of generating the attractive force.
  • the strength of the repulsive force or the attractive force, the timing at which they are generated, and the like are appropriately set according to the time difference between the detection timing and the designated timing. As a result, it is possible to assist the operation to perform an accurate contact operation.
  • FIG. 10 is a graph showing an example of the control pattern 5 according to the contact method.
  • the control pattern 5 set according to the contact method (contact operation method) will be described.
  • FIG. 10A is a graph showing an example of a control pattern 5 used when it is desirable to touch with a short contact time (when a light tap is performed).
  • this control pattern 5 for example, an attractive force having a predetermined strength is generated according to the movement of the finger 2 of the user 1 or the designated timing. Then, at the timing when the contact of the finger 2 of the user 1 is detected (detection timing), the attractive force is canceled and the repulsive force is generated. The generated repulsive force is canceled after a predetermined time has passed. In this way, by generating a repulsive force immediately when the contact is detected, the finger 2 of the user 1 can be separated from the screen interface 30 immediately after the contact, and the contact time can be shortened. ..
  • Such a control pattern 5 is applied to, for example, a typing operation, an operation such as a rhythm game, and the like.
  • FIG. 10B is a graph showing an example of the control pattern 5 used when it is desirable to touch with a long contact time (when a heavy tap is performed).
  • this control pattern 5 for example, an attractive force having a predetermined strength is generated according to the movement of the finger 2 of the user 1 or the designated timing. This attractive force is continuously generated for a certain period of time even after the contact of the finger 2 of the user 1 is detected (after the detection timing). Then, the attractive force is canceled after a certain period of time has passed. In this way, by applying an attractive force for a certain period of time even after the contact is detected, it is possible to continue the state in which the finger 2 of the user 1 is in contact with the screen interface 30. This makes it possible to secure, for example, the required contact time.
  • Such a control pattern 5 is applied to, for example, an operation of playing a musical instrument or an operation of pressing a shift key or the like.
  • FIG. 11 is a graph showing an example of tactile presentation.
  • 11A and 11B show graphs showing an example of controlling the attractive force according to the distance.
  • the horizontal axis of the graph is the distance R between the finger 2 of the user 1 and the screen interface 30, and the vertical axis is the magnetic force F generated by the electromagnet 21. Note that the tactile sensations presented in FIGS. 11A and 11B are different.
  • the characteristic of the attractive force with respect to the distance R is designed so that the attractive force is canceled when the finger 2 of the user 1 is separated from the screen interface 30 by a certain distance. This makes it possible to present, for example, a state virtually separated from a sticky object as a tactile sensation. Therefore, the distance at which the attractive force is canceled becomes the boundary where the adhesiveness is felt (virtual adhesive limit).
  • the gravitational force is designed to increase, for example, according to a predetermined increase curve.
  • the coefficient k of the distance R is a constant set according to the maximum value of the attractive force that can be generated.
  • the magnetic force F is attenuated in inverse proportion to the square of the distance R, for example.
  • the characteristics of the attractive force with respect to the distance R are designed in consideration of the amount of attenuation according to the distance of the magnetic force.
  • the multiplier a is set in the range of 0 ⁇ a ⁇ 1.
  • the amount of increase in the magnetic force F (attractive force) generated by the electromagnet 21 increases.
  • the magnetic force F is attenuated according to the distance. Therefore, when the attractive force shown in FIG. 11A is applied, for example, from the state where the finger 2 is in contact to the adhesive limit (dashed line in the figure), a feeling of adhesiveness that is attracted with substantially the same adhesive force is presented. It becomes possible to do.
  • the multiplier a is set in the range of 1 ⁇ a.
  • a relatively large attractive force is generated when the distance R is small, and then the attractive force gradually approaches the maximum value toward the adhesion limit. This makes it possible to present a sticky feeling that receives a strong adhesive force when the finger 2 is pulled apart.
  • the method of designing the characteristics of the attractive force with respect to the distance R is not limited. Further, the characteristics of the repulsive force with respect to the distance R may be designed.
  • FIG. 12 is a schematic view showing another configuration example of the body movement generation system.
  • the body movement generation system 100 including the detection sensor 35 that detects the three-dimensional coordinates of the finger 2 of the user 1 has been described.
  • the present invention is not limited to this, and as shown in FIG. 12, a body movement generation system 101 in which the detection sensor 35 is not provided may be configured.
  • the detection result of the contact operation by the screen interface 30 is used as the position information indicating the position of the finger 2 of the user 1.
  • the detection result of the contact operation includes, for example, information indicating the contacted finger 2 (finger index), the contact position of the contacted finger 2, and the like. Therefore, by using the detection result of the contact operation, it is possible to specify the electromagnet 21 to be controlled. It is also possible to control the magnetic force according to the timing of contact. As described above, even in the configuration excluding the detection sensor 35, it is possible to assist the contact operation by appropriately applying a magnetic force to the finger 2 of the user 1.
  • the process of electrically changing the magnetic field between the user 1 and 20 is executed based on the position information of the finger 2 of the user 1 and the operation information related to the contact operation.
  • Examples of systems that generate involuntary movements of the body include systems that use joint-driven exoskeletons and systems that use muscle electrical stimulation (EMS).
  • the exoskeleton is a system that drives joints using a motor, but when the user consciously performs voluntary movements to move the body, resistance such as friction may occur. Further, when EMS is used, such resistance does not occur, but skin irritation peculiar to electrical stimulation may occur.
  • the electromagnet unit 20 (electromagnet 21) provided in the screen interface 30 operated by the user 1 with the finger 2 acts on the mounting magnet unit 10 (mounting magnet 11) mounted on the finger 2 of the user 1.
  • Magnetic force (attractive force and repulsive force) is generated. This makes it possible to generate the involuntary movement of the finger 2 of the user 1.
  • a sense of discomfort such as friction or electrical stimulation does not occur. As a result, it is possible to perform natural operation assist without interfering with the operation or the like performed by the user 1.
  • the control of the electromagnet is controlled according to the position of the finger 2 of the user 1 and the state of the application.
  • the contact operation required by the application can be appropriately assisted according to the state of the finger 2 of the user 1.
  • FIG. 13 is a schematic diagram for explaining the outline of the body movement generation system according to the second embodiment.
  • the body movement generation system 200 has a different configuration of the electromagnet unit 220 as compared with the body movement generation system 100 described in the above embodiment.
  • the electromagnet unit 220 includes a plurality of electromagnets 21 arranged in an array on the screen interface 30.
  • a plurality of electromagnets 21 are arranged in a square grid along axes (X-axis and Y-axis) orthogonal to each other without any gap.
  • the arrangement pattern of the electromagnets 21 and the like are not limited, and for example, the electromagnets 21 may be arranged at predetermined intervals. Further, a plurality of electromagnets 21 may be arranged in a triangular lattice pattern. In this way, the electromagnet unit 220 is configured as a magnet array composed of a plurality of electromagnets 21. This makes it possible to realize operation assist and the like with a high degree of freedom.
  • Each electromagnet 21 of the electromagnet unit 220 is identified by using an electromagnet index (x, y) or the like. These electromagnets 21 are selectively driven according to the position of the finger 2 that performs the contact operation.
  • the corresponding electromagnet 21 is selected according to the position of the finger 2.
  • the information that identifies the finger 2 that performs the contact operation and the three-dimensional coordinates of the finger 2 are acquired as position information (i, X, Y, Z).
  • the electromagnet 21 corresponding to the electromagnet index (x, y) closest to the X coordinate and the Y coordinate of the finger 2 is selected as the electromagnet 21 that applies a magnetic force to the i-th finger 2. This makes it possible to generate a magnetic force that assists the contact operation regardless of the position of the finger 2 of the user 1.
  • a plurality of electromagnets 21 may be selected as the electromagnets 21 corresponding to the i-th finger 2.
  • the body movement generation system 200 it is possible to generate an attractive force and a repulsive force acting on the finger 2 (mounting magnet 11) of the user 1 at an arbitrary position on the screen interface 30 (operation surface 31). .. This makes it possible to realize operation assist for input operations (for example, keyboard input, shooting games, etc.) using the entire operation screen.
  • FIG. 14 is a schematic view showing an example of magnetic field control by the body movement generation system 200.
  • the electromagnets 21 arranged in an array are individually driven has been described. Not limited to this, it is also possible to appropriately drive the entire electromagnet 21 arranged in an array to control the magnetic field.
  • FIG. 14 schematically shows a magnetic field (magnetic potential) generated by the electromagnet unit 220. For example, in a region where the magnetic field is weak, an attractive force acts on the mounting magnet 11, and in a region where the magnetic field is strong, a repulsive force acts on the mounting magnet 11.
  • electromagnetic induction occurs when the position (distance) of the magnet changes with respect to the coil.
  • an induced electromotive force is generated in the coil, and an induced current flows.
  • This detection result is used as the position information of the finger 2 of the user 1, and the electromagnet 21 is driven in accordance with the timing of contact and withdrawal to assist the contact operation of the user 1.
  • the position information may be acquired based on the induced electromotive force generated in the electromagnet 21 as the position of the finger 2 of the user 1 changes.
  • a sensor detection sensor 35
  • the electromagnet 21 for measuring the change in the distance R of the finger 2 of the user 1 and the magnetic force are used. It is also possible to share and use the electromagnet 21 for generating.
  • a finger or the like on which a magnetic force should be applied may be specified based on an electromyogram (EMG: Electromyography) or the like when the user 1 moves the finger 2.
  • EMG Electromyography
  • the finger 2 that the user 1 wants to move is specified from the electromyogram, and the corresponding electromagnet 21 is driven. As a result, it is possible to realize high-speed contact operation and the like.
  • the permanent magnet (mounting magnet 11) is mounted on the finger 2 of the user 1, and the electromagnet 21 is provided on the screen interface 30.
  • the configuration of the body movement generation system is not limited to such a configuration, and for example, any configuration capable of generating an attractive force / repulsive force between the finger 2 of the user 1 and the screen interface 30 may be used.
  • the electromagnet 21 may be attached to the finger 2 of the user 1, and the permanent magnet may be provided on the screen interface 30.
  • the electromagnet 21 may be provided on both the finger 2 of the user 1 and the screen interface 30. In either case, the electromagnet 21 is controlled so as to assist the contact operation by the finger 2 of the user 1.
  • the present technology can be applied to various contact movements performed by the user 1 by moving a part of the body (body part).
  • the present technology may be applied when the user 1 uses tools such as scissors, a scalpel, and a saw.
  • the hand of the user 1 including the finger 2 of the user 1 becomes the body part.
  • the tools used are the targets of operation. Permanent magnets and electromagnets are provided on the user's hands and tools, respectively.
  • the position information of each part of the user 1's hand including how to hold the tool is detected.
  • information is acquired as motion information in order to properly perform the motion of handling the tool (contact motion).
  • the magnetic force is controlled according to the position information so that the operation or the like corresponding to the operation information is performed. This makes it possible to realize motion assist and the like for properly handling the tool.
  • the present technology may be applied to the operation of the user 1 holding the doorknob, the operation of holding a luggage, the operation of playing the piano, and the like.
  • the information processing method according to the present technology is executed by a computer such as a control unit mounted on the electromagnet controller.
  • the information processing method and the program according to the present technology may be executed by the computer mounted on the electromagnet controller and another computer capable of communicating via a network or the like.
  • the computer mounted on the electromagnet controller may be linked with another computer to construct a content providing system according to the present technology.
  • the information processing method and program according to the present technology can be executed not only in a computer system composed of a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device in which a plurality of modules are housed in one housing are both systems.
  • the information processing method and program execution according to the present technology by a computer system may be performed when, for example, a process of changing the magnetic field between the first magnetic field acting unit and the second magnetic field acting unit is executed by a single computer. And both when each process is performed by a different computer. Further, the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquire the result.
  • the information processing method and program related to this technology can be applied to a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • the present technology can also adopt the following configurations.
  • (1) Based on the position information of the user's body part and the operation information regarding the contact operation performed by the user by moving the body part, the first magnetic field acting portion attached to the body part and the contact operation An information processing device including a magnetic field control unit that electrically changes the magnetic field between the operation target and the second magnetic field acting unit.
  • An information processing device including a magnetic field control unit that electrically changes the magnetic field between the operation target and the second magnetic field acting unit.
  • the information processing device according to (1) At least one of the first magnetic field acting part and the second magnetic field acting part includes an electromagnet.
  • the magnetic field control unit is an information processing device that controls the electromagnet so that a magnetic force acting as an attractive force or a repulsive force is generated between the first magnetic field acting unit and the second magnetic field acting unit.
  • (3) The information processing device according to (2).
  • the body part is the user's finger and The contact operation is a contact operation by the user's finger.
  • the operation target is an information processing device that is an input device that accepts the contact operation.
  • the operation information is an information processing device including information on an operating state of an application that operates in response to the contact operation received via the input device.
  • the first magnetic field acting unit includes a permanent magnet attached to the user's finger.
  • the second magnetic field acting unit includes information processing including at least one electromagnet arranged in the input device corresponding to the user's finger, or a plurality of electromagnets arranged in an array in the input device. Device. (6) The information processing device according to any one of (2) to (5).
  • the magnetic field control unit is an information processing device that sets a control pattern related to the magnetic force based on the position information and the operation information.
  • the motion information includes information that specifies the timing at which the body part comes into contact with the motion target.
  • the magnetic field control unit is an information processing device that sets the control pattern so that the body part comes into contact with the operation target at the designated timing.
  • the magnetic field control unit is an information processing device that adjusts the control pattern based on the timing at which the body part comes into contact with the operation target. (9) The information processing device according to any one of (2) to (8).
  • the position information includes information representing a distance between the body part and the motion target.
  • the magnetic field control unit is an information processing device that controls the strength of the magnetic force based on the distance between the body part and the operating object.
  • the magnetic field control unit is an information processing device that, when the contact operation is required, weakens the strength of the attractive force as the distance between the body part and the operation target becomes shorter.
  • the magnetic field control unit is an information processing device that increases the strength of the repulsive force as the distance between the body part and the operation target becomes shorter when the contact operation is suppressed.
  • the magnetic field control unit is an information processing device that turns off the attractive force at the timing when the body part comes into contact with the operating object.
  • the magnetic field control unit is an information processing device that turns on the repulsive force at the timing when the body part comes into contact with the operating object.
  • the magnetic field control unit is an information processing device that controls the electromagnet so as to generate a repulsive force that cancels a constant attractive force between the first magnetic field acting unit and the second magnetic field acting unit.
  • the magnetic field control unit is an information processing device that acquires the position information based on the output of a sensor that detects the position of the body part.
  • At least one of the first magnetic field acting part and the second magnetic field acting part includes an electromagnet.
  • the magnetic field control unit is an information processing device that acquires the position information based on the induced electromotive force generated in the electromagnet due to a change in the position of the body part. (17) Based on the position information of the user's body part and the operation information regarding the contact operation performed by the user by moving the body part, the first magnetic field acting unit mounted on the body part and the contact operation An information processing method in which a computer system executes to electrically change a magnetic field between an operating object and a second magnetic field acting unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術の一形態に係る情報処理装置は、磁界制御部を具備する。前記磁界制御部は、ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させる。

Description

情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システム
 本技術は、身体の運動を発生させる装置に適用可能な情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システムに関する
 従来、ユーザの身体を動かして身体運動を発生させる方法が開発されている。例えば、筋電気刺激(EMS:Electrical Muscle Stimulation)を利用して運動を発生させる方法や、関節駆動の機械的なアクチュエータ等を用いて運動を発生させる方法が知られている。これらの方法を用いることで、様々な動作のアシスト等を実現することが可能である。
 例えば、非特許文献1には、EMSを用いて人間の反応速度を高速化するシステムについて記載されている。このシステムは、例えばユーザが視覚的な刺激を受けてから反応を起こすまでの特定の期間内に、EMSを用いた身体運動を先行して発生させるように構成される。このEMSによる身体運動を発生させるタイミングを適正に設定することで、ユーザ自身が動作を行ったという感覚をほとんど損なうことなく、反応速度を高速化することが可能となっている。
Shunichi Kasahara, Jun Nishida, and Pedro Lopes. "Preemptive Action: Accelerating Human Reaction using Electrical Muscle Stimulation Without Compromising Agency." In CHI Conference on Human Factors in Computing Systems Proceedings (CHI 2019), Glasgow, Scotland Uk. ACM, New York, NY, USA. May 4-9, 2019. Paper No. 643, 15 pages.
 このように人間の動作をアシストする技術は、教育、アミューズメント、福祉等の様々な分野での応用が期待されており、自然な動作アシストを実現する技術が求められている。
 以上のような事情に鑑み、本技術の目的は、自然な動作アシストを実現することが可能な情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システムを提供することにある。
 上記目的を達成するため、本技術の一形態に係る情報処理装置は、磁界制御部を具備する。
 前記磁界制御部は、ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させる。
 この情報処理装置では、ユーザの身体部分に装着された第1磁界作用部と、その身体部分を動かして行う接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させる処理が、身体部分の位置情報と、接触動作に関する動作情報とに基づいて実行される。これにより、身体部分の位置や接触動作の状況等に応じて身体部分を動かすことが可能となり、自然な動作アシストを実現することが可能となる。
 前記第1磁界作用部及び前記第2磁界作用部の少なくとも一方は、電磁石を含んでもよい。この場合、前記磁界制御部は、前記第1磁界作用部と前記第2磁界作用部との間に、引力又は斥力となる磁力が発生するように前記電磁石を制御してもよい。
 前記身体部分は、前記ユーザの指であってもよい。この場合、前記接触動作は、前記ユーザの指による接触操作であってもよい。また、前記動作対象は、前記接触操作を受け付ける入力装置であってもよい。
 前記動作情報は、前記入力装置を介して受け付けられた前記接触操作に応じて動作するアプリケーションの動作状態に関する情報を含んでもよい。
 前記第1磁界作用部は、前記ユーザの指に装着された永久磁石を含んでもよい。この場合、前記第2磁界作用部は、前記ユーザの指に対応して前記入力装置に配置された少なくとも1つの電磁石、又は前記入力装置にアレイ状に配置された複数の電磁石のいずれか一方を含んでもよい。
 前記磁界制御部は、前記位置情報及び前記動作情報に基づいて、前記磁力に関する制御パターンを設定してもよい。
 前記動作情報は、前記身体部分が前記動作対象に接触するタイミングを指定する情報を含んでもよい。この場合、前記磁界制御部は、前記指定されたタイミングに合わせて前記身体部分が前記動作対象に接触するように、前記制御パターンを設定してもよい。
 前記磁界制御部は、前記身体部分が前記動作対象に接触したタイミングに基づいて前記制御パターンを調整してもよい。
 前記位置情報は、前記身体部分と前記動作対象との間の距離を表す情報を含んでもよい。この場合、前記磁界制御部は、前記身体部分と前記動作対象との間の距離に基づいて、前記磁力の強度を制御してもよい。
 前記磁界制御部は、前記接触動作を必要とする場合、前記身体部分と前記動作対象との間の距離が近いほど前記引力の強度を弱くしてもよい。
 前記磁界制御部は、前記接触動作を抑制する場合、前記身体部分と前記動作対象との間の距離が近いほど前記斥力の強度を強くしてもよい。
 前記磁界制御部は、前記身体部分が前記動作対象に接触したタイミングに合わせて、前記引力をオフにしてもよい。
 前記磁界制御部は、前記身体部分が前記動作対象に接触したタイミングに合わせて、前記斥力をオンにしてもよい。
 前記磁界制御部は、前記第1磁界作用部と前記第2磁界作用部との間の定常的な引力をキャンセルする斥力が発生するように前記電磁石を制御してもよい。
 前記磁界制御部は、前記身体部分の位置を検出するセンサの出力に基づいて、前記位置情報を取得してもよい。
 前記第1磁界作用部及び前記第2磁界作用部の少なくとも一方は、電磁石を含んでもよい。この場合、前記磁界制御部は、前記身体部分の位置の変化に伴い前記電磁石に生じる誘導起電力に基づいて、前記位置情報を取得してもよい。
 本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処
理方法であって、ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させることを含む。
 本技術の一形態に係るコンピュータが読み取り可能な記録媒体は、コンピュータシステムに以下のステップを実行させるプログラムを記録する。
 ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させるステップ。
 本技術の一形態に係る身体運動発生システムは、第1磁界作用部と、第2磁界作用部と、磁界制御部とを具備する。
 前記第1磁界作用部は、ユーザの指に装着される。
 前記第2磁界作用部は、前記ユーザの指による接触操作を受け付ける入力装置に設けられる。
 前記磁界制御部は、前記ユーザの指の位置情報と、前記接触操作に関する動作情報とに基づいて、前記第1磁界作用部と、前記第2磁界作用部との間の磁界を電気的に変化させる。
本技術の第1の実施形態に係る身体運動発生システムの概要を説明するための模式図である。 身体運動発生システムの機能的な構成例を示すブロック図である。 身体運動発生システムの構成例を示す模式図である。 制御部の基本的な動作の一例を示すフローチャートである。 距離に応じた電磁石の制御について説明するための模式図である。 距離に応じた磁力制御の一例を示すグラフである。 接触に伴う電磁石の制御について説明するための模式図である。 定常状態での引力をキャンセルする際の電磁石の制御について説明するための模式図である。 電磁石が生成する磁力に関する制御パターンの一例を示すグラフである。 接触方法に応じた制御パターンの一例を示すグラフである。 触覚提示の一例を示すグラフである。 身体運動発生システムの他の構成例を示す模式図である。 第2の実施形態に係る身体運動発生システムの概要を説明するための模式図である。 身体運動発生システムによる磁界制御の一例を示す模式図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 <第1の実施形態>
 [身体運動発生システム]
 図1は、本技術の第1の実施形態に係る身体運動発生システムの概要を説明するための模式図である。図1には、ユーザ1が、身体運動発生システム100を使用している様子が模式的に図示されている。
 身体運動発生システム100は、ユーザ1が接触動作を行う際に動かす身体部分に対して、磁力を利用して運動を発生させるシステムである。本開示において、接触動作とは、例えばユーザ1と対象との接触を伴う一連の動作である。例えば、画面に触れる、ボタンを押す、物をつかむ等の動作は、接触動作の一例である。
 本実施形態では、装着磁石ユニット10と、電磁石ユニット20とを用いて、ユーザ1の指2の運動が生成される。
 装着磁石ユニット10は、ユーザ1が装着して用いるユニットであり、ユーザ1の各指2に装着される装着磁石11を含む。また、電磁石ユニット20は、装着磁石11に作用する磁界を発生する少なくとも1つの電磁石21を含む。図1に示す例では、ユーザ1の右手の5つの指2ごとに装着磁石11が装着され、各指2(各装着磁石11)に対応する5つの電磁石21が設けられる。なお、図1では左手用の構成が省力されている。
 例えば、電磁石21に入力する電流を制御して、装着磁石11を引き付ける磁力(引力)や、装着磁石11を引き離す磁力(斥力)が生成される。これらの磁力(引力や斥力)が装着磁石11に作用することで、装着磁石11が装着されたユーザ1の指2が動かされる。
 このように、磁力を用いて生成される運動は、例えばユーザ1が意識することなく生成される不随意運動であるといえる。従って、身体運動発生システム100は、不随意運動を発生するシステムであるともいえる。
 図1に示すように、身体運動発生システム100は、ユーザ1が指2を接触させて操作するスクリーンインターフェース30を備える。上記した電磁石ユニット20は、スクリーンインターフェース30に設けられる。より詳しくは、スクリーンインターフェース30の操作面31(ユーザ1の指2が接触する面)の裏側に、各指2に対応した複数の電磁石21が配置される。
 本実施形態では、スクリーンインターフェース30に対してユーザ1が指2を動かして接触操作を行う際に、電磁石21が起動される。これにより、対応する電磁石21と装着磁石11との間には引力又は斥力となる磁力が発生し、ユーザ1の指2に不随意運動を発生させることが可能となる。
 本実施形態では、ユーザ1の指2は、ユーザの身体部分の一例である。またユーザ1の指2による接触操作は、上記した接触動作の一例である。
 このように、身体運動発生システム100により生成されるユーザ1の指2の運動を利用して、接触操作のアシスト等が実現される。
 例えば、適正なタイミングで引力を発生させることで、スクリーンインターフェース30に対するタッチ入力の補助や、コンピュータアシストによる素早いタッチ入力を誘発するといったことが可能となる。
 また例えば、指2を接触させてはいけない場所や、指2の接触に注意が必要な場所に対して、斥力を発生させることで、ユーザ1の指2が不用意に接触するといった事態を回避することが可能となる。
 また例えば、接触操作のタイミングが重要なアプリケーション(リズムゲーム等)において、ユーザ1が接触操作を行うべきタイミングに合わせて斥力や引力を制御することも可能である。これにより、例えば適正なタイミングで接触操作を行わせるといったユーザの補助が可能である。この結果、操作の成功率等が上がり、アプリケーションに対する没入感を増強することや、ユーザ1の学習を促進するといったことが可能となる。
 なお、ここに記載した適用例の他にも、身体運動発生システム100は接触操作を伴う様々なシーンに適用可能である。
 以下では、身体運動発生システム100の具体的な構成について説明する。
 [身体運動発生システムの構成]
 図2は、身体運動発生システム100の機能的な構成例を示すブロック図である。図3は、身体運動発生システム100の構成例を示す模式図である。
 上記したように、身体運動発生システム100は、装着磁石ユニット10と、電磁石ユニット20と、スクリーンインターフェース30とを有する。身体運動発生システム100は、さらに、検出センサ35と、アプリケーション処理部36と、電磁石コントローラ40とを有する。
 装着磁石ユニット10は、ユーザ1の指2に装着されるユニットであり、複数の装着磁石11を有する。装着磁石11は、ユーザ1の指2に装着される永久磁石である。装着磁石11としては、典型的には小型のネオジウム磁石が用いられる。これにより、ユーザ1の指2に対して比較的強い引力や斥力を容易に発生させることが可能である。
 本実施形態では、装着磁石ユニット10は、第1磁界作用部に相当する。
 装着磁石11は、例えば図示しない装着具を介して、ユーザ1の各指2に装着される。例えば手袋型の装着具や指輪型の装着具に装着磁石11が固定される。装着磁石11は、例えば図1に示すように各指2の先端付近の爪側に配置される。これにより、指2の腹側の触覚を残すことが可能である。また装着磁石11は、一方の磁極(S極又はN極)が、爪側に向くように配置される。
 装着磁石11の種類や配置等の具体的な構成は限定されない。例えば、1つの指2に複数の装着磁石11が配置されてもよい。また例えば、各指2の側面や腹側に装着磁石11が配置されてもよい。またユーザ1の各指2に装着磁石11が直接固定されてもよい。
 電磁石ユニット20は、スクリーンインターフェース30に設けられる。電磁石ユニット20は、装着磁石ユニット10(装着磁石11)に作用する磁界を発生させる少なくとも1つの電磁石21を有する。電磁石21は、例えばコイルと当該コイルが巻かれた鉄心とから成り、コイルに電流を流すことで鉄心を磁化して磁界を発生させる。このコイルに流す電流の値や向きを変えることで、磁界を変化させることが可能である。
 本実施形態では、電磁石ユニット20は、第2磁界作用部に相当する。
 上記したように、電磁石ユニット20(電磁石21)は、スクリーンインターフェース30のユーザ1の指が接触する操作面とは反対側(例えば操作面の下側)に配置される。
 図3に示すように、本実施形態では、ユーザ1の左手及び右手の各指2に対応する10個の電磁石21が、各指2の位置に対応して配置される。例えば、キーボード入力等で用いられるホームポジションにおいて各指2が配置される位置に対向するように、各電磁石21が配置される。
 なお、特定の指2に対応する電磁石21のみが設けられてもよい。例えば、右手及び左手のひとさし指に対応する2つの電磁石21が配置されてもよい。あるいは、特定の指に対応する単一の電磁石21が配置されてもよい。この他、電磁石21の個数や配置等は限定されない。
 このように、本実施形態では、電磁石ユニット20には、ユーザ1の指2に対応してスクリーンインターフェース30に配置された少なくとも1つの電磁石21が含まれる。
 スクリーンインターフェース30は、ユーザ1の指2による接触操作を受け付ける入力装置である。スクリーンインターフェース30としては、例えば液晶や有機EL等のディスプレイを備えるタッチスクリーンや、プロジェクタを用いて投影されるプロジェクションスクリーン等が用いられる。
 本実施形態では、スクリーンインターフェース30は、接触動作の動作対象に相当する。
 図3に示すように、スクリーンインターフェース30は、操作面31と、タッチセンサ32とを有する。
 操作面31は、ユーザ1の指2が接触する表示面である。この操作面31に所定の操作画面等のGUI(Graphical User Interface)が表示される。
 タッチセンサ32は、操作面31に対するユーザ1の指2の接触を検出するセンサである。タッチセンサ32は、ユーザ1の指2の接触の有無、及び操作面31上での接触位置を検出する。例えばタッチスクリーンが用いられる場合、操作面31(ディスプレイ)上に設けられた静電容量方式の接触検出センサ等がタッチセンサ32となる。また、プロジェクションスクリーンが用いられる場合、ユーザ1の指2を撮影するカメラ等がタッチセンサ32となる。
 例えば、操作面31には、操作用のアイコン等が表示される。アイコン等の表示位置は、電磁石21に対応する位置(電磁石21の直上となる位置)に設定される。アイコン等に対する接触操作が行われる場合、タッチセンサ32により、接触した指2を示す情報(指インデックス)、接触した指2の接触位置、及び接触操作が行われたタイミング等が検出される。
 これらの検出結果は、後述するスクリーンインターフェース30や電磁石コントローラ40に適宜出力される。
 検出センサ35は、ユーザ1の指2の位置を検出するセンサである。ここでは、ユーザ1の各指2の3次元座標(X,Y,Z)を検出可能なセンサが用いられる。
 ここで、X座標及びY座標は、例えばスクリーンインターフェース30(操作面31)に沿った互いに直交するX軸及びY軸上の座標である。またZ座標は、X軸及びY軸に直交するZ軸上の座標であり、ユーザ1の指2のスクリーンインターフェース30からの距離(高さ)を表す座標値である。
 検出センサ35としては、例えばユーザ1の指2を撮影するカメラ等が用いられる。また例えば、赤外線アレイセンサ等の空間センサが検出センサ35として用いられる。また例えば、検出センサ35として、指2までの距離を検出可能な静電容量センサ等が用いられてもよい。この場合、上記したタッチセンサ32が検出センサ35として機能してもよい。
 この他、ユーザ1の指2の位置の3次元的な検出が可能な任意のセンサが、検出センサとして用いられてよい。例えば上記したタッチセンサ32が、検出センサ35として用いられてもよい。
 本実施形態では、検出センサ35は、身体部分の位置を検出するセンサに相当する。
 アプリケーション処理部36は、スクリーンインターフェース30を介してユーザ1が利用するアプリケーションを動作させるための処理を実行する。すなわち、アプリケーション処理部36、接触操作に応じて動作するアプリケーションを動作させる演算装置である。例えばスクリーンインターフェース30を表示画面とするコンピュータ等が、アプリケーション処理部36として機能する。
 アプリケーション処理部36では、例えばアプリケーションの操作画面を生成する処理、アプリケーションの進行に応じて画面を変更する処理、あるいはユーザ1が行った接触操作の入力等をアプリケーションの動作に反映する処理等の様々な処理が実行される。
 またアプリケーション処理部36は、接触操作に応じて動作するアプリケーションの動作状態に関する情報(以下、アプリケーション情報と記載する)を生成する。
 例えばアプリケーションの進行に応じて、操作画面において接触操作が行われるべき(あるいは接触操作が回避されるべき)アイコン等や、接触操作が行われるべきタイミング等が変化する場合がある。例えば、このようなアプリケーションの状態に応じて変化するアイコンやタイミング等を表す情報が、アプリケーション情報として生成される。
 本実施形態では、アプリケーション情報として、操作画面に対する接触操作(接触動作)に関するパラメータを指定する指定情報が生成される。
 例えば磁力(引力又は斥力)を発生させるべきアイコン等を指定する情報や、ユーザ1が接触操作を行うタイミングを指定する情報等が生成される。これらの指定情報は、電磁石コントローラ40に適宜出力される。
 電磁石コントローラ40は、電磁石ユニット20の各電磁石21の動作を制御する制御ユニットである。電磁石コントローラ40は、駆動部41と、記憶部42と、制御部43とを有する。
 駆動部41は、ユーザ1の指2ごとに配置された各電磁石21を個別に駆動する。具体的には、駆動部41は、後述する制御部43(電磁石制御部46)により生成される制御信号に応じた駆動電流を生成し、各電磁石21に供給する。
 駆動部41の具体的な構成は限定されず、例えば電磁石21を駆動可能な電流源を用いて適宜構成される。なお、駆動部41は、電磁石コントローラ40とは別に構成されてもよい。
 記憶部42は、不揮発性の記憶デバイスである。記憶部42としては、例えばSSD(Solid State Drive)等の固体素子を用いた記録媒体や、HDD(Hard Disk Drive)等の磁気記録媒体が用いられる。この他、記憶部42として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。
 記憶部42には、本実施形態に係る制御プログラムが記憶される。制御プログラムは、例えば電磁石コントローラ40全体の動作を制御するプログラムである。この他、記憶部42に記憶される情報は限定されない。
 本実施形態では、記憶部42は、プログラムが記録されているコンピュータが読み取り可能な記録媒体に相当する。また制御プログラムは、記録媒体に記録されたプログラムに相当する。
 制御部43は、電磁石コントローラ40の動作を制御する。制御部43は、例えばCPUやメモリ(RAM、ROM)等のコンピュータに必要なハードウェア構成を有する。CPUが記憶部42に記憶されている制御プログラムをRAMにロードして実行することにより、種々の処理が実行される。制御部43は、本実施形態に係る情報処理装置に相当する。
 制御部43として、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。また例えばGPU(Graphics Processing Unit)等のプロセッサが制御部43として用いられてもよい。また制御部43は、上記したアプリケーション処理部36を構成するハードウェア等を用いて構成されてもよい。
 本実施形態では、制御部43のCPUが本実施形態に係るプログラム(制御プログラム)を実行することで、機能ブロックとして、位置情報取得部44と、操作情報取得部45と、電磁石制御部46とが実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが適宜用いられてもよい。
 位置情報取得部44は、ユーザ1の指2の位置情報を取得する。ここで、位置情報とは、例えばユーザ1の各指2の現在の位置を表すことが可能な情報である。
 例えば、位置情報取得部44は、検出センサ35が検出したユーザ1の各指2の3次元座標を位置情報として読み込む。より詳しくは、各指2を示す指インデックスiと、各指2の3次元座標値とを含むデータセット(i,X,Y,Z)が読み込まれる。
 また例えば、ユーザ1の各指2を撮影した画像や、検出センサ35が測定したデータ等が読み込まれてもよい。この場合、位置情報取得部44は、ユーザ1の指2の画像や、検出センサ35のデータ等に基づいて、ユーザ1の各指2の3次元座標を算出してもよい。
 また、位置情報取得部44は、スクリーンインターフェース30(タッチセンサ32)による接触操作の検出結果を読み込んでもよい。接触操作の検出結果には、ユーザ1の指2の操作面31に対する接触の有無を示す情報が含まれる。これは、ユーザ1の指2が操作面31上にあるか否かを表す位置情報である。また接触操作の検出結果には、操作面31上での接触位置を示す情報が含まれる。これはユーザ1の指2のX座標及びY座標を表す位置情報である。これらの情報に基づいて、電磁石21の制御を行うことも可能である。
 操作情報取得部45は、ユーザ1が指2を動かして行う接触操作(接触動作)に関する操作情報を取得する。ここで操作情報とは、ユーザ1に接触操作を行わせる上で必要となる情報や、ユーザ1が接触操作を行ったことで生成される情報である。
 例えば、操作情報取得部45は、アプリケーション処理部36によりアプリケーションの動作状態に応じて生成されたアプリケーション情報を読み込む。上記したように、アプリケーション情報には、接触操作に関するパラメータ(引力・斥力の発生対象となるアイコンや、磁力を発生させるタイミング等)を指定する指定情報が含まれる。この指定情報は、接触操作を行わせる上で必要となる操作情報である。
 このように、操作情報には、スクリーンインターフェース30を介して受け付けられた接触操作に応じて動作するアプリケーションの動作状態に関する情報(アプリケーション情報)が含まれる。
 また例えば、操作情報取得部45は、スクリーンインターフェース30(タッチセンサ32)による接触操作の検出結果を読み込む。接触操作の検出結果には、例えばユーザ1の指2とスクリーンインターフェース30とが接触したタイミングを示す情報が含まれる。この接触したタイミングを示す情報は、接触操作を行ったことで生成される操作情報である。
 本実施形態では、操作情報は、接触動作に関する動作情報に相当する。
 電磁石制御部46は、位置情報取得部44及び操作情報取得部45が取得した情報に基づいて、電磁石ユニット20の各電磁石21を制御する。すなわち、電磁石制御部46は、ユーザ1の指2の位置情報と、ユーザ1が指2を動かして行う接触操作に関する操作情報とに基づいて、ユーザ1の指2に装着された装着磁石ユニット10と、スクリーンインターフェース30に設けられた電磁石ユニット20との間の磁界を電気的に変化させる。
 具体的には、位置情報及び操作情報に基づいて、各指2に対応する電磁石21を駆動させる制御信号がそれぞれ生成される。そして、駆動部41により各制御信号に応じて対応する電磁石21が駆動されることで、磁界を電気的に変化させる制御が実現される。
 本実施形態では、電磁石制御部46は、装着磁石ユニット10と電磁石ユニット20との間に、引力又は斥力となる磁力が発生するように電磁石21が制御される。より詳しくは、対応する電磁石21と装着磁石11との間に引力又は斥力が発生するように、各電磁石21が個別に制御される。
 例えば発生させる磁力の方向(引力・斥力)やタイミングは、操作情報のうちアプリケーションにより指定された指定情報等に基づいて設定される。また磁力の強度は、位置情報等に基づいて設定される。
 これにより、各指2ごとに、操作面31に引き付ける運動や操作面31から引き離す運動(あるいは接触を妨害する運動)を適正に発生させることが可能となる。
 位置情報及び操作情報に基づいて電磁石21を制御する方法については、後に詳しく説明する。本実施形態では、電磁石制御部46は、磁界制御部に相当する。
 [制御部の動作]
 図4は、制御部の基本的な動作の一例を示すフローチャートである。図4に示す処理は、例えば接触操作に応じて動作するアプリケーションの動作中に継続して実行されるループ処理である。
 まず、位置情報取得部44により、ユーザ1の指2の位置情報が取得される(ステップ101)。具体的には、検出センサ35から、ユーザ1の各指2の3次元座標を示す情報(i,X,Y,Z)が位置情報として読み込まれる。読み込まれた位置情報は、電磁石制御部46に出力される。
 このように、電磁石制御部46は、ユーザ1の指2の位置を検出する検出センサ35の出力に基づいて、ユーザ1の指2の位置情報を取得する。検出センサ35を用いることで、ユーザ1の指2の位置を精度よく検出することが可能となり、高精度な電磁石の制御等を実現することが可能となる。
 次に、操作情報取得部45により、接触操作に関する操作情報が取得される(ステップ102)。例えば、アプリケーション処理部36によりアプリケーションの動作状態に応じて生成されたアプリケーション情報(指定情報等)が操作情報として読み込まれる。また例えば、スクリーンインターフェース30による接触操作の検出結果が操作情報として読み込まれる。読み込まれた操作情報は、電磁石制御部46に出力される。
 次に、電磁石制御部46により、位置情報及び操作情報に基づいて電磁石21の制御が行われる(ステップ103)。
 例えば、操作情報に基づいて、接触操作を行わせる指2が特定される。例えばi番目の指2に対して接触操作を行わせる場合、i番目の指2に対応する電磁石21に対して引力を発生させる制御信号が生成される。
 同様に、i番目の指2による接触操作を回避させる場合、i番目の指2に対応する電磁石21に対して斥力を発生させる制御信号が生成される。
 例えば、アプリケーションによっては、タップ等を行って機能を実行させるのに十分な注意を要するボタンや、タップすべきではないボタン等が存在する。そのようなボタンについては、定常的な斥力を生じさせ、注意してタッチしなければ機能を実行させることが出来ないようにしてもよい。
 また、操作情報により、接触操作を発生させるタイミングや接触操作を回避するタイミング等が指定されている場合には、指定されたタイミングに応じて、各磁力(引力又は斥力)を発生させる制御信号が生成される。
 また、これらの磁力の強度は、対象となる指2の位置や、アプリケーションの状態(例えば実行されているタスクの種類や進行状況等)に応じて設定される。
 上記した電磁石21の制御は、例えば所定の制御パターンに従って実行される。ここで、制御パターンとは、電磁石21が発生させる磁力の向き(引力又は斥力)、磁力の強度、磁力を発生させるタイミング、及び磁力を変化させる割合等を定めたパターンである。
 例えば素早いタッピングが必要な場合と、長押しが必要な場合とでは、接触操作として行われる動作が異なる。すなわち、アプリケーションの状態に応じて、要求される接触操作の種類が変化する。
 制御パターンは、このようなアプリケーションの状態(接触操作の種類)に合わせて設定される。制御パターンを設定する方法については、後に詳しく説明する。
 次に、電磁石21の制御を終了するか否かが判定される(ステップ104)。
 電磁石21の制御を終了すると判定された場合(ステップ104のYes)、電磁石21の制御が終了する。例えば、ユーザ1が電磁石21によるフィードバックをオフに設定した場合や、アプリケーションのタスクが切り替わった場合等に、電磁石21の制御が終了する。
 また、電磁石21の制御を終了しないと判定された場合(ステップ104のNo)、ステップ101以降の処理が再度実行され、電磁石21の制御が継続される。
 以下では、電磁石制御部46による電磁石21の制御内容について具体的に説明する。
 なお、磁力を作用させる対象となる指2(装着磁石11)及び電磁石21は、予め特定されているものとする。
 [電磁石の制御]
 図5は、距離に応じた電磁石の制御について説明するための模式図である。
 図5には、スクリーンインターフェース30にユーザ1の指2が接触する前の状態が模式的に図示されている。また図5には、電磁石21により生成される引力及び斥力が、白色の矢印及び灰色の矢印を用いて模式的に図示されている。
 一般に、磁力の強度は、磁力源(電磁石21)からの距離が離れるほど小さくなる。本実施形態では、このような特性を踏まえて電磁石21が制御される。
 ここでは、スクリーンインターフェース30とユーザ1の指2との距離に応じて電磁石21が生成する磁力(引力又は斥力)を制御する方法について説明する。
 上記したように、電磁石制御部46には、検出センサ35により検出されたユーザ1の指2の3次元座標(X,Y,Z)が位置情報として入力される。この3次元座標は、スクリーンインターフェース30(操作面31)を基準に設定された座標である。従って、位置情報には、スクリーンインターフェース30とユーザ1の指2との距離Rを表す情報が含まれる。
 電磁石制御部46では、この位置情報に基づいて、スクリーンインターフェース30とユーザ1の指2との距離Rを表すパラメータ(距離パラメータ)が算出される。
 ここでは、ユーザ1の指2のZ座標(操作面31に対するユーザ1の指の高さ)が、そのまま距離パラメータとして用いられる。
 また、ユーザ1の指2と電磁石21との間の距離が、距離パラメータとして用いられてもよい。この場合、ユーザ1の指2の3次元座標(X,Y,Z)と対応する電磁石21の配置座標(X',Y',Z')との間の距離が距離パラメータとして算出される。
 この他、スクリーンインターフェース30とユーザ1の指2との距離Rを表すことが可能な任意のパラメータが、距離パラメータとして用いられてよい。
 本実施形態では、電磁石制御部46により、ユーザ1の指2とスクリーンインターフェース30との間の距離Rに基づいて、電磁石21の磁力の強度が制御される。具体的には、上記した距離パラメータに応じて、磁力(引力又は斥力)の強度が設定される。
 このように、身体運動発生システム100では、ユーザ1の指2の位置を検出して、引力又は斥力の強度が制御される。
 なお、接触操作を必要とする場合(引力を発生させる場合)と、接触操作を抑制する場合(斥力を発生させる場合)とでは、距離Rに基づいて磁力の強度を設定する方法が異なる。以下、具体的に説明する。
 図6は、距離に応じた磁力制御の一例を示すグラフである。グラフの横軸は、ユーザ1の指2とスクリーンインターフェース30との間の距離Rであり、縦軸は、電磁石21が生成する磁力Fであり、例えば電磁石21の中心等における磁力である。なお縦軸の正の方向及び負の方向は、それぞれ斥力及び引力に対応する。
 図6には、引力を発生させる場合の磁力Fのグラフが太い実線で示されている。また斥力を発生させる場合の磁力Fのグラフが点線で示されている。
 例えば、スクリーンインターフェース30に対する接触操作を行わせるシーンでは、引力が生成される。
 図6の実線のグラフに示すように、ユーザ1の指2がスクリーンインターフェース30から遠い位置にある場合(距離Rが大きい場合)には、引力の強度が高く設定される。これにより、例えばユーザ1の指2(装着磁石11)を確実に引き付けることが可能となる。
 なお、距離Rが一定の閾値よりも大きい場合には、引力を発生させないといった処理も可能である。
 また、ユーザ1の指2がスクリーンインターフェース30に近い位置にある場合(距離Rが小さい場合)には、引力の強度が低く設定される。この場合、電磁石21と装着磁石11との距離が近いため、弱い力であっても十分に指2を引き付けることが可能となる。また、スクリーンインターフェース30に指2が接近した状態で、強い引力を生成すると、違和感の原因となる可能性がある。距離Rが小さい場合には、引力の強度を小さくすることで、このような違和感の発生を回避することが可能である。
 このように、電磁石制御部は、接触操作を必要とする場合、ユーザ1の指2とスクリーンインターフェース30との間の距離Rが近いほど引力の強度を弱くする。これにより、ユーザ1に違和感を知覚せることなく、ユーザ1の指2を自然に引き付けることが可能となる。
 また例えば、スクリーンインターフェース30に対する接触操作を抑制するシーン、すなわちタッチを抑制する場合は、斥力が生成される。
 図6の点線のグラフに示すように、ユーザ1の指2がスクリーンインターフェース30から遠い位置にある場合(距離Rが大きい場合)には、斥力の強度が低く設定される。これにより、ユーザ1は不要な斥力を感じることなく、通常の動作を続けることが可能である。
 また、ユーザ1の指2がスクリーンインターフェース30に近い位置にある場合(距離Rが小さい場合)には、斥力の強度が高く設定される。この場合、電磁石21と装着磁石11との距離が近いため、ユーザ1の指2に対してスクリーンインターフェース30から引き離す強い力(斥力)を作用させることが可能となり、接触操作を十分に抑制することが可能となる。
 このように、電磁石制御部46は、接触操作を抑制する場合、ユーザ1の指2とスクリーンインターフェース30との間の距離Rが近いほど斥力の強度を強くする。これにより、不必要な接触を確実に回避することや、慎重な接触操作を行わせることが可能となる。
 図7は、接触に伴う電磁石の制御について説明するための模式図である。図7には、スクリーンインターフェース30にユーザ1の指2が接触した状態が模式的に図示されている。
 本実施形態では、スクリーンインターフェース30(タッチセンサ32)により、スクリーンインターフェース30にユーザ1の指2が接触したタイミングが検出される。このタイミングに合わせて電磁石21の磁力が制御される。
 ここでは、スクリーンインターフェース30に対する接触操作をアシストする引力が生成される場合について説明する。
 この場合、ユーザ1の指2がスクリーンインターフェース30に接触する前の状態では、電磁石21が駆動されユーザ1の指2を引き付ける引力が生成される。ユーザ1の指2がスクリーンインターフェース30に接触した場合、そのタイミングがタッチセンサ32により検出される。
 例えば、ユーザ1の指2がすでに接触(タッチ)している状態で、引力を発生し続けると、指2が吸いつくあるいは指2が離れにくいといった違和感が生じる可能性がある。このような事態を回避するため、タッチセンサ32により接触が検出された場合には、電磁石21を駆動する必要がないものとして、電磁石制御部46により、電磁石21の出力(引力)がカットされる。
 このように、電磁石制御部46は、ユーザ1の指2がスクリーンインターフェース30に接触したタイミングに合わせて、引力をオフにする。これにより、接触時に違和感が生じるといった事態を回避することが可能である。この結果、例えばユーザ1に引力によるアシストを感じさせることなく、自然な接触操作を行わせることが可能となる。
 また、例えばタイピングやリズムゲームの操作等、素早いタッチが要求される接触操作が行われる場合には、ユーザ1の指2が接触した後に、直ぐに指2を引き離す動作が必要となる。このような動作をアシストするように、電磁石21が制御されてもよい。
 例えば、タッチセンサ32により接触が検出された場合には、電磁石制御部46により、ユーザ1の指2を引き離す斥力を発生させるように電磁石21が制御される。
 このように、電磁石制御部46は、ユーザ1の指2がスクリーンインターフェース30に接触したタイミングに合わせて、斥力をオンにする。これにより、ユーザ1が指2を離そうとする動作をアシストする斥力を発生させることが可能となる。これにより、瞬間的な接触操作を容易に行わせることが可能となる。
 図8は、定常状態での引力をキャンセルする際の電磁石の制御について説明するための模式図である。
 電磁石21には、例えば鉄心等の強磁性体が含まれる。このため、電磁石21が引力を発生させていない定常状態においても、永久磁石である装着磁石11は、電磁石21の鉄心等に引き付けられる。
 このように、装着磁石ユニット10(装着磁石11)と電磁石ユニット20(電磁石21)との間には、定常状態であっても引力が作用する。以下では、定常状態で装着磁石11と電磁石21との間に作用する引力を定常的な引力と記載する。図8には、定常的な引力が点線の矢印を用いて模式的に図示されている。
 なお、定常的な引力は、電磁石21が駆動している場合にも作用する力である。
 本実施形態では、電磁石制御部46により、装着磁石ユニット10(装着磁石11)と電磁石ユニット20(電磁石21)との間の定常的な引力をキャンセルする斥力が発生するように電磁石21が制御される。図8には、定常的な引力をキャンセルする斥力が灰色の矢印を用いて模式的に図示されている。
 例えば、電磁石21に対して一定の電流を流して斥力を発生させて、定常的な引力をキャンセルする。この場合、斥力の強度は、定常的な引力を打ち消すことが可能な程度に設定される。これにより定常的な引力を常時キャンセルすることが可能である。
 また例えば、電磁石21に対してPWM(Pulse Width Modulation)制御を行うことで、斥力を発生させてもよい。この場合、例えばパルス状の電流を電磁石21に印可して斥力を発生させる。このパルスの幅は、指2(装着磁石11)に作用する定常的な引力が適正にキャンセルされるように適宜設定される。これにより、電力消費を抑制しつつ、定常的な引力をキャンセルすることが可能となる。
 また定常的な引力をキャンセルするキャンセル処理は、ユーザ1の指2の位置をトリガーとして実行されてもよい。例えば、ユーザ1の指2が電磁石21(スクリーンインターフェース30)から十分に離れている場合には、定常的な引力は極めて微弱であり、引力が作用することで生じる違和感等はほとんど知覚されないと考えられる。
 このため、例えばユーザ1の指2とスクリーンインターフェース30との距離Rが一定の閾値以上である場合は、キャンセル処理は実行されず、距離Rが一定の閾値未満である場合にキャンセル処理が実行される。これにより、ユーザ1の指2が、定常的な引力による違和感が生じるような位置にある場合にのみ、キャンセル処理を実行することが可能となり、電力消費を抑制することが可能となる。
 また、キャンセル処理で発生させる斥力の強度が、ユーザ1の指2の位置(距離R)に応じて設定されてもよい。この場合、ユーザ1の指2の位置における定常的な引力と同等の大きさの斥力が発生するように、電磁石21に印可される電流の電流値やパルス幅等が距離Rに応じて設定される。
 これにより、スクリーンインターフェース30からの距離Rに係らず、定常的な引力をキャンセルすることが可能となり、違和感のない自然な操作体験を提供することが可能となる。
 図9は、電磁石21が生成する磁力に関する制御パターンの一例を示すグラフである。
 本実施形態では、電磁石制御部46により、位置情報及び操作情報に基づいて、電磁石21が生成する磁力に関する制御パターン5が設定される。ここで制御パターン5とは、電磁石21が生成する磁力の時間変化を示すパターンである。これにより、ユーザ1が行う動作(指2の位置や動き等)と、アプリケーションの動作状態に応じた制御パターン5を設定することが可能となる。
 図9には、制御パターン5の一例が太い実線のグラフで図示されている。グラフの横軸は時間Tであり、縦軸は、電磁石21が生成する磁力Fである。
 例えば、リズムゲームや楽器の演奏等を行うアプリケーションでは、時間の正確な制御が必要となる。このような操作をアシストする場合には、特にタッチタイミングを正確に制御することが重要となる。
 本実施形態では、ユーザ1の指2がスクリーンインターフェース30に接触するタイミングを指定する情報が、操作情報として読み込まれる。そして電磁石制御部46により、指定されたタイミングに合わせてユーザ1の指2がスクリーンインターフェース30に接触するように、制御パターン5が設定される。これにより、タッチタイミングの精度を向上する動作アシストを実現することが可能となる。
 以下では、指定される接触のタイミングを指定タイミングと記載する。
 図9には、指定タイミングを表す点線が図示されている。例えばリズムゲームでは、指定タイミングは、リズムを刻むべきタイミング(リズムタイミング)である。また楽器の演奏等を行うアプリケーションでは、指定タイミングは、楽曲のテンポ等に応じた演奏のタイミングである。
 制御パターン5を設定する処理では、指定タイミングに応じて引力を発生させるタイミングや、引力の強度が設定される。この時、ユーザ1の指2の位置(距離R)が参照される。
 例えば、指2の位置が離れている場合には、引力を発生させるタイミングが早く設定され、指2の位置が近い場合には、引力を発生させるタイミングが遅く設定される。
 また例えば、指2の位置が離れている場合には、引力の強度が高く設定され、指2の位置が近い場合には、引力の強度が低く設定される。
 引力を発生させるタイミング及び引力の強度は、いずれも指定タイミングに合わせてユーザ1の指2が接触するように適宜設定される。
 このように、制御パターン5は、指定タイミングに合わせてユーザ1の指2を接触させるために先行運動を発生させるパターンであるといえる。
 例えば、先行運動を発生させるタイミング(引力を発生させるタイミング等)が早すぎる場合、引力によるアシストが知覚され、ユーザ1が自身で指2を動かしているという感覚が損なわれる可能性がある。
 このため、制御パターン5を設定する際には、例えばユーザ1が自身で指2を動かしているという感覚が損なわれない期間に収まるように、先行運動を発生させるタイミングが設定される。これにより、電磁石21によるアシストを意識させることなく、接触のタイミングを制御することが可能となる。
 また、図9に示すように、引力を発生させる前に、斥力を発生させておくことも可能である。このように、接触の前に一定の斥力を発生させておくことで、ユーザ1の指2の位置を一定に保つことが可能となり、安定した接触操作を行わせることが可能となる。
 また、図9に示すように、引力を発生させた後に斥力を発生させて、接触した指2を引き離す動作をアシストしてもよい(図7参照)。これにより、接触操作をテンポよく行わせることが可能となる。
 また本実施形態では、電磁石制御部46により、ユーザ1の指2がスクリーンインターフェース30に接触したタイミングに基づいて制御パターン5が調整される。以下では、ユーザ1の指2がスクリーンインターフェース30に接触したタイミングを検出タイミングと記載する。検出タイミングは、例えばタッチセンサ32により検出される。
 電磁石制御部46では、検出タイミングと指定タイミングとの時間差が所定の閾値よりも大きい場合、各タイミングが大きくずれているとして、制御パターン5が調整される。
 例えば、指2の接触が早すぎる場合(検出タイミングが指定タイミングよりも早い場合)、図9に示すように、引力を発生させる前に斥力を発生させて、指2の接触を遅らせるといった調整が行われる。
 また例えば、指2の接触が遅すぎる場合(検出タイミングが指定タイミングよりも遅い場合)、引力の強度を上げる又は斥力の強度を下げることで、指2の接触を早めるといった調整が行われる。あるいは、引力を発生させるタイミングを早くするといった調整が行われてもよい。
 斥力又は引力の強度やそれらを発生させるタイミング等は、検出タイミングと指定タイミングとの時間差に応じて適宜設定される。
 これにより、正確な接触操作を行わせる動作アシストが可能となる。
 図10は、接触方法に応じた制御パターン5の一例を示すグラフである。ここでは、接触方法(接触操作の方法)に応じて設定される制御パターン5について説明する。
 図10Aは、短い接触時間でタッチすることが望ましい場合(軽いタップを行う場合)に用いられる制御パターン5の一例を示すグラフである。
 この制御パターン5では、例えばユーザ1の指2の動きや指定タイミングに合わせて、所定の強度の引力が生成される。そしてユーザ1の指2の接触が検出されたタイミング(検出タイミング)で、引力がキャンセルされ斥力が生成される。なお生成された斥力は、所定の時間が経過するとキャンセルされる。
 このように、接触が検出された場合にすぐに斥力を発生させることで、ユーザ1の指2をスクリーンインターフェース30から接触の直後に引き離すことが可能となり、接触時間を短くすることが可能となる。このような制御パターン5は、例えばタイピング操作や、リズムゲーム等の操作に適用される。
 図10Bは、長い接触時間でタッチすることが望ましい場合(重いタップを行う場合)に用いられる制御パターン5の一例を示すグラフである。
 この制御パターン5では、例えばユーザ1の指2の動きや指定タイミングに合わせて、所定の強度の引力が生成される。この引力は、ユーザ1の指2の接触が検出された後(検出タイミング以降)も一定時間継続して生成される。そして一定時間が経過した後に引力がキャンセルされる。
 このように、接触が検出された後も一定時間引力を作用させることで、ユーザ1の指2がスクリーンインターフェース30に接触した状態を継続させることが可能となる。これにより、例えば必要な接触時間を確保することが可能となる。
 このような制御パターン5は、例えば楽器を演奏する操作や、シフトキー等を押下する操作に適用される。
 このように、電磁石21が生成する磁力により、指2を引き付けるあるいは引き離すといった接触状態を制御することで、接触方法を制御することが可能である。
 図11は、触覚提示の一例を示すグラフである。ここでは、電磁石21が生成する磁力を制御して触覚を提示する方法について説明する。図11A及び図11Bには、距離に応じた引力の制御の一例を示すグラフが示されている。グラフの横軸は、ユーザ1の指2とスクリーンインターフェース30との間の距離Rであり、縦軸は、電磁石21が生成する磁力Fである。
 なお図11A及び図11Bでは、提示される触覚が異なる。
 例えば、ユーザ1の指2がスクリーンインターフェース30に接触した後に、ユーザ1が指2を引き離す動作を行うとする。この指2を引き離す動作を行う際に、距離Rに応じた引力を提示することで、粘着感(ねばっとした感覚等)や、吸着感(指2が吸いつく感覚等)をユーザ1に提示することが可能である。
 本実施形態では、ユーザ1の指2がスクリーンインターフェース30から一定の距離だけ離れた場合に、引力がキャンセルされるように、引力の距離Rに対する特性が設計される。これにより、例えば粘着性のある物体から仮想的に離れた状態を触覚として提示することが可能である。従って、引力がキャンセルされる距離は、粘着性を感じる境界(仮想的な粘着限界)となる。
 引力は、例えば所定の増加曲線に従って増加するように設計される。増加曲線は、例えばF=k×Raと表される。この場合、距離Rの乗数aを変化させることで、粘着感等を変化させることが可能である。なお距離Rの係数kは、発生可能な引力の最大値等に応じて設定される定数である。
 なお磁力Fは、例えば距離Rの2乗に反比例して減衰する。このような、磁力の距離に応じた減衰量を加味して、引力の距離Rに対する特性が設計される。
 例えば、図11Aでは、乗数aが、0<a<1の範囲で設定される。この場合、距離Rが大きくなるほど、電磁石21が生成する磁力F(引力)の増加量が大きくなる。なお、上記したように磁力Fは距離に応じた減衰を受ける。このため、図11Aに示す引力を作用させた場合、例えば、指2が接触した状態から粘着限界(図中の一点鎖線)に至るまで、略同様の粘着力で引き付けられるような粘着感を提示することが可能となる。
 また例えば、図11Bでは、乗数aが、1≦aの範囲で設定される。この場合、距離Rが小さい段階で比較的大きな引力が生成され、その後、粘着限界にかけて引力が最大値に漸近する。これにより、指2を引き離す際に強い粘着力を受けるような粘着感を提示することが可能となる。
 この他、引力の距離Rに対する特性を設計する方法等は限定されない。また斥力の距離Rに対する特性等が設計されてもよい。
 図12は、身体運動発生システムの他の構成例を示す模式図である。
 上記では、図3に示すように、ユーザ1の指2の3次元座標を検出する検出センサ35を備えた身体運動発生システム100について説明した。これに限定されず、図12に示すように、検出センサ35が設けられない身体運動発生システム101が構成されてもよい。
 図12に示す身体運動発生システム101では、例えば、スクリーンインターフェース30(タッチセンサ32)による接触操作の検出結果が、ユーザ1の指2の位置を表す位置情報として用いられる。
 接触操作の検出結果には、例えば接触した指2を示す情報(指インデックス)、接触した指2の接触位置等が含まれる。従って、接触操作の検出結果を用いることで、制御するべき電磁石21を特定することが可能となる。また、接触したタイミングに応じて磁力を制御するといったことも可能である。
 このように、検出センサ35を除く構成であっても、ユーザ1の指2に適宜磁力を作用させて接触操作のアシストを行うことが可能である。
 以上、本実施形態に係る制御部43では、ユーザ1の指2に装着された装着磁石ユニット10と、その指2を動かして行う接触操作の操作対象(スクリーンインターフェース30)に設けられた電磁石ユニット20との間の磁界を電気的に変化させる処理が、ユーザ1の指2の位置情報と、接触操作に関する操作情報とに基づいて実行される。これにより、ユーザ1の指2の位置や接触操作の状況等に応じてユーザ1の指2を動かすことが可能となり、自然な動作アシストを実現することが可能となる。
 身体の不随意運動を生成するシステムとして、関節駆動のエグゾスケルトンを用いたシステムや、筋電気刺激(EMS)を用いたシステムが挙げられる。エグゾスケルトンは、モーターを利用して関節を駆動させるシステムであるが、ユーザが意識的に体を動かす随意運動を行う場合、摩擦などの抵抗が生じる恐れがある。またEMSを用いた場合はそのような抵抗は発生しない一方で、電気刺激特有の皮膚刺激が発生してしまう可能性がある。
 本実施形態では、ユーザ1が指2で操作するスクリーンインターフェース30に設けられた電磁石ユニット20(電磁石21)により、ユーザ1の指2に装着される装着磁石ユニット10(装着磁石11)に作用する磁力(引力や斥力)が生成される。これにより、ユーザ1の指2の不随意運動を発生させることが可能となる。このように、本実施形態では、磁力を利用してユーザ1の指2を運動させるため、摩擦や電気刺激等の違和感が生じない。これにより、ユーザ1の行う操作等を妨げることなく、自然な動作アシストを行うことが可能である。
 電磁石の制御は、ユーザ1の指2の位置及びアプリケーションの状態に応じて制御される。これにより、例えばアプリケーションで要求される接触操作を、ユーザ1の指2の状態に応じて適正にアシストすることが可能となる。この結果、例えばユーザ1が自身で操作を行っているという感覚を損なうことなく、自然な動作アシストを実現することが可能となる。
 <第2の実施形態>
 本技術に係る第2の実施形態の身体運動発生システムについて説明する。これ以降の説明では、上記の実施形態で説明した身体運動発生システムにおける構成及び作用と同様な部分については、その説明を省略又は簡略化する。
 図13は、第2の実施形態に係る身体運動発生システムの概要を説明するための模式図である。身体運動発生システム200は、上記の実施形態で説明した身体運動発生システム100と比較して、電磁石ユニット220の構成が異なる。
 電磁石ユニット220は、スクリーンインターフェース30にアレイ状に配置された複数の電磁石21を含む。図13に示す例では、複数の電磁石21が、互いに直交する軸(X軸及びY軸)に沿って間隔を開けずに正方格子状に配置される。
 電磁石21の配置パターン等は限定されず、例えば所定の間隔をあけて各電磁石21が配置されてもよい。また複数の電磁石21が三角格子状に配置されてもよい。
 このように、電磁石ユニット220は、複数の電磁石21からなるマグネットアレイとして構成する。これにより、自由度の高い動作アシスト等を実現することが可能となる。
 電磁石ユニット220の各電磁石21は、電磁石インデックス(x,y)等を用いてそれぞれ識別される。これらの電磁石21は、接触操作を行う指2の位置に応じて、選択的に駆動される。
 電磁石21を駆動する場合には、例えば指2の位置に応じて対応する電磁石21が選択される。例えば、接触操作を行う指2を特定する情報と、その指2の3次元座標とが位置情報(i,X,Y,Z)として取得される。
 この場合、例えば指2のX座標及びY座標に最も近い電磁石インデックス(x,y)に対応する電磁石21が、i番目の指2に磁力を作用させる電磁石21として選択される。これにより、ユーザ1の指2の位置に係らず、接触操作をアシストする磁力を発生させることが可能となる。
 なお、i番目の指2に対応する電磁石21として、複数の電磁石21が選択されてもよい。
 このように、身体運動発生システム200では、スクリーンインターフェース30(操作面31)上の任意の位置で、ユーザ1の指2(装着磁石11)に作用する引力及び斥力を発生させることが可能となる。これにより、操作画面全体を使った入力操作(例えばキーボード入力やシューティングゲーム等)の動作アシストを実現することが可能となる。
 図14は、身体運動発生システム200による磁界制御の一例を示す模式図である。
 上記では、アレイ状に配置された電磁石21を個別に駆動する場合について説明した。これに限定されず、アレイ状に配置された電磁石21全体を適宜駆動して磁界制御を行うことも可能である。
 図14には、電磁石ユニット220により生成される磁界(磁気ポテンシャル)が模式的に図示されている。例えば磁界が弱い領域では、装着磁石11に対して引力が作用し、磁界が強い領域では、装着磁石11に対して斥力が作用する。
 このように、アレイ状に配置された電磁石21を全体的に駆動することで、引力や斥力を発生させる磁力場を、スクリーンインターフェース30(操作面31)の全面にわたって生成することが可能となる。これにより、例えばユーザ1の指2の接触位置を誘導することや、接触させたくない領域を設定するといったことが可能となる。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記では、ユーザ1の指2の位置を検出する方法として、主に検出センサ35を用いる方法について説明した。これに限定されず、例えば電磁石21のコイルに生じる電磁誘導を利用して、ユーザ1の指2の位置が検出することも可能である。
 一般に、コイルに対して磁石の位置(距離)が変化すると電磁誘導が生じる。この結果、コイルには誘導起電力が生じ、誘導電流が流れる。この電流量を計測することによって、ユーザ1の指2(指2に装着された装着磁石11)の接触及び離脱を検出することが可能である。この検出結果は、ユーザ1の指2の位置情報として用いられ、接触及び離脱のタイミングに合わせて、電磁石21を駆動して、ユーザ1の接触操作がアシストされる。
 このように、ユーザ1の指2の位置の変化に伴い電磁石21に生じる誘導起電力に基づいて、位置情報が取得されてもよい。誘導起電力を利用することで、ユーザ1の指2の位置を検出するためのセンサ(検出センサ35)を追加する必要がなくなり、装置コストを抑えることが可能となる。
 また、図13及び図14にしめすように、複数の電磁石21が隣接してアレイ状に配置されている場合には、ユーザ1の指2の距離Rの変化を計測する電磁石21と、磁力を発生させるための電磁石21とを分担させて使用することも可能である。
 上記では、ユーザ1の指2の位置情報等に基づいて、制御対象となる指2を特定する場合について説明した。これに限定されず、例えばユーザ1が指2を動かす際の筋電図(EMG:Electromyography)等に基づいて、磁力を作用させるべき指等が特定されてもよい。この場合、筋電図からユーザ1が動かそうとする指2を特定して、対応する電磁石21が駆動される。これにより、接触操作の高速化等を実現することが可能である。
 上記では、ユーザ1の指2に永久磁石(装着磁石11)が装着され、スクリーンインターフェース30に電磁石21が設けられた。身体運動発生システムの構成は、このような構成に限定されず、例えばユーザ1の指2及びスクリーンインターフェース30との間に引力・斥力を発生させることが可能な任意の構成が用いられてよい。
 例えば、ユーザ1の指2に電磁石21が装着され、スクリーンインターフェース30に永久磁石が設けられてもよい。あるいは、ユーザ1の指2及びスクリーンインターフェース30の両方に電磁石21が設けられてもよい。いずれの場合であっても、ユーザ1の指2による接触操作をアシストするように電磁石21が制御される。
 上記では、主に、ユーザ1の指2による接触操作を磁力を利用してアシストする場合について説明した。本技術は、ユーザ1が身体の一部(身体部分)を動かして行う様々な接触動作に対して適用可能である。
 例えば、ユーザ1がハサミ、メス、のこぎりといった道具を使用する場合に本技術が適用されてもよい。この場合、ユーザ1の指2を含むユーザ1の手が身体部分となる。また使用される道具が動作対象となる。ユーザの手及び道具には、それぞれ永久磁石及び電磁石が設けられる。例えば、道具の握り方等を含むユーザ1の手の各部の位置情報が検出される。また道具を扱う動作(接触動作)を適正に行うため情報が動作情報として取得される。この動作情報にあった動作等が行われるように、位置情報に応じて磁力が制御される。これにより、道具を適正に扱うための動作アシスト等を実現することが可能となる。
 また、ユーザ1がドアノブを握る動作や、荷物を持つ動作、ピアノを弾く動作等に本技術が適用されてもよい。あるいは、ユーザ1が足を動かして行う接触動作(歩行等)に本技術を適用することも可能である。
 上記では電磁石コントローラに搭載された制御部等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながら電磁石コントローラに搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。また電磁石コントローラに搭載されたコンピュータと、他のコンピュータとが連動して、本技術に係るコンテンツ提供システムが構築されてもよい。
 すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば第1磁界作用部と第2磁界作用部との間の磁界を変化させる処理等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
 なお、本技術は以下のような構成も採ることができる。
(1)ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させる磁界制御部
 を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
 前記第1磁界作用部及び前記第2磁界作用部の少なくとも一方は、電磁石を含み、
 前記磁界制御部は、前記第1磁界作用部と前記第2磁界作用部との間に、引力又は斥力となる磁力が発生するように前記電磁石を制御する
 情報処理装置。
(3)(2)に記載の情報処理装置であって、
 前記身体部分は、前記ユーザの指であり、
 前記接触動作は、前記ユーザの指による接触操作であり、
 前記動作対象は、前記接触操作を受け付ける入力装置である
 情報処理装置。
(4)(3)に記載の情報処理装置であって、
 前記動作情報は、前記入力装置を介して受け付けられた前記接触操作に応じて動作するアプリケーションの動作状態に関する情報を含む
 情報処理装置。
(5)(3)又は(4)に記載の情報処理装置であって、
 前記第1磁界作用部は、前記ユーザの指に装着された永久磁石を含み、
 前記第2磁界作用部は、前記ユーザの指に対応して前記入力装置に配置された少なくとも1つの電磁石、又は前記入力装置にアレイ状に配置された複数の電磁石のいずれか一方を含む
 情報処理装置。
(6)(2)から(5)のうちいずれか1つに記載の情報処理装置であって、
 前記磁界制御部は、前記位置情報及び前記動作情報に基づいて、前記磁力に関する制御パターンを設定する
 情報処理装置。
(7)(6)に記載の情報処理装置であって、
 前記動作情報は、前記身体部分が前記動作対象に接触するタイミングを指定する情報を含み、
 前記磁界制御部は、前記指定されたタイミングに合わせて前記身体部分が前記動作対象に接触するように、前記制御パターンを設定する
 情報処理装置。
(8)(6)又は(7)に記載の情報処理装置であって、
 前記磁界制御部は、前記身体部分が前記動作対象に接触したタイミングに基づいて前記制御パターンを調整する
 情報処理装置。
(9)(2)から(8)のうちいずれか1つに記載の情報処理装置であって、
 前記位置情報は、前記身体部分と前記動作対象との間の距離を表す情報を含み、
 前記磁界制御部は、前記身体部分と前記動作対象との間の距離に基づいて、前記磁力の強度を制御する
 情報処理装置。
(10)(9)に記載の情報処理装置であって、
 前記磁界制御部は、前記接触動作を必要とする場合、前記身体部分と前記動作対象との間の距離が近いほど前記引力の強度を弱くする
 情報処理装置。
(11)(9)又は(10)に記載の情報処理装置であって、
 前記磁界制御部は、前記接触動作を抑制する場合、前記身体部分と前記動作対象との間の距離が近いほど前記斥力の強度を強くする
 情報処理装置。
(12)(2)から(11)のうちいずれか1つに記載の情報処理装置であって、
 前記磁界制御部は、前記身体部分が前記動作対象に接触したタイミングに合わせて、前記引力をオフにする
 情報処理装置。
(13)(2)から(12)のうちいずれか1つに記載の情報処理装置であって、
 前記磁界制御部は、前記身体部分が前記動作対象に接触したタイミングに合わせて、前記斥力をオンにする
 情報処理装置。
(14)(2)から(13)のうちいずれか1つに記載の情報処理装置であって、
 前記磁界制御部は、前記第1磁界作用部と前記第2磁界作用部との間の定常的な引力をキャンセルする斥力が発生するように前記電磁石を制御する
 情報処理装置。
(15)(1)から(14)のうちいずれか1つに記載の情報処理装置であって、
 前記磁界制御部は、前記身体部分の位置を検出するセンサの出力に基づいて、前記位置情報を取得する
 情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、
 前記第1磁界作用部及び前記第2磁界作用部の少なくとも一方は、電磁石を含み、
 前記磁界制御部は、前記身体部分の位置の変化に伴い前記電磁石に生じる誘導起電力に基づいて、前記位置情報を取得する
 情報処理装置。
(17)ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させる
 ことをコンピュータシステムが実行する情報処理方法。
(18)ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させるステップ
 を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
(19)ユーザの指に装着される第1磁界作用部と、
 前記ユーザの指による接触操作を受け付ける入力装置に設けられる第2磁界作用部と、
 前記ユーザの指の位置情報と、前記接触操作に関する動作情報とに基づいて、前記第1磁界作用部と、前記第2磁界作用部との間の磁界を電気的に変化させる磁界制御部と
 を具備する身体運動発生システム。
 1…ユーザ
 2…指
 5…制御パターン
 10…装着磁石ユニット
 11…装着磁石
 20、220…電磁石ユニット
 21…電磁石
 30…スクリーンインターフェース
 31…操作面
 32…タッチセンサ
 35…検出センサ
 36…アプリケーション処理部
 40…電磁石コントローラ
 41…駆動部
 42…記憶部
 43…制御部
 44…位置情報取得部
 45…操作情報取得部
 46…電磁石制御部
 100、101、200…身体運動発生システム

Claims (19)

  1.  ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させる磁界制御部
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記第1磁界作用部及び前記第2磁界作用部の少なくとも一方は、電磁石を含み、
     前記磁界制御部は、前記第1磁界作用部と前記第2磁界作用部との間に、引力又は斥力となる磁力が発生するように前記電磁石を制御する
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記身体部分は、前記ユーザの指であり、
     前記接触動作は、前記ユーザの指による接触操作であり、
     前記動作対象は、前記接触操作を受け付ける入力装置である
     情報処理装置。
  4.  請求項3に記載の情報処理装置であって、
     前記動作情報は、前記入力装置を介して受け付けられた前記接触操作に応じて動作するアプリケーションの動作状態に関する情報を含む
     情報処理装置。
  5.  請求項3に記載の情報処理装置であって、
     前記第1磁界作用部は、前記ユーザの指に装着された永久磁石を含み、
     前記第2磁界作用部は、前記ユーザの指に対応して前記入力装置に配置された少なくとも1つの電磁石、又は前記入力装置にアレイ状に配置された複数の電磁石のいずれか一方を含む
     情報処理装置。
  6.  請求項2に記載の情報処理装置であって、
     前記磁界制御部は、前記位置情報及び前記動作情報に基づいて、前記磁力に関する制御パターンを設定する
     情報処理装置。
  7.  請求項6に記載の情報処理装置であって、
     前記動作情報は、前記身体部分が前記動作対象に接触するタイミングを指定する情報を含み、
     前記磁界制御部は、前記指定されたタイミングに合わせて前記身体部分が前記動作対象に接触するように、前記制御パターンを設定する
     情報処理装置。
  8.  請求項6に記載の情報処理装置であって、
     前記磁界制御部は、前記身体部分が前記動作対象に接触したタイミングに基づいて前記制御パターンを調整する
     情報処理装置。
  9.  請求項2に記載の情報処理装置であって、
     前記位置情報は、前記身体部分と前記動作対象との間の距離を表す情報を含み、
     前記磁界制御部は、前記身体部分と前記動作対象との間の距離に基づいて、前記磁力の強度を制御する
     情報処理装置。
  10.  請求項9に記載の情報処理装置であって、
     前記磁界制御部は、前記接触動作を必要とする場合、前記身体部分と前記動作対象との間の距離が近いほど前記引力の強度を弱くする
     情報処理装置。
  11.  請求項2に記載の情報処理装置であって、
     前記磁界制御部は、前記接触動作を抑制する場合、前記身体部分と前記動作対象との間の距離が近いほど前記斥力の強度を強くする
     情報処理装置。
  12.  請求項2に記載の情報処理装置であって、
     前記磁界制御部は、前記身体部分が前記動作対象に接触したタイミングに合わせて、前記引力をオフにする
     情報処理装置。
  13.  請求項2に記載の情報処理装置であって、
     前記磁界制御部は、前記身体部分が前記動作対象に接触したタイミングに合わせて、前記斥力をオンにする
     情報処理装置。
  14.  請求項2に記載の情報処理装置であって、
     前記磁界制御部は、前記第1磁界作用部と前記第2磁界作用部との間の定常的な引力をキャンセルする斥力が発生するように前記電磁石を制御する
     情報処理装置。
  15.  請求項1に記載の情報処理装置であって、
     前記磁界制御部は、前記身体部分の位置を検出するセンサの出力に基づいて、前記位置情報を取得する
     情報処理装置。
  16.  請求項1に記載の情報処理装置であって、
     前記第1磁界作用部及び前記第2磁界作用部の少なくとも一方は、電磁石を含み、
     前記磁界制御部は、前記身体部分の位置の変化に伴い前記電磁石に生じる誘導起電力に基づいて、前記位置情報を取得する
     情報処理装置。
  17.  ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させる
     ことをコンピュータシステムが実行する情報処理方法。
  18.  ユーザの身体部分の位置情報と、前記ユーザが前記身体部分を動かして行う接触動作に関する動作情報とに基づいて、前記身体部分に装着された第1磁界作用部と、前記接触動作の動作対象に設けられた第2磁界作用部との間の磁界を電気的に変化させるステップ
     を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
  19.  ユーザの指に装着される第1磁界作用部と、
     前記ユーザの指による接触操作を受け付ける入力装置に設けられる第2磁界作用部と、
     前記ユーザの指の位置情報と、前記接触操作に関する動作情報とに基づいて、前記第1磁界作用部と、前記第2磁界作用部との間の磁界を電気的に変化させる磁界制御部と
     を具備する身体運動発生システム。
PCT/JP2021/008191 2020-03-19 2021-03-03 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システム WO2021187111A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020048957 2020-03-19
JP2020-048957 2020-03-19

Publications (1)

Publication Number Publication Date
WO2021187111A1 true WO2021187111A1 (ja) 2021-09-23

Family

ID=77768125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008191 WO2021187111A1 (ja) 2020-03-19 2021-03-03 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システム

Country Status (1)

Country Link
WO (1) WO2021187111A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512643A (ja) * 2015-02-20 2018-05-17 株式会社ソニー・インタラクティブエンタテインメント 周辺デバイスを伴うグローブの指先の磁気追跡
WO2019045950A1 (en) * 2017-08-29 2019-03-07 Apple Inc. SYSTEMS FOR ALTERING FINGER SENSATIONS DURING FINGER PRESSURE INPUT EVENTS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512643A (ja) * 2015-02-20 2018-05-17 株式会社ソニー・インタラクティブエンタテインメント 周辺デバイスを伴うグローブの指先の磁気追跡
WO2019045950A1 (en) * 2017-08-29 2019-03-07 Apple Inc. SYSTEMS FOR ALTERING FINGER SENSATIONS DURING FINGER PRESSURE INPUT EVENTS

Similar Documents

Publication Publication Date Title
US11287892B2 (en) Haptic information presentation system
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
US20110148607A1 (en) System,device and method for providing haptic technology
JP4860625B2 (ja) タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
CN105094417B (zh) 沉浸式环境中的非同一位置触觉提示
EP3506059A1 (en) Systems and methods for providing haptic effects related to touching and grasping a virtual object
EP3259655A1 (en) Magnetic tracking of glove fingertips with peripheral devices
WO2016134295A1 (en) Magnetic tracking of glove fingertips
JP6039562B2 (ja) 3次元触覚伝達装置、方法及びシステム
KR20180098166A (ko) 가상 감성 터치를 위한 시스템들 및 방법들
KR20180066865A (ko) 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법
EP3470960A1 (en) Haptic effects with multiple peripheral devices
Yu et al. Force push: Exploring expressive gesture-to-force mappings for remote object manipulation in virtual reality
EP3367216A1 (en) Systems and methods for virtual affective touch
CA2923867C (en) Haptic rendering for a flexible computing device
CN113508355A (zh) 虚拟现实控制器
WO2021187111A1 (ja) 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システム
JP6341096B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
JP6428629B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
Preechayasomboon et al. Crossing the chasm: Linking with the virtual world through a compact haptic actuator
WO2022124111A1 (ja) 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体
Hashizume et al. Cross-field haptics: Multiple direction haptics combined with magnetic and electrostatic fields
JP6387762B2 (ja) 力覚提示装置、情報端末、力覚提示方法、及びプログラム
US11874964B1 (en) Glove
KR20210036092A (ko) 햅틱입력장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21770990

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21770990

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP