WO2022124111A1 - 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体 - Google Patents

情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2022124111A1
WO2022124111A1 PCT/JP2021/043587 JP2021043587W WO2022124111A1 WO 2022124111 A1 WO2022124111 A1 WO 2022124111A1 JP 2021043587 W JP2021043587 W JP 2021043587W WO 2022124111 A1 WO2022124111 A1 WO 2022124111A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
signal
information processing
body part
unit
Prior art date
Application number
PCT/JP2021/043587
Other languages
English (en)
French (fr)
Inventor
俊一 笠原
大輔 田島
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/254,907 priority Critical patent/US20240004468A1/en
Priority to EP21903215.8A priority patent/EP4261657A1/en
Priority to JP2022568186A priority patent/JPWO2022124111A1/ja
Publication of WO2022124111A1 publication Critical patent/WO2022124111A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124Determining motor skills
    • A61B5/1125Grasping motions of hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • A61B5/395Details of stimulation, e.g. nerve stimulation to elicit EMG response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2/70Operating or control means electrical
    • A61F2/72Bioelectric control, e.g. myoelectric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Definitions

  • This technology relates to information processing devices, information processing methods, and computer-readable recording media that can be applied to devices that drive the body to assist movement.
  • a method of moving the user's body to generate physical exercise has been developed.
  • a method of generating motion by using electrical muscle stimulation (EMS) and a method of generating motion by using a mechanical actuator driven by a joint are known.
  • EMS electrical muscle stimulation
  • a method of generating motion by using a mechanical actuator driven by a joint are known.
  • Non-Patent Document 1 describes a system for accelerating the reaction rate of humans using EMS.
  • the system is configured to pre-occur, for example, physical exercise using EMS within a specific period of time between a user receiving a visual stimulus and a reaction.
  • By appropriately setting the timing at which the physical exercise by the EMS is generated it is possible to assist the user's movement without impairing the feeling that the user himself has performed the movement.
  • an object of the present technology is to provide an information processing device, an information processing method, and a computer-readable recording medium capable of appropriately controlling the timing of a user's operation.
  • the information processing apparatus includes a control unit.
  • the second control unit causes the movement of the user's body part in response to the signal indicating the user's voluntary movement from the first time point based on the signal indicating the user's voluntary movement at the first time point.
  • the action part attached to the body part of the user and moving the body part of the user is controlled.
  • the movement of the user's body part generated at the second time point with the signal indicating the voluntary movement of the user at the first time point is assisted by moving the action part attached to the body part. ..
  • This working part is driven at a third time point within the period from the first time point to the second time point.
  • the control unit detects a motion signal that generates the user's voluntary movement from a signal indicating the user's voluntary movement, and controls the action unit with reference to the detection timing of the motion signal. It may be set.
  • control unit may control the action unit so that the movement of the body part of the user is accelerated or decelerated with reference to the second time point.
  • the control unit may control the action unit based on a reference signal relating to the movement of the user's body part.
  • the reference signal may be a signal indicating the timing of the operation of the body part of the user.
  • the control unit performs at least one of the third time point for controlling the action part and the fourth time point for ending the control of the action part based on the timing of the operation of the body part of the user. It may be set.
  • the control unit may set at least one of the third time point and the fourth time point according to the driving force for driving the action unit.
  • the acting part may be driven so as to promote or suppress the movement of the body part of the user.
  • the control unit promotes the movement of the user's body part
  • the larger the driving force of the action unit is the later the third time point is set to suppress the movement of the user's body part.
  • the larger the driving force of the acting unit the earlier the fourth time point may be set.
  • the reference signal may be a signal indicating the necessity of a predetermined operation performed by the user by moving the body part of the user.
  • the control unit compares the necessity of the predetermined operation indicated by the reference signal with the presence / absence of the motion signal that causes the predetermined operation, and controls the action unit based on the comparison result. You may.
  • the control unit controls the action unit so that the user's body part performs the predetermined operation when the motion signal that causes the predetermined operation is not detected in a situation where the predetermined operation is required. You may.
  • control unit controls the action unit so that the body part of the user does not perform the predetermined motion. You may control it.
  • the reference signal may be a signal indicating the result of sensing information for determining whether or not the user moves the body part of the user using a predetermined sensor.
  • the movement of the body part of the user may be an movement for performing an input operation related to a predetermined application.
  • the reference signal may be a signal indicating the timing of the input operation.
  • the reference signal may be a motion signal detected from a signal indicating a voluntary motion of another user different from the user.
  • the signal indicating the user's voluntary movement may be at least one of the user's myoelectric signal, the user's electroencephalogram signal, or the user's spinal cord signal.
  • the acting part may be a first magnetic field acting part that receives a force corresponding to a magnetic field.
  • the control unit electrically changes the magnetic field between the first magnetic field acting unit and the second magnetic field acting unit provided separately from the first magnetic field acting unit, and the first magnetic field acting unit.
  • the unit may be controlled.
  • At least one of the first magnetic field acting part and the second magnetic field acting part may include an electromagnet.
  • the control unit may control the electromagnet so that a magnetic force acting as an attractive force or a repulsive force is generated between the first magnetic field acting unit and the second magnetic field acting unit.
  • the movement of the body part of the user may be a contact movement in which the user brings the body part of the user into contact with the movement target.
  • the second magnetic field acting unit may be provided on the operating target.
  • the body part of the user may be the finger of the user.
  • the contact operation may be a contact operation with the user's finger.
  • the operation target may be an input device that accepts the contact operation.
  • the information processing method is an information processing method executed by a computer system, and is based on a signal indicating a user's voluntary movement at the first time point, from the first time point to the user.
  • An action unit that is attached to the user's body part and moves the user's body part at a third time point included in the period up to the second time point in which the movement of the user's body part in response to a signal indicating voluntary movement occurs. Including controlling.
  • a computer-readable recording medium records a program that causes a computer system to perform the following steps. During the period from the first time point to the second time point in which the movement of the user's body part in response to the signal indicating the user's voluntary movement occurs based on the signal indicating the voluntary movement of the user at the first time point. A step of controlling an action unit that is attached to the user's body part and moves the user's body part at a third time point included.
  • FIG. 1 is a schematic diagram showing a configuration example of a body drive system according to a first embodiment of the present technology.
  • the body drive system 100 is a system that realizes motion assist that assists the motion of a body portion that is a part of the body of the user 1.
  • motion assist for promoting the motion of the body portion motion assist for suppressing the motion of the body portion, and the like are performed so that the motion of the user 1 is properly performed.
  • the motion assist by the body drive system 100 is realized by moving the action part attached to the body part. For example, by configuring the action part so that the finger 2, palm, arm, foot, torso, head, and other body parts of the user 1 can be moved, it is possible to assist the movement of each body part. be.
  • the body drive system 100 provides motion assist to assist the user 1 in contacting the body portion with the motion target. That is, the motion of the body part of the user 1 to be the target of the motion assist is a contact motion in which the user 1 brings the body portion of the user 1 into contact with the motion target.
  • the contact operation is, for example, a series of operations involving contact between the user 1 and the target. For example, actions such as pressing a button, touching a screen, and grabbing an object are included in contact actions.
  • the target of motion assist by the body drive system 100 is not limited to contact motion.
  • an action performed by the user 1 using a tool movement of the back of the hand (wrist) when the user 1 uses a brush, etc.
  • an action requiring adjustment of force a slight finger 2 when performing ceramic art, etc.
  • An operation assist that assists may be realized. In this way, it is also possible to assist the operation that does not assume contact with the target.
  • the body drive system 100 shown in FIG. 1 is configured to assist the user 1 in contacting the operation target (touch sensor 45 described later) with his or her finger 2.
  • the contact operation is, for example, an operation performed by the user 1 by bringing the finger 2 into contact with the operation target.
  • the finger 2 of the user 1 is an example of the body part of the user 1.
  • the contact operation with the finger of the user 1 is an example of the above-mentioned contact operation.
  • the mounting magnet unit 10 is a unit mounted and used by the user 1, and includes a mounting magnet 11 mounted on the finger 2 of the user 1.
  • the electromagnet unit 20 includes an electromagnet 21 that generates a magnetic field acting on the mounting magnet 11.
  • the mounting magnet 11 is mounted on the index finger of the right hand of the user 1. In this case, motion assist is performed to assist the contact operation with the index finger of the right hand.
  • the mounting magnet 11 may be mounted on the other finger 2 of the user 1.
  • the mounting magnet unit 10 is an example of the above-mentioned acting unit.
  • a magnetic force (attractive force) that attracts the mounting magnet 11 and a magnetic force (repulsive force) that pulls the mounting magnet 11 apart are generated.
  • these magnetic forces (attractive force and repulsive force) act on the mounting magnet 11, the finger 2 of the user 1 to which the mounting magnet 11 is mounted is moved.
  • a signal indicating a voluntary movement of moving the finger 2 to be the target of motion assist is monitored.
  • the voluntary movement of the user 1 is, for example, a movement consciously performed by the user 1.
  • the action realized by the voluntary movement of moving each part of the body is the action of the user 1.
  • the action intended by the user 1 is realized by the voluntary movement of bending each joint of the finger 2.
  • the signal indicating the voluntary movement is, for example, a biological signal that changes with the voluntary movement, and is a signal capable of indicating the occurrence of the voluntary movement.
  • the brain of the user 1 when the user 1 performs a voluntary movement, the brain of the user 1 generates a signal for transmitting a command to move a muscle. This signal is transmitted to the target muscles via the nervous system such as the spinal cord, and the muscles contract to generate voluntary movements. The signal transmitted in this process becomes a signal indicating voluntary movement. Therefore, by monitoring the signal indicating the voluntary movement, it is possible to detect the occurrence of the movement before each part of the body moves.
  • a myoelectric signal is used as a signal indicating a voluntary movement.
  • an electromyographic sensor 40 attached to the arm of the user 1 detects an electromyographic signal for moving a muscle that moves a finger 2 that is a target of motion assist.
  • the electromagnet 21 is controlled using the myoelectric signal detected by the myoelectric sensor 40. This makes it possible, for example, to drive the electromagnet 21 and start the operation assist before the finger 2 of the user 1 actually moves.
  • a specific configuration of the body drive system 100 will be described.
  • FIG. 2 is a block diagram showing a functional configuration example of the body drive system 100 shown in FIG.
  • the body drive system 100 includes a body drive unit 30, a myoelectric sensor 40, a touch sensor 45, an application controller 46, and an electromagnet controller 50.
  • the body drive unit 30 is a mechanism for driving the body of the user 1, and includes a mounting magnet unit 10, an electromagnet unit 20, and an electromagnet drive unit 25.
  • the mounting magnet unit 10 is a unit that is mounted on the finger 2 of the user 1 and moves the finger 3 of the user 1, and has the mounting magnet 11.
  • the mounting magnet 11 is a permanent magnet mounted on the finger 2 of the user 1.
  • the mounting magnet unit 10 is an element that moves the finger 2 of the user 1 by receiving a force corresponding to the magnetic field.
  • the mounting magnet unit 10 corresponds to a working portion. Further, the mounting magnet unit 10 functions as a first magnetic field acting unit that receives a force corresponding to a magnetic field.
  • the mounting magnet 11 is mounted on the finger 2 of the user 1, for example, via a mounting tool (not shown).
  • the attachment magnet 11 is fixed to a ring-type attachment, a band-type attachment, or a bag-type attachment.
  • the mounting magnet 11 is arranged on the claw side near the tip of the finger 2, for example, as shown in FIG. This makes it possible to leave the tactile sensation on the ventral side of the finger 2.
  • the mounting magnet 11 is arranged so that one of the magnetic poles (S pole or N pole) faces the claw side.
  • the specific configuration such as the type and arrangement of the mounting magnet 11 is not limited.
  • a plurality of mounting magnets 11 may be arranged on one finger 2.
  • the mounting magnet 11 may be arranged on the side surface or the ventral side of the finger 2.
  • the mounting magnet 11 may be directly fixed to each finger 2 of the user 1.
  • the electromagnet unit 20 has an electromagnet 21 that generates a magnetic field acting on the mounting magnet unit 10 (mounting magnet 11).
  • the electromagnet 21 is composed of, for example, a coil and an iron core around which the coil is wound, and magnetizes the iron core by passing an electric current through the coil to generate a magnetic field.
  • the magnetic field changes by changing the value and direction of the current flowing through this coil. This makes it possible to control the direction and strength of the force acting on the mounting magnet unit 10.
  • the electromagnet unit 20 is an element that is provided separately from the mounting magnet unit 10 and generates a magnetic field that moves the mounting magnet unit 10.
  • the electromagnet unit 20 functions as a second magnetic field acting unit.
  • the electromagnet unit 20 is provided on the touch sensor 45, which is the operation target of the finger 2 of the user 1.
  • the electromagnet unit 20 is arranged on the side opposite to the contact surface (for example, the lower side of the contact surface) with which the finger 2 of the user 1 of the touch sensor 45 contacts. This enables motion assist such as attracting the finger 2 to the touch sensor 45 or moving the finger 2 away from the touch sensor 45 (see FIG. 3).
  • the permanent magnet (mounting magnet 11) is used for the first magnetic field action unit (mounting magnet unit 10) provided on the body side of the user 1, and the second magnetic field action provided on the operation target side.
  • An electromagnet 21 is provided in the portion (electromagnet unit 20).
  • the present invention is not limited to this, and for example, an electromagnet may be provided in the first magnetic field acting portion on the body side, and a permanent magnet may be provided in the second magnetic field acting portion on the operation target side. Further, for example, electromagnets may be provided on both the first magnetic field acting portion on the body side and the second magnetic field acting portion on the operation target side. As described above, at least one of the first magnetic field acting portion and the second magnetic field acting portion includes an electromagnet. By using an electromagnet, it is possible to easily control the movement of the body part (finger 2) of the user 1.
  • the electromagnet drive unit 25 drives the electromagnet 21 provided in the electromagnet unit 20.
  • the electromagnet drive unit 25 generates a drive signal corresponding to a control signal generated by the electromagnet control unit 52 (body drive processing control unit 54) described later, and supplies the drive signal to each electromagnet 21.
  • the drive signal may be a digital signal such as a PWM (Pulse Width Modulation) signal or an analog current signal.
  • the specific configuration of the electromagnet drive unit 25 is not limited, and is appropriately configured by using, for example, a current source capable of driving the electromagnet 21.
  • the electromagnet drive unit 25 may be configured as a part of the electromagnet controller 50.
  • the myoelectric sensor 40 is a sensor that detects an myoelectric signal for moving the muscle of the user 1.
  • the myoelectric signal is a signal indicating the time change of the action potential that moves the muscle. This signal is used as a signal indicating the voluntary movement of the user 1.
  • the myoelectric sensor 40 that detects the surface myoelectricity is used by using the surface electrode 41 mounted on the surface of the skin of the user 1. By using surface EMG, it is possible to reduce the burden on the user 1.
  • the surface electrode 41 includes a pair of measurement electrodes 41a and 41b and a reference electrode 41c.
  • the measurement electrodes 41a and 41b are mounted at positions where the myoelectric signals of the muscles that move the body part (here, the index finger 2 of the right hand) to be the target of the motion assist can be detected.
  • the change in potential between the measurement electrodes 41a and 41b is detected as a myoelectric signal.
  • the reference electrode 41c is mounted at a position away from the measurement electrodes 41a and 41b. By referring to the potential of the reference electrode 41c, it is possible to accurately detect the target myoelectric signal.
  • a configuration excluding the reference electrode 41c may be used.
  • FIG. 3 is a graph showing an example of a myoelectric signal.
  • FIG. 3 shows a graph of an electromyogram (EMG: Electromyography) in which an electromyographic signal (action potential) is plotted along a time axis.
  • EMG Electromyography
  • the vertical axis of the graph is the action potential measured between the measurement electrodes 41a and 41b, and the horizontal axis is time.
  • EMG Electromyography
  • FIG. 3 includes four waveforms (envelopes) in which the action potential changes significantly. These waveforms carry signals that actually move the muscles.
  • the spontaneous movement signal S1 is a biological signal (biological voluntary movement signal) indicating the voluntary movement itself.
  • a spontaneous motion signal S1 (a waveform in which an action potential changes significantly) is generated when a voluntary movement is performed.
  • a myoelectric signal other than the spontaneous motion signal S1 is referred to as a steady-state signal S0.
  • the spontaneous motion signal S1 corresponds to the motion signal.
  • the muscle exertion that actually contracts the muscle occurs after a certain time has elapsed from the appearance of the change in action potential (spontaneous movement signal S1).
  • the time required for muscle contraction (delayed time for muscle exertion) after the action potential changes differs depending on the body part and the type of target muscle. By recording these delay times in advance, it is possible to estimate in advance the timing at which the body part actually moves.
  • the myoelectric sensor 40 detects the action potential at a predetermined sensing rate (for example, 1 kHz or the like). This sensing rate is appropriately set so that the interval is shorter than, for example, the delay time of muscle exertion.
  • the touch sensor 45 is a sensor that detects the contact of the user 1's finger 2 with the contact surface.
  • a capacitance type contact detection sensor, a pressure sensor, a mechanical button, or the like is used as the touch sensor 45.
  • the detection result of the touch sensor 45 is output to the application controller 46 and the electromagnet controller 50, which will be described later, as an operation input of the user by a contact operation.
  • the touch sensor 45 functions as an input device that accepts the contact operation by the finger 2 of the user 1.
  • the application controller 46 is an arithmetic device for operating an application that uses the touch sensor 45.
  • a computer such as a PC or a game device is used.
  • the application controller 46 is connected to a display device such as a display (not shown) and displays an operation screen or the like of an application (for example, a rhythm game) using the touch sensor 45.
  • various processes such as a process of generating an operation screen of an application, a process of changing the operation screen according to the progress of the application, a process of reflecting an input of a contact operation performed by the user 1 in the operation of the application, and the like. Processing is executed.
  • the electromagnet controller 50 is a control unit that controls the operation of the electromagnet 21 of the electromagnet unit 20.
  • the electromagnet controller 50 has a storage unit 51 and an electromagnet control unit 52.
  • the storage unit 51 is a non-volatile storage device.
  • a recording medium using a solid-state element such as an SSD (Solid State Drive) or a magnetic recording medium such as an HDD (Hard Disk Drive) is used.
  • the type of recording medium used as the storage unit 51 is not limited, and for example, any recording medium for recording data non-temporarily may be used.
  • the control program according to this embodiment is stored in the storage unit 51.
  • the control program is, for example, a program that controls the operation of the entire electromagnet controller 50.
  • the information stored in the storage unit 51 is not limited.
  • the storage unit 51 corresponds to a computer-readable recording medium on which the program is recorded.
  • the control program corresponds to the program recorded on the recording medium.
  • the electromagnet control unit 52 controls the operation of the electromagnet controller 50.
  • the electromagnet control unit 52 has a hardware configuration necessary for a computer such as a CPU and a memory (RAM, ROM). Various processes are executed by the CPU loading the control program stored in the storage unit 51 into the RAM and executing the control program.
  • the electromagnet control unit 52 corresponds to the information processing device according to the present embodiment.
  • the electromagnet control unit 52 for example, a device such as a PLD (Programmable Logic Device) such as an FPGA (Field Programmable Gate Array) or another device such as an ASIC (Application Specific Integrated Circuit) may be used. Further, for example, a processor such as a GPU (Graphics Processing Unit) may be used as the electromagnet control unit 52. Further, the electromagnet control unit 52 may be configured by using the hardware or the like constituting the application controller 46 described above.
  • a PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • a processor such as a GPU (Graphics Processing Unit) may be used as the electromagnet control unit 52.
  • the electromagnet control unit 52 may be configured by using the hardware or the like constituting the application controller 46 described above.
  • the CPU of the electromagnet control unit 52 executes the program (control program) according to the present embodiment, thereby realizing the spontaneous motion signal detection unit 53 and the body drive processing control unit 54 as functional blocks. To. Then, the information processing method according to the present embodiment is executed by these functional blocks. In addition, in order to realize each functional block, dedicated hardware such as an IC (integrated circuit) may be appropriately used.
  • IC integrated circuit
  • the spontaneous motion signal detection unit 53 acquires a signal indicating the voluntary motion of the user 1. Specifically, the myoelectric signals detected by the myoelectric sensor 40 at a predetermined sensing rate are sequentially read. Further, the spontaneous motion signal detection unit 53 detects the spontaneous motion signal S1 from the myoelectric signal. Specifically, the time when the spontaneous motion signal S1 is generated is detected from the value (action potential) of the myoelectric signal. The spontaneous motion signal detection unit 53 determines that the spontaneous motion signal S1 is generated when the action potential indicated by the myoelectric signal exceeds a predetermined threshold value. Then, the time when the spontaneous motion signal S1 is generated is output as the detection timing T0 of the spontaneous motion signal S1.
  • the detection timing T0 of the spontaneous motion signal S1 detected from the myoelectric signal is shown by a dotted line.
  • the detection timing T0 corresponds to the time when the waveform of the spontaneous motion signal S1 starts.
  • the threshold value for determining the action potential is set according to, for example, the level of the steady-state signal S0 so that the spontaneous motion signal S1 can be appropriately determined.
  • the spontaneous motion signal detection unit 53 detects the spontaneous motion signal S1 generated prior to the flexor muscle of the muscle by using the myoelectric sensor 40 (EMG).
  • the body drive processing control unit 54 controls the motion assist (body drive processing) performed by the body drive unit 30.
  • the mounting magnet 11 is driven by the magnetic field acting on the mounting magnet 11, that is, the magnetic field generated by the electromagnet 21. Therefore, the body drive processing control unit 54 controls the mounting magnet unit 10 by electrically changing the magnetic field between the mounting magnet unit 10 (mounting magnet 11) and the electromagnet unit 20 (electromagnet 21).
  • the body drive processing control unit 54 generates a control signal for controlling the electromagnet 21. For example, control parameters such as timing, direction, period, and strength for controlling the mounting magnet 11 are set. Based on this control parameter, a control signal for controlling the electromagnet 21 is generated. The generated control signal is output to the electromagnet drive unit 25.
  • the body drive processing control unit 54 controls the magnetic field generated by the electromagnet unit 20 (electromagnet 20) to control the mounting magnet unit 10 (mounting magnet 11), which is an acting unit that moves the body portion of the user 1.
  • controlling the working part means controlling the movement of the working part.
  • the body drive processing control unit 54 controls the timing, direction, period, strength, and the like for controlling the mounting magnet 11.
  • the timing for controlling the mounting magnet 11 is the timing for starting the control of the mounting magnet 11 and the timing for driving the mounting magnet 11.
  • FIG. 4 is a schematic diagram showing a basic motion assist by the body drive unit 30.
  • the north pole of the mounting magnet 11 is directed to the electromagnet 21.
  • a control signal for passing a current through the electromagnet 21 so that the touch sensor 45 side of the electromagnet 21 becomes the S pole is generated and output to the electromagnet drive unit 25.
  • an attractive magnetic force is generated between the mounting magnet 11 and the electromagnet 21.
  • the finger 2 of the user 1 is moved in the direction approaching the touch sensor 45.
  • FIG. 4B a control signal for passing a current through the electromagnet 21 so that the touch sensor 45 side of the electromagnet 21 has an N pole is generated and output to the electromagnet drive unit 25.
  • the body drive processing control unit 54 controls the electromagnet 21 so that a magnetic force that becomes an attractive force or a repulsive force is generated between the mounting magnet unit 10 (mounting magnet 11) and the electromagnet unit 20 (electromagnet 21). ..
  • the user 1 can promote the contact operation of bringing the finger 2 into contact with the touch sensor 45.
  • a repulsive force repulsive force
  • the detection result of the spontaneous motion signal detection unit 53 is used as a trigger for the processing to move the mounting magnet unit 10 (mounting magnet 11) in this way.
  • the timing for controlling the mounting magnet unit 10 (control timing T3) is set with reference to the detection timing T0 of the spontaneous motion signal S1.
  • control timing T3 is set with reference to the detection timing T0 of the spontaneous motion signal S1.
  • the body drive processing control unit 54 acquires a reference signal regarding the operation of the body portion of the user 1, and controls the mounting magnet unit 10 (mounting magnet 11) based on the acquired reference signal.
  • the reference signal is, for example, an external signal output from another computer such as the application controller 46, a sensor for monitoring the operation status of the user 1, or the like.
  • a signal indicating the timing of the contact operation by the finger 2 of the user 1, the necessity of the contact operation, and the like is read as a reference signal. Based on such a reference signal, control parameters including the timing and direction for driving the mounting magnet 11 are set. It should be noted that it is also possible to drive the mounting magnet 11 without using the reference signal.
  • the control unit is realized by the co-operation of the spontaneous motion signal detection unit 53 and the body drive processing control unit 54.
  • FIG. 5 is a schematic diagram for explaining the basic operation of the body drive system 100.
  • a signal Motor Control Signal
  • a spontaneous movement signal S1 Voluntary Signal
  • the body drive system 100 is a system that assists this muscle movement by using a body drive unit 30 (mounting magnet 11, electromagnet 21, etc.). Therefore, the movement of the body part (fingers 2) of the user 1 is finally an integrated movement that is a combination of the movement by the body driving unit 30 and the muscle movement.
  • the myoelectric sensor 40 is used to detect the spontaneous motion signal S1 that the user 1 is about to move, and the operation by electromagnetic drive using the mounting magnet 11 and the electromagnet 21 is performed prior to the actual motion action. Assist is performed.
  • the electromagnet 21 is operated to generate an attractive force or a repulsive force on the finger 2 of the user 1 to which the mounting magnet 11 is mounted.
  • the finger 2 of 1 is moved.
  • the delay time from the start of driving of the electromagnet 21 to the occurrence of movement in the body part is from the delay time from the detection of muscle exertion (spontaneous movement signal S1) by the myoelectric sensor 40 to the occurrence of movement in the body part. Is also small. Therefore, for example, in the movement of the finger 2, the movement of the finger 2 can be accelerated by, for example, about 20 mSec by driving the electromagnet 21 immediately after the detection of the spontaneous movement signal S1.
  • motion assist is started so as to modulate the movement of the body before (or at the same time) the exercise of the user 1 by referring to the spontaneous motion signal S1.
  • FIG. 6 is a schematic diagram for explaining the start timing of the operation assist.
  • the timing at which the myoelectric signal (action potential) is measured by the myoelectric sensor 40 and the spontaneous motion signal detection unit 53 will be referred to as measurement timing T1.
  • the timing at which the finger 2 actually operates by the spontaneous motion signal S1 is referred to as an operation timing T2.
  • the operation timing T2 is set, for example, based on the characteristics of the finger 2 (delay time of muscle exertion, etc.). For example, when the spontaneous motion signal S1 is detected at the measurement timing T1, it can be predicted that an actual motion will occur at the motion timing T2.
  • the operation timing T2 is the timing for predicting the presence or absence of the voluntary movement as seen from the measurement timing T1.
  • the timing for starting the operation assist is described as the control timing T3.
  • the control timing T3 is a timing for controlling the mounting magnet unit 10 (mounting magnet 11), that is, a timing for driving the electromagnet 21, and is set by the body drive processing control unit 54.
  • the measurement timing T1, the operation timing T2, and the control timing T3 correspond to the first time point, the second time point, and the third time point, respectively.
  • the spontaneous motion signal detection unit 53 acquires a myoelectric signal (a signal indicating the voluntary motion of the user 1) at the measurement timing T1.
  • a myoelectric signal a signal indicating the voluntary motion of the user 1
  • the threshold value determination for the action potential of the myoelectric signal is performed, and it is determined whether or not the spontaneous motion signal S1 is generated.
  • the measurement timing T1 the detection timing T0.
  • the voluntary movement is started and the finger 2 of the user 1 actually operates at the operation timing T2 after the measurement timing T1.
  • the control timing T3 is set so that the operation assist for driving the finger 2 of the user 1 is performed prior to the operation timing T2.
  • the content of the operation assist (direction for driving the mounting magnet 11 and the like) is set to assist the operation predicted to occur at the operation timing T2. That is, in the present embodiment, the body drive processing control unit 54 causes the operation of the finger 2 of the user 1 according to the myoelectric signal of the user 1 from the measurement timing T1 based on the myoelectric signal of the user 1 of the measurement timing T1.
  • the mounting magnet 11 mounted on the finger 2 of the user 1 and moving the finger 2 of the user 1 is controlled. As a result, it becomes possible to perform the operation assist at an appropriate timing without delay, and it becomes possible to appropriately control the operation timing of the user.
  • the control timing T3 may be arbitrarily set within the period from the measurement timing T1 to the operation timing T2, that is, within the range of T1 ⁇ T3 ⁇ T2.
  • various motion assists can be realized by performing the preceding drive (Preceding Actuation) in which the mounting magnet 11 is moved prior to the actual voluntary movement.
  • Preceding Actuation it is possible to accelerate or decelerate the contact operation by the finger 2 of the user 1 (see FIG. 9 and the like).
  • a reference signal it is possible to control the timing of the contact operation and the like (see FIGS. 13 and 16 and the like).
  • FIGS. 13 and 16 and the like see FIGS. 13 and 16 and the like.
  • the user 1 mistakenly performs the contact operation it is possible to assist the operation to correct the mistake (see FIG. 17 and the like).
  • each operation assist will be specifically described.
  • FIG. 7 is a block diagram showing a flow of operation assist without using a reference signal.
  • FIG. 8 is a flowchart showing an example of operation assist that does not use a reference signal.
  • the motion assist is started according to the preset control timing T3 with the spontaneous motion signal S1 as a trigger.
  • the detection result (presence / absence of the spontaneous motion signal S1) of the spontaneous motion signal detection unit 53 is input to the body drive processing control unit 54. Further, the body drive processing control unit 54 generates a control signal based on the detection result. The generated control signal is output to the body drive unit 30 (electromagnet drive unit 25).
  • the flow of processing in the electromagnet controller 50 will be described with reference to FIG.
  • the process shown in FIG. 8 is a loop process that is repeatedly executed when the operation assist is performed.
  • the spontaneous motion signal detection unit 53 detects the spontaneous motion signal S1 from the myoelectric signal (step 101). Specifically, it is determined whether or not the value (action potential) of the myoelectric signal exceeds a predetermined threshold value. For example, when the value of the myoelectric signal exceeds the threshold value, it is determined that the spontaneous motion signal S1 has been generated. If the value of the myoelectric signal does not exceed the threshold value, it is determined that the spontaneous motion signal S1 has not been generated. The result of this determination process is output as, for example, a trigger signal indicating the presence or absence of the spontaneous motion signal S1. Alternatively, the measurement timing T1 in which the spontaneous motion signal S1 is detected may be output as the detection timing T0.
  • the body drive processing control unit 54 determines the content of the motion assist (body drive process) based on the detection result of the spontaneous motion signal detection unit 53 (step 102). Specifically, control parameters for driving the mounting magnet 11 (electromagnet 21) are set. For example, when the spontaneous motion signal S1 is detected, the control timing T3 for controlling the mounting magnet 11 is set with reference to the detection timing T1 of the spontaneous motion signal S1. Here, for example, the time after a predetermined waiting time has elapsed from the detection timing T1 is set as the control timing T3. For example, when the mounting magnet 11 is driven immediately, the predetermined waiting time is set to 0. The predetermined waiting time may be appropriately set within a range that is equal to or less than the delay time for muscle exertion. Further, in the body drive processing control unit 54, the direction and period for driving the mounting magnet 11 are set. Here, the direction and period for driving the mounting magnet 11 are set to preset directions and periods. If the spontaneous motion signal S1 is not detected, the subsequent processing is not executed.
  • the body drive processing control unit 54 generates a control signal for the electromagnet 21 according to the set control parameters, and outputs the control signal to the electromagnet drive unit 25 (step 103).
  • the control signal is, for example, a pulse signal whose voltage rises at the control timing T3.
  • the positive and negative of the voltage of this pulse signal corresponds to the direction of the magnetic pole generated in the electromagnet 21.
  • the width of the pulse signal corresponds to the period in which the magnetic force is generated, that is, the period in which the mounting magnet 11 is driven.
  • the waveform of the pulse signal may be appropriately set according to the type of operation assist and the like. For example, by setting a rectangular pulse signal, it is possible to increase the speed at which the mounting magnet 11 is driven. Further, for example, a pulse signal that rises with a constant inclination may be set. In this case, the force applied to the mounting magnet 11 can be gradually changed, and natural operation assist can be realized.
  • FIG. 9 is a schematic diagram showing an example of motion assist for accelerating or decelerating the motion of the finger 2.
  • the operation assist that does not use the reference signal
  • the waiting time of the control timing T3 is set to 0, and the mounting magnet 11 (electromagnet 21) is immediately driven after the detection of the spontaneous motion signal S1.
  • FIG. 9A an operation assist for accelerating the contact operation is executed.
  • the electromagnet 21 is driven so that the mounting magnet 11 moves in the same direction as the operating direction (black arrow in the figure) in which the user 1 moves the finger 2 to perform the contact operation.
  • an attractive force (white arrow in the figure) is generated between the mounting magnet 11 and the electromagnet 21, and the mounting magnet 11 is driven in a direction approaching the electromagnet 21.
  • the finger 2 of the user 1 is moved to the touch sensor 45 side faster than the operation by the voluntary movement.
  • the contact timing T'when the finger 2 of the user 1 comes into contact with the touch sensor 45 is earlier than the operation timing T2 when the operation assist is not performed.
  • FIG. 9A an operation assist for accelerating the contact operation is executed.
  • the timing at which the driving of the electromagnet 21 is terminated that is, the timing at which the control of the mounting magnet 11 is terminated is referred to as the termination timing T4.
  • the end timing T4 corresponds to the fourth time point.
  • FIG. 9B an operation assist for decelerating the contact operation is executed.
  • the electromagnet 21 is driven so that the mounting magnet 11 moves in the direction opposite to the operating direction in which the user 1 moves the finger 2.
  • a repulsive force (gray arrow in the figure) is generated between the mounting magnet 11 and the electromagnet 21, and the mounting magnet 11 is driven in a direction away from the electromagnet 21.
  • the period for applying the repulsive force to the mounting magnet 11 (repulsive force end timing T4) is set to be longer than the operation timing T2. That is, a repulsive force is applied to the mounting magnet 11 even after the operation timing T2 has passed.
  • the finger 2 (mounting magnet 11) of the user 1 is subjected to a force that keeps it away from the touch sensor 45 even after the operation timing T2 at which the operation due to the voluntary movement occurs.
  • the contact timing T'when the finger 2 of the user 1 comes into contact with the touch sensor 45 is later than the operation timing T2 when the operation assist is not performed.
  • the mounting magnet 11 is controlled so that the motion (contact operation) of the finger 2 of the user 1 is accelerated or decelerated with reference to the motion timing T2.
  • Ru This is an operation assist that adjusts the timing at which the finger 2 of the user 1 performs the contact operation back and forth from the original operation timing 3.
  • FIG. 10 is a block diagram showing a flow of operation assist using a reference signal.
  • FIG. 11 is a flowchart showing an example of operation assist using a reference signal.
  • the operation assist is set by comparing the detection timing T0 of the spontaneous motion signal S1 and the presence / absence of the motion signal S1 with the reference signal.
  • the detection result of the spontaneous motion signal detection unit 53 and the reference signal are input to the body drive processing control unit 54.
  • the body drive processing control unit 54 compares the detection result of the spontaneous motion signal detection unit 53 with the reference signal, and a control signal is generated based on the comparison result.
  • the generated control signal is output to the body drive unit 30 (electromagnet drive unit 25).
  • the flow of processing in the electromagnet controller 50 will be described with reference to FIG.
  • the process shown in FIG. 11 is a loop process that is repeatedly executed when the operation assist is performed.
  • the spontaneous motion signal detection unit 53 detects the spontaneous motion signal S1 from the myoelectric signal (step 201). This process is the same as step 101 shown in FIG.
  • the spontaneous motion signal detection unit 53 outputs a trigger signal indicating the presence or absence of the spontaneous motion signal S1 and a detection timing T0 of the spontaneous motion signal S1.
  • the body-driven processing control unit 54 acquires a reference signal (step 202).
  • the reference signal is output from, for example, a computer different from the electromagnet control unit 52 of the electromagnet controller 50, and is read by the body drive processing control unit 54.
  • the body drive processing control unit 54 determines the content of the motion assist (body drive process) based on the detection result of the spontaneous motion signal detection unit 53 and the reference signal (step 203).
  • the reference signal is a signal indicating the timing of the operation (contact operation) of the finger 2 of the user 1.
  • a control parameter for accelerating or decelerating the operation of the finger 2 of the user 1 is set so that the finger 2 of the user 1 performs the contact operation in accordance with the timing specified by the reference signal.
  • the reference signal is a signal that specifies the necessity of a contact operation performed by the user 1 by moving the finger 2 of the user 1.
  • the reference signal is a signal indicating a situation in which the user 1 should move his / her finger 2 to perform a contact operation or a situation in which the user 1 should not perform a contact operation.
  • the contact operation corresponds to a predetermined operation.
  • the body drive processing control unit 54 compares the necessity of the contact operation indicated by the reference signal with the presence / absence of the spontaneous motion signal S1, and the mounting magnet 11 is controlled based on the comparison result. Specifically, an operation assist (control parameter) for driving the mounting magnet 11 is set so as to encourage the contact operation or suppress the contact operation.
  • the body drive processing control unit 54 generates a control signal for the electromagnet 21 according to the set control parameters, and outputs the control signal to the electromagnet drive unit 25 (step 204).
  • This process is the same as step 103 shown in FIG. As a result, for example, it is possible to cause the user 1 to perform a contact operation at a timing designated by the reference signal, and to avoid an operation error of the user 1.
  • FIG. 12 is a schematic diagram showing an example of an operation assist that controls the timing of a contact operation.
  • the rhythm game is an application executed by the application controller 46.
  • a plurality of right-handed and left-handed rhythm marks 16 are displayed on the display 15. These rhythm marks 16 move so as to flow from the upper end to the lower end of the display 15.
  • the rhythm game is a game in which a rhythm is recorded by touching the touch sensor 45 with a finger at the timing when the rhythm mark 16 reaches a predetermined line.
  • a signal indicating the timing at which the rhythm mark 16 reaches a predetermined line that is, a signal indicating the timing of an appropriate contact operation is used.
  • the operation of the finger 2 of the user 1 is an operation for performing an input operation related to a predetermined application (rhythm game).
  • the reference signal is a signal indicating the timing of the input operation.
  • This reference signal is generated by the application controller 46 and read by the body-driven processing control unit 54. It can be said that the reference signal is a signal indicating a situation in which the contact operation should be performed by indicating the timing of the contact operation.
  • FIG. 13 is a graph showing the control content of the operation assist shown in FIG.
  • FIG. 13 is a schematic graph showing the myoelectric signal of the finger 2 of the user 1, the contact prediction signal predicted from the myoelectric signal, the reference signal related to the contact operation, and the control signal for controlling the electromagnet 21. It is illustrated.
  • the spontaneous motion signal S1 in the myoelectric signal is schematically shown as a rectangular pulse.
  • the contact prediction signal is, for example, a signal predicted from the start and end timings of the spontaneous motion signal S1, and represents a contact operation performed when there is no operation assist.
  • the spontaneous motion signal S1 is detected at time Ta.
  • the time (operation timing T2) predicted that the finger 2 of the user 1 comes into contact with the touch sensor 45 is faster than the rising edge of the reference signal.
  • the contact operation of the user 1 may be performed earlier than the timing specified by the reference signal. Therefore, the operation assist for decelerating the contact operation is executed so that the contact operation of the user 1 becomes the timing designated by the reference signal.
  • a control signal pulse signal
  • the repulsive pulse signal is illustrated as a dark gray area.
  • control timing T3 The timing for turning on the repulsive pulse signal (control timing T3) is set before the rise of the contact prediction signal (operation timing T2). This makes it possible to reliably decelerate the contact operation of the user 1. Further, the timing for turning off the repulsive pulse signal (end timing T4) is set before the timing at which the reference signal rises. As a result, the finger 2 of the user 1 can be brought into contact with the touch sensor 45 at the timing indicated by the reference signal.
  • the spontaneous motion signal S1 is also detected at the time Tb.
  • the time (operation timing T2) predicted that the finger 2 of the user 1 comes into contact with the touch sensor 45 is later than the rising edge of the reference signal.
  • the contact operation of the user 1 may be performed later than the timing specified by the reference signal. Therefore, the operation assist for accelerating the contact operation is executed so that the contact operation of the user 1 becomes the timing designated by the reference signal.
  • a control signal pulse signal
  • the gravitational pulse signal is illustrated as a light gray area.
  • control timing T3 The timing for turning on the gravitational pulse signal (control timing T3) is set based on the timing at which the reference signal rises.
  • the gravitational pulse signal is set to ON substantially at the same time as the time Tb. If there is a time until the reference signal rises, the timing for turning on the gravitational pulse signal is set so that the finger 2 of the user 1 can come into contact with the timing. This makes it possible to accurately control the timing of the contact operation of the user 1.
  • the timing for turning off the gravitational pulse signal (end timing T4) is set to the timing at which the reference signal falls. As a result, the user 1 can smoothly release the finger that was in contact with the touch sensor 45.
  • the period of the contact operation predicted from the spontaneous motion signal S1 detected at the time Tb is longer than the period specified by the reference signal. Therefore, the contact operation may continue after the period specified by the reference signal. Therefore, in the example shown in FIG. 13, the process of generating the repulsive force is executed at the timing when the reference signal falls. As a result, the finger 2 of the user 1 is separated from the touch sensor 45, and the next contact operation can be smoothly performed.
  • control timing T3 for controlling the mounting magnet 11 or the end timing for ending the control of the mounting magnet 11 based on the operation timing of the finger 2 of the user 1 indicated by the reference signal is set at least one of T4.
  • the spontaneous motion signal S1 is not detected at the time Tc.
  • a pulse of the reference signal exists at a time (that is, an operation timing T2 with reference to the time Tc) after the time Tc by the delay time of muscle exertion. This corresponds to the case where the user 1 does not mistakenly perform the next contact operation at the time Tc.
  • the mounting magnet 11 is controlled so that the finger 2 of the user 1 performs the contact operation.
  • a control signal pulse signal that generates an attractive force is generated so that a contact operation is performed.
  • the timing at which the gravitational pulse signal is turned on is set so that the contact of the finger 2 of the user 1 is in time based on the timing at which the reference signal rises.
  • the timing at which the gravitational pulse signal is turned off is set at the timing at which the reference signal falls. This makes it possible to perform the contact operation at an appropriate timing even for the rhythm mark 16 or the like that the user 1 did not react to.
  • the detection result of the spontaneous motion signal S1 and the timing (reference signal) at which the motion should be performed are compared. Then, based on the comparison result, by combining the motion assist for accelerating and decelerating the contact operation, it is possible to control the speed and timing of the physical motion of the user 1 with high time accuracy.
  • FIG. 14 is a schematic diagram showing an example of operation assist linked with another user.
  • FIG. 15 is a block diagram showing a flow of operation assist shown in FIG.
  • an operation assist that coordinates and synchronizes the contact operation of the user 1a with the contact operation of another user 1b will be described.
  • a spontaneous motion signal detected from a signal indicating a voluntary motion of another user 1b different from the user 1a (a myoelectric signal of another user 1b) is used as a reference signal.
  • the spontaneous motion signals of the users 1a and 1b will be referred to as S1a and S1b, respectively.
  • S1b serves as a reference signal for assisting the operation of the user 1a.
  • FIG. 14 schematically shows a state in which a user 1a and a user 1b are playing a rhythm game by two people.
  • the right and left displays 15a and 15b in the figure display game screens operated by the user 1a and the user 1b.
  • the mounting magnet 11 is not shown.
  • the body drive systems 100a and 100b that assist the operation of the users 1a and 1b are connected to each other.
  • the spontaneous motion signal S1b detected from the myoelectric signal of the user 1b from the body drive system 100b (spontaneous motion signal detection unit 53b) of the user 1b is the body drive system 100a (body drive processing control) of the user 1a. It is transmitted to the unit 54a).
  • the timing of the contact operation of the user 1a is controlled, and the control of generating or suppressing the contact operation is performed. This makes it possible to realize the coordination and synchronization of the movements of two people.
  • FIG. 16 is a schematic diagram for explaining the control content of the operation assist shown in FIG.
  • the rhythm mark 16 is presented to the two users 1a and 1b at the same timing, and the training assuming the same exercise is performed.
  • the operation of the user 1b who is an expert (Expert) is learned by the user 1a who is a beginner (Novice).
  • the spontaneous motion signal S1b detected from the myoelectric signal of the user 1b is illustrated by a solid line graph.
  • the spontaneous motion signal S1a detected from the myoelectric signal of the user 1a is illustrated by a dotted line graph.
  • the spontaneous motion signal S1a of the user 1a is detected at the time Ta.
  • the spontaneous motion signal S1b of the user 1b has not been detected yet.
  • the contact operation of the user 1a may be performed earlier than the contact operation of the user 1b. Therefore, the operation assist for decelerating the contact operation is executed so that the contact operation of the user 1a becomes the timing designated by the spontaneous motion signal S1b of the user 1b. Specifically, a control signal (pulse signal) that generates a repulsive force with respect to the mounting magnet 11 is generated.
  • the timing specified by the spontaneous motion signal S1b is a timing at which the finger 2 of the user 1b is predicted to come into contact with the touch sensor 45 due to, for example, the voluntary motion generated by S1b.
  • This is the operation timing T2 for the user 1b, and is calculated based on S1b detected immediately after the time Ta.
  • the pulse signal of the repulsive force is set to OFF immediately before the timing when the finger 2 of the user 1b comes into contact with the touch sensor 45.
  • the spontaneous motion signal S1b of the user 1b is detected at the time Tb.
  • the spontaneous motion signal S1a of the user 1a is not detected.
  • the contact operation of the user 1a may be delayed from the contact operation of the user 1b, or the contact operation of the user 1a may not be performed in the first place.
  • the mounting magnet 11 is controlled so that the finger 2 of the user 1a performs the contact operation.
  • a control signal pulse signal that generates an attractive force is generated so that a contact operation is performed.
  • the timing at which the gravitational pulse signal is turned on is set immediately before, for example, the timing at which the contact operation of the user 1b is predicted to be performed. Further, the timing for turning off the gravitational pulse signal is set to the timing at which the contact operation of the user 1b ends. This makes it possible to generate (or accelerate) the contact operation of the user 1a according to the operation of the user 1b.
  • both the spontaneous motion signals S1a and S1b of the user 1a and the user 1b are detected at the time Tc.
  • the timings of the contact operations of the user 1a and the user 1b are substantially the same, no control signal is generated and the electromagnet 21 (mounting magnet 11) is not driven.
  • the user 1a who is a beginner can directly experience and learn the contact operation of the user 1b who is an expert.
  • a contact prediction signal of the user 1b calculated based on the spontaneous motion signal S1b may be used as a reference signal.
  • the training described above was a process of synchronizing the operation of the user 1a with the operation of the user 1b.
  • the present invention is not limited to this, and for example, an operation assist that synchronizes the operations of the users 1a and 1b with each other may be realized.
  • the spontaneous motion signal S1a detected from the myoelectric signal of the user 1a is transmitted to the body drive system 100b (body drive processing control unit 54b) of the user 1b. This makes it possible to synchronize the actions of each other.
  • FIG. 17 is a schematic diagram showing an example of motion assist for motions involving cognitive judgment.
  • the motion assist that guarantees the perceptual or cognitive error of the user 1 in the task / exercise that requires the user 1 to make a cognitive judgment.
  • a task that requires cognitive judgment is, for example, a task that recognizes a situation from the color of a signal and determines whether or not to perform an action. In this case, a perceptual error such as mistaking the color of the signal or a cognitive error such as misunderstanding the situation corresponding to the color of the signal can occur.
  • a signal indicating the necessity of the contact operation (a signal indicating a situation in which the contact operation should be performed or a situation in which the contact operation should not be performed) is used as a reference signal here.
  • the body-driven processing control unit 54 can determine whether or not the operation generated by the spontaneous motion signal S1 of the user 1 should be executed. Further, when the motion generated by the spontaneous motion signal S1 is changed, the motion assist for performing the change / intervention necessary for the motion of the user 1 is set, and the motion of the user 1 is assisted by the body drive processing control unit 54.
  • the task of the user 1 touching the touch sensor 45 according to the color of the sign 18 is performed.
  • the case where the color of the sign 18 is blue (white in FIG. 17) is defined as the Go sign.
  • the Go sign is a sign indicating a situation in which the touch sensor 45 should be touched.
  • the case where the color of the sign 18 is red (black in FIG. 17) is regarded as a NoGo sign.
  • the NoGo sign is a sign indicating a situation in which the touch sensor 45 should not be touched.
  • the signal indicating the Go sign and the NoGo sign is used as a reference signal.
  • the spontaneous motion signal S1 that generates the contact operation of the user 1 is detected in the situation where the Go sign is presented. In this case, it can be predicted that the task result will be an appropriate contact operation (Hit) before the finger 2 of the user 1 actually touches the touch sensor 45. Therefore, the operation assist for driving the mounting magnet 11 (electromagnet 21) is not performed.
  • the spontaneous motion signal S1 that causes the contact operation of the user 1 is not detected in the situation where the NoGo sign is presented. In this case, it can be predicted that the task result will be the avoidance of an appropriate contact operation (Correct rejection), assuming that the finger 2 of the user 1 does not touch the touch sensor 45. Therefore, even in FIG. 17B, the operation assist for driving the mounting magnet 11 (electromagnet 21) is not performed.
  • the spontaneous motion signal S1 that causes the contact operation of the user 1 is not detected in the situation where the Go sign is presented.
  • the task result will be a non-execution (Miss) of the contact operation, assuming that the finger 2 of the user 1 does not touch the touch sensor 45.
  • the mounting magnet 11 is controlled so that the finger 2 of the user 1 performs the contact operation.
  • the electromagnet 21 is driven so that an attractive force (white arrow in the figure) acts on the mounting magnet 11.
  • the spontaneous motion signal S1 that causes the contact operation of the user 1 is detected in the situation where the NoGo sign is presented. In this case, it can be predicted that the task result will be an inappropriate contact operation (False alarm) before the finger 2 of the user 1 actually touches the touch sensor 45.
  • the mounting magnet 11 is controlled so that the finger 2 of the user 1 does not perform the contact operation.
  • the electromagnet 21 is driven so that a repulsive force (gray arrow in the figure) acts on the mounting magnet 11.
  • the user 1 may be delayed in taking an action even though it is Go, or may take an action even though it is NoGo.
  • the action can be made in time by executing the movement assist.
  • the spontaneous motion signal S1 can be detected before the motion occurs, so that the motion assist that suppresses the motion before the motion occurs can be performed. It is possible. As a result, it is possible to avoid the cognitive error and the perceptual error of the user 1 in advance, and it is possible to sufficiently improve the accuracy of the contact operation of the user 1.
  • the movement of the finger 2 (body part) of the user 1 that occurs at the operation timing T2 in accordance with the myoelectric signal of the user 1 at the measurement timing T1 is attached to the finger 2. It is assisted by moving the mounting magnet unit 10.
  • the mounting magnet unit 10 is driven by the control timing T3 included in the period from the measurement timing T1 to the operation timing T2. As a result, the assist can be started prior to the movement of the user's body part, and the timing of the user's movement can be appropriately controlled.
  • a time delay may occur due to signal detection and processing.
  • a mechanical mechanism such as a wearable exoskeleton
  • EMS Electro Mechanical Muscle Stimulation
  • EMS Electromuscle Stimulation
  • control timing T3 for driving the finger 2 is set before the operation timing T2 at which the operation of the finger 2 of the user 1 occurs.
  • the finger 2 of the user 1 is driven prior to the operation of the user 1 generated by the signal indicating the voluntary movement. This makes it possible to sufficiently avoid the time delay associated with the detection and processing of the signal and to appropriately control the operation timing of the user 1.
  • a drive mechanism using electromagnetic force (mounting magnet unit 10 and electromagnet unit 20) is used as the body drive unit 30 for moving the finger 2 of the user 1. Therefore, in the body drive unit 30, there is no delay in mechanical drive time or delay due to muscle exertion. As a result, for example, the finger 2 of the user 1 can be driven with high time resolution, and the timing of the operation of the user 1 can be controlled with sufficiently high accuracy.
  • FIG. 18 is a schematic diagram showing a configuration example of the body drive system 200 according to the second embodiment.
  • the body drive system 200 is a system that assists the operation of the contact operation for each of the five fingers 2 of the user 1's hand.
  • the body drive system 200 includes a body drive unit 230, an electromyographic sensor 240, a screen interface 245, and an electromagnet controller 250.
  • the body drive unit 230 includes a mounting magnet unit 210, an electromagnet unit 220, and an electromagnet drive unit 225.
  • the mounting magnet unit 210 includes a mounting magnet 11 mounted on each finger 2 of the user 1.
  • the electromagnet unit 220 includes at least one electromagnet 21 that generates a magnetic field acting on the mounting magnet 11. In the example shown in FIG.
  • a mounting magnet 11 is mounted on each of the five fingers 2 of the right hand of the user 1, and five electromagnets 21 corresponding to each finger 2 (each mounting magnet 11) are provided.
  • the electromagnet unit 220 includes at least one electromagnet 21 arranged on the screen interface 245 corresponding to the finger 2 of the user 1.
  • the electromagnet drive unit 225 drives each electromagnet 21 individually based on the control signal output from the electromagnet controller 250.
  • the myoelectric sensor 240 uses a plurality of surface electrodes 41 to individually detect the exertion of the muscle to be observed. Each surface electrode 41 is arranged at a position where the myoelectric signal of the muscle that moves each finger 2 of the user 1 can be detected.
  • FIG. 18 schematically shows a band-shaped wearer including a plurality of surface electrodes 41. The myoelectric sensor 240 detects the action potential of the muscle measured by each surface electrode 41 and outputs it to the electromagnet controller 250 as a myoelectric signal for each finger 2.
  • the screen interface 245 is a display provided with a touch screen operated by the user 1 in contact with the finger 2.
  • the above-mentioned electromagnet unit 220 is provided in the screen interface 245. More specifically, a plurality of electromagnets 21 corresponding to each finger 2 are arranged on the back side of the operation surface (the surface on which the finger 2 of the user 1 comes into contact) of the screen interface 245. In the present embodiment, the electromagnet 21 is driven when the user 1 moves the finger 2 with respect to the screen interface 245, which is an input device, to perform a contact operation.
  • the electromagnet controller 250 individually controls each electromagnet 21 to individually drive the mounting magnet 11 mounted on each finger 2.
  • the spontaneous motion signal S1 of the finger 2 of the user 1 is detected from the myoelectric signal measured by the myoelectric sensor 240, and a control signal for driving the corresponding electromagnet 21 is generated based on the detection result.
  • These processes are executed independently for each finger 2. This makes it possible to assist operations such as accelerating and decelerating each of the five fingers 2 of the user 1, and it is possible to control the input operation for the screen interface 245 with high time accuracy.
  • the electromagnet unit 220 may be used, for example, to assist an operation of a keyboard operation or a touch panel operation. This makes it possible to realize accurate and high-speed input operations and the like.
  • FIG. 19 is a schematic diagram showing a configuration example of the body drive system according to the third embodiment.
  • the signal indicating the voluntary movement of the user 1 an electroencephalogram signal detected in the brain of the user 1 is used instead of the above-mentioned myoelectric signal.
  • FIG. 19 schematically illustrates the flow of a signal (spontaneous movement signal) for transmitting a command of the voluntary movement from the time when the user 1 decides to perform the voluntary movement to the time when the movement actually occurs. There is.
  • the flow of the spontaneous motion signal is basically the same as that described with reference to FIG.
  • the body drive system 300 has an electroencephalogram sensor 340 that measures the electroencephalography (EEG) of the user 1.
  • the electroencephalograph sensor 340 is, for example, an electroencephalograph having a non-invasive electrode unit worn on the head and used by the user 1.
  • FIG. 19 schematically shows an electrode unit of the electroencephalogram sensor 340.
  • the electroencephalogram signal measured by the electroencephalogram sensor 340 is input to the electromagnet controller 350.
  • the electromagnet controller 350 detects, for example, a signal of voluntary movement (spontaneous movement signal) for moving a finger 2 from an electroencephalogram signal, and drives the electromagnet 21 based on the detection result.
  • the spontaneous movement signal detected from the myoelectric signal (EMG) of the muscle of the finger 2 is a signal that precedes the timing at which the finger 2 actually moves by about 40 mSec.
  • EMG myoelectric signal
  • a spontaneous movement signal that generates a voluntary movement to move the finger 2 is detected from the brain wave signal.
  • the time required for the signal to pass through the spinal cord or the like is omitted, it is possible to detect the occurrence of voluntary movements, for example, about 100 mSec ahead of the myoelectric signal. Therefore, by detecting the spontaneous motion signal using the electroencephalogram sensor 340, it is possible to reliably assist the operation of the user 1.
  • a signal indicating the voluntary movement of the user 1 a signal (spinal cord signal) detected in the spinal cord in the middle route connecting the brain 3 and the muscle 4 may be used. In this case as well, it is possible to detect the occurrence of voluntary movements at a timing earlier than the myoelectric signal. In addition, any signal capable of indicating the occurrence of the voluntary movement of the user 1 may be used.
  • the method of setting the timing (control timing T3) for driving the electromagnet according to the timing indicated by the spontaneous motion signal S1 and the reference signal has been described.
  • the strength of the driving force (attractive force and repulsive force of the electromagnet) for driving the mounting magnet may be set. For example, by increasing the strength of the attractive force, the speed at which the user's finger (mounting magnet) is attracted becomes faster. Further, for example, by increasing the strength of the repulsive force, it is possible to delay the timing at which the user's finger (mounting magnet) comes into contact with the touch sensor. By adjusting the strength of the attractive force and the repulsive force in this way, it is possible to adjust the speed of the contact operation and the like.
  • control timing T3 and the end timing T4 may be set according to the driving force for driving the mounting magnet. As described above, it is possible to shorten or lengthen the time required for the user to perform a certain operation (contact with the touch sensor, etc.) according to the driving force of the mounting magnet. Therefore, by setting the control timing T3 and the end timing T4 according to the driving force, it is possible to realize operation assist with higher time accuracy.
  • the control timing T3 is set later as the driving force (attractive force) of the mounting magnet is larger. For example, when the strength of the attractive force is high, the control timing T3 for turning on the electromagnet is delayed, and when the strength of the attractive force is low, the control timing T3 is set earlier. This makes it possible to control the timing at which the user touches the touch sensor with high accuracy even when the timing of the user's voluntary movement is delayed, for example.
  • the contact operation of the user's finger is suppressed.
  • the larger the driving force (repulsive force) of the mounting magnet the earlier the end timing T4 is set.
  • the end timing T4 for turning off the electromagnet is advanced, and when the strength of the repulsive force is low, the end timing T4 is delayed. This makes it possible to control the timing at which the user touches the touch sensor with high accuracy even when the timing of the user's voluntary movement is earlier, for example.
  • the configuration in which the user's body part (fingers) is driven mainly by using an electromagnet has been described.
  • the present invention is not limited to this, and for example, a configuration in which a body part is driven by using a mechanical mechanism may be used.
  • an assist device provided with a wearable link mechanism (exo skeleton) operated by a motor, an actuator, or the like may be adopted. This makes it possible to assist the movement of each part of the user such as the user's fingers, hands, arms, hips, feet, and neck.
  • any assist device capable of moving the user's body part prior to the user's voluntary movement.
  • this technique can be applied to any operation performed by the user. As described above, by using this technique, for example, it is possible to detect a spontaneous motion signal and perform motion assist in advance before the body part actually moves. For example, by applying this technique to musical instrument performance and sports that require high time resolution, training and assist of advanced skill, it is possible to realize these movements with high time accuracy.
  • the movement of the finger when playing a musical instrument may be assisted.
  • an electromagnet or the like provided in the operation portion of the musical instrument realizes motion assist for bringing the user's finger closer to or further away from the user's finger. This makes it possible to accurately assist the timing of the performance and the like.
  • an assist system such as an exoskeleton, it is possible to control the movement of the body when performing sports at an appropriate timing.
  • an input operation requiring a high-speed reaction such as esports or a quick operation such as a touch panel operation at a reception desk is required, it is possible to increase the operation speed by applying this technique. It is also possible to let other users learn the skills of a user with a high operation speed.
  • a signal that detects a change in the user's surrounding environment or the like may be used.
  • a driving operation according to the surrounding environment is required. It is also possible to detect and assist such driving operations by detecting changes in the surrounding environment.
  • the operation assist targets the accelerator operation and the brake operation by the user's foot.
  • Such motion assist includes, for example, a mechanism for moving the user's foot by applying attractive or repulsive force to a magnet attached to the user's foot (thigh, lower leg, ankle, etc.) or sole, or the user's foot. It is realized by using an exo skeleton that moves.
  • the vehicle driven by the user is provided with, for example, an in-vehicle camera that captures the front of the vehicle.
  • the image taken by the in-vehicle camera is input to a computer that performs image recognition and the like.
  • the computer detects the state of the signal in front of the vehicle (red light, green light, etc.) from the image of the vehicle-mounted camera. This detection result is used as a reference signal. Therefore, it can be said that the reference signal is a signal indicating the result of sensing information for determining whether or not the user moves the user's body part (foot) using a predetermined sensor (vehicle-mounted camera).
  • the signal when the signal is a red light, it is assumed that a spontaneous motion signal in which the user tries to depress the accelerator is detected. In this case, the vehicle may accelerate despite the red light. Therefore, an operation assist (for example, pulling the user's foot away from the accelerator pedal) that obstructs the accelerator operation is executed before the user depresses the accelerator. Further, for example, when the signal is a red light, it is assumed that the spontaneous motion signal that causes the stepping motion of the brake is not detected. In this case, the vehicle may proceed ignoring the red light. Therefore, the operation assist for causing the user to step on the brake is executed so that the vehicle can be stopped at an appropriate position. In this way, by using the information referred to when the user performs the accelerator operation or the brake operation as the reference signal, it is possible to avoid the user's erroneous operation or the like.
  • a camera or the like for photographing the rear or side of the vehicle may be used.
  • a following vehicle is detected using a camera that photographs the rear of the vehicle.
  • the operation of depressing the brake is suppressed.
  • sudden braking and the like are avoided, so that it is possible to avoid a collision with a following vehicle.
  • a vehicle running in parallel is detected by using a camera that photographs the side of the vehicle.
  • the accelerator operation for changing lanes is suppressed.
  • the user's steering wheel operation or the like may be suppressed. This makes it possible to avoid a collision with a parallel running vehicle in advance.
  • distance sensors such as LiDAR sensors, radar sensors, and ultrasonic sensors may be used.
  • a reference signal may be generated based on an image taken around a user who is playing sports or the like. For example, when the user is playing tennis, the position of the ball is detected from the image around the user and the trajectory of the ball is calculated. From this result, the timing at which the racket should be moved is estimated, and that information is used as a reference signal. This allows the user to swing the racket at an appropriate timing. In this way, by detecting necessary information from the user's surrounding environment and generating a reference signal, it is possible to accurately control the timing of various operations performed by the user.
  • the type of sensor used to generate the reference signal is not limited.
  • an illuminance sensor that detects the brightness of the surrounding environment may be used. This makes it possible to assist operations such as suppressing the operation of the accelerator or the brake when the user's field of view is dark, for example.
  • weather information based on a road surface sensor, a temperature sensor, a GPS sensor, or the like may be used. This makes it possible to detect, for example, the state of the road surface (freezing, snow cover, etc.) and assist the operation of the accelerator and the brake.
  • a sensor for measuring the wind direction, the air volume, or the like may be used.
  • the information processing method related to this technique is executed by the computer of the body drive system.
  • the information processing method and the program according to the present technology may be executed by a computer mounted on the body drive system and another computer capable of communicating via a network or the like.
  • the information processing method and program according to the present technology can be executed not only in a computer system composed of a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device in which a plurality of modules are housed in one housing are both systems.
  • the information processing method and program execution according to the present technology by the computer system are, for example, when the process of controlling the action part that moves the user's body part is executed by a single computer and each process is executed by a different computer. Includes both cases. Further, the execution of each process by a predetermined computer includes having another computer execute a part or all of the process and acquiring the result.
  • the information processing method and program related to this technology can be applied to the configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • the present technology can also adopt the following configurations.
  • An information processing device including a control unit that is attached to the body part of the user and controls an action unit that moves the body part of the user at a third time point included in the period of.
  • the control unit detects a motion signal that generates the user's voluntary movement from a signal indicating the user's voluntary movement, and controls the action unit with reference to the detection timing of the motion signal. Information processing device to set.
  • the control unit is an information processing device that controls the action unit so that when the motion signal is detected, the movement of the user's body part is accelerated or decelerated with reference to the second time point.
  • the control unit is an information processing device that controls the action unit based on a reference signal relating to the operation of the user's body part.
  • the reference signal is a signal indicating the timing of the operation of the body part of the user.
  • (6) The information processing apparatus according to (5).
  • the control unit is an information processing device that sets at least one of the third time point and the fourth time point according to the driving force for driving the action unit.
  • the acting part can be driven to promote or suppress the movement of the user's body part.
  • the control unit promotes the movement of the user's body part, the larger the driving force of the action unit is, the slower the third time point is set, and when the movement of the user's body part is suppressed, the action.
  • An information processing device that sets the fourth time point earlier as the driving force of the unit increases.
  • the reference signal is a signal indicating the necessity of a predetermined operation performed by the user by moving the body part of the user.
  • the control unit compares the necessity of the predetermined operation indicated by the reference signal with the presence / absence of the motion signal that generates the predetermined operation, and controls the action unit based on the comparison result. .. (9) The information processing apparatus according to (8). The control unit controls the action unit so that the user's body part performs the predetermined operation when the motion signal that causes the predetermined operation is not detected in a situation where the predetermined operation is required. Information processing equipment. (10) The information processing apparatus according to (8) or (9). When the motion signal that causes the predetermined operation is detected in a situation where the predetermined operation is not necessary, the control unit controls the action unit so that the body part of the user does not perform the predetermined operation. Information processing device to control.
  • the information processing apparatus is an information processing device indicating a result of sensing information for determining whether or not the user moves a body part of the user by using a predetermined sensor.
  • the information processing apparatus according to any one of (4) to (10).
  • the movement of the body part of the user is an movement for performing an input operation related to a predetermined application.
  • the reference signal is an information processing device that is a signal indicating the timing of the input operation.
  • the reference signal is an information processing device that is a motion signal detected from a signal indicating a voluntary motion of another user different from the user.
  • the information processing apparatus according to any one of (1) to (13).
  • the signal indicating the voluntary movement of the user is an information processing device which is at least one of the user's myoelectric signal, the user's electroencephalogram signal, or the user's spinal cord signal.
  • the acting part is the first magnetic field acting part that receives a force corresponding to the magnetic field.
  • the control unit electrically changes the magnetic field between the first magnetic field acting unit and the second magnetic field acting unit provided separately from the first magnetic field acting unit to control the first magnetic field acting unit.
  • Information processing device (16)
  • At least one of the first magnetic field acting part and the second magnetic field acting part includes an electromagnet, and contains an electromagnet.
  • the control unit is an information processing device that controls the electromagnet so that a magnetic force acting as an attractive force or a repulsive force is generated between the first magnetic field acting unit and the second magnetic field acting unit.
  • the movement of the body part of the user is a contact movement in which the user brings the body part of the user into contact with the movement target.
  • the second magnetic field acting unit is an information processing device provided in the operating target.
  • the body part of the user is the finger of the user.
  • the contact operation is a contact operation with the user's finger.
  • the operation target is an information processing device that is an input device that accepts the contact operation.

Abstract

本技術の一形態に係る情報処理装置は、制御部を具備する。前記制御部は、第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御する。

Description

情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体
 本技術は、身体を駆動して動作アシストを行う装置に適用可能な情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体に関する。
 従来、ユーザの身体を動かして身体運動を発生させる方法が開発されている。例えば、筋電気刺激(EMS:Electrical Muscle Stimulation)を利用して運動を発生させる方法や、関節駆動の機械的なアクチュエータ等を用いて運動を発生させる方法が知られている。これらの方法を用いることで、様々な動作のアシスト等を実現することが可能である。
 例えば、非特許文献1には、EMSを用いて人間の反応速度を高速化するシステムについて記載されている。このシステムは、例えばユーザが視覚的な刺激を受けてから反応を起こすまでの特定の期間内に、EMSを用いた身体運動を先行して発生させるように構成される。このEMSによる身体運動を発生させるタイミングを適正に設定することで、ユーザ自身が動作を行ったという感覚をほとんど損なうことなく、ユーザの動作をアシストすることが可能となっている。
Shunichi Kasahara, Jun Nishida, and Pedro Lopes. "Preemptive Action: Accelerating Human Reaction using Electrical Muscle Stimulation Without Compromising Agency." In CHI Conference on Human Factors in Computing Systems Proceedings (CHI 2019), Glasgow, Scotland UK. ACM, New York, NY, USA. May 4-9, 2019. Paper No.643, 15pages
 このように人間の動作をアシストする場合、アシストのタイミングによっては、ユーザの動作のタイミングがずれるといった可能性がある。このため、ユーザの動作のタイミングを適切に制御することが可能な技術が求められている。
 以上のような事情に鑑み、本技術の目的は、ユーザの動作のタイミングを適切に制御することが可能な情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体を提供することにある。
 上記目的を達成するため、本技術の一形態に係る情報処理装置は、制御部を具備する。
 前記制御部は、第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御する。
 この情報処理装置では、第1の時点でのユーザの随意運動を示す信号に伴い第2の時点で生じるユーザの身体部分の動作が、身体部分に装着された作用部を動かすことで補助される。この作用部は、第1の時点から第2の時点までの期間内の第3の時点で駆動される。これにより、ユーザの身体部分の動作に先行してアシストを開始することが可能となり、ユーザの動作のタイミングを適切に制御することが可能となる。
 前記制御部は、前記ユーザの随意運動を示す信号から前記ユーザの随意運動を発生させる運動信号を検出し、前記運動信号の検出タイミングを基準として、前記作用部を制御する前記第3の時点を設定してもよい。
 前記制御部は、前記運動信号が検出された場合、前記第2の時点を基準として、前記ユーザの身体部分の動作が加速又は減速するように前記作用部を制御してもよい。
 前記制御部は、前記ユーザの身体部分の動作に関する参照信号に基づいて、前記作用部を制御してもよい。
 前記参照信号は、前記ユーザの身体部分の動作のタイミングを示す信号であってもよい。この場合、前記制御部は、前記ユーザの身体部分の動作のタイミングに基づいて、前記作用部を制御する前記第3の時点、又は前記作用部の制御を終了する第4の時点の少なくとも一方を設定してもよい。
 前記制御部は、前記作用部を駆動する駆動力に応じて、前記第3の時点、又は前記第4の時点の少なくとも一方を設定してもよい。
 前記作用部は、前記ユーザの身体部分の動作を促進又は抑制するように駆動可能であってもよい。この場合、前記制御部は、前記ユーザの身体部分の動作を促進する場合、前記作用部の駆動力が大きいほど前記第3の時点を遅く設定し、前記ユーザの身体部分の動作を抑制する場合、前記作用部の駆動力が大きいほど前記第4の時点を早く設定してもよい。
 前記参照信号は、前記ユーザが前記ユーザの身体部分を動かして行う所定の動作の要否を示す信号であってもよい。この場合、前記制御部は、前記参照信号が示す前記所定の動作の要否と前記所定の動作を発生させる前記運動信号の有無とを比較し、当該比較結果に基づいて前記作用部を制御してもよい。
 前記制御部は、前記所定の動作が必要な状況において前記所定の動作を発生させる前記運動信号が検出されなかった場合、前記ユーザの身体部分が前記所定の動作を行うように前記作用部を制御してもよい。
 前記制御部は、前記所定の動作が必要ではない状況において前記所定の動作を発生させる前記運動信号が検出された場合、前記ユーザの身体部分が前記所定の動作を行わないように前記作用部を制御してもよい。
 前記参照信号は、前記ユーザが前記ユーザの身体部分を動かすか否かを判断するための情報を所定のセンサを用いてセンシングした結果を示す信号であってもよい。
 前記ユーザの身体部分の動作は、所定のアプリケーションに関する入力操作を行うための動作であってもよい。前記参照信号は、前記入力操作のタイミングを示す信号であってもよい。
 前記参照信号は、前記ユーザとは異なる他のユーザの随意運動を示す信号から検出された運動信号であってもよい。
 前記ユーザの随意運動を示す信号は、前記ユーザの筋電信号、前記ユーザの脳波信号、又は前記ユーザの脊髄信号のうち少なくとも1つであってもよい。
 作用部は、磁界に応じた力を受ける第1磁界作用部であってもよい。この場合、前記制御部は、前記第1磁界作用部と前記第1磁界作用部とは別に設けられた第2磁界作用部との間の磁界を電気的に変化させて、前記第1磁界作用部を制御してもよい。
 前記第1磁界作用部及び前記第2磁界作用部の少なくとも一方は、電磁石を含んでもよい。この場合、前記制御部は、前記第1磁界作用部と前記第2磁界作用部との間に、引力又は斥力となる磁力が発生するように前記電磁石を制御してもよい。
 前記ユーザの身体部分の動作は、前記ユーザが前記ユーザの身体部分を動作対象に接触させる接触動作であってもよい。この場合、前記第2磁界作用部は、前記動作対象に設けられてもよい。
 前記ユーザの身体部分は、前記ユーザの指であってもよい。この場合、前記接触動作は、前記ユーザの指による接触操作であってもよい。また前記動作対象は、前記接触操作を受け付ける入力装置であってもよい。
 本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処
理方法であって、第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御することを含む。
 本技術の一形態に係るコンピュータが読み取り可能な記録媒体は、コンピュータシステムに以下のステップを実行させるプログラムを記録する。
 第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御するステップ。
本技術の第1の実施形態に係る身体駆動システムの構成例を示す模式図である。 図1に示す身体駆動システムの機能的な構成例を示すブロック図である。 筋電信号の一例を示すグラフである。 身体駆動部による基本的な動作アシストを示す模式図である。 身体駆動システムの基本的な動作を説明するための模式図である。 動作アシストの開始タイミングについて説明するための模式図である。 参照信号を用いない動作アシストの流れを示すブロック図である。 参照信号を用いない動作アシストの一例を示すフローチャートである。 指の動作を加速又は減速させる動作アシストの一例を示す模式図である。 参照信号を用いる動作アシストの流れを示すブロック図である。 参照信号を用いる動作アシストの一例を示すフローチャートである。 接触操作のタイミングを制御する動作アシストの一例を示す模式図である。 図12に示す動作アシストの制御内容を示すグラフである。 他のユーザと連動する動作アシストの一例を示す模式図である。 図14に示す動作アシストの流れを示すブロック図である。 図14に示す動作アシストの制御内容を説明するための模式図である。 認知的な判断を伴う動作に対する動作アシストの一例を示す模式図である。 第2の実施形態に係る身体駆動システムの構成例を示す模式図である。 第3の実施形態に係る身体駆動システムの構成例を示す模式図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 <第1の実施形態>
 [身体駆動システムの構成]
 図1は、本技術の第1の実施形態に係る身体駆動システムの構成例を示す模式図である。
 身体駆動システム100は、ユーザ1の体の一部である身体部分の動作を補助する動作アシストを実現するシステムである。身体駆動システム100では、例えばユーザ1の動作が適正に行われるように、身体部分の動作を促す動作アシストや、身体部分の動作を抑制する動作アシスト等が行われる。
 身体駆動システム100による動作アシストは、身体部分に装着された作用部を動かすことで実現される。例えばユーザ1の手の指2、手のひら、腕、足、胴体、頭部等の身体部分を動かすことができるように作用部を構成することで、各身体部分の動作を補助することが可能である。
 本実施形態では、身体駆動システム100により、ユーザ1が身体部分を動作対象に接触させる動作を補助する動作アシストが行われる。すなわち、動作アシストの対象となるユーザ1の身体部分の動作は、ユーザ1がユーザ1の身体部分を動作対象に接触させる接触動作である。ここで、接触動作とは、例えばユーザ1と対象との接触を伴う一連の動作である。例えば、ボタンを押す、画面に触れる、物をつかむ等の動作は、接触動作に含まれる。
 なお身体駆動システム100による動作アシストの対象は、接触動作に限定されるわけではない。例えば、ユーザ1が道具を使用して行う動作(ユーザ1が筆を使う際の手の甲(手首)の動作等)や、力の加減を必要とする動作(陶芸等を行う際にわずかに指2を浮かせる動作等)を補助するような動作アシストが実現されてもよい。このように、対象への接触を前提としない動作を補助することも可能である。
 図1に示す身体駆動システム100は、ユーザ1が自身の指2を動作対象(後述するタッチセンサ45)に接触させる接触操作を補助するように構成される。接触操作とは、例えばユーザ1が指2を動作対象に接触させて行う操作である。
 本実施形態では、ユーザ1の指2は、ユーザ1の身体部分の一例である。またユーザ1の指による接触操作は、上記した接触動作の一例である。
 身体駆動システム100では、装着磁石ユニット10と、電磁石ユニット20とを用いて、ユーザ1の指2が動かされる。
 装着磁石ユニット10は、ユーザ1が装着して用いるユニットであり、ユーザ1の指2に装着される装着磁石11を含む。電磁石ユニット20は、装着磁石11に作用する磁界を発生する電磁石21を含む。
 図1では、ユーザ1の右手の人差し指に装着磁石11が装着されている。この場合、右手の人差し指による接触操作を補助する動作アシストが行われる。もちろん、装着磁石11はユーザ1の他の指2に装着されてもよい。装着磁石ユニット10は、上記した作用部の一例である。
 例えば、電磁石21に入力する電流を制御して、装着磁石11を引き付ける磁力(引力)や、装着磁石11を引き離す磁力(斥力)が生成される。これらの磁力(引力や斥力)が装着磁石11に作用することで、装着磁石11が装着されたユーザ1の指2が動かされる。
 また身体駆動システム100では、動作アシストの対象となる指2を動かす随意運動(Voluntary Movement)を示す信号がモニタリングされる。
 ユーザ1の随意運動とは、例えばユーザ1が意識的に行う運動である。例えば体の各部を動かす随意運動により実現される行為が、ユーザ1の動作となる。一例として、ユーザ1が指2を対象に接触させる動作を行う場合、その指2の各関節を曲げる随意運動によりユーザ1が意図した動作が実現される。
 随意運動を示す信号は、例えば随意運動に伴い変化する生体信号であり、随意運動の発生を示すことが可能な信号である。例えば、ユーザ1が随意運動を行う場合、ユーザ1の脳では、筋肉を動かす指令を伝える信号が生成される。この信号が脊髄等の神経系を介して対象となる筋肉に伝達され、筋肉が収縮することで随意運動が発生する。この過程で伝達される信号が随意運動を示す信号となる。
 従って、随意運動を示す信号をモニタリングすることで、体の各部が動く前にその運動の発生を検出することが可能となる。
 本実施形態では、随意運動を示す信号として、筋電信号が用いられる。図1では、ユーザ1の腕に装着された筋電センサ40により、動作アシストの対象となる指2を動かす筋肉を動かすための筋電信号が検出される。この筋電センサ40により検出された筋電信号を用いて、電磁石21が制御される。
 これにより、例えばユーザ1の指2が実際に動く前に電磁石21を駆動して、動作アシストを開始するといったことが可能となる。
 以下では、身体駆動システム100の具体的な構成について説明する。
 図2は、図1に示す身体駆動システム100の機能的な構成例を示すブロック図である。身体駆動システム100は、身体駆動部30と、筋電センサ40と、タッチセンサ45と、アプリケーションコントローラ46と、電磁石コントローラ50とを有する。
 身体駆動部30は、ユーザ1の身体を駆動する機構であり、装着磁石ユニット10と、電磁石ユニット20と、電磁石駆動部25とを含む。
 装着磁石ユニット10は、ユーザ1の指2に装着されユーザ1の指3を動かすユニットであり、装着磁石11を有する。装着磁石11は、ユーザ1の指2に装着される永久磁石である。装着磁石11としては、典型的には小型のネオジウム磁石が用いられる。これにより、ユーザ1の指2に対して比較的強い引力や斥力を容易に発生させることが可能である。
 このように、装着磁石ユニット10は、磁界に応じた力を受けてユーザ1の指2を動かす素子であると言える。本実施形態では、装着磁石ユニット10は、作用部に相当する。また装着磁石ユニット10は、磁界に応じた力を受ける第1磁界作用部として機能する。
 装着磁石11は、例えば図示しない装着具を介して、ユーザ1の指2に装着される。例えば指輪型の装着具、バンド型の装着具、あるいは袋型の装着具に装着磁石11が固定される。装着磁石11は、例えば図1に示すように指2の先端付近の爪側に配置される。これにより、指2の腹側の触覚を残すことが可能である。また装着磁石11は、一方の磁極(S極又はN極)が、爪側に向くように配置される。
 装着磁石11の種類や配置等の具体的な構成は限定されない。例えば、1つの指2に複数の装着磁石11が配置されてもよい。また例えば、指2の側面や腹側に装着磁石11が配置されてもよい。またユーザ1の各指2に装着磁石11が直接固定されてもよい。
 電磁石ユニット20は、装着磁石ユニット10(装着磁石11)に作用する磁界を発生させる電磁石21を有する。電磁石21は、例えばコイルと当該コイルが巻かれた鉄心とから成り、コイルに電流を流すことで鉄心を磁化して磁界を発生させる。このコイルに流す電流の値や向きを変えることで磁界が変化する。これにより、装着磁石ユニット10に作用する力の向きや強度を制御することが可能となる。
 このように、電磁石ユニット20は、装着磁石ユニット10とは別に設けられ、装着磁石ユニット10を動かす磁界を発生させる素子であると言える。
 本実施形態では、電磁石ユニット20は、第2磁界作用部として機能する。
 図1に示すように、電磁石ユニット20は、ユーザ1の指2の動作対象であるタッチセンサ45に設けられる。具体的には、電磁石ユニット20は、タッチセンサ45のユーザ1の指2が接触する接触面とは反対側(例えば接触面の下側)に配置される。
 これにより、タッチセンサ45に指2を引き付ける、あるいはタッチセンサ45から指2を遠ざけるといった動作アシストが可能となる(図3参照)。
 このように、本実施形態では、ユーザ1の身体側に設けられる第1磁界作用部(装着磁石ユニット10)に永久磁石(装着磁石11)が用いられ、動作対象側に設けられる第2磁界作用部(電磁石ユニット20)に電磁石21が設けられる。
 これに限定されず、例えば、身体側の第1磁界作用部に電磁石が設けられ、動作対象側の第2磁界作用部に永久磁石が設けられてもよい。また例えば、身体側の第1磁界作用部と動作対象側の第2磁界作用部との双方に電磁石が設けられてもよい。
 このように、第1磁界作用部及び第2磁界作用部の少なくとも一方には、電磁石が含まれる。電磁石を用いることで、ユーザ1の身体部分(指2)の動きを容易に制御ことが可能となる。
 電磁石駆動部25は、電磁石ユニット20に設けられた電磁石21を駆動する。電磁石駆動部25は、後述する電磁石制御部52(身体駆動処理制御部54)により生成される制御信号に応じた駆動信号を生成し、各電磁石21に供給する。駆動信号は、PWM(Pulse Width Modulation)信号等のデジタル信号でもよいし、アナログの電流信号でもよい。
 電磁石駆動部25の具体的な構成は限定されず、例えば電磁石21を駆動可能な電流源を用いて適宜構成される。なお、電磁石駆動部25は、電磁石コントローラ50の一部として構成されてもよい。
 筋電センサ40は、ユーザ1の筋肉を動かすための筋電信号を検出するセンサである。筋電信号は、筋肉を動かす活動電位の時間変化を示す信号である。この信号が、ユーザ1の随意運動を示す信号として用いられる。
 本実施形態では、ユーザ1の皮膚の表面に装着された表面電極41を用いて、表面筋電を検出する筋電センサ40が用いられる。表面筋電を用いることで、ユーザ1の負担を軽減することが可能となる。
 表面電極41は、1対の測定電極41a及び41bと、参照電極41cとを含む。
 測定電極41a及び41bは、動作アシストの対象となる身体部位(ここでは右手のひとさし指2)を動かす筋肉の筋電信号が検出可能な位置に装着される。測定電極41a及び41bの間の電位の変化が、筋電信号として検出される。参照電極41cは、測定電極41a及び41bから離れた位置に装着される。参照電極41cの電位を参照することで、目的とする筋電信号を精度よく検出することが可能である。なお参照電極41cを除いた構成が用いられてもよい。
 図3は、筋電信号の一例を示すグラフである。図3には、筋電信号(活動電位)を時間軸に沿ってプロットした筋電図(EMG:Electromyography)のグラフが図示されている。グラフの縦軸は測定電極41a及び41bの間で測定される活動電位であり、横軸は時間である。
 例えば、ユーザ1が身体部分を動かす随意運動を行う場合、活動電位が大きく変化する(正負の振幅が大きくなる)。図3には、活動電位が大きく変化する4つの波形(エンベロープ)が含まれる。これらの波形が、実際に筋肉を動かす信号を伝達することになる。
 以下では、ユーザ1の随意運動を発生させる信号、すなわち実際に筋肉を動かす信号を自発運動信号S1と記載する。自発運動信号S1は、随意運動そのものを示す生体信号(生体随意運動信号)であると言える。
 例えば筋電図では、随意運動が行われる場合に、自発運動信号S1(活動電位が大きく変化する波形)が発生する。また自発運動信号S1以外の筋電信号を定常信号S0と記載する。本実施形態では、自発運動信号S1は、運動信号に相当する。
 なお上記したように、実際に筋肉が収縮する筋発揮が発生するのは、活動電位の変化(自発運動信号S1)が現れてから一定の時間が経過した後である。また、活動電位が変化してから筋肉の収縮にかかる時間(筋発揮の遅延時間)は、身体部分や対象とする筋肉の種類によって異なる。
 これらの遅延時間を、前もって記録することで、身体部分が実際に動くタイミング等を予め推定することが可能である。
 また筋電センサ40では、所定のセンシングレート(例えば1kHz等)で、活動電位が検出される。このセンシングレートは、例えば筋発揮の遅延時間よりも短い間隔となるように適宜設定される。
 図2に戻り、タッチセンサ45は、接触面に対するユーザ1の指2の接触を検出するセンサである。例えば、静電容量方式の接触検出センサ、圧力センサ、機械式のボタン等がタッチセンサ45として用いられる。
 タッチセンサ45の検出結果は、接触操作によるユーザの操作入力として、後述するアプリケーションコントローラ46や電磁石コントローラ50に出力される。このようにタッチセンサ45は、ユーザ1の指2による接触操作を受け付ける入力装置として機能する。
 アプリケーションコントローラ46は、タッチセンサ45を利用するアプリケーションを動作させるための演算装置である、アプリケーションコントローラ46としては、例えばPCやゲーム装置等のコンピュータが用いられる。
 またアプリケーションコントローラ46は、図示しないディスプレイ等の表示装置に接続され、タッチセンサ45を利用するアプリケーション(例えばリズムゲーム等)の操作画面等を表示する。
 アプリケーションコントローラ46では、例えばアプリケーションの操作画面を生成する処理、アプリケーションの進行に応じて操作画面を変更する処理、あるいはユーザ1が行った接触操作の入力等をアプリケーションの動作に反映する処理等の様々な処理が実行される。
 電磁石コントローラ50は、電磁石ユニット20の電磁石21の動作を制御する制御ユニットである。電磁石コントローラ50は、記憶部51と、電磁石制御部52とを有する。
 記憶部51は、不揮発性の記憶デバイスである。記憶部51としては、例えばSSD(Solid State Drive)等の固体素子を用いた記録媒体や、HDD(Hard Disk Drive)等の磁気記録媒体が用いられる。この他、記憶部51として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。
 記憶部51には、本実施形態に係る制御プログラムが記憶される。制御プログラムは、例えば電磁石コントローラ50全体の動作を制御するプログラムである。この他、記憶部51に記憶される情報は限定されない。
 本実施形態では、記憶部51は、プログラムが記録されているコンピュータが読み取り可能な記録媒体に相当する。また制御プログラムは、記録媒体に記録されたプログラムに相当する。
 電磁石制御部52は、電磁石コントローラ50の動作を制御する。電磁石制御部52は、例えばCPUやメモリ(RAM、ROM)等のコンピュータに必要なハードウェア構成を有する。CPUが記憶部51に記憶されている制御プログラムをRAMにロードして実行することにより、種々の処理が実行される。電磁石制御部52は、本実施形態に係る情報処理装置に相当する。
 電磁石制御部52として、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。また例えばGPU(Graphics Processing Unit)等のプロセッサが電磁石制御部52として用いられてもよい。また電磁石制御部52は、上記したアプリケーションコントローラ46を構成するハードウェア等を用いて構成されてもよい。
 本実施形態では、電磁石制御部52のCPUが本実施形態に係るプログラム(制御プログラム)を実行することで、機能ブロックとして、自発運動信号検出部53と、身体駆動処理制御部54とが実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが適宜用いられてもよい。
 自発運動信号検出部53は、ユーザ1の随意運動を示す信号を取得する。具体的には、筋電センサ40により所定のセンシングレートで検出された筋電信号が逐次読み込まれる。
 また自発運動信号検出部53は、筋電信号から自発運動信号S1を検出する。具体的には、筋電信号の値(活動電位)から、自発運動信号S1が発生した時刻が検出される。
 自発運動信号検出部53では、筋電信号が示す活動電位が所定の閾値を超えた場合に、自発運動信号S1が発生したと判定される。そして、自発運動信号S1が発生した時刻が、自発運動信号S1の検出タイミングT0として出力される。
 図3には、筋電信号から検出される自発運動信号S1の検出タイミングT0が、点線で示されている。検出タイミングT0は、自発運動信号S1の波形が始まる時刻に対応する。
 活動電位を判定する閾値は、例えば自発運動信号S1が適正に判定可能となるように、例えば定常信号S0のレベル等に応じて設定される。
 これにより、実際の運動が発生する前に、運動を実行しようとしている信号(自発運動信号S1)を検出することができる。これは、人間の身体が駆動する前に、該当する筋肉が筋発揮するための筋活動電位が出されるためである。
 このように、自発運動信号検出部53では、筋電センサ40(EMG)を用いて筋肉の屈筋に先立って発生する自発運動信号S1が検出される。
 身体駆動処理制御部54は、身体駆動部30により行われる動作アシスト(身体駆動処理)を制御する。
 上記したように、身体駆動部30では、装着磁石11に作用する磁界、すなわち電磁石21が作りだす磁界により、装着磁石11が駆動される。従って、身体駆動処理制御部54は、装着磁石ユニット10(装着磁石11)と電磁石ユニット20(電磁石21)との間の磁界を電気的に変化させて、装着磁石ユニット10を制御する。
 具体的には、身体駆動処理制御部54では、電磁石21を制御するための制御信号が生成される。例えば、装着磁石11を制御するタイミング、方向、期間、強度等の制御パラメータが設定される。この制御パラメータに基づいて、電磁石21を制御するための制御信号が生成される。生成された制御信号は、電磁石駆動部25に出力される。
 このように、身体駆動処理制御部54は、電磁石ユニット20(電磁石20)が発生する磁界を制御することで、ユーザ1の身体部分を動かす作用部である装着磁石ユニット10(装着磁石11)を制御する。本開示において、作用部を制御することは、作用部の動きを制御することである。ここでは、身体駆動処理制御部54により、装着磁石11を制御するタイミング、方向、期間、強度等が制御される。なお、装着磁石11を制御するタイミングとは、装着磁石11の制御を開始するタイミングであり、装着磁石11を駆動するタイミングである。
 図4は、身体駆動部30による基本的な動作アシストを示す模式図である。ここでは、装着磁石11のN極が電磁石21に向けられているものとする。
 図4Aでは、電磁石21のタッチセンサ45側がS極となるように電磁石21に電流を流す制御信号が生成され、電磁石駆動部25に出力される。この場合、装着磁石11と電磁石21との間には引力となる磁力が発生する。この結果、ユーザ1の指2は、タッチセンサ45に近づく方向に動かされる。
 図4Bでは、電磁石21のタッチセンサ45側がN極となるように電磁石21に電流を流す制御信号が生成され、電磁石駆動部25に出力される。この場合、装着磁石11と電磁石21との間には斥力となる磁力が発生する。この結果、ユーザ1の指2は、タッチセンサ45から離れる方向に動かされる。
 なお、装着磁石11のS極が電磁石21に向けられている場合には、電磁石21のタッチセンサ45側の磁極をN極及びS極にすることで、引力及び斥力を発生させることが可能である。
 このように、身体駆動処理制御部54は、装着磁石ユニット10(装着磁石11)と電磁石ユニット20(電磁石21)との間に、引力又は斥力となる磁力が発生するように電磁石21を制御する。例えば引力を発生させた場合には、ユーザ1が指2をタッチセンサ45に接触させる接触操作を促進することが可能となる。逆に、斥力(反発力)を発生させた場合、接触操作を抑制することが可能となる。
 身体駆動処理制御部54では、このように装着磁石ユニット10(装着磁石11)を動かす処理のトリガーとして、自発運動信号検出部53の検出結果が用いられる。例えば、自発運動信号S1の検出タイミングT0を基準に、装着磁石ユニット10を制御するタイミング(制御タイミングT3)が設定される。あるいは、自発運動信号S1が予定の時刻までに検出されなかった場合に、装着磁石ユニット10を駆動するといった制御が行われる。この点については、後で詳しく説明する。
 また身体駆動処理制御部54は、ユーザ1の身体部分の動作に関する参照信号を取得し、取得された参照信号に基づいて、装着磁石ユニット10(装着磁石11)を制御する。参照信号は、例えば、アプリケーションコントローラ46等の他のコンピュータや、ユーザ1の動作の状況等を監視するセンサ等から出力される外部信号である。
 ここでは、ユーザ1の指2による接触操作のタイミングや、接触操作の要否等を示す信号が参照信号として読み込まれる。このような参照信号に基づいて、装着磁石11を駆動するタイミングや方向を含む制御パラメータが設定される。
 なお、参照信号を用いることなく、装着磁石11を駆動するといった処理も可能である。
 本実施形態では、自発運動信号検出部53及び身体駆動処理制御部54が共動することで、制御部が実現される。
 図5は、身体駆動システム100の基本的な動作を説明するための模式図である。図5に示すように、ユーザ1の脳3では、筋肉4を制御するための信号(Motor Control Signal)が生成される。ユーザ1が体の一部を動かす動作(随意運動)を行う場合、筋肉4を制御するための信号として自発運動信号S1(Voluntary Signal)が生成され筋肉4に伝達される。この自発運動信号S1が筋肉4に到達すると、筋肉4が収縮を開始して筋肉運動(Muscle Movement)が発生する。
 身体駆動システム100は、この筋肉運動を身体駆動部30(装着磁石11及び電磁石21等)を用いてアシストするシステムである。このため、最終的にユーザ1の身体部分(指2)の運動は、身体駆動部30による運動と筋肉運動とを組み合わせた運動(Integrated Movement)となる。
 例えば、ユーザ1の筋肉運動が発生してから動作アシストを行う場合、最終的な動作のタイミングがずれるといった事態や、誤った動作をアシストするといった事態が発生する可能性がある。
 そこで、本実施形態では、筋電センサ40を用いてユーザ1が動こうとしている自発運動信号S1を検出し、実際の運動行動に先立って、装着磁石11及び電磁石21を用いた電磁駆動による動作アシストが行われる。
 図4を参照して説明したように、電磁駆動による動作アシストでは、電磁石21を作動させて、装着磁石11が装着されているユーザ1の指2に引力や反発力を発生させることで、ユーザ1の指2が動かされる。
 一般に、電磁石21の駆動開始から身体部分に運動が発生するまでの遅延時間は、筋電センサ40での筋発揮(自発運動信号S1)の検出から身体部分に運動が発生するまでの遅延時間よりも小さい。このため、例えば、指2の運動において、自発運動信号S1の検出後、即時に電磁石21を駆動させることで、指2の動きを例えば20mSec程度加速させることが可能である。
 このような特性を利用して、身体駆動システム100では、自発運動信号S1を参照して、ユーザ1自身の運動前(もしくは同時)に身体の動きに変調を加えるように、動作アシストが開始される。
 図6は、動作アシストの開始タイミングについて説明するための模式図である。
 以下では、筋電センサ40及び自発運動信号検出部53により筋電信号(活動電位)が測定されるタイミングを測定タイミングT1と記載する。
 また、自発運動信号S1により指2が実際に動作するタイミングを動作タイミングT2と記載する。動作タイミングT2は、例えば指2の特性(筋発揮の遅延時間等)に基づいて設定される。例えば、測定タイミングT1において自発運動信号S1が検出された場合、動作タイミングT2に、実際の動作が生じると予測できる。また測定タイミングT1において自発運動信号S1が検出されなかった場合、動作タイミングT2にはユーザ1の指2は動かないと予測できる。このように動作タイミングT2は、測定タイミングT1から見た随意運動の有無を予測したタイミングであると言える。
 また、動作アシストを開始するタイミングを制御タイミングT3と記載する。制御タイミングT3は、装着磁石ユニット10(装着磁石11)を制御するタイミング、すなわち電磁石21を駆動するタイミングであり、身体駆動処理制御部54により設定される。
 測定タイミングT1、動作タイミングT2、及び制御タイミングT3は、それぞれ、第1の時点、第2の時点、及び第3の時点に相当する。
 本実施形態では、自発運動信号検出部53は、測定タイミングT1の筋電信号(ユーザ1の随意運動を示す信号)を取得する。
 この時、筋電信号の活動電位についての閾値判定が行われ、自発運動信号S1が発生したか否かが判定される。例えば活動電位が変化して自発運動信号S1が検出された場合、測定タイミングT1=検出タイミングT0となる。この場合、随意運動が開始されユーザ1の指2が実際に動作するのは、測定タイミングT1よりも後の動作タイミングT2となる。
 身体駆動処理制御部54では、動作タイミングT2に先行して、ユーザ1の指2を駆動する動作アシストが行われるように制御タイミングT3が設定される。この時、動作アシストの内容(装着磁石11を駆動する方向等)は、動作タイミングT2で発生すると予測される動作を補助するように設定される。
 すなわち本実施形態では、身体駆動処理制御部54は、測定タイミングT1のユーザ1の筋電信号に基づいて、測定タイミングT1からユーザ1の筋電信号に応じたユーザ1の指2の動作が生じる動作タイミングT2までの期間に含まれる制御タイミングT3で、ユーザ1の指2に装着されユーザ1の指2を動かす装着磁石11を制御する。これにより、適切なタイミングで遅滞なく動作アシストを行うことが可能となり、ユーザの動作のタイミングを適切に制御することが可能となる。
 なお制御タイミングT3は、測定タイミングT1から動作タイミングT2までの期間内、すなわちT1≦T3≦T2となる範囲であれば任意に設定されてよい。
 例えば、制御タイミングT3が、測定タイミングT1と実質的に同じタイミング(T3=T1)に設定されてもよい。これにより、例えばユーザ1の指2の動作を十分に加速するといったことが可能となる。
 また例えば、制御タイミングT3が、動作タイミングT2と実質的に同じタイミング(T3=T2)に設定されてもよい。これにより、例えばユーザ1に意識させることなく動作アシストを行うことが可能である。
 このように、実際の随意運動に先行して装着磁石11を動かす先行駆動(Preceding Actuation)を行うことで、様々な動作アシストを実現することができる。
 例えば、ユーザ1の指2による接触操作を加速、あるいは減速させることが可能となる(図9等参照)。また例えば、参照信号を用いることで、接触操作のタイミング等を制御することが可能となる(図13及び図16等参照)。また例えば、ユーザ1が接触操作を誤って行ってしまう場合等に、誤りを正すような動作アシストも可能である(図17等参照)。
 以下では、各動作アシストについて具体的に説明する。
 図7は、参照信号を用いない動作アシストの流れを示すブロック図である。図8は、参照信号を用いない動作アシストの一例を示すフローチャートである。
 参照信号を用いない動作アシストでは、例えば自発運動信号S1をトリガーとして、予め設定された制御タイミングT3に従って、動作アシストが開始される。
 この場合、図7に示すように、身体駆動処理制御部54には、自発運動信号検出部53の検出結果(自発運動信号S1の有無)が入力される。また身体駆動処理制御部54では、その検出結果に基づいて制御信号が生成される。生成された制御信号は、身体駆動部30(電磁石駆動部25)に出力される。
 以下では、図8を参照して、電磁石コントローラ50における処理の流れを説明する。
 図8に示す処理は、動作アシストを行う際に繰り返し実行されるループ処理である。
 まず、自発運動信号検出部53により、筋電信号から自発運動信号S1が検出される(ステップ101)。具体的には、筋電信号の値(活動電位)が所定の閾値を超えたか否かが判定される。例えば筋電信号の値が閾値を超えた場合、自発運動信号S1が発生したと判定される。また筋電信号の値が閾値を超えなかった場合、自発運動信号S1が発生していないと判定される。
 この判定処理の結果は、例えば自発運動信号S1の有無を表すトリガー信号として出力される。あるいは、自発運動信号S1が検出された測定タイミングT1が、検出タイミングT0として出力されてもよい。
 次に、身体駆動処理制御部54により、自発運動信号検出部53の検出結果に基づいて、動作アシスト(身体駆動処理)の内容が決定される(ステップ102)。具体的には、装着磁石11(電磁石21)を駆動するための制御パラメータが設定される。
 例えば自発運動信号S1が検出された場合、自発運動信号S1の検出タイミングT1を基準として、装着磁石11を制御する制御タイミングT3が設定される。ここでは、例えば検出タイミングT1から所定の待ち時間が経過した後の時刻が制御タイミングT3に設定される。例えば、装着磁石11を即座に駆動する場合、所定の待ち時間は0に設定される。なお所定の待ち時間は、筋発揮の遅延時間以下となる範囲で適宜設定されてよい。
 また、身体駆動処理制御部54では、装着磁石11を駆動する方向及び期間が設定される。ここでは、装着磁石11を駆動する方向及び期間が、予め設定された方向及び期間に設定される。
 なお自発運動信号S1が検出されなかった場合には、以降の処理は実行されない。
 次に、身体駆動処理制御部54により、設定された制御パラメータに応じて電磁石21の制御信号が生成され、電磁石駆動部25に出力される(ステップ103)。制御信号は、例えば制御タイミングT3で電圧が立ち上がるパルス信号である。このパルス信号の電圧の正負が、電磁石21に発生する磁極の向きに対応する。またパルス信号の幅が、磁力を発生する期間、すなわち装着磁石11を駆動する期間に対応する。
 なお、パルス信号の波形は、動作アシストの種類等に応じて適宜設定されてよい。例えば、矩形状のパルス信号を設定することで、装着磁石11を駆動する速度を高めることが可能である。また例えば、一定の傾きで立ち上がるパルス信号が設定されてもよい。この場合、装着磁石11に加わる力を徐々に変化させることが可能となり、自然な動作アシストを実現することが可能となる。
 図9は、指2の動作を加速又は減速させる動作アシストの一例を示す模式図である。ここでは、参照信号を用いない動作アシストの一例として、ユーザ1の指2による接触操作を加速、又は減速させる処理について説明する。また制御タイミングT3の待ち時間は0に設定され、装着磁石11(電磁石21)は、自発運動信号S1の検出後、即座に駆動されるものとする。
 図9Aでは、接触操作を加速する動作アシストが実行される。この場合、ユーザ1が接触操作を行うために指2を動かす動作方向(図中の黒色の矢印)と同じ方向に装着磁石11が動くように電磁石21が駆動される。ここでは、装着磁石11と電磁石21との間に引力(図中の白色の矢印)を発生させて、装着磁石11が電磁石21に近づく方向に駆動される。
 これにより、ユーザ1の指2は、随意運動による動作よりも早くタッチセンサ45側に動かされる。この結果、ユーザ1の指2がタッチセンサ45に接触する接触タイミングT'は、動作アシストを行わない場合の動作タイミングT2よりも早くなる。
 なお、図9Aでは、ユーザ1の指2がタッチセンサ45に接触すると、電磁石21の駆動が停止され引力がカットされる。これにより、次の接触操作をスムーズに行うことが可能となる。以下では、電磁石21の駆動を終了するタイミング、すなわち装着磁石11の制御を終了するタイミングを終了タイミングT4と記載する。本実施形態では、終了タイミングT4は、第4の時点に相当する。
 図9Bでは、接触操作を減速する動作アシストが実行される。この場合、ユーザ1が指2を動かす動作方向と反対の方向に装着磁石11が動くように電磁石21が駆動される。ここでは、装着磁石11と電磁石21との間に斥力(図中の灰色の矢印)を発生させて、装着磁石11が電磁石21から遠ざかる方向に駆動される。
 この時、装着磁石11に斥力を作用させる期間(斥力の終了タイミングT4)は、動作タイミングT2よりも長くなるように設定される。すなわち、装着磁石11には、動作タイミングT2を過ぎても、斥力が加えられる。
 これにより、ユーザ1の指2(装着磁石11)には、随意運動による動作が生じる動作タイミングT2を過ぎてもタッチセンサ45から遠ざける力が作用する。この結果、ユーザ1の指2がタッチセンサ45に接触する接触タイミングT'は、動作アシストを行わない場合の動作タイミングT2よりも遅くなる。
 このように、本実施形態では、自発運動信号S1が検出された場合、動作タイミングT2を基準として、ユーザ1の指2の動作(接触操作)が加速又は減速するように装着磁石11が制御される。
 これは、ユーザ1の指2が接触操作を行うタイミングを、本来の動作タイミング3から前後に調整する動作アシストである。このような処理を適宜組み合わせることで、接触操作のタイミングを精度よく制御することが可能となる。
 図10は、参照信号を用いる動作アシストの流れを示すブロック図である。図11は、参照信号を用いる動作アシストの一例を示すフローチャートである。
 参照信号を用いる動作アシストでは、例えば自発運動信号S1の検出タイミングT0や、発運動信号S1の有無を、参照信号と比較することで動作アシストが設定される。
 この場合、図11に示すように、身体駆動処理制御部54には、自発運動信号検出部53の検出結果と、参照信号とが入力される。身体駆動処理制御部54では、自発運動信号検出部53の検出結果と参照信号とを比較し、その比較結果に基づいて制御信号が生成される。生成された制御信号は、身体駆動部30(電磁石駆動部25)に出力される。
 以下では、図11を参照して、電磁石コントローラ50における処理の流れを説明する。
 図11に示す処理は、動作アシストを行う際に繰り返し実行されるループ処理である。
 まず、自発運動信号検出部53により、筋電信号から自発運動信号S1が検出される(ステップ201)。この処理は、図9に示すステップ101と同様の処理である。自発運動信号検出部53からは、自発運動信号S1の有無を表すトリガー信号や、自発運動信号S1の検出タイミングT0が出力される。
 次に、身体駆動処理制御部54により、参照信号が取得される(ステップ202)。参照信号は、例えば電磁石コントローラ50の電磁石制御部52とは異なるコンピュータから出力され、身体駆動処理制御部54により読み込まれる。
 次に、身体駆動処理制御部54により、自発運動信号検出部53の検出結果と、参照信号とに基づいて、動作アシスト(身体駆動処理)の内容が決定される(ステップ203)。
 例えば参照信号は、ユーザ1の指2の動作(接触操作)のタイミングを示す信号である。この場合、参照信号により指定されているタイミングに合わせて、ユーザ1の指2が接触操作を行うように、ユーザ1の指2の動作を加速又は減速させる制御パラメータが設定される。
 また例えば、参照信号は、ユーザ1がユーザ1の指2を動かして行う接触操作の要否を指定する信号である。この場合、参照信号は、ユーザ1が自身の指2を動かして接触操作を行うべき状況や、接触操作を行うべきではない状況を示す信号となる。本実施形態では、接触操作は、所定の動作に相当する。
 身体駆動処理制御部54では、参照信号が示す接触操作の要否と自発運動信号S1の有無とが比較され、この比較結果に基づいて装着磁石11が制御される。具体的には、接触操作を促す、あるいは接触操作を抑制するように装着磁石11を駆動する動作アシスト(制御パラメータ)が設定される。
 次に、身体駆動処理制御部54により、設定された制御パラメータに応じて電磁石21の制御信号が生成され、電磁石駆動部25に出力される(ステップ204)。この処理は、図9に示すステップ103と同様の処理である。
 これにより、例えば参照信号が指定するタイミングでユーザ1に接触操作を行わせることや、ユーザ1の操作ミス等を回避することが可能となる。
 図12は、接触操作のタイミングを制御する動作アシストの一例を示す模式図である。ここでは、参照信号を用いる動作アシストの一例として、ユーザ1の指2による接触操作のタイミングを制御する処理について説明する。
 図12には、ユーザ1が両手の人差し指を使ってリズムゲームを行っている様子が模式的に図示されている。リズムゲームは、アプリケーションコントローラ46により実行されるアプリケーションである。
 ここでは、ディスプレイ15上に右手用及び左手用の複数のリズムマーク16が表示される。これらのリズムマーク16は、ディスプレイ15の上端から下端に向かって流れるように移動する。リズムゲームは、リズムマーク16が所定のラインに達するタイミングに合わせてタッチセンサ45に指を接触させることでリズムを刻むゲームである。
 図12に示す例では、参照信号として、リズムマーク16が所定のラインに達するタイミングを示す信号、すなわち適切な接触操作のタイミングを示す信号が用いられる。
 このように、ユーザ1の指2の動作は、所定のアプリケーション(リズムゲーム)に関する入力操作を行うための動作である。また参照信号は、入力操作のタイミングを示す信号である。
 この参照信号は、アプリケーションコントローラ46により生成され、身体駆動処理制御部54により読み込まれる。なお参照信号は、接触操作のタイミングを示すことで、接触操作を行うべき状況を示す信号であるとも言える。
 図13は、図12に示す動作アシストの制御内容を示すグラフである。図13には、ユーザ1の指2の筋電信号と、筋電信号から予測される接触予測信号と、接触操作に関する参照信号と、電磁石21を制御する制御信号とを示す模式的なグラフが図示されている。
 なお図13では、筋電信号における自発運動信号S1が矩形状のパルスとして模式的に図示されている。また接触予測信号は、例えば自発運動信号S1の開始及び終了タイミングから予測された信号であり、動作アシストがない場合に行われる接触操作を表している。
 図13では時刻Taに自発運動信号S1が検出される。この場合、ユーザ1の指2がタッチセンサ45に接触すると予測される時間(動作タイミングT2)は、参照信号の立ち上がりよりも速い。この場合、ユーザ1の接触操作が参照信号により指定されるタイミングよりも早く行われる可能性がある。
 このため、ユーザ1の接触操作が参照信号により指定されるタイミングとなるように、接触操作を減速させる動作アシストが実行される。具体的には、装着磁石11に対して斥力を発生させる制御信号(パルス信号)が生成される。斥力のパルス信号は、濃いグレーの領域として図示されている。
 斥力のパルス信号をONにするタイミング(制御タイミングT3)は、接触予測信号の立ち上がり(動作タイミングT2)よりも前に設定される。これにより、ユーザ1の接触操作を確実に減速させることが可能となる。
 また斥力のパルス信号をOFFにするタイミング(終了タイミングT4)は、参照信号が立ち上がるタイミングよりも前に設定される。これにより、参照信号が示すタイミングでユーザ1の指2をタッチセンサ45に接触させることが可能となる。
 また図13では、時刻Tbにも自発運動信号S1が検出される。この場合、ユーザ1の指2がタッチセンサ45に接触すると予測される時間(動作タイミングT2)は、参照信号の立ち上がりよりも遅い。この場合、ユーザ1の接触操作が参照信号により指定されるタイミングよりも遅く行われる可能性がある。
 このため、ユーザ1の接触操作が参照信号により指定されるタイミングとなるように、接触操作を加速させる動作アシストが実行される。具体的には、装着磁石11に対して引力を発生させる制御信号(パルス信号)が生成される。引力のパルス信号は、薄いグレーの領域として図示されている。
 引力のパルス信号をONにするタイミング(制御タイミングT3)は、参照信号が立ち上がるタイミングに基づいて設定される。ここでは、参照信号が立ち上がるタイミングが時刻Tbに十分近いため、引力のパルス信号が時刻Tbと略同時にONに設定される。なお、参照信号が立ち上がるタイミングまで時間がある場合等には、そのタイミングにユーザ1の指2の接触が間に合うように引力のパルス信号をONにするタイミングが設定される。これにより、ユーザ1の接触操作のタイミングを精度よく制御することが可能となる。
 また引力のパルス信号をOFFにするタイミング(終了タイミングT4)は、参照信号が立ち下がるタイミングに設定される。これにより、ユーザ1はタッチセンサ45に接触していた指をスムーズに離すことが可能となる。
 また、時刻Tbに検出された自発運動信号S1から予測される接触操作の期間は、参照信号により指定される期間よりも長い。従って、参照信号により指定される期間の後も接触操作が継続される可能性がある。このため、図13に示す例では、参照信号が立ち下がるタイミングで斥力を発生させる処理が実行される。これにより、ユーザ1の指2がタッチセンサ45から引き離され、次の接触操作にスムーズに移行することが可能となる。
 このように、身体駆動処理制御部54では、参照信号が示すユーザ1の指2の動作のタイミングに基づいて、装着磁石11を制御する制御タイミングT3、又は装着磁石11の制御を終了する終了タイミングT4の少なくとも一方を設定する。
 また図13に示すように、時刻Tcでは自発運動信号S1が検出されない。一方で、時刻Tcから筋発揮の遅延時間だけ後の時刻(すなわち時刻Tcを基準とする動作タイミングT2)には、参照信号のパルスが存在している。これは、時刻Tcにおいて、ユーザ1が次の接触操作を誤って行わない場合に相当する。
 このように、接触操作が必要な状況において接触操作を発生させる自発運動信号S1が検出されなかった場合、ユーザ1の指2が接触操作を行うように装着磁石11が制御される。
 ここでは、接触操作が行われるように、引力を発生する制御信号(パルス信号)が生成される。この場合、引力のパルス信号をONにするタイミングは、参照信号が立ち上がるタイミングに基づいてユーザ1の指2の接触が間に合うように設定される。また引力のパルス信号をOFFにするタイミングは、参照信号が立ち下がるタイミングに設定される。
 これにより、ユーザ1が反応しなかったリズムマーク16等に対しても接触操作を適正なタイミングで行わせることが可能となる。
 このように、本実施形態では、自発的運動信号S1の検出結果と、その運動が行われるべきタイミング(参照信号)とが比較される。そして比較結果に基づいて、接触操作を加速・減速させる動作アシストを組み合わせる事により、ユーザ1の身体運動の速度と動きのタイミングを高い時間精度で制御することが可能となる。
 図14は、他のユーザと連動する動作アシストの一例を示す模式図である。図15は、図14に示す動作アシストの流れを示すブロック図である。ここでは、ユーザ1aの接触操作を、他のユーザ1bの接触操作と協調・同期する動作アシストについて説明する。この動作アシストでは、ユーザ1aとは異なる他のユーザ1bの随意運動を示す信号(他のユーザ1bの筋電信号)から検出された自発運動信号が、参照信号として用いられる。
 以下では、ユーザ1a及び1bの自発運動信号を、それぞれS1a及びS1bと記載する。このうちS1bが、ユーザ1aの動作アシストを行うための参照信号となる。
 図14には、ユーザ1aとユーザ1bとが2人でリズムゲームを行っている様子が模式的に図示されている。図中の右側及び左側のディスプレイ15a及び15bには、ユーザ1a及びユーザ1bが操作するゲーム画面が表示されている。なお図14では、装着磁石11の図示が省略されている。
 また図15に示すように、この動作アシストでは、ユーザ1a及び1bの動作アシストを行う身体駆動システム100a及び100bが互いに接続される。具体的には、ユーザ1bの身体駆動システム100b(自発運動信号検出部53b)から、ユーザ1bの筋電信号から検出された自発運動信号S1bが、ユーザ1aの身体駆動システム100a(身体駆動処理制御部54a)に送信される。このユーザ1bの自発運動信号S1bに基づいて、ユーザ1aの接触操作のタイミングの制御や、接触操作を発生させるあるいは抑制する制御が行われる。これにより、2人の運動の協調・同期を実現することができる。
 図16は、図14に示す動作アシストの制御内容を説明するための模式図である。ここでは、2人のユーザ1a及び1bに同一のタイミングでリズムマーク16を提示して、同じ運動を想定したトレーニングを行うものとする。このトレーニングでは、例えば熟練者(Expert)であるユーザ1bの動作を初心者(Novice)であるユーザ1aが学習することになる。
 図16の上側には、ユーザ1bの筋電信号から検出された自発運動信号S1bが実線のグラフで図示されている。また図16の下側には、ユーザ1aの筋電信号から検出された自発運動信号S1aが点線のグラフで図示されている。
 図16では時刻Taにユーザ1aの自発運動信号S1aが検出される。このとき、ユーザ1bの自発運動信号S1bは、まだ検出されていない。この場合、ユーザ1aの接触操作は、ユーザ1bの接触操作よりも早く行われる可能性がある。
 このため、ユーザ1aの接触操作がユーザ1bの自発運動信号S1bにより指定されるタイミングとなるように、接触操作を減速させる動作アシストが実行される。具体的には、装着磁石11に対して斥力を発生させる制御信号(パルス信号)が生成される。
 なお、自発運動信号S1bにより指定されるタイミングとは、例えばS1bによって発生する随意運動により、ユーザ1bの指2がタッチセンサ45に接触すると予測されるタイミングである。これは、ユーザ1bについての動作タイミングT2であり、時刻Taの直後に検出されるS1bに基づいて算出される。ここでは、ユーザ1bの指2がタッチセンサ45に接触するタイミングの直前で、斥力のパルス信号がOFFに設定される。
 また図16では、時刻Tbにユーザ1bの自発運動信号S1bが検出される。一方で、時刻Tbには、ユーザ1aの自発運動信号S1aが検出されない。この場合、ユーザ1bの接触操作よりもユーザ1aの接触操作が遅れる、あるいはユーザ1aの接触操作がそもそも行われない可能性がある。
 このように、接触操作が必要な状況において接触操作を発生させる自発運動信号S1aが検出されなかった場合、ユーザ1aの指2が接触操作を行うように装着磁石11が制御される。
 ここでは、接触操作が行われるように、引力を発生する制御信号(パルス信号)が生成される。この場合、引力のパルス信号をONにするタイミングは、例えばユーザ1bの接触操作が行われると予測されるタイミングの直前に設定される。また引力のパルス信号をOFFにするタイミングは、ユーザ1bの接触操作が終了するタイミングに設定される。
 これにより、ユーザ1bの動作に合わせてユーザ1aの接触操作を発生させる(あるいは加速させる)ことが可能となる。
 また図16では、時刻Tcにユーザ1a及びユーザ1bの自発運動信号S1a及びS1bがともに検出される。この場合、ユーザ1a及びユーザ1bの接触操作のタイミングは、略一致しているものとして、制御信号は生成されず、電磁石21(装着磁石11)は駆動されない。
 これにより、ユーザ1bの接触操作を元にユーザ1aの接触操作が高い時間精度で一致するように、制御することが可能となる。これにより、初心者であるユーザ1aは、熟達者であるユーザ1bの接触操作を直に体験して学習することが可能となる。
 なおユーザ1bの自発運動信号S1bをそのまま参照信号とする代わりに、例えば自発運動信号S1bに基づいて算出されるユーザ1bの接触予測信号等が参照信号として用いられてもよい。
 上記したトレーニングは、ユーザ1aの動作をユーザ1bの動作に同期する処理であった。これに限定されず、例えばユーザ1a及び1bの動作を相互に同期するような動作アシストが実現されてもよい。この場合、図15の点線に示すように、ユーザ1aの筋電信号から検出された自発運動信号S1aが、ユーザ1bの身体駆動システム100b(身体駆動処理制御部54b)に送信される。これにより、互いの動作を同期することが可能となる。
 また、ユーザ1aとユーザ1bとが互いに排他的な動作を行うべき場合、ユーザ1aの自発運動信号S1aが検出されている状況でのユーザ1bの運動が抑制され、逆にユーザ1bの自発運動信号が検出されている場合には、ユーザ1aの運動が抑制される。これにより、互いに反対の動作を行うような協調動作を高い時間精度でアシストすることが可能となる。なお各ユーザ1a及び1bの参照信号の値を反転することでも、排他的な同期が可能である。
 図17は、認知的な判断を伴う動作に対する動作アシストの一例を示す模式図である。ここでは、ユーザ1が認知的な判断が必要となるタスク・運動において、ユーザ1の知覚的あるいは認知的エラーを保障する動作アシストについて説明する。
 認知的な判断が必要なタスクとは、例えば信号の色から状況を認知して動作を行うか否かを判断するようなタスクである。この場合、信号の色を見間違えるというような知覚的なエラーや、信号の色に対応する状況を勘違いするといった認知的なエラーが発生し得る。
 このようなエラーを回避するために、ここでは、接触操作の要否を示す信号(接触操作を行うべき状況や、接触操作を行うべきではない状況を示す信号)が参照信号として用いられる。
 これにより、身体駆動処理制御部54では、ユーザ1の自発運動信号S1によって発生する動作が実行されるべきか否かを判定することが可能となる。また自発運動信号S1によって発生する動作を変更する場合には、ユーザ1の動作に必要な変更・介入を行うための動作アシストが設定され、身体駆動処理制御部54によりユーザ1の動作がアシストされる。
 図17では、ユーザ1がサイン18の色に応じてタッチセンサ45を触るタスクが行われる。ここでは、サイン18の色が青色(図17では白色)の場合をGoサインとする。Goサインは、タッチセンサ45に触れるべき状況を示すサインである。またサイン18の色が赤色(図17では黒色)の場合をNoGoサインとする。NoGoサインは、タッチセンサ45に触れるべきではない状況を示すサインである。
 このGoサイン及びNoGoサインを示す信号が、参照信号として用いられる。
 図17Aでは、Goサインが提示された状況で、ユーザ1の接触操作を発生させる自発運動信号S1が検出される。この場合、ユーザ1の指2が実際にタッチセンサ45に接触するまえに、タスク結果は適切な接触操作(Hit)になると予測できる。このため装着磁石11(電磁石21)を駆動する動作アシストは行われない。
 図17Bでは、NoGoサインが提示された状況で、ユーザ1の接触操作を発生させる自発運動信号S1が検出されない。この場合、ユーザ1の指2は、タッチセンサ45に接触しないものとして、タスク結果は適切な接触操作の回避(Correct rejection)になると予測できる。このため図17Bでも装着磁石11(電磁石21)を駆動する動作アシストは行われない。
 図17Cでは、Goサインが提示された状況で、ユーザ1の接触操作を発生させる自発運動信号S1が検出されない。この場合、ユーザ1の指2は、タッチセンサ45に接触しないものとして、タスク結果は接触操作の不実行(Miss)になると予測できる。
 このように、接触操作が必要な状況において接触操作を発生させる自発運動信号S1が検出されなかった場合、ユーザ1の指2が接触操作を行うように装着磁石11が制御される。ここでは、装着磁石11に引力(図中の白色の矢印)が作用するように電磁石21が駆動される。
 図17Dでは、NoGoサインが提示された状況で、ユーザ1の接触操作を発生させる自発運動信号S1が検出される。この場合、ユーザ1の指2が実際にタッチセンサ45に接触するまえに、タスク結果は不適切な接触操作(False alarm)になると予測できる。
 このように、接触操作が必要ではない状況において接触操作を発生させる自発運動信号S1が検出された場合、ユーザ1の指2が接触操作を行わないように装着磁石11が制御される。ここでは、装着磁石11に斥力(図中の灰色の矢印)が作用するように電磁石21が駆動される。
 図17C及び17Dに示すように、ユーザ1は、Goであるのにも関わらず、アクションするのが遅れてしまったり、NoGoであるのにも関わらずアクションを行ってしまったりする。これに対し、本技術を用いることで、Goであるのにも関わらず、動くのが遅れた場合には、動作アシストを実行することによって、アクションを間に合わせることができる。またNoGoであるのにも関わらず、動こうとしている場合には、自発運動信号S1を運動発生前に検出することができるので、運動が発生する前にその運動を抑制するような動作アシストが可能である。
 これにより、ユーザ1の認知的エラーや知覚的エラーを事前に回避することが可能となり、ユーザ1の接触操作等の精度を十分に高めることが可能となる。
 以上、本実施形態に係る電磁石制御部52では、測定タイミングT1でのユーザ1の筋電信号に伴い動作タイミングT2で生じるユーザ1の指2(身体部分)の動作が、指2に装着された装着磁石ユニット10を動かすことで補助される。この装着磁石ユニット10は、測定タイミングT1から動作タイミングT2までの期間に含まれる制御タイミングT3で駆動される。これにより、ユーザの身体部分の動作に先行してアシストを開始することが可能となり、ユーザの動作のタイミングを適切に制御することが可能となる。
 人間の動作をアシストする方法として、人間の動きを検知した後に、その動きに対してのアシストや補正を加えるといった方法がある。この場合、信号の検出や処理に伴う時間遅延が発生する場合がある。また人間の体を駆動する方式として、機械的な機構(装着型のエグゾスケルトン等)を用いる場合には、機械動作に伴う遅延が発生する場合がある。また筋肉そのものに刺激を与えて筋肉を発揮させるEMS(Electrical Muscle Stimulation)を用いる場合にも、筋肉が発揮して実際に体が動くまでには遅延が生じる。
 このような信号処理の遅延や、駆動方式に応じた遅延により、動作を適切なタイミングに間に合わせることや、運動開始後に運動を抑制することが難しくなる場合がある。
 本実施形態では、ユーザ1の指2の動作が生じる動作タイミングT2よりも前に、指2を駆動する制御タイミングT3が設定される。これにより、随意運動を示す信号によって生じるユーザ1の動作に先行して、ユーザ1の指2が駆動される。これにより、信号の検出や処理に伴う時間遅延を十分に回避するとともに、ユーザ1の動作のタイミングを適正に制御することが可能となる。
 また本実施形態では、ユーザ1の指2を動かす身体駆動部30として、電磁力を用いた駆動機構(装着磁石ユニット10及び電磁石ユニット20)が用いられる。このため、身体駆動部30では、機械的な駆動時間の遅延や、筋発揮に伴う遅延は発生しない。これにより、例えば高い時間分解能で、ユーザ1の指2を駆動させることが可能となり、ユーザ1の動作のタイミングを十分に高い精度で制御することが可能となる。
 <第2の実施形態>
 本技術に係る第2の実施形態の身体駆動システムについて説明する。これ以降の説明では、上記の実施形態で説明した身体駆動システム100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
 図18は、第2の実施形態に係る身体駆動システム200の構成例を示す模式図である。身体駆動システム200は、ユーザ1の手の5つの指2ごとに、接触操作の動作アシストを行うシステムである。
 身体駆動システム200は、身体駆動部230と、筋電センサ240と、スクリーンインターフェース245と、電磁石コントローラ250とを有する。
 身体駆動部230は、装着磁石ユニット210と、電磁石ユニット220と、電磁石駆動部225とを有する。
 装着磁石ユニット210は、ユーザ1の各指2に装着される装着磁石11を含む。
 電磁石ユニット220は、装着磁石11に作用する磁界を発生する少なくとも1つの電磁石21を含む。図18に示す例では、ユーザ1の右手の5つの指2ごとに装着磁石11が装着され、各指2(各装着磁石11)に対応する5つの電磁石21が設けられる。このように、電磁石ユニット220には、ユーザ1の指2に対応してスクリーンインターフェース245に配置された少なくとも1つの電磁石21が含まれる。
 電磁石駆動部225は、電磁石コントローラ250から出力された制御信号に基づいて、各電磁石21を個別に駆動する。
 筋電センサ240は、複数の表面電極41を用いて、観察対象となる筋肉の発揮を個別に検出する。各表面電極41は、ユーザ1の各指2を動かす筋肉の筋電信号を検出可能な位置にそれぞれ配置される。図18には、複数の表面電極41を含むバンド型の装着具が模式的に図示されている。
 筋電センサ240は、各表面電極41により測定された筋肉の活動電位を検出し、指2ごとの筋電信号として、電磁石コントローラ250に出力する。
 スクリーンインターフェース245は、ユーザ1が指2を接触させて操作するタッチスクリーンを備えたディスプレイである。上記した電磁石ユニット220は、スクリーンインターフェース245に設けられる。より詳しくは、スクリーンインターフェース245の操作面(ユーザ1の指2が接触する面)の裏側に、各指2に対応した複数の電磁石21が配置される。
 本実施形態では、入力装置であるスクリーンインターフェース245に対してユーザ1が指2を動かして接触操作を行う際に、電磁石21が駆動される。
 電磁石コントローラ250は、各電磁石21を個別に制御することで、各指2に装着された装着磁石11を個別に駆動する。例えば、筋電センサ240で測定された筋電信号から、ユーザ1の指2の自発運動信号S1を検出し、その検出結果に基づいて対応する電磁石21を駆動するための制御信号を生成する。これらの処理は、各指2ごとに独立して実行される。
 これにより、ユーザ1の5つの指2をそれぞれ加速・減速させるといった動作アシストが可能となり、スクリーンインターフェース245に対する入力操作を高い時間精度で制御することが可能となる。なお、電磁石ユニット220は、例えばキーボード操作やタッチパネル操作の動作アシストに用いられてもよい。これにより、精確かつ高速な入力操作等を実現することが可能となる。
 <第3の実施形態>
 図19は、第3の実施形態に係る身体駆動システムの構成例を示す模式図である。身体駆動システム300では、ユーザ1の随意運動を示す信号として、上記した筋電信号に代えて、ユーザ1の脳で検出される脳波信号が用いられる。
 図19には、ユーザ1が随意運動を行うことを決定してから、実際に運動が発生するまでの、随意運動の指令を伝達する信号(自発運動信号)の流れが模式的に図示されている。自発運動信号の流れは、基本的には図5を参照して説明したものと同じである。
 身体駆動システム300は、ユーザ1の脳波(EEG:Electroencephalography)を測定する脳波センサ340を有する。脳波センサ340は、例えばユーザ1が頭部に装着して使用する非侵襲性の電極ユニットを備える脳波計である。図19には、脳波センサ340の電極ユニットが模式的に図示されている。なお脳波センサ340として、侵襲性の電極ユニットや、半侵襲性の電極ユニット等を備えるセンサが用いられてもよい。
 脳波センサ340により測定された脳波信号は、電磁石コントローラ350に入力される。電磁石コントローラ350では、例えば脳波信号から指2を動かす随意運動の信号(自発運動信号)を検出し、その検出結果に基づいて電磁石21が駆動される。
 例えば、指2を動かす随意運動が発生する場合、指2の筋肉の筋電信号(EMG)から検出される自発運動信号は、実際に指2が動くタイミングよりも40mSec程度先行した信号となる。
 これに対して、指2を動かす随意運動を発生させる自発運動信号を、脳波信号から検出したとする。この場合、信号が脊髄等を通過するのに要する時間が省かれるため、例えば筋電信号よりも100mSec程度先行して随意運動の発生を検出することが可能となる。
 このため、脳波センサ340を用いて自発運動信号を検出することで、ユーザ1の動作を確実にアシストするといったことが可能となる。
 また、ユーザ1の随意運動を示す信号として、脳3と筋肉4とをつなぐ途中経路にある脊髄で検出される信号(脊髄信号)が用いられてもよい。この場合も、筋電信号よりも速いタイミングで随意運動の発生を検出することが可能となる。
 この他、ユーザ1の随意運動の発生を示すことが可能な任意の信号が用いられてよい。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記では、自発運動信号S1や参照信号が示すタイミングにあわせて、電磁石を駆動するタイミング(制御タイミングT3)を設定する方法について説明した。制御タイミングT3を設定する際に、装着磁石を駆動する駆動力(電磁石の引力及び斥力)の強度が設定されてもよい。
 例えば、引力の強度を高くすることで、ユーザの指(装着磁石)を引き付ける速度が早くなる。また例えば、斥力の強度を高くすることで、ユーザの指(装着磁石)がタッチセンサに接触するタイミングを遅くすることも可能である。このように引力や斥力の強度を調整することで、接触操作の速度等を調整することが可能となる。
 また、装着磁石を駆動する駆動力に応じて、制御タイミングT3、又は終了タイミングT4の少なくとも一方が設定されてもよい。上記したように、装着磁石の駆動力に応じて、ユーザが一定の動作(タッチセンサへの接触等)をするまでに要する時間を短くすることや長くすることが可能である。従がって、駆動力に合わせて制御タイミングT3や終了タイミングT4を設定することで、より時間精度の高い動作アシストを実現することが可能となる。
 例えば、装着磁石に引力を作用させた場合、ユーザの指の接触操作が促進される。このように、ユーザの指の動作を促進する場合、装着磁石の駆動力(引力)が大きいほど制御タイミングT3が遅く設定される。例えば、引力の強度が高い場合には、電磁石をONにする制御タイミングT3を遅くし、引力の強度が低い場合には、制御タイミングT3を早くするといった調整が行われる。これにより、例えばユーザの随意運動のタイミングが遅れているような場合であっても、ユーザが指をタッチセンサに接触させるタイミングを高精度に制御することが可能となる。
 また例えば、装着磁石に斥力を作用させた場合、ユーザの指の接触操作が抑制される。このように、ユーザの指の動作を抑制する場合、装着磁石の駆動力(斥力)が大きいほど終了タイミングT4が早く設定される。例えば、斥力の強度が高い場合には、電磁石をOFFにする終了タイミングT4を早くし、斥力の強度が低い場合には、終了タイミングT4を遅くするといった調整が行われる。これにより、例えばユーザの随意運動のタイミングが早くなっているような場合であっても、ユーザが指をタッチセンサに接触させるタイミングを高精度に制御することが可能となる。
 上記では、主に電磁石を用いてユーザの身体部分(指)を駆動する構成について説明した。これに限定されず、例えば機械的な機構を用いて身体部分を駆動するような構成が用いられてもよい。例えばモータやアクチュエータ等により動作する装着型のリンク機構(エグゾスケルトン)を備えるアシストデバイスが採用されてもよい。これにより、ユーザの指、手、腕、腰、足、首等のユーザの各部の動作をアシストすることが可能となる。
 この他、ユーザの随意運動に先行して、ユーザの身体部分を動かすことが可能な任意のアシストデバイスを用いることが可能である。
 また本技術は、ユーザが行う任意の動作に対して適用可能である。
 上記したように、本技術を用いることで、例えば自発運動信号を検出して、実際に身体部分が動く前に、先行して動作アシストを行うことが可能である。例えば高い時間分解能を必要とする楽器演奏やスポーツ、あるいは高度熟達技能のトレーニングやアシスト等に本技術を適用することで、これらの動作を高い時間精度で実現することが可能となる。
 例えば、楽器演奏を行う際の指の動作がアシストされてもよい。この場合、例えば楽器の操作部分に設けられた電磁石等により、ユーザの指を近づけるあるいは遠ざける動作アシストが実現される。これにより、演奏のタイミング等を精度よくアシストすることが可能となる。また例えば、エグゾスケルトン等のアシストシステムを用いることで、スポーツを行う際の体の動きを適正なタイミングで制御するといったことも可能である。
 また、esports等の高速な反応を要する入力操作や、受付のタッチパネル操作のように迅速な操作が求められる場合には、本技術を適用することで、操作速度を高めることが可能である。また操作速度の速いユーザの技能を、他のユーザに学習させるといったことも可能である。
 ユーザの身体部分の動作に関する参照信号として、ユーザの周辺環境の変化等を検出した信号が用いられてもよい。
 例えば、ユーザが車両等を運転する場合、周辺環境に応じた運転操作が必要となる。このような運転操作を周辺環境の変化を検出してアシストすることも可能である。
 一例として、ユーザの足によるアクセル操作やブレーキ操作を対象とする動作アシストを想定する。このような動作アシストは、例えばユーザの足(大腿部、下腿部、足首等)や靴底等に装着した磁石に引力や斥力を作用させてユーザの足を動かす機構や、ユーザの足を動かすエグゾスケルトン等を用いて実現される。
 またユーザが運転する車両には、例えば車両前方を撮影する車載カメラ等が設けられる。車載カメラにより撮影された映像は、画像認識等を行うコンピュータに入力される。コンピュータでは、車載カメラの映像から、車両前方の信号の状態(赤信号や青信号等)が検出される。この検出結果が、参照信号として用いられる。従って、参照信号は、ユーザがユーザの身体部分(足)を動かすか否かを判断するための情報を所定のセンサ(車載カメラ)を用いてセンシングした結果を示す信号であると言える。
 例えば、信号が赤信号である場合に、ユーザがアクセルを踏み込もうとする自発運動信号が検出されたとする。この場合、赤信号にもかかわらず車両が加速する恐れがある。このため、ユーザがアクセルを踏み込む前にアクセル操作を阻害する動作アシスト(例えばユーザの足をアクセルペダルから引き離す等)が実行される。
 また例えば、信号が赤信号である場合に、ブレーキの踏み込み動作を発生させる自発運動信号が検出されなかったとする。この場合、赤信号を無視して車両が進行する恐れがある。このため、車両が適切な位置で停止可能となるようにユーザにブレーキを踏ませる動作アシストが実行される。
 このように、ユーザがアクセル操作やブレーキ操作を行う際に参照する情報を、参照信号として用いることで、ユーザの誤操作等を回避することが可能となる。
 また車両の後方や側方を撮影するカメラ等用いられてもよい。
 例えば車両の後方を撮影するカメラを用いて後続車両が検出される。この場合、後続車両が十分に近い場合等には、ブレーキを踏み込む動作が抑制される。これにより急ブレーキ等が回避されるため、後続車両との衝突を回避することが可能となる。
 また例えば車両の側方を撮影するカメラを用いて並走する車両が検出される。この場合、車線変更するためのアクセル操作が抑制される。あるいは、ユーザのハンドル操作等が抑制されてもよい。これにより、並走車両との衝突等を事前に回避することが可能となる。
 この他、LiDARセンサ、レーダセンサ、超音波センサ等の距離センサが用いられてもよい。
 また例えば、スポーツ等を行っているユーザの周辺を撮影した映像をもとに参照信号が生成されてもよい。例えばユーザがテニスを行っている場合、ユーザの周辺の映像から、ボールの位置を検出して、ボールの軌道が算出される。この結果から、ラケットを動かすべきタイミングが推定され、その情報が参照信号として用いられる。これにより、ユーザは適切なタイミングでラケットを振ることが可能となる。
 このように、ユーザの周辺環境から必要な情報を検出して参照信号を生成することで、ユーザが行う様々な動作のタイミングを精度よく制御することが可能となる。
 参照信号を生成するために用いるセンサの種類は限定されない。
 例えば、周辺環境の明るさを検出する照度センサが用いられてもよい。これにより、例えばユーザの視界が暗い場合等にアクセルやブレーキの操作を抑制するといった動作アシストが可能となる。
 また路面センサ、温度センサ、あるいはGPSセンサに基づく天気情報等が用いられてもよい。これにより、例えば路面の状態(凍結や積雪等)を検出してアクセルやブレーキの操作等を補助することが可能となる。
 また風向きや風量等を計測するセンサが用いられてもよい。これにより、例えばユーザがテニスやゴルフ等のスポーツを行う際に、風の影響等を考慮したフォームでユーザに動作させるといったことが可能となる。
 また気圧センサや高度センサ等が用いられてもよい。これにより、例えばユーザの心肺にかかる負荷が軽減されるようにユーザの動作量を制御するといったことが可能となる。
 上記では身体駆動システムのコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながら身体駆動システムに搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。
 すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばユーザの身体部分を動かす作用部を制御する処理が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
 なお、本技術は以下のような構成も採ることができる。
(1)第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御する制御部
 を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
 前記制御部は、前記ユーザの随意運動を示す信号から前記ユーザの随意運動を発生させる運動信号を検出し、前記運動信号の検出タイミングを基準として、前記作用部を制御する前記第3の時点を設定する
 情報処理装置。
(3)(2)に記載の情報処理装置であって、
 前記制御部は、前記運動信号が検出された場合、前記第2の時点を基準として、前記ユーザの身体部分の動作が加速又は減速するように前記作用部を制御する
 情報処理装置。
(4)(2)又は(3)に記載の情報処理装置であって、
 前記制御部は、前記ユーザの身体部分の動作に関する参照信号に基づいて、前記作用部を制御する
 情報処理装置。
(5)(4)に記載の情報処理装置であって、
 前記参照信号は、前記ユーザの身体部分の動作のタイミングを示す信号であり、
 前記制御部は、前記ユーザの身体部分の動作のタイミングに基づいて、前記作用部を制御する前記第3の時点、又は前記作用部の制御を終了する第4の時点の少なくとも一方を設定する
 情報処理装置。
(6)(5)に記載の情報処理装置であって、
 前記制御部は、前記作用部を駆動する駆動力に応じて、前記第3の時点、又は前記第4の時点の少なくとも一方を設定する
 情報処理装置。
(7)(6)に記載の情報処理装置であって、
 前記作用部は、前記ユーザの身体部分の動作を促進又は抑制するように駆動可能であり、
 前記制御部は、前記ユーザの身体部分の動作を促進する場合、前記作用部の駆動力が大きいほど前記第3の時点を遅く設定し、前記ユーザの身体部分の動作を抑制する場合、前記作用部の駆動力が大きいほど前記第4の時点を早く設定する
 情報処理装置。
(8)(4)から(7)のうちいずれか1つに記載の情報処理装置であって、
 前記参照信号は、前記ユーザが前記ユーザの身体部分を動かして行う所定の動作の要否を示す信号であり、
 前記制御部は、前記参照信号が示す前記所定の動作の要否と前記所定の動作を発生させる前記運動信号の有無とを比較し、当該比較結果に基づいて前記作用部を制御する
 情報処理装置。
(9)(8)に記載の情報処理装置であって、
 前記制御部は、前記所定の動作が必要な状況において前記所定の動作を発生させる前記運動信号が検出されなかった場合、前記ユーザの身体部分が前記所定の動作を行うように前記作用部を制御する
 情報処理装置。
(10)(8)又は(9)に記載の情報処理装置であって、
 前記制御部は、前記所定の動作が必要ではない状況において前記所定の動作を発生させる前記運動信号が検出された場合、前記ユーザの身体部分が前記所定の動作を行わないように前記作用部を制御する
 情報処理装置。
(11)(4)から(10)のうちいずれか1つに記載の情報処理装置であって、
 前記参照信号は、前記ユーザが前記ユーザの身体部分を動かすか否かを判断するための情報を所定のセンサを用いてセンシングした結果を示す信号である
 情報処理装置。
(12)(4)から(10)のうちいずれか1つに記載の情報処理装置であって、
 前記ユーザの身体部分の動作は、所定のアプリケーションに関する入力操作を行うための動作であり、
 前記参照信号は、前記入力操作のタイミングを示す信号である
 情報処理装置。
(13)(4)から(10)のうちいずれか1つに記載の情報処理装置であって、
 前記参照信号は、前記ユーザとは異なる他のユーザの随意運動を示す信号から検出された運動信号である
 情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
 前記ユーザの随意運動を示す信号は、前記ユーザの筋電信号、前記ユーザの脳波信号、又は前記ユーザの脊髄信号のうち少なくとも1つである
 情報処理装置。
(15)(1)から(14)のうちいずれか1つに記載の情報処理装置であって、
 作用部は、磁界に応じた力を受ける第1磁界作用部であり、
 前記制御部は、前記第1磁界作用部と前記第1磁界作用部とは別に設けられた第2磁界作用部との間の磁界を電気的に変化させて、前記第1磁界作用部を制御する
 情報処理装置。
(16)(15)に記載の情報処理装置であって、
 前記第1磁界作用部及び前記第2磁界作用部の少なくとも一方は、電磁石を含み、
 前記制御部は、前記第1磁界作用部と前記第2磁界作用部との間に、引力又は斥力
となる磁力が発生するように前記電磁石を制御する
 情報処理装置。
(17)(15)又は(16)に記載の情報処理装置であって、
 前記ユーザの身体部分の動作は、前記ユーザが前記ユーザの身体部分を動作対象に接触させる接触動作であり、
 前記第2磁界作用部は、前記動作対象に設けられる
 情報処理装置。
(18)(17)に記載の情報処理装置であって、
 前記ユーザの身体部分は、前記ユーザの指であり、
 前記接触動作は、前記ユーザの指による接触操作であり、
 前記動作対象は、前記接触操作を受け付ける入力装置である
 情報処理装置。
(19)第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御する
 ことをコンピュータシステムが実行する情報処理方法。
(20)第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御するステップ
 を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
 S1…自発的運動信号
 T1…測定タイミング
 T2…動作タイミング
 T3…制御タイミング
 1…ユーザ
 2…指
 10、210…装着磁石ユニット
 11…装着磁石
 20、220…電磁石ユニット
 21…電磁石
 25…電磁石駆動部
 30…身体駆動部
 40、240…筋電センサ
 340…脳波センサ
 50、250、350…電磁石コントローラ
 51…記憶部
 52…電磁石制御部
 53…自発運動信号検出部
 54…身体駆動処理制御部
 100、200、300…身体駆動システム

Claims (20)

  1.  第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御する制御部
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記制御部は、前記ユーザの随意運動を示す信号から前記ユーザの随意運動を発生させる運動信号を検出し、前記運動信号の検出タイミングを基準として、前記作用部を制御する前記第3の時点を設定する
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記制御部は、前記運動信号が検出された場合、前記第2の時点を基準として、前記ユーザの身体部分の動作が加速又は減速するように前記作用部を制御する
     情報処理装置。
  4.  請求項2に記載の情報処理装置であって、
     前記制御部は、前記ユーザの身体部分の動作に関する参照信号に基づいて、前記作用部を制御する
     情報処理装置。
  5.  請求項4に記載の情報処理装置であって、
     前記参照信号は、前記ユーザの身体部分の動作のタイミングを示す信号であり、
     前記制御部は、前記ユーザの身体部分の動作のタイミングに基づいて、前記作用部を制御する前記第3の時点、又は前記作用部の制御を終了する第4の時点の少なくとも一方を設定する
     情報処理装置。
  6.  請求項5に記載の情報処理装置であって、
     前記制御部は、前記作用部を駆動する駆動力に応じて、前記第3の時点、又は前記第4の時点の少なくとも一方を設定する
     情報処理装置。
  7.  請求項6に記載の情報処理装置であって、
     前記作用部は、前記ユーザの身体部分の動作を促進又は抑制するように駆動可能であり、
     前記制御部は、前記ユーザの身体部分の動作を促進する場合、前記作用部の駆動力が大きいほど前記第3の時点を遅く設定し、前記ユーザの身体部分の動作を抑制する場合、前記作用部の駆動力が大きいほど前記第4の時点を早く設定する
     情報処理装置。
  8.  請求項4に記載の情報処理装置であって、
     前記参照信号は、前記ユーザが前記ユーザの身体部分を動かして行う所定の動作の要否を示す信号であり、
     前記制御部は、前記参照信号が示す前記所定の動作の要否と前記所定の動作を発生させる前記運動信号の有無とを比較し、当該比較結果に基づいて前記作用部を制御する
     情報処理装置。
  9.  請求項8に記載の情報処理装置であって、
     前記制御部は、前記所定の動作が必要な状況において前記所定の動作を発生させる前記運動信号が検出されなかった場合、前記ユーザの身体部分が前記所定の動作を行うように前記作用部を制御する
     情報処理装置。
  10.  請求項8に記載の情報処理装置であって、
     前記制御部は、前記所定の動作が必要ではない状況において前記所定の動作を発生させる前記運動信号が検出された場合、前記ユーザの身体部分が前記所定の動作を行わないように前記作用部を制御する
     情報処理装置。
  11.  請求項4に記載の情報処理装置であって、
     前記参照信号は、前記ユーザが前記ユーザの身体部分を動かすか否かを判断するための情報を所定のセンサを用いてセンシングした結果を示す信号である
     情報処理装置。
  12.  請求項4に記載の情報処理装置であって、
     前記ユーザの身体部分の動作は、所定のアプリケーションに関する入力操作を行うための動作であり、
     前記参照信号は、前記入力操作のタイミングを示す信号である
     情報処理装置。
  13.  請求項4に記載の情報処理装置であって、
     前記参照信号は、前記ユーザとは異なる他のユーザの随意運動を示す信号から検出された運動信号である
     情報処理装置。
  14.  請求項1に記載の情報処理装置であって、
     前記ユーザの随意運動を示す信号は、前記ユーザの筋電信号、前記ユーザの脳波信号、又は前記ユーザの脊髄信号のうち少なくとも1つである
     情報処理装置。
  15.  請求項1に記載の情報処理装置であって、
     作用部は、磁界に応じた力を受ける第1磁界作用部であり、
     前記制御部は、前記第1磁界作用部と前記第1磁界作用部とは別に設けられた第2磁界作用部との間の磁界を電気的に変化させて、前記第1磁界作用部を制御する
     情報処理装置。
  16.  請求項15に記載の情報処理装置であって、
     前記第1磁界作用部及び前記第2磁界作用部の少なくとも一方は、電磁石を含み、
     前記制御部は、前記第1磁界作用部と前記第2磁界作用部との間に、引力又は斥力となる磁力が発生するように前記電磁石を制御する
     情報処理装置。
  17.  請求項15に記載の情報処理装置であって、
     前記ユーザの身体部分の動作は、前記ユーザが前記ユーザの身体部分を動作対象に接触させる接触動作であり、
     前記第2磁界作用部は、前記動作対象に設けられる
     情報処理装置。
  18.  請求項17に記載の情報処理装置であって、
     前記ユーザの身体部分は、前記ユーザの指であり、
     前記接触動作は、前記ユーザの指による接触操作であり、
     前記動作対象は、前記接触操作を受け付ける入力装置である
     情報処理装置。
  19.  第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御する
     ことをコンピュータシステムが実行する情報処理方法。
  20.  第1の時点のユーザの随意運動を示す信号に基づいて、前記第1の時点から前記ユーザの随意運動を示す信号に応じた前記ユーザの身体部分の動作が生じる第2の時点までの期間に含まれる第3の時点で、前記ユーザの身体部分に装着され前記ユーザの身体部分を動かす作用部を制御するステップ
     を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
PCT/JP2021/043587 2020-12-08 2021-11-29 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体 WO2022124111A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/254,907 US20240004468A1 (en) 2020-12-08 2021-11-29 Information processing apparatus, information processing method, and computer-readable recording medium
EP21903215.8A EP4261657A1 (en) 2020-12-08 2021-11-29 Information processing device, information processing method, and computer-readable recording medium
JP2022568186A JPWO2022124111A1 (ja) 2020-12-08 2021-11-29

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-203354 2020-12-08
JP2020203354 2020-12-08

Publications (1)

Publication Number Publication Date
WO2022124111A1 true WO2022124111A1 (ja) 2022-06-16

Family

ID=81972964

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043587 WO2022124111A1 (ja) 2020-12-08 2021-11-29 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US20240004468A1 (ja)
EP (1) EP4261657A1 (ja)
JP (1) JPWO2022124111A1 (ja)
WO (1) WO2022124111A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008247118A (ja) * 2007-03-29 2008-10-16 Mazda Motor Corp 車両用運転支援装置
JP2011139728A (ja) * 2010-01-05 2011-07-21 Nippon Telegr & Teleph Corp <Ntt> 運動学習支援装置および方法
JP2018045569A (ja) * 2016-09-16 2018-03-22 日産自動車株式会社 運転支援方法及び運転支援装置
JP2020086959A (ja) * 2018-11-26 2020-06-04 エヌ・ティ・ティ・コミュニケーションズ株式会社 操作支援装置および操作支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008247118A (ja) * 2007-03-29 2008-10-16 Mazda Motor Corp 車両用運転支援装置
JP2011139728A (ja) * 2010-01-05 2011-07-21 Nippon Telegr & Teleph Corp <Ntt> 運動学習支援装置および方法
JP2018045569A (ja) * 2016-09-16 2018-03-22 日産自動車株式会社 運転支援方法及び運転支援装置
JP2020086959A (ja) * 2018-11-26 2020-06-04 エヌ・ティ・ティ・コミュニケーションズ株式会社 操作支援装置および操作支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUNICHI KASAHARAJUN NISHIDAPEDRO LOPES: "Preemptive Action: Accelerating Human Reaction using Electrical Muscle Stimulation Without Compromising Agency", CHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS PROCEEDINGS (CHI 2019, no. 643, 4 May 2019 (2019-05-04)

Also Published As

Publication number Publication date
US20240004468A1 (en) 2024-01-04
EP4261657A1 (en) 2023-10-18
JPWO2022124111A1 (ja) 2022-06-16

Similar Documents

Publication Publication Date Title
US10796599B2 (en) Prosthetic virtual reality training interface and related methods
US9390630B2 (en) Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
US20090042695A1 (en) Interactive rehabilitation method and system for movement of upper and lower extremities
US7378585B2 (en) Musical teaching device and method using gloves and a virtual keyboard
CA2752699C (en) Chaining animations
WO2021068542A1 (zh) 基于力反馈技术的上肢主被动康复训练机器人系统
KR101548156B1 (ko) 촉감과 관절 저항감을 동시에 전달하는 무선 외골격 햅틱 인터페이스 장치 및 그 구성 방법
CN109166612B (zh) 一种基于眼动及脑电信息的大型游戏场景康复系统及方法
US20220065580A1 (en) Accelerated Learning, Entertainment and Cognitive Therapy Using Augmented Reality Comprising Combined Haptic, Auditory, and Visual Stimulation
TW201249507A (en) Training apparatus
US20190294249A1 (en) Systems and methods for haptic feedback in a virtual reality system
US20210041955A1 (en) Grabity: A Virtual Reality Haptic Controller for Creating Gravity and Stiffness during Grasping Motions Through Asymmetric vibrations
WO2022124111A1 (ja) 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体
Caltenco et al. Tip of the tongue selectivity and motor learning in the palatal area
CN106974780B (zh) 基于差分航姿的智能轮椅控制方法
Gentry et al. Haptic dancing: human performance at haptic decoding with a vocabulary
WO2018123293A1 (ja) 出力制御装置、出力制御方法、およびプログラム
KR100811460B1 (ko) 진동촉각 마우스 및 진동촉각 마우스 시스템
Oku et al. A novel vibrotactile biofeedback device for optimizing neuromuscular control in piano playing
WO2021187111A1 (ja) 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システム
Lontis et al. Sensor activation for wheelchair driving in confined spaces with a tongue controlled oral interface
WO2020255644A1 (ja) アクチュエータ装置、電圧波形の作成方法、電場応答性高分子アクチュエータの駆動方法、及びプログラム
KR20080079966A (ko) 진동촉각 공간마우스 및 진동촉각 공간마우스 시스템
JP6428629B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
Hasson et al. Learning to shape virtual patient locomotor patterns: Internal representations adapt to exploit interactive dynamics

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903215

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022568186

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18254907

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021903215

Country of ref document: EP

Effective date: 20230710