WO2023048295A1 - 感覚伝達システム、感覚伝達方法及び感覚伝達プログラム - Google Patents

感覚伝達システム、感覚伝達方法及び感覚伝達プログラム Download PDF

Info

Publication number
WO2023048295A1
WO2023048295A1 PCT/JP2022/035933 JP2022035933W WO2023048295A1 WO 2023048295 A1 WO2023048295 A1 WO 2023048295A1 JP 2022035933 W JP2022035933 W JP 2022035933W WO 2023048295 A1 WO2023048295 A1 WO 2023048295A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
subject
sensory
sensory information
estimated
Prior art date
Application number
PCT/JP2022/035933
Other languages
English (en)
French (fr)
Inventor
隆幸 菅原
孝満 島倉
翔平 大段
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021156506A external-priority patent/JP2023047539A/ja
Priority claimed from JP2021157247A external-priority patent/JP2023048016A/ja
Priority claimed from JP2021156717A external-priority patent/JP2023047666A/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN202280057052.5A priority Critical patent/CN117836742A/zh
Priority to EP22873046.1A priority patent/EP4394555A1/en
Publication of WO2023048295A1 publication Critical patent/WO2023048295A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Definitions

  • the present disclosure relates to a sensory transmission system, a sensory transmission method, and a sensory transmission program.
  • the correspondence between the subject's brain activity state and the measured brain activation information varies depending on the individuality of the subject, the environment surrounding the subject at the time of measurement, and other factors.
  • the type of dream that occurs when a dream-inducing stimulus is applied differs for each subject or depending on the timing of applying the stimulus, etc., and it is difficult to control the content of the dream itself. be.
  • the state of brain activity based on brain activation information of a subject there is a need for a technique that considers factors such as individual differences and differences in the environment surrounding the subject.
  • the present disclosure has been made in view of the above, and is a sensory transmission system capable of appropriately transmitting sensations between subjects when there are individual differences for each subject or differences in the environment surrounding the subject. and to provide a sensory transmission method.
  • the sensory transmission system includes a first device that detects brain activation information of the first subject when the first subject perceives it, and based on the detected brain activation information of the first subject and estimating reference sensory information, which is sensory information recollected for the perception, and sensory information corresponding to the reference sensory information for a second subject different from the first subject based on the estimated reference sensory information. and a second device for stimulating the second subject so as to recall the estimated corresponding sensory information.
  • the sensory transmission method includes detecting brain activation information of the first subject when sensed by the first subject, and based on the detected brain activation information of the first subject.
  • Reference sensory information that is sensory information recollected for perception is estimated, and sensory information corresponding to the reference sensory information for a second subject different from the first subject based on the estimated reference sensory information. estimating corresponding sensory information; and stimulating the second subject to recall the estimated corresponding sensory information.
  • the sensory transmission program includes processing for detecting brain activation information of the first subject when sensed by the first subject, and based on the detected brain activation information of the first subject.
  • Reference sensory information that is sensory information recollected for perception is estimated, and sensory information corresponding to the reference sensory information for a second subject different from the first subject based on the estimated reference sensory information.
  • a computer is caused to execute a process of estimating corresponding sensory information and a process of stimulating the second subject so as to recall the estimated corresponding sensory information.
  • FIG. 1 is a schematic diagram showing an example of a sensory transmission system according to the first embodiment.
  • FIG. 2 is a functional block diagram showing an example of the sensory transmission system according to the first embodiment.
  • FIG. 3 is a diagram showing an example of a neural network.
  • FIG. 4 is a diagram schematically showing an example of the operation of the sensory transmission system according to the first embodiment;
  • FIG. 5 is a flow chart showing an example of the operation of the sensory transmission system according to the first embodiment.
  • FIG. 6 is a diagram schematically showing another example of the operation of the sensory transmission system according to the second embodiment.
  • FIG. 7 is a diagram schematically showing another example of the operation of the sensory transmission system according to the third embodiment;
  • FIG. 8 is a functional block diagram showing an example of a sensory transmission system according to the fourth embodiment.
  • FIG. 1 is a schematic diagram showing an example of a sensory transmission system according to the first embodiment.
  • FIG. 2 is a functional block diagram showing an example of the sensory transmission system according to the first embodiment.
  • FIG. 9 is a diagram schematically showing an example of the operation of the sensory transmission system according to the fourth embodiment
  • FIG. 10 is a flow chart showing an example of the operation of the sensory transmission system according to the fourth embodiment
  • FIG. 11 is a functional block diagram showing an example of a sensory transmission system according to the fifth embodiment.
  • FIG. 12 is a diagram schematically showing an example of the operation of the sensory transmission system according to the fifth embodiment;
  • FIG. 13 is a flow chart showing an example of the operation of the sensory transmission system according to the fifth embodiment.
  • FIG. 1 is a schematic diagram showing an example of a sensory transmission system 100 according to the first embodiment.
  • FIG. 2 is a functional block diagram showing an example of the sensory transmission system 100.
  • the sensory transmission system 100 includes a first device 10, an estimating device 20, and a second device 30.
  • FIG. 1 is a schematic diagram showing an example of a sensory transmission system 100 according to the first embodiment.
  • FIG. 2 is a functional block diagram showing an example of the sensory transmission system 100.
  • the sensory transmission system 100 includes a first device 10, an estimating device 20, and a second device 30.
  • FIG. 1 is a schematic diagram showing an example of a sensory transmission system 100 according to the first embodiment.
  • FIG. 2 is a functional block diagram showing an example of the sensory transmission system 100.
  • the sensory transmission system 100 includes a first device 10, an estimating device 20, and a second device 30.
  • FIG. 1 is a schematic diagram showing an example of a sensory transmission system 100 according to the first embodiment.
  • FIG. 2 is a functional block diagram showing an example
  • the first device 10 detects the brain activation information of the first subject R1 when perceived by the first subject R1.
  • the first device 10 has a detection unit 11 , a communication unit 12 , a processing unit 13 , a stimulus applying unit 14 and a storage unit 15 .
  • the detection unit 11 detects brain activation information.
  • brain activation information include oxygenated hemoglobin concentration, deoxidized hemoglobin concentration, total hemoglobin concentration, and the like contained in the cerebral blood flow of a subject.
  • a measuring device that performs measurement based on the principle of fMRI (functional Magnetic Resonance Imaging), fNIRS (functional Near-Infrared Spectroscopy), etc.
  • fMRI Functional Magnetic Resonance Imaging
  • fNIRS functional Near-Infrared Spectroscopy
  • a measuring device using an invasive electrode a measuring device in which micromachines are placed in the blood vessels of the brain and the micromachines are used for measurement, and the like can be used.
  • the detection unit 11 is not limited to the device described above, and other types of devices may be used.
  • the intracerebral activation information can be indicated as the level of activity for each voxel.
  • the communication unit 12 is an interface that performs wired communication or wireless communication.
  • the communication unit 12 transmits the brain activation information detected by the detection unit 11 to the estimation device 20 .
  • the communication unit 12 includes an interface for communicating with an external device via a so-called wireless LAN conforming to the IEEE802.11 standard.
  • the communication unit 12 may realize communication with an external device under the control of the processing unit 22 or the like.
  • the communication method is not limited to a wireless LAN, and may include, for example, an infrared communication method, a Bluetooth (registered trademark) communication method, a wireless communication method such as Wireless USB, and the like.
  • a wired connection such as a USB cable, HDMI (registered trademark), IEEE1394, or Ethernet may be employed.
  • the processing unit 13, the stimulus applying unit 14, and the storage unit 15 will be described later. In the first embodiment, the processing unit 13, the stimulus applying unit 14, and the storage unit 15 may not be provided.
  • the estimation device 20 has a communication unit 21 , a processing unit 22 and a storage unit 23 .
  • the communication unit 21 is an interface that performs wired communication or wireless communication.
  • the communication unit 21 receives brain activation information transmitted from the first device 10, for example.
  • the communication unit 21 transmits, for example, correspondence sensation information, which will be described later and is estimated by the processing unit 22 , to the second device 30 .
  • the communication unit 21 may have the same configuration as the communication unit 12 described above.
  • the processing unit 22 has a processing device such as a CPU (Central Processing Unit) and a storage device such as RAM (Random Access Memory) or ROM (Read Only Memory).
  • the processing unit 22 performs various types of processing including the estimation processing described below.
  • the storage unit 23 stores various information.
  • the storage unit 23 has storage such as a hard disk drive and a solid state drive. Note that an external storage medium such as a removable disk may be used as the storage unit 23 .
  • the processing unit 22 estimates sensory information (reference sensory information) about the sensation recalled by the first subject R1 based on the detected brain activation information of the first subject R1.
  • the sensory information may be, for example, information related to at least one of the so-called five senses of sight, hearing, touch, taste, and smell, or may be a sense of balance or other somatic sensations.
  • the sensory information is information related to vision
  • the sensory information is image data perceived by the first subject R1, but is not limited to this. It may be sampled image data or image data obtained by filtering the image data.
  • the sensory information is information about vision, it may be information about light entering the eyeball of the first subject R1. In this case, for example, information about light may be obtained by a contact lens equipped with an optical sensor.
  • an artificial retina may be used to acquire information about light.
  • information about light from a CCD sensor provided on the artificial retina may be used.
  • the sensory information when the sensory information is information related to hearing, the sensory information may be voice signal data perceived by the first subject R1.
  • the sensory information when the sensory information is information about taste, the sensory information may be data indicating indices of a plurality of chemical substances that reproduce the taste perceived by the first subject R1.
  • the sensory information when the sensory information is information related to tactile sensation, the sensory information is data indicating which part of the development view the whole surface of the body of the first subject R1 is developed and to what extent the stimulus occurred. I wish I had. Note that these sensory information are only examples, and the present invention is not limited to these.
  • the first subject R1 it is possible to obtain a correspondence relationship by conducting an experiment in advance as to what kind of brain activation information is generated when what kind of sensory information is recollected.
  • brain activation information detected from the first subject R1 and sensory information corresponding to the brain activation information are associated to form a set of learning data sets, and machine learning is performed on the learning data sets. to generate the first learning model.
  • the first learning model can be stored in the storage unit 23, for example.
  • the processing unit 22 estimates corresponding sensory information, which is sensory information corresponding to the standard sensory information for the second subject R2, which is different from the first subject R1, based on the estimated standard sensory information.
  • a specific example of the corresponding sense information may correspond to a specific example of the sense information.
  • the second subject R2 is a subject to whom the sensation of the first subject R1 is transmitted. Regarding the relationship between the reference sensory information and the corresponding sensory information, it is possible to associate them by conducting an experiment in advance.
  • the sensory information corresponding to the first subject R1 and the second subject R2 is used as a set of learning data sets, and machine learning is performed on the learning data sets to generate the second learning model.
  • the second learning model can be stored in the storage unit 23, for example.
  • the second device 30 stimulates the second subject R2 to recall the estimated corresponding sensory information.
  • the second device 30 has a detection unit 31 , a communication unit 32 , a processing unit 33 , a stimulus applying unit 34 and a storage unit 35 .
  • the detection unit 31 will be described later. In 1st Embodiment, the detection part 31 does not need to be provided.
  • the communication unit 32 is an interface that performs wired communication or wireless communication.
  • the communication unit 32 receives correspondence sensation information transmitted from the estimation device 20 .
  • the communication unit 32 also transmits the brain activation information detected by the detection unit 31 to the estimation device 20 .
  • the communication unit 32 may have the same configuration as the communication unit 12 described above.
  • the stimulus imparting unit 34 stimulates the second subject R2 by irradiating the target part of the brain of the second subject R2 with an electromagnetic wave signal to activate the target part.
  • the brain of the second subject R2 is partitioned, for example, by a three-dimensional matrix composed of voxels of several millimeters or less, and each voxel is irradiated with an electromagnetic wave.
  • the stimulus imparting unit 34 can irradiate electromagnetic waves based on stimulation image information indicating to what extent the intensity of the electromagnetic waves is to be radiated to which voxel of the three-dimensional matrix.
  • Voxels in the three-dimensional matrix of stimulus image information may correspond, for example, to voxels in the three-dimensional matrix of brain activation information in size, position, and the like.
  • voxel in the brain of the second subject R2 is irradiated with an electromagnetic wave of what intensity and what kind of sensory information is recollected, it is possible to obtain a correspondence relationship by conducting an experiment in advance.
  • the stimulation image information for the second subject R2 and the sensory information recollected by the second subject R2 when electromagnetic waves are irradiated based on the stimulation image information are associated to form a set of learning data sets, and the learning data
  • a third learning model can be generated by subjecting the set to machine learning.
  • the third learning model can be stored in the storage unit 35 of the second device 30, for example.
  • the processing unit 33 can calculate stimulus image information corresponding to the received corresponding sense information based on the corresponding sense information received by the communication unit 32 and the third learning model.
  • FIG. 3 is a diagram showing an example of a neural network.
  • the neural network NW has 13 convolutional layers S1, 5 pooling layers S2, and 3 fully connected layers S3.
  • the neural network sequentially processes input information in a convolutional layer S1 and a pooling layer S2, and the processed results are combined in a fully connected layer S3 and output.
  • the learning model is generated by optimizing the neural network NW through learning. For example, when one of the information constituting each learning data set is input, learning is performed so as to solve a problem for obtaining one of the information.
  • the present invention When inference is performed using the first learning model, the second learning model, and the third learning model, as shown in the lower part of FIG. Input to NW. From the first learning model, the second learning model, and the third learning model, the other information I2 corresponding to the input information I1 is output based on the learning result of the correlation of the information constituting the learning data set. be done.
  • a learning model is generated using a convolutional neural network represented by VGG16 is described, but the present invention is not limited to this, and a learning model is generated using another type of neural network. You may
  • FIG. 4 is a diagram schematically showing an example of the operation of the sensory transmission system 100.
  • the first subject R1 is made to perceive to recall the reference sensory information.
  • a case where the first subject R1 visually perceives a cat's face and recalls it as visual information will be described below as an example.
  • the detection unit 11 detects the brain activation information 42 of the first subject R1 who perceives the cat's face and recalls the sensory information 41.
  • the communication unit 12 transmits the brain activation information 42 detected by the detection unit 11 to the estimation device 20 .
  • the communication unit 21 receives the brain activation information 42 transmitted from the first device 10 .
  • the processing unit 22 estimates reference sensory information 43 based on the received brain activation information 42 .
  • the processing unit 22 inputs the brain activation information 42 of the first subject R1 to the first learning model.
  • the first learning model outputs reference sensory information 43 corresponding to the input brain activation information 42 based on the learning result of the correlation between the brain activation information 42 and the reference sensory information 43 .
  • the processing unit 22 acquires the output reference sensation information 43 as an estimation result.
  • the processing unit 22 estimates corresponding sensation information 44 corresponding to the reference sensation information 43 for the second subject R2.
  • the processing unit 22 inputs the acquired reference sensation information 43 to the second learning model.
  • corresponding sensation information 44 corresponding to the input reference sensation information 43 is output based on the learning result of the correlation between the reference sensation information 43 and the corresponding sensation information 44 .
  • the processing unit 22 acquires the output corresponding sense information 44 as an estimation result.
  • the communication unit 21 transmits the acquired corresponding sensation information 44 to the second device 30 .
  • the communication unit 32 receives the correspondence sensation information 44 transmitted from the estimation device 20 .
  • the processing unit 33 inputs the received corresponding sense information 44 to the third learning model stored in the storage unit 35 .
  • the third learning model outputs stimulation image information 45 corresponding to the inputted corresponding sensation information 44 based on the learning result of the correlation between the corresponding sensation information 44 and the stimulation image information.
  • the stimulus imparting unit 34 stimulates the second subject R2 by irradiating the brain of the second subject R2 with electromagnetic waves based on the output stimulus image information 45 .
  • the second subject R2 to whom the stimulation is applied by the stimulation applying unit 34 recalls the corresponding sensation information 46 corresponding to the stimulation image information 45.
  • the brain activation information 42 of the first subject R1 is directly transmitted to the second device 30, and the brain activation information 42 is transmitted to the second device 30. If the brain of the second subject R2 is stimulated so as to correspond to , there is a high possibility that the second subject R2 will recall, as the sensory information 47, visual information different from the cat's face. In this case, the sensory information of the first subject R1 is not properly transmitted to the second subject R2.
  • the estimation device 20 estimates the corresponding sensory information 44 of the second subject R2. Visual information is properly conveyed.
  • FIG. 5 is a flow chart showing an example of the operation of the sensory transmission system 100.
  • the first device 10 detects brain activation information of the first subject R1 when perceived by the first subject R1 (step S101).
  • the estimation device 20 estimates reference sensory information recalled by the first subject R1 with respect to perception based on the brain activation information of the first subject R1 (step S102).
  • the estimation device 20 estimates corresponding sensory information corresponding to the reference sensory information for the second subject R2, which is different from the first subject R1, based on the estimated reference sensory information (step S103).
  • the second device 30 gives a stimulus to the second subject R2 so as to recall the estimated corresponding sensory information (step S104).
  • the sensory transmission system 100 includes the first device 10 that detects the brain activation information of the first subject R1 when the first subject R1 perceives it, and the detected first subject R1 Based on the brain activation information of R1, reference sensory information, which is sensory information recollected for perception, is estimated, and based on the estimated reference sensory information, a reference for the second subject R2 different from the first subject R1 is calculated.
  • the sensory transmission method detects the brain activation information of the first subject R1 when the first subject R1 perceives it, and based on the detected brain activation information of the first subject R1 Then, based on the estimated reference sensory information, corresponding sensory information corresponding to the reference sensory information of the second subject R2, which is different from the first subject R1, is calculated. estimating; and stimulating the second subject R2 to recall the estimated corresponding sensory information.
  • the sensory transmission program includes processing for detecting brain activation information of the first subject R1 when the first subject R1 perceives it, and based on the detected brain activation information of the first subject R1 Then, based on the estimated reference sensory information, corresponding sensory information corresponding to the reference sensory information of the second subject R2, which is different from the first subject R1, is calculated.
  • a computer is caused to execute a process of estimating and a process of stimulating the second subject R2 so as to recall the estimated corresponding sensory information.
  • the second subject R2 instead of causing the second subject R2 to recall the reference sensory information of the first subject R1 as it is, the corresponding sensory information of the second subject R2 is estimated based on the reference sensory information, and the estimated correspondence is obtained.
  • the first Sensory information can be appropriately transmitted from the subject R1 to the second subject R2.
  • the reference sensory information is the sensory information recalled by the first subject R1 who has detected the brain activation information.
  • the sensory information can be appropriately transmitted.
  • the stimulation includes irradiating the target region of the brain of the second subject R2 with an electromagnetic wave signal to activate the target region.
  • the stimulation by directly activating the brain of the second subject R2, it is possible to make the second subject R2 more directly recall sensory information.
  • the sensory transmission system 100 transmits sensations in one direction from the first subject R1 to the second subject R2 has been described as an example.
  • the sensory transmission system 100 also transmits sensations from the second subject R2 to the first subject R1.
  • the sensory transmission system 100 is configured to bi-directionally transmit sensory sensations between the first subject R1 and the second subject R2.
  • the overall configuration of the sensory transmission system 100 is the same as in the first embodiment.
  • the configuration of the sensory transmission system 100 will be described below from the side of the second device 30 with reference to FIGS. 1 and 2.
  • FIG. 1 is the side of the second device 30 with reference to FIGS. 1 and 2.
  • the second device 30 has a detection unit 31 , a communication unit 32 , a processing unit 33 , a stimulus applying unit 34 and a storage unit 35 .
  • the processing unit 33, the stimulation applying unit 34, and the storage unit 35 are the same as in the first embodiment.
  • the detection unit 31 detects brain activation information of the second subject R2, like the detection unit 11 in the first embodiment.
  • the communication unit 32 transmits the brain activation information detected by the detection unit 31 to the estimation device 20 .
  • the estimation device 20 has a communication unit 21, a processing unit 22, and a storage unit 23, like the estimation device 20 of the first embodiment.
  • the communication unit 21 is capable of wired communication or wireless communication.
  • the communication unit 21 receives brain activation information transmitted from the second device 30, for example.
  • the communication unit 21 transmits, for example, correspondence sensation information, which will be described later and is estimated by the processing unit 22 , to the first device 10 .
  • the processing unit 22 estimates sensory information (reference sensory information) about the sensation recalled by the second subject R2 based on the detected brain activation information of the second subject R2.
  • the second subject R2 it is possible to obtain a correspondence relationship by conducting an experiment in advance as to what kind of brain activation information is generated when what kind of sensory information is recollected.
  • brain activation information detected from the second subject R2 and sensory information corresponding to the brain activation information are associated to form a set of learning data sets, and machine learning is performed on the learning data sets. can generate a fourth learning model.
  • the fourth learning model can be stored in the storage unit 23, for example.
  • the processing unit 22 estimates corresponding sensation information, which is sensation information corresponding to the reference sensation information for the first subject R1, based on the estimated reference sensation information. In this case, the processing unit 22 can perform estimation based on the second learning model stored in the storage unit 23 .
  • the first device 10 has a detection unit 11 , a communication unit 12 , a processing unit 13 , a stimulus applying unit 14 and a storage unit 15 .
  • the detection unit 11 and the communication unit 12 have the same configuration as in the first embodiment.
  • the communication unit 12 receives correspondence sensation information transmitted from the estimation device 20 .
  • the processing unit 13 estimates stimulus image information corresponding to the corresponding sensation information received by the communication unit 12 .
  • the stimulus image information is information indicating the content of the stimulus to be applied to the first subject R1 by the stimulus applying unit 14 .
  • the stimulus imparting unit 14 stimulates the first subject R1 by irradiating the target part of the brain of the first subject R1 with an electromagnetic wave signal to activate the target part.
  • the brain of the first subject R1 is partitioned, for example, by a three-dimensional matrix composed of voxels of several millimeters or less, and an electromagnetic wave is applied to each voxel, as in the stimulation applying unit 34 in the first embodiment.
  • the stimulus imparting unit 14 can irradiate electromagnetic waves based on stimulation image information indicating the intensity of electromagnetic waves to which voxels in the three-dimensional matrix are to be irradiated.
  • the stimulation image information for the first subject R1 and the sensory information recalled by the first subject R1 when electromagnetic waves are irradiated based on the stimulation image information are associated to form a set of learning data sets, and the learning data
  • a fifth learning model can be generated by subjecting the set to machine learning.
  • the fifth learning model can be stored in the storage unit 15 of the first device 10, for example.
  • the above-described fourth learning model and fifth learning model can be generated using a neural network represented by VGG16, for example, in the same way as the first to third learning models.
  • each learning data set is input to the neural network, and the correlation of the learning data set is learned by machine learning such as deep learning.
  • the learning model is generated by optimizing the neural network through learning.
  • the learning model may be generated using other types of neural networks, without being limited to the convolutional neural network represented by VGG16.
  • the sensation transmission method for transmitting the sensation from the first subject R1 to the second subject R2 is the same as in the first embodiment. In this embodiment, a case will be described where sensation is transmitted from the second subject R2 to the first subject R1.
  • FIG. 6 is a diagram schematically showing an example of the operation of the sensory transmission system 100.
  • the second subject R2 is made to perceive to recall the reference sensory information.
  • a case where the second subject R2 visually perceives a cat's face and recalls it as visual information will be described below as an example.
  • the cat's face is the cat's face as in the first embodiment.
  • the detection unit 31 detects the brain activation information 52 of the second subject R2 who perceives the cat's face and recalls the sensory information 51.
  • the communication unit 32 transmits the brain activation information 52 detected by the detection unit 31 to the estimation device 20 .
  • the communication unit 21 receives the brain activation information 52 transmitted from the third device 130 .
  • the processing unit 22 estimates reference sensory information 53 based on the received brain activation information 52 .
  • the processing unit 22 inputs the brain activation information 52 of the second subject R2 to the fourth learning model.
  • the fourth learning model outputs reference sensory information 53 corresponding to the input brain activation information 52 based on the learning result of the correlation between the brain activation information 52 and the reference sensory information 53 .
  • the processing unit 22 acquires the output reference sensation information 53 as an estimation result.
  • the processing unit 22 estimates corresponding sensation information 54 corresponding to the reference sensation information 53 for the first subject R1.
  • the processing unit 22 inputs the acquired reference sensation information 53 to the second learning model.
  • corresponding sensation information 54 corresponding to the input reference sensation information 53 is output based on the learning result of the correlation between the reference sensation information 53 and the corresponding sensation information 54 .
  • the processing unit 22 acquires the output corresponding sense information 54 as an estimation result.
  • the communication unit 21 transmits the acquired corresponding sensation information 54 to the first device 10 .
  • the communication unit 12 receives the corresponding sensation information 54 transmitted from the estimation device 20 .
  • the processing unit 13 inputs the received corresponding sense information 54 to the fifth learning model stored in the storage unit 15 .
  • the fifth learning model outputs stimulation image information 55 corresponding to the inputted corresponding sensation information 54 based on the learning result of the correlation between the corresponding sensation information 54 and the stimulation image information 55 .
  • the stimulation applying unit 14 gives stimulation to the first subject R1 by irradiating the brain of the first subject R1 with electromagnetic waves based on the output stimulation image information 55 .
  • the first subject R1 to whom the stimulus is given by the stimulus applying section 14 recalls the corresponding sensation information 56 corresponding to the stimulus image information 55 . That is, the first subject R1 recalls the visual information of the cat's face as the corresponding sensory information 56 .
  • the visual information of the cat's face is transmitted from the second subject R2 to the first subject R1.
  • the reference sensory information is the sensory information recalled by the second subject R2 who has detected the brain activation information.
  • the sensory information of the second subject R2 by directly associating the sensory information of the second subject R2 with the sensory information of the first subject R1, it is possible to appropriately transmit sensory information between subjects having different brain activities. can.
  • the standard sensation information when estimating the corresponding sensation information from the reference sensation information, the standard sensation information is used as the reference sensation information.
  • Standard sensory information can be the average value of brain activation information detected in a plurality of subjects when, for example, a plurality of detectors perform the same perception such as viewing the same image. Therefore, the standard sensory information has little individual difference due to acquired memory, etc., and is the sensory information of an average person.
  • Standard sensory information can be extracted from learning results when learning corresponding sensory information among multiple subjects. For example, each of brain activation information of a specific subject (for example, first subject R1 or second subject R2) and standard sensory information (average value of brain activation information of a plurality of subjects) is set as a learning data set. , a sixth learning model can be generated by performing machine learning on the learning data set. When generating the sixth learning model, standard sensory information is extracted from a plurality of sensory information included in the learning data set, and the extracted standard sensory information is associated with individual brain activation information included in the learning data set. You may do so.
  • a sixth learning model is generated by machine-learning correspondence relationships between individual brain activation information and standard sensory information of a plurality of subjects.
  • the sixth learning model can be stored in the storage unit 25, for example.
  • FIG. 7 is a diagram schematically showing an example of the operation of the sensory transmission system 100.
  • the first device 10 acquires the brain activation information 62 of the first subject R1, and the estimation device 20 Send.
  • the processing unit 33 causes the storage unit 35 to store the brain activation information 62 transmitted from the first device 10 and the identification information of the second subject R2 to whom the sensory information is transmitted. Enter the sixth learning model.
  • standard sensory information 63 corresponding to brain activation information 62 is calculated, and sensory information of second subject R2 associated with the standard sensory information 63 is output as corresponding sensory information 64 .
  • the communication unit 21 transmits the output corresponding sensation information 64 to the second device 30 .
  • the second device 30 receives the corresponding sensation information 64 transmitted from the estimation device 20 and acquires the stimulus image information 65 based on the received corresponding sensation information 64 .
  • the stimulus imparting unit 34 stimulates the second subject R2 by irradiating the brain of the second subject R2 with electromagnetic waves based on the output stimulus image information 65 .
  • the second subject R ⁇ b>2 to whom the stimulation is applied by the stimulation applying unit 34 recalls the corresponding sensation information 66 corresponding to the stimulation image information 65 .
  • the reference sensory information is the standard sensory information 63 extracted based on sensory information corresponding among a plurality of subjects.
  • the standard sensory information 63 extracted based on the corresponding sensory information among a plurality of subjects is used as the standard sensory information, so sensory information can be appropriately transmitted among many subjects.
  • FIG. 8 is a diagram showing an example of a sensory transmission system 200 according to the fourth embodiment.
  • the sensory transmission system 100 of the above embodiment the case of transmitting sensory information between different subjects has been described.
  • the sensory transmission system 200 described in the fourth embodiment a case where sensory information is transmitted between the same subjects will be described as an example.
  • the sensory transmission system 200 includes a detection stimulation device (detection device, stimulation device) 110 and an estimation device 120.
  • the detection stimulus device 110 has, for example, the same configuration as the first device 10 described in the above embodiment, and includes a detection unit 11, a communication unit 12, a processing unit 13, a stimulus application unit 14, and a storage unit 15. have.
  • the detection unit 11 detects brain activation information.
  • the communication unit 12 performs wired communication or wireless communication, and transmits the brain activation information detected by the detection unit 11 to the estimation device 20 .
  • the processing unit 13 calculates stimulus image information based on the corresponding sensation information received by the communication unit 12 .
  • the stimulus applying unit 14 irradiates the target region of the brain of the target subject R4 with an electromagnetic wave signal to activate the target region, thereby stimulating the target subject R4.
  • the storage unit 15 stores various information.
  • the estimation device 120 has a communication unit 21, a processing unit 22, and a storage unit 23.
  • the communication unit 21 is capable of wired communication or wireless communication.
  • the communication unit 21 receives brain activation information transmitted from the detection stimulation device 110, for example.
  • the communication unit 21 transmits corresponding sensation information, which will be described later and is estimated by the processing unit 22, to the detection stimulus device 110, for example.
  • the processing unit 22 estimates reference sensory information recollected for perception based on the brain activation information of the target subject R4 detected at the first time point.
  • the first time point may be a time point when the target subject R4 is young, for example, the target subject R4 may be less than 3 years old.
  • the reference sensory information can be, for example, sensory information recalled by the target subject R4 at the first time point.
  • the processing unit 22 can estimate the reference sensation information based on the seventh learning model similar to the first learning model described above.
  • the seventh learning model can be stored in the storage unit 25, for example.
  • the reference sensory information may be standard sensory information extracted based on sensory information corresponding among a plurality of subjects, for example.
  • the standard sensory information can be, for example, information extracted based on sensory information recalled by a plurality of subjects whose brain growth states correspond to those of the target subject R4. Examples of such multiple subjects include, for example, multiple subjects with corresponding ages, multiple subjects with corresponding growth environments (latitude, cultural environment, language used, etc.), multiple subjects with the same or corresponding occupations, etc. mentioned.
  • the processing unit 22 can use, for example, an eighth learning model that estimates standard sensory information based on the brain activation information of the target subject R4 at the first time point.
  • the eighth learning model can be stored in the storage unit 25, for example.
  • the processing unit 22 estimates corresponding sensation information corresponding to the reference sensation information for the target subject R4 at a second point in time after the first point in time.
  • the degree of brain growth of target subject R4 may be significantly different between the first time point and the second time point.
  • the corresponding sensory information between the target subject R4 at the first time point and the target subject R4 at the second time point is set as a set of learning data sets, and the learning data set is subjected to machine learning to generate a ninth learning model. can do.
  • the ninth learning model can be stored in the storage unit 23, for example.
  • FIG. 9 is a diagram schematically showing an example of the operation of the sensory transmission system 100.
  • the detection unit 11 of the detection stimulation device 110 detects brain activation information 72 of the target subject R4 who perceives the cat's face and recalls the sensory information 71 .
  • the communication unit 12 transmits the brain activation information 72 detected by the detection unit 11 to the estimation device 120 .
  • the communication unit 21 receives the brain activation information 72 transmitted from the detection stimulation device 110 .
  • the processing unit 22 inputs the received brain activation information to the seventh learning model or the eighth learning model. From the seventh learning model or the eighth learning model, reference sensory information 73 corresponding to the input brain activation information 72 is output.
  • the processing unit 22 acquires the output reference sensation information 73 as an estimation result.
  • the storage unit 25 stores the acquired reference sensation information 73 .
  • the subject R4 uses the detection stimulation device 110 Prepare to be in a state in which stimulation can be applied from the stimulation applying unit 14 of .
  • the processing unit 22 estimates corresponding sensation information 74 corresponding to the reference sensation information 73 for the target subject R4.
  • the processing unit 22 inputs the acquired reference sensation information 73 to the ninth learning model.
  • Corresponding sense information 74 corresponding to the input reference sense information 73 is output from the ninth learning model.
  • the processing unit 22 acquires the output corresponding sense information 74 as an estimation result.
  • the communication unit 21 transmits the acquired corresponding sensory information 74 to the detection stimulation device 110 .
  • the communication unit 12 receives the corresponding sensory information 74 transmitted from the estimation device 120 .
  • the processing unit 13 inputs the received corresponding sensation information 74 to the third learning model stored in the storage unit 15 .
  • the third learning model outputs stimulus image information 75 corresponding to the input corresponding sense information 74 .
  • the stimulus applying unit 14 gives stimulation to the target subject R4 by irradiating the brain of the target subject R4 with electromagnetic waves based on the output stimulation image information 75 .
  • the target subject R4 to whom the stimulus is applied by the stimulus applying unit 14 recalls the corresponding sensation information 76 corresponding to the stimulus image information 75.
  • the target subject R4 recalls the visual information when he saw the cat's face at the first time point as the corresponding sensory information 76 at the second time point.
  • the visual information of the cat's face is transmitted from the target subject R4 at the first time point to the target subject R4 at the second time point. This allows the target subject R4 to relive seeing the cat's face.
  • FIG. 10 is a flow chart showing an example of the operation of the sensory transmission system 200.
  • the detection stimulation device 110 detects brain activation information perceived by the target subject R4 at a first time point (step S201).
  • the estimation device 20 estimates reference sensory information at the first time point based on the brain activation information of the target subject R4 (step S202).
  • the estimation device 20 estimates corresponding sensory information corresponding to the reference sensory information for the second subject R2, which is different from the first subject R1, based on the estimated reference sensory information (step S203).
  • the second device 30 gives a stimulus to the second subject R2 so as to recall the estimated corresponding sensory information (step S204).
  • the sensory transmission system 200 includes a detection device (detection stimulation device 110) that detects activation information in the brain of the target subject R4 when the target subject R4 perceives it, and at the first time point Based on the detected brain activation information of target subject R4, reference sensory information, which is sensory information recollected for perception, is estimated, and based on the estimated reference sensory information, time has passed since the first time point.
  • device detection stimulator 110
  • the sensory transmission method detects the brain activation information of the target subject R4 when the target subject R4 perceives it, and detects the brain activation information of the target subject R4 detected at the first time point.
  • reference sensory information which is sensory information recollected for perception, is estimated, and based on the estimated reference sensory information, a reference for the target subject R4 at a second point in time after the first point in time. estimating corresponding sensory information corresponding to the sensory information; and stimulating target subject R4 at a second time point to recall the estimated corresponding sensory information.
  • the reference sensory information of the target subject R4 at the first time point is not directly recollected in the target subject R4 at the second time point, but the corresponding response of the target subject R4 at the second time point is based on the reference sensory information.
  • the sensory information is estimated, and the target subject R4 is stimulated to recall the estimated corresponding sensory information. Therefore, even if there is a difference in brain activity when recalling sensory information between the target subject R4 at the first time point and the target subject R4 at the second time point, the sensory information can be appropriately transmitted. .
  • the reference sensory information is sensory information recalled by the target subject R4 at the first time point.
  • the sensory information can be appropriately transmitted.
  • the reference sensory information is standard sensory information extracted based on sensory information corresponding among a plurality of subjects.
  • the standard sensory information extracted based on the corresponding sensory information among a plurality of subjects is used as the standard sensory information, so that the sensory information can be efficiently transmitted between the target subjects R4 at different points in time. can be done.
  • standard sensory information is extracted based on sensory information recalled by a plurality of subjects whose brain growth states correspond to those of the target subject R4.
  • sensory information can be efficiently transmitted between target subjects R4 at different points in time based on sensory information recalled by a plurality of subjects whose brain growth states correspond to that of target subject R4.
  • FIG. 11 is a diagram showing an example of a sensory transmission system 300 according to the fifth embodiment.
  • a sensory transmission system 300 according to the fifth embodiment includes a sensory estimation device 220 and a stimulation device 210 .
  • the sensation estimation device 220 has a communication section 221 , a processing section 222 , a storage section 223 and an input section 224 .
  • the communication unit 221 performs wired communication or wireless communication with the stimulation device 210 .
  • the storage unit 223 stores reference sensory information, which is sensory information recalled by perception.
  • the storage unit 223 has storage such as a hard disk drive and a solid state drive. Note that an external storage medium such as a removable disk may be used as the storage unit 223 .
  • the reference sensory information may be sensory information recalled by the subject R5 or a person different from the subject R5, or may be standard sensory information extracted based on corresponding sensory information among a plurality of subjects. There may be.
  • the processing unit 222 estimates corresponding sensation information, which is sensation information corresponding to the reference sensation information for the subject R5.
  • the sensory information corresponding to the sensory information of the subject R5 and the reference sensory information may be used as a set of learning data sets, and the learning data set may be machine-learned to generate the tenth learning model.
  • the tenth learning model can be stored in the storage unit 223, for example.
  • the processing unit 222 estimates corresponding sensation information corresponding to the specified reference sensation information.
  • the input unit 224 is capable of a predetermined input operation for inputting information.
  • an input device such as a keyboard or touch panel is used.
  • buttons, levers, dials, switches, or other input devices may be used in addition to or instead of these.
  • the input unit 224 can input sensory information that the subject R5 wants to experience from, for example, a plurality of reference sensory information stored in the storage unit 223 .
  • the stimulation device 210 has a communication section 212 , a processing section 213 , a stimulation applying section 214 and a storage section 215 .
  • the communication unit 212 is capable of wired communication or wireless communication.
  • the communication unit 212 receives corresponding sensation information transmitted from the sensation estimation device 220 .
  • the processing unit 213 generates a stimulus image corresponding to the received corresponding sense information based on the corresponding sense information received by the communication unit 212 and the eleventh learning model that has learned the correspondence relationship between the corresponding sense information and the stimulus image information. Compute information.
  • This eleventh learning model can be, for example, a learning model similar to the third learning model in the above-described first embodiment.
  • the stimulation applying unit 214 applies an electromagnetic wave signal to the target region of the brain of the subject R5 to activate the target region, thereby stimulating the subject R5.
  • FIG. 12 is a diagram schematically showing an example of the operation of the sensory transmission system 300 according to this embodiment.
  • the subject R5 prepares to be able to receive stimulation from the stimulation applying section 214 of the stimulation device 210 .
  • the processing unit 222 in the sensation estimation device 220 generates the corresponding sensation information 82 for the subject R5 based on the selected reference sensation information 81.
  • the processing unit 222 inputs, for example, the selected reference sense information 81 to the tenth learning model.
  • Corresponding sense information 82 corresponding to the input reference sense information 81 is output from the tenth learning model.
  • the processing unit 222 acquires the output corresponding sense information 82 as an estimation result.
  • the communication unit 221 transmits the acquired corresponding sensation information 82 to the stimulation device 210 .
  • the communication section 212 receives the corresponding sensation information 82 transmitted from the sensation estimation device 220 .
  • the processing unit 213 inputs the received corresponding sense information 82 to the eleventh learning model stored in the storage unit 215 .
  • the eleventh learning model outputs stimulus image information 83 corresponding to the input corresponding sensory information 82 .
  • the stimulation applying unit 214 gives stimulation to the subject R5 by irradiating the brain of the subject R5 with electromagnetic waves based on the output stimulation image information 83 .
  • the subject R5 to whom the stimulus is given by the stimulus applying section 214 recalls the corresponding sensation information 84 corresponding to the stimulus image information 83.
  • FIG. In other words, subject R5 recalls the visual information of the cat's face as the corresponding sensory information 84 .
  • the visual information of the cat's face is transmitted from the sensation estimation device 220 to the subject R5.
  • FIG. 13 is a flow chart showing an example of the operation of the sensory transmission system 300.
  • FIG. 13 when the subject R5 selects the reference sensation information 81 via the input unit 224, the processing unit 222 in the sensation estimation device 220 acquires the selected reference sensation information 81 (step S301). ), the corresponding sensory information 82 for the subject R5 is estimated based on the acquired reference sensory information 81 (step S302). Then, the stimulation device 210 stimulates the fifth subject R5 so as to recall the estimated corresponding sensory information 82 (step S303).
  • the sensation estimation device 220 includes the storage unit 223 that stores the reference sensation information, which is the sensation information that is recollected by perception, and based on the reference sensation information that is stored in the storage unit 223 . and a processing unit 222 for estimating corresponding sensory information, which is sensory information corresponding to the reference sensory information for the subject R5.
  • the sensation estimation method acquires reference sensation information from the storage unit 223 that stores reference sensation information, which is sensation information recalled by perception, and based on the acquired reference sensation information. , and estimating corresponding sensory information that is sensory information corresponding to the reference sensory information for subject R5.
  • the reference sensation information is sensation information recalled by a person other than the subject R5. According to this configuration, appropriate sensory information can be estimated between subjects having different brain activities.
  • the reference sensation information is standard sensation information extracted based on corresponding sensation information among the plurality of subjects R5. According to this configuration, sensory information can be appropriately transmitted among many subjects.
  • the sensory transmission system 300 includes the sensory estimating device 220 described above and the stimulating device 210 that stimulates the subject R5 so as to recall the corresponding sensory information estimated by the sensory estimating device 220. According to this configuration, appropriate sensory information can be estimated for each subject R5 based on the reference sensory information stored in the storage unit 223, and can be transmitted to the subject R5.
  • the content presented to the subject may be an instruction such as "Raise your right hand” to learn the reaction of the subject's motor cortex.
  • the content presented to the subject may be viewing content such as a movie, and the subject's entire brain reaction may be learned.
  • an ID may be assigned to an element of the standard sense information obtained when generating the learning model, and the closer the correlation with the content, the closer the ID. For example, if there are contents of "dog”, “cat”, and “paper”, assign close IDs to “dog” and “cat”, and assign distant IDs to "dog”, “cat” and “paper”. may
  • the contents having similar IDs set as described above may be used as the corresponding sense information, or the corresponding sense information may not be transmitted.
  • the corresponding sensory information derived from certain standard sensory information may be replaced with another sensory information and presented. For example, based on the standard sensory information corresponding to the visual information of the orange, the corresponding sensory information replaced with the olfactory information, the taste information, and the tactile information of the orange may be transmitted to the transmission destination.
  • the command information "send this sensory information to the second subject R2" is deleted, and "the first subject R1 feels like this” is deleted. Even if communication control information corresponding to the packet header such as "I am recalling information” and "The first subject R1 is requesting the second subject R2 to recall sensory information in this way" good.
  • each estimated sensory information may be stored in a storage unit and may be transmitted to a transmission destination after a predetermined period of time has elapsed.
  • the sensory transmission system, sensory transmission method, and sensory transmission program according to the present disclosure can be used, for example, in processing devices such as computers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Human Computer Interaction (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Hospice & Palliative Care (AREA)
  • Development Economics (AREA)
  • Neurology (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

感覚伝達システムは、第１被験者が知覚した場合における第１被験者の脳内活性化情報を検出する第１装置と、検出された第１被験者の脳内活性化情報に基づいて知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した基準感覚情報に基づいて第１被験者とは異なる第２被験者についての基準感覚情報に対応する感覚情報である対応感覚情報を推定する推定装置と、推定された対応感覚情報を想起するように第２被験者に刺激を与える第２装置とを備える。

Description

感覚伝達システム、感覚伝達方法及び感覚伝達プログラム
　本開示は、感覚伝達システム、感覚伝達方法及び感覚伝達プログラムに関する。
　近年、機能的磁気共鳴法、近赤外分光法等のように脳内活性化情報を無侵襲に計測する技術が発達し、脳と外部のインターフェースであるブレインマシンインターフェースの技術が現実的となりつつある。このような技術を用いた例として、就寝する被験者の脳内活性化情報を検出して被験者の睡眠状態を判定し、被験者がレム睡眠状態にあると判定される場合に当該被験者に夢誘発刺激を付与する構成について開示されている（例えば、特許文献１参照）。
特開２００３－３３２２５１号公報
　被験者の脳の活動状態と計測される脳内活性化情報との対応関係については、被験者の個性、計測時における被験者の取り巻く環境等により異なる。例えば、特許文献１に記載の技術では、夢誘発刺激を付与した場合にどのような夢を見るかは被験者ごと又は刺激を付与するタイミング等により異なり、夢の内容自体をコントロールすることは困難である。これに対して、被験者の脳内活性化情報に基づいて脳活動状態を判断又は制御する場合に、個人差又は被験者の取り巻く環境の差等の要因を考慮した技術が求められる。
　本開示は、上記に鑑みてなされたものであり、被験者ごとの個人差又は被験者の取り巻く環境の差が存在する場合において、被験者同士の間で感覚を適切に伝達することが可能な感覚伝達システム及び感覚伝達方法を提供することを目的とする。
　本開示に係る感覚伝達システムは、第１被験者が知覚した場合における前記第１被験者の脳内活性化情報を検出する第１装置と、検出された前記第１被験者の脳内活性化情報に基づいて前記知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した前記基準感覚情報に基づいて前記第１被験者とは異なる第２被験者についての前記基準感覚情報に対応する感覚情報である対応感覚情報を推定する推定装置と、推定された前記対応感覚情報を想起するように前記第２被験者に刺激を与える第２装置とを備える。
　本開示に係る感覚伝達方法は、第１被験者が知覚した場合における前記第１被験者の脳内活性化情報を検出することと、検出された前記第１被験者の脳内活性化情報に基づいて前記知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した前記基準感覚情報に基づいて前記第１被験者とは異なる第２被験者についての前記基準感覚情報に対応する感覚情報である対応感覚情報を推定することと、推定された前記対応感覚情報を想起するように前記第２被験者に刺激を与えることとを含む。
　本開示に係る感覚伝達プログラムは、第１被験者が知覚した場合における前記第１被験者の脳内活性化情報を検出する処理と、検出された前記第１被験者の脳内活性化情報に基づいて前記知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した前記基準感覚情報に基づいて前記第１被験者とは異なる第２被験者についての前記基準感覚情報に対応する感覚情報である対応感覚情報を推定する処理と、推定された前記対応感覚情報を想起するように前記第２被験者に刺激を与える処理とをコンピュータに実行させる。
　本開示によれば、被験者ごとの個人差又は被験者の取り巻く環境の差が存在する場合において、被験者同士の間で感覚を適切に伝達することが可能となる。
図１は、第１実施形態に係る感覚伝達システムの一例を示す模式図である。 図２は、第１実施形態に係る感覚伝達システムの一例を示す機能ブロック図である。 図３は、ニューラルネットワークの一例を示す図である。 図４は、第１実施形態に係る感覚伝達システムの動作の一例を模式的に示す図である。 図５は、第１実施形態に係る感覚伝達システムの動作の一例を示すフローチャートである。 図６は、第２実施形態に係る感覚伝達システムの動作の他の例を模式的に示す図である。 図７は、第３実施形態に係る感覚伝達システムの動作の他の例を模式的に示す図である。 図８は、第４実施形態に係る感覚伝達システムの一例を示す機能ブロック図である。 図９は、第４実施形態に係る感覚伝達システムの動作の一例を模式的に示す図である。 図１０は、第４実施形態に係る感覚伝達システムの動作の一例を示すフローチャートである。 図１１は、第５実施形態に係る感覚伝達システムの一例を示す機能ブロック図である。 図１２は、第５実施形態に係る感覚伝達システムの動作の一例を模式的に示す図である。 図１３は、第５実施形態に係る感覚伝達システムの動作の一例を示すフローチャートである。
　以下、本開示の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
　［第１実施形態］
　図１は、第１実施形態に係る感覚伝達システム１００の一例を示す模式図である。図２は、感覚伝達システム１００の一例を示す機能ブロック図である。図１及び図２に示すように、感覚伝達システム１００は、第１装置１０と、推定装置２０と、第２装置３０とを備える。
　第１装置１０は、第１被験者Ｒ１が知覚した場合における当該第１被験者Ｒ１の脳内活性化情報を検出する。第１装置１０は、検出部１１と、通信部１２と、処理部１３と、刺激付与部１４と、記憶部１５とを有する。
　検出部１１は、脳内活性化情報を検出する。脳内活性化情報としては、例えば被験者の脳血流に含まれる酸化ヘモグロビン濃度、脱酸化ヘモグロビン濃度、総ヘモグロビン濃度等が挙げられる。検出部１１としては、例えばｆＭＲＩ（ｆｕｎｃｔｉｏｎａｌ　Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ：機能的磁気共鳴画像法）、ｆＮＩＲＳ（ｆｕｎｃｔｉｏｎａｌ　Ｎｅａｒ－Ｉｎｆｒａｒｅｄ　Ｓｐｅｃｔｒｏｓｃｏｐｙ：機能的近赤外分光分析法）等の原理に基づいて計測を行う計測装置、侵襲式の電極を用いた計測装置、脳の血管の中にマイクロマシンを配置して当該マイクロマシンにより計測を行う計測装置等を用いることができる。なお、検出部１１は、上記装置に限定されず、他の種類の装置が用いられてもよい。脳内活性化情報は、例えば第１被験者Ｒ１の脳を数ミリ以下のボクセルで構成される三次元マトリクスにより区画した場合において、ボクセルごとの活性度の大きさとして示すことができる。
　通信部１２は、有線通信又は無線通信を行うインターフェースである。通信部１２は、検出部１１により検出された脳内活性化情報を推定装置２０に送信する。通信部１２は、外部装置とＩＥＥＥ８０２．１１の規格に従った、いわゆる無線ＬＡＮで通信するためのインターフェースを含む。通信部１２は、処理部２２などによる制御で外部装置との通信を実現してもよい。なお、通信方式は無線ＬＡＮに限定されるものではなく、例えば赤外線通信方式、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信方式、ＷｉｒｅｌｅｓｓＵＳＢ等の無線通信方式などを含むことができる。さらには、ＵＳＢケーブルやＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４、Ｅｔｈｅｒｎｅｔなど、有線接続を採用してもよい。
　処理部１３、刺激付与部１４及び記憶部１５については、後述する。第１実施形態においては、処理部１３、刺激付与部１４、記憶部１５については、設けられなくてもよい。
　推定装置２０は、通信部２１と、処理部２２と、記憶部２３と、を有する。通信部２１は、有線通信又は無線通信を行うインターフェースである。通信部２１は、例えば第１装置１０から送信される脳内活性化情報を受信する。通信部２１は、例えば処理部２２により推定される後述の対応感覚情報を第２装置３０に送信する。なお、通信部２１は、上述した通信部１２と同様の構成であってもよい。
　処理部２２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の処理装置と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記憶装置を有する。処理部２２は、以下に説明する推定処理を含めた各種の処理を行う。
　記憶部２３は、各種情報を記憶する。記憶部２３は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部２３として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。
　処理部２２は、検出された第１被験者Ｒ１の脳内活性化情報に基づいて第１被験者Ｒ１が知覚に対して想起した感覚についての感覚情報（基準感覚情報）を推定する。感覚情報は、例えば視覚、聴覚、触覚、味覚及び嗅覚のいわゆる五感のうちの少なくとも１つの感覚に関する情報であってもよいし、平衡感覚や、上記以外の体性感覚等であってもよい。具体的には、感覚情報が視覚に関する情報である場合に、感覚情報は、第１被験者Ｒ１が知覚した画像データであるが、これに限定されず、画像データそのものではなくその画像データに対してサンプリングをした画像データ、あるいははその画像データにフィルター処理を施した画像データであってもよい。さらには、感覚情報が視覚に関する情報である場合には、第１被験者Ｒ１の眼球に入る光に関する情報であってもよい。この場合、例えば、光センサを備えたコンタクトレンズにより光に関する情報を取得してもよい。または、人工網膜を活用して光に関する情報を取得してもよい。具体的には人工網膜に設けられたＣＣＤセンサの光に関する情報を用いればよい。また、感覚情報が聴覚に関する情報である場合に、感覚情報は、第１被験者Ｒ１が知覚した音声信号データであればよい。また、感覚情報が味覚に関する情報である場合に、感覚情報は、第１被験者Ｒ１が知覚した味覚を再現する複数の化学物質の指標を示すデータであればよい。また、感覚情報が触覚に関する情報である場合に、感覚情報は、第１被験者Ｒ１の身体全体表面を平面に展開し、その展開図のどの部分に刺激が、どの程度、起きたかを示すデータであればよい。なおこれらの感覚情報は一例であり、これらに限定されない。第１被験者Ｒ１について、どのような感覚情報を想起した場合にどのような脳内活性化情報となっているかについては、予め実験を行うことにより対応関係を求めておくことができる。例えば、第１被験者Ｒ１から検出された脳内活性化情報と、当該脳内活性化情報に対応する感覚情報とを対応付けて１組の学習データセットとし、当該学習データセットを機械学習させることで第１学習モデルを生成することができる。第１学習モデルは、例えば記憶部２３に記憶させておくことができる。
　また、処理部２２は、推定した基準感覚情報に基づいて第１被験者Ｒ１とは異なる第２被験者Ｒ２についての基準感覚情報に対応する感覚情報である対応感覚情報を推定する。なお、対応感覚情報の具体例は感覚情報の具体例に相当してもよい。第２被験者Ｒ２は、第１被験者Ｒ１の感覚を伝達する伝達先となる被験者である。基準感覚情報と対応感覚情報との関係については、予め実験を行うことで対応付けを行うことができる。例えば第１被験者Ｒ１と第２被験者Ｒ２との間で対応する感覚情報を１組の学習データセットとし、当該学習データセットを機械学習させることで第２学習モデルを生成することができる。第２学習モデルは、例えば記憶部２３に記憶させておくことができる。
　第２装置３０は、推定された対応感覚情報を想起するように第２被験者Ｒ２に刺激を与える。第２装置３０は、検出部３１と、通信部３２と、処理部３３と、刺激付与部３４と、記憶部３５とを有する。
　検出部３１については、後述する。第１実施形態において、検出部３１は、設けられなくてもよい。
　通信部３２は、有線通信又は無線通信を行うインターフェースである。通信部３２は、推定装置２０から送信される対応感覚情報を受信する。また、通信部３２は、検出部３１により検出された脳内活性化情報を推定装置２０に送信する。なお、通信部３２は、上述した通信部１２と同様の構成であってもよい。
　刺激付与部３４は、第２被験者Ｒ２の脳の対象部位に電磁波信号を照射して対象部位を活性化させることで、第２被験者Ｒ２に刺激を与える。この場合、第２被験者Ｒ２の脳を、例えば数ミリ以下のボクセルで構成される三次元マトリクスにより区画し、ボクセルごとに電磁波を照射する。刺激付与部３４は、三次元マトリクスのどのボクセルに対してどの程度の強度の電磁波を照射するかを示す刺激像情報に基づいて電磁波を照射することができる。刺激像情報の三次元マトリクスにおけるボクセルは、例えば脳内活性化情報の三次元マトリクスにおけるボクセルとの間で寸法及び位置等が対応していてもよい。第２被験者Ｒ２の脳のうちどのボクセルにどの程度の強度の電磁波を照射すれば、どのような感覚情報が想起されるかについては、予め実験を行うことにより対応関係を求めておくことができる。例えば、第２被験者Ｒ２に対する刺激像情報と、当該刺激像情報に基づいて電磁波を照射した場合に第２被験者Ｒ２が想起する感覚情報とを対応付けて１組の学習データセットとし、当該学習データセットを機械学習させることで第３学習モデルを生成することができる。第３学習モデルは、例えば第２装置３０の記憶部３５に記憶させておくことができる。処理部３３は、通信部３２で受信した対応感覚情報と、第３学習モデルとに基づいて、受信した対応感覚情報に対応する刺激像情報を算出することができる。
　上記した第１学習モデル、第２学習モデル及び第３学習モデルは、例えばＶＧＧ１６で表されるニューラルネットワーク（畳み込みニューラルネットワーク）を用いて生成することができる。図３は、ニューラルネットワークの一例を示す図である。図３の上段に示すように、ニューラルネットワークＮＷは、１３層の畳み込み層Ｓ１と、５層のプーリング層Ｓ２と、３層の全結合層Ｓ３とを有する。ニューラルネットワークは、入力される情報を畳み込み層Ｓ１及びプーリング層Ｓ２で順に処理し、処理結果が全結合層Ｓ３で結合されて出力される。
　第１学習モデル、第２学習モデル及び第３学習モデルを生成する際、図３の中段に示すように、それぞれ対応する情報（Ｉ１，Ｉ２）を含む学習データセットをニューラルネットワークＮＷに入力し、学習データセットの相関関係を深層学習等の機械学習により学習する。つまり、学習によりニューラルネットワークＮＷを最適化して学習モデルを生成する。例えば、それぞれの学習データセットを構成する情報のうち一方の情報が入力された場合に一方の情報を求める問題を解くように学習する。
　第１学習モデル、第２学習モデル及び第３学習モデルを用いて推論を行う際、図３の下段に示すように、それぞれ学習データセットを構成する２つの情報のうち一方の情報Ｉ１をニューラルネットワークＮＷに入力する。第１学習モデル、第２学習モデル及び第３学習モデルからは、学習データセットを構成する情報の相関関係の学習結果に基づいて、入力された一方の情報Ｉ１に対応する他方の情報Ｉ２が出力される。なお、本実施形態では、ＶＧＧ１６で表される畳み込みニューラルネットワークを用いて学習モデルを生成する例を説明しているが、これに限定されず、他の種類のニューラルネットワークを用いて学習モデルを生成してもよい。
　次に、上記のように構成された感覚伝達システム１００を用いた感覚伝達方法について説明する。図４は、感覚伝達システム１００の動作の一例を模式的に示す図である。図４に示すように、第１被験者Ｒ１が基準感覚情報を想起するように知覚させる。以下、第１被験者Ｒ１が猫の顔を視覚的に知覚して視覚情報として想起する場合を例に挙げて説明する。
　図４の上段に示すように、検出部１１は、猫の顔を知覚して感覚情報４１を想起する第１被験者Ｒ１の脳内活性化情報４２を検出する。通信部１２は、検出部１１で検出された脳内活性化情報４２を推定装置２０に送信する。
　推定装置２０において、通信部２１は、第１装置１０から送信された脳内活性化情報４２を受信する。処理部２２は、受信した脳内活性化情報４２に基づいて、基準感覚情報４３を推定する。この場合、処理部２２は、第１被験者Ｒ１の脳内活性化情報４２を第１学習モデルに入力する。第１学習モデルからは、脳内活性化情報４２と基準感覚情報４３との相関関係の学習結果に基づいて、入力した脳内活性化情報４２に対応する基準感覚情報４３が出力される。処理部２２は、出力された基準感覚情報４３を推定結果として取得する。
　処理部２２は、推定した基準感覚情報４３に基づいて第２被験者Ｒ２についての当該基準感覚情報４３と対応する対応感覚情報４４を推定する。この場合、処理部２２は、取得した基準感覚情報４３を第２学習モデルに入力する。第２学習モデルからは、基準感覚情報４３と対応感覚情報４４との相関関係の学習結果に基づいて、入力した基準感覚情報４３に対応する対応感覚情報４４が出力される。処理部２２は、出力された対応感覚情報４４を推定結果として取得する。通信部２１は、取得した対応感覚情報４４を第２装置３０に送信する。
　第２装置３０において、通信部３２は、推定装置２０から送信された対応感覚情報４４を受信する。処理部３３は、受信した対応感覚情報４４を、記憶部３５に記憶される第３学習モデルに入力する。第３学習モデルからは、対応感覚情報４４と刺激像情報との相関関係の学習結果に基づいて、入力した対応感覚情報４４に対応する刺激像情報４５が出力される。刺激付与部３４は、出力された刺激像情報４５に基づいて第２被験者Ｒ２の脳に電磁波を照射することで第２被験者Ｒ２に刺激を与える。この結果、刺激付与部３４により刺激が与えられた第２被験者Ｒ２は、刺激像情報４５に対応する対応感覚情報４６を想起する。つまり、第２被験者Ｒ２は、猫の顔の視覚情報を対応感覚情報４６として想起する。
　一方、第１被験者Ｒ１と第２被験者Ｒ２との間には個性の差等が存在するため、脳の活動状態と脳内活性化情報との対応関係が異なるものである。このため、図４の下段に示すように（一点鎖線で示す）、第１被験者Ｒ１の脳内活性化情報４２を直接第２装置３０に送信し、第２装置３０において脳内活性化情報４２に対応するように第２被験者Ｒ２の脳に刺激を与えた場合、第２被験者Ｒ２は、猫の顔とは異なる視覚情報を感覚情報４７として想起する可能性が高い。この場合、第１被験者Ｒ１の感覚情報が第２被験者Ｒ２に適切に伝達されないことになる。
　これに対して、本実施形態の感覚伝達システム１００では、推定装置２０において第２被験者Ｒ２の対応感覚情報４４を推定するため、第１被験者Ｒ１から第２被験者Ｒ２に対して、猫の顔の視覚情報が適切に伝達される。
　図５は、感覚伝達システム１００の動作の一例を示すフローチャートである。図５に示すように、感覚伝達システム１００において、第１装置１０は、第１被験者Ｒ１が知覚した場合における第１被験者Ｒ１の脳内活性化情報を検出する（ステップＳ１０１）。次に、推定装置２０は、第１被験者Ｒ１の脳内活性化情報に基づいて第１被験者Ｒ１が知覚に対して想起した基準感覚情報を推定する（ステップＳ１０２）。次に、推定装置２０は、推定した基準感覚情報に基づいて第１被験者Ｒ１とは異なる第２被験者Ｒ２についての基準感覚情報に対応する対応感覚情報を推定する（ステップＳ１０３）。そして、第２装置３０は、推定された対応感覚情報を想起するように第２被験者Ｒ２に刺激を与える（ステップＳ１０４）。
　以上のように、本実施形態に係る感覚伝達システム１００は、第１被験者Ｒ１が知覚した場合における第１被験者Ｒ１の脳内活性化情報を検出する第１装置１０と、検出された第１被験者Ｒ１の脳内活性化情報に基づいて知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した基準感覚情報に基づいて第１被験者Ｒ１とは異なる第２被験者Ｒ２についての基準感覚情報に対応する感覚情報である対応感覚情報を推定する推定装置２０と、推定された対応感覚情報を想起するように第２被験者Ｒ２に刺激を与える第２装置３０とを備える。
　本実施形態に係る感覚伝達方法は、第１被験者Ｒ１が知覚した場合における第１被験者Ｒ１の脳内活性化情報を検出することと、検出された第１被験者Ｒ１の脳内活性化情報に基づいて第１被験者Ｒ１が知覚に対して想起した基準感覚情報を推定し、推定した基準感覚情報に基づいて第１被験者Ｒ１とは異なる第２被験者Ｒ２についての基準感覚情報に対応する対応感覚情報を推定することと、推定された対応感覚情報を想起するように第２被験者Ｒ２に刺激を与えることとを含む。
　本実施形態に係る感覚伝達プログラムは、第１被験者Ｒ１が知覚した場合における第１被験者Ｒ１の脳内活性化情報を検出する処理と、検出された第１被験者Ｒ１の脳内活性化情報に基づいて第１被験者Ｒ１が知覚に対して想起した基準感覚情報を推定し、推定した基準感覚情報に基づいて第１被験者Ｒ１とは異なる第２被験者Ｒ２についての基準感覚情報に対応する対応感覚情報を推定する処理と、推定された対応感覚情報を想起するように第２被験者Ｒ２に刺激を与える処理とをコンピュータに実行させる。
　この構成によれば、第１被験者Ｒ１の基準感覚情報をそのまま第２被験者Ｒ２に想起させるのではなく、基準感覚情報に基づいて第２被験者Ｒ２の対応する対応感覚情報を推定し、推定した対応感覚情報を想起するように第２被験者Ｒ２に刺激を与えるため、第１被験者Ｒ１と第２被験者Ｒ２との間で感覚情報を想起する際の脳の活動に差がある場合においても、第１被験者Ｒ１から第２被験者Ｒ２に対して適切に感覚情報を伝達することができる。
　本実施形態に係る感覚伝達システム１００において、基準感覚情報は、脳内活性化情報を検出した第１被験者Ｒ１が想起する感覚情報である。この構成では、第１被験者Ｒ１の感覚情報と第２被験者Ｒ２との感覚情報とを直接的に対応付けることで、適切に感覚情報を伝達することができる。
　本実施形態に係る感覚伝達システム１００において、刺激は、第２被験者Ｒ２の脳の対象部位に電磁波信号を照射して対象部位を活性化させることを含む。この構成では、第２被験者Ｒ２の脳を直接的に活性化させることで第２被験者Ｒ２に対して感覚情報をよりダイレクトに想起させることができる。
　［第２実施形態］
　次に、第２実施形態について説明する。第１実施形態では、感覚伝達システム１００が第１被験者Ｒ１から第２被験者Ｒ２に対して一方向に感覚を伝達する場合を例に挙げて説明した。これに対して、第２実施形態では、感覚伝達システム１００が第２被験者Ｒ２から第１被験者Ｒ１に対しても感覚を伝達する。つまり、感覚伝達システム１００は、第１被験者Ｒ１と第２被験者Ｒ２との間で感覚を双方向に伝達することができる構成である。
　感覚伝達システム１００の全体構成については、第１実施形態と同様である。以下では、図１及び図２を参照して、感覚伝達システム１００の構成について第２装置３０側から説明する。
　第２装置３０は、検出部３１と、通信部３２と、処理部３３と、刺激付与部３４と、記憶部３５とを有する。処理部３３、刺激付与部３４及び記憶部３５については、第１実施形態と同様である。検出部３１は、第１実施形態における検出部１１と同様に、第２被験者Ｒ２の脳内活性化情報を検出する。通信部３２は、検出部３１により検出された脳内活性化情報を推定装置２０に送信する。
　推定装置２０は、第１実施形態の推定装置２０と同様に、通信部２１と、処理部２２と、記憶部２３と、を有する。通信部２１は、有線通信又は無線通信が可能である。本実施形態において、通信部２１は、例えば第２装置３０から送信される脳内活性化情報を受信する。通信部２１は、例えば処理部２２により推定される後述の対応感覚情報を第１装置１０に送信する。
　処理部２２は、検出された第２被験者Ｒ２の脳内活性化情報に基づいて第２被験者Ｒ２が知覚に対して想起した感覚についての感覚情報（基準感覚情報）を推定する。第２被験者Ｒ２について、どのような感覚情報を想起した場合にどのような脳内活性化情報となっているかについては、予め実験を行うことにより対応関係を求めておくことができる。例えば、第２被験者Ｒ２から検出された脳内活性化情報と、当該脳内活性化情報に対応する感覚情報とを対応付けて１組の学習データセットとし、当該学習データセットを機械学習させることで第４学習モデルを生成することができる。第４学習モデルは、例えば記憶部２３に記憶させておくことができる。
　また、処理部２２は、推定した基準感覚情報に基づいて第１被験者Ｒ１についての基準感覚情報に対応する感覚情報である対応感覚情報を推定する。この場合、処理部２２は、記憶部２３に記憶される第２学習モデルに基づいて推定を行うことができる。
　第１装置１０は、検出部１１と、通信部１２と、処理部１３と、刺激付与部１４と、記憶部１５とを有する。検出部１１及び通信部１２は、第１実施形態と同様の構成である。なお、通信部１２は、推定装置２０から送信される対応感覚情報を受信する。
　処理部１３は、通信部１２で受信した対応感覚情報に応じた刺激像情報を推定する。刺激像情報は、刺激付与部１４による第１被験者Ｒ１に付与する刺激内容を示す情報である。
　刺激付与部１４は、第１被験者Ｒ１の脳の対象部位に電磁波信号を照射して対象部位を活性化させることで、第１被験者Ｒ１に刺激を与える。この場合、第１実施形態における刺激付与部３４と同様に、第１被験者Ｒ１の脳を、例えば数ミリ以下のボクセルで構成される三次元マトリクスにより区画し、ボクセルごとに電磁波を照射する。刺激付与部１４は、三次元マトリクスのどのボクセルに対してどの程度の強度の電磁波を照射するかを示す刺激像情報に基づいて電磁波を照射することができる。第１被験者Ｒ１の脳のうちどのボクセルにどの程度の強度の電磁波を照射すれば、どのような感覚情報が想起されるかについては、予め実験を行うことにより対応関係を求めておくことができる。例えば、第１被験者Ｒ１に対する刺激像情報と、当該刺激像情報に基づいて電磁波を照射した場合に第１被験者Ｒ１が想起する感覚情報とを対応付けて１組の学習データセットとし、当該学習データセットを機械学習させることで第５学習モデルを生成することができる。第５学習モデルは、例えば第１装置１０の記憶部１５に記憶させておくことができる。
　上記した第４学習モデル及び第５学習モデルは、第１学習モデルから第３学習モデルと同様、例えばＶＧＧ１６で表されるニューラルネットワークを用いて生成することができる。第４学習モデル及び第５学習モデルを生成する際、それぞれ学習データセットをニューラルネットワークに入力し、学習データセットの相関関係を深層学習等の機械学習により学習する。つまり、学習によりニューラルネットワークを最適化して学習モデルを生成する。なお、ＶＧＧ１６で表される畳み込みニューラルネットワークに限定されず、他の種類のニューラルネットワークを用いて学習モデルを生成してもよい。
　次に、上記のように構成された感覚伝達システム１００を用いた感覚伝達方法について説明する。なお、第１被験者Ｒ１から第２被験者Ｒ２に対して感覚を伝達する感覚伝達方法については、第１実施形態と同様である。本実施形態では、第２被験者Ｒ２から第１被験者Ｒ１に感覚を伝達する場合について説明する。
　図６は、感覚伝達システム１００の動作の一例を模式的に示す図である。図６に示すように、第２被験者Ｒ２が基準感覚情報を想起するように知覚させる。以下、第２被験者Ｒ２が猫の顔を視覚的に知覚して視覚情報として想起する場合を例に挙げて説明する。なお、以下の例において、猫の顔は、第１実施形態と同様に猫の顔とする。
　図６の上段に示すように、検出部３１は、猫の顔を知覚して感覚情報５１を想起する第２被験者Ｒ２の脳内活性化情報５２を検出する。通信部３２は、検出部３１で検出された脳内活性化情報５２を推定装置２０に送信する。
　推定装置２０において、通信部２１は、第３装置１３０から送信された脳内活性化情報５２を受信する。処理部２２は、受信した脳内活性化情報５２に基づいて、基準感覚情報５３を推定する。この場合、処理部２２は、第２被験者Ｒ２の脳内活性化情報５２を第４学習モデルに入力する。第４学習モデルからは、脳内活性化情報５２と基準感覚情報５３との相関関係の学習結果に基づいて、入力した脳内活性化情報５２に対応する基準感覚情報５３が出力される。処理部２２は、出力された基準感覚情報５３を推定結果として取得する。
　処理部２２は、推定した基準感覚情報５３に基づいて第１被験者Ｒ１についての当該基準感覚情報５３と対応する対応感覚情報５４を推定する。この場合、処理部２２は、取得した基準感覚情報５３を第２学習モデルに入力する。第２学習モデルからは、基準感覚情報５３と対応感覚情報５４との相関関係の学習結果に基づいて、入力した基準感覚情報５３に対応する対応感覚情報５４が出力される。処理部２２は、出力された対応感覚情報５４を推定結果として取得する。通信部２１は、取得した対応感覚情報５４を第１装置１０に送信する。
　図６の下段に示すように、第１装置１０において、通信部１２は、推定装置２０から送信された対応感覚情報５４を受信する。処理部１３は、受信した対応感覚情報５４を、記憶部１５に記憶される第５学習モデルに入力する。第５学習モデルからは、対応感覚情報５４と刺激像情報５５との相関関係の学習結果に基づいて、入力した対応感覚情報５４に対応する刺激像情報５５が出力される。刺激付与部１４は、出力された刺激像情報５５に基づいて第１被験者Ｒ１の脳に電磁波を照射することで第１被験者Ｒ１に刺激を与える。この結果、刺激付与部１４により刺激が与えられた第１被験者Ｒ１は、刺激像情報５５に対応する対応感覚情報５６を想起する。つまり、第１被験者Ｒ１は、猫の顔の視覚情報を対応感覚情報５６として想起する。このように、第２被験者Ｒ２から第１被験者Ｒ１に対して、猫の顔の視覚情報が伝達される。
　以上のように、本実施形態に係る感覚伝達システム１００において、基準感覚情報は、脳内活性化情報を検出した第２被験者Ｒ２が想起する感覚情報である。この構成では、第２被験者Ｒ２の感覚情報と第１被験者Ｒ１との感覚情報とを直接的に対応付けることで、脳の活動に差がある被験者同士の間で適切に感覚情報を伝達することができる。
　［第３実施形態］
　次に、第３実施形態について説明する。上記第１実施形態及び第２実施形態では、脳内活性化情報を検出した被験者が想起する感覚情報を基準感覚情報として説明した。これに対して、第３実施形態では、複数の被験者の間で対応する感覚情報に基づいて抽出される標準感覚情報を基準感覚情報とする場合を例に挙げて説明する。感覚伝達システム１００の全体構成については、第１実施形態と同様である。
　推定装置２０において、基準感覚情報から対応感覚情報を推定する場合には、基準感覚情報として、標準感覚情報を用いる。標準感覚情報は、例えば、複数の検出者が同一の画像を見るなどの同一の知覚を行った場合、複数の被験者において検出される脳内活性化情報の平均値とすることができる。したがって、標準感覚情報は、後天的な記憶などによる個人差が小さく、平均的な人の感覚情報となる。
　標準感覚情報は、複数の被験者の間で対応する感覚情報を学習する際、学習結果から抽出することができる。例えば、特定の被験者（例えば第１被験者Ｒ１又は第２被験者Ｒ２）の脳内活性化情報と標準感覚情報（複数の被験者の脳内活性化情報の平均値）のそれぞれを１組の学習データセットとし、当該学習データセットを機械学習させることで第６学習モデルを生成することができる。第６学習モデルを生成する際、学習データセットに含まれる複数の感覚情報から標準感覚情報を抽出し、抽出した標準感覚情報と当該学習データセットに含まれる個々の脳内活性化情報とを対応付けるようにしてもよい。この結果、例えばある対象物を見た場合の視覚についての感覚情報、ある音声を聞いた場合の聴覚についての感覚情報、ある対象物に触れた場合の触覚についての感覚情報、といった異なる種類の感覚情報について、複数の被験者の個々の脳内活性化情報と標準感覚情報との対応関係を機械学習した第６学習モデルが生成される。第６学習モデルは、例えば記憶部２５に記憶させることができる。
　次に、上記のように構成された感覚伝達システム１００を用いた感覚伝達方法について説明する。図７は、感覚伝達システム１００の動作の一例を模式的に示す図である。例えば、第１被験者Ｒ１が知覚を行ったときの感覚情報６１を第２被験者Ｒ２に伝達する場合、第１装置１０において第１被験者Ｒ１の脳内活性化情報６２を取得し、推定装置２０に送信する。
　推定装置２０において、処理部３３は、第１装置１０から送信される脳内活性化情報６２と、感覚情報の伝達先である第２被験者Ｒ２の識別情報とを、記憶部３５に記憶される第６学習モデルに入力する。第６学習モデルでは、脳内活性化情報６２に対応する標準感覚情報６３が算出され、当該標準感覚情報６３に対応付けられた第２被験者Ｒ２の感覚情報が対応感覚情報６４として出力される。通信部２１は、出力された対応感覚情報６４を第２装置３０に送信する。
　第２装置３０において、第１実施形態と同様に、推定装置２０から送信された対応感覚情報６４を受信し、受信した対応感覚情報６４に基づいて刺激像情報６５が取得される。刺激付与部３４は、出力された刺激像情報６５に基づいて第２被験者Ｒ２の脳に電磁波を照射することで第２被験者Ｒ２に刺激を与える。刺激付与部３４により刺激が与えられた第２被験者Ｒ２は、刺激像情報６５に対応する対応感覚情報６６を想起する。
　以上のように、本実施形態に係る感覚伝達システム１００において、基準感覚情報は、複数の被験者の間で対応する感覚情報に基づいて抽出される標準感覚情報６３である。この構成では、複数の被験者の間で対応する感覚情報に基づいて抽出される標準感覚情報６３が基準感覚情報として用いられるため、多くの被験者の間で適切に感覚情報を伝達することができる。
　［第４実施形態］
　図８は、第４実施形態に係る感覚伝達システム２００の一例を示す図である。上記実施形態の感覚伝達システム１００では、異なる被験者の間で感覚情報を伝達する場合について説明した。これに対して、第４実施形態に記載の感覚伝達システム２００では、同一の被験者の間で感覚情報を伝達する場合を例に挙げて説明する。
　図８に示すように、感覚伝達システム２００は、検出刺激装置（検出装置、刺激装置）１１０と、推定装置１２０とを備える。検出刺激装置１１０は、例えば上記実施形態に記載の第１装置１０と同様の構成であり、検出部１１と、通信部１２と、処理部１３と、刺激付与部１４と、記憶部１５とを有する。検出部１１は、脳内活性化情報を検出する。通信部１２は、有線通信又は無線通信を行い、検出部１１で検出された脳内活性化情報を推定装置２０に送信する。処理部１３は、通信部１２で受信する対応感覚情報に基づいて刺激像情報を算出する。刺激付与部１４は、算出された刺激像情報に基づいて、対象被験者Ｒ４の脳の対象部位に電磁波信号を照射して対象部位を活性化させ、対象被験者Ｒ４に刺激を与える。記憶部１５は、各種情報を記憶する。
　推定装置１２０は、通信部２１と、処理部２２と、記憶部２３と、を有する。通信部２１は、有線通信又は無線通信が可能である。本実施形態において、通信部２１は、例えば検出刺激装置１１０から送信される脳内活性化情報を受信する。通信部２１は、例えば処理部２２により推定される後述の対応感覚情報を検出刺激装置１１０に送信する。
　処理部２２は、第１時点において検出された対象被験者Ｒ４の脳内活性化情報に基づいて、知覚に対して想起される基準感覚情報を推定する。第１時点は、対象被験者Ｒ４が幼少の時点であってもよく、例えば対象被験者Ｒ４が３歳未満であってもよい。
　基準感覚情報としては、例えば第１時点において対象被験者Ｒ４が知覚に対して想起する感覚情報とすることができる。この場合、処理部２２は、上記した第１学習モデルと同様の第７学習モデルに基づいて基準感覚情報を推定することができる。第７学習モデルは、例えば記憶部２５に記憶させることができる。
　また、基準感覚情報として、例えば複数の被験者の間で対応する感覚情報に基づいて抽出される標準感覚情報であってもよい。標準感覚情報としては、例えば対象被験者Ｒ４と脳の成長状態が対応する複数の被験者が想起する感覚情報に基づいて抽出される情報とすることができる。このような複数の被験者としては、例えば年齢が対応する複数の被験者、成長した環境（緯度、文化的環境、使用言語等）が対応する複数の被験者、職業が同一又は対応する複数の被験者等が挙げられる。処理部２２は、例えば第１時点の対象被験者Ｒ４の脳内活性化情報に基づいて標準感覚情報を推定する第８学習モデルを用いることができる。第８学習モデルは、例えば記憶部２５に記憶させることができる。
　また、処理部２２は、推定した基準感覚情報に基づいて、第１時点よりも時間が経過した第２時点における対象被験者Ｒ４についての当該基準感覚情報と対応する対応感覚情報を推定する。第１時点と第２時点とで、例えば対象被験者Ｒ４の脳の成長の程度が大きく異なっていてもよい。例えば第１時点の対象被験者Ｒ４と第２時点の対象被験者Ｒ４との間で対応する感覚情報を１組の学習データセットとし、当該学習データセットを機械学習させることで、第９学習モデルを生成することができる。第９学習モデルは、例えば記憶部２３に記憶させておくことができる。
　次に、上記のように構成された感覚伝達システム２００を用いた感覚伝達方法について説明する。図９は、感覚伝達システム１００の動作の一例を模式的に示す図である。図９の上段に示すように、検出刺激装置１１０の検出部１１は、猫の顔を知覚して感覚情報７１を想起する対象被験者Ｒ４の脳内活性化情報７２を検出する。通信部１２は、検出部１１で検出された脳内活性化情報７２を推定装置１２０に送信する。推定装置１２０において、通信部２１は、検出刺激装置１１０から送信された脳内活性化情報７２を受信する。処理部２２は、受信した脳内活性化情報を第７学習モデル又は第８学習モデルに入力する。第７学習モデル又は第８学習モデルからは、入力した脳内活性化情報７２に対応する基準感覚情報７３が出力される。処理部２２は、出力された基準感覚情報７３を推定結果として取得する。記憶部２５は、取得した基準感覚情報７３を記憶する。
　図９の下段に示すように、第１時点から時間が経過した第２時点において、例えば対象被験者Ｒ４が上記の猫の顔の知覚を追体験しようとする場合、被験者Ｒ４は、検出刺激装置１１０の刺激付与部１４から刺激を付与されることが可能な状態となるように準備する。処理部２２は、記憶部２５に記憶された基準感覚情報７３に基づいて対象被験者Ｒ４についての当該基準感覚情報７３と対応する対応感覚情報７４を推定する。この場合、処理部２２は、取得した基準感覚情報７３を第９学習モデルに入力する。第９学習モデルからは、入力した基準感覚情報７３に対応する対応感覚情報７４が出力される。処理部２２は、出力された対応感覚情報７４を推定結果として取得する。通信部２１は、取得した対応感覚情報７４を検出刺激装置１１０に送信する。
　検出刺激装置１１０において、通信部１２は、推定装置１２０から送信された対応感覚情報７４を受信する。処理部１３は、受信した対応感覚情報７４を、記憶部１５に記憶される第３学習モデルに入力する。第３学習モデルからは、入力した対応感覚情報７４に対応する刺激像情報７５が出力される。刺激付与部１４は、出力された刺激像情報７５に基づいて対象被験者Ｒ４の脳に電磁波を照射することで対象被験者Ｒ４に刺激を与える。この結果、刺激付与部１４により刺激が与えられた対象被験者Ｒ４は、刺激像情報７５に対応する対応感覚情報７６を想起する。つまり、対象被験者Ｒ４は、第１時点で猫の顔を見た時の視覚情報を第２時点において対応感覚情報７６として想起する。このように、第１時点の対象被験者Ｒ４から第２時点の対象被験者Ｒ４に対して、猫の顔の視覚情報が伝達される。これにより、対象被験者Ｒ４は、猫の顔を見たことを追体験することができる。
　図１０は、感覚伝達システム２００の動作の一例を示すフローチャートである。図１０に示すように、感覚伝達システム２００において、検出刺激装置１１０は、第１時点において対象被験者Ｒ４が知覚した場合における脳内活性化情報を検出する（ステップＳ２０１）。次に、推定装置２０は、対象被験者Ｒ４の脳内活性化情報に基づいて第１時点における基準感覚情報を推定する（ステップＳ２０２）。次に、推定装置２０は、推定した基準感覚情報に基づいて第１被験者Ｒ１とは異なる第２被験者Ｒ２についての基準感覚情報に対応する対応感覚情報を推定する（ステップＳ２０３）。そして、第２装置３０は、推定された対応感覚情報を想起するように第２被験者Ｒ２に刺激を与える（ステップＳ２０４）。
　以上のように、本実施形態に係る感覚伝達システム２００は、対象被験者Ｒ４が知覚した場合における対象被験者Ｒ４の脳内活性化情報を検出する検出装置（検出刺激装置１１０）と、第１時点において検出された対象被験者Ｒ４の脳内活性化情報に基づいて知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した基準感覚情報に基づいて、第１時点よりも時間が経過した第２時点における対象被験者Ｒ４についての基準感覚情報に対応する対応感覚情報を推定する推定装置１２０と、推定された対応感覚情報を想起するように第２時点において対象被験者Ｒ４に刺激を与える刺激装置（検出刺激装置１１０）とを備える。
　また、本実施形態に係る感覚伝達方法は、対象被験者Ｒ４が知覚した場合における対象被験者Ｒ４の脳内活性化情報を検出することと、第１時点において検出された対象被験者Ｒ４の脳内活性化情報に基づいて知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した基準感覚情報に基づいて、第１時点よりも時間が経過した第２時点における対象被験者Ｒ４についての基準感覚情報に対応する対応感覚情報を推定することと、推定された対応感覚情報を想起するように第２時点において対象被験者Ｒ４に刺激を与えることとを含む。
　この構成によれば、第１時点の対象被験者Ｒ４の基準感覚情報をそのまま第２時点の対象被験者Ｒ４に想起させるのではなく、基準感覚情報に基づいて第２時点の対象被験者Ｒ４の対応する対応感覚情報を推定し、推定した対応感覚情報を想起するように対象被験者Ｒ４に刺激を与える。このため、第１時点の対象被験者Ｒ４と第２時点の対象被験者Ｒ４との間で感覚情報を想起する際の脳の活動に差がある場合においても、適切に感覚情報を伝達することができる。
　本実施形態に係る感覚伝達システム２００において、基準感覚情報は、第１時点における対象被験者Ｒ４が想起する感覚情報である。この構成では、第１時点における対象被験者Ｒ４の感覚情報と第２時点における対象被験者Ｒ４との感覚情報とを直接的に対応付けることで、適切に感覚情報を伝達することができる。
　本実施形態に係る感覚伝達システム２００において、基準感覚情報は、複数の被験者の間で対応する感覚情報に基づいて抽出される標準感覚情報である。この構成では、複数の被験者の間で対応する感覚情報に基づいて抽出される標準感覚情報が基準感覚情報として用いられるため、異なる時点の対象被験者Ｒ４の間で効率的に感覚情報を伝達することができる。
　本実施形態に係る感覚伝達システム２００において、標準感覚情報は、対象被験者Ｒ４と脳の成長状態が対応する複数の被験者が想起する感覚情報に基づいて抽出される。この構成では、対象被験者Ｒ４と脳の成長状態が対応する複数の被験者が想起する感覚情報に基づいて、異なる時点の対象被験者Ｒ４の間で効率的に感覚情報を伝達することができる。
　［第５実施形態］
　図１１は、第５実施形態に係る感覚伝達システム３００の一例を示す図である。図１０に示すように、第５実施形態に係る感覚伝達システム３００は、感覚推定装置２２０と、刺激装置２１０とを備える。
　感覚推定装置２２０は、通信部２２１と、処理部２２２と、記憶部２２３と、入力部２２４とを有する。通信部２２１は、刺激装置２１０との間で有線通信又は無線通信を行う。記憶部２２３は、知覚に対して想起される感覚情報である基準感覚情報を記憶する。記憶部２２３は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部２２３として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。基準感覚情報は、被験者Ｒ５又は被験者Ｒ５とは異なる人物が知覚に対して想起する感覚情報であってもよいし、複数の被験者の間で対応する感覚情報に基づいて抽出される標準感覚情報であってもよい。
　処理部２２２は、記憶部２２３に記憶される基準感覚情報に基づいて、被験者Ｒ５についての基準感覚情報に対応する感覚情報である対応感覚情報を推定する。例えば被験者Ｒ５の感覚情報と基準感覚情報との間で対応する感覚情報を１組の学習データセットとし、当該学習データセットを機械学習させることで第１０学習モデルを生成することができる。第１０学習モデルは、例えば記憶部２２３に記憶させておくことができる。処理部２２２は、例えば後述する入力部２２４により基準感覚情報が指定された場合、指定された基準感覚情報に対応する対応感覚情報を推定する。
　入力部２２４は、情報を入力するための所定の入力操作が可能である。入力部２２４としては、例えばキーボード、タッチパネル等の入力装置が用いられる。なお、入力部２２４として、これらに加えて又は代えて、ボタン、レバー、ダイヤル、スイッチ又は他の入力装置が用いられてもよい。入力部２２４は、例えば記憶部２２３に記憶された複数の基準感覚情報の中から被験者Ｒ５が体験したい感覚情報を入力することができる。
　刺激装置２１０は、通信部２１２と、処理部２１３と、刺激付与部２１４と、記憶部２１５とを有する。通信部２１２は、有線通信又は無線通信が可能である。通信部２１２は、感覚推定装置２２０から送信される対応感覚情報を受信する。
　処理部２１３は、通信部２１２で受信した対応感覚情報と、当該対応感覚情報と刺激像情報との対応関係を学習した第１１学習モデルとに基づいて、受信した対応感覚情報に対応する刺激像情報を算出する。この第１１学習モデルは、例えば上記した第１実施形態における第３学習モデルと同様の学習モデルとすることができる。刺激付与部２１４は、被験者Ｒ５の脳の対象部位に電磁波信号を照射して対象部位を活性化させることで、被験者Ｒ５に刺激を与える。
　次に、上記のように構成された感覚伝達システム３００を用いた感覚伝達方法について説明する。図１２は、本実施形態に係る感覚伝達システム３００の動作の一例を模式的に示す図である。被験者Ｒ５は、刺激装置２１０の刺激付与部２１４から刺激を付与されることが可能な状態となるように準備する。被験者Ｒ５により入力部２２４を介して基準感覚情報８１が選択された場合、感覚推定装置２２０において、処理部２２２は、選択された基準感覚情報８１に基づいて、被験者Ｒ５についての対応感覚情報８２を推定する。処理部２２２は、例えば選択された基準感覚情報８１を第１０学習モデルに入力する。第１０学習モデルからは、入力した基準感覚情報８１に対応する対応感覚情報８２が出力される。処理部２２２は、出力された対応感覚情報８２を推定結果として取得する。通信部２２１は、取得した対応感覚情報８２を刺激装置２１０に送信する。
　刺激装置２１０において、通信部２１２は、感覚推定装置２２０から送信された対応感覚情報８２を受信する。処理部２１３は、受信した対応感覚情報８２を、記憶部２１５に記憶される第１１学習モデルに入力する。第１１学習モデルからは、入力した対応感覚情報８２に対応する刺激像情報８３が出力される。刺激付与部２１４は、出力された刺激像情報８３に基づいて被験者Ｒ５の脳に電磁波を照射することで被験者Ｒ５に刺激を与える。この結果、刺激付与部２１４により刺激が与えられた被験者Ｒ５は、刺激像情報８３に対応する対応感覚情報８４を想起する。つまり、被験者Ｒ５は、猫の顔の視覚情報を対応感覚情報８４として想起する。このように、感覚推定装置２２０から被験者Ｒ５に対して、猫の顔の視覚情報が伝達される。
　図１３は、感覚伝達システム３００の動作の一例を示すフローチャートである。図１３に示すように、被験者Ｒ５により入力部２２４を介して基準感覚情報８１が選択された場合、感覚推定装置２２０において、処理部２２２は、選択された基準感覚情報８１を取得し（ステップＳ３０１）、取得した基準感覚情報８１に基づいて、被験者Ｒ５についての対応感覚情報８２を推定する（ステップＳ３０２）。そして、刺激装置２１０は、推定された対応感覚情報８２を想起するように第５被験者Ｒ５に刺激を与える（ステップＳ３０３）。
　以上のように、本実施形態に係る感覚推定装置２２０は、知覚に対して想起される感覚情報である基準感覚情報を記憶する記憶部２２３と、記憶部２２３に記憶される基準感覚情報に基づいて、被験者Ｒ５についての基準感覚情報に対応する感覚情報である対応感覚情報を推定する処理部２２２とを備える。
　また、本実施形態に係る感覚推定方法は、知覚に対して想起される感覚情報である基準感覚情報を記憶する記憶部２２３から基準感覚情報を取得することと、取得した基準感覚情報に基づいて、被験者Ｒ５についての基準感覚情報に対応する感覚情報である対応感覚情報を推定することとを含む。
　この構成によれば、感覚推定装置２２０の基準感覚情報に基づいて被験者Ｒ５に対応する対応感覚情報を推定するため、被験者Ｒ５ごとに適切な感覚情報を推定することができる。
　本実施形態に係る感覚推定装置２２０において、基準感覚情報は、被験者Ｒ５とは異なる人物が知覚に対して想起する感覚情報である。この構成によれば、脳の活動に差がある被験者同士の間で適切な感覚情報を推定することができる。
　本実施形態に係る感覚推定装置２２０において、基準感覚情報は、複数の被験者Ｒ５の間で対応する感覚情報に基づいて抽出される標準感覚情報である。この構成によれば、多くの被験者の間で適切に感覚情報を伝達することができる。
　本実施形態に係る感覚伝達システム３００は、上記の感覚推定装置２２０と、感覚推定装置２２０において推定された対応感覚情報を想起するように被験者Ｒ５に刺激を与える刺激装置２１０とを備える。この構成によれば、記憶部２２３に記憶される基準感覚情報に基づいて被験者Ｒ５ごとに適切な感覚情報を推定して被験者Ｒ５に伝達することができる。
　本開示の技術範囲は上記実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記各実施形態では、視覚の感覚情報を例に挙げて説明したが、これに限定されず、脳内活性化情報が検出可能な感覚情報であれば、他の感覚情報であってもよい。また、例えば五感の感覚情報を連動することで得られる詳細な感覚情報であってもよい。
　学習モデルを生成する際に、被験者に提示するコンテンツを「右手を上げて」のような指示とし、被験者の運動野の反応を学習させる構成であってもよい。また、学習モデルを生成する際に、被験者に提示するコンテンツを映画のような視聴コンテンツとし、被験者の脳全体の反応を学習させる構成であってもよい。
　また、学習モデルを生成する際に得られた標準感覚情報の要素にＩＤを割り当て、コンテンツとの相関が近いほど近いＩＤとするように構成してもよい。例えば「犬」「猫」「紙」のコンテンツが存在する場合、「犬」と「猫」とには近いＩＤを割り当て、「犬」及び「猫」と「紙」とには遠いＩＤを割り当ててもよい。
　また、標準感覚情報に対応する対応感覚情報が存在しない場合、上記のように設定したＩＤが近いコンテンツを対応感覚情報としてもよいし、対応感覚情報の送信を行わない構成であってもよい。
　また、ある標準感覚情報から導かれる対応感覚情報を別の感覚情報に置き換えて提示しても良い。例えば、ミカンの視覚情報に対応する標準感覚情報に基づいて、ミカンの嗅覚情報、味覚情報、触覚情報に置き換えた対応感覚情報を伝達先に送信してもよい。
　また、第１被験者Ｒ１から第２被験者Ｒ２に感覚情報を伝達する際、「第２被験者Ｒ２に対してこの感覚情報を送る」というコマンド情報を削除し、「第１被験者Ｒ１はこのように感覚情報を想起している」「第１被験者Ｒ１は、第２被験者Ｒ２に対してこのように感覚情報を想起することを要求している」といったパケットヘッダに相当するコミュニケーション制御情報を付加してもよい。
　また、標準感覚情報を抽出する場合、常時内容を更新するようにオンラインによる学習としてもよい。また、推定した各感覚情報は、記憶部に記憶させておき、所定期間が経過してから伝達先に送信する構成であってもよい。
　本開示に係る感覚伝達システム、感覚伝達方法及び感覚伝達プログラムは、例えばコンピュータ等の処理装置等に利用することができる。
　ＮＷ…ニューラルネットワーク、Ｒ１…第１被験者，Ｒ２…第２被験者、Ｒ４…対象被験者、Ｒ５…被験者、Ｓ１…畳み込み層、Ｓ２…プーリング層、Ｓ３…結合層、１０…第１装置、１１，３１…検出部、１２，２１，３２，２１２，２２１…通信部、１３，２２，３３，２１３，２２２…処理部、１４，３４，２１４…刺激付与部、１５，２３，２５，３５，２１５，２２３…記憶部、２０，１２０…推定装置、３０…第２装置、４１，４７，５１，６１，７１…感覚情報、４２，５２，６２，７２…脳内活性化情報、４３，５３，７３，８１…基準感覚情報、４４，４６，５４，５６，６４，６６，７４，７６，８２，８４…対応感覚情報、４５，５５，６５，７５，８３…刺激像情報、６３…標準感覚情報、１００，２００，３００…感覚伝達システム、１１０…検出刺激装置、１３０…第３装置、２１０…刺激装置、２２０…感覚推定装置、２２４…入力部

Claims (13)

  1. 　第１被験者が知覚した場合における前記第１被験者の脳内活性化情報を検出する第１装置と、
    　検出された前記第１被験者の脳内活性化情報に基づいて前記知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した前記基準感覚情報に基づいて前記第１被験者とは異なる第２被験者についての前記基準感覚情報に対応する感覚情報である対応感覚情報を推定する推定装置と、
    　推定された前記対応感覚情報を想起するように前記第２被験者に刺激を与える第２装置と
    　を備える感覚伝達システム。
  2. 　前記第２装置は、前記第２被験者に刺激を与えた場合における前記第２被験者の脳内活性化情報を検出し、
    　前記推定装置は、検出された前記第２被験者の脳内活性化情報に基づいて前記基準感覚情報を推定し、推定した前記基準感覚情報に基づいて前記第１被験者についての前記対応感覚情報を推定し、
    　前記第１装置は、推定された前記対応感覚情報を想起するように前記第１被験者に刺激を与える
    　請求項１に記載の感覚伝達システム。
  3. 　前記基準感覚情報は、前記第１被験者及び前記第２被験者のうち前記脳内活性化情報を検出した被験者が前記知覚に対して想起する前記感覚情報である
    　請求項１又は請求項２に記載の感覚伝達システム。
  4. 　前記基準感覚情報は、複数の被験者の間で対応する前記感覚情報に基づいて抽出される標準感覚情報である
    　請求項１又は請求項２に記載の感覚伝達システム。
  5. 　前記第１装置は、対象被験者が知覚した場合における前記対象被験者の脳内活性化情報を検出する検出装置を含み、
    　前記推定装置は、第１時点において検出された前記対象被験者の脳内活性化情報に基づいて前記知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した前記基準感覚情報に基づいて、前記第１時点よりも時間が経過した第２時点における前記対象被験者についての前記基準感覚情報に対応する対応感覚情報を推定し、
    　前記第２装置は、推定された前記対応感覚情報を想起するように前記第２時点において前記対象被験者に刺激を与える刺激装置を含む
    　請求項１に記載の感覚伝達システム。
  6. 　前記基準感覚情報は、前記第１時点における前記対象被験者が前記知覚に対して想起する前記感覚情報である
    　請求項５に記載の感覚伝達システム。
  7. 　前記基準感覚情報は、複数の被験者の間で対応する前記感覚情報に基づいて抽出される標準感覚情報である
    　請求項５に記載の感覚伝達システム。
  8. 　前記標準感覚情報は、前記対象被験者と脳の成長状態が対応する複数の前記被験者が想起する前記感覚情報に基づいて抽出される
    　請求項７に記載の感覚伝達システム。
  9. 　前記推定装置は、前記基準感覚情報を記憶する記憶部と、前記記憶部に記憶される前記基準感覚情報に基づいて、前記対応感覚情報を推定する処理部と、を有する
    　請求項１に記載の感覚伝達システム。
  10. 　前記基準感覚情報は、前記第１被験者とは異なる人物が前記知覚に対して想起する前記感覚情報である
    　請求項９に記載の感覚伝達システム。
  11. 　前記基準感覚情報は、複数の被験者の間で対応する前記感覚情報に基づいて抽出される標準感覚情報である
    　請求項９に記載の感覚伝達システム。
  12. 　第１被験者が知覚した場合における前記第１被験者の脳内活性化情報を検出することと、
    　検出された前記第１被験者の脳内活性化情報に基づいて前記知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した前記基準感覚情報に基づいて前記第１被験者とは異なる第２被験者についての前記基準感覚情報に対応する感覚情報である対応感覚情報を推定することと、
    　推定された前記対応感覚情報を想起するように前記第２被験者に刺激を与えることと
    　を含む感覚伝達方法。
  13. 　第１被験者が知覚した場合における前記第１被験者の脳内活性化情報を検出する処理と、
    　検出された前記第１被験者の脳内活性化情報に基づいて前記知覚に対して想起される感覚情報である基準感覚情報を推定し、推定した前記基準感覚情報に基づいて前記第１被験者とは異なる第２被験者についての前記基準感覚情報に対応する感覚情報である対応感覚情報を推定する処理と、
    　推定された前記対応感覚情報を想起するように前記第２被験者に刺激を与える処理と
    　をコンピュータに実行させる感覚伝達プログラム。
PCT/JP2022/035933 2021-09-27 2022-09-27 感覚伝達システム、感覚伝達方法及び感覚伝達プログラム WO2023048295A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280057052.5A CN117836742A (zh) 2021-09-27 2022-09-27 感觉传递系统、感觉传递方法以及感觉传递程序
EP22873046.1A EP4394555A1 (en) 2021-09-27 2022-09-27 Sensation transmission system, sensation transmission method, and sensation transmission program

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2021-157247 2021-09-27
JP2021156506A JP2023047539A (ja) 2021-09-27 2021-09-27 感覚推定装置、感覚伝達システム及び感覚推定方法
JP2021-156717 2021-09-27
JP2021-156506 2021-09-27
JP2021157247A JP2023048016A (ja) 2021-09-27 2021-09-27 感覚伝達システム及び感覚伝達方法
JP2021156717A JP2023047666A (ja) 2021-09-27 2021-09-27 感覚伝達システム及び感覚伝達方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/610,303 Continuation US20240216643A1 (en) 2021-09-27 2024-03-20 Sensory transmission system, sensory transmission method, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2023048295A1 true WO2023048295A1 (ja) 2023-03-30

Family

ID=85720821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035933 WO2023048295A1 (ja) 2021-09-27 2022-09-27 感覚伝達システム、感覚伝達方法及び感覚伝達プログラム

Country Status (2)

Country Link
EP (1) EP4394555A1 (ja)
WO (1) WO2023048295A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003332251A (ja) 2002-03-25 2003-11-21 Agilent Technol Inc 高品質ＩｎＧａＡｓＮ半導体の製造方法
JP2009101032A (ja) * 2007-10-25 2009-05-14 Fujimura Denshino Gijutsu Kenkyusho:Kk 遠隔点状３次元電磁波照射システム
JP2010233746A (ja) * 2009-03-30 2010-10-21 Honda Motor Co Ltd 脳計測装置
JP2016212772A (ja) * 2015-05-13 2016-12-15 株式会社国際電気通信基礎技術研究所 推定システム、推定方法、推定装置
JP2021077280A (ja) * 2019-11-13 2021-05-20 キヤノン株式会社 デバイス、システム、及び提供方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003332251A (ja) 2002-03-25 2003-11-21 Agilent Technol Inc 高品質ＩｎＧａＡｓＮ半導体の製造方法
JP2009101032A (ja) * 2007-10-25 2009-05-14 Fujimura Denshino Gijutsu Kenkyusho:Kk 遠隔点状３次元電磁波照射システム
JP2010233746A (ja) * 2009-03-30 2010-10-21 Honda Motor Co Ltd 脳計測装置
JP2016212772A (ja) * 2015-05-13 2016-12-15 株式会社国際電気通信基礎技術研究所 推定システム、推定方法、推定装置
JP2021077280A (ja) * 2019-11-13 2021-05-20 キヤノン株式会社 デバイス、システム、及び提供方法

Also Published As

Publication number Publication date
EP4394555A1 (en) 2024-07-03

Similar Documents

Publication Publication Date Title
US20170056685A1 (en) Skin care system, device and method
Burr et al. Saccades compress space, time and number
CN112673378B (zh) 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序
RU2672684C2 (ru) Сенсорные стимулы для повышения точности оценки определения стадий сна
Haselager Did I do that? Brain–computer interfacing and the sense of agency
JP6742628B2 (ja) 脳の島皮質活動抽出方法
US11382547B2 (en) Brain stimulation system to provide a sense of wellbeing
KR101765151B1 (ko) 체험자의 신체 정보를 기초로 가상 현실 컨텐츠를 제어하는 장치 및 방법
CN112970027A (zh) 用于筛查和治疗情感障碍的面部表情检测
WO2021010417A1 (ja) ロボットボディケアシステム、ロボットボディケア方法、およびロボットボディケアプログラム
KR102525394B1 (ko) 내비게이션 태스크들을 사용한 바이오마커들의 식별 및 내비게이션 태스크들을 사용한 치료들을 위한 플랫폼
Sel et al. Electrophysiological correlates of self-specific prediction errors in the human brain
WO2023048295A1 (ja) 感覚伝達システム、感覚伝達方法及び感覚伝達プログラム
JP2023048016A (ja) 感覚伝達システム及び感覚伝達方法
JP2023047666A (ja) 感覚伝達システム及び感覚伝達方法
JP2023047539A (ja) 感覚推定装置、感覚伝達システム及び感覚推定方法
US20240008783A1 (en) Method and system for sensor signals dependent dialog generation during a medical imaging process
US20240216643A1 (en) Sensory transmission system, sensory transmission method, and computer-readable storage medium
WO2023119732A1 (ja) 感覚伝達システム及び感覚伝達方法
KR101736452B1 (ko) 자극 반응 분석 시스템
JP7435965B2 (ja) 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム
WO2024071027A1 (ja) 脳情報の分析によるレコメンデーション
WO2023189688A1 (ja) 環境制御システム、環境制御方法、及び、プログラム
KR102538759B1 (ko) 메타버스플랫폼 내의 개인 맞춤형 식단 제공 챗봇을 제공하는 시스템 및 방법
KR102548041B1 (ko) 의식장애 환자와 인터랙션 제공 방법, 장치, 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22873046

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280057052.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022873046

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022873046

Country of ref document: EP

Effective date: 20240326

NENP Non-entry into the national phase

Ref country code: DE