WO2023234348A1 - システム、管理装置、再生デバイスおよびカートリッジ - Google Patents

システム、管理装置、再生デバイスおよびカートリッジ Download PDF

Info

Publication number
WO2023234348A1
WO2023234348A1 PCT/JP2023/020276 JP2023020276W WO2023234348A1 WO 2023234348 A1 WO2023234348 A1 WO 2023234348A1 JP 2023020276 W JP2023020276 W JP 2023020276W WO 2023234348 A1 WO2023234348 A1 WO 2023234348A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
odor
blockchain
management device
response
Prior art date
Application number
PCT/JP2023/020276
Other languages
English (en)
French (fr)
Inventor
賢治 久保
直人 浅井
Original Assignee
株式会社香味醗酵
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社香味醗酵 filed Critical 株式会社香味醗酵
Priority to JP2023563846A priority Critical patent/JP7485437B2/ja
Publication of WO2023234348A1 publication Critical patent/WO2023234348A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services

Definitions

  • the present invention relates to a system, a management device, a reproduction device, and a cartridge that execute information processing for managing odor and taste reproduction processing based on odor and taste information.
  • Patent Document 1 discloses a technique in which a predetermined ligand is applied to a receptor array in which predetermined receptors are comprehensively arranged, and the activity of each receptor is measured. Furthermore, Patent Document 1 discloses a method for reproducing the odor of a target substance by combining two or more standard substances (fragrances) based on the degree of activation of each receptor measured for the target substance and the standard substance. has been done.
  • the applicant has developed a technology that reproduces odors based on the human sense of smell. Therefore, it is envisioned that the technology could be applied to reproducing smells and tastes in virtual spaces and augmented reality.
  • smell information itself has economic value. It is assumed that
  • the present invention was made in view of this situation, and aims to reproduce a target odor or taste or appropriately manage the odor or taste.
  • Another object of the present invention is to provide a system and a device that make it possible to economically trade information such as odors.
  • one aspect of the present invention provides a system for authenticating the validity of the use of odor information or taste information, the system comprising: an original owner of the odor information or taste information; An original owner terminal for issuing a request for issuance of a non-fungible token associated with code data of information, and a plurality of computers corresponding to each of a plurality of nodes configuring a blockchain through peer-to-peer communication.
  • the blockchain records the non-fungible token in the blockchain in response to the issuance request, replies with a validation result based on the non-fungible token, and the blockchain records the non-fungible token in the blockchain in response to the issuance request.
  • the playback device further includes a playback device, and the playback device sends a usage request including the user's authentication information to the blockchain in response to the user's playback instruction, and performs confirmation based on ownership information of the non-fungible token in the blockchain. In response to receiving the results, playback processing is performed.
  • the system is capable of issuing transactions to the blockchain, registers non-fungible tokens in the blockchain in response to issuance requests, and confirms validity based on ownership information of the non-fungible tokens.
  • the method further includes a management device, and the management device issues a transaction for changing ownership information of the non-fungible token in response to the transfer of the code data from the original owner to the user.
  • the management device confirms that the user is the owner of the non-fungible token based on ownership information of the non-fungible token held in the blockchain in response to a usage request from the playback device.
  • the blockchain executes a smart contract program for setting the terms of use of the code data
  • the management device updates the terms of use associated with the non-fungible token in response to a request from the playback device. Publish to smart contract program.
  • the management device transmits code data for the reproducing device to perform a reproducing process using substances related to the reception of multiple types of odors or tastes, depending on the authenticity of the reproducing device. Send to.
  • the management device transmits the code data to the playback device in response to the odor or taste usage condition being satisfied.
  • the usage condition information includes an upper limit value for the reproduction process of the recorded smell or taste
  • the management device determines that at least one of the number of times the validity is confirmed or the reproduction time for the usage request from the reproduction device. If the upper limit is exceeded, the confirmation result that allows playback is not sent to the playback device even if the validity is confirmed.
  • the playback device includes a removably mounted cartridge, the cartridge being removably attachable to the playback device and containing a case containing substances associated with the reception of multiple types of odors or tastes, and authenticating the owner of the cartridge. and a non-volatile memory for storing authentication information for the playback device, in which the playback device sends the authentication information in sending the usage request, and the blockchain is configured to create a non-fungible memory stored in the blockchain based on the authentication information. Verify authenticity by verifying the owner of the gender token.
  • the non-volatile memory stores information on when to start using the cartridge, and the playback device transmits the information on when to start using the cartridge in sending the usage request to the management device, and the management device Even if the validity of a usage request from a device is confirmed, a confirmation result that permits playback is not sent to the playback device depending on the start time of use.
  • the non-volatile memory stores information on when to start using the cartridge, and the playback device transmits the information on when to start using the cartridge in sending the usage request to the management device, and the management device When the validity of the usage request from the device is confirmed, the code data is changed according to predetermined conditions depending on the usage start time.
  • a management device for managing the validity of the use of odor information or taste information using a blockchain, the code data associated with a non-fungible token held on the blockchain.
  • the non-fungible token is equipped with a communication interface that accepts a use request for reproducing odor information or taste information from the owner of the odor information or taste information, and the non-fungible token It is related to the code data for reproducing taste information, and the validity of the code data is confirmed by authenticating the non-fungible token by communicating with the blockchain via the communication interface. In response, we will notify you of the authorization for your usage request.
  • the management device confirms that the user is the owner of the non-fungible token based on ownership information of the non-fungible token held in the blockchain in response to a usage request from the playback device.
  • the blockchain executes a smart contract program for setting the terms of use of the code data, and the management device updates the terms of use associated with the non-fungible token in response to a usage request from a playback device. is issued to the smart contract program.
  • the management device transmits code data for the reproducing device to perform a reproducing process using substances related to the reception of multiple types of odors or tastes, depending on the authenticity of the reproducing device. Send to.
  • the code data sent from the management device includes information on usage conditions for smell or taste.
  • the usage condition information includes an upper limit value for a smell or taste reproduction process
  • the management device determines that at least one of the number of times the validity is confirmed or the reproduction time of a usage request from a reproduction device is determined based on the upper limit value. If the value is exceeded, the confirmation result that allows playback is not sent to the playback device even if the validity is confirmed.
  • the usage request is sent by a user from a playback device for executing odor or taste playback processing corresponding to odor information or taste information using code data, and the playback device , a removably mounted cartridge, the cartridge being removably mountable to the reproducing device, containing a case containing substances related to the reception of a plurality of odors or tastes, and storing authentication information for authenticating the owner of the cartridge.
  • the playback device transmits authentication information to the management device in sending the usage request, and the management device generates the non-fungible token held in the blockchain based on the authentication information. Verify legitimacy by verifying the owner.
  • the non-volatile memory stores information on when to start using the cartridge, and the playback device transmits the information on when to start using the cartridge in sending the usage request to the management device, and the management device Even if the validity of a usage request from a device is confirmed, a confirmation result that permits playback is not sent to the playback device depending on the start time of use.
  • the non-volatile memory stores information on when to start using the cartridge, and the playback device transmits the information on when to start using the cartridge in sending the usage request to the management device, and the management device When the validity of the usage request from the device is confirmed, the code data is changed according to predetermined conditions depending on the usage start time.
  • a reproduction device including a mounting part for removably mounting a cartridge for filling a substance related to the reception of odors or tastes, and a regeneration device related to the reception of a plurality of types of odors or tastes.
  • a release control unit for releasing at least one substance from the cartridge based on code data related to substance release; or a release port for releasing a substance related to taste reception, and the release control unit reads the authentication information stored in the installed cartridge and responds to a usage request including the authentication information in response to a reproduction instruction from the user.
  • the management device is sent to the management device, and the management device confirms that the validity of the use of odor information or taste information has been authenticated by a non-fungible token indicating ownership of the user's code data stored in the blockchain. In response to transmitting the results and receiving the confirmation results, perform processing for release.
  • the cartridge includes a mounting part for removably mounting the cartridge for filling the cartridge with a substance related to the reception of odor or taste, and a plurality of types of substances related to the reception of odor or taste.
  • a release control unit for releasing at least one substance from a plurality of types of substances related to odor or taste reception from the cartridge based on code data regarding the release of the odor or taste; The release control unit reads the authentication information stored in the installed cartridge and issues a usage request including the authentication information in response to a reproduction instruction from the user.
  • FIG. 1 is a diagram showing an overview of the odor reproduction method according to the present embodiment.
  • FIG. 1 is a diagram showing an overview of the odor reproduction method according to the present embodiment.
  • FIG. 1 is a diagram showing an overview of the odor reproduction method according to the present embodiment.
  • FIG. 1 is a diagram schematically showing the configuration of a spray control system.
  • FIG. 2 is a block diagram showing the hardware configuration of a server.
  • FIG. 2 is a functional block diagram showing an example of a functional configuration of a server. It is a flowchart which shows operation of spray control processing.
  • FIG. 3 is a diagram illustrating an overview of an odor reproduction method according to another embodiment.
  • FIG. 2 is a block diagram showing the configuration of a conversion device.
  • FIG. 2 is a block diagram showing the configuration of a predictive model creation device. It is an example of the graph which shows the correlation between the value of the objective variable at the time of converting using the converter, and the value after conversion.
  • FIG. 7 is a diagram showing a first example of a transaction of scent codes (scent information) using a blockchain and non-fungible tokens (NFTs) according to the third embodiment.
  • FIG. 7 is a diagram illustrating a second example of trading odor codes (odor information) using a blockchain and non-fungible tokens (NFTs) according to the third embodiment.
  • FIG. 1 is a diagram showing the configuration of a system for managing NFTs using a smart contract.
  • FIG. 1 is a diagram showing the configuration of a system for managing NFTs using a smart contract.
  • FIG. 2 is a diagram showing a flow of processing for managing NFTs using a smart contract.
  • FIG. 2 is a diagram showing a flow of processing for managing NFTs using a smart contract.
  • FIG. 7 is a diagram showing a transaction when NFTs are sold according to a third embodiment. It is a figure which shows the flowchart in the case of actively reproducing a smell based on 3rd Embodiment.
  • FIG. 7 is a diagram showing a first example of a transaction when using the odor reproduction device according to the third embodiment.
  • FIG. 7 is a diagram showing a second example of a transaction when using the odor reproduction device according to the third embodiment.
  • FIG. 7 is a diagram showing a third example of a transaction when using the odor reproduction device according to the third embodiment.
  • FIG. 7 is a diagram showing a fourth example of a transaction when using the scent reproduction device RE according to the third embodiment.
  • FIG. 7 is a diagram showing a third example of a transaction of scent codes (scent information) using a blockchain and non-fungible tokens (NFT) according to the third embodiment. It is a figure which shows the flowchart in the case of passively reproducing a smell based on 3rd Embodiment. It is a conceptual diagram showing an outline of a fourth embodiment.
  • FIG. 7 is a conceptual diagram for explaining the configuration of a modified example of the fifth embodiment.
  • FIG. 12 is a diagram showing the configuration of a system related to a metaverse environment in a modification of the fifth embodiment.
  • FIG. 12 is a diagram showing the configuration of a system related to a metaverse environment in a modification of the fifth embodiment.
  • FIG. 2 is a diagram illustrating an example of NFT management using IPFS.
  • FIG. 2 is a diagram illustrating an example of NFT management using IPFS.
  • the receptor when the receptor is an olfactory receptor, information is transmitted within the olfactory nerve cell due to the binding of odor molecules to a protein called an olfactory receptor expressed on the surface of the olfactory nerve cell in the nasal cavity. Transmission is triggered, and odor information is transmitted to the brain. Based on genome analysis, it is believed that there are approximately 400 types of olfactory receptors in humans, and when a certain group of olfactory receptors is activated to a different degree in response to a specific odor molecule, and these stimuli are transmitted to the brain and combined, It is understood that various odors are discriminated in the brain.
  • a predetermined ligand is applied to a receptor array in which olfactory receptors (OR) as described above are comprehensively arranged, and the activity level of each receptor is measured.
  • OR olfactory receptors
  • the predetermined receptors an example will be described in which a plurality of olfactory receptors that have a large influence on human perception (for example, 30 types of receptors) are used as the predetermined receptors. Note that the same method can be applied not only to olfactory receptors but also to taste receptors. This embodiment will be described below with reference to the drawings.
  • FIG. 1 is a diagram illustrating an overview of the odor reproduction method to which the information processing device according to the present embodiment is applied.
  • FIG. 1 shows an example in which content introducing food and drink (for example, ramen) at a restaurant is distributed to viewers, and the smell of the food and drink is reproduced on the viewer side using a predetermined device.
  • the content includes, for example, content distributed through terrestrial broadcasting, satellite broadcasting, the Internet, and the like.
  • a predetermined camera captures an image of a visitor ingesting food or drink at a restaurant, and an odor collection device CO collects the odor (for example, gas) of the food or drink.
  • the collected odor is analyzed by the receptor information determining device 2 and converted into response information of a predetermined receptor.
  • the converted response information is sent to the server 1. Then, response information (information such as smell, for example, a smell code) is transmitted from the server 1 to each content reproduction device RE along with the content.
  • response information information such as smell, for example, a smell code
  • the content reproduction device RE transmits the above-mentioned content to a predetermined display device TV based on the content viewing request. Further, the content reproduction device RE transmits spray information to the scent spray device 3 based on the response information corresponding to the above-mentioned content.
  • the scent atomizing device 3 is provided with multiple types of scent cartridges CA, and the fragrance (for example, gas, liquid, powder, etc.) extracted from the multiple types of scent cartridges CA is transferred through a variable spray nozzle (nozzle NO). Spray (spray, jet) through. Response information and spray information will be explained using FIGS. 2A and 2B.
  • a fragrance is released from a release device (odor spray device 3), but the object to be released is not limited to a fragrance, and may be any substance related to the reception of odor or taste.
  • substances related to odor or taste reception include agonists, antagonists, modulators, and the like.
  • An agonist is a substance that enhances or exhibits an effect when bound to an olfactory or taste receptor.
  • An antagonist is a substance that suppresses or inhibits the action of olfactory receptors or taste receptors by preventing the binding of agonists.
  • a modulator is a substance that does not itself respond to stimulation, but amplifies or decreases the stimulation response of an agonist or antagonist.
  • a modulator is a substance that binds to a site different from the ligand binding site to increase or decrease the effect of an olfactory or taste receptor.
  • FIGS. 2A and 2B are diagrams illustrating an example of the flow from extracting feature amounts from captured odors, generating response information, and finally generating spray information.
  • the receptor information determination device 2 causes a predetermined ligand (odor molecule) to act on a receptor array in which predetermined receptors are comprehensively arranged, and calculates the activity level of each receptor (primary receptor response information).
  • the method for measuring the activity of each receptor is not particularly limited. For example, as described in Patent Document 1 or as described below, data may be obtained through an actual test, manually input data, or a machine learning model. This may be done by collecting virtual data obtained from.
  • the receptor information determination device 2 extracts the feature amount of the target odor based on the measured activity of each receptor.
  • the method for extracting feature amounts is not particularly limited, but for example, the method described in Patent Document 1 can be used.
  • the feature amounts are the response characteristics (response information; receptor response information) of olfactory receptors to the test substance, such as response intensity in each receptor, area of response intensity, response duration, response speed, peak time, Examples include response rise (timing) and number of peaks.
  • step ST3 response information for each receptor (secondary receptor response information) is generated based on the above-mentioned feature amounts.
  • the types of receptors OR1 to OR4 are illustrated, but the types (number) of receptors are not particularly limited.
  • the feature amounts of each receptor are illustrated in binary numbers, but the method of quantifying the feature amounts is not particularly limited. It may also be indicated as a character string.
  • the response information is the characteristic amount for odor molecules in multiple types of receptors, such as response intensity, area of response intensity, response duration, response speed, peak time, response rise, and number of peaks. This is information indicating at least one feature amount. Note that the response information is not limited to the above information, and may be various parameters for odor molecules in multiple types of receptors.
  • codes ST4 and ST5 the above response information is encoded, converted into an N-dimensional code (N is an integer of 1 or more), and transmitted.
  • the two-dimensional code has a data part in which a bit string corresponding to target data is expressed as a pattern in which white or black cells, which are constituent units of a symbol, are arranged in a matrix, and a data part that is arranged separately from the data part. one or more finder patterns.
  • the above-mentioned data section contains information based on receptor response information obtained using olfactory receptors or taste receptors that are responsive to extracellular substances (for example, odor molecules) (for example, the above-mentioned information). (response characteristics, response information) shall be included.
  • code ST4 is a control method for the information processing device (server 1), in which the (receptor) response information is converted into an N-dimensional code (for example, it can also be regarded as an encoding step for converting into a two-dimensional code.
  • the above-mentioned N-dimensional code is decoded and converted into the original response information on the viewer side.
  • code ST6 is a control method for the information processing device (server 1), in which the N-dimensional code (for example, a two-dimensional code) is converted into a ) It can also be regarded as a decoding step for converting into response information.
  • the N-dimensional code for example, a two-dimensional code
  • the above-mentioned server 1 converts the response information into spray information for spraying the reproduced odor.
  • spray information for cartridges CA1 to CA4 corresponding to receptors OR1 to OR4 is shown. That is, the cartridge CA1 is filled with a fragrance for stimulating the receptor OR1.
  • FIGS. 2A and 2B illustrate an example in which the receptors and cartridges correspond one-to-one
  • the present invention is not limited to this. It is also possible to use fewer types of cartridges. That is, one cartridge CA may be capable of agonizing or modulating (antagonizing or modulating) the responses of multiple receptors. In this way, by using the cartridge CA that stimulates a plurality of receptors, the size of the scent spray device 3 can be reduced and the cost can be reduced.
  • the following cartridge CA may be used to spray an odor.
  • cartridges CA when stimulating the receptors OR1 to OR5, the following three types of cartridges CA may be used to spray the odor.
  • OR6 ⁇ Cartridge CA filled with a substance (agonist) that stimulates receptors OR2, OR4,
  • OR6 ⁇ Cartridge CA filled with a substance (antagonist) that prevents the binding of other substances to the receptor OR6
  • the spray information is information for reproducing a target odor by spraying one or a combination of two or more of multiple types of fragrances, such as the spray time, spray amount, and spray temperature of the fragrance. , the number of times of spraying, the amount of atomization, the direction of spraying, etc.
  • step ST8 the odor spraying device 3 sprays the fragrance based on the above-mentioned spraying information, thereby providing the content viewer with an odor (fragrance) that reproduces the target odor.
  • odor spraying device 3 various devices are assumed, such as a display device (television), a smartphone, a projection device (projector), an HMD (head mounted display), etc.
  • a scent specified by a predetermined user may be sprayed.
  • the odor item and the response information or spray information corresponding to the odor item are stored in a predetermined storage unit in advance.
  • an N-dimensional code in which the target odor is replaced with electronic data is used as digital odor information.
  • (Symbol ST3) may be used (or distributed) as digital odor information. That is, the above-mentioned feature amount, secondary receptor response information, or N-dimensional code can also be regarded as indicating the data structure of the receptor response information used by the server 1 (information processing device).
  • FIG. 3 is a diagram showing an overview of the system configuration of the spray control system (odor reproduction system) according to the present embodiment.
  • a server 1 a collection device CO, a receptor information determining device 2, a content reproduction device RE, a display device TV, and an odor spray device 3 are connected to a predetermined network such as the Internet. are connected to each other via a network N.
  • the server 1 cooperates with the operations of the receptor information determination device 2, the content reproduction device RE, the display device TV, and the odor spray device 3 to execute various processes.
  • the odor collecting device CO collects the odor corresponding to the content.
  • the smell may be collected in real time when the video related to the content is shot, or the smell may be collected at a timing different from the time when the video related to the content is shot.
  • the receptor information determining device 2 analyzes the odor captured by the above-mentioned odor capturing device CO.
  • the receptor information determining device 2 may analyze components contained in odors (e.g., gases and liquids), but in this embodiment, the receptor information determination device 2 analyzes components contained in odors (e.g., gases and liquids), but in this embodiment, the olfactory receptors that are responsive to the odors (odor molecules) described above are used.
  • the receptor response information obtained using the method (results of measuring the activity of each receptor by applying a predetermined ligand to a receptor array in which receptors are comprehensively arranged) is analyzed. Thereby, when reproducing the odor, it is possible to reproduce the target odor using a component different from the target odor.
  • the receptor information determining device 2 may analyze the response characteristics using receptors as described in Patent Document 1, or may analyze the response characteristics from components contained in odor molecules.
  • the content playback device RE displays (plays) video content and the like on the display device TV. Further, the content reproduction device RE transmits spray information to the scent spray device 3 so that the scent spray device 3 sprays the fragrance at a predetermined timing in the video content.
  • the content reproduction device RE is provided, but even if the content is directly transmitted from the server 1 to the display device TV.
  • the spray information may be directly transmitted from the server 1 to the scent spray device 3.
  • the display device TV displays content.
  • the display device TV is provided with the scent spray device 3 described later, but the display device TV and the scent spray device 3 may be separate devices.
  • the display device TV is a display device
  • the display device TV is not limited to this, and may be a projection device such as a projector, for example.
  • the odor spray device 3 reproduces the target odor by spraying the fragrance based on the spray information.
  • the odor spray device 3 is provided with a mounting part (not shown) for mounting a cartridge CA (scent cartridge) and a nozzle NO (variable spray nozzle). but not limited to.
  • the cartridge CA is a cartridge to be filled with a fragrance sprayed by a predetermined information processing device (server 1, content reproduction device RE, etc.), and is filled with a composition that selectively makes only a specific receptor respond. It's a cartridge.
  • the composition is not limited to one that selectively causes only a specific receptor to respond, but may be a composition that causes multiple receptors to respond.
  • the odor spraying device 3 is equipped with a plurality of types of cartridges CA having different compositions.
  • Nozzle NO is a spray port that sprays a predetermined fragrance based on spray control (spray information) by a predetermined information processing device (server 1, content reproduction device RE, etc.).
  • FIG. 4 is a block diagram showing the hardware configuration of the server 1 according to this embodiment.
  • the server 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input/output interface 15, and an output unit 1. 6 and the input section 17 , a storage section 18, a communication section 19, and a drive 20.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 11 executes various processes according to programs recorded in the ROM 12 or programs loaded from the storage unit 18 to the RAM 13.
  • the RAM 13 also appropriately stores data necessary for the CPU 11 to execute various processes.
  • the CPU 11, ROM 12, and RAM 13 are interconnected via a bus 14.
  • An input/output interface 15 is also connected to this bus 14.
  • An output section 16 , an input section 17 , a storage section 18 , a communication section 19 , and a drive 20 are connected to the input/output interface 15 .
  • the output unit 16 is composed of a display, a speaker, etc., and outputs various information as images and sounds.
  • the input unit 17 includes a keyboard, a mouse, etc., and inputs various information.
  • the storage unit 18 is composed of a hard disk, DRAM (Dynamic Random Access Memory), etc., and stores various data.
  • the communication unit 19 communicates with other devices via a network N including the Internet.
  • a removable medium 21 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, etc. is appropriately installed in the drive 20.
  • the program read from the removable medium 21 by the drive 20 is installed in the storage unit 18 as necessary. Further, the removable medium 21 can also store various data stored in the storage section 18 in the same manner as the storage section 18.
  • the collection device CO, the receptor information determination device 2, the content reproduction device RE, the display device TV, and the odor spray device 3 have the hardware configuration shown in FIG. 4.
  • FIG. 5 is a functional block diagram showing an example of the functional configuration of the server 1 according to the present embodiment.
  • the response information acquisition section 31, the captured image acquisition section 32, the model information acquisition section 33, the spray information determination section 34, the spray control section 35, the display control section 36, etc. function.
  • the response information acquisition unit 31 acquires receptor response information obtained using multiple types of receptors including olfactory receptors (or taste receptors) responsive to extracellular substances. Specifically, the response information acquisition unit 31 acquires the above-mentioned response information analyzed using the receptor information determining device 2.
  • the acquired response information (receptor response information) is stored in the response information DB 41.
  • the response information is stored in association with the above-mentioned content (or time information of the content). By doing so, for example, the target odor can be reproduced at an appropriate timing in the content.
  • the captured image acquisition unit 32 acquires content that includes at least one of audio information and video information.
  • the content is, for example, image information captured by a video camera shown in FIG. 1 in the case of real time. Further, the content is, for example, content distributed by terrestrial broadcasting, satellite broadcasting, or from various distribution servers when not in real time. Note that when only reproducing the target odor is performed, the captured image acquisition unit 32 does not need to acquire various contents.
  • the model information acquisition unit 33 obtains model information of the display device TV, the odor spray device 3, etc. Thereby, for example, in the process of determining spray information to be described later, spray information suitable for the scent spray device 3 can be determined. Specifically, spray information according to the type of cartridge CA of the scent spray device 3 can be determined. Note that the acquired model information is stored in the model information DB 42.
  • model information acquisition unit 33 may acquire information on the fragrance (cartridge).
  • the model information acquisition unit 33 may acquire information on the fragrance (cartridge).
  • a table or learning model corresponding to (the type of) cartridge in associating receptor information with spray information.
  • the spray information determining unit 34 determines spray information regarding odor sprays for multiple types of perfumes according to the response information.
  • the spray information determining unit 34 determines spray information based on the above-mentioned response information and a predetermined association table (not shown). It is assumed that response information and spray information are associated with each other in the association table and stored in the association DB 43 in advance.
  • response information and spray information are associated with each other in the correlation table as shown below.
  • the spray information determining unit 34 uses a learning model to determine spray information based on the response information. It is assumed that the learning model is generated in advance by machine learning using receptor response information and spray information corresponding to the receptor response information as teacher data, and is stored in the association DB 43.
  • the spray information determining unit 34 may determine the spray information in consideration of the above-mentioned model information. That is, the spray information determining unit 34 may determine the spray information using the above-described association table or learning model according to the number (type) of cartridges CA included in the model information.
  • the spray information determining unit 34 may determine spray information regarding the scent spray according to the spatial parameters.
  • Spatial parameters are parameters related to the state of the space where the scent is sprayed or the positional relationship with the target (subject or object) where the scent is sprayed, and specifically, the size of the room or space where the scent is sprayed, These are various parameters such as the distance between the scent spray device 3 and the nose, air volume, air direction, temperature, and humidity. It is preferable that a predetermined acquisition unit (not shown) acquires the spatial parameters sensed by a sensor provided in the odor spray device 3 or other external device.
  • the spray information determining unit 34 determines the spray direction based on the distance to the nose, temperature, humidity, etc. , spray amount, spray concentration, etc. may be controlled.
  • the spray information determining unit 34 determines the spray direction, based on the size of the space, air volume, wind direction, temperature, humidity, etc. It is preferable to control the spray amount, spray concentration, etc.
  • association between the environmental parameters and the spray information may be performed using a correspondence table as described above, or may be performed using a learning model.
  • the spray control unit 35 sprays at least one fragrance among the plurality of types of fragrances (the plurality of types of cartridges CA) based on the spray information. In other words, the spray control unit 35 transmits the spray information to the odor spray device 3 (display device TV).
  • the display control unit 36 transmits the above-mentioned content to the display device TV.
  • the display control unit 36 associates content with identification information of spray information. Thereby, for example, multiple types of target scents can be sprayed multiple times at multiple timings while the content is being displayed.
  • FIG. 6 is a diagram showing an example of spray control processing according to the present embodiment.
  • the spray control process is performed by the server 1
  • the present invention is not limited to this, and for example, the spray control process may be performed in the odor spray device 3.
  • step S11 the response information acquisition unit 31 acquires response information of the receptor corresponding to the target odor.
  • step S12 the captured image acquisition unit 32 acquires video information as content.
  • step S13 the model information acquisition unit 33 acquires model information of the scent spray device 3, etc.
  • step S14 the spray information determining unit 34 determines spray information regarding odor sprays for multiple types of perfumes according to the response information.
  • step S15 the spray control unit 35 transmits the spray information to the odor spray device 3 (display device TV).
  • step S16 the display control unit 36 transmits the content to the display device TV.
  • the fragrance when the content is played back (viewed), the fragrance can be sprayed in association with the chronological position (time axis) of the content.
  • This allows content to be viewed using not only the sense of sight and hearing, but also the sense of smell, thereby improving the sense of immersion in the content and the sense of unity with the filming location.
  • the immersive feeling can be further enhanced by the VR goggles (HMD) functioning as the above-mentioned scent spray device.
  • HMD VR goggles
  • an advertising effect can be expected, for example.
  • a display type equipped with an odor spray function and having the customer select a predetermined menu by having the customer select a button
  • the scent that matches the food can be displayed along with images of the food. It can be reconstituted and sprayed instantly. By changing this reconfiguration pattern, it is possible to respond to the odors of various dishes.
  • the embodiments described above can also be used for presentations.
  • scent can be an important factor in food and cosmetics.
  • the nozzle NO sprays fragrance according to the spraying time, etc. but the nozzle NO sprays the fragrance based on the information acquired by a predetermined human sensor.
  • the fragrance may be sprayed in the direction.
  • the spray direction may be determined according to the wind direction using a wind direction sensor. This allows the user viewing the content to more accurately reproduce the target odor. You may.
  • a predetermined smell for example, "the smell of soy sauce ramen”
  • a predetermined storage library
  • preset using response information prepared in advance
  • ⁇ fragrance that calms the mind,'' ⁇ fragrance that increases concentration,'' ⁇ fragrance that promotes good sleep,'' etc. the user can have a relaxing effect. can also be brought about.
  • the server 1 may function as an infectious disease checker, cancer checker, Parkinson's disease checker, or health management toilet based on odor.
  • odors may be collected and reproduced by medical personnel in remote locations for use in diagnosis.
  • response information is generated by human olfactory receptors and taste receptors, but response information may be generated by receptors other than humans.
  • response information can be applied to, for example, repellents (eg, insect repellents) and attractants.
  • repellents eg, insect repellents
  • attractants e.g, attractants
  • the target odor is reproduced at a timing corresponding to the content, but the odor may be sprayed at various timings.
  • a request is sent from the scent spray device 3 to the server 1, and when the request is accepted, the above-mentioned spray control unit 35 transmits spray information, and when the spray information is received, the scent spray The device 3 may reproduce the target odor.
  • the scent spray device 3 may receive spray information in advance, and reproduce the target odor by controlling the scent spray device 3 in accordance with the user's operation.
  • the spray control unit 35 explained an example in which spray information is transmitted, but the spray control unit 35 may manage the number of sprays based on the upper limit number of sprays of the target odor.
  • the spray control unit 35 may determine whether to transmit the spray information based on the upper limit number of times stored in a predetermined storage unit and the number of completed sprays.
  • the above-mentioned upper limit number of times and number of times of spraying may be managed by the odor spraying device 3.
  • the spray control unit 35 transmits the above-mentioned upper limit number of times together with the above-mentioned spray information.
  • the odor spray device 3 may determine whether to transmit the spray information based on the upper limit number of times stored in a predetermined storage unit and the number of times the spray has been completed.
  • the odor spray control that sprays (releases) a flavoring agent to reproduce a target odor is described, but it can also be applied to taste release control that releases a seasoning agent to reproduce a target flavor. can do.
  • response information such as response intensity, area of response intensity, response duration, response speed, peak time, rise of response, number of peaks, etc. is input as response information to taste instead of response information to the above-mentioned odor molecules.
  • odor spray information information such as release time, release amount, release temperature, release number, release opening squeeze amount, etc. of substances related to taste reception (for example, seasonings) is output as taste release information instead of the above-mentioned odor spray information.
  • the response information is converted into spray information using a correspondence table or a learning model, but the response information may be transmitted as is without using these.
  • the odor spraying device 3 it is possible to reproduce the odor to some extent by using a cartridge CA that corresponds one-to-one to the receptor OR.
  • response information can be sent to an inexpensive scent spray device 3 without using a correspondence table, etc., depending on the situation.
  • FIG. 7 is a diagram showing an overview of a scent reproduction method to which the information processing device according to the second embodiment is applied.
  • content introducing food and drink (e.g. ramen) at a restaurant is delivered to the viewer (in real time), and the smell of the food and drink is reproduced to the viewer using a predetermined device.
  • a predetermined device e.g. ramen
  • An example is shown.
  • the content includes, for example, content distributed through terrestrial broadcasting, satellite broadcasting, the Internet, and the like.
  • a predetermined camera captures an image of a visitor ingesting food or drink at a restaurant, and an odor collection device CO collects the odor (for example, gas) of the food or drink.
  • the captured odor is analyzed by the real-time odor analysis device NA (gas detection device U100), and converted into predetermined receptor response information by the receptor information determination device 2 (conversion device).
  • the converted response information is sent to the server 1. Then, the spray information is transmitted from the server 1 to each content reproduction device RE along with the content.
  • the content reproduction device RE transmits the above-mentioned content to a predetermined display device TV based on the content viewing request. Further, the content reproduction device RE transmits spray information corresponding to the above-mentioned content to the scent spray device 3.
  • the scent spraying device 3 is provided with multiple types of scent cartridges CA, and sprays fragrances (for example, liquid or powder) extracted from the multiple types of scent cartridges CA through a variable spray nozzle (nozzle NO). (gush, jet).
  • fragrances for example, liquid or powder
  • the receptor information determination device 2 (conversion device) shown in FIG. 7 will be explained with reference to FIGS. 8 to 15.
  • the conversion device U1 converts, for example, output information output from a device having a predetermined gas detection function for a predetermined odor molecule (hereinafter also referred to as gas detection device U100) into response information indicating a response of an olfactory receptor. It is a device that does As a result, the conversion device U1 converts the output information of different values outputted from the gas detection devices U100 using different analysis methods for the same odor molecule into one response of the olfactory receptor U200 that can obtain the same result. It is converted into response information. Thereby, the conversion device U1 can aim at linking the output information of the gas detection device U100 to one response information regardless of the difference in the analysis method of the gas detection device U100.
  • the conversion device U1 can link one response information as a so-called odor meter standard to output information of different values and units for each of the plurality of gas detection devices U100 for one odor molecule. can.
  • the conversion device U1 converts output information into response information using a learning model that has been machine learned in advance.
  • the gas detection device U100 is, for example, a gas sensor or a mass spectrometer (gas chromatograph mass spectrometer).
  • the gas sensor outputs a predetermined electrical signal (e.g., voltage value, resistance value, or current value), frequency change, light wavelength change, or olfactory receptor as output information, depending on the type and concentration of a predetermined odor molecule.
  • a predetermined electrical signal e.g., voltage value, resistance value, or current value
  • frequency change e.g., light wavelength change, or olfactory receptor
  • olfactory receptor e.g., olfactory receptor
  • the gas detection device U100 outputs an electrical signal with a larger voltage value as the concentration of odor molecules with which it comes into contact is larger.
  • the mass spectrometer outputs a plot showing the mass charge and its intensity in the form of graph data, for example, regarding the type and concentration of odor molecules.
  • the olfactory receptor U200 can be realized, for example, by using a known olfactory receptor shown in Patent Document 1 and the like.
  • Olfactory receptor U200 is, for example, a nucleic acid mounted in contact with a substrate (not shown). Nucleic acids include those that include genes encoding certain receptors. There are multiple types of nucleic acids in contact with the substrate, and the various types of nucleic acids are arranged on the substrate at a distance from each other. By bringing cells into contact with the nucleic acids on the substrate, cells that transiently express olfactory receptors corresponding to various nucleic acids are generated on the spot.
  • the receptor in this embodiment can cause a change in the cell state by bringing the test substance into contact with the cell. Specifically, changes in intracellular calcium concentration or intracellular cAMP concentration may occur. Such changes can be measured using a cAMP-sensitive dye, a cAMP-sensitive fluorescent protein, a calcium-sensitive dye, or a calcium-sensitive fluorescent protein.
  • the degree of receptor activation can be quantitatively calculated by measuring changes in brightness due to cAMP-sensitive dyes or cAMP-sensitive fluorescent proteins. The degree of activation is used as response information or response information indicating the response of the olfactory receptor U200.
  • the olfactory receptor may be a human, mammalian, insect, or nematode olfactory receptor. Further, the olfactory receptor is not limited to liquid test substances, and may be in a form that responds to gaseous test substances by contacting them. The olfactory receptor according to the latter form can be used as either the gas detection device U100 or the olfactory receptor U200. That is, it is also possible to convert between the response information of olfactory receptors to a gaseous test substance and the response information of olfactory receptors to a liquid test substance.
  • Olfactory receptors are not limited to the form expressed in cells as described above, but may also take a cell-free form.
  • liposomes formed of a lipid bilayer membrane such as a cell membrane, in which various olfactory receptors are present may be placed on a substrate so as to be separated from each other.
  • the size of the liposome is not particularly limited and may typically be around 100 nm in diameter.
  • the method for producing liposomes is not particularly limited, but cells expressing olfactory receptors are separated into a cell membrane fraction (which may contain intracellular signaling proteins such as G proteins, adenylate cyclase, and cyclic nucleotide-gated channels) and a cytoplasmic fraction (which may contain intracellular signaling proteins such as G protein, adenylate cyclase, and cyclic nucleotide-gated channels).
  • a cell membrane fraction which may contain intracellular signaling proteins such as G proteins, adenylate cyclase, and cyclic nucleotide-gated channels
  • a cytoplasmic fraction which may contain intracellular signaling proteins such as G protein, adenylate cyclase, and cyclic nucleotide-gated channels.
  • Nanodiscs that maintain a three-dimensional structure in which the olfactory receptor penetrates the cell membrane are preferred.
  • Nanodiscs are, for example, membrane scaffold proteins (MSP) made of mutants of apolipoprotein A1 (APOA1), and can accumulate lipid bilayer membranes in a disc shape (Timothy H. Bayburt, Yelena V. Gri nkova , and Stephen G. Sligar Nano Letters 2002 2 (8), 853-856), membrane proteins can be retained in a state that penetrates the lipid membrane even outside the cell (Civjan NR, Bayburt TH, Schuler MA, Sligar SG.
  • MSP membrane scaffold proteins
  • the substrate on which the nanodisk is placed is not particularly limited, but may include carbon nanotube FETs (Yang H, Kim D, Kim J, Moon D, Song HS, Lee M, Hong S, Park TH. Nano disc-Based Bioelectronic Nose Using Olfactory Receptor Produced in Escherichia coli for the Assessment of the Death-Associated Odor Cadaverine. ACS Nano. 2017 Dec 26; 11 (12): 11847-11855. doi: 10.1021/acsnano), carbon nanotube FET, etc.
  • the manufacturing method for nanodiscs is not particularly limited, but MSP expressed in Escherichia coli etc. and recovered is mixed with solubilized membrane proteins and phospholipids dissolved in water with a surfactant, and the interface is removed by dialysis etc. Removal of the activator may include forming nanodiscs by self-assembly.
  • the degree of receptor activation can also be quantitatively evaluated by using these acellular olfactory receptors and measuring changes in current, voltage, impedance, etc. caused by the test substance.
  • a conversion device U1 a conversion information creation method, and a program according to a second embodiment of the present invention will be described with reference to FIGS. 8 to 12.
  • a gas sensor will be explained as an example of the gas detection device U100.
  • the conversion device U1 converts output information outputted from a predetermined gas detection device U100 to a predetermined odor molecule into response information indicating a response of the olfactory receptor U200. Further, the conversion device U1 according to the present embodiment outputs the converted response information and also outputs words (words) representing the characteristics of a predetermined odor from the converted response information. As shown in FIG. 8, the conversion device U1 includes an output information acquisition section U11, a conversion section U12, and an output section U13.
  • the output information acquisition unit U11 is realized, for example, by the operation of the CPU.
  • the output information acquisition unit U11 acquires output information output from the gas detection device U100 for a predetermined odor molecule.
  • the output information acquisition unit U11 acquires, as output information, a voltage value output from the gas detection device U100 by sensing a predetermined odor (odor molecule), for example.
  • the output information acquisition unit U11 may acquire output information measured at a remote location by the gas detection device U100, for example.
  • the conversion unit U12 is realized, for example, by the operation of a CPU.
  • the conversion unit U12 acquires based on output signals outputted from the plurality of gas detection devices U100 for each of the plurality of odor molecules and response information indicating the response of the olfactory receptor U200 to each of the plurality of odor molecules. Convert the output information into response information.
  • the conversion unit U12 uses output information outputted from the plurality of gas detection devices U100 for each of the plurality of odor molecules as an explanatory variable, and also calculates the response of the olfactory receptor U200 to each of the plurality of odor molecules.
  • the acquired output information is converted into response information indicating the response of the olfactory receptor U200 using a machine-learned predictive model using the response information shown as a target variable.
  • the conversion unit U12 converts, for example, a numerical value, a function, a spatial or time-series index, or a numerical value, a function, a spatial or time-series index, which is calculated using a mathematical, statistical, or machine learning method of the output information output from the gas detection device U100.
  • a machine-learned predictive model is used with variables newly created through feature engineering as explanatory variables.
  • the conversion unit U12 converts the response information of the olfactory receptor U200 into a numerical value, a function, a spatial or time-series index, or a feature amount engineering calculated using a mathematical, statistical, or machine learning method.
  • a machine-learned prediction model is used with the newly created variables as the objective variables.
  • the converting unit U12 uses the time series data of the output information output from the plurality of gas detection devices U100 and the number of feature quantity patterns as explanatory variables, and converts the time series of the response information of the plurality of olfactory receptors U200 into a time series.
  • the obtained output information is converted into response information using a machine-learned predictive model using the data and the number of feature patterns as objective variables.
  • the conversion unit U12 uses a machine-learned prediction model using the presence or absence of output information from the plurality of gas detection devices U100 as an explanatory variable. Further, in the present embodiment, the conversion unit U12 uses a machine-learned prediction model using the presence or absence of a reaction of a plurality of receptors included in the olfactory receptor U200 as an objective variable. Further, in the present embodiment, the conversion unit U12 uses a prediction model that is machine-learned using the mass-charge and intensity of output information output from the gas detection device U100 as explanatory variables. Thereby, the conversion unit U12 converts the conversion voltage value indicated by the voltage value, resistance value, current value, frequency change, or wavelength change of light into response information indicating the degree of activation of the olfactory receptor U200.
  • the output unit U13 is realized, for example, by the operation of the CPU.
  • the output unit U13 outputs the converted response information.
  • the output unit U13 outputs the response information by displaying it, for example.
  • the output unit U13 converts the activation degree into a numerical value and outputs it as response information, for example.
  • Each configuration included in the conversion device U1 can be realized by hardware, software, or a combination thereof.
  • being realized by software means being realized by a computer reading and executing a program.
  • Non-transitory computer-readable media include various types of tangible storage media. Examples of non-transitory computer-readable media are magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-ROMs, R, CD-R/W, semiconductor memory (for example, mask ROM, PROM (programmable ROM), EPROM (erasable PROM), flash ROM, RAM (random access memory)).
  • the display program may also be provided to the computer via various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can provide the program to the computer via wired communication channels, such as electrical wires and fiber optics, or wireless communication channels.
  • An array sensor containing 400 olfactory receptors was used as the olfactory receptor U200.
  • the olfactory receptor-expressing cells were then exposed to a given odor for a given amount of time.
  • the odor concentration used was 500 ⁇ M to 10 ⁇ M.
  • output information was obtained by exposing 12 types of gas detection devices U100 (gas sensors) to a predetermined odor for a predetermined period of time. Then, the output information was converted into response information using the conversion device U1. Furthermore, the degree of activation as a result of exposure to cells expressing olfactory receptor U200 was measured.
  • the odor molecules measured were hexyl acetate, hexyl butyrate, butyl butyrate, 2,7-octadienol, cis-2-penten-1-ol, toluene, beta-ionone, and benzothi.
  • azole cyclotene, acetic acid, coumarin, 1 , 2,4-trimethylbenzene, 2-ethylhexanol, propionaldehyde, 4-Isopropylphenol, Bis (methylthio)methane, 1,2,4,5-tetramet hyl benzene, 3-methyl-1-butanol, E-2-nonenal, m -cresol was used.
  • the model evaluation method was mainly based on the coefficient of determination.
  • the vertical axis represents the predicted value (response information) output from the prediction model, and the vertical axis represents the actual value of the target variable (the activity of olfactory receptor U200-expressing cells).
  • a regression coefficient of determination of 0.834 (maximum 1.0) was obtained as the degree of regression.
  • the experimental conditions and experimental procedures for the gas detection device U100 and the olfactory receptor U200 cell array sensor were the same as in Example 1.
  • Class classification was used in data processing. Python was used as the language.
  • a neural network was used as the algorithm.
  • a class classification model was created to associate the output information of the gas detection device U100 with the response information of the olfactory receptor U200.
  • the learning method was supervised. Although the number of hidden layers does not matter, in this example, two layers were used. For model evaluation, overall accuracy rate and loss function loss were used.
  • the output information of the gas detection device U100 was used as an explanatory variable, and the response information indicating the response of the olfactory receptor U200 was used as an objective variable.
  • the conversion device U1 is a conversion layer cover that converts output information output from a predetermined gas detection device U100 to response information indicating a response of the olfactory receptor U200 for a predetermined odor molecule, and An output information acquisition unit U11 that acquires output information output from the gas detection device U100 for odor molecules, and output signals output from the plurality of gas detection devices U100 for each of the plurality of odor molecules and the plurality of odor molecules. , and an output unit U13 that outputs the converted response information.
  • output information obtained from various gas detection devices U100 can be converted into one type of response information and output. Therefore, it is possible to establish a correlation between the gas detection devices U100.
  • the conversion unit U12 uses output information outputted from the plurality of gas detection devices U100 for each of the plurality of odor molecules as an explanatory variable, and also generates a response indicating the response of the olfactory receptor U200 to each of the plurality of odor molecules.
  • the acquired output information is converted into response information indicating the response of the olfactory receptor U200 using a predictive model machine learned using the information as a target variable. By using machine learning, conversion accuracy can be further improved.
  • the conversion unit U12 includes a numerical value, a function, a spatial or time-series index, which is calculated using a mathematical, statistical, or machine learning method of the output information output from the gas detection device U100; Alternatively, a machine-learned predictive model is used using newly created variables through feature engineering as explanatory variables. Thereby, conversion accuracy can be improved.
  • the conversion unit U12 converts the response information of the olfactory receptor U200 into a numerical value, a function, a spatial or time-series index, or a feature amount calculated using a mathematical, statistical, or machine learning method.
  • a machine-learned prediction model is used with variables newly created in engineering as objective variables. Thereby, conversion accuracy can be improved.
  • the conversion unit U12 uses the time series data and the number of feature quantity patterns of the output information output from the plurality of gas detection devices U100 as explanatory variables, and uses the time series data and the feature quantity of the response information of the plurality of olfactory receptors U200.
  • the obtained output information is converted into response information using a machine-learned predictive model using the number of patterns as an objective variable. Thereby, conversion accuracy can be improved.
  • the conversion unit U12 uses a machine-learned prediction model using the presence or absence of output information from the plurality of gas detection devices U100 as an explanatory variable. Thereby, conversion accuracy can be improved.
  • the conversion unit U12 uses a prediction model subjected to machine learning, using the presence or absence of a reaction of a plurality of receptors included in the olfactory receptor U200 as an objective variable. Thereby, conversion accuracy can be improved.
  • a predictive model creation device U2 a predictive model creation method, and a program according to a third embodiment of the present invention will be described with reference to FIG. 13.
  • the same components as those in the above-described embodiments are denoted by the same reference numerals, and the description thereof will be omitted or simplified.
  • the predictive model creation device U2, predictive model creation method, and program according to the third embodiment are the device, method, and program for creating the predictive model according to the first embodiment.
  • the predictive model creation device U2 creates a predictive model that converts the output information output from the gas detection device U100 into quantified data for a predetermined odor molecule. As shown in FIG. 13, the predictive model creation device U2 includes an explanatory variable acquisition unit U21, an objective variable acquisition unit U22, and a predictive model creation unit U23.
  • the explanatory variable acquisition unit U21 is realized, for example, by the operation of the CPU.
  • the explanatory variable acquisition unit U21 acquires output information output from the plurality of gas detection devices U100 for each of the plurality of odor molecules as an explanatory variable.
  • the explanatory variable acquisition unit U21 obtains, for example, the total value of the outputs of the plurality of gas detection devices U100 (for example, 20 types), the average value, the presence or absence of a reaction, various indicators, the product of the feature amount of the output and the number of gas detection devices U100. , the product of the time series data, the number of feature quantity patterns, and the number of gas detection devices U100, etc. may be used as output information.
  • the objective variable acquisition unit U22 is realized, for example, by the operation of the CPU.
  • the target variable acquisition unit U22 acquires response information indicating the response of the olfactory receptor U200 to each of the plurality of odor molecules as a target variable.
  • the target variable acquisition unit U22 obtains, for example, the total value of the output of the olfactory receptor U200 (for example, 400 spots), the average value, the presence or absence of a reaction, various indicators, the product of the feature amount of the output and the number of spots of the olfactory receptor U200. , the product of the time series data, the number of feature quantity patterns, and the number of spots of the olfactory receptor U200, etc. may be output information.
  • the predictive model creation unit U23 is realized, for example, by the operation of a CPU.
  • the predictive model creation unit U23 creates a predictive model by using the acquired explanatory variables and the acquired objective variables in machine learning.
  • the predictive model creation unit U23 creates a predictive model using correlation coefficients, principal factor analysis, logistic regression, and the like.
  • the explanatory variable acquisition unit U21 acquires output information as an explanatory variable.
  • the objective variable acquisition unit U22 acquires the response information as an objective variable.
  • the predictive model creation unit U23 creates a predictive model using the explanatory variables and objective variables.
  • Each configuration included in the predictive model creation device U2 can be realized by hardware, software, or a combination thereof.
  • being realized by software means being realized by a computer reading and executing a program.
  • Non-transitory computer-readable media include various types of tangible storage media. Examples of non-transitory computer-readable media are magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-ROMs, R, CD-R/W, semiconductor memory (for example, mask ROM, PROM (programmable ROM), EPROM (erasable PROM), flash ROM, RAM (random access memory)).
  • the display program may also be provided to the computer via various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can provide the program to the computer via wired communication channels, such as electrical wires and fiber optics, or wireless communication channels.
  • a predictive model creation device U2 that creates a predictive model that converts output information outputted from the gas detection device U100 into quantified data for a predetermined odor molecule
  • the An explanatory variable acquisition unit U21 that acquires output information output from a plurality of gas detection devices U100 as an explanatory variable
  • an objective variable that acquires response information indicating the response of the olfactory receptor U200 to each of a plurality of odor molecules as an objective variable.
  • a conversion device U1 a conversion information creation method, and a program according to a fourth embodiment of the present invention will be described with reference to FIGS. 14 and 15.
  • the same components as those in the above-described embodiments are denoted by the same reference numerals, and the description thereof will be omitted or simplified.
  • the conversion device U1 according to the fourth embodiment differs from the first and third embodiments in that a mass spectrometer (gas chromatograph mass spectrometer) is used as the gas detection device U100. Furthermore, the conversion device U1 according to the fourth embodiment differs from the first and third embodiments in that the output of the gas detection device U100 (mass spectrometer) is used as output information.
  • the conversion device U1 according to the fourth embodiment acquires, as output information, a set of plots of intensity versus mass charge output from the gas detection device U100.
  • the conversion device U1 obtains, as output information, a set of plots of intensity versus mass charge obtained as a result of detecting a gaseous compound by the gas detection device U100, for example.
  • the conversion device U1 outputs mass-charge data (including noise) of fragment ions generated when gas molecules are ionized, before the gas detection device U100 specifies the molecular structure of the gaseous compound. Obtain as information. Furthermore, the conversion device U1 converts the output information into response information of the olfactory receptor U200 using a prediction model that uses mass-charge data (including noise) as an explanatory variable. Thereby, the conversion device U1 converts the output information into response information of the olfactory receptor, regardless of the characteristics of the device that differs depending on the gas detection device U100. Note that the gas detection device U100 is not limited to detection, and may be a device for collection, measurement, and analysis.
  • the data acquisition method for the gas detection device U100 was to dilute the odor molecule solution 10,000 times with a solvent, then collect 1 ⁇ L with a syringe and put it into the gas detection device U100. Mass-charge data for each molecular species obtained during detection was used for conversion.
  • the experimental conditions and experimental procedures for the olfactory receptor cell array sensor were the same as in Example 1.
  • a model was created using random forest regression as in Example 1. Python was used as the language. The learning method was supervised. The coefficient of determination was used for model evaluation.
  • data processing of the mass and charge acquired by the gas detection device U100 was performed by graphing and reading the intensity of each pixel of the image. The read data was used as output information.
  • the output information of the gas detection device U100 was used as an explanatory variable, and the response information indicating the response of the olfactory receptor U200 was used as an objective variable.
  • the regression decision was made with the vertical axis as the predicted value (response information) output from the prediction model, and the vertical axis as the actual value of the target variable (activation level of olfactory receptor U200 expressing cells).
  • a coefficient of 0.828 was obtained.
  • the converter U12 used the output signal of the mass spectrometer as the gas detection device U100 as output information. With this, even for the mass spectrometer, by converting the output information into response information, it is possible to establish a correlation between the gas detection devices U100. In particular, by using mass-charge data (including noise) as output information, the conversion unit U12 is able to detect gaseous compounds from the collection of gaseous compounds to the olfactory sense. The time required for conversion into response information indicating the response of the receptor U200 can be shortened.
  • a gas chromatography mass spectrometer is used as the gas detection device U100, but the present invention is not limited thereto.
  • the gas detection device U100 may be a device without gas chromatography. Further, the gas detection device U100 may be a direct ionization mass spectrometer (DART-MS).
  • the gas detection device U100 may be an atmospheric pressure mass spectrometer that performs analysis at atmospheric pressure.
  • the conversion unit U12 performs conversion using a machine-learned prediction model, but the present invention is not limited to this.
  • the conversion unit U12 may perform conversion without using a machine-learned prediction model.
  • 16A and 16B are system configuration diagrams showing an overview of the third embodiment.
  • the third embodiment shows a system for economically protecting information such as scents and enabling transactions.
  • scent information is authenticated using blockchain and non-fungible tokens (NFTs), thereby achieving "uniqueness of scent” in the sense described below.
  • NFTs non-fungible tokens
  • Condition definitions within the contract may include not only the upper limit on the number of uses, but also the duration of the scent, the effective range of the scent, etc.
  • the duration and the effective range within which reproduction processing is allowed communication via smell within the virtual space becomes more active. For example, if a scent code is assigned to a third party's avatar, the scent will be reproduced based on the contract, and the user will be able to feel the scent assigned to that avatar.
  • NFT is a unique token issued and managed by a predetermined blockchain, and can prove the uniqueness of linked digital data.
  • odor information (digital odor information; odor code) will be explained as an example of an object for which an NFT is issued, but it is not limited to this, and for example, taste information (digital taste information; odor code) will be explained. taste code). That is, the reproduction of a target odor and odor management can be replaced with the reproduction of a target taste and taste management.
  • An example of an object for which an NFT is issued is the smell of perfume.
  • the person who requests the issuance of an NFT for scent information is, for example, the "author (corporate or individual)."
  • the original holder who first generates and holds odor information or taste information is referred to as the "author of odor information or taste information.”
  • the "author of a derivative work” a person who has created “odor information or taste information” by adjusting "odor information or taste information” provided by the "original author” is a “secondary work.” "Author”.
  • the "original author” is recorded in the NFT, and both the “original author” and the “secondary author” are recorded within the NFT, and sales fee income, etc. Fee income, etc. may be distributed according to the arrangement.
  • the "author” includes, for example, the person who designed the composition of the perfume (typically a perfume maker), or the person who generated the odor information of the perfume (or the person who manages the odor information of the perfume). (persons who do), etc.
  • NFTs are used to change the ownership of "smell information" (make it subject to buying and selling). It is significant that ⁇ smell information'' is distributed and that the original owner gains benefits that have real value. NFTs are managed by blockchain and are used as proof of ownership that cannot be tampered with.
  • "Odor information” is preferably converted into an "odor code” which is an N-dimensional code (more preferably a two-dimensional code) and traded.
  • the "smell code” is distributed from the “management server” to the playback device each time it is played back.
  • the owner of the NFT issues a use request from the playback device to the “author of the scent (original holder),” and the blockchain identifies the source of the use request. , it is necessary to be authenticated as the owner of the NFT. In each case, usage fees are paid in virtual currency.
  • the "author (original holder) of the scent” will be able to monitor the usage status of the scent information. Furthermore, it is also possible to set usage conditions (upper limit on number of uses, upper limit on usage time) for "use of odor information”. It is also possible for the ⁇ author (original holder) of a scent'' to collect a usage fee each time ⁇ the scent information is used.'''
  • the "smell information (smell code)" itself may be distributed to others alone (or may be replicable).
  • the owner of the NFT can specify a playback device owned by another person as the delivery destination for the "smell code” and send a request for use to the "author (original holder) of the smell etc.” and block it.
  • the chain requires that the source of the usage request be authenticated as the owner of the NFT.
  • FIGS. 16A and 16B are basically the same as the hardware configurations shown in FIG. 4, so the explanation will be omitted.
  • an information processor server 2000 is a server that receives odor materials or raw materials and executes a task of converting them into odor codes, and is basically the same as server 1 described in FIG. 5. It has the following configuration. Further, a server (management server) 3000 according to the third embodiment is an information processing device that performs blockchain management of scent information.
  • FIG. 17 is a functional block diagram for explaining the functional configuration of the management server 3000.
  • the request reception module (hereinafter referred to as "request reception MD") 3041 and the NFT linked to the scent code are , an NFT authentication module (hereinafter referred to as “NFT authentication processing MD”) 3043 that confirms authentication and the like functions.
  • the request reception MD 3041 receives a request to use scent information from the owner of an NFT related to predetermined scent information managed on the blockchain.
  • the NFT authentication processing MD 3043 verifies the uniqueness of the scent information or the consistency of the transaction history by authenticating the NFT regarding the scent information.
  • the management server 3000 exchanges data with the terminal 1000 of the original copyright holder HA of scent information, the information processor server 2000, and the blockchain BC via the network N.
  • an input/output interface (hereinafter referred to as input/output I/F) 3090 for importing data into the server or outputting data from the server between the network communication unit 3300 and the network communication unit 3300, etc.; It includes an arithmetic unit 3040 and a nonvolatile storage device 3080.
  • the computing device 3040 includes a request reception module (hereinafter referred to as request reception MD) 3041 for registering and editing information in an odor code database (hereinafter referred to as odor code DB) 3082 stored in a nonvolatile storage device 3080, and a nonvolatile NFT issuance processing module for registering and editing information in the scent code DB 3082 and author information database (hereinafter referred to as author information DB) 3083 stored in the gender storage device 3080, and issuing NFTs to blockchain BC. (hereinafter referred to as NFT issuing process MD) 3042 is executed.
  • request reception MD for registering and editing information in an odor code database (hereinafter referred to as odor code DB) 3082 stored in a nonvolatile storage device 3080
  • odor code DB odor code database
  • author information DB author information database
  • the computing device 3040 In response to the usage request accepted by the request reception MD 3041, the computing device 3040 further performs NFT authentication processing to request the blockchain BC to authenticate the validity of this usage request and confirm the validity.
  • NFT authentication processing MD As the scent code is played back by the module (hereinafter referred to as NFT authentication processing MD) 3043 and the scent spraying device 3 for content playback, information about the usage status (number of uses, usage time, etc.) and playback information are provided.
  • NFT update processing MD An NFT update processing module (hereinafter referred to as NFT update processing MD) 3044 for receiving an NFT transaction update request from the device 3 and issuing an NFT update transaction to the blockchain BC regarding information such as accompanying usage fee payment;
  • the scent code distribution is performed to distribute the corresponding scent code from the scent code DB) 3082 to the content playback device of the scent spray device 3. It executes the functions of the processing module (hereinafter referred to as odor code distribution processing MD) 3045.
  • the information processing module (hereinafter referred to as information processing MD) 3046 executes the learning process of the artificial intelligence model based on the data stored in the learning data DB 3084 stored in the nonvolatile storage device 3080, as described later. Execute processing using the generated trained model.
  • management server 3000 is basically the same as that shown in FIG. 4, so the description will not be repeated.
  • the main part of the management server 3000 is composed of computer hardware and software executed by the CPU 11.
  • such software is stored in a storage medium and distributed or distributed via a network, acquired via the disk drive 20 or the network communication unit 19, and temporarily stored in the storage unit 18 configured with an SSD or the like. Then, the data is further read out from the storage unit 18 to the RAM 13 in the memory and executed by the CPU 11. Note that if the program is connected to a network, the program may be directly loaded into the RAM and executed without being stored in the storage unit 18.
  • the arithmetic unit 3040 is a CPU, and may be a processor with one core or a processor with multiple cores. That is, it may be a single-core processor or a multi-core processor.
  • the scent of the above-mentioned perfume can be managed in real space or virtual space (metaverse).
  • a user's avatar may be asked whether the scent of the perfume belongs to the legitimate author, or if the user's avatar purchases a certain perfume in the virtual space. It can be used to determine whether a person has the authority to use the scent of a perfume.
  • virtual space is a broad concept that also includes VR (Virtual Reality) or AR (Augmented Reality).
  • this embodiment differs from the above-described embodiments in that it is not essential to use odor-related receptor response information as odor information. That is, the odor information is not limited to the presence or absence of the above-mentioned receptor response information, and is sufficient as long as it has information necessary to generate an odor.
  • odor information generated using an electric sensor or the results of a sensory test evaluation performed by a human may be used, without using receptor response information.
  • the odor information may be managed in a predetermined format.
  • the "uniqueness of a scent” includes not only indicating the legitimate owner of the "odor information” managed using the above-mentioned NFT, but also indicating the uniqueness of the scent itself.
  • blockchain and NFT can prove the uniqueness of a scent. This makes it possible to take measures such as claiming NFT copyright infringement.
  • an NFT generally includes an identifier to indicate that it is unique. Therefore, one "odor information (code)” corresponds to the "same odor (eg, the same type of perfume)". Each may be distinguished by an identifier.
  • the odor code is an N-dimensional code that expresses odor information. (The same applies to taste information.)
  • This "identifier" corresponds to the NFT token ID.
  • the structure of the identifier may be, for example, the following structure. Token ID: (Odor identification code) + (Identification number within the same odor)"
  • identification number within the same scent corresponds to, for example, an “edition number” when an upper limit is set for the number of prints, taking a print as an example. With such a configuration, it is also possible to increase the rarity value of "odor information (code)".
  • the electronic signature of the private key may mean that it is proven that the "odor information (code)” was generated by the legitimate original author.
  • the externally owned account (address) of the original author is identified from the public key of the "original author”.
  • NFT NFT
  • Consistency of transaction history of scent information means that the current owner's information managed by NFT is consistent with the transaction history of transaction data managed by blockchain, and the current owner is legitimate. It means to be the owner.
  • FIG. 18 is a diagram showing a first example of scent code (smell information) trading using a blockchain and non-fungible tokens (NFT) according to the third embodiment.
  • FIG. 18 shows an example in which the wallet is managed by the management server, a wallet may be provided for each device of the owner.
  • device A is a general term for the content playback device and the scent spray device.
  • each wallet associated with one or more users who has received permission to use perfume scent (purchase, free transfer, etc.) Created.
  • the address of the wallet is then managed on the blockchain as the address of the owner of the non-fungible token (NFT).
  • NFT non-fungible token
  • the owner of the right to use the scent of the perfume is managed as the owner of a non-fungible token (NFT).
  • AAA address of the wallet
  • NFT non-fungible token
  • the information of the owner of the authority to use the scent of the perfume is stored as metadata and content data linked to non-fungible tokens (NFTs) in distributed storage such as IPFS (Interplanetary File System), which is set up outside the blockchain. It is managed using storage etc.
  • IPFS Interplanetary File System
  • non-fungible token NFT
  • owner of the right to use the scent of a perfume are basically the same person.
  • the owner of the right to use the non-fungible token may be managed independently of the owner of the NFT.
  • FIG. 19 is a diagram illustrating a second example of scent code (smell information) trading using a blockchain and non-fungible tokens (NFT) according to the third embodiment.
  • a smart contract (SC) is used to refer to the NFT and automatically update the history, etc.
  • FIGS. 20A and 20B are diagrams showing the configuration of a system for managing NFTs using smart contracts.
  • Smart contracts are implemented on blockchain BC to automatically execute protocols according to the received contract terms.
  • the smart contract according to the embodiment is implemented on the blockchain BC by, for example, an administrator.
  • a smart contract is constructed by a computer program being implemented on the computer network that constitutes the blockchain BC.
  • the computer program is executed on the computer network that constitutes the blockchain BC.
  • the computer program has program code that defines operations as a smart contract.
  • the operation of the smart contract is performed by executing the computer program on the computer network that constitutes the blockchain BC.
  • a smart contract is stored at an address (contract address) in blockchain BC.
  • FIGS. 21A and 20B are diagrams showing the flow of processing for managing NFTs using smart contracts.
  • NFTs have a unique identifier (NFT-ID) to enable them to be distinguished from other NFTs.
  • fungible tokens such as Ether, the internal currency of Ethereum, have the same value as other fungible tokens and do not need to be differentiated, so an identifier such as an NFT-ID is not required. I don't have it.
  • NFTs like fungible tokens, can be traded on blockchain BC.
  • NFT transaction history is recorded on blockchain BC.
  • the owner and owner history of NFTs are also recorded.
  • NFT is, for example, a token issued according to the Ethereum Request for Comments (ERC) 721 standard. NFTs that comply with the ERC721 standard are called NFT-721 tokens. In this embodiment, the NFT will be described as an NFT-721 token, as an example.
  • ERC Ethereum Request for Comments
  • NFT71 can be traded (owner changed), has unique value, and its owner and transaction history are recorded in blockchain BC, so it is effective as collateral. Moreover, since NFTs are managed on blockchain BC, there is no risk of them being fake or stolen.
  • the NFT is used as a certificate (certificate NFT) that proves the owner of the scent code.
  • the author of the scent informs the operator of the information processor server 2000 of the source of the scent that is the source of the scent information (for example, the actual perfume ) is provided.
  • the management server 3000 receives the scent information code (smell code) from the information processor server 2000 (S1014), issues a scent code reception notification to the author terminal 1000 (S1016), and sends the scent code to the author terminal 1000 (S1016).
  • the management server 1000 Upon confirming receipt of the scent code (S1016), the management server 1000 requests the management server 3000 to issue an NFT, and the management server 3000 executes an NFT issuance process to the blockchain BC (S1020).
  • Citificate NFT can be traded (changed in ownership) in the same way as general NFT. Owners can buy and sell certificates NFT, for example, on an open market for NFTs.
  • a blockchain BC such as Ethereum has addresses AD01, AD02, and AD03 that manage tokens (cryptoassets) such as fungible tokens and NFTs. These addresses AD01, AD02, and AD03 are called Ethereum addresses in Ethereum.
  • Addresses AD01, AD02, and AD03 for managing tokens are also user accounts in blockchain BC.
  • Fungible tokens or NFTs owned by users are associated with addresses AD01, AD02, and AD03 (accounts) in blockchain BC.
  • the address AD01 of the original author HA of the scent code, the address AD02 of the transferee of ownership HB, and the address AD03 of the administrator of the management server are illustrated. Fungible tokens or NFTs are traded (transferred) between these addresses.
  • the administrator is a person who manages NFT transactions and updates, and has address AD03 (administrator's account).
  • User HA and user HB can refer to the tokens associated with their respective addresses AD01 and AD02 via wallet applications running on their respective terminals.
  • the user HA's terminal is, for example, a smartphone, a tablet, or a personal computer. Further, the terminal of the user HB may also be a smartphone, a tablet, or a personal computer, or a content reproduction device connected to the scent spraying device 3 may function as the terminal.
  • User HA and user HB can use the wallet application to perform operations on the tokens associated with their respective addresses AD01, AD02, such as transactions (eg, sending internal currency, changing ownership).
  • FIG. 22 is a diagram showing a transaction when an NFT according to the third embodiment is sold.
  • FIG. 22 shows a case where the owner of the scent code changes from the author with account number AAA to the owner with account number BBB.
  • the NFT has "Account number: AAA”, "Product name: XXX”, and “Owner (and property) account number: AAA”. ” and balance information “Balance: 0 ETH” (the unit of internal currency Ether is expressed in ETH) are recorded.
  • the "account number" is a public key assigned to an account, and is generated from a private key by the wallet application.
  • the account address is generated from the public key by a predetermined procedure (conversion using a predetermined hash function).
  • the operation related to NFT is performed by, for example, the transferee HB (account number BBB: externally owned account) sending a sale transaction to the management server 3000 to the author HA (account number: AAA).
  • the transferee HB (account number BBB: externally owned account) sending a sale transaction to the management server 3000 to the author HA (account number: AAA).
  • the author HA (account number: AAA: externally owned account) is recorded as the owner so that the transferee HB is recorded as the owner.
  • the sale transaction is sent from the transferee HB (account number BBB) to the author HA (account number: AAA), and the transaction fee is 10 ETH, and the transfer consideration is 100 ETH. be done.
  • Execution of a sale transaction is not particularly limited, but if it is a smart contract based on Ethereum, it will be executed as a distributed application program on blockchain BC.
  • nodes 400.1 to 400.1 in blockchain BC which node among M obtains the right to generate a new block may be determined using a POS (Proof of Stake) method, or may be determined using another smart contract method such as POW (Proof of Stake). Work) method may be adopted.
  • Author HA's terminal 1000 is a terminal that requests issuance of an NFT regarding a scent code.
  • Author HA's terminal 1000 is configured by a computer including a processor and a memory connected to the processor.
  • a computer program is stored in the memory.
  • a computer program is executed by a processor.
  • the management server 3000 can acquire information (NFT information) regarding the NFT requested for issuance from the author HA's terminal 100 via the network.
  • the NFT information is, for example, a scent code associated with the NFT and stored on the blockchain BC.
  • the scent code may be stored in IPFS as NFT information.
  • FIG. 23 is a diagram showing a flow diagram when actively reproducing a smell according to the third embodiment.
  • a cartridge for reproducing scents is attached to a spray device connected to content reproducing device RE (S1040), and content reproducing device RE stores odor in the memory of the cartridge.
  • the displayed information is read (S1042).
  • the memory of the cartridge is a nonvolatile memory such as a flash memory.
  • the release control unit may limit the use when the upper limit of use is reached, depending on the number of uses since the first use of the cartridge CA stored in the memory of the cartridge, or limit the use of the cartridge CA stored in the memory. Depending on the time, use may be restricted when the upper limit is reached. In addition, if a predetermined number of days (e.g., half a year) have passed since the start of use of the cartridge CA (e.g., at the time of manufacture, installation, first use, etc.), an alert will be issued to indicate that the cartridge has deteriorated over time. It is preferable to output a message urging replacement of the cartridge CA or to restrict the use of the scent spray device 3.
  • a predetermined number of days e.g., half a year
  • the release control unit may adjust the release information depending on the usage state of the cartridge CA. For example, when using a cartridge that has been used for a predetermined period of time, the release control unit may spray more fragrance than usual in the cartridge CA or may lengthen the spraying time.
  • the management server 3000 sends a drive request to the blockchain BC by referring to the NFT.
  • the user who made the request is requested to confirm the authentication (S1046).
  • the playback device RE creates data by encrypting information about the scent code, the contents of the NFT, etc. as an electronic signature using its own private key, and sends it to the management server 3000.
  • the NFT and smart contract authenticate that the requester of the authentication confirmation request is the owner of the NFT based on the electronic signature (S1048-1), and the NFT is recorded in blockchain BC. It is compared with the content (S1048-2) and sent back to the management server 3000.
  • the management server 3000 executes authentication processing (S1050). -2) Send (distribute) the requested scent code to the playback device RE (S1052).
  • the playback device RE When the playback device RE receives the smell code, it reads the code (S1054-1), drives the device, and executes the smell playback process (S1054-2).
  • the playback time per request may be limited to a predetermined time.
  • the reproduction device RE Upon completion of the scent reproduction process, the reproduction device RE transmits a request to update the contents of the NFT along with the electronic signature to the management server 3000 (S1056). As a result, a request is issued to update the cumulative playback count or cumulative playback time recorded on the NFT.
  • the management server 3000 issues a smart contract update transaction to the blockchain BC (S1058), and the blockchain BC verifies the electronic signature (S1060-1) and records the update transaction data (S1060-2). ), the NFT state data update process is executed (S1060-3).
  • FIG. 24 is a diagram showing a first example of a transaction when using the odor reproduction device according to the third embodiment.
  • the first example of a transaction shows a case where the owner of the scent code is the owner of account number BBB and the number of uses is updated.
  • the NFT includes "account number: AAA”, “product name: XXX”, “owner (and property) account number: BBB”, and balance information. "Balance: 0 ETH”) and "Usable number of times: 100" are recorded.
  • the renewal transaction is sent from the owner HB (account number BBB) to the author HA (account number: AAA), and the transaction fee is 10 ETH, and the renewal fee is 0.01 ETH. It is described as.
  • the balance recorded in the NFT for a certain scent code (product name: XXX) is rewritten to "Balance: 0.01 ETH" and the number of times it can be used is reduced to 99 times.
  • the execution of the update transaction is not particularly limited, but if it is a smart contract based on Ethereum, it will be executed as a distributed application program on the blockchain BC.
  • nodes 400.1 to 400.1 in blockchain BC which node among M obtains the right to generate a new block may be determined using a POS (Proof of Stake) method, or may be determined using another smart contract method such as POW (Proof of Stake). Work) method may be adopted.
  • FIG. 25 is a diagram showing a second example of a transaction when using the odor reproduction device according to the third embodiment.
  • the smart contract updates the usable number of times, and the usable data is not recorded in the NFT, but only in the state data. It becomes.
  • FIG. 26 is a diagram showing a third example of a transaction when using the odor reproduction device according to the third embodiment.
  • the smart contract updates the number of usages, and the usage time is executed as a function of the smart contract, and after use, the number of usages is updated.
  • the 99th time was recorded, and the usage time of 1 hour was recorded.
  • Usable data and usage time are not recorded in the NFT, but only in the state data.
  • the reproduction device RE may be configured to not reproduce the scent.
  • FIG. 27 is a diagram showing a fourth example of a transaction when using the scent reproduction device RE according to the third embodiment.
  • the smart contract updates the available number of uses, and the effective duration is executed as a function of the smart contract, and after use, the available number of uses is updated. It has been recorded that the effective duration has increased from 1000 hours to 999 hours. Usable data and valid duration are not recorded in the NFT, but only in the state data.
  • the reproduction device RE may be configured to not reproduce the scent.
  • FIG. 28 is a diagram illustrating a third example of scent code (smell information) trading using a blockchain and non-fungible tokens (NFTs) according to the third embodiment.
  • the author includes, for example, the person who developed the composition of the perfume (typically a perfume maker), or the person who generated the odor information of the perfume.
  • the person who generated the perfume odor information may, for example, independently reconfigure the perfume odor generated by the perfume maker and manage the odor created by having at least a partially different composition.
  • examples of the third party in FIG. 28 include a user (user B) who is different from the owner (user a) of the playback device RE.
  • a third party (user B) owns the scent of a perfume (an NFT)
  • odor information odor code
  • device A which is the playback device RE.
  • the information is sent as signature information to device A (ejector), which is the playback device RE, via the management server.
  • being close may mean that users are close to each other in real space, or may be that avatars corresponding to user a and user B are close to each other in virtual space.
  • the scent information (scent code) owned by the third party is sent from device A via the management server to the nearby owner (user a). ) is also expected to be sent to
  • the third party in FIG. 28 may send information indicating proximity to a predetermined user to the management server instead of scent information.
  • the third party does not need to possess a device (emitting machine) that emits a scent.
  • FIG. 29 is a diagram showing a flow diagram when passively reproducing a smell according to the third embodiment.
  • FIG. 29 is a diagram corresponding to the flowchart for actively reproducing a scent shown in FIG. 23.
  • the difference from the case in FIG. 23 is that the process begins when the management server 3000 receives a scent code from a third party (S1045), and as described above, the third party sends a scent code to the management server 3000.
  • the following information is sent as signature information.
  • Scent code b) Information that identifies a third party who is the owner of the scent code c) Information that identifies the owner (user a) of the playback device RE (c is information that identifies the playback device RE itself) (may be)
  • FIG. 30 is a conceptual diagram showing an overview of the fourth embodiment.
  • the server (management server) controls whether or not device A (for example, an odor emitting machine) can operate.
  • the management server uses the blockchain BC. Based on the NFT information recorded in the NFT, it is authenticated whether the user is the legitimate owner of the scent in response to the usage request. Then, based on the authentication result, the management server determines whether the owner satisfies the usage conditions and determines whether or not the scent can be used. According to such a determination result, device A, which is the playback device RE, controls the playback operation.
  • the management server can also change the scent according to the elapsed time from the time when the scent of the perfume was released. This allows you to recreate the scent you get when you apply the perfume (top note), the scent you get after a while (middle note), and the scent that lasts until the perfume fades (last note).
  • FIG. 30 the hardware configurations of the servers, devices, etc. shown in FIG. 30 are the same as, for example, the hardware configurations shown in FIGS. 20A and 20B, so the description will be omitted.
  • the server (management server) according to the fourth embodiment is an information processing device that performs device operation control based on NFT.
  • the configuration of the management server 3000 is similar to that shown in FIG. 17.
  • the request reception MD 3041 the NFT authentication processing MD 3043, the scent code distribution processing MD 3045, the operation control module in the information processing MD 3046, etc. function.
  • the request reception MD 3041 receives a request to use scent information from the owner of an NFT related to predetermined scent information managed on the blockchain BC.
  • the NFT authentication process MD3043 performs NFT authentication regarding scent information.
  • the scent code distribution processing MD 3045 determines whether the scent information can be used based on authentication.
  • the operation control unit generates and distributes a signal for controlling the operation of the playback device RE when it is determined in the odor code distribution process MD3045 that the odor information can be used.
  • FIGS. 31A and 31B are diagrams showing an overview of the fifth embodiment.
  • the information processor server 2000 is a server that receives odor materials or raw materials from the original author and executes the task of converting them into odor codes. Generally, they have the same configuration. Furthermore, the management server 3000 according to the fifth embodiment is also an information processing device that performs blockchain management of scent information. In response to a request for encoding odor information from the terminal 1000, the information processor server 2000 generates an odor code and transmits it to the management server 3000. Furthermore, in accordance with the NFT issuance request from the terminal 1000, the management server 3000 issues an NFT to the blockchain BC.
  • the metaverse service providing server 4000 is the owner (user a ) is provided with image information and audio information of a virtual space (metaverse).
  • the administrator of the metaverse service providing server 4000 has become the owner of the scent code due to the sale of the NFT.
  • the terminal 2200 is intended to play back two-dimensional images on a liquid crystal display or the like and play sound through a speaker, for example, images may be played back on a head-mounted display, and audio may also be played through headphones. It's okay.
  • the metaverse service providing server 4000 sends a request to use the scent code to the management server 3000 in conjunction with the provision of metaverse image information.
  • the use request includes an electronic signature that includes information indicating the owner of the scent code and the playback device 2210.
  • information indicating the playback device 2210 means information that can specify the playback device and transmit information, such as the identification number of the playback device or the global address of the playback device.
  • the management server 3000 performs authentication confirmation of the NFT on the blockchain BC, and upon authenticating that the sender of the usage request is the legitimate owner, distributes the scent code to the designated playback device 2210.
  • the playback device 2210 Upon completion of the scent code playback process, the playback device 2210 sends an NFT transaction update request to the management server 3000 to update information regarding usage history (behavior history; number of times it has been used, number of times it can be used, etc.). Sent.
  • the management server 3000 issues an NFT update transaction to update the scent code usage history information managed by blockchain BC.
  • FIG. 32 is a conceptual diagram for explaining the configuration of a modification of the fifth embodiment.
  • the management server 3000 according to the modified example of the fifth embodiment reproduces scent using spatial information on the metaverse space.
  • FIGS. 33A and 33B are diagrams showing the configuration of a system related to a metaverse environment in a modification of the fifth embodiment.
  • a management server 3000 according to a modification of the fifth embodiment is an information processing device that performs scent reproduction based on metaverse space information.
  • the information processing MD 3046 includes a location information acquisition module (location information acquisition MD) that acquires the location information of the user's avatar in the metaverse from the metaverse service providing server 4000 when operating. , an environment information acquisition module (environment information acquisition MD) that acquires metaverse environment information set in the metaverse service providing server 4000, a scent control module (smell control MD), and the like.
  • location information acquisition MD location information acquisition module
  • environment information acquisition MD environment information acquisition MD
  • scent control module scent control module
  • the information processor server 2000 generates a scent code and sends it to the management server 3000 in response to a request for scent information encoding from the terminal 1000. Furthermore, in accordance with the NFT issuance request from the terminal 1000, the management server 3000 issues an NFT to the blockchain BC. Also, here as well, the administrator of the metaverse service providing server 4000 may become the owner of the scent code by selling the NFT. Alternatively, due to the sale of the NFT, the owner of the scent code has become user b, and this may be a different person from user a, who is the owner of the playback device 2210 that plays the scent code. shall be.
  • the location information acquisition MD of the management server 3000 acquires the spatial location information of the avatars of the first user (user a) and the second user (user b) in a predetermined metaverse space from the metaverse service providing server 4000.
  • the environmental information acquisition MD acquires environmental information around the avatars of the first user and the second user in the metaverse space.
  • the odor control MD generates or controls odor information corresponding to odor perceived by the avatars of the first user and the second user in the metaverse space, based on position information or environmental information.
  • the metaverse service providing server 4000 provides metaverse video information and audio information to the terminal 2200 of the first user (user a) and the second user (user b), and the playback device 2110 and playback device 2210 of the terminal 2100, respectively. provide.
  • the terminals 2200 and 2100 are assumed to play back two-dimensional images on a liquid crystal display or the like and play sound through speakers, for example, images are played back on a head-mounted display, and audio is also played through headphones. May be played.
  • the content playback device and the scent spray device are collectively referred to as the "playback device.”
  • the management server 3000 adjusts the scent played to the user corresponding to the avatar in the metaverse, depending on the scene or situation.
  • the server controls emitting scent depending on (correlation with) spatial information within the virtual space.
  • Examples of the spatial information include the following. ⁇ Setting values for temperature, humidity, and wind power ⁇ Size of space (for example, assuming a closed space in a structure such as a building or tunnel, or in a terrain such as a cave or valley) ⁇ Set values for diffusion rate, closed space volume, and ventilation rate
  • the server controls the emitting of a scent depending on (correlation with) position information in the virtual space.
  • Examples of location information include the following. - Relative positional relationship between avatars corresponding to the first user (user a) and the second user - Coordinates (position) of the avatars in the virtual space
  • the "relative positional relationship between avatars" can be calculated from the distance to other users' avatars based on the above-mentioned "positional information of the first user's avatar in a predetermined metaverse space”. .
  • the "coordinates (position) of the avatar in the virtual space” corresponds to the above-mentioned "position information of the first user's avatar in the predetermined metaverse space".
  • the following table is prepared in advance, and upon a usage request from the metaverse service providing server 4000, the reproduction conditions according to such spatial information are set.
  • the data may be configured to be sent to the management server 3000.
  • the management server 3000 distributes the playback condition data together with the scent code to the playback device 2210, and the playback device 2210 executes playback processing according to the playback condition data.
  • the playback conditions in the above table are merely examples, and the settings may be changed through prior experiments.
  • the reference temperature, humidity, and wind speed may also be different values.
  • the reproduction condition coefficients may be changed depending on the type of odor.
  • different set values can be set for temperature and humidity, and coefficients of reproduction conditions may be changed depending on the type of taste.
  • playback conditions may be set for each possible combination of temperature, humidity, and wind speed.
  • a request to use a scent code is issued, for example, to the metaverse service providing server 4000.
  • the information is sent from the server to the management server 3000.
  • the usage request includes an electronic signature indicating ownership of the scent code and the playback device 2210.
  • the management server 3000 performs authentication confirmation of the NFT on the blockchain BC, and upon authenticating that the sender of the usage request is the legitimate owner, distributes the scent code to the designated playback device 2210.
  • the playback device 2210 Upon completion of the scent code playback process, the playback device 2210 sends an NFT transaction update request to the management server 3000 to update information regarding usage history (behavior history; number of times it has been used, number of times it can be used, etc.). Sent.
  • the management server 3000 issues an NFT update transaction to update the scent code usage history information managed by blockchain BC.
  • the scent filter may have a function of allowing you to smell only the scent you want to smell.
  • the scent may be emitted only to the avatar specified by the user.
  • the owner of the scent code is now user b, who is different from user a, who is the owner of the playback device 2210 that plays the scent code.
  • usage permission from user b's terminal 2100 is sent to the metaverse service providing server 4000 in advance.
  • a request to use the scent code is sent to the metaverse service provider. It is sent from the server 4000 to the management server 3000.
  • the usage request includes an electronic signature indicating that user b is the owner of the scent code and the reproduction device 2210.
  • the management server 3000 performs authentication confirmation of the NFT on the blockchain BC, and upon authenticating that the originator of the usage request is the legitimate owner, distributes the scent code to the designated playback device 2210.
  • the playback device 2210 Upon completion of the scent code playback process, the playback device 2210 sends an NFT transaction update request to the management server 3000 to update information regarding usage history (behavior history; number of times it has been used, number of times it can be used, etc.). Sent.
  • the management server 3000 issues an NFT update transaction to update information on the usage history of the scent code managed by blockchain BC. By doing this, even if the owner of the scent code is user b, it becomes possible to control the playback process of the scent code using this usage history information, as in the fourth embodiment. .
  • the emission amount may be adjusted based on the cumulative amount of odor in the virtual space and the cumulative amount of the odor emitting device (diffuser).
  • it may have a function of searching for smells in the virtual space. For example, it may be visualized by appropriately coloring the odor. It is also possible to search which scent is associated with which position in the virtual space.
  • a smell may be generated in accordance with human body information such as the user's age and gender, meal content, physical condition, and the like.
  • odor history for example, emission history
  • the history or smell itself may be visualized.
  • the user's odor emission history and reward such as virtual currency may be managed in conjunction with each other.
  • attribute information of a third party (visitor) within a predetermined virtual space may be managed in conjunction.
  • the smell may change depending on morning, noon, and night.
  • the smell in the virtual space may be controlled to be transmitted at a speed or attenuation that would be impossible in the real space.
  • a flow of time that is different from that in the real space, such as, for example, one day in the real space equals one year in the virtual space.
  • various surreal spaces can be expressed.
  • adjustment of the amount of odor emitted can be said to be the adjustment of the strength of the effect on the sense of smell via the odor emitting device.
  • the odor intensity is set at ⁇ 1'' when it is at its weakest (lower limit concentration at which the presence of an odor can be felt), and when there is no difference even if the concentration of odor molecules is further increased, it is rated as ⁇ 5''.
  • a five-level numerical method for evaluation is common.
  • the odor intensity when the odor intensity is 5 or more, it exceeds the dynamic range of the olfactory sense, so the sensitivity is saturated (no difference is felt in the perceptual cycle). For this reason, it is meaningless to emit an odor at a saturated concentration (for example, the odor intensity is "5"), so it is important to adjust the emitted amount not only by the amount released, but also by taking into account the dynamic range of the olfactory sense. .
  • VR virtual reality
  • people sense smells more strongly in the leeward direction, so smells can be used for positioning in first-person hunting games.
  • the temperature, humidity, and wind force settings can be used to set situations such as "summer ⁇ south wind ⁇ salty scent" on the Pacific coast of Japan.
  • range of scent disclosure can be set to, for example, family, friends, third parties, etc.
  • a function can be provided that allows users to receive rewards such as virtual currency when using a specified scent. For example, it is possible to provide a function that allows you to earn rewards based on the number of times you use the app, or based on your behavior history, such as walking around a virtual space and spreading scents. This allows the avatar to be used as an advertising medium, for example, by having your avatar carry a buckwheat flour you bought at a food stall and dispersing the scent when you pass other avatars, or by giving you rewards the more you walk around wearing a newly released perfume.
  • a MAP that records (visualize) the history of scents and perform personality prediction by linking it with trend analysis data of human preferences. For example, information about what scents people gather around buildings or people with a certain scent can be collected and analyzed. By linking it with purchaser information linked to the scent, it can be used for targeted advertising (it can also be used to search for people who can become influencers based on the spread of the scent).
  • FIG. 34 is a conceptual diagram showing an overview of the sixth embodiment.
  • the odor providing server 5000 When the odor providing server 5000 according to the sixth embodiment receives an image including an object (for example, ramen noodles), it recognizes the object and outputs the corresponding odor information (for example, odor information for ramen noodles).
  • an object for example, ramen noodles
  • the odor providing server 5000 recognizes the object and outputs the corresponding odor information (for example, odor information for ramen noodles).
  • an example will be described in which an input image is processed by artificial intelligence AI (for example, a classifier generated by machine learning) and a corresponding odor is output.
  • AI for example, a classifier generated by machine learning
  • the object is recognized by AI and the odor of the object is automatically generated.
  • FIG. 34 the hardware configurations of the servers, devices, etc. shown in FIG. 34 are the same as the hardware configuration shown in FIG. 4, so the description will be omitted.
  • the odor providing server 5000 is an information processing device that reproduces odor based on image information.
  • the management server 3000 provides the odor providing server 5000 with learning data for generating a "trained model" for estimating odor codes from image information.
  • the management server 3000 sends the owner's terminals 2200.1 to 2200.2200.1 to 2200.2200.
  • Authentication information (electronic signature) requesting use as learning data (permitting use by scent providing server 5000) is transmitted from N. Approval of such authentication information can be configured to be executed based on NFT managed by blockchain BC, similar to that shown in FIGS. 31A and 31B.
  • the CPU of the scent providing server 5000 is also provided with an information processing MD, and when operating, the information processing MD includes a learning data acquisition module (learning data acquisition MD), an image recognition module (image recognition MD), It includes functional blocks such as an odor code learning processing module (odor code learning processing MD) and an odor estimation module (odor estimation MD).
  • learning data acquisition MD learning data acquisition MD
  • image recognition MD image recognition MD
  • odor code learning processing MD odor code learning processing MD
  • odor estimation MD odor estimation module
  • the learning data acquisition MD acquires image information including the authenticated predetermined object and the scent code from the management server 3000.
  • this scent code contains information that limits the "usable number of times" and "usable time” when performing playback processing after the artificial intelligence learns using the scent code.
  • it may also be configured to be managed by blockchain.
  • the image recognition MD recognizes the type of odor object in the image based on the image information.
  • the process of classifying the type of object in an image from image data is not particularly limited, but for example, classification processing can be performed by performing supervised learning in advance on an artificial intelligence model using a convolutional neural network. It can be executed by generating a trained model for executing.
  • the classification result can be configured to output a probability for each classification result.
  • the odor code learning process MD generates a learned model to be estimated by learning the corresponding odor code according to the recognition result of the image recognition MD and using the recognition result as training data.
  • a trained model for performing classification processing can be generated.
  • the odor estimation MD estimates odor information of an object corresponding to the type of object in the input image using a trained model.
  • the configuration may be such that the odor of the odor code corresponding to the classification result with the highest probability is reproduced.
  • the classification result is configured to output a probability for each classification result as described above, a configuration that synthesizes the smell to be reproduced for each classification result as the weight of the probability for each classification result may be used. Good too.
  • the AI may determine that it is a violet and make the avatar operator (user) smell the violet. Ru.
  • the information that limits the "usable number of times" and "usable time” when performing playback processing is managed by blockchain.
  • the scent providing server 5000 sends a scent usage request to the management server 3000 and the management server 3000 confirms that the usage conditions are met, the estimated "scent code" is It is also possible to adopt a configuration in which the content is distributed from the providing server 5000 to the playback device.
  • the AI will determine that it is curry and will emit an image of curry and the smell of curry on a remote display at the same time.
  • the server can control the emitting of the odor corresponding to the object based on the input image.
  • a user who is viewing existing content to which odor information is not attached can smell the scents of various objects displayed in the content, thereby making it possible to further enhance the sense of immersion.
  • the metaverse service providing server 4000 transmits images to the terminals 2100 and 2200 within the server.
  • artificial intelligence predicts in advance the smell (or taste) to be played on the playback device based on the image information, and the odor code to be distributed is sent to the playback device at a timing before the image is distributed. It is also possible to have a configuration in which the scent is distributed in advance and preparations for scent reproduction are made on the reproduction device side.
  • the playback device can play back the smell (or taste) with minimal time lag.
  • the smell (or taste) to be played on the playback device is predicted in advance using artificial intelligence, and the smell code to be distributed is delivered to the playback device at a timing before the image is distributed. It is also possible to have a configuration in which odor reproduction is prepared on the side. In this case, on the reproduction device side, it becomes possible to reproduce the smell (or taste) with minimal time lag at the time when the corresponding relayed image data is distributed. It is assumed that the timing of distributing the image corresponding to the reproduction of the smell (or taste) is notified from the server 1.
  • 35A and 35B are diagrams showing an example of NFT management using IPFS.
  • the image when an image on the web is transferred to an NFT, by tracing the history managed by the blockchain BC using a smart contract, the image can be authenticated (uniqueness). It is possible to prove that.
  • the image information itself is stored in IPFS using IPFS, and domain information between terminals in a P2P connection allows a connection request from a certain terminal to be sent from the legitimate owner.
  • the request is made, it is possible to display the image on the terminal that made the connection request.
  • the series of processes described above can be executed by hardware or by software.
  • the above-described functional configuration is merely an example and is not particularly limited. That is, it is sufficient that the information processing system is equipped with a function that can execute the series of processes described above as a whole, and what kind of functional blocks are used to realize this function is not particularly limited to the above-mentioned example.
  • the location of the functional blocks is not particularly limited, and may be arbitrary.
  • the functional blocks of a server information processing device
  • functional blocks of other devices may be transferred to a server or the like.
  • one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
  • the computer may be a computer built into dedicated hardware. Further, the computer may be a computer that can execute various functions by installing various programs, such as a server, a general-purpose smartphone, or a personal computer.
  • Recording media containing such programs not only consist of removable media (not shown) that is distributed separately from the main body of the device in order to provide programs to users, etc., but also those that are pre-installed in the main body of the device and provided to the user. It consists of recording media etc. provided to etc. Since the program can be distributed via a network, the recording medium may be mounted on or accessible from a computer connected or connectable to the network.
  • the step of writing a program to be recorded on a recording medium is not only a process that is performed chronologically in accordance with the order, but also a process that is not necessarily performed chronologically but in parallel or individually. It also includes the processing to be executed.
  • the term system refers to an overall device composed of a plurality of devices, a plurality of means, and the like.
  • the information processing device to which the present invention is applied can take various embodiments having the following configurations.
  • an acquisition device that acquires receptor response information indicating responses of multiple types of olfactory receptors or taste receptors, a storage device that stores the receptor response information, and a plurality of a release information determining device for determining release information regarding the release of a substance related to the reception of a plurality of types of odor or taste;
  • An information processing device including a release control device.
  • the target odor can be reproduced in a non-individual manner.
  • Receptor response information is the feature amount for odor molecules or taste in multiple types of receptors, including response intensity, area of response intensity, response duration, response speed, peak time, response rise, It is preferable that the information indicates at least one feature quantity among the number of peaks.
  • the target odor or taste can be reproduced with high accuracy.
  • the smell or taste perceived by a person differs depending on how the fragrance or seasoning spreads and the temperature, so in order to accurately reproduce the target smell or taste, it is better to include as much of this information as possible.
  • the storage device has a correspondence table for associating the receptor response information with the release information, and the release information determining device determines the release information based on the receptor response information and the correspondence table. It's good to do that.
  • the response information can be converted into the corresponding release information, making it possible to reproduce the target odor or taste in a non-individual manner.
  • the storage device further stores a learning model generated in advance by machine learning using receptor response information and release information corresponding to the receptor response information as teacher data, and the release information determination device:
  • a learning model may be used to determine release information based on receptor response information acquired by the acquisition device.
  • the release information determining device preferably determines release information on at least one of the release time, release amount, release temperature, number of times of release, and amount of ejection opening for the substance related to odor or taste reception.
  • the target odor or taste can be reproduced with high precision.
  • the release information determining device may determine the release information according to the receptor response information and the spatial parameters related to the state of the space in which the substance is released or the positional relationship with the object to which the substance is released.
  • the spray direction, spray amount, etc. can be determined based on the distance to the nose, temperature, humidity, etc.
  • the spray concentration etc. can be controlled.
  • the spray direction, spray amount, spray concentration, etc. should be determined based on the size of the space, air volume, wind direction, temperature, humidity, etc. can be controlled.
  • cartridge to which the present invention is applied can take various embodiments having the following configurations.
  • a cartridge for filling with a substance related to the reception of odor or taste emitted by the above-mentioned information processing device the cartridge being filled with a composition that causes only a specific receptor to respond selectively.
  • the emitting device (odor spray device 3) to which the present invention is applied can take various embodiments having the following configurations.
  • a release device having a mounting portion for mounting the above-described cartridge, and a release port for releasing a substance related to odor or taste reception based on release control by the release control device.
  • (9) a method for creating an odor or taste, which includes the step of emitting a substance related to the reception of an odor or taste using the above-mentioned emitting device.
  • the generation method to which the present invention is applied can take various embodiments having the following configurations.
  • this is an N-dimensional code generation method having an encoding step of converting receptor response information into an N-dimensional code by performing predetermined encoding on the receptor response information.
  • the generation method to which the present invention is applied can take various embodiments having the following configurations.
  • a decoding step of converting the N-dimensional code into receptor response information by performing a predetermined encoding on the receptor response information and performing a predetermined decoding on the converted N-dimensional code is a method for generating decoded receptor response information.
  • control method to which the present invention is applied can take various embodiments having the following configurations.
  • a method for controlling an information processing device comprising: a release information determining step for determining release information regarding the release information; and a release control step for releasing at least one flavor or seasoning from a plurality of types of flavors or seasonings based on the release information. It is.
  • the information processing apparatus to which the present invention is applied can take various embodiments having the following configurations. That is, (2) an information processing device that performs blockchain management of odor information or taste information, a reception device that receives a request to use the odor information or taste information from an owner of an NFT related to predetermined odor information or taste information managed on a blockchain; A confirmation device that authenticates NFT regarding the smell information or taste information to prove the uniqueness of the smell information or taste information or confirm the integrity of the transaction history;
  • An information processing device having
  • the information processing apparatus to which the present invention is applied can take various embodiments having the following configurations. That is, (3) an information processing apparatus that performs device operation control based on NFT, a reception device that receives a request to use the odor information or taste information from an owner of an NFT related to predetermined odor information or taste information managed on a blockchain; an authentication device that authenticates NFT regarding odor information or taste information; a determination device that determines whether odor information or taste information can be used through authentication; an operation control device that controls the operation of a predetermined odor reproduction device or taste reproduction device when the determination device determines that the odor information or taste information can be used;
  • An information processing device having
  • the information processing apparatus to which the present invention is applied can take various embodiments having the following configurations. That is, (4) an information processing device that reproduces smell or taste based on metaverse spatial information, a position information acquisition device that acquires position information of a first user's avatar in a predetermined metaverse space; an environmental information acquisition device that acquires environmental information around the first user's avatar in the metaverse space; a generation device that generates odor information or taste information corresponding to the odor or taste perceived by the first user's avatar in the metaverse space, based on position information or environmental information;
  • An information processing device having
  • the information processing apparatus to which the present invention is applied can take various embodiments having the following configurations. That is, (5) an information processing device that reproduces smell or taste based on image information, an acquisition device that acquires image information including a predetermined object; a recognition device that recognizes the type of object based on image information; an estimation device that estimates odor information or taste information of an object corresponding to a type;
  • a system for reproducing smells or tastes based on information in the metaverse space in a service in the metaverse space Through peer-to-peer communication, multiple computers corresponding to each of the multiple nodes that make up the blockchain, Transactions can be issued to the blockchain, and non-fungible tokens are registered in the blockchain in response to issuance requests from the original owner of odor information or taste information, and based on the ownership information of the non-fungible tokens.
  • the non-fungible token is associated with coded data of odor or taste information
  • the blockchain records changes in the ownership information of non-fungible tokens as the code data is transferred from the original owner to the first user, and based on the non-fungible tokens, smell information or taste information reply with the results of confirmation of the validity of the use of To perform odor or taste reproduction processing corresponding to odor information or taste information for a second user who uses the service in the metaverse space, unlike the first user, using code data; further comprising a first playback device of; As a usage request from the first user's device, a usage request that includes information identifying the first user and the second playback device as authentication information is sent to the blockchain, and the non-fungible token in the blockchain is A system in which a first playback device executes playback processing according to a confirmation result based on ownership information.
  • the first playback device controls playback processing according to spatial information regarding the avatar corresponding to the second user in the metaverse space, and the spatial information is configured as an environment of the avatar in the metaverse space. Contains virtual temperature, humidity or wind speed settings to be set.
  • the first user's device is a server device for distributing images and audio of the virtual space to the second user
  • the first user's device is a server device for distributing images and audio of the virtual space to the second user
  • a usage request is sent to the management device to cause the first playback device to perform playback processing in conjunction with the first playback device.
  • such a system further includes a server device for distributing images and audio in the metaverse space to the first user's device and the second user's device, and the first user's device in the metaverse space
  • the server device transmits a usage request to the management device and interlocks with the first playback device. Execute the playback process.
  • the code data is used to execute the process of reproducing the odor or taste corresponding to the odor information or taste information.
  • the server device further includes a second playback device, and in response to the second user's avatar in the metaverse space approaching the first user's avatar in the metaverse space within a predetermined distance, the server device makes a use request. is sent to the management device to cause the second playback device to execute playback processing in conjunction with the second playback device.
  • the first playback device controls the playback process according to the usage conditions corresponding to the second user in the metaverse space, and the information on the usage conditions is used to reproduce the scent or taste.
  • An upper limit value for processing is included, and the management device determines whether or not the validity of a usage request from the first user's device is verified if at least one of the number of times the validity is confirmed or the playback time exceeds the upper limit value. Do not send a confirmation result to the playback device to allow playback, even if it is confirmed.
  • the management device issues a transaction for changing the ownership information of the non-fungible token in response to the transfer of code data from the original owner to the user.
  • the management device confirms that the user is the owner of the non-fungible token based on ownership information of the non-fungible token held in the blockchain in response to a usage request. .
  • the management device may cause the first regeneration device to perform regeneration processing using substances related to the reception of multiple types of odors or tastes, depending on the validity being confirmed.
  • the code data for the playback device is transmitted to the first playback device.
  • a management device that manages smell reproduction or taste reproduction based on information in the metaverse space in services in the metaverse space, and includes an interface for communicating via a network, and a management device for communicating with the blockchain via the interface. and a computing device for controlling the operation of a playback device that issues a transaction and executes odor reproduction or taste reproduction, and the computing device responds to an issuance request from the original owner of odor information or taste information.
  • a non-fungible token is registered on the blockchain, and the non-fungible token is associated with code data of odor information or taste information, and the code data is transferred from the original owner to the first user. Accordingly, the change in ownership information of the non-fungible token is recorded on the blockchain, and as a usage request from the first user's device, information identifying the first user and the playback device is sent to the blockchain as authentication information. A usage request containing the information is sent, and the code data is delivered to the playback device according to the confirmation result based on the ownership information of the non-fungible token in the blockchain. This is different and is for executing a process of reproducing a smell or taste corresponding to smell information or taste information for a second user who uses a service in the metaverse space.
  • Server 2 Receptor information determination device 3: Odor spray device 11: CPU 18: Storage unit 19: Communication unit 31: Response information acquisition unit 32: Captured image acquisition unit 33: Model information acquisition unit 34: Spray information determination unit 35: Spray control unit 36: Display control unit 41: Response information DB 42: Model information DB 43: Correspondence DB CO: Odor collection device CA: Cartridge NO: Nozzle RE: Content playback device TV: Display device

Abstract

目標の匂いもしくは味の再現、または匂いもしくは味の管理を適切に行う。ブロックチェーンBCは、原著作者からの発行要求に応じて、匂い情報の使用の正当性を認証するための非代替性トークンNFTを記録する。ブロックチェーンBCは、匂いコードデータが移転することに応じて、非代替性トークンの所有情報の変更を記録する。再生デバイスREは、利用者の再生指示に応じて、ブロックチェーンBCへ、利用者の認証情報を含む使用要求を送信し、ブロックチェーンBC内のNFTの所有情報に基づく確認結果を受信することに応じて、匂いコードの再生処理を実行する。

Description

システム、管理装置、再生デバイスおよびカートリッジ
 本発明は、匂いや味の情報に基づいて、匂いや味の再生処理を管理するための情報処理を実行するシステム、管理装置、再生デバイスおよびカートリッジに関する。
 近年、匂いの数値による表現(定量化)方法に関する技術が提案されている。例えば、特許文献1には、所定の受容体を網羅的に配置した受容体アレイに対して、所定のリガンドを作用させ、各受容体の活性度を測定する技術が開示されている。また、特許文献1には、目標物質と標準物質について測定した各受容体の活性化度を基準に、2つ以上の標準物質(香料)を組み合わせて、目標物質の匂いを再現する方法が開示されている。
国際公開第2019/035476号
 しかし、目標の匂いもしくは味を適切に再現すること、または匂いもしくは味そのものを適切に管理することは行われていなかった。
 また、ゲームだけでなく、その他のエンターテインメント、さらには、ショッピングの世界などで、仮想空間や拡張現実に関する技術の発展が著しい。
 この背景から、VR(Virtual Reality)ゴーグルなど人間の五感にアクセスできるデバイスが様々登場している。しかし、嗅覚に関するVRデバイスは,まだまだ、開発途上という段階である。
 上記のとおり、出願人は、人間の嗅覚に基づいて匂いを再現する技術を開発している。そこで、仮想空間や拡張現実の世界において、匂いやあるいは味を再現することへの応用が想定される。
 しかしながら、このように、匂いもしくは味を遠隔で適切に再現することになれば、匂いもしくは味を再現するための情報(以下、「匂い等情報」と呼ぶ)そのものに、経済的な価値が生じることが想定される。
 この場合、匂い等情報の所有者を適切に保護したり、匂い等情報を経済的な取引の対象とするための方法やシステムについては、検討されていない。
 本発明は、このような状況に鑑みてなされたものであり、目標の匂いもしくは味の再現、または匂いもしくは味の管理を適切に行うことを目的とする。
 本発明は、また、匂い等情報を経済的に取引することを可能とするシステム、装置を提供することを目的とする。
 上記目的を達成するため、本発明の一局面に従うと、匂い情報または味情報の使用の正当性を認証するためのシステムであって、匂い情報または味情報の原所有者が、匂い情報または味情報のコードデータと関連付けられた非代替性トークンの発行要求を発信するための原所有者端末と、ピアツーピアの通信で、ブロックチェーンを構成する複数のノードのそれぞれに対応する複数のコンピュータとを備え、ブロックチェーンは、発行要求に応じて、ブロックチェーン内に非代替性トークンを記録し、非代替性トークンに基づいて、正当性の確認結果を返信し、ブロックチェーンは、コードデータが原所有者から利用者に移転することに応じて、非代替性トークンの所有情報の変更を記録し、コードデータを利用して、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための再生デバイスをさらに備え、再生デバイスは、利用者の再生指示に応じて、ブロックチェーンへ、利用者の認証情報を含む使用要求を送信し、ブロックチェーン内の非代替性トークンの所有情報に基づく確認結果を受信することに応じて、再生処理を実行する。
 好ましくは、ブロックチェーンに対してトランザクションを発行可能であって、発行要求に応じて、ブロックチェーンに非代替性トークンを登録し、非代替性トークンの所有情報に基づく正当性の確認をするための管理装置をさらに備え、管理装置は、コードデータが原所有者から利用者に移転することに応じて、非代替性トークンの所有情報の変更のトランザクションを発信する。
 好ましくは、管理装置は、再生デバイスからの使用要求に応じて、ブロックチェーン内に保持される非代替性トークンの所有情報により、利用者が非代替性トークンの所有者であることを確認する。
 好ましくは、ブロックチェーンは、コードデータの使用条件の設定を行うためのスマートコントラクトプログラムを実行し、管理装置は、再生デバイスからの要求に応じて、非代替性トークンに関連付けられる使用条件の更新をスマートコントラクトプログラムに発行する。
 好ましくは、管理装置は、正当性が確認されることに応じて、再生デバイスが、複数種類の匂いまたは味の受容に関する物質を使用して、再生処理を実行するためのコードデータを、再生デバイスに送信する。 
 好ましくは、管理装置は、匂いまたは味の使用条件が満たされることに応じて、コードデータを、再生デバイスに送信する。
 好ましくは、使用条件の情報は、記匂いまたは味の再生処理の上限値が含まれ、管理装置は、再生デバイスからの使用要求について、正当性の確認される回数または再生時間の少なくとも一方が、上限値を超えた場合、正当性が確認されたときでも、再生を許可する確認結果を再生デバイスに送信しない。
 好ましくは、再生デバイスは、着脱可能に装着されるカートリッジを含み、カートリッジは、再生デバイスに装着可能で、複数種類の匂いまたは味の受容に関する物質を収納するケースと、カートリッジの所有者を認証するための認証情報を格納するための不揮発性メモリとを含み、再生デバイスは、使用要求の送信において、認証情報を送信し、ブロックチェーンは、認証情報に基づき、ブロックチェーン内に保持される非代替性トークンの所有者を確認することで、正当性を確認する。
 好ましくは、不揮発性メモリは、カートリッジの使用開始時期の情報を格納しており、再生デバイスは、使用要求の送信において、使用開始時時期の情報を、管理装置に送信し、管理装置は、再生デバイスからの使用要求について、正当性の確認された場合であっても、使用開始時期に応じて、再生を許可する確認結果を再生デバイスに送信しない。
 好ましくは、不揮発性メモリは、カートリッジの使用開始時期の情報を格納しており、再生デバイスは、使用要求の送信において、使用開始時時期の情報を、管理装置に送信し、管理装置は、再生デバイスからの使用要求について、正当性の確認された場合、使用開始時期に応じて、コードデータを所定の条件にしたがって変更する。
 この発明の他の局面に従うと、匂い情報または味情報の使用の正当性をブロックチェーンを用いて管理するための管理装置であって、ブロックチェーンに保持される非代替性トークンと関連するコードデータの所有者から、匂い情報または味情報の再生を行うための使用要求を受け付ける通信インタフェースを備え、非代替性トークンは、匂い情報または味情報の原所有者からの要求に応じて、匂い情報または味情報の再生のためのコードデータと関連するものであり、通信インタフェースを介して、ブロックチェーンと通信することにより、非代替性トークンの認証を行うことにより、コードデータの正当性が確認されることに応じて、使用要求に対する許可を通知する。
 好ましくは、管理装置は、再生デバイスからの使用要求に応じて、ブロックチェーン内に保持される非代替性トークンの所有情報により、利用者が非代替性トークンの所有者であることを確認する。
 好ましくは、ブロックチェーンは、コードデータの使用条件の設定を行うためのスマートコントラクトプログラムを実行し、管理装置は、再生デバイスからの使用要求に応じて、非代替性トークンに関連付けられる使用条件の更新をスマートコントラクトプログラムに発行する。
 好ましくは、管理装置は、正当性が確認されることに応じて、再生デバイスが、複数種類の匂いまたは味の受容に関する物質を使用して、再生処理を実行するためのコードデータを、再生デバイスに送信する。
 好ましくは、管理装置から送信されるコードデータには、匂いまたは味の使用条件の情報が含まれる。
 好ましくは、使用条件の情報は、匂いまたは味の再生処理の上限値が含まれ、管理装置は、再生デバイスからの使用要求について、正当性の確認される回数または再生時間の少なくとも一方が、上限値を超えた場合、正当性が確認されたときでも、再生を許可する確認結果を再生デバイスに送信しない。
 好ましくは、使用要求は、利用者により、コードデータを利用して、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための再生デバイスから送信されるものであり、再生デバイスは、着脱可能に装着されるカートリッジを含み、カートリッジは、再生装置に装着可能で、複数種類の匂いまたは味の受容に関する物質を収納するケースと、カートリッジの所有者を認証するための認証情報を格納するための不揮発性メモリとを含み、再生デバイスは、使用要求の送信において、認証情報を管理装置に送信し、管理装置は、認証情報に基づき、ブロックチェーン内に保持される非代替性トークンの所有者を確認することで、正当性を確認する。
 好ましくは、不揮発性メモリは、カートリッジの使用開始時期の情報を格納しており、再生デバイスは、使用要求の送信において、使用開始時時期の情報を、管理装置に送信し、管理装置は、再生デバイスからの使用要求について、正当性の確認された場合であっても、使用開始時期に応じて、再生を許可する確認結果を再生デバイスに送信しない。
 好ましくは、不揮発性メモリは、カートリッジの使用開始時期の情報を格納しており、再生デバイスは、使用要求の送信において、使用開始時時期の情報を、管理装置に送信し、管理装置は、再生デバイスからの使用要求について、正当性の確認された場合、使用開始時期に応じて、コードデータを所定の条件にしたがって変更する。
 この発明のさらに他の局面に従うと、再生デバイスであって、匂いまたは味の受容に関する物質を充填させるためのカートリッジを着脱可能に装着させるための装着部と、複数種類の匂いまたは味の受容に関する物質の放出に関するコードデータに基づいて、複数種類の匂いまたは味の受容に関する物質のうち少なくとも1つの物質を、カートリッジから放出させるための放出制御部と、放出制御部による放出制御に基づいて、匂いまたは味の受容に関する物質を放出させる放出口とを有し、放出制御部は、装着されたカートリッジに格納された認証情報を読み取り、利用者からの再生指示に応じて、認証情報を含む使用要求を、管理装置へ送信し、管理装置がブロックチェーンに格納される利用者のコードデータの所有を示す非代替性トークンにより、匂い情報または味情報の使用の正当性が認証されたことを示す確認結果を送信し、確認結果を受信することに応じて、放出のための処理を実行する。
 この発明のさらに他の局面に従うと、カートリッジであって、匂いまたは味の受容に関する物質を充填させるためのカートリッジを着脱可能に装着させるための装着部と、複数種類の匂いまたは味の受容に関する物質の放出に関するコードデータに基づいて、複数種類の匂いまたは味の受容に関する物質のうち少なくとも1つの物質を、カートリッジから放出させるための放出制御部と、放出制御部による放出制御に基づいて、匂いまたは味の受容に関する物質を放出させる放出口とを有し、放出制御部は、装着されたカートリッジに格納された認証情報を読み取り、利用者からの再生指示に応じて、認証情報を含む使用要求を、管理装置へ送信し、管理装置がブロックチェーンに格納される利用者のコードデータの所有を示す非代替性トークンにより、匂い情報または味情報の使用の正当性が認証されたことを示す確認結果を送信し、確認結果を受信することに応じて、放出のための処理を実行する、 再生デバイスに装着されるカートリッジであって、装着部に装着可能で、複数種類の匂いまたは味の受容に関する物質を収納するケースと、認証情報を格納するための不揮発性メモリと、放出制御部との間で情報を示すデータの授受を行うためのインタフェースとを有する。
 本発明によれば、目標の匂いもしくは味の再現、または匂いもしくは味の管理を適切に行うことができる。
本実施形態に係る匂い再現方法の概要を示す図である。 本実施形態に係る匂い再現方法の概要を示す図である。 本実施形態に係る匂い再現方法の概要を示す図である。 噴霧制御システムの構成の概略を示す図である。 サーバのハードウェア構成を示すブロック図である。 サーバの機能的構成の一例を示す機能ブロック図である。 噴霧制御処理の動作を示すフローチャートである。 別の実施形態に係る匂い再現方法の概要を示す図である。 変換装置の構成を示すブロック図である。 変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。 変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。 変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。 変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。 予測モデル作製装置の構成を示すブロック図である。 変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。 変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。 第3実施形態の概要を示すシステム構成図である。 第3実施形態の概要を示すシステム構成図である。 管理サーバ3000の機能的な構成を説明するための機能ブロック図である。 第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第1の例を示す図である。 第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第2の例を示す図である。 スマートコントラクトにより、NFTの管理を実施するためのシステムの構成を示す図である。 スマートコントラクトにより、NFTの管理を実施するためのシステムの構成を示す図である。 スマートコントラクトにより、NFTの管理を実施する処理のフローを示す図である。 スマートコントラクトにより、NFTの管理を実施する処理のフローを示す図である。 第3実施形態に係るNFTを売却した場合のトランザクションを示す図である。 第3実施形態に係る能動的に匂いを再現する場合のフロー図を示す図である。 第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第1の例を示す図である。 第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第2の例を示す図である。 第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第3の例を示す図である。 第3実施形態に係る匂い再生装置REを使用した場合のトランザクションの第4の例を示す図である。 第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第3の例を示す図である。 第3実施形態に係る受動的に匂いを再現する場合のフロー図を示す図である。 第4実施形態の概要を示す概念図である。 第5実施形態の概要を示す図である。 第5実施形態の概要を示す図である。 第5実施形態の変形例の構成を説明するための概念図である。 第5実施形態の変形例において、メタバース環境に関するシステムの構成を示す図である。 第5実施形態の変形例において、メタバース環境に関するシステムの構成を示す図である。 第6実施形態の概要を示す概念図である。 IPFSを用いたNFT管理の一例を示す図である。 IPFSを用いたNFT管理の一例を示す図である。
(第1実施形態)
<概要>
 一般に、受容体が嗅覚受容体である場合、鼻腔内にある嗅神経細胞の表面に発現する嗅覚受容体と呼ばれるタンパク質に、匂い分子が結合することに起因して、嗅神経細胞内にて情報伝達が惹起され、匂い情報が脳内へ伝達される。嗅覚受容体はゲノム解析からヒトで約400種類存在すると考えられており、特定の匂い分子に対しある嗅覚受容体群が異なる程度で活性化し、これらの刺激が脳に伝達されて組み合わせることによって、脳内にて種々の匂いを識別すると理解される。
 本実施形態では、上述のような嗅覚受容体(OR:Olfactory Receptor)を網羅的に配置した受容体アレイに対して、所定のリガンドを作用させ、各受容体の活性度を測定した結果に基づいて、匂いを再現する例について説明する。本実施形態では、所定の受容体として、嗅覚受容体のうち、ヒトの知覚に影響が多い複数の受容体(例えば、30種類の受容体)を用いる例について説明する。なお、嗅覚受容体に限られず、味覚受容体についても同様に実施することができる。以下、本実施形態について、図面を用いて説明する。
 図1は、本実施形態に係る情報処理装置が適用される匂い再現方法の概要を示す図である。図1では、飲食店における飲食物(例えば、ラーメン)を紹介するコンテンツを視聴者に対して配信するとともに、当該飲食物の匂いを所定の装置を用いて視聴者側に再現する例が示されている。なお、コンテンツとしては、例えば、地上波放送、衛星放送、インターネット等を通じて配信されるコンテンツ等が挙げられる。
 図1の例では、所定のカメラで飲食店において飲食物を来店者摂取する映像を撮像するとともに、匂い捕集装置COで当該飲食物の匂い(例えば、気体)を捕集する。
 捕集された匂いは、受容体情報決定装置2において解析され、所定の受容体の応答情報に変換される。
 変換された応答情報は、サーバ1に対して送信される。そして、当該サーバ1から各コンテンツ再生装置REに対して、コンテンツとともに、応答情報(匂い等情報であり、一例としては、匂いコード)が送信される。
 コンテンツ再生装置REは、コンテンツの視聴要求に基づいて、所定の表示装置TVに対して上述のコンテンツを送信する。また、コンテンツ再生装置REは、匂い噴霧装置3に対して、上述のコンテンツに対応する応答情報に基づく噴霧情報を送信する。
 匂い噴霧装置3には、複数種類の匂いカートリッジCAが設けられており、当該複数種類の匂いカートリッジCAから抽出した香料(例えば、気体、液体または粉末等)を、可変噴霧ノズル(ノズルNO)を介して噴霧(噴出、噴射)する。応答情報および噴霧情報について図2Aおよび図2Bを用いて説明する。
 なお、本実施形態では、放出装置(匂い噴霧装置3)から香料が放出される例について説明するが、香料に限定されず、放出される対象は、匂いまたは味の受容に関する物質であればよい。ここで、匂いまたは味の受容に関する物質には、アゴニスト(agonist)、アンタゴニスト(antagonist)、モジュレータ(Modulator)等が含まれるものとする。
 アゴニストは、嗅覚受容体または味覚受容体と結合した際に作用を増強したり発現したりする物質である。
 アンタゴニストは、アゴニストの結合を妨げて嗅覚受容体または味覚受容体の作用を抑制または阻害する物質である。
 モジュレータは、それ自体が刺激応答しないが、アゴニストまたはアンタゴニストの刺激応答を増幅又は減少させる物質である。換言すると、モジュレータは、リガンド結合部位とは異なる部位に結合して、嗅覚受容体または味覚受容体の作用を上げたり、下げたりする物質である。
 図2Aおよび図2Bは、捕集した匂いから、特徴量を抽出して、応答情報を生成して、最終的に噴霧情報を生成するまでの流れの一例を説明する図である。
 符号ST1では、受容体情報決定装置2は、所定の受容体を網羅的に配置した受容体アレイに対して、所定のリガンド(匂い分子)を作用させ、各受容体の活性度(一次受容体応答情報)を測定する。各受容体の活性度の測定方法は特に限定されず、例えば、特許文献1に記載または後述のように、実際の試験によってデータを取得してもよく、マニュアル入力されたデータや、機械学習モデルから得られた仮想データを収集することにより行われてもよい。
 符号ST2では、受容体情報決定装置2は、測定された各受容体の活性度に基づいて、目標の匂いの特徴量を抽出する。特徴量の抽出方法は特に限定されないが、例えば、特許文献1に記載の手法等を用いることができる。
 特徴量は、嗅覚受容体の被験物質に対する応答特性(応答情報;受容体応答情報)であって、例えば、各受容体における応答強度、応答強度の面積、応答持続性、応答速度、ピーク時間、応答の立ち上り(タイミング)、ピーク数等が挙げられる。
 符号ST3では、上述の特徴量に基づいて、各受容体の応答情報(二次受容体応答情報)を生成する。図2Aおよび図2Bの例では、受容体OR1~OR4の4種類を例示しているが、受容体の種類(数)は特に限定されない。また、図2Aおよび図2Bの例では、各受容体の特徴量を2進数で例示しているが、特徴量の数値化方法は特に限定されず、例えば、10進数等の他の進数で示してもよく、文字列で示してもよい。
 応答情報は、換言すると、複数種類の受容体における匂い分子に対する特徴量であって、例えば、応答強度、応答強度の面積、応答持続性、応答速度、ピーク時間、応答の立ち上り、ピーク数のうち少なくとも1つの特徴量を示す情報である。なお、応答情報は、上記のものに限定されず、複数種類の受容体における匂い分子に対する様々なパラメータであってもよい。
 符号ST4,ST5では、上述の応答情報は、エンコードされて、N次元コード(Nは1以上の整数)に変換され、送信される。
 N次元コードは、本実施形態では、二次元コードである例について説明する。本実施形態に係る二次元コードは、対象データに対応するビット列を、シンボルの構成単位である白又は黒のセルをマトリックス状に配置したパターンとして表したデータ部と、データ部から分離して配置される一以上のファインダパターンとを備える。そして、上述のデータ部には、細胞外の物質(例えば、匂い分子)に対して応答性のある嗅覚受容体または味覚受容体を用いて得られる受容体応答情報に基づく情報(例えば、上述の応答特性、応答情報)が含まれるものとする。
 すなわち、符号ST4は、情報処理装置(サーバ1)の制御方法であって、上述の(受容体)応答情報に対して所定のエンコードを行うことにより、(受容体)応答情報をN次元コード(例えば、二次元コード)に変換するエンコードステップと捉えることもできる。
 符号ST6では、視聴者側において、上述のN次元コードがデコードされて、元の応答情報に変換される。
 すなわち、符号ST6は、情報処理装置(サーバ1)の制御方法であって、上述のN次元コード(例えば、二次元コード)に対して所定のデコードを行うことにより、N次元コードを(受容体)応答情報に変換するデコードステップと捉えることもできる。
 符号ST7では、例えば、上述のサーバ1によって、応答情報から、再現した匂いを噴霧させるための噴霧情報に変換される。図2Aおよび図2Bでは、受容体OR1~OR4に対応するカートリッジCA1~CA4の噴霧情報が示されている。すなわち、受容体OR1を刺激するための香料がカートリッジCA1に充填されている。
 なお、図2Aおよび図2Bでは、受容体とカートリッジとが1対1に対応する例について説明しているが、これに限定されず、受容体の種類(数)より多い種類のカートリッジを用いてもよく、少ない種類のカートリッジを用いてもよい。すなわち、1つのカートリッジCAが、複数の受容体の応答を与え(アゴナイズ)又は調整(アンタゴナイズ又はモジュレート)できてもよい。このように、複数の受容体を刺激するカートリッジCAを用いることにより、匂い噴霧装置3のサイズを小さくすることや、コストを抑えることができる。
 例えば、受容体OR1,OR3を刺激する場合に、下記のカートリッジCAを用いて匂いの噴霧を行ってもよい。
  ・受容体OR1,OR3を刺激する物質が充填されたカートリッジCA
 また、例えば、受容体OR1~OR5を刺激する場合に、下記3種類のカートリッジCAを用いて匂いの噴霧を行ってもよい。
  ・受容体OR1,OR3,OR5,OR6を刺激する物質(アゴニスト)が充填されたカートリッジCA
  ・受容体OR2,OR4,OR6を刺激する物質(アゴニスト)が充填されたカートリッジCA
  ・受容体OR6に対する他の物質の結合を妨げる物質(アンタゴニスト)が充填されたカートリッジCA
 噴霧情報は、複数種類の香料の1つまたは2つ以上の香料を組み合わせて噴霧することにより、目標の匂いを再現させるための情報であって、例えば、香料の噴霧時間、噴霧量、噴霧温度、噴霧回数、噴霧口絞り量、噴霧方向等が挙げられる。
 符号ST8では、上述の噴霧情報に基づいて、匂い噴霧装置3が香料を噴霧することにより、目標の匂いを再現した匂い(香り)を、コンテンツの視聴者に対して提供する。
 匂い噴霧装置3としては、表示装置(テレビ)、スマートフォン、投影装置(プロジェクタ)、HMD(ヘッドマウントディスプレイ)等、様々な装置が想定される。
 なお、コンテンツに関連しなくてもよい。例えば、所定のユーザが指定した匂いが噴霧されてもよい。この場合、あらかじめ匂い項目と、当該匂い項目に該当する応答情報または噴霧情報が所定の記憶部に保持されているものとする。
 なお、上述の例では、目標の匂いを電子データに置き換えたN次元コードをデジタル匂い情報として用いているが、例えば、上述の抽出された特徴量(符号ST2)、または二次受容体応答情報(符号ST3)をデジタル匂い情報として用いてもよい(流通させてもよい)。すなわち、上述の特徴量、二次受容体応答情報、またはN次元コードは、それぞれ、サーバ1(情報処理装置)に用いられる受容体応答情報のデータ構造を示すものと捉えることもできる。
 なお、本実施形態のように、目標の匂いを再現する場合は、匂いの受容に関する物質(例えば、香料)を噴霧(放出)するが、変形例として後述する目標の味を再現する場合は、味の受容に関する物質(例えば、調味料)を放出するものとする。すなわち、本実施形態で用いる「噴霧」は、「放出」の下位概念である。
<システム構成>
 図3は、本実施形態に係る噴霧制御システム(匂い再現システム)のシステム構成の概要を示す図である。
 本実施形態に係る噴霧制御システムは、サーバ1と、捕集装置COと、受容体情報決定装置2と、コンテンツ再生装置REと、表示装置TVと、匂い噴霧装置3とが、インターネット等の所定のネットワークNを介して相互に接続されることで構成される。
 サーバ1は、受容体情報決定装置2とコンテンツ再生装置RE、表示装置TV、匂い噴霧装置3の各動作と協働して各種処理を実行する。
 匂い捕集装置COは、コンテンツの対応する匂いを捕集する。図1に示すように、コンテンツに関する映像を撮影するときにリアルタイムで匂いを捕集してもよく、コンテンツに関する映像の撮影とは別のタイミングで匂いを捕集してもよい。
 受容体情報決定装置2は、上述の匂い捕集装置COによって捕集された匂いを解析する。受容体情報決定装置2は、匂い(例えば、気体や液体)に含まれる成分を分析してもよいが、本実施形態では、上述の匂い(匂い分子)に対して応答性のある嗅覚受容体を用いて得られる受容体応答情報(受容体を網羅的に配置した受容体アレイに対して、所定のリガンドを作用させ、各受容体の活性度を測定した結果)を解析する。これにより、匂いを再現する際に、目標の匂いとは異なる成分を用いて、当該目標の匂いを再現することができる。
 なお、受容体情報決定装置2は、特許文献1に記載のように受容体を用いて応答特性を解析してもよく、匂い分子に含まれる成分から応答特性を解析してもよい。
 コンテンツ再生装置REは、映像コンテンツ等を表示装置TVに表示(再生)させる。また、コンテンツ再生装置REは、当該映像コンテンツにおける、所定のタイミングで匂い噴霧装置3から香料が噴霧されるよう、噴霧情報を匂い噴霧装置3に送信する。
 なお、本実施形態では、例えば、デジタルサイネージのような表示装置TVも想定しているため、コンテンツ再生装置REが設けられているが、サーバ1から直接、表示装置TVにコンテンツが送信されてもよく、また、サーバ1から直接、匂い噴霧装置3に噴霧情報が送信されてもよい。
 表示装置TVは、コンテンツを表示する。本実施形態では、表示装置TVには、後述する匂い噴霧装置3が設けられている例について説明するが、表示装置TVと匂い噴霧装置3とは、独立した別の装置であってもよい。また、表示装置TVは、ディスプレイ装置である例について説明するが、これに限定されず、例えば、プロジェクタ等の投影装置であってもよい。
 匂い噴霧装置3は、噴霧情報に基づいて香料を噴霧することにより、目標の匂いを再現する。本実施形態では、匂い噴霧装置3には、カートリッジCA(匂いカートリッジ)を装着させるための装着部(不図示)、およびノズルNO(可変噴霧ノズル)が設けられている例について説明するが、これに限定されない。
 カートリッジCAは、所定の情報処理装置(サーバ1、コンテンツ再生装置RE等)が噴霧させる香料を充填させるためのカートリッジであって、特定の受容体のみを選択的に応答させる組成物が充填されたカートリッジである。なお、当該組成物は、特定の受容体のみを選択的に応答させるものに限定されず、複数の受容体を応答させる組成物であってもよい。なお、匂い噴霧装置3には、組成が異なる複数種類のカートリッジCAが装着される。
 ノズルNOは、所定の情報処理装置(サーバ1、コンテンツ再生装置RE等)による噴霧制御(噴霧情報)に基づいて、所定の香料を噴霧させる噴霧口である。
<ハードウェア構成>
 図4は、本実施形態に係るサーバ1のハードウェア構成を示すブロック図である。サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インタフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20と、を備えている。
 CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インタフェース15も接続されている。
 入出力インタフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。出力部16は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。入力部17は、キーボードやマウス等で構成され、各種情報を入力する。記憶部18は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。通信部19は、インターネットを含むネットワークNを介して他の装置との間で通信を行う。
 ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
 なお、図示はしないが、捕集装置CO、受容体情報決定装置2、コンテンツ再生装置RE、表示装置TV、匂い噴霧装置3は、図4に示すハードウェア構成を有する。
<機能構成>
 図5は、本実施形態に係るサーバ1における機能的構成の一例を示す機能ブロック図である。
 サーバ1のCPU11においては、動作する際に、応答情報取得部31、撮像画像取得部32、機種情報取得部33、噴霧情報決定部34、噴霧制御部35、表示制御部36等が機能する。
 応答情報取得部31は、細胞外の物質に対して応答性のある嗅覚受容体(または味覚受容体)を含む複数種類の受容体を用いて得られる受容体応答情報を取得する。具体的には、応答情報取得部31は、受容体情報決定装置2を用いて解析された上述の応答情報を取得する。
 なお、取得された応答情報(受容体応答情報)は、応答情報DB41に格納される。ここで、応答情報は、上述のコンテンツ(またはコンテンツの時間情報)と紐づけられて保存されるものとする。このようにすることで、例えば、コンテンツにおいて適切なタイミングで、目標の匂いを再現することができる。
 撮像画像取得部32は、音声情報および映像情報のうち少なくとも一方を含むコンテンツを取得する。コンテンツは、例えば、リアルタイムの場合は図1に示すビデオカメラによって撮像された画像情報である。また、コンテンツは、例えば、リアルタイムではない場合、地上波方法、衛星放送、または種々の配信サーバから配信されるコンテンツである。なお、目標の匂いを再現することのみが行われる場合は、撮像画像取得部32による各種コンテンツの取得は行われなくてもよい。
 機種情報取得部33は、表示装置TV、匂い噴霧装置3等の機種情報を取得する。これにより、例えば、後述する噴霧情報を決定する処理において、匂い噴霧装置3に適した噴霧情報を決定することができる。具体的には、匂い噴霧装置3のカートリッジCAの種類に応じた噴霧情報を決定することができる。なお、取得された機種情報は、機種情報DB42に格納される。
 なお、機種情報取得部33は、香料(カートリッジ)の情報を取得してもよい。これにより、例えば、後述する噴霧情報を決定する処理において、受容体情報と、噴霧情報との対応付けにおいて、カートリッジ(の種類)に応じたテーブル(または学習モデル)を参照可能となる。
 噴霧情報決定部34は、応答情報に応じて、複数種類の香料における匂い噴霧に関する噴霧情報を決定する。
 例えば、噴霧情報決定部34は、上述の応答情報および所定の対応付けテーブル(不図示)に基づいて、噴霧情報を決定する。なお、対応付けテーブルには、あらかじめ、応答情報と、噴霧情報とが対応付けられて、対応付けDB43に記憶されているものとする。
 ここで、例えば、対応付けテーブルには、応答情報と噴霧情報とが下記の相関関係となるように対応付けられているものとする。
  ・「応答強度」が高い程、「香料噴霧量」が多い
  ・「応答強度の面積(積分値)」が高い程、「香料噴霧量」が多い
  ・「応答持続性」が高い程、「香料噴霧時間」が長い
  ・「応答速度」が速い程、「香料噴霧温度」が高い
  ・「ピーク時間」が速い程、「香料噴霧温度」が高い
  ・「応答の立ち上り」が多い程、「香料噴霧温度」が高い
  ・「ピーク数」が多い程、「香料噴霧回数」が多い
  ・「応答強度」が高い程、「噴霧口絞り量」が少ない
なお、応答情報と噴霧情報との下記の相関関係は一例であって、下記に限定されるものではなく、これらの情報を組み合わせてもよい。例えば、「応答速度」と「応答の立ち上がり」が多い程、「香料噴霧温度」が高い等、の組合せが考えられる。
 また、例えば、噴霧情報決定部34は、学習モデルを用いて、応答情報に基づく、噴霧情報を決定する。なお、学習モデルは、受容体応答情報と、当該受容体応答情報に対応する噴霧情報とを教師データとした機械学習により予め生成され、対応付けDB43に記憶されているものとする。
 なお、噴霧情報決定部34は、上述の機種情報を考慮して噴霧情報を決定してもよい。すなわち、噴霧情報決定部34は、機種情報に含まれるカートリッジCAの数(種類)に応じた上述の対応付けテーブルまたは学習モデルを用いて噴霧情報を決定してもよい。
 また、噴霧情報決定部34は、上述の応答情報に加えて、空間パラメータに応じて、匂い噴霧に関する噴霧情報を決定してもよい。
 空間パラメータは、匂いを噴霧する空間の状態または匂いを噴霧する対象(対象者または対象物)との位置関係に関するパラメータであって、具体的には、匂いを噴霧する部屋や空間の広さ、匂い噴霧装置3と鼻との距離、風量、風向、温度、湿度等の様々なパラメータである。空間パラメータは、匂い噴霧装置3やその他の外部装置に設けられるセンサによってセンシングされた空間パラメータを、所定の取得部(不図示)が取得するとよい。
 例えば、噴霧情報決定部34は、映画館のような人の鼻(顔)の位置がある程度特定できる場合(直接噴霧する場合)は、鼻との距離や温度、湿度等に基づいて、噴霧方向、噴霧量、噴霧濃度等を制御するとよい。
 また、例えば、噴霧情報決定部34は、スポーツスタジアムのような広い空間の場合(間接的に噴霧する場合)は、空間の広さ、風量、風向、温度、湿度等に基づいて、噴霧方向、噴霧量、噴霧濃度等を制御するとよい。
 なお、環境パラメータと、噴霧情報との対応付けは、上述のような対応テーブルを用いて行われてもよく、学習モデルを用いて行われてもよい。
 噴霧制御部35は、噴霧情報に基づいて、複数種類の香料(複数種類のカートリッジCA)のうち少なくとも1つの香料を噴霧させる。換言すると、噴霧制御部35は、噴霧情報を、匂い噴霧装置3(表示装置TV)に送信する。
 表示制御部36は、上述のコンテンツを表示装置TVに送信する。なお、表示制御部36は、コンテンツと、噴霧情報の識別情報とを対応付けるものとする。これにより、例えば、コンテンツの表示中における複数のタイミングで、複数種類の目標の匂いを複数回、噴霧させることができる。
<処理内容>
 図6は、本実施形態に係る噴霧制御処理の一例を示す図である。本実施形態では、サーバ1によって噴霧制御処理が行われる例について説明するが、これに限定されず、例えば、匂い噴霧装置3において、噴霧制御処理が行われてもよい。
 ステップS11において、応答情報取得部31は、目標の匂いに対応する受容体の応答情報を取得する。
 ステップS12において、撮像画像取得部32は、映像情報をコンテンツとして取得する。
 ステップS13において、機種情報取得部33は、匂い噴霧装置3等の機種情報を取得する。
 ステップS14において、噴霧情報決定部34は、応答情報に応じて、複数種類の香料における匂い噴霧に関する噴霧情報を決定する。
 ステップS15において、噴霧制御部35は、噴霧情報を、匂い噴霧装置3(表示装置TV)に送信する。
 ステップS16において、表示制御部36は、コンテンツを表示装置TVに送信する。
<本実施形態の有利な効果>
 上述の実施形態によれば、コンテンツ再生時(視聴時)に、コンテンツの経時的な位置(時間軸)と対応付けて香料を噴霧することができる。これにより、視覚や聴覚だけでなく、嗅覚を用いてコンテンツを視聴することができるため、コンテンツへの没入感や、撮影現場との一体感を向上させることができる。また、例えば、VRゴーグル(HMD)が上述の匂い噴霧装置として機能することで、没入感をより高めることができる。
 また、上述の実施形態よれば、映像と同期させて目的の匂いを放出する事で、例えば、広告宣伝効果が望める。例えば、屋外でも、匂い噴霧機能を搭載したディスプレイ型を用意して、所定のメニューを選択してもらう(顧客にボタンを選択してもらう)ことで、料理の映像と共にその料理に合った匂いを瞬時に再構成して噴霧する事ができる。この再構成のパターンを変更することで様々な料理の匂いに対応する事ができる。
 また、上述の実施形態よれば、遠隔地にいる友人と匂いを介したコミュニケーションができる。例えば、ある体験を説明する際に言葉やジャスチャー、映像や写真だけでなく、匂いを要素として取り入れることで、体験の共有に厚みが生まれる。これにより、円滑かつより深いコミュニケーションが可能となる。
 また、上述の実施形態は、プレゼンテーションにも使用することができる。例えば、商品開発をした際に、オンラインミーティングにて説明する場合もあると考えられる。特に、食品や化粧品では香りは重要なファクターとなり得る。しかしながら、遠隔地にいる人間は直接匂いを嗅ぐことは困難である。そこで、上述の実施形態を適用することにより、遠隔地にいる、画面の向こう側の人間に対して、画面共有するような形で匂いを共有する事ができる事が可能になり、商談成功確率が上がると期待できる。
 以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
(変形例)
 なお、上述の実施形態では、噴霧時間等に応じて、ノズルNOが香料を噴霧する例について説明したが、ノズルNOは、所定の人感センサによって取得された情報に基づいて、人が存在する方向に対して香料を噴霧してもよい。また、屋外にいる場合に、風向センサを用いて、当該風向に応じて、噴霧方向を決定してもよい。これにより、コンテンツを視聴するユーザに対して、より精度良く目標の匂いを再現させることができる。
してもよい。
 また、上述の実施形態では、コンテンツに紐づく目標の匂いを再現する例について説明したが、これに限定されない。例えば、所定の匂い(例えば、「醤油ラーメンの匂い」)を独立させ、所定のストレージ(ライブラリ)から取得して、再現させてもよい。これにより、希少な天然香料などを置き換えた(カートリッジCAの)香料によって再現したり、有毒な匂いを無毒な香料で再現することができる。また、これにより、あらかじめ設定された(あらかじめ用意される応答情報を用いて)「気持ちの落ち着く香料」、「集中力を高める香料」、「安眠を促す香料」等を用いて、ユーザにリラックス効果をもたらすこともできる。
 また、上述の実施形態では、匂いに基づくアラート機能については示していないが、匂いに基づいて、感染症チェッカー、ガンチェッカー、パーキンソン病チェッカー、健康管理トイレとして、サーバ1を機能させてもよい。例えば、匂いを採取して、遠隔地にいる医療従事者等に当該匂いを再現させて、診断に用いることが想定される。
 また、上述の実施形態では、ヒトにおける嗅覚受容体や味覚受容体によって、応答情報を生成する例について説明したが、ヒト以外の受容体によって応答情報を生成してもよい。これにより、例えば、忌避剤(例えば、虫よけ剤)や、誘引剤に応用することができる。また、これにより、害獣対策に適用することができる。
 また、上述の実施形態では、コンテンツに対応するタイミングで、目標の匂いを再現する例について説明したが、様々なタイミングで匂いを噴霧してもよい。
 例えば、ユーザの操作に応じて、匂い噴霧装置3からサーバ1にリクエストが送信され、当該リクエストを受け付けると、上述の噴霧制御部35が噴霧情報を送信し、当該噴霧情報を受け付けると、匂い噴霧装置3は目標の匂いを再現してもよい。
 また、例えば、あらかじめ匂い噴霧装置3は噴霧情報を受け付けておき、ユーザの操作に応じて、匂い噴霧装置3の制御により、目標の匂いを再現してもよい。
 また、上述の実施形態では、噴霧制御部35は、噴霧情報を送信する例について説明したが、目標の匂いの噴霧に関する上限回数に基づいて噴霧回数を管理してもよい。
 例えば、噴霧制御部35は、所定の記憶部に記憶される上限回数、および噴霧済回数に基づいて、噴霧情報を送信するか否かを判断してもよい。
 なお、上述の上限回数および噴霧済回数の管理は、匂い噴霧装置3で管理されてもよい。この場合、噴霧制御部35は、上述の噴霧情報とともに、上述の上限回数を送信する。そして、匂い噴霧装置3は、所定の記憶部に記憶される上限回数、および噴霧済回数に基づいて、噴霧情報を送信するか否かを判断してもよい。
 また、上述の実施形態では、目標の匂いを再現するために香料を噴霧(放出)させる匂い噴霧制御について説明したが、目標の味を再現するために調味料を放出させる味放出制御にも適用することができる。
 すなわち、上述の匂い分子に対する応答情報の代わりに味に対する応答情報として、応答強度、応答強度の面積、応答持続性、応答速度、ピーク時間、応答の立ち上り、ピーク数等の情報が入力される。
 また、上述の匂い噴霧情報の代わりに味放出情報として、味の受容に関する物質(例えば、調味料)における放出時間、放出量、放出温度、放出回数、放出口絞り量等の情報が出力される。
 また、上述の実施形態では、映像コンテンツ等を再生する際に、匂い(または味)を再現する例について説明したが、所謂メタバース等の仮想空間において適用することもできる。
 例えば、アバターを利用した仮想空間での旅行(国内旅行、海外旅行、宇宙旅行等)において、当該アバターの言動に合わせて、香水等の匂いを放出することが考えられる。また、例えば、所定の香水の匂いコードをブロックチェーン化技術によりNFT(Non-Fungible Token)化し、著作権として有効にしたり、仮想通貨として流通させることも考えられる。
 これにより。匂いや味を伴う商品(例えば、香水など)の流通において、実際の商品の輸送を省き、即時で消費者に届けることができる。
 また、上述の実施形態では、対応テーブルや学習モデルを用いて、応答情報を噴霧情報に変換しているが、これらを用いずに、応答情報をそのまま送信してもよい。この場合、匂い噴霧装置3では、受容体ORに1対1に対応するカートリッジCAを用いることで匂いをある程度再現することが考えられる。
 これにより、例えば、廉価版の匂い噴霧装置3に対しては、対応テーブル等を用いずに応答情報を送信する等、状況に応じて使い分けることができる。
(第2実施形態)
 図7は、第2実施形態に係る情報処理装置が適用される匂い再現方法の概要を示す図である。図7では、飲食店における飲食物(例えば、ラーメン)を紹介するコンテンツを視聴者に対して(リアルタイムに)配信するとともに、当該飲食物の匂いを所定の装置を用いて視聴者側に再現する例が示されている。なお、コンテンツとしては、例えば、地上波放送、衛星放送、インターネット等を通じて配信されるコンテンツ等が挙げられる。
 図7の例では、所定のカメラで飲食店において飲食物を来店者摂取する映像を撮像するとともに、匂い捕集装置COで当該飲食物の匂い(例えば、気体)を捕集する。
 捕集された匂いは、リアルタイム匂い解析装置NA(ガス検出装置U100)において解析され、受容体情報決定装置2(変換装置)において所定の受容体の応答情報に変換される。
 変換された応答情報は、サーバ1に対して送信される。そして、当該サーバ1から各コンテンツ再生装置REに対して、コンテンツとともに、噴霧情報が送信される。
 コンテンツ再生装置REは、コンテンツの視聴要求に基づいて、所定の表示装置TVに対して上述のコンテンツを送信する。また、コンテンツ再生装置REは、匂い噴霧装置3に対して、上述のコンテンツに対応する噴霧情報を送信する。
 匂い噴霧装置3には、複数種類の匂いカートリッジCAが設けられており、当該複数種類の匂いカートリッジCAから抽出した香料(例えば、液体または粉末)を、可変噴霧ノズル(ノズルNO)を介して噴霧(噴出、噴射)する。
 図7の受容体情報決定装置2(変換装置)について、図8から図15を参照して説明する。
 まず、各実施形態の変換装置U1、予測モデル作製装置U2、変換情報作製方法、予測モデル作製方法、及びプログラムを説明するのに先立って、変換装置U1の概要を説明する。
 まず、変換装置U1を用いる目的を説明する。
 匂いの種類を特定するシステムとして、ガスセンサを用いることが提案されている。しかしながら、ガスセンサのみでは正確に人間が感じている匂いの種類を判別、特定する事は難しい。なぜなら、ガスセンサの検出素子が人間の感覚(嗅覚)に沿わない物質で構成されているためである。そのため、様々な検出素子や分析方法が提案されたとしても、匂いの種類を特定、判別する事は難しい。
 ガスセンサの出力と人間の官能試験を機械学習などで強制的に情報を結びつけるアプローチが存在するが、官能試験のデータは個々人によって評価にバラツキが発生するため、上記アプローチによる高精度な判定は未だ達成されていない。SMILES表記といった分子の化学構造を英数表記で文字列化した表記方法を採用する事で、ガスセンサ出力と官能試験結果間の結びつきを強めるアプローチも存在する。しかしながら、予測精度は向上するものの、匂いが無い分子の情報を混在させる事実から高精度な匂いの種類の特定、判別、予測をすることは叶わなかった。これに対し、ガスセンサ出力を人間の嗅覚の定量的な数値で表現できれば、高精度に人間の嗅覚に則った匂いの判定が可能となる。
 変換装置U1は、例えば、所定の匂い分子に対して所定のガス検出機能を有する装置(以下、ガス検出装置U100ともいう)から出力される出力情報を嗅覚受容体の応答を示す応答情報に変換する装置である。これにより、変換装置U1は、同じ匂い分子に対して分析手法の違うガス検出装置U100のそれぞれから出力される異なる値の出力情報について、同じ結果を得られる嗅覚受容体U200の応答である1つの応答情報に変換するものである。これにより、変換装置U1は、ガス検出装置U100の分析手法の違いに関わらず、ガス検出装置U100の出力情報を1つの応答情報に紐付することを図ることができる。例えば、変換装置U1は、1の匂い分子に対する複数のガス検出装置U100ごとに値や単位の異なる出力情報に対して、1つの応答情報をいわゆる匂いのメートル原器としての紐付けを図ることができる。以下の実施形態において、変換装置U1は、予め機械学習された学習モデルを用いて出力情報を応答情報に変換するものである。
 次に、ガス検出装置U100について説明する。
 ガス検出装置U100は、例えば、ガスセンサ又は質量分析装置(ガスクロマトグラフ質量分析装置)である。ガスセンサは、所定の匂い分子の種類及び濃度に応じて、出力情報として、所定の電気信号(例えば、電圧値、抵抗値、又は電流値)、周波数変化、光の波長変化、又は嗅覚受容体への匂い分子の暴露による活性化度を出力する。ガス検出装置U100は、例えば、接触する匂い分子の濃度の大きさが大きい程、より大きな電圧値の電気信号を出力する。また、質量分析装置は、例えば、匂い分子の種類及び濃度に関して、質量電荷とその強度とを示すプロットをグラフデータとして出力するものである。
 次に、嗅覚受容体U200について説明する。
 嗅覚受容体U200は、例えば、特許文献1等によって示される公知の嗅覚受容体を用いることにより実現することができる。嗅覚受容体U200は、例えば、基板(図示せず)に接して搭載される核酸である。核酸は、所定の受容体をコードする遺伝子を含む核酸を含む。基板に接する核酸は複数種であり、基板上に各種核酸が互いに離隔して配置される。基板上の核酸に細胞を接触させることで、各種核酸に対応する嗅覚受容体を一過性発現する細胞がその場で生成される。
 この態様における受容体は、細胞に被験物質を接触させることにより、細胞状態に変化が起こり得る。具体的には、細胞内カルシウム濃度又は細胞内cAMP濃度の変化が起こり得る。このような変化について、cAMP感受性色素、cAMP感受性蛍光タンパク質、カルシウム感受性色素、又はカルシウム感受性蛍光タンパク質を用いることで、計測することができる。例えば、cAMP感受性色素又はcAMP感受性蛍光タンパク質による輝度変化を計測することにより、受容体の活性化度を定量的に算出することができる。活性化度は、嗅覚受容体U200の応答を示す応答情報又は応答情報として用いられる。
 嗅覚受容体は、人、哺乳類、昆虫、又は線虫の嗅覚受容体であってよい。また、嗅覚受容体は、液体状の被験物質に制限されず、ガス状(気体状)の被験物質に接触して応答する形態であってよい。後者の形態に係る嗅覚受容体は、ガス検出装置U100又は嗅覚受容体U200のいずれとしても使用可能である。つまり、ガス状の被験物質に対する嗅覚受容体の応答情報と、液体状の被験物質に対する嗅覚受容体の応答情報との間を変換することもできる。
 嗅覚受容体は、上記した細胞に発現される形態に限られず、無細胞の形態をとってもよい。
 例えば、細胞膜等の脂質二重膜で形成されたリポソームであって、該膜に各種の嗅覚受容体が存在するリポソームが、基板に互いに隔離して配置されてよい。リポソームのサイズは特に限定されず、典型的には直径100nm前後であってよい。リポソームの製法は特に限定されないが、嗅覚受容体を発現する細胞を細胞膜画分(Gタンパク質、アデニル酸シクラーゼ、環状ヌクレオチド依存性チャネル等の細胞内情報伝達タンパク質を含んでよい)と細胞質画分(GDP、GTP、ATP、cAMP等の細胞内情報伝達物質を含んでよい)に分け、両者を混合・撹拌して融合する工程を有してよい。
 あるいは、嗅覚受容体タンパク質自体を基板のプローブとして使用してもよい。ここで、嗅覚受容体が細胞膜を貫通した状態の立体構造を保持しているナノディスクが好適である。ナノディスクは、例えば、アポリポプロテインA1(APOA1)の変異体からなるmembrane scaffold protein (MSP)であり、脂質二重膜をディスク状に集積させることができるため(Timothy H. Bayburt, Yelena V. Grinkova, and Stephen G. Sligar Nano Letters 2002 2 (8), 853-856)、細胞外でも膜タンパク質を脂質膜に貫通した状態で保持することができる(Civjan NR, Bayburt TH, Schuler MA, Sligar SG. Direct solubilization of heterologously expressed membrane proteins by incorporation into nanoscale lipid bilayers. Biotechniques. 2003 Sep;35(3):556-60, 562-3)。また、ナノディスクを配置する基板は、特に限定されないが、カーボンナノチューブFET(Yang H, Kim D, Kim J, Moon D, Song HS, Lee M, Hong S, Park TH. Nanodisc-Based Bioelectronic Nose Using Olfactory Receptor Produced in Escherichia coli for the Assessment of the Death-Associated Odor Cadaverine. ACS Nano. 2017 Dec 26;11(12):11847-11855. doi: 10.1021/acsnano)、カーボンナノチューブFET等であってよい。ナノディスクの製法は特に限定されないが、大腸菌等で発現させて回収したMSPとし、可溶化させた膜タンパク質と、界面活性剤で水に溶解させたリン脂質と、を混合し、透析等で界面活性剤を除去することで、ナノディスクを自己組織化によって形成させる工程を含んでよい。
 これらの無細胞形態の嗅覚受容体を用い、被験物質による電流、電圧、インピーダンス等の変化を計測することでも、受容体の活性化度を定量的に評価することができる。
 次に、本発明の第2実施形態に係る変換装置U1、変換情報作製方法、及びプログラムについて、図8から図12を参照して説明する。なお、本実施形態では、ガス検出装置U100として、ガスセンサが一例として説明される。
 変換装置U1は、所定の匂い分子に対して所定のガス検出装置U100から出力される出力情報を嗅覚受容体U200の応答を示す応答情報に変換するものである。また、本実施形態に係る変換装置U1は、変換した応答情報を出力するとともに、変換した応答情報から所定の匂いの特徴を表す言葉(文言)を出力するものである。変換装置U1は、図8に示すように、出力情報取得部U11と、変換部U12と、出力部U13と、を備える。
 出力情報取得部U11は、例えば、CPUが動作することにより実現される。出力情報取得部U11は、所定の匂い分子に対してガス検出装置U100から出力される出力情報を取得する。出力情報取得部U11は、例えば、所定の匂い(匂い分子)を感知することによってガス検出装置U100から出力される電圧値を出力情報として取得する。出力情報取得部U11は、例えば、ガス検出装置U100によって遠隔地で測定された出力情報を取得してもよい。
 変換部U12は、例えば、CPUが動作することにより実現される。変換部U12は、複数の匂い分子のそれぞれに対する複数のガス検出装置U100からの出力される出力信号と前記複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報とに基づいて、取得した出力情報を応答情報に変換する。本実施形態において、変換部U12は、複数の匂い分子のそれぞれに対する複数のガス検出装置U100から出力される出力情報を説明変数とするとともに、複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報を目的変数として機械学習された予測モデルを用いて、取得された出力情報を嗅覚受容体U200の応答を示す応答情報に変換する。
 変換部U12は、例えば、ガス検出装置U100から出力される出力情報の数学的、統計学的、又は機械学習的手法を用いて算出される、数値、関数、空間的又は時系列的指標、若しくは特徴量エンジニアリングで新たに作製された変数を説明変数として機械学習された予測モデルを用いる。また、変換部U12は、嗅覚受容体U200の応答情報の数学的、統計学的、又は機械学習的手法を用いて算出される、数値、関数、空間的又は時系列的指標、若しくは特徴量エンジニアリングで新たに作製された変数を目的変数として機械学習された予想モデルを用いる。変換部U12は、例えば、変換部U12は、複数のガス検出装置U100から出力される出力情報の時系列データ及び特徴量パターン数を説明変数とし、複数の嗅覚受容体U200の応答情報の時系列データ及び特徴量パターン数を目的変数として機械学習された予測モデルを用いて、取得された出力情報を応答情報に変換する。
 本実施形態において、変換部U12は、複数のガス検出装置U100の出力情報の有無を説明変数として機械学習された予測モデルを用いる。また、本実施形態において、変換部U12は、嗅覚受容体U200に含まれる複数の受容体の反応の有無を目的変数として機械学習された予測モデルを用いる。また、本実施形態において、変換部U12は、ガス検出装置U100から出力される出力情報の質量電荷及び強度を説明変数として機械学習された予測モデルを用いる。これにより、変換部U12は、電圧値、抵抗値、電流値、周波数変化、又は光の波長変化で示される変換用電圧値について、嗅覚受容体U200の活性化度を示す応答情報に変換する。
 出力部U13は、例えば、CPUが動作することにより実現される。出力部U13は、変換された応答情報を出力する。出力部U13は、例えば、応答情報を表示することにより出力する。出力部U13は、例えば、応答情報として、活性化度を数値化して出力する。
 次に、本実施形態のプログラムについて説明する。
 変換装置U1に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
 プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
 次に、本実施形態の実施例を説明する。
(実施例1)
 嗅覚受容体U200として、400個の嗅覚受容体を含むアレイセンサを用いた。そして、所定の匂いを既定の時間、嗅覚受容体発現細胞に暴露した。匂いの濃度は、500μMから10μMのものを用いた。また、12種類のガス検出装置U100(ガスセンサ)に対して所定の匂いを既定の時間暴露して出力情報を取得した。そして、変換装置U1を用いて、出力情報から応答情報に変換した。また、嗅覚受容体U200の発現細胞に暴露した結果の活性化度を測定した。
 ここで、測定した匂い分子として、hexyl acetate、hexyl butyrate、butyl butyrate、2,7-octadienol、cis-2-penten-1-ol、toluene、beta-ionone、benzothiazole、cyclotene、acetic acid、coumarin、1,2,4-trimethyl benzene、2-ethylhexanol、propionaldehyde、4-Isopropylphenol、Bis (methylthio) methane、1,2,4,5-tetramethyl benzene、3-methyl-1-butanol、E-2-nonenal、m-cresolを用いた。
 データ処理では、予測モデルの言語としてpythonを用いた。また、予測モデルのアルゴリズムとして、ランダムフォレスト、サポートベクターマシン、及び勾配ブースト決定木のそれぞれを用いて評価した。また、予測モデルとして、回帰によって作製されたものを用いた。学習方法として、教師あり学習を用いた。モデル評価法として、主に決定係数で評価した。
 ランダムフォレスト法による回帰を用いた場合、図9に示すように、縦軸を予想モデルから出力される予測値(応答情報)、縦軸を目的変数の実値(嗅覚受容体U200発現細胞の活性化度)として、回帰決定係数0.834(1.0を最大とする)を得ることができた。
 サポートベクターマシンによる回帰を用いた場合、図10に示すように、回帰決定係数0.871を得ることができた。また、勾配ブースト決定木による回帰を用いた場合、図11に示すように、回帰決定係数0.847を得ることができた。これにより、予測値が目的変数の実値に対して十分な相関を得られることがわかった。すなわち、出力情報を定量化可能であることがわかった。
(実施例2)
 ある匂い分子に対するセンサーデータを学習し、反応する嗅覚受容体U200とその活性化度を予想するモデルを作成した。ガス検出装置U100、嗅覚受容体U200セルアレイセンサの実験条件及び実験手順を実施例1と同様とした。データ処理では、クラス分類を用いた。言語として、pythonを用いた。アルゴリズムとして、ニューラルネットワークを用いた。ガス検出装置U100の出力情報と嗅覚受容体U200の応答情報とを関連させるうえで、クラス分類モデルを作成した。学習方法は、教師ありとした。隠れ層の数は問わないが本実施例では2層で実施した。モデル評価は全体正解率accuracy、損失関数lossを用いた。
ガス検出装置U100の出力情報を説明変数とし、嗅覚受容体U200の応答を示す応答情報を目的変数とした。
 図12に示すように、学習回数500回程で、予測accuracyが0.9前後で高く維持され、lossは0.3前後と低く維持されている。このことから、前述した予想モデルを作製する事ができた。
 以上、第1実施形態に係る変換装置U1、変換情報作製方法、及びプログラムによれば、以下の効果を奏する。
(1)変換装置U1は、所定の匂い分子に対して所定のガス検出装置U100から出力される出力情報を嗅覚受容体U200の応答を示す応答情報に変換する変換層被であって、所定の匂い分子に対してガス検出装置U100から出力される出力情報を取得する出力情報取得部U11と、複数の匂い分子のそれぞれに対する複数のガス検出装置U100からの出力される出力信号と複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報とに基づいて、取得した出力情報を応答情報に変換する変換部U12と、変換された応答情報を出力する出力部U13と、を備える。これにより、種々のガス検出装置U100から得られる出力情報を、1種の応答情報に変換して出力することができる。したがって、ガス検出装置U100間の相関をとることができる。
(2)変換部U12は、複数の匂い分子のそれぞれに対する複数のガス検出装置U100から出力される出力情報を説明変数とするとともに、複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報を目的変数として機械学習された予測モデルを用いて、取得された出力情報を嗅覚受容体U200の応答を示す応答情報に変換する。機械学習を用いるこれにより、変換精度をより向上することができる。
(3)変換部U12は、ガス検出装置U100から出力される出力情報の数学的、統計学的、又は機械学習的手法を用いて算出される、数値、関数、空間的又は時系列的指標、若しくは特徴量エンジニアリングで新たに作製された変数を説明変数として機械学習された予測モデルを用いる。これにより、変換精度を向上することができる。
(4)変換部U12は、嗅覚受容体U200の応答情報の数学的、統計学的、又は機械学習的手法を用いて算出される、数値、関数、空間的又は時系列的指標、若しくは特徴量エンジニアリングで新たに作製された変数を目的変数として機械学習された予想モデルを用いる。これにより、変換精度を向上することができる。
(5)変換部U12は、複数のガス検出装置U100から出力される出力情報の時系列データ及び特徴量パターン数を説明変数とし、複数の嗅覚受容体U200の応答情報の時系列データ及び特徴量パターン数を目的変数として機械学習された予測モデルを用いて、取得された出力情報を応答情報に変換する。これにより、変換精度を向上することができる。
(6)変換部U12は、複数のガス検出装置U100の出力情報の有無を説明変数として機械学習された予測モデルを用いる。これにより、変換精度を向上することができる。
(7)変換部U12は、嗅覚受容体U200に含まれる複数の受容体の反応の有無を目的変数として機械学習された予測モデルを用いる。これにより、変換精度を向上することができる。
(第3実施形態)
 次に、本発明の第3実施形態に係る予測モデル作製装置U2、予測モデル作製方法、及びプログラムについて、図13を参照して説明する。第3実施形態の説明にあたって、前述の実施形態と同一の構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
 第3実施形態に係る予測モデル作製装置U2、予測モデル作製方法、及びプログラムは、第1実施形態に係る予測モデルを作製する装置、方法、及びプログラムである。
 予測モデル作製装置U2は、所定の匂い分子に対してガス検出装置U100から出力される出力情報を定量化されたデータに変換する予測モデルを作製する。予測モデル作製装置U2は、図13に示すように、説明変数取得部U21と、目的変数取得部U22と、予測モデル作製部U23と、を備える。
 説明変数取得部U21は、例えば、CPUが動作することにより実現される。説明変数取得部U21は、複数の匂い分子のそれぞれに対する複数のガス検出装置U100から出力される出力情報を説明変数として取得する。説明変数取得部U21は、例えば、複数のガス検出装置U100(例えば20種)の出力の合計値、平均値、反応の有無、各種指標、出力の特徴量とガス検出装置U100の個数との積、時系列データと特徴量パターン数とガス検出装置U100の個数との積等を出力情報としてもよい。
 目的変数取得部U22は、例えば、CPUが動作することにより実現される。目的変数取得部U22は、複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報を目的変数として取得する。目的変数取得部U22は、例えば、嗅覚受容体U200(例えば、400スポット)の出力の合計値、平均値、反応の有無、各種指標、出力の特徴量と嗅覚受容体U200のスポット数との積、時系列データと特徴量パターン数と嗅覚受容体U200のスポット数との積等を出力情報としてもよい。
 予測モデル作製部U23は、例えば、CPUが動作することにより実現される。予測モデル作製部U23は、取得した説明変数と取得した目的変数とを機械学習に用いることにより、予測モデルを作製する。予測モデル作製部U23は、相関係数、主因子分析、及びロジスティック回帰等を用いて予測モデルを作製する。
 次に、予測モデル作製装置U2の動作(予測モデル作製方法)を説明する。
 まず、説明変数取得部U21は、出力情報を説明変数として取得する。次いで、目的変数取得部U22は、応答情報を目的変数として取得する。次いで、予測モデル作製部U23は、説明変数及び目的変数を用いて予測モデルを作製する。
 次に、本実施形態のプログラムについて説明する。
 予測モデル作製装置U2に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
 プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
 以上、第3実施形態に係る予測モデル作製装置U2、予測モデル作製方法、及びプログラムによれば、以下の効果を奏する。
(7)所定の匂い分子に対してガス検出装置U100から出力される出力情報を定量化されたデータに変換する予測モデルを作製する予測モデル作製装置U2であって、複数の匂い分子のそれぞれに対する複数のガス検出装置U100から出力される出力情報を説明変数として取得する説明変数取得部U21と、複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報を目的変数として取得する目的変数取得部U22と、取得した説明変数と取得した目的変数とを機械学習に用いることにより、予測モデルを作製する予測モデル作製部U23と、を備える。これにより、種々のガス検出装置U100から得られる出力情報を、応答情報に変換して出力する予測モデルを作製することができる。出力情報を応答情報に変換することで定量化できるので、ガス検出装置U100間の相関をとることができる変換装置U1を構成することができる。
(第4実施形態)
 次に、本発明の第4実施形態に係る変換装置U1、変換情報作製方法、及びプログラムについて図14及び図15を参照して説明する。第4実施形態の説明にあたって、前述の実施形態と同一の構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
 第4実施形態に係る変換装置U1は、ガス検出装置U100として、質量分析装置(ガスクロマトグラフ質量分析装置)を用いる点で、第1及び第3実施形態と異なる。また、第4実施形態に係る変換装置U1は、ガス検出装置U100(質量分析装置)の出力を出力情報とする点で、第1及び第3実施形態と異なる。第4実施形態に係る変換装置U1は、ガス検出装置U100から出力される、質量電荷に対する強度のプロットの集合を出力情報として取得する。変換装置U1は、例えば、ガス検出装置U100によってガス状の化合物を検出した結果得られる、質量電荷に対する強度のプロットの集合を出力情報として取得する。すなわち、変換装置U1は、ガス検出装置U100によってガス状の化合物の分子構造を特定する処理の前の、ガス分子をイオン化した際に発生するフラグメントイオンの(ノイズを含む)質量電荷のデータを出力情報として取得する。また、変換装置U1は、(ノイズを含む)質量電荷のデータを説明変数とする予測モデルを用いて出力情報を嗅覚受容体U200の応答情報に変換する。これにより、変換装置U1は、ガス検出装置U100によって異なる機器の特性に関わらず、出力情報を嗅覚受容体の応答情報に変換するものである。なお、ガス検出装置U100は、検出に限らず、捕集、測定、及び分析する装置であってもよい。
 次に、第4実施形態に係る実施例を説明する。
(実施例3)
 ガス検出装置U100のデータ取得方法は匂い分子溶液を溶媒で10000倍希釈した後、1μLをシリンジで採取し、ガス検出装置U100に投入した。検出時に得られる分子種ごとの質量電荷データを変換に用いた。嗅覚受容体セルアレイセンサの実験条件や実験手順は実施例1と同様とした。
 データ処理では、実施例1と同様にランダムフォレストの回帰にてモデルを作製した。言語には、pythonを用いた。学習方法は、教師ありとした。モデル評価は決定係数を用いた。ガス検出装置U100で取得した質量電荷のデータ処理は、図14に示すように、グラフ化し、その画像のピクセルごとの強度を読み取った。読み取ったデータを出力情報とした。ガス検出装置U100(質量分析装置)の出力情報を説明変数とし、嗅覚受容体U200の応答を示す応答情報を目的変数とした。
 その結果、図15に示すように、縦軸を予想モデルから出力される予測値(応答情報)、縦軸を目的変数の実値(嗅覚受容体U200発現細胞の活性化度)として、回帰決定係数0.828を得ることができた。
 以上、第4実施形態に係る予測モデル作製装置U2、予測モデル作製方法、及びプログラムによれば、以下の効果を奏する。
(8)変換部U12は、ガス検出装置U100として、質量分析装置の出力信号を出力情報として用いた。これにより、質量分析装置についても、出力情報を応答情報に変換することでガス検出装置U100間の相関をとることができる。特に、変換部U12は、(ノイズを含む)質量電荷のデータを出力情報として用いることにより、分子構造を特定した後のデータを出力情報として用いる場合に比べ、ガス状の化合物の捕集から嗅覚受容体U200の応答を示す応答情報への変換までの時間を短くすることができる。また、分子構造を特定した後のデータを出力情報として用いる場合に比べ、より検出後のデータ(生のデータ)に近いデータを用いるので、より決定係数の高い(精度の良い)変換装置U1を提供することができる。
 以上、本発明の変換装置、予測モデル作製装置、変換情報作製方法、予測モデル作製方法、及びプログラムの好ましい各実施形態につき説明したが、本開示は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
 例えば、上記第4実施形態において、ガス検出装置U100として、ガスクロマトグラフィー質量分析装置を用いたが、これに制限されない。ガス検出装置U100として、ガスクロマトグラフィーを備えていない装置でもよい。また、ガス検出装置U100は、直接イオン化質量分析装置(DART-MS)であってもよい。ガス検出装置U100は、大気圧で分析する大気圧質量分析装置であってもよい。
 また、上記実施形態において、変換部U12は、機械学習された予測モデルを用いて変換するとしたが、これに制限されない。変換部U12は、機械学習された予測モデルを用いずに変換してもよい。
(第3実施形態)
 図16Aおよび図16Bは、第3実施形態の概要を示すシステム構成図である。
 第3実施形態は、図16Aおよび図16Bに示す通り、匂い等情報を経済的に保護して、取引を可能とするためのシステムを示す。
 すなわち、実施形態1または2の技術に基づいたデバイス(例:噴霧器)を用いて匂いを再現する場合、望む匂いの再現を失敗するリスクが存在する。これは、匂い等情報を再現するにあたり、たとえば、データ改ざんが容易であることも一つの理由である。
 また、匂いに関する商品を取引する場合、匂いは無形である事から、唯一性の証明や取引履歴の整合性を証明する事が困難であった。
 そこで、実施の形態3では、匂い等情報を、ブロックチェーンおよび非代替性トークン(NFT:Non-Fungible Token)を用いて認証されることで、後述するような意味での「匂いの唯一性」の証明が可能となり、改ざん難易度が向上し、望む匂いを再現できる。
 また、NFTのコントラクトに使用上限回数など条件定義すれば、仮想的に、当該匂い情報を使い果たした「空」の状態を作りだすことができる。
 これは、例えば、実空間では香水を購入後、一定回数使用したため空になったという状態を、仮想的に再現する事が可能となることを意味する。コントラクト内の条件定義は、使用上限回数のみならず、匂いの持続時間や匂いの有効範囲などでも良い。
 さらに、持続時間や再現処理が許される有効範囲が定義される事で、仮想空間内における匂いを介したコミュニケーションが活発になる。例えば、第三者のアバターに匂いコードが付与されていた場合、コントラクトに基づき匂いが再現され、自身がそのアバターに付与された匂いを感じる事ができる。
 ここで、NFTは、所定のブロックチェーンで発行および管理される一意性を有するトークンであり、紐づけられたデジタルデータの一意性を証明することができる。
 本実施形態を含む以降の実施形態において、NFTを発行する対象として、匂い情報(デジタル匂い情報;匂いコード)を例に説明するが、これに限定されず、例えば、味情報(デジタル味情報;味コード)であってもよい。すなわち、目標の匂いの再現、匂いの管理は、目的の味の再現、味の管理に置き換えることができる。
 NFTを発行する対象としては、例えば、香水の匂いが挙げられる。
 この場合、匂いの情報に対してNFTの発行を要求する者は、例えば、「著作者(法人または個人)」である。
 もちろん、日本においては、厳密にいうと、「著作物」とは、「思想又は感情を創作的に表現したものであつて、文芸、学術、美術又は音楽の範囲に属するもの」とされており、諸外国においても、「情報」、特に「匂いの情報」が、従来法における「著作物」に相当するかについては、現時点では、確定的なことは言えない。
 そこで、本明細書では、最初に匂い情報や味情報を生成し保有している原保有者を、「匂い情報や味情報の著作者」と呼ぶ。また、「二次著作物の著作者」に相当して、「原著作者」から提供された「匂い情報や味情報」を調整して「匂い情報や味情報」を作成した者を「二次著作者」と呼ぶ。後述するように、NFTには、「原著作者」が記録されており、さらに、NFT内で、「原著作者」および「二次著作者」の双方を記録しておき、販売料金の収入や、手数料収入などを、取決めに従って、分配してもよい。
 したがって、香水の場合は、「著作者」としては、例えば、香水の組成を設計した者(典型的には香水メーカー)、または当該香水の匂い情報を生成した者(または香水の匂い情報を管理する者)等が挙げられる。
 以下では、匂いの情報を扱う場合を例として説明する。ただし、味の情報を扱う場合も、同様の構成で実施することが可能である。
 本件のような構成により、以下に説明するような構成が実現される。
 1)「匂い」を再生デバイスで再生するにあたり、「匂いの情報」の所有者が、正当なものであることが、ブロックチェーン内に格納されるNFTにより証明される。
 逆にいえば、「匂いの情報」の所有者を変更しうる(売買の対象になる)ために、NFTを利用する。「匂いの情報」が流通すること、そのことにより、元の所有者が現実の価値をもつ利益を得ることに意義がある。NFTは、ブロックチェーンにより管理され、改ざんができない「所有者の証明」という観点で、利用される。
 2) 「匂いの情報」は、好ましくは、N次元コード(より好ましくは、2次元コード)の「匂いコード」に変換されて、取引される。
 3)「匂いコード」は、原則として、再生の都度、「管理サーバ」から、再生デバイスに配信される。
 4)再生デバイスでの再生のためには、NFTの所有者が、再生デバイスから使用要求を、「匂いの著作者(原保有者)」宛に出し、ブロックチェーンにより、使用要求の送信元が、NFTの所有者であることが認証されることが必要である。そして、その都度、使用のための使用料が、仮想通貨で支払われる。
 「匂いの著作者(原保有者)」は、匂いの情報の使用状況をモニタすることが可能となる。さらには、「匂いの情報の使用」にあたって、使用条件(使用回数の上限、使用時間の上限)を設定することも可能である。また、「匂いの著作者(原保有者)」が、「匂いの情報の使用」にあたって、都度、使用料を徴収することも可能である。
 5)ただし、再生デバイス自体をNFTの所有者が所有している必要まではなく、他者の再生デバイスから再生することも可能である。
 つまり、「匂い情報(匂いコード)」 自体は、単独で、他者まで流通してもよい(複製可能であってもよい)。
 その場合でも、NFTの所有者が、他者の所有する再生デバイスを「匂いコード」 の配信先として指定して、使用要求を「匂い等の著作者(原保有者)」宛に出し、ブロックチェーンにより、使用要求の送信元が、NFTの所有者であることが認証されることが必要である。
 なお、図16Aおよび図16Bに示すサーバ、デバイス等のハードウェア構成は、基本的には、図4に示したハードウェア構成と同様のため、説明を省略する。
 図16Aおよび図16Bにおいて、情報加工者サーバ2000は、匂いの素材または原材料を受け取って、匂いコードに変換する業務を実行するサーバであり、図5で説明したサーバ1と基本的には、同一の構成を有する。また、第3実施形態に係るサーバ(管理サーバ)3000は、匂い情報のブロックチェーン管理を行う情報処理装置である。
 ここで、図17は、管理サーバ3000の機能的な構成を説明するための機能ブロック図である。
 また、サーバ3000のCPU3040においては、後述するように、メモリに格納されたプログラムにより動作する際に、要求受付モジュール(以下、「要求受付MD」)3041と、匂いコードに紐づけられたNFTについて、認証などを確認するNFT認証モジュール(以下、「NFT認証処理MD」)3043等が機能する。
 要求受付MD3041は、ブロックチェーンで管理された所定の匂い情報に関するNFTの所有者から、匂い情報を使用するための要求を受け付ける。
 NFT認証処理MD3043は、匂い情報に関するNFTの認証を行うことにより、匂い情報の唯一性の証明または取引履歴の整合性を確認する。
 図17を参照して、より詳しくは、管理サーバ3000は、ネットワークNを介して、匂い情報の原著作権者HAの端末1000、情報加工者サーバ2000やブロックチェーンBCとデータの授受を行うためのネットワーク通信部3300と、ネットワーク通信部3300等との間で、サーバ内にデータを取り込み、または、サーバからのデータを出力するための入出力インタフェース(以下、入出力I/F)3090と、演算装置3040と、不揮発性記憶装置3080とを含む。
 演算装置3040は、不揮発性記憶装置3080に格納される匂いコードデータベース(以下、匂いコードDB)3082への情報の登録および編集を行うための要求受付モジュール(以下、要求受付MD)3041と、不揮発性記憶装置3080に格納される匂いコードDB3082と著作者情報データベース(以下、著作者情報DB)3083への情報の登録および編集と、ブロックチェーンBCに対してNFT発行を行うためのNFT発行処理モジュール(以下、NFT発行処理MD)3042との機能を実行する。
 演算装置3040は、さらに、要求受付MD3041により受け付けられた使用要求に応じて、ブロックチェーンBCに対して、この使用要求の正当性の認証を要求して正当性の確認を行うためのNFT認証処理モジュール(以下、NFT認証処理MD)3043と、コンテンツ再生のための匂い噴霧装置3で匂いコードの再生処理が行われることに応じて、使用状況に関する情報(使用回数や使用時間等)や再生に伴う使用料の支払いなどの情報について、NFTトランザクション更新要求を装置3から受けて、ブロックチェーンBCへのNFT更新トランザクションを発行するためのNFT更新処理モジュール(以下、NFT更新処理MD)3044と、NFT認証処理MD3043により、使用要求の正当性が確認されることに応じて、匂いコードDB)3082から、対応する匂いコードを、匂い噴霧装置3のコンテンツ再生装置に対して配信するための匂いコード配信処理モジュール(以下、匂いコード配信処理MD)3045との機能を実行する。情報処理モジュール(以下、情報処理MD)3046は、後述するように、不揮発性記憶装置3080に格納される学習データDB3084に格納されるデータに基づいて、人工知能モデルの学習処理を実行したり、生成された学習済モデルにより処理を実行する。
 なお、管理サーバ3000のハードウェア構成は、基本的に、図4に示したものと同様であるので、説明は繰り返さない。
 管理サーバ3000の主要部は、コンピュータハードウェアと、CPU11により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアは、記憶媒体に格納されて流通またはネットワーク経由で流通し、ディスクドライブ20やネットワーク通信部19経由で取得されて、SSDなどで構成される記憶部18に一旦格納される。そうしてさらに記憶部18からメモリ中のRAM13に読出されてCPU11により実行される。なお、ネットワーク接続されている場合には、記憶部18に格納することなくRAMに直接ロードして実行するようにしてもよい。
 演算装置3040は、CPUであって、1つのコアのプロセッサであっても、あるいは複数のコアのプロセッサであってもよい。すなわち、シングルコアのプロセッサであっても、マルチコアのプロセッサであってもよい。
 NFTを用いて匂い情報を管理する例として、現実空間または仮想空間(メタバース)において、上述の香水の匂いを管理することができる。
 現実空間では、例えば、所定の放出機(デバイス)から、所定の香水に対応する匂いを放出する際に、当該香水の匂いが正当な著作者のものであるか、または、ユーザが当該香水の匂いを使用する権限を有しているかを判断する際に用いることができる。
 仮想空間では、例えば、ユーザのアバターが、仮想空間内で所定の香水を購入した際に、上述と同様、当該香水の匂いが正当な著作者のものであるか、または、ユーザのアバターが当該香水の匂いを使用する権限を有しているかを判断する際に用いることができる。
 なお、仮想空間には、VR(Virtual Reality;仮想現実)、またはAR(Augmented Reality;拡張現実)も含まれる広い概念である。
 なお、この際、匂い情報として、匂いに関する受容体応答情報を用いることが必須ではない点で、上述の各実施形態とは異なる。すなわち、匂い情報としては、上述の受容体応答情報の有無に限られず、匂いを発生させるために必要な情報を持っていれば足りる。
 すなわち、匂いに基づいて、受容体応答情報を用いずに、電気センサ、または人間によって実施された官能試験評価の結果等を用いて生成された匂い情報を用いてもよい。
 なお、匂い情報は、所定のフォーマットで管理されるものとしてよい。
 ここで、「匂いの唯一性」としては、上述のNFTを用いて管理される「匂い情報」の正当な所有者であることを示す他、匂いそのものの唯一性を示す場合も含まれる。
 つまり、「匂いそのものの唯一性」を考えるのは、「匂い」の経済的価値は、「それを知覚する人間にとって、同一の匂いであると知覚されること」それ自体に意義があると考えられるものの、従来は、「人間の匂いに対する知覚」を客観的に規定する方法が存在していなかった。
 以下、匂いそのものの唯一性を証明することのメリットについて説明する。
 従来、匂いそのものの唯一性を証明する手段として、匂い物質の成分で匂いを規定することが行われていた。
 しかし、この場合、上述の香水を模した偽物の香水を排除することは困難であった。すなわち、所定の香水の成分量や、比率を少々変更することにより生成された偽物の香水は、所定の香水と成分が異なるため、例えば、特許権等で排除することができない。また、成分の変更が微量である場合、匂いを嗅ぐユーザにとって違いを認識することは困難であるため、嗅ぎ分けることも困難であった。
 そこで、上述のように、匂い情報(受容体応答情報)を、適切にNFTを用いてブロックチェーンで管理しておくことで、匂い成分に関係なく、嗅覚受容体センサを用いて検知および解析した匂いが、NFTを用いて管理された匂いと同一であるか否かを判断することができる。
 すなわち、ブロックチェーンおよびNFTで、匂いの唯一性を裏付けることができる。これにより、NFTの著作権侵害を主張する等の対応を行うことができる。
 このように、匂いを、受容体の応答のしかたに基づいて、標準化(絶対的なものさし)することで、他者が別の物質で組成した匂い(例えば、香水)であっても、結果(人間がどう感じるか)が同じことに基づき、唯一性が担保できることになる。
 なお、NFTには、一般に、一意であることを示すための識別子が含まれる。
 そこで、「匂い情報(コード)」は、「同一の匂い(例:同一種類の香水)」には1つの「匂い情報」が対応する。各々は、識別子で区別されることとしてよい。匂いコードは、N次元コードで、匂い情報を表現したものを意味する。(味情報も同様である。)
 この「識別子」が、NFTのトークンIDに対応する。
 なお、特に限定されないが、識別子の構成としては、たとえば、以下のような構成とすることも可能である。
 トークンID : (匂いの識別符号)+(同一の匂いの中での識別番号)」
 ここで、「(同一の匂いの中での識別番号)」とは、たとえば、版画を例にとると、刷り数に上限値が設定されているときの「エディションナンバー」に相当する。このような構成とすることで、「匂い情報(コード)」 の希少価値を高めることも可能である。
 また、上述した「匂いの唯一性」とは、NFTと紐づいた「匂い情報(コード)」について、NFT内に記録される「アカウント番号」(=「原著作者」の公開鍵)に対応する秘密鍵の電子署名により、「匂い情報(コード)」が、正当な原著作者によって、生成されたものであることが証明されることを意味することとしてもよい。
 
 「原著作者」の公開鍵から、原著作者の外部所有アカウント(アドレス)が特定される。NFTによって、「匂いそのものの唯一性」を管理することもできる。たとえば、製品名やトークンIDによる。
 「匂い情報の取引履歴の整合性」とは、NFTにより管理される現所有者の情報と、ブロックチェーンで管理されるトランザクションデータによる取引の履歴とが整合しており、現所有者が正当な所有者であることを意味する。
 匂い情報または味情報の使用の正当性」とは、「匂いの唯一性」と「匂い情報の取引履歴の整合性」とが成立することをいう。
 図18は、第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第1の例を示す図である。
 図18においては、管理サーバでウォレットを管理する例を示しているが、所有者のデバイス毎にウォレットが設けられていてもよい。また、図中で、デバイスAとは、コンテンツ再生装置と匂い噴霧装置とを総称しているものとする。
 具体的には、所有者のデバイス毎にウォレットが設けられる場合においては、例えば、香水の匂いを使用する権限を譲受(購入や無償譲渡等)した1以上のユーザに対応付けられたウォレットが夫々作成される。そして、当該ウォレットのアドレスが、非代替性トークン(NFT)の所有者のアドレスとしてブロックチェーン上において管理される。この場合、香水の匂いを使用する権限の所有者は、非代替性トークン(NFT)の所有者として管理される。
 図16A,図16Bおよび図18を参照して、管理サーバ3000でウォレットを管理する場合においては、例えば、香水の匂い情報を生成した者(または香水の匂い情報を管理する者:著作者(原保有者))に対応付けられたウォレットが作成される。そして、当該ウォレットのアドレス(以下、AAA)が、非代替性トークン(NFT)の所有者のアドレスとしてブロックチェーン上において管理される。更に、香水の匂いを使用する権限の所有者の情報は、非代替性トークン(NFT)に紐づいたメタデータやコンテンツデータとして、ブロックチェーンの外部に設けられたIPFS(InterPlanetary File System)といった分散ストレージ等を用いて管理される。或いは、香水の匂いを使用する権限の所有者の情報は、非代替性トークン(NFT)の所有者以外の情報としてブロックチェーン上で管理されてもよい。
 本明細書においては、非代替性トークン(NFT)の所有者と、香水の匂いを使用する権限の所有者とは、基本的に同一のものであるものとして説明する。ただし、たとえば、非代替性トークンにより、使用する権限の所有者は、NFTの所有者とは独立したものとして、管理されるものとしてもよい。
 図19は、第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第2の例を示す図である。
 図19に示す例では、図18に示すものに加えて、スマートコントラクト(SC:Smart Contract)を用いて、NFTを参照し、履歴更新等を自動で行っている。
 図20Aおよび図20Bは、スマートコントラクトにより、NFTの管理を実施するためのシステムの構成を示す図である。
 スマートコントラクトは、受信した契約条件に従ったプロトコルを自動的に実行するようにブロックチェーンBCに実装されている。なお、実施形態に係るスマートコントラクトは、たとえば、管理者によって、ブロックチェーンBC上に実装される。
 スマートコントラクトは、コンピュータプログラムが、ブロックチェーンBCを構成するコンピュータネットワークに実装されることで構成される。コンピュータプログラムは、ブロックチェーンBCを構成するコンピュータネットワークにおいて実行される。コンピュータプログラムは、スマートコントラクトとしての動作を規定したプログラムコードを有する。コンピュータプログラムがブロックチェーンBCを構成するコンピュータネットワークにおいて実行されることで、スマートコントラクトの動作が行われる。スマートコントラクトは、ブロックチェーンBCにおけるアドレス(コントラクトアドレス)に格納されている。
 図21Aおよび図20Bは、スマートコントラクトにより、NFTの管理を実施する処理のフローを示す図である。
 NFTは、他のNFTとの区別を可能にするための固有の識別子(NFT-ID)を有する。なお、イーサリアムの内部通貨である「イーサ」のようなファンジブルトークンは、他のファンジブルトークンと価値が同じであり、区別されることを要しないため、NFT-IDのような識別子を有しない。
 NFTは、ファンジブルトークンと同様に、ブロックチェーンBC上において取引可能である。NFTの取引履歴は、ブロックチェーンBCにおいて記録される。ブロックチェーンBCにおいては、NFTの所有者及び所有者履歴も記録される。
 NFTは、例えば、Ethereum Request for Comments(ERC)721規格に従って発行されたトークンである。ERC721規格に準拠したNFTを、NFT-721トークンと呼ぶ。本実施形態では、一例として、NFTは、NFT-721トークンであるものとして説明する。
 NFT71は、取引(所有者変更)が可能であり、独自の価値を有し、その所有者及び取引履歴がブロックチェーンBCに記録されているため、担保として有効である。しかも、NFTは、ブロックチェーンBCにおいて管理されているため、偽物・盗品であるおそれはない。
 実施形態においては、NFTは、匂いコードの所有者を証明する証書(証書NFT)として利用される。
 そこで、図21Aおよび図20Bを参照して、まず、前提として、匂いの著作者が、情報加工者サーバ2000の運営者に対して、匂い情報の元となる匂いの元(たとえば、香水の現物)を提供しているものとする。
 そして、著作者端末1000から、匂い情報のコード化の請求が、情報加工者サーバ2000に対して送信されると(S1010)、情報加工者サーバ2000では、送信元が著作者であることを認証してから、匂い情報のコードを生成する(S1012)。
 管理サーバ3000は、情報加工者サーバ2000から、匂い情報のコード(匂いコード)を受領し(S1014)、著作者端末1000に対して匂いコードの受領通知を発行して(S1016)、著作者端末1000は、匂いコードの受領を確認すると(S1016)、管理サーバ3000に対してNFTの発行を要求し、管理サーバ3000は、ブロックチェーンBCに対してNFTの発行処理を実行する(S1020)。
 ブロックチェーンBCでは、スマートコントラクトで、NFTの発行を記録する(S1022)。
 なお、上述したような「証書NFT」は、一般的なNFTと同様に、取引(所有者変更)が可能である。所有者は、証書NFTを、例えば、NFTのオープンマーケットで、売買することが可能である。
 図20Aに記載のように、イーサリアムなどのブロックチェーンBCは、ファンジブルトークン及びNFTなどのトークン(暗号資産)を管理するアドレスAD01,AD02,AD03を有する。このアドレスAD01,AD02,AD03は、イーサリアムにおいては、イーサリアムアドレスと呼ばれる。
 トークンを管理するためのアドレスAD01,AD02,AD03は、ブロックチェーンBCにおけるユーザアカウントでもある。ブロックチェーンBCにおけるアドレスAD01,AD02,AD03(アカウント)には、ユーザが所有するファンジブルトークン又はNFTが関連付けられている。
 ブロックチェーンBCにおいては、匂いコードの原著作者HAのアドレスAD01、所有権の譲受者HBのアドレスAD02と、管理サーバの管理者のアドレスAD03とが例示されている。これらのアドレス間で、ファンジブルトークンまたはNFTの取引(移転)が行われる。
 管理者は、NFTの取引や更新を管理する者であり、アドレスAD03(管理者のアカウント)を有する。
 ユーザHA及びユーザHBは、それぞれのアドレスAD01,AD02に関連付けられたトークンを、それぞれが保有する端末上で稼働するウォレットアプリケーションを介して参照できる。ユーザHAの端末は、例えば、スマートフォン、タブレット又はパーソナルコンピュータである。また、ユーザHBの端末も、スマートフォン、タブレット又はパーソナルコンピュータであってもよいし、あるいは、匂い噴霧装置3に接続するコンテンツ再生装置が端末として機能してもよい。ユーザHA及びユーザHBは、ウォレットアプリケーションを用いて、それぞれのアドレスAD01,AD02に関連付けられたトークンの取引(例えば、内部通貨の送信、所有者の変更)などのトークンに関する操作を行うことができる。
 以下、そのような所有者の変更処理について説明する。
 再び、図21Aおよび図20Bを参照して、匂いを再生する噴霧装置3に接続するコンテンツ再生装置REから、スマートコントラクトで所有者の変更を申請すると(S1030)、それを受けた管理装置から、スマートコントラクトでの売却トランザクションが発行される(S1032)。
 ブロックチェーンBCでは、売却トランザクションを受けて、スマートコントラクトで所有者の変更が実行される(S1034)。
 また、図22は、第3実施形態に係るNFTを売却した場合のトランザクションを示す図である。
 図22は、匂いコードの所有者が、アカウント番号AAAの著作者から、アカウント番号BBBの所有者に変更になる場合を示す。
 図20A,図20Bおよび図22とを参照して、売却前は、NFTには、「アカウント番号:AAA」と、「製品名:XXX」と、「所有者(および所有物)アカウント番号:AAA」と、バランス情報である「残高:0ETH」(内部通貨イーサの単位をETHで表す)とが記録されている。
 ここで、特に限定されないが、「アカウント番号」とは、アカウントに割り当てられる公開鍵であって、ウォレットアプリにより秘密鍵から生成される。アカウントアドレスは、公開鍵から所定の手続き(所定のハッシュ関数による変換)によって、生成される。
 図22では、NFTに関する操作は、例えば、譲受者HB(アカウント番号BBB:外部所有アカウント)が、管理サーバ3000に対して、売却トランザクションを、著作者HA(アカウント番号:AAA)に送信することにより、著作者HA(アカウント番号:AAA:外部所有アカウント)が所有者として記録されているNFTの記録を、譲受者HBを所有者とするように書き換える処理を示している。
 売却トランザクションは、譲受者HB(アカウント番号BBB)から、著作者HA(アカウント番号:AAA)へ向けて送信され、トランザクションの手数料としては、10ETHであり、譲渡の対価としては、100ETHが内容として記載される。
 売却トランザクションの実行により、ある匂いコード(製品名:XXX)について、所有者が、譲受者HB(アカウント番号BBB)に書き換わるとともに、著作者HA(アカウント番号:AAA)の残高が、100ETH増加している。
 売却トランザクションの実行は、特に限定されないが、イーサリウムによるスマートコントラクトであれば、ブロックチェーンBCで、分散アプリケーションプログラムとして実行される。コンセンサスアルゴリズムとして、ブロックチェーンBC内のノード400.1~400.Mのうち、いずれのノードが、新たなブロックの生成権を得るかは、POS(Proof of stake)方式で決定されてもよいし、あるいは、他のスマートコントラクト方式であって、POW(Proof of Work)方式が採用されてもよい。
 著作者HAの端末1000は、匂いコードについてのNFTの発行を請求する端末である。著作者HAの端末1000は、プロセッサ及びプロセッサに接続されたメモリを備えるコンピュータによって構成される。メモリには、コンピュータプログラムが格納される。コンピュータプログラムは、プロセッサによって実行される。
 管理サーバ3000は、著作者HAの端末100から発行請求されたNFTに関する情報(NFT情報)を、ネットワークを介して取得することができる。NFT情報は、例えば、NFTに関連付けられ、ブロックチェーンBCに格納された匂いコードである。あるいは、匂いコードは、NFT情報として、IPFSに格納されていてもよい。
 次に、匂い噴霧装置3などの「匂いの再生装置」において、匂いの再生処理を行う構成について説明する。
 図23は、第3実施形態に係る能動的に匂いを再現する場合のフロー図を示す図である。
 図21Aおよび図20Bと図23とを参照して、コンテンツ再生装置REに接続する噴霧装置に、匂いを再生するためのカートリッジが装着され(S1040)、コンテンツ再生装置REが、カートリッジのメモリに格納されている情報の読み取りを行う(S1042)。ここで、カートリッジのメモリは、フラッシュメモリなどの不揮発性メモリである。
 特に限定されないが、カートリッジの情報(使用開始からの時間や再生回数など)に応じて、「使用が制限」されたり、「匂いコード」の内容が、適宜、変更されてもよい。
 たとえば、放出制御部は、カートリッジのメモリに格納されている、カートリッジCAの初回使用からの使用回数に応じて、使用上限値に達すると使用を制限したり、あるいは、メモリに格納されている使用時間に応じて、上限値に達すると使用を制限することとしてもよい。また、カートリッジCAの使用開始タイミング(例えば、製造時、装着時、初回使用時等)より、所定の日数(例えば、半年)が経過している場合に、経年劣化している旨をアラートしたり、カートリッジCAの交換を促すようなメッセージを出力したり、匂い噴霧装置3の使用を制限するとよい。あるいは、放出制御部は、カートリッジCAの使用状態に応じて、放出情報を調整してもよい。例えば、放出制御部は、所定の期間経過したカートリッジを用いる場合に、当該カートリッジCAの香料を通常よりも多く噴霧したり、噴霧時間を長くしてもよい。
 たとえば、使用者によるボタンやリモコン、別のコンピュータからの指示などで、コンテンツ再生装置REへ駆動要求を出すと(S1044)、管理サーバ3000は、ブロックチェーンBCに対して、NFTの参照により、駆動要求を出した使用者に対する認証の確認を要求する(S1046)。
 特に限定されないが、たとえば、再生装置REからは、自身の秘密鍵により、匂いコードに関する情報やNFTの内容などを暗号化したデータを電子署名として作成して、管理サーバ3000に対して送信する。
 ブロックチェーンBCでは、NFTとスマートコントラクトにより、電子署名に基づいて、認証確認要求の要求元が、NFTの所有者であることを認証し(S1048―1)、ブロックチェーンBCに記録されるNFTの内容と照合して(S1048―2)、管理サーバ3000に返信する。
 管理サーバ3000は、ブロックチェーンBCから要求のあった「匂いコード」の所有者と所有者の取引履歴とが、認証されたことを確認すると(S1050―1)、認証処理を実行して(S1050―2)、再生装置REに対して、要求のあった匂いコードを送付(配信)する(S1052)。
 再生装置REは、匂いコードを受信するとコードを読み込んで(S1054―1)、デバイスを駆動し、匂いの再生処理を実行する(S1054―2)。特に限定されないが、たとえば、1回要求につき、再生時間は、所定の時間に制限されている構成とすることができる。
 再生装置REは、匂いの再生処理が完了すると、電子署名とともに、NFTの内容の更新要求を管理サーバ3000に対して送信する(S1056)。これにより、NFTに記録される累積再生回数または累積再生時間が更新の要求が出されることになる。
 管理サーバ3000は、スマートコントラクトの更新トランザクションをブロックチェーンBCに対して発行し(S1058)、ブロックチェーンBCでは、電子署名を検証して(S1060―1)、更新トランザクションデータを記録し(S1060―2)、NFTのステートデータの更新処理を実行する(S1060―3)。
 図24は、第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第1の例を示す図である。
 トランザクションの第1の例では、匂いコードの所有者が、アカウント番号BBBの所有者であり、使用回数が更新される場合を示す。
 図24を参照して、更新前は、NFTには、「アカウント番号:AAA」と、「製品名:XXX」と、「所有者(および所有物)アカウント番号:BBB」と、バランス情報である「残高:0ETH」)と、「使用可能回数:100」とが記録されている。
 更新トランザクションは、所有者HB(アカウント番号BBB)から、著作者HA(アカウント番号:AAA)へ向けて送信され、トランザクションの手数料としては、10ETHであり、更新の手数料としては、0.01ETHが内容として記載される。
 更新トランザクションの実行により、ある匂いコード(製品名:XXX)について、NFTに記録される残高が、「残高:0.01ETH」に書き換わるとともに、使用可能回数は、99回に減少している。
 ここでも、更新トランザクションの実行は、特に限定されないが、イーサリウムによるスマートコントラクトであれば、ブロックチェーンBCで、分散アプリケーションプログラムとして実行される。コンセンサスアルゴリズムとして、ブロックチェーンBC内のノード400.1~400.Mのうち、いずれのノードが、新たなブロックの生成権を得るかは、POS(Proof of stake)方式で決定されてもよいし、あるいは、他のスマートコントラクト方式であって、POW(Proof of Work)方式が採用されてもよい。
 図25は、第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第2の例を示す図である。
 図25においては、図24で説明した構成と比べると、スマートコントラクトによって、使用可能回数の更新が実施され、使用可能データは、NFT内には記録されず、ステートデータ内のみに記録される構成となっている。
 図26は、第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第3の例を示す図である。
 図26においては、図25で説明した構成と比べると、スマートコントラクトによって、使用可能回数の更新が実施され、かつ、スマートコントラクトの関数として使用時間が実行されて、使用後には、使用可能回数が99回になるとともに、使用時間である1時間が記録されている。使用可能データと使用時間は、NFT内には記録されず、ステートデータ内のみに記録される構成となっている。
 使用時間が所定の時間を超過した後は、再生装置REでは、匂いの再生が実行されない構成とすることができる。
 図27は、第3実施形態に係る匂い再生装置REを使用した場合のトランザクションの第4の例を示す図である。
 図26においては、図25で説明した構成と比べると、スマートコントラクトによって、使用可能回数の更新が実施され、かつ、スマートコントラクトの関数として有効持続時間が実行されて、使用後には、使用可能回数が99回になるとともに、有効持続時間が1000時間から999時間となることが記録されている。使用可能データと有効持続時間は、NFT内には記録されず、ステートデータ内のみに記録される構成となっている。
 有効持続時間の経過後は、再生装置REでは、匂いの再生が実行されない構成とすることができる。
 図28は、第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第3の例を示す図である。
 図28において、著作者としては、上述のとおり、例えば、香水の組成を開発した者(典型的には香水メーカー)、または当該香水の匂い情報を生成した者等が挙げられる。なお、香水の匂い情報を生成した者は、例えば、香水メーカーの生成した香水の匂いを、独自に再構成して、少なくとも部分的に異なる組成により作り変えた匂いを管理してもよい。
 また、図28における第三者としては、例えば、再生装置REの所有者(ユーザa)とは異なるユーザ(ユーザB)等が挙げられる。具体的には、第三者(ユーザB)が、香水の匂い(のNFT)を所有している場合に、当該所有している匂いを、近接しているユーザaに嗅がせるパターンが想定される。この場合、図28の第三者から管理サーバに向かう矢印に示すように、第三者から、匂い情報(匂いコード)と第三者を特定する情報と再生装置REであるデバイスAを特定する情報とを署名情報として管理サーバを介して、再生装置REであるデバイスA(放出機)へ送られる。
 なお、近接しているとは、現実空間上でのユーザ同士が近接している場合でもよく、仮想空間上でのユーザaおよびユーザBにそれぞれ対応するアバター同士が近接している場合でもよい。
 なお、第三者が、所定の匂いコードを所有していない場合には、デバイスAから管理サーバを介して、第三者の所有する匂い情報(匂いコード)が、近接する所有者(ユーザa)に送られることも想定される。
 なお、著作者と匂い情報の所有者とが同一の場合も想定される。
 具体的には、自然物(例えば、メタバース上における草原等)の匂いを所定のユーザに嗅がせる場合に、メタバース上の所有者(土地の所有者、コーディングした者等)と、当該土地における草原の匂いに関する著作者とが同一になることが考えられる。
 また、飲食店(例えば、ラーメン店)の店主が、近接する所定のユーザにラーメンの匂いを嗅がせる場合も、当該店主がラーメンの匂いの著作者かつ所有者となる。
 なお、図28における第三者は、匂い情報の代わりに、所定のユーザに近接したことを示す情報を、管理サーバに送信してもよい。
 また、上述のとおり、第三者は、匂いを放出するデバイス(放出機)を所持していなくてもよい。
 図29は、第3実施形態に係る受動的に匂いを再現する場合のフロー図を示す図である。
 図29は、図23に示した能動的に匂いを再現する場合のフロー図に対応する図である。
 図23の場合と異なるのは、処理の開始が、管理サーバ3000が第三者からの匂いコードの受信により始まる(S1045)点と、上述した通り、第三者が管理サーバ3000へ匂いコードを送信する際に、署名情報として以下の情報を送信する点である。
     a)匂いコード
     b)匂いコードの所有者である第三者を識別する情報
     c)再生装置REの所有者(ユーザa)を識別する情報
       (cについては、再生装置RE自身を識別する情報であってもよい)
 それ以外の処理の流れは図23と共通であるので、説明は繰り返さない。
(第4実施形態)
 図30は、第4実施形態の概要を示す概念図である。
 第4実施形態に係るサーバ(管理サーバ)は、デバイスA(例えば、匂い放出機)の稼働可否を制御する。
 すなわち、匂いコードについて、再生装置REの所有者であって、かつ、匂いコードの所有者でもあるユーザから、署名情報とともに、使用要求が管理サーバに送信されると、管理サーバは、ブロックチェーンBCに記録されているNFTの情報に基づいて、使用要求について、その使用者が正当な匂いの所有者であるかを認証する。そして、認証結果により、管理サーバは、その所有者が使用条件を満たしているかを判断して、匂いの使用可否を判断する。このような判断結果に応じて、再生装置REであるデバイスAが、再生動作を制御する。
 例えば、所定の香水を10回放出できる匂い情報のNFTを所有しているユーザについて、NFTの所有者、使用履歴(行動履歴;使用済回数、使用可能回数等)、使用条件等を管理するために、匂い放出機の動作制御を行うことが想定される。
 これにより、仮想的に香水が空の状態であることを再現することができる。また、匂いの量り売りを再現することもできる。
 また、管理サーバは、使用履歴を、NFTを用いて管理することで、香水の匂いを放出した時点からの経過時間に応じて、匂いを変化させることもできる。これにより、香水をつけたときの香り(トップノート)、少し時間が経過したときの香り(ミドルノート)、香水の香りが消えるまで続く香り(ラストノート)を再現することができる。
 なお、図30に示すサーバ、デバイス等のハードウェア構成は、たとえば、図20Aおよび図20Bに示したハードウェア構成と同様のため、説明を省略する。
 第4実施形態に係るサーバ(管理サーバ)は、NFTに基づくデバイス動作制御を行う情報処理装置である。
 また、管理サーバ3000の構成は、図17に示したものと、同様である。
 すなわち、サーバのCPU3040においては、動作する際に、要求受付MD3041、NFT認証処理MD3043、匂いコード配信処理MD3045、情報処理MD3046中の動作制御モジュール等が機能する。
 要求受付MD3041は、ブロックチェーンBCで管理された所定の匂い情報に関するNFTの所有者から、匂い情報を使用するための要求を受け付ける。
 NFT認証処理MD3043は、匂い情報に関するNFTの認証を行う。
 匂いコード配信処理MD3045は、認証によって、匂い情報の使用可否を判断する。
 動作制御部は、匂いコード配信処理MD3045において、記匂い情報の使用が可能と判断された場合に、再生装置REの動作を制御する信号を生成して配信する。
(第5実施形態)
 図31Aおよび図31Bは、第5実施形態の概要を示す図である。
 図31Aおよび図31Bにおいても、情報加工者サーバ2000は、原著作者から、匂いの素材または原材料を受け取って、匂いコードに変換する業務を実行するサーバであり、図5で説明したサーバ1と基本的には、同一の構成を有する。また、第5実施形態に係る管理サーバ3000も、匂い情報のブロックチェーン管理を行う情報処理装置である。端末1000からの匂いの情報コード化請求に応じて、情報加工者サーバ2000が匂いコードを生成して、管理サーバ3000に送信する。さらに、端末1000からNFTの発行要求に従って、管理サーバ3000が、ブロックチェーンBCに対してNFTを発行する。
 第5実施形態においては、メタバースサービス提供サーバ4000が、コンテンツ再生装置REに対応する再生装置2210(コンテンツ再生装置と匂い噴霧装置とを総称して「再生装置」と呼ぶ)の所有者(ユーザa)の端末2200に仮想空間(メタバース)の画像情報や音声情報を提供している。ここでは、NFTの売却により、メタバースサービス提供サーバ4000の管理者が、匂いコードの所有者となっているものとする。また、端末2200としては、液晶ディスプレイなどへの2次元画像の再生およびスピーカによる音の再生を想定しているものの、たとえば、ヘッドマウントディスプレイなどで、画像が再生され、音声もヘッドフォン経由で再生されてもよい。
 メタバースサービス提供サーバ4000から、メタバースの画像情報の提供に連動して、匂いコードの使用要求が、管理サーバ3000に送信される。ここで、使用要求には、匂いコードの所有者であることと、再生装置2210とを示す情報を含む電子署名が含まれるものとする。ここで、「再生装置2210を示す情報」とは、たとえば、再生装置の識別番号や、再生装置のグローバルアドレスなど、再生装置を特定して情報を送信可能な情報を意味する。
 管理サーバ3000は、ブロックチェーンBCに、NFTの認証確認を行い、使用要求の発信者が正当な所有者であることを認証すると、匂いコードを指定された再生装置2210に配信する。
 再生装置2210からは、匂いコードの再生処理の完了に応じて、使用履歴(行動履歴;使用済回数、使用可能回数等)に関する情報を更新するためのNFTトランザクション更新要求が、管理サーバ3000宛に送信される。
 管理サーバ3000は、NFT更新トランザクションを発行して、ブロックチェーンBCで管理される、匂いコードの使用履歴の情報を更新する。
 この使用履歴の情報により、第4実施形態と同様に、匂いコードの再生処理を制御することが可能となる。
 また、後述するような第5実施形態の変形例で説明するように、メタバース空間におけるユーザのアバターの位置情報や環境情報に応じて、匂い情報または味情報に対応する匂いまたは味の再生を制御する構成とすることも可能である。
 図32は、第5実施形態の変形例の構成を説明するための概念図である。
 第5実施形態の変形例に係る管理サーバ3000は、メタバース空間上における空間情報を用いて、匂いを再現する。
 なお、図32に示すサーバ、デバイス等のハードウェア構成は、図4に示したハードウェア構成と同様である。
 図33Aおよび図33Bは、第5実施形態の変形例において、メタバース環境に関するシステムの構成を示す図である。
 第5実施形態の変形例に係る管理サーバ3000は、メタバース空間情報に基づく匂い再現を行う情報処理装置である。
 また、管理サーバ3000のCPUにおいて、情報処理MD3046中には、動作する際に、メタバースサービス提供サーバ4000から、ユーザのアバターのメタバース内の位置情報を取得する位置情報取得モジュール(位置情報取得MD)、メタバースサービス提供サーバ4000で設定されるメタバースの環境情報を取得する環境情報取得モジュール(環境情報取得MD)、匂い制御モジュール(匂い制御MD)等が機能の機能ブロックを含む。
 図33Aおよび図33Bにおいても、端末1000からの匂いの情報コード化請求に応じて、情報加工者サーバ2000が匂いコードを生成して、管理サーバ3000に送信する。さらに、端末1000からNFTの発行要求に従って、管理サーバ3000が、ブロックチェーンBCに対してNFTを発行する。また、ここでも、NFTの売却により、メタバースサービス提供サーバ4000の管理者が、匂いコードの所有者となっていてもよい。あるいは、NFTの売却により、匂いコードの所有者は、ユーザbとなっており、匂いコードの再生が実行される再生装置2210の所有者であるユーザaとは、異なる者であってもよいものとする。
 管理サーバ3000の位置情報取得MDは、メタバースサービス提供サーバ4000から、所定のメタバース空間における第1ユーザ(ユーザa)および第2ユーザ(ユーザb)のアバターの空間位置情報を取得する。
 環境情報取得MDは、メタバース空間における第1ユーザおよび第2ユーザのアバター周囲の環境情報を取得する。
 匂い制御MDは、位置情報または環境情報に基づいて、メタバース空間における第1ユーザおよび第2ユーザのアバターが知覚する匂いに対応する匂い情報を生成または制御する。
 メタバースサービス提供サーバ4000は、第1ユーザ(ユーザa)および第2ユーザ(ユーザb)の端末2200および端末2100の再生装置2110および再生装置2210に対して、それぞれ、メタバースの映像情報および音声情報を提供する。ここでも、端末2200および2100としては、液晶ディスプレイなどへの2次元画像の再生とスピーカによる音再生を想定しているものの、たとえば、ヘッドマウントディスプレイなどで、画像が再生され、音声もヘッドフォン経由で再生されてもよい。また、ここでも、コンテンツ再生装置と匂い噴霧装置(匂い再生デバイス)とを総称して「再生装置」と呼ぶ。
 すなわち、管理サーバ3000は、場面や状況に応じて、メタバースのアバターに対応するユーザに対して再生される匂いを調整する。
 例えば、サーバは、仮想空間内での空間情報に依存(相関)して匂いを放出するよう制御する。
 空間情報としては、例えば、以下の例が挙げられる。
  ・温度、湿度、風力の設定値
  ・空間の広さ(例えば、建物内やトンネルなど建造物や洞窟、谷などの地形における閉鎖空間を想定)
  ・拡散速度、閉鎖空間の体積、換気量の設定値
 また、例えば、サーバは、仮想空間内での位置情報に依存(相関)して匂いを放出するよう制御する。
 位置情報としては、例えば、以下の例が挙げられる。
  ・第1ユーザ(ユーザa)および第2ユーザに対応するアバター同士の相対的な位置関係
  ・仮想空間内のおけるアバターの座標(位置)
 ここで、「アバター同士の相対的な位置関係」は、上述の「所定のメタバース空間における第1ユーザのアバターの位置情報」に基づいて、他のユーザのアバターとの距離から算出することができる。
 また、「仮想空間内のおけるアバターの座標(位置)」は、上述の「所定のメタバース空間における第1ユーザのアバターの位置情報」に対応するものとする。
 そして、空間情報によって、再生される匂いや味については、たとえば、以下のようなテーブルが予め準備されており、メタバースサービス提供サーバ4000からの使用要求において、このような空間情報に応じた再生条件データが、管理サーバ3000に送信される構成とすることができる。管理サーバ3000から、匂いコードと共に再生条件データが再生デバイス2210に配信され、再生デバイス2210において、再生条件データに応じた再生処理が実行される。
Figure JPOXMLDOC01-appb-T000001
 なお、上記の表における再生条件は例示であって、事前の実験により設定を変更してもよい。基準となる温度、湿度、風速も、別の値であってもよい。また、匂いの種類によって、再生条件の係数を変更してもよい。味については、温度と湿度で別の設定値を設定することができるし、味の種類によって、再生条件の係数を変更してもよい。あるいは、温度、湿度、風速の可能な組み合わせについて、それぞれ、再生条件が設定されていてもよい。
 次に、たとえば、アバター同士の相対的な位置関係による匂いの再生処理を例に説明すると、以下のとおりである。
 メタバースサービス提供サーバ4000から提供されるメタバースの画像情報において、アバター同士の相対的な位置関係が、所定の条件を満たすことに連動して、匂いコードの使用要求が、たとえば、メタバースサービス提供サーバ4000から管理サーバ3000に送信される。ここで、使用要求には、匂いコードの所有者であることと、再生装置2210とを示す電子署名が含まれるものとする。
 管理サーバ3000は、ブロックチェーンBCに、NFTの認証確認を行い、使用要求の発信者が正当な所有者であることを認証すると、匂いコードを指定された再生装置2210に配信する。
 再生装置2210からは、匂いコードの再生処理の完了に応じて、使用履歴(行動履歴;使用済回数、使用可能回数等)に関する情報を更新するためのNFTトランザクション更新要求が、管理サーバ3000宛に送信される。
 管理サーバ3000は、NFT更新トランザクションを発行して、ブロックチェーンBCで管理される、匂いコードの使用履歴の情報を更新する。
 この使用履歴の情報により、第4実施形態と同様に、匂いコードの再生処理を制御することが可能となる。
 なお、上記の設定条件とは別に、香る範囲や香る地点を自由に指定可能(受付可能)としてもよい。
 また、匂いフィルターにより、嗅ぎたい匂いのみを嗅げるようにする機能を有していてもよい。
 また、ユーザが指定するアバターのみに対して、匂いを放出させてもよい。たとえば、上述したように、NFTの売却により、匂いコードの所有者が、ユーザbとなっており、匂いコードの再生が実行される再生装置2210の所有者であるユーザaとは、異なる者となっているとする。この場合は、ユーザbの端末2100からの使用許可を事前に、メタバースサービス提供サーバ4000に送信しておく。そして、アバター同士の相対的な位置関係が、所定の条件(たとえば、仮想空間内の距離が所定の値以下となること)を満たすことに連動して、匂いコードの使用要求が、メタバースサービス提供サーバ4000から管理サーバ3000に送信される。ここで、使用要求には、ユーザbが匂いコードの所有者であることと、再生装置2210とを示す電子署名が含まれるものとする。管理サーバ3000は、ブロックチェーンBCに、NFTの認証確認を行い、使用要求の発信者が正当な所有者であることを認証すると、匂いコードを指定された再生装置2210に配信する。再生装置2210からは、匂いコードの再生処理の完了に応じて、使用履歴(行動履歴;使用済回数、使用可能回数等)に関する情報を更新するためのNFTトランザクション更新要求が、管理サーバ3000宛に送信される。管理サーバ3000は、NFT更新トランザクションを発行して、ブロックチェーンBCで管理される、匂いコードの使用履歴の情報を更新する。このようにすることで、匂いコードの所有者が、ユーザbである場合にも、この使用履歴の情報により、第4実施形態と同様に、匂いコードの再生処理を制御することが可能となる。
 また、仮想空間内の匂い積算量および匂い放出機(ディフューザー)の放出量の積算に基づいて、放出量を調節してもよい。
 また、仮想空間内の匂いを探索する機能を有していてもよい。例えば、匂いに適宜色付け等を行うことにより可視化してもよい。また、仮想空間上のどの位置に、どの匂いが対応付けられているかを探索することもできる。
 また、ユーザ(利用者)の現実空間における人体の情報と連動させてもよい。例えば、ユーザの年齢、性別などの人体情報や、食事内容、体調等に対応させて、匂いを発生させてもよい。
 また、匂いの履歴(例えば、放出履歴)を管理してもよい。また、当該履歴や匂いそのものを可視化してもよい。
 また、ユーザ(利用者)の匂いの放出履歴と仮想通貨などの報酬とを連携させて管理してもよい。
 また、所定の仮想空間内における第三者(訪問者)の属性情報を連携させて管理してもよい。
 また、現実では有り得ない、あるいは概念としては存在するが知覚できないものを、仮想的に匂いとして表現(再現)してもよい。
 現実空間における時間(時刻)と連動してもよい。例えば、朝、昼、夜に応じて、匂いを変化させてもよい。
 また、現実空間にはあり得ない速度や減衰で、仮想空間内の匂いを伝わるように制御してもよい。これにより、例えば、現実空間における1日を、仮想空間における1年とするなど、現実空間とは異なる時間の流れを表現することができる。また、様々な超現実空間を表現することができる。
 なお、上述の「匂い放出量の調節」は、匂い放出機を介した嗅覚への作用の強弱の調節であるといえる。
 また、放出量の調節には、単なる放出量の調節のみならず、嗅覚刺激の度合いを踏まえた放出量の調節が重要となる。
 具体的には、臭気の強度は、一番弱い(匂いの存在を感じる下限濃度)状態を「1」として、それ以上匂い分子の濃度を上げても差異が無い臭気の強度を「5」と評価する、5段階の数値化方法が一般的である。
 つまり、臭気の強度が5以上の場合、嗅覚のダイナミックレンジを超えてしまうため、感度を飽和してしまう(知覚ずる周期に差異を感じなくなる)。このため、飽和する濃度(例えば、臭気の強度が「5」)での匂い放出は意味が無いため、放出量だけでなく、嗅覚のダイナミックレンジを踏まえて放出量を調節することが重要である。
 上記の機能に関する実施例を以下に示す。
 例えば、好みの香水をアバターにつけて、仮想空間内のアバター間の相対的位置関係により、匂いを他のアバターのユーザに嗅がせることができる。
 また、例えば、温度、湿度、風力の設定値に基づいて、仮想現実(VR)を楽しむことができる。具体的には、風下はより匂いを強く感じるため、一人称ゲームにおけるハンティングゲームで位置取りに匂いを活用できる。また、温度、湿度、風力の設定値は、日本太平洋岸における「夏→南風→潮の香」といったシチュエーション設定にも活用できる。
 また、仮想空間上における爆発による焦げ臭の強さ(臭気の強さや、速度)に基づいて、爆発地点からの距離感を明確に感じさせることができる。
 また、仮想空間内に設定された部屋で、アロマ、香水、フレーバーの利用する場合に、仮想空間内の閉鎖空間における匂いの拡散速度、閉鎖空間の体積、換気量を設定値として活用することができる。
 また、匂いの公開範囲を、例えば、家族、友人、第三者などに設定することができる。
 また、フォーマル、インフォーマルの匂い分け(エリアごとのドレスコード等)、リージョン制限(国家、宗教配慮)を行うことができる。
 また、利用者が密集する仮想空間内で、匂いを検出する範囲を狭めるような調整や、人間の鼻や脳に過大な負担を掛けない程度に放出量を調整することができる。
 また、匂いの範囲をボールや銃弾のように飛ばして、相手や物にぶつける機能を設けることで、例えば、仮想空間上の雪合戦、銃撃戦などに利用することができる。
 また、匂いの発生源をレーダーや、探知犬のように探索する機能を設けることで、トレジャーハントなどのゲームに利用することができる。
 また、表情や脈など利用者の人体情報との連携を行い、ストレス値を検出して、匂いとして表現する機能を設けることで、例えば、人狼ゲームなどに利用することができる。
 また、匂いの履歴を水流のような表現で可視化する機能を設けることで、ハンティングゲームでの獲物の追跡や、食べ物から漂う匂いを表現して集客などに利用することができる。
 また、指定の匂いの利用した場合に、仮想通貨などの報酬が貰える機能を設けることができる。例えば、使用回数との連携や、仮想空間を歩き回り、匂いを振りまくなどの行動履歴で報酬がもらえるような機能を設けることができる。これにより、例えば、アバターに屋台で買ったヤキソバを持たせて他のアバターとすれ違い匂いを拡散するほど、または新発売の香水をつけて歩くほど報酬が貰えるなど、広告媒体として用いることができる。
 また、香りの履歴を記した(可視化した)MAPを用意して、人間の好みの傾向分析データと結び付けてパーソナリティ予測を行うこともできる。例えば、ある香りをした建物や人の周りにはどんな香りの人が集まるかの情報を集積し分析する。そして、香りに紐づいた購入者情報などと結び付けることにより、ターゲッティング広告に利用することができる(香りの広がりを元にしたインフルエンサーとなる人物を探す際にも使用可能)。
 また、時間の匂い、季節の匂い、光の匂い、次元が変わる際の匂いなど、現実空間では有り得ない現象や匂いが無いもの、あるいは概念を匂いとして作成して放出する機能を有していてもよい。これにより、同一ゲーム内で3Dから2Dにキャラクターや空間が変換された際や、キャラクターが放つ魔法などに紐づいた特殊な匂いを放出することができる。
 また、例えば、昼の12時にピザの匂いを放出して、ピザの宅配に関するリンクを表示するなど、広告として用いることもできる。
(第6実施形態)
 図34は、第6実施形態の概要を示す概念図である。
 第6実施形態に係る匂い提供サーバ5000は、対象物(例えば、ラーメン)を含む画像を入力すると、当該対象物を認識して、対応する匂い情報(例えば、ラーメンの匂い情報)を出力する。
 ここで、人間は目隠しをすると匂いの認知(分解能や感度)が低下するため、人間の匂いの認知は、視覚に補助されていると考えられている。そのため、匂いの伝送においては、画像と匂いをセットにして、同時提供することが多いと考えられる。
 そこで、入力画像を人工知能AI(例えば、機械学習により生成した分類器)で、対応する匂いを出力する例について説明する。
 例えば、現実空間または仮想空間内に配置された対象物の色、形状等に基づいて、当該対象をAIにより認識して、対象物の匂いを自動的に生成する。
 なお、本実施形態では、対象物の匂い情報を推定する例について説明するが、対象物の味情報を推定して再生する構成としてもよい。
 また、図34に示すサーバ、デバイス等のハードウェア構成は、図4に示したハードウェア構成と同様のため、説明を省略する。
 第6実施形態に係る匂い提供サーバ5000は、画像情報に基づく匂い再現を行う情報処理装置である。
 また、図34において、管理サーバ3000は、匂い提供サーバ5000に対して、画像情報から匂いコードを推定するための「学習済モデル」を生成するための学習データを提供する。管理サーバ3000へは、各匂いコードと対応する画像データとの所有者の端末2200.1~2200.Nから、学習データとしての使用を要求する(匂い提供サーバ5000での使用を許諾する)認証情報(電子署名)が送信される。このような認証情報の承認は、図31Aおよび図31Bに示したのと同様に、ブロックチェーンBCにより管理されるNFTに基づいて、実行される構成とすることができる。
 また、匂い提供サーバ5000のCPUにも、情報処理MDが設けられており、情報処理MDは、動作する際に、学習データ取得モジュール(学習データ取得MD)、画像認識モジュール(画像認識MD)、匂いコード学習処理モジュール(匂いコード学習処理MD)、匂い推定モジュール(匂い推定MD)等の機能ブロックを含む。
 学習データ取得MDは、管理サーバ3000から、認証された所定の対象物を含む画像情報と匂いコードとを取得する。なお、この匂いコードは、図31Aおよび図31Bで説明した構成と同様に、匂いコードによる人工知能の学習後に、再生処理を行う際の「使用可能回数」や「使用可能時間」を制限する情報が、ブロックチェーンにより管理されている構成としてもよい。
 画像認識MDは、画像情報に基づいて、画像中の匂いの対象物の種類を認識する。画像データから、画像中の対象物の種類を分類する処理は、特に限定されないが、たとえば、畳み込みニューラルネットワークを利用した人工知能モデルに対して、予め、教師あり学習を実行することにより、分類処理を実行するための学習済モデルを生成しておくことで実行できる。分類結果は、たとえば、分類結果ごとに、確率を出力する構成とすることができる。
 匂いコード学習処理MDは、画像認識MDの認識結果に応じて、認識結果を教師データとして、対応する匂いコードを学習して、推定する学習済モデルを生成する。ここでも、特に限定されないが、たとえば、ニューラルネットワークを利用した人工知能モデルに対して、予め、教師あり学習を実行することにより、分類処理を実行するための学習済モデルを生成することができる。
 匂い推定MDは、学習済モデルにより、入力される画像中の対象物の種類に対応する対象物の匂い情報を推定する。この場合、最も確率の高い分類結果に対応する匂いコードの匂いを再生する構成とすることができる。また、特に限定されないが、上述のとおり、分類結果が、分類結果ごとに、確率を出力する構成である場合、この分類結果ごとの確率の重みとして分類結果ごとの再生する匂いを合成する構成としてもよい。
 第6実施形態の実施例としては、以下のものが想定される。
 例えば、仮想空間において、スミレの花の色と形状をした物体がアバターの近傍にある場合に、AIがスミレと判断してアバターの操縦者(ユーザ)にスミレの匂いを嗅がせることが想定される。この場合は、図31Aおよび図31Bで説明したのと同様に、再生処理を行う際の「使用可能回数」や「使用可能時間」を制限する情報が、ブロックチェーンにより管理されている構成のときは、匂い提供サーバ5000が、管理サーバ3000に対して、匂いの使用要求を送信して、管理サーバ3000が、使用条件が満たされていることを確認すると、推定した「匂いコード」が、匂い提供サーバ5000から再生デバイスに配信される構成とすることも可能である。
 また、例えば、現実空間において、カレーの色と形状をした物体がカメラの近傍にあれば、AIがカレーと判断して、遠隔地のディスプレイでカレーの画像と同時にカレーの匂いを放出する。
 すなわち、あらかじめ匂い情報を用意したり、対象物に紐づけられていなくても、サーバの制御によって、入力された画像に基づいて、対象物に対応する匂いを放出するよう制御することができる。これにより、例えば、既存の匂い情報が付されていないコンテンツを鑑賞するユーザが、当該コンテンツに表示される様々な対象物の匂いを嗅ぐことができるため、より没入感を高めることができる。
 あるいは、画像情報に基づく匂い再現については、以下のような処理を実行することも可能である。
 i)メタバースのような仮想空間において、図31Aおよび図31Bまたは図33Aおよび図33Bのような制御を実行する場合、メタバースサービス提供サーバ4000が、端末2100や端末2200に配信する画像を、サーバ内で準備した段階で、画像情報に基づいて、予め再生デバイスで再生する匂い(や味)を予め人工知能により予測して、配信する匂いコードを画像の配信よりも前のタイミングで、再生デバイスに配信しておき、再生デバイス側で匂い再生の準備をしておく構成とすることも可能である。この場合は、再生デバイス側では、使用要求に対して認証がされ管理サーバ3000から通知がされた時点で、タイムラグを最小限として、匂い(や味)の再生を実施することが可能となる。
 ii)また、実空間において、図1または図7のように、匂い(や味)の中継制御を実行する場合、サーバ1が、TVに配信する画像を、サーバ内で準備した段階で、画像情報に基づいて、予め再生デバイスで再生する匂い(や味)を予め人工知能により予測して、配信する匂いコードを画像の配信よりも前のタイミングで、再生デバイスに配信しておき、再生デバイス側で匂い再生の準備をしておく構成とすることも可能である。この場合は、再生デバイス側では、中継される対応する画像データの配信がされた時点で、タイムラグを最小限として、匂い(や味)の再生を実施することが可能となる。匂い(や味)の再生に対応する画像の配信のタイミングは、サーバ1から通知されるものとする。
 図35Aおよび図35Bは、IPFSを用いたNFT管理の一例を示す図である。
 図35Aに示すように、たとえば、ウェブ上の画像をNFTで示されるように、NFTでは、スマートコントラクトにより、ブロックチェーンBCにより管理される履歴をたどることで、その画像が、本物(唯一性)を証明することは可能である。
 しかしながら、画像自体の複製は可能である。
 そこで、図35Bに示すように、IPFSを利用して画像情報自体は、IPFS内に格納しておき、P2P接続の端末間のドメイン情報により、ある端末からの接続要求が、正当な所有者からの要求であるときに、その画像を、接続要求元の端末に表示させる、というような制御が可能となる。
 同様の制御を、「匂いコード」の配信にも利用することが可能である。
(その他)
 また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、上述の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に上述の例に限定されない。また、機能ブロックの存在場所も、特に限定されず、任意でよい。例えば、サーバ(情報処理装置)の機能ブロックを他の装置等に移譲させてもよい。逆に他の装置の機能ブロックをサーバ等に移譲させてもよい。また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
 このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザ等に提供される記録媒体等で構成される。プログラムはネットワークを介して配信可能であることから、記録媒体は、ネットワークに接続された、或いは接続可能なコンピュータに搭載、或いはアクセス可能なものであってもよい。
 なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
 換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(1)複数種類の嗅覚受容体または味覚受容体の応答を示す受容体応答情報を取得する取得装置と、受容体応答情報を格納させる記憶装置と、受容体応答情報に応じて、複数種類の匂いまたは味の受容に関する物質の放出に関する放出情報を決定する放出情報決定装置と、放出情報に基づいて、複数種類の匂いまたは味の受容に関する物質のうち少なくとも1つの物質を放出させるための放出制御装置と、を有する情報処理装置である。
 これにより、目標の匂いを非属人的に再現することができる。
 また、(2)受容体応答情報は、複数種類の受容体における匂い分子または味に対する特徴量であって、応答強度、応答強度の面積、応答持続性、応答速度、ピーク時間、応答の立ち上り、ピーク数のうち少なくとも1つの特徴量を示す情報であるとよい。
 これにより、目標の匂いまたは味を精度良く再現することができる。香料または調味料の拡がり方や、温度によって、人が感じる匂いまたは味が異なるため、正確に目標の匂いまたは味を再現するためには、これらの情報が多く含まれる方がよい。
 また、(3)記憶装置は、受容体応答情報を、放出情報に対応付けるための対応付けテーブルを有し、放出情報決定装置は、受容体応答情報および対応付けテーブルに基づいて、放出情報を決定するとよい。
 これにより、応答情報が決まれば、対応する放出情報に変換できるため、非属人的に目標の匂いまたは味を再現することができる。
 また、(4)記憶装置は、受容体応答情報と、受容体応答情報に対応する放出情報とを教師データとした機械学習により予め生成された学習モデルをさらに記憶し、放出情報決定装置は、学習モデルを用いて、取得装置によって取得された受容体応答情報に基づく、放出情報を決定するとよい。
 これにより、上述のような対応付けテーブルを生成することが難しい場合でも、対応付けデータ(教師データ)を用意することで、非属人的に目標の匂いまたは味を再現することができる。
 また、(5)放出情報決定装置は、匂いまたは味の受容に関する物質における放出時間、放出量、放出温度、放出回数、放出口絞り量のうち少なくとも1つの放出情報を決定するとよい。
 これにより、目標の匂いまたは味を、高精度に再現することができる。
 また、(6)放出情報決定装置は、受容体応答情報と、物質を放出する空間の状態または物質を放出する対象との位置関係に関する空間パラメータとに応じて、放出情報を決定するとよい。
 これにより、例えば、映画館のような人の鼻(顔)の位置がある程度特定できる場合(直接噴霧する場合)は、鼻との距離や温度、湿度等に基づいて、噴霧方向、噴霧量、噴霧濃度等を制御することができる。また、例えば、スポーツスタジアムのような広い空間の場合(間接的に噴霧する場合)は、空間の広さ、風量、風向、温度、湿度等に基づいて、噴霧方向、噴霧量、噴霧濃度等を制御することができる。
 また、本発明が適用されるカートリッジは、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(7)上述の情報処理装置が放出させる匂いまたは味の受容に関する物質を充填させるためのカートリッジであって、特定の受容体のみを選択的に応答させる組成物が充填されたカートリッジである。
 また、本発明が適用される放出装置(匂い噴霧装置3)は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(8)上述のカートリッジを装着させるための装着部と、放出制御装置による放出制御に基づいて、匂いまたは味の受容に関する物質を放出させる放出口と、を有する放出装置である。
 これにより、適切な放出を行うことで、目標の匂いまたは味を再現することができる。
 また、本発明が適用される作成方法は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(9)上述の放出装置によって、匂いまたは味の受容に関する物質を放出する工程を含む、匂いまたは味の作成方法である。
 また、本発明が適用されるデータ構造は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(10)上述の情報処理装置に用いられる受容体応答情報のデータ構造である。
 また、本発明が適用される生成方法は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(11)受容体応答情報に対して所定のエンコードを行うことにより、受容体応答情報をN次元コードに変換するエンコードステップを有するN次元コードの生成方法である。
 また、本発明が適用される生成方法は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(12)受容体応答情報に対して所定のエンコードが行われて変換されたN次元コードに対して所定のデコードを行うことにより、N次元コードを受容体応答情報に変換するデコードステップを有する、デコード受容体応答情報の生成方法である。
 また、本発明が適用される制御方法は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(13)複数種類の嗅覚受容体または味覚受容体の応答を示す受容体応答情報を取得する取得ステップと、受容体応答情報に応じて、複数種類の香料または調味料における匂いまたは味放出に関する放出情報を決定する放出情報決定ステップと、放出情報に基づいて、複数種類の香料または調味料のうち少なくとも1つの香料または調味料を放出させる放出制御ステップと、を有する情報処理装置の制御方法である。
 また、本発明が適用されるコンピュータプログラムは、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(14)複数種類の嗅覚受容体または味覚受容体の応答を示す受容体応答情報を取得する取得ステップと、受容体応答情報に応じて、複数種類の香料または調味料における匂いまたは味放出に関する放出情報を決定する放出情報決定ステップと、放出情報に基づいて、複数種類の香料または調味料のうち少なくとも1つの香料または調味料を放出させる放出制御ステップと、をコンピュータによって実行させるためのコンピュータプログラムである。
 また、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(2)匂い情報または味情報のブロックチェーン管理を行う情報処理装置であって、
 ブロックチェーンで管理された所定の匂い情報または味情報に関するNFTの所有者から、匂い情報または味情報を使用するための要求を受け付ける受付装置と、
 匂い情報または味情報に関するNFTの認証を行うことにより、匂い情報または味情報の唯一性の証明または取引履歴の整合性を確認する確認装置と、
 を有する情報処理装置である。
 また、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(3)NFTに基づくデバイス動作制御を行う情報処理装置であって、
 ブロックチェーンで管理された所定の匂い情報または味情報に関するNFTの所有者から、匂い情報または味情報を使用するための要求を受け付ける受付装置と、
 匂い情報または味情報に関するNFTの認証を行う認証装置と、
 認証によって、匂い情報または味情報の使用可否を判断する判断装置と、
 判断装置によって、匂い情報または味情報の使用が可能と判断された場合に、所定の匂い再現装置または味再現装置の動作を制御する動作制御装置と、
 を有する情報処理装置である。
 また、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(4)メタバース空間情報に基づく匂い再現または味再現を行う情報処理装置であって、
 所定のメタバース空間における第1ユーザのアバターの位置情報を取得する位置情報取得装置と、
 メタバース空間における第1ユーザのアバター周囲の環境情報を取得する環境情報取得装置と、
 位置情報または環境情報に基づいて、メタバース空間における第1ユーザのアバターが知覚する匂いまたは味に対応する匂い情報または味情報を生成する生成装置と、
 を有する情報処理装置である。
 また、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
 すなわち、(5)画像情報に基づく匂い再現または味再現を行う情報処理装置であって、
 所定の対象物を含む画像情報を取得する取得装置と、
 画像情報に基づいて、対象物の種類を認識する認識装置と、
 種類に対応する対象物の匂い情報または味情報を推定する推定装置と、
 を有する情報処理装置である。
 なお、以下のような構成をとることも可能である。
 メタバース空間でのサービスにおいてメタバース空間での情報に基づく匂い再現または味再現を行うシステムであって、
 ピアツーピアの通信で、ブロックチェーンを構成する複数のノードのそれぞれに対応する複数のコンピュータと、
 ブロックチェーンに対してトランザクションを発行可能であって、匂い情報または味情報の原所有者からの発行要求に応じて、ブロックチェーンに非代替性トークンを登録し、非代替性トークンの所有情報に基づく正当性の確認をするための管理装置とを備え、
 非代替性トークンは、匂い情報または味情報のコードデータと関連付けられており、
 ブロックチェーンは、コードデータが原所有者から第1の利用者に移転することに応じて、非代替性トークンの所有情報の変更を記録し、非代替性トークンに基づいて、匂い情報または味情報の使用の正当性の確認結果を返信し、
  コードデータを利用し、第1の利用者とは異なり、メタバース空間でのサービスを利用する第2の利用者に対して、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための第1の再生デバイスをさらに備え、
 第1の利用者の装置からの使用要求として、ブロックチェーンへ第1利用者と第2の再生デバイスを特定する情報を認証情報として含む使用要求が送信され、ブロックチェーン内の非代替性トークンの所有情報に基づく確認結果に応じて、第1の再生デバイスが、再生処理を実行する、システム。
 このようなシステムにおいて、第1の再生デバイスは、メタバース空間における第2の利用者に対応するアバターに関する空間情報に応じて、再生処理を制御し、空間情報は、メタバース空間のアバターの環境として、設定される仮想的な温度、湿度または風速の設定を含む。
 あるいは、このようなシステムにおいて、第1の利用者の装置は、第2の利用者に対して、仮想空間の画像および音声を配信するためのサーバー装置であり、サーバー装置から配信される画像に応じて、使用要求を管理装置に発信して、第1の再生デバイスに連動した再生処理を実行させる。
 あるいは、このようなシステムにおいて、第1の利用者の装置および第2の利用者の装置に対して、メタバース空間の画像および音声を配信するためのサーバー装置をさらに備え、メタバース空間における第1の利用者のアバターが、メタバース空間の第2の利用者のアバターに、所定の距離以内に近づくことに応じて、サーバー装置が、使用要求を管理装置に発信して、第1の再生デバイスに連動した再生処理を実行させる。
 あるいは、このようなシステムにおいて、メタバース空間でのサービスを利用する第1の利用者に対して、コードデータを利用し、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための第2の再生デバイスをさらに備え、メタバース空間における第2の利用者のアバターが、メタバース空間の第1の利用者のアバターに、所定の距離以内に近づくことに応じて、サーバー装置が、使用要求を管理装置に発信して、第2の再生デバイスに連動した再生処理を実行させる。
 あるいは、このようなシステムにおいて、第1の再生デバイスは、メタバース空間における第2の利用者に対応する使用条件に応じて、再生処理を制御し、使用条件の情報は、記匂いまたは味の再生処理の上限値が含まれ、管理装置は、第1の利用者の装置からの使用要求について、正当性の確認される回数または再生時間の少なくとも一方が、上限値を超えた場合、正当性が確認されたときでも、再生を許可する確認結果を再生デバイスに送信しない。
 あるいは、このようなシステムにおいて、管理装置は、コードデータが原所有者から利用者に移転することに応じて、非代替性トークンの所有情報の変更のトランザクションを発信する。
 あるいは、このようなシステムにおいて、管理装置は、使用要求に応じて、ブロックチェーン内に保持される非代替性トークンの所有情報により、利用者が非代替性トークンの所有者であることを確認する。
 あるいは、このようなシステムにおいて、管理装置は、正当性が確認されることに応じて、第1の再生デバイスが、複数種類の匂いまたは味の受容に関する物質を使用して、再生処理を実行するためのコードデータを、第1の再生デバイスに送信する。
 あるいは、以下のような構成をとることも可能である。
 メタバース空間でのサービスにおいてメタバース空間での情報に基づく匂い再現または味再現の管理を行う管理装置であって、ネットワークを介して通信を実行するためのインタフェースと、インタフェースを介して、ブロックチェーンに対してトランザクションを発行し、匂いの再現または味の再現を実行する再生デバイスの動作を制御するための演算装置とを備え、演算装置は、匂い情報または味情報の原所有者からの発行要求に応じて、ブロックチェーンに非代替性トークンを登録し、非代替性トークンは、匂い情報または味情報のコードデータと関連付けられており、コードデータが原所有者から第1の利用者に移転することに応じて、非代替性トークンの所有情報の変更をブロックチェーンに記録し、第1の利用者の装置からの使用要求として、ブロックチェーンへ第1利用者と再生デバイスを特定する情報を認証情報として含む使用要求が送信され、ブロックチェーン内の非代替性トークンの所有情報に基づく確認結果に応じて、再生デバイスに、コードデータを配信し、コードデータは、再生デバイスが、第1の利用者とは異なり、メタバース空間でのサービスを利用する第2の利用者に対して、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するためのものである。
  1:サーバ         2:受容体情報決定装置   3:匂い噴霧装置
 11:CPU        18:記憶部        19:通信部
 31:応答情報取得部    32:撮像画像取得部    33:機種情報取得部
 34:噴霧情報決定部    35:噴霧制御部      36:表示制御部
 41:応答情報DB     42:機種情報DB     43:対応付けDB
 CO:匂い捕集装置     CA:カートリッジ     NO:ノズル
 RE:コンテンツ再生装置  TV:表示装置

Claims (21)

  1.  匂い情報または味情報の使用の正当性を認証するためのシステムであって、
     匂い情報または味情報の原所有者が、前記匂い情報または味情報のコードデータと関連付けられた非代替性トークンの発行要求を発信するための原所有者端末と、
     ピアツーピアの通信で、ブロックチェーンを構成する複数のノードのそれぞれに対応する複数のコンピュータとを備え、
     前記ブロックチェーンは、前記発行要求に応じて、前記ブロックチェーン内に非代替性トークンを記録し、前記非代替性トークンに基づいて、前記正当性の確認結果を返信し、
     前記ブロックチェーンは、前記コードデータが前記原所有者から利用者に移転することに応じて、前記非代替性トークンの所有情報の変更を記録し、
     前記コードデータを利用して、前記匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための再生デバイスをさらに備え、
     前記再生デバイスは、前記利用者の再生指示に応じて、前記ブロックチェーンへ、前記利用者の認証情報を含む使用要求を送信し、前記ブロックチェーン内の前記非代替性トークンの前記所有情報に基づく前記確認結果を受信することに応じて、前記再生処理を実行する、システム。
  2.  前記ブロックチェーンに対してトランザクションを発行可能であって、前記発行要求に応じて、前記ブロックチェーンに非代替性トークンを登録し、前記非代替性トークンの前記所有情報に基づく前記正当性の確認をするための管理装置をさらに備え、
     前記管理装置は、前記コードデータが前記原所有者から前記利用者に移転することに応じて、前記非代替性トークンの前記所有情報の変更のトランザクションを発信する、請求項1記載のシステム。
  3.  前記管理装置は、前記再生デバイスからの前記使用要求に応じて、前記ブロックチェーン内に保持される前記非代替性トークンの前記所有情報により、前記利用者が前記非代替性トークンの所有者であることを確認する、請求項2記載のシステム。
  4.  前記ブロックチェーンは、前記コードデータの使用条件の設定を行うためのスマートコントラクトプログラムを実行し、
     前記管理装置は、前記再生デバイスからの前記要求に応じて、前記非代替性トークンに関連付けられる前記使用条件の更新を前記スマートコントラクトプログラムに発行する、請求項2記載のシステム。
  5.  前記管理装置は、前記正当性が確認されることに応じて、
     前記再生デバイスが、前記複数種類の匂いまたは味の受容に関する物質を使用して、前記再生処理を実行するための前記コードデータを、前記再生デバイスに送信する、請求項1~4のいずれか1項に記載のシステム。 
  6.  前記管理装置は、前記匂いまたは味の使用条件が満たされることに応じて、前記コードデータを、前記再生デバイスに送信する、請求項5記載のシステム。
  7.  前記使用条件の情報は、前記記匂いまたは味の再生処理の上限値が含まれ、
     前記管理装置は、前記再生デバイスからの前記使用要求について、前記正当性の確認される回数または再生時間の少なくとも一方が、前記上限値を超えた場合、前記正当性が確認されたときでも、再生を許可する前記確認結果を前記再生デバイスに送信しない、請求項6記載のシステム。
  8.  前記再生デバイスは、着脱可能に装着されるカートリッジを含み、
     前記カートリッジは、
      前記再生デバイスに装着可能で、前記複数種類の匂いまたは味の受容に関する物質を収納するケースと、
      前記カートリッジの所有者を認証するための前記認証情報を格納するための不揮発性メモリとを含み、
     前記再生デバイスは、前記使用要求の送信において、前記認証情報を送信し、
     前記ブロックチェーンは、前記認証情報に基づき、前記ブロックチェーン内に保持される前記非代替性トークンの所有者を確認することで、前記正当性を確認する、請求項1~4のいずれか1項に記載のシステム。
  9.  前記不揮発性メモリは、前記カートリッジの使用開始時期の情報を格納しており、
     前記再生デバイスは、前記使用要求の送信において、前記使用開始時時期の情報を、前記管理装置に送信し、
     前記管理装置は、前記再生デバイスからの前記使用要求について、前記正当性の確認された場合であっても、前記使用開始時期に応じて、再生を許可する前記確認結果を前記再生デバイスに送信しない、請求項8記載のシステム。
  10.  前記不揮発性メモリは、前記カートリッジの使用開始時期の情報を格納しており、
     前記再生デバイスは、前記使用要求の送信において、前記使用開始時時期の情報を、前記管理装置に送信し、
     前記管理装置は、前記再生デバイスからの前記使用要求について、前記正当性の確認された場合、前記使用開始時期に応じて、前記コードデータを所定の条件にしたがって変更する、請求項8記載のシステム。
  11.  匂い情報または味情報の使用の正当性をブロックチェーンを用いて管理するための管理装置であって、
     前記ブロックチェーンに保持される非代替性トークンと関連するコードデータの所有者から、前記匂い情報または味情報の再生を行うための使用要求を受け付ける通信インタフェースを備え、
     前記非代替性トークンは、前記匂い情報または味情報の原所有者からの要求に応じて、前記匂い情報または味情報の再生のための前記コードデータと関連するものであり、
     前記通信インタフェースを介して、前記ブロックチェーンと通信することにより、前記非代替性トークンの認証を行うことにより、前記コードデータの正当性が確認されることに応じて、前記使用要求に対する許可を通知する、管理装置。
  12.  前記管理装置は、再生デバイスからの前記使用要求に応じて、前記ブロックチェーン内に保持される前記非代替性トークンの前記所有情報により、前記利用者が前記非代替性トークンの所有者であることを確認する、請求項11記載の管理装置。
  13.  前記ブロックチェーンは、前記コードデータの使用条件の設定を行うためのスマートコントラクトプログラムを実行し、
     前記管理装置は、再生デバイスからの前記使用要求に応じて、前記非代替性トークンに関連付けられる前記使用条件の更新を前記スマートコントラクトプログラムに発行する、請求項11記載の管理装置。
  14.  前記管理装置は、前記正当性が確認されることに応じて、
     前記再生デバイスが、前記複数種類の匂いまたは味の受容に関する物質を使用して、前記再生処理を実行するための前記コードデータを、前記再生デバイスに送信する、請求項12または13記載の管理装置。
  15.  前記管理装置から送信される前記コードデータには、前記匂いまたは味の使用条件の情報が含まれる、請求項14記載の管理装置。
  16.  前記使用条件の情報は、前記記匂いまたは味の再生処理の上限値が含まれ、
     前記管理装置は、前記再生デバイスからの前記使用要求について、前記正当性の確認される回数または再生時間の少なくとも一方が、前記上限値を超えた場合、前記正当性が確認されたときでも、再生を許可する前記確認結果を前記再生デバイスに送信しない、請求項15記載の管理装置。
  17.  前記使用要求は、前記利用者により、前記コードデータを利用して、前記匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための再生デバイスから送信されるものであり、
     前記再生デバイスは、着脱可能に装着されるカートリッジを含み、
     前記カートリッジは、
     前記再生装置に装着可能で、前記複数種類の匂いまたは味の受容に関する物質を収納するケースと、
     前記カートリッジの所有者を認証するための前記認証情報を格納するための不揮発性メモリとを含み、
     前記再生デバイスは、前記使用要求の送信において、前記認証情報を前記管理装置に送信し、
     前記管理装置は、前記認証情報に基づき、前記ブロックチェーン内に保持される前記非代替性トークンの所有者を確認することで、前記正当性を確認する、請求項11に記載の管理装置。
  18.  前記不揮発性メモリは、前記カートリッジの使用開始時期の情報を格納しており、
     前記再生デバイスは、前記使用要求の送信において、前記使用開始時時期の情報を、前記管理装置に送信し、
     前記管理装置は、前記再生デバイスからの前記使用要求について、前記正当性の確認された場合であっても、前記使用開始時期に応じて、再生を許可する前記確認結果を前記再生デバイスに送信しない、請求項17記載の管理装置。
  19.  前記不揮発性メモリは、前記カートリッジの使用開始時期の情報を格納しており、
     前記再生デバイスは、前記使用要求の送信において、前記使用開始時時期の情報を、前記管理装置に送信し、
     前記管理装置は、前記再生デバイスからの前記使用要求について、前記正当性の確認された場合、前記使用開始時期に応じて、前記コードデータを所定の条件にしたがって変更する、請求項18記載の管理装置。
  20.  匂いまたは味の受容に関する物質を充填させるためのカートリッジを着脱可能に装着させるための装着部と、
     複数種類の匂いまたは味の受容に関する物質の放出に関するコードデータに基づいて、前記複数種類の匂いまたは味の受容に関する物質のうち少なくとも1つの物質を、前記カートリッジから放出させるための放出制御部と、
     前記放出制御部による放出制御に基づいて、前記匂いまたは味の受容に関する物質を放出させる放出口とを有し、
     前記放出制御部は、装着された前記カートリッジに格納された認証情報を読み取り、利用者からの再生指示に応じて、前記認証情報を含む使用要求を、管理装置へ送信し、前記管理装置がブロックチェーンに格納される前記利用者の前記コードデータの所有を示す非代替性トークンにより、前記匂い情報または味情報の使用の正当性が認証されたことを示す確認結果を送信し、前記確認結果を受信することに応じて、前記放出のための処理を実行する、再生デバイス。
  21.  匂いまたは味の受容に関する物質を充填させるためのカートリッジを着脱可能に装着させるための装着部と、複数種類の匂いまたは味の受容に関する物質の放出に関するコードデータに基づいて、前記複数種類の匂いまたは味の受容に関する物質のうち少なくとも1つの物質を、前記カートリッジから放出させるための放出制御部と、前記放出制御部による放出制御に基づいて、前記匂いまたは味の受容に関する物質を放出させる放出口とを有し、前記放出制御部は、装着された前記カートリッジに格納された認証情報を読み取り、利用者からの再生指示に応じて、前記認証情報を含む使用要求を、管理装置へ送信し、前記管理装置がブロックチェーンに格納される前記利用者の前記コードデータの所有を示す非代替性トークンにより、前記匂い情報または味情報の使用の正当性が認証されたことを示す確認結果を送信し、前記確認結果を受信することに応じて、前記放出のための処理を実行する、 再生デバイスに装着されるカートリッジであって、
     前記装着部に装着可能で、前記複数種類の匂いまたは味の受容に関する物質を収納するケースと、
     前記認証情報を格納するための不揮発性メモリと、
     前記放出制御部との間で前記前記情報を示すデータの授受を行うためのインタフェースとを有する、カートリッジ。
PCT/JP2023/020276 2022-05-31 2023-05-31 システム、管理装置、再生デバイスおよびカートリッジ WO2023234348A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023563846A JP7485437B2 (ja) 2022-05-31 2023-05-31 システム、管理装置、再生デバイスおよびカートリッジ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-089246 2022-05-31
JP2022089246 2022-05-31

Publications (1)

Publication Number Publication Date
WO2023234348A1 true WO2023234348A1 (ja) 2023-12-07

Family

ID=89024957

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020276 WO2023234348A1 (ja) 2022-05-31 2023-05-31 システム、管理装置、再生デバイスおよびカートリッジ

Country Status (1)

Country Link
WO (1) WO2023234348A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008308649A (ja) * 2007-06-18 2008-12-25 Kyushu Univ 匂いコーディングシステム及び方法、匂い合成システム、並びに、プログラム
US20170076403A1 (en) * 2014-02-26 2017-03-16 Vapor Communications, Inc. Systems, methods and articles to provide olfactory sensations in a social network environment
JP2020042364A (ja) * 2018-09-06 2020-03-19 有限会社富士機工 情報処理方法、情報処理装置及びプログラム
US20200276549A1 (en) * 2017-11-08 2020-09-03 Noustique Perfumes, S.L. Dispensing device, method for operating, and method for providing a fragrance blend
WO2021261296A1 (ja) * 2020-06-22 2021-12-30 ソニーグループ株式会社 芳香提示装置、芳香提示システム、及び管理装置
WO2022084859A1 (en) * 2020-10-19 2022-04-28 Shirole Smita Devidas Perfume as-a-service based on blockchain

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008308649A (ja) * 2007-06-18 2008-12-25 Kyushu Univ 匂いコーディングシステム及び方法、匂い合成システム、並びに、プログラム
US20170076403A1 (en) * 2014-02-26 2017-03-16 Vapor Communications, Inc. Systems, methods and articles to provide olfactory sensations in a social network environment
US20200276549A1 (en) * 2017-11-08 2020-09-03 Noustique Perfumes, S.L. Dispensing device, method for operating, and method for providing a fragrance blend
JP2020042364A (ja) * 2018-09-06 2020-03-19 有限会社富士機工 情報処理方法、情報処理装置及びプログラム
WO2021261296A1 (ja) * 2020-06-22 2021-12-30 ソニーグループ株式会社 芳香提示装置、芳香提示システム、及び管理装置
WO2022084859A1 (en) * 2020-10-19 2022-04-28 Shirole Smita Devidas Perfume as-a-service based on blockchain

Also Published As

Publication number Publication date
JPWO2023234348A1 (ja) 2023-12-07

Similar Documents

Publication Publication Date Title
JP5466646B2 (ja) オンラインレポーティング装置および方法
JP5032594B2 (ja) オンライン環境の修正装置および方法
US8508572B2 (en) Live broadcast interview conducted between studio booth and interviewer at remove location
US20230009304A1 (en) Systems and Methods for Token Management in Augmented and Virtual Environments
US20090307611A1 (en) System and method of providing access to virtual spaces that are associated with physical analogues in the real world
CN113282182A (zh) 控制经由头戴式显示器呈现的个人空间内容
CN110336850A (zh) 附加组件管理
US9037486B2 (en) Method for disabling and re-enabling third-party ads
US20230264107A1 (en) Facilitating play of games via genre customized display of game nfts
US20100056273A1 (en) Extensible system for customized avatars and accessories
US10902437B2 (en) Interactive product evaluation and service within a virtual universe
CA2664235A1 (en) Live broadcast interview conducted between studio booth and interviewer at remote location
WO2023074022A1 (ja) アバター管理システム、アバター管理方法、プログラム、及びコンピュータ読み取り可能な記録媒体
JP7449031B1 (ja) システムおよび管理装置
WO2023234348A1 (ja) システム、管理装置、再生デバイスおよびカートリッジ
US20130144761A1 (en) System and method for the distribution of digital content and revenue
JP7485437B2 (ja) システム、管理装置、再生デバイスおよびカートリッジ
JP2023177338A (ja) 情報処理装置およびシステム
JP2023177337A (ja) システおよび管理装置
JP7129579B1 (ja) 情報処理装置及び情報処理方法
KR20070026917A (ko) 연예 매니지먼트 사업에 적용되는 캐릭터 제공방법
US11831637B2 (en) Avatar management system, avatar management method, program, and computer-readable recording medium
JP2024002880A (ja) 動画データ伝送方法、動画データ送信システム、及び動画データ送信プログラム
KR102489898B1 (ko) 아바타를 이용하는 토탈 엔터테인먼트 컨텐츠 시스템 및 그 제공방법
Xia et al. How social and media cues induce live streaming impulse buying? SOR model perspective

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023563846

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23816105

Country of ref document: EP

Kind code of ref document: A1