WO2019087502A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2019087502A1
WO2019087502A1 PCT/JP2018/029273 JP2018029273W WO2019087502A1 WO 2019087502 A1 WO2019087502 A1 WO 2019087502A1 JP 2018029273 W JP2018029273 W JP 2018029273W WO 2019087502 A1 WO2019087502 A1 WO 2019087502A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
presentation
sensory
sense
Prior art date
Application number
PCT/JP2018/029273
Other languages
English (en)
French (fr)
Inventor
語楓 金
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880069169.9A priority Critical patent/CN111263926B/zh
Priority to EP18873419.8A priority patent/EP3705981A4/en
Priority to US16/758,502 priority patent/US11169599B2/en
Publication of WO2019087502A1 publication Critical patent/WO2019087502A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • the user may wish to experience again the same sensation as the sensation actually experienced by himself.
  • the user may want to experience the same sensation as the sensation actually experienced by other users. Therefore, it is desirable to provide a technology that enables a user to experience a sensation according to the sensation actually experienced by oneself or another user.
  • a data acquisition unit that acquires relevance data of a plurality of sensory information sensed in advance, and second sensory information that is related to the first sensory information, based on the relevance data.
  • An information processing apparatus comprising: a sensation information determination unit to be determined; and a presentation control unit to control presentation of presentation data corresponding to the second sensation information to a user.
  • An information processing method including: controlling the presentation of presentation data corresponding to the second sensory information to a user by the processor.
  • a computer is provided with a data acquisition unit for acquiring relevance data of a plurality of sensory information sensed in advance, and a second relevance to the first sensory information based on the relevance data.
  • a program for functioning as an information processing apparatus comprising: a sensory information determination unit that determines sensory information; and a presentation control unit that controls presentation of presentation data corresponding to the second sensory information to a user .
  • a technique that enables a user to experience a sensation according to the sensation actually experienced by oneself or another user.
  • the above-mentioned effects are not necessarily limited, and, along with or in place of the above-mentioned effects, any of the effects shown in the present specification, or other effects that can be grasped from the present specification May be played.
  • a plurality of components having substantially the same or similar functional configurations may be distinguished by attaching different numerals after the same reference numerals. However, when it is not necessary to distinguish each of a plurality of components having substantially the same or similar functional configuration, only the same reference numeral is given. Also, similar components in different embodiments may be distinguished by attaching different alphabets after the same reference numerals. However, when it is not necessary to distinguish each of similar components in particular, only the same reference numeral is attached.
  • FIG. 1 is a diagram illustrating an exemplary configuration of an information processing system according to an embodiment of the present disclosure.
  • the information processing system 1 includes a user terminal 10-1, a detection device 30-1, and a presentation device 40-1.
  • the user terminal 10-1, the detection device 30-1, and the presentation device 40-1 may be used by the user U1.
  • the user terminal 10-1 is connected to each of the detection device 30-1 and the presentation device 40-1 by wireless or wire.
  • the user terminal 10-1 is connected to the network 90, and is configured to be able to communicate with the server 20 via the network 90.
  • the information processing system 1 includes a user terminal 10-2, a detection device 30-2, and a presentation device 40-2.
  • the user terminal 10-2, the detection device 30-2, and the presentation device 40-2 can be used by the user U2.
  • the user terminal 10-2 is connected to each of the detection device 30-2 and the presentation device 40-2 wirelessly or by wire.
  • the user terminal 10-2 is connected to the network 90, and is configured to be able to communicate with the server 20 via the network 90.
  • the number of users is two (for the users U1 and U2).
  • the number of users is not particularly limited. That is, if the user experiences again the same sensation as the sensation actually experienced by himself, the number of users may be one. Alternatively, if the user wants to experience the same feeling as the feeling actually experienced by another user, at least two users are required.
  • the number of users may be three or more. When the number of users is three or more, the user terminal 10, the detection device 30, and the presentation device 40 may be provided corresponding to three or more users.
  • the user terminal 10, the detection device 30, and the presentation device 40 are provided for each user.
  • at least a part of the user terminal 10, the detection device 30, and the presentation device 40 may not be provided for each user. That is, at least a portion of the user terminal 10, the detection device 30, and the presentation device 40 may be shared by some or all of the users. In that case, the user may be identifiable by the user ID input at the time of login.
  • the user terminal 10-1 and the user terminal 10-2 are smart phones.
  • the user terminal 10-1 and the user terminal 10-2 are not limited to smartphones.
  • at least a part of the user terminal 10-1 and the user terminal 10-2 may be a mobile phone, a tablet terminal, a PC (Personal Computer), or a head. It may be a mount display or a camera.
  • Each of the user terminal 10-1 and the user terminal 10-2 can function as an information processing apparatus.
  • the information processing system 1 includes a server 20.
  • the server 20 is connected to the network 90.
  • the server 20 is configured to be able to communicate with the user terminal 10-1 via the network 90.
  • the server 20 is configured to be able to communicate with the user terminal 10-2 via the network 90.
  • the server 20 may be configured by a computer independent of the user terminal 10. However, various functions of the server 20 may be incorporated in any of the user terminal 10-1 and the user terminal 10-2.
  • FIG. 2 is a diagram showing an example of a functional configuration of the user terminal 10 according to the embodiment of the present disclosure.
  • the user terminal 10 includes a control unit 110, an operation unit 160, a storage unit 170, a communication unit 180, and an output unit 190.
  • these functional blocks included in the user terminal 10 will be described.
  • the control unit 110 may be configured by, for example, a processing device such as one or more CPUs (central processing units). When these blocks are configured by a processing unit such as a CPU, the processing unit may be configured by an electronic circuit. The control unit 110 can be realized by executing a program by such a processing device. Here, the detailed configuration of the control unit 110 will be described.
  • FIG. 3 is a diagram showing a detailed configuration example of the control unit 110.
  • the control unit 110 includes a detection data acquisition unit 120, a detection data transmission control unit 140, a management data acquisition unit 151, a sense information determination unit 152, and a presentation control unit 153.
  • the detection data acquisition unit 120 acquires data (detection data) detected by the detection device 30 from the detection device 30.
  • the detection data acquisition unit 120 includes a visual information acquisition unit 121, an auditory information acquisition unit 122, an olfactory information acquisition unit 123, a tactile information acquisition unit 124, and a taste information acquisition unit 125. Further, the detection data acquisition unit 120 includes a biological information acquisition unit 131, a geographical information acquisition unit 132, a time information acquisition unit 133, an event information acquisition unit 134, another information acquisition unit 135, and a user information acquisition unit 136.
  • the visual information acquisition unit 121 acquires visual information sensed by the visual information detection device.
  • the visual information detection device may be configured to include an imaging device, obtain an image of the real world captured by the imaging device as visual information, or use environmental sensing technology (SLAM: Simultaneous Localization and Mapping)
  • SLAM Simultaneous Localization and Mapping
  • a three-dimensional environment map of the real world obtained from the image may be obtained as visual information.
  • visual information may be detected by one or more combinations of RGB camera, Depth camera, polarized camera, infrared camera, ultrasonic sensor, gyro sensor, acceleration sensor and GPS (Global Positioning System) sensor .
  • the auditory information acquisition unit 122 acquires the auditory information sensed by the auditory information detection device when the detection device 30 includes the auditory information detection device capable of sensing the auditory information of the user.
  • the auditory information detection apparatus may be configured to include a microphone and obtain sound information detected by the microphone as auditory information.
  • the auditory information acquisition unit 122 may acquire the recognition result of the object together with the sound information when the object in the sound source is recognized from the sound information.
  • the auditory information detection apparatus is configured to include a directional microphone, directional information and distance information from the microphone to the sound source may be acquired together with the sound information.
  • the distance information may be represented by absolute coordinates or may be represented by relative coordinates.
  • the olfactory information acquisition unit 123 acquires olfactory information sensed by the olfactory information detection device.
  • the olfactory information detection apparatus may be configured to include a plurality of sensors that respond to the concentration of a specific gas, and the detection result by the sensors may be obtained as olfactory information.
  • the olfactory information detection apparatus may be configured to include a biosensor that mimics the function of human olfactory sense, and the detection result by such a sensor may be obtained as olfactory information.
  • the tactile information acquisition unit 124 acquires tactile information sensed by the tactile information detection device.
  • the tactile information detection device is configured to include a sensor attached to a part of the body such as the user's arm, foot, finger, etc., detected by such a sensor, when the user holds an object. Force sense to be applied, unevenness of the contact surface when the user touches the material, or the like may be obtained as tactile information.
  • the taste information acquisition unit 125 acquires taste information sensed by the taste information detection device.
  • the taste information detection apparatus may be configured of a sensor (for example, an electroencephalogram sensor, a biological information sensor, or the like) attached to the user, and a detection result by the sensor may be obtained as taste information.
  • the taste information detection apparatus is configured by a taste sensor that directly responds to the component ingested from the user's mouth, the detection result by the sensor may be obtained as taste information.
  • visual information, auditory information, tactile information, olfactory information and taste information can be obtained.
  • visual information, auditory information, tactile information, olfactory information and taste information are also referred to as five sense information. Therefore, "sensory information" used in the present specification may include at least one of five sense information. And five sense information may include visual information, auditory information, tactile information, olfactory information and taste information. However, sensory information is not limited to any of the five sense information.
  • the biological information acquisition unit 131 acquires the biological information sensed by the biological information detection device.
  • the biological information detection apparatus may be configured of a heart rate sensor worn by the user, and the heart rate detected by the sensor may be obtained as biological information (for example, information such as a change in heart rate to a heart rate increase) can get).
  • the biological information detection apparatus is configured by a sweat sensor, the amount of sweat detected by the sensor may be obtained as biological information (for example, when the amount of sweat exceeds a threshold, the user feels heat) Information can be obtained).
  • the biological information detection apparatus is configured by a temperature sensor attached to the user, a change in body temperature detected by the sensor may be obtained as biological information.
  • the geographic information acquisition unit 132 acquires geographic information detected by the user terminal 10.
  • the format of the geographical information is not particularly limited.
  • the geographic information may include GPS information (position information) of the user.
  • the time information acquisition unit 133 acquires time information detected by the user terminal 10.
  • time information may include date, time information, and the like.
  • the event information acquisition unit 134 acquires event information detected by the user terminal 10.
  • the type of event is not limited.
  • the event may be an excursion day, a birthday, or a samba day.
  • the other information acquisition unit 135 acquires other information detected by the user terminal 10.
  • Other information may be any information.
  • the other information may be information registered in the SNS by the user.
  • the other information may be information acquired from another device such as biological information indicating the biological condition of the cat acquired by the biological sensor attached to the domestic cat.
  • the user information acquisition unit 136 acquires the user ID detected by the user terminal 10.
  • the operation unit 160 has a function of receiving an input of an operation by the user.
  • the operation unit 160 includes a touch panel.
  • the operation unit 160 may include a button, a mouse, a keyboard, a switch, a lever, and the like.
  • the operation unit 160 may include a microphone that detects the voice of the user.
  • the storage unit 170 is configured to include a memory, and is a recording medium that stores a program executed by the control unit 110 and stores data necessary for the execution of the program. In addition, the storage unit 170 temporarily stores data for the calculation by the control unit 110.
  • the storage unit 170 is configured of a magnetic storage unit device, a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the communication unit 180 includes a communication circuit, and has a function of communicating with other devices via a network.
  • the communication unit 180 has a function of acquiring data from the other device and providing data to the other device.
  • the communication unit 180 is configured of a communication interface.
  • the output unit 190 outputs various types of information.
  • the output unit 190 may include a display capable of providing a display visible to the user.
  • the display may be a liquid crystal display or an organic EL (Electro-Luminescence) display.
  • the user terminal 10 may not have the output unit 190 when there is no need to display information.
  • the operation unit 160, the communication unit 180, the storage unit 170, and the output unit 190 exist in the user terminal 10. However, at least one of the operation unit 160, the communication unit 180, the storage unit 170, and the output unit 190 may be present outside the user terminal 10.
  • FIG. 4 is a diagram showing an example of a functional configuration of the server 20 according to an embodiment of the present disclosure.
  • the server 20 includes a control unit 210, a storage unit 230, and a communication unit 240.
  • the control unit 210 executes control of each unit of the server 20.
  • the control unit 210 may be configured by, for example, a central processing unit (CPU) or the like.
  • CPU central processing unit
  • the control unit 210 is configured by a processing unit such as a CPU, the processing unit may be configured by an electronic circuit.
  • the control unit 210 can be realized by executing a program by such a processing device.
  • the storage unit 230 is configured to include a memory, and is a recording medium that stores a program executed by the control unit 210 and stores data necessary for the execution of the program. In addition, the storage unit 230 temporarily stores data for the calculation by the control unit 210.
  • the storage unit 230 is configured of a magnetic storage unit device, a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • FIG. 5 is a diagram showing an example of data required to execute a program.
  • the storage unit 230 can store storage data 231 and relevance data 232 as an example of data necessary for execution of a program. The details of the stored data 231 and the relevance data 232 will be described later.
  • the communication unit 240 is configured to include a communication circuit, and has a function of communicating with another device via a network.
  • the communication unit 240 has a function of acquiring data from the other device and providing data to the other device.
  • the communication unit 240 is configured by a communication interface.
  • the detection data acquisition unit 120 detects various information detected by the detection device 30 and the user terminal 10 (five sense information, biological information, geographic information, time information, event information, other information, and user ID Get). For example, five sense information and biological information may be detected by the detection device 30. On the other hand, geographical information, time information, event information, other information, and user ID may be detected at the user terminal 10.
  • detection data any one piece of information in the various pieces of information or a combination of a plurality of pieces of information may be referred to as “detection data”. These detection data are data detected at the corresponding timing from the same user.
  • the corresponding timing may be simultaneous or timing that satisfies a predetermined condition.
  • the detection data transmission control unit 140 controls transmission of various information to the server 20 by the communication unit 180.
  • the data acquisition unit 212 acquires various types of information received from the user terminal 10 by the communication unit 240. Then, the storage control unit 214 updates the storage data 231 stored by the storage unit 230 based on the various information acquired by the data acquisition unit 212. Specifically, the storage control unit 214 may add various information acquired by the data acquisition unit 212 to the storage data 231 stored by the storage unit 230.
  • FIG. 6 is a diagram showing an example of stored data 231.
  • the relevance calculating unit 216 calculates the relevance data 232 based on the stored data 231. Specifically, based on the stored data 231, the relevance calculating unit 216 calculates the degree of association between the plurality of detection data based on the frequency at which the plurality of detection data are detected from the same user at the corresponding timing. For example, based on the stored data 231, the relevance calculating unit 216 calculates the degree of association between the plurality of pieces of sensory information based on the frequency at which the plurality of pieces of sensory information are detected from the same user.
  • the relevancy calculation unit 216 determines from the same user the timing at which the other of the plurality of detection data corresponds to the one. It is mainly assumed that the rate of sensing is calculated as the degree of association. For example, under the condition in which one of the plurality of sensory information is sensed, the relevancy calculation unit 216 detects the ratio of the sensing by the same user at the timing when the other of the plurality of sensory information corresponds to the one, Calculated as relevance.
  • FIG. 7 is a diagram showing an example of the relevance data 232.
  • the ratio of the second detection data detected from the same user at the timing corresponding to the first detection data is It is included as “relevance”.
  • the second detection data "hearing information A1" corresponds to the first detection data "visual information V1" at the same timing.
  • the percentage sensed by the user is included as "2% relevance”.
  • the degree of association to be compared with the threshold may be expressed in any manner.
  • the ratio may be used directly as described above, or may be another value after the ratio has been converted. The calculation of the degree of association will be described more specifically.
  • a feature extracted from sensory information or biological information may be shown in parentheses immediately after the sensory information or biological information (for example, visual information (cookie)).
  • visual information A (cat), visual information B (a cat's mouth is open), visual information C (a person), tactile information A (left hand: feeling of hair of a cat), tactile information B (right hand: possession It is assumed that the weight of the toy being played, hearing information A (cat's cry), and other information A (the cat's attached sensor detects that the blood glucose level is low).
  • the relevance calculating unit 216 enhances the degree of association of the visual information C with the visual information A, and the visual information A + C is obtained.
  • the degree of association with the tactile information A may be increased, and the degree of association of the visual information A + C + the tactile information B with the tactile information A may be enhanced. That is, the relevancy calculation unit 216 may increase the degree of relevancy of the newly appearing combination, and may increase the degree of relevancy between the reoccurring combinations.
  • the relevance calculating unit 216 enhances the degree of association of the visual information A with the visual information C, and the visual information A The degree of association with the visual information B of Then, when the degree of association between the plurality of pieces of sensory information reaches a predetermined value, the association calculation unit 216 may determine the degree of association between the plurality of pieces of sensory information as “relevant”.
  • the relation calculation unit 216 relates the visual information A to the tactile information B. You may lower the degree. Then, when the degree of association between the plurality of pieces of sensory information reaches a predetermined value, the association calculation unit 216 may determine the degree of association between the plurality of pieces of sensory information as “no association”.
  • the degree of association of the combination of visual information A, visual information B and other information A to auditory information A exceeds the threshold (for example, as high as 80%), visual information A, visual information B and other information
  • the threshold for example, as high as 80%
  • visual information A, visual information B and other information In the case where visual information A and visual information B are acquired simultaneously with other information A when the degree of association to auditory information A in combination with other than A is less than the threshold (for example, as low as 2%) It may be determined that it is a requirement for generating auditory information A below.
  • the calculation of the degree of association may be performed by another method.
  • the relevance calculating unit 216 calculates the degree of association between a plurality of pieces of sensory information using a technique such as artificial intelligence or machine learning, or other sensory information occurs under the condition that sensory information is generated. You may calculate the conditions for doing.
  • detection of any user is performed without considering which user the detected data included in the stored data 231 is detected from. It is mainly assumed that the degree of association is calculated collectively based on the data. However, the degree of association based on the detection data included in the storage data 231 may be calculated for each user in which the detection data is detected.
  • FIG. 8 is a flowchart illustrating an example of registration processing by the information processing system 1 according to an embodiment of the present disclosure. Note that the flowchart illustrated in FIG. 8 merely illustrates an example of registration processing by the information processing system 1 according to an embodiment of the present disclosure. Therefore, the registration process by the information processing system 1 according to the embodiment of the present disclosure is not limited to the example of the flowchart illustrated in FIG.
  • the detection data acquisition unit 120 detects various information detected by the detection device 30 and the user terminal 10 (five sense information, biological information, geographic information, time information, event information, other information, and user ID ) Is acquired (S11). Then, the detection data transmission control unit 140 controls transmission of various information to the server 20 by the communication unit 180 (S12).
  • FIG. 9 is a flowchart illustrating an example of data update processing by the information processing system 1 according to an embodiment of the present disclosure. Note that the flowchart illustrated in FIG. 9 merely illustrates an example of data update processing by the information processing system 1 according to an embodiment of the present disclosure. Therefore, the data update process by the information processing system 1 according to the embodiment of the present disclosure is not limited to the example of the flowchart illustrated in FIG.
  • the communication unit 240 receives various information transmitted from the user terminal 10 (S21), and the data acquisition unit 212 acquires various information received by the communication unit 240. Then, the storage control unit 214 updates the storage data 231 based on the various information acquired by the data acquisition unit 212 (S22). The relevance calculating unit 216 updates the relevance data 232 based on the stored data 231 (S23).
  • first sense information is selected.
  • the first sense information selected by the user U2 is received by the operation unit 160 and acquired by the sense information determination unit 152.
  • the first sensory information may be selected in any way.
  • the first sensory information may be selected by the user terminal 10-2 according to a predetermined algorithm.
  • the first sensation information selected by the predetermined algorithm is acquired by the sensation information determination unit 152.
  • the management data acquisition unit 151 acquires the relevance data 232 from the server 20.
  • the sensory information determination unit 152 determines second sensory information related to the first sensory information based on the relevance data. Specifically, the sensory information determination unit 152 may determine the second sensory information based on the sensory information in which the degree of association with the first sensory information exceeds a threshold. For example, the sensory information determination unit 152 may determine, as the second sensory information, sensory information in which the degree of association with the first sensory information exceeds a threshold.
  • the presentation control unit 153 controls the presentation of presentation data corresponding to the second sensation information to the user U2. According to such a configuration, the user U2 can experience the sense corresponding to the sense actually experienced by the user U1.
  • the type of the first sensory information is the type of the second sensory information such that the type of the first sensory information is visual information and the type of the second sensory information is auditory information. It may be different from Then, the user U2 can experience the same sensation as the sensation actually experienced by the user U1 with another kind of sensation.
  • the presentation control unit 153 controls the presentation of presentation data corresponding to the second sense information to the user U2, the presentation control unit 153 presents the presentation data corresponding to the first sense information to the user U2. May also be controlled.
  • presentation data corresponding to the first sense information is also presented to the user U2, it is expected that the sense that the user U2 wants to experience is experienced by the user U2 with a stronger sense of reality.
  • the sense corresponding to the first sense information is indicated as "sense X0". Then, it is assumed that “sense X1”, “sense X2”, and “sense X3” are acquired as senses corresponding to second sense information having relevance to the first sense information.
  • the presentation control unit 153 causes the user U2 of the presentation data corresponding to the “sense X0” so that not only the “feeling X1”, “feeling X2”, “feeling X3” but also “feeling X0” is experienced by the user U2.
  • the presentation to may also be controlled.
  • the presentation control unit 153 controls the presentation of the presentation data corresponding to the second sense information to the user U2, the presentation control unit 153 sends the user U2 of the presentation data corresponding to the first sense information. It is not necessary to control the presentation of When presentation data corresponding to the first sense information is not presented to the user U2, the sense that the user U2 wants to experience is indirectly experienced by the user U2.
  • the presentation control unit 153 allows the user U2 to experience “feeling X1”, “feeling X2”, and “feeling X3”, but allows "feeling X0" not to be experienced by the user U2.
  • the presentation of the corresponding presentation data to the user U2 may not be controlled.
  • the sense information and the presentation data may be associated in advance.
  • the presentation control unit 153 may control presentation data corresponding to visual information to be presented by the visual presentation device.
  • the presentation control unit 153 may control the presentation of presentation data corresponding to the visual information of the cookie by generating image data corresponding to the visual information of the cookie and controlling the presentation by the visual presentation device.
  • the presentation control unit 153 may control presentation data corresponding to haptic information to be presented by the haptic presentation device.
  • the presentation control unit 153 generates haptic information corresponding to tactile information of a cookie (such as a touch of holding a cookie in hand), and controls presentation by the tactile presentation device to present the tactile information corresponding to the cookie.
  • Data presentation may be controlled.
  • the presentation control unit 153 gives the user a greasy feel when touched by the user, predicts the weight from the size of the cookie, and applies pressure to the user's hand. You may give it a heavy feeling.
  • the presentation control unit 153 controls the crispness of the cookie to the user by controlling the tactile presentation device to apply a predetermined appropriate repulsive force to the user's teeth when a chewing motion by the user is detected. May be given.
  • the presentation control unit 153 may control such that presentation data corresponding to olfactory information is presented by the olfactory presentation device.
  • the presentation control unit 153 generates the olfactory information corresponding to the olfactory information of the cookie (such as the smell of the cookie), and controls the presentation by the olfactory presentation apparatus to present the presentation data corresponding to the olfactory information of the cookie. You may control.
  • the presentation control unit 153 may generate an odor such that the odor is transmitted through the air from the location of the cookie.
  • the presentation control unit 153 may increase the concentration of the odor of the cookie by increasing the intensity of the odor emission as the user approaches the image of the cookie virtually displayed.
  • the presentation control unit 153 may control presentation data corresponding to the hearing information to be presented by the hearing presentation device.
  • the presentation control unit 153 generates auditory information corresponding to auditory information of cookies (such as a sound of biting a cookie), and controls presentation by the auditory presentation device to present presentation data corresponding to auditory information of cookies. May be controlled.
  • the presentation control unit 153 generates sound data that bites crisply and presents the generated sound data according to the movement of the teeth and the virtual location of the cookie in the mouth. Even in the case of controlling the presentation of presentation data corresponding to auditory information, the presentation control unit 153 has localized sound data and a three-dimensional effect as in the case of controlling presentation of presentation data corresponding to olfactory information. It may control the presentation of emitted sound data.
  • recognition for sensory information features of the sensory information can be extracted (even if recognition of biological information is performed, features of the biological information can be extracted). For example, if recognition is performed on visual information including a cookie, it can be understood that the visual regarding the cookie is experienced by the user by the sense being experienced by the user.
  • FIG. 10 is a diagram showing a specific example in which the sense that the user U2 wants to experience is indirectly experienced by the user U2.
  • the user U2 wants to experience the taste of cookies and the user U2 selects "taste information (cookie)" as the first sensory information at the user terminal 10-2.
  • the first sensory information “taste information (cookie)” selected by the user U2 is received by the operation unit 160 and acquired by the sensory information determination unit 152.
  • the management data acquisition unit 151 acquires the relevance data 232 from the server 20. For example, based on the relevance data 232, the sense information determination unit 152 determines, as second sense information, sense information whose degree of association with the first sense information "taste information (cookie)" exceeds a threshold.
  • “visual information (cookies), tactile information (cookies), olfactory information (cookies)” has a degree of association of “80%” with the first sensory information “taste information (cookies)”. It is. Assuming that the threshold is “70%”, “visual information (cookies), tactile information (cookies), olfactory information (cookies)” is associated with the first sensory information “taste information (cookies)”. Since “80%” exceeds the threshold “70%”, the sensory information determination unit 152 determines “visual information (cookie), tactile information (cookie), olfactory information (cookie) as the second sensory information. Do.
  • the presentation control unit 153 controls the presentation of presentation data corresponding to the second sensory information “visual information (cookie), tactile information (cookie), olfactory information (cookie)” to the user U2.
  • the user U2 it is possible for the user U2 to experience a sense (vision, touch and smell regarding the cookie) according to the sense (the taste related to the cookie) actually experienced by the user U1.
  • the presentation control unit 153 performs second sensory information “visual information (cookie), tactile information (cookie), olfactory information (cookie)”. It is assumed that the presentation of presentation data to the user U2 is controlled. As a result, the sense that the user U2 wants to experience (the taste related to the cookie) is indirectly experienced by the user U2.
  • the presentation control unit 153 may determine whether to control presentation of presentation data corresponding to the first sensation information to the user U2 based on a predetermined condition.
  • the predetermined condition may be, in particular, any condition.
  • the predetermined condition may include a condition indicating whether or not there is a presentation device that presents presentation data corresponding to the first sensory information. That is, depending on whether the user U2 has a presentation device that presents presentation data corresponding to the first sense information, the presentation control unit 153 sends the user U2 of the presentation data corresponding to the first sense information. It may be determined whether to control the presentation of
  • the predetermined condition may be a condition indicating whether or not setting is made to allow presentation of presentation data corresponding to the first sensory information. That is, according to whether or not the presentation control unit 153 is set to allow presentation of the presentation data corresponding to the first sense information (according to the preference setting or the power mode setting of the user U2), It may be determined whether to control presentation of presentation data to the user U2 corresponding to the sensory information.
  • the presentation control unit 153 does not control presentation of the presentation data corresponding to the first sense information to the user U2, and the power saving mode is not set. , May control presentation of presentation data corresponding to the first sensory information to the user U2.
  • presentation data corresponding to the first sensory information for example, taste information
  • the presentation data corresponding to the first sensory information may be presented to user U2. It is also assumed that presentation is not controlled.
  • Drawing 11 is a flow chart which shows the 1st example of the presentation processing by information processing system 1 concerning an embodiment of this indication.
  • the flowchart shown in FIG. 11 only shows an example of the presentation process by the information processing system 1 according to the embodiment of the present disclosure.
  • the presentation process by the information processing system 1 according to the embodiment of the present disclosure is not limited to the example of the flowchart illustrated in FIG.
  • the user U2 selects information (first sensation information) indicating a sensation that the user U2 wants to experience.
  • first sense information indicating a sensation that the user U2 wants to experience.
  • the first sense information selected by the user U2 is received by the operation unit 160 and acquired by the sense information determination unit 152.
  • the sensory information determination unit 152 also obtains device information and personal information (S31).
  • the device information may include information indicating the type of the presentation device 40-2 possessed by the user U2 (ie, information indicating the type of the presentation device 40-2 connected to the user terminal 10-2).
  • the type of the presentation device 40-2 is the type of presentation data that can be presented to the user U2 by the presentation device 40-2 (ie, the type of sense that the presentation device 40-2 can cause the user U2 to experience) Good.
  • the personal information is information related to the user U2, and may include the age and gender of the user U2.
  • the management data acquisition unit 151 acquires the relevance data 232 from the server 20. Then, the sense information determination unit 152 acquires, from the relevance data, the degree of association between the sense information (first sense information) indicating the sense that the user U2 wants to experience, and the sense information of the user U1 (S32). The sensation information determination unit 152 determines whether the degree of association is higher than a threshold (S33).
  • the sensation information determination unit 152 ends the presentation process.
  • the sensation information determination unit 152 presents presentation device 40-2 that presents presentation data corresponding to the sense information of the user U1 based on the device information. It is determined whether the user U2 has (S34).
  • presentation control unit 153 ends the presentation process.
  • presentation control unit 153 is based on the personal information of user U2 Control is performed so that presentation data corresponding to the sense information of the user U1 is presented to the user U2 (S35), and the presentation process is ended.
  • the presentation data based on the personal information of the user U2 is not particularly limited. For example, as the age of the user U2 is lower, it is considered desirable that the intensity of the sensation experienced by the user U2 be smaller. Therefore, the presentation control unit 153 may control the presentation data corresponding to the sense information indicating a sense of small intensity to be presented to the user U2 as the age of the user U2 decreases.
  • the presentation control unit 153 presents, to the user U2, presentation data corresponding to sense information indicating a sense having a smaller intensity than when the gender of the user U2 is a male. You may control as follows. The presentation data may not particularly depend on personal information of the user U2.
  • the user U2 experiences again the same sensation as the sensation experienced in the past By doing this, the feeling experienced by the user U2 may be made to be accompanied by a stronger sense of reality.
  • the sensation information determination unit 152 acquires biometric information (first biometric information) based on the user U2 together with sensation information (first sensation information) based on the user U2.
  • the sense information determination unit 152 is sense information sensed from the same user (here, the user U1) at a timing corresponding to the second biometric information according to the first biometric information, and the first sense information
  • the sensory information that is related to the sensory information of is determined as the second sensory information.
  • the second biometric information according to the first biometric information may be second biometric information that is the same as or similar to (have the same characteristics as) the first biometric information.
  • biometric information first biometric information
  • biometric information input by the user U2 especially, biometric information registered in SNS (Social Networking Service) by the user U2
  • SNS Social Networking Service
  • the biometric information (first biometric information) based on the user U2 may be biometric information obtained by sensing by the detection device 30-2 for the user U2.
  • sensory information first sensory information
  • sensory information input by the user U2 particularly, sensory information registered in the SNS by the user U2
  • the sensory information (first biological information) based on the user U2 may be sensory information obtained by sensing by the detection device 30-2 for the user U2.
  • FIG. 12 is a diagram showing an example of information indicating the sense currently experienced by the user U2.
  • visual information G1 is shown as an example of information (sense information) indicating the sense currently experienced by the user U2.
  • FIG. 13 is a diagram for specifically describing a second example of the presentation process by the information processing system 1 according to the embodiment of the present disclosure.
  • the biological information heart rate rise
  • the visual information mountain
  • information (hot) is registered.
  • the sensory information determination unit 152 acquires biological information (beat increase), visual information (mountains), and biological information (hot).
  • the sense information determination unit 152 acquires the user U1's biometric information according to the user U2's biometric information when acquiring the user U2's biometric information (heart rate rise), visual information (mountain), and biometric information (hot).
  • the sensation information determination unit 152 acquires, from the stored data 231, the biometric information (heartbeat rise) of the user U1 as the biometric information having the same feature as the biometric information (heartbeat rise) of the user U2.
  • the sensory information determination unit 152 senses visual information (sun) and visual information (heating) as sensory information sensed from the same user U1 at a timing corresponding to the biological information (heart rate rise) of the user U1.
  • the sensory information determination unit 152 detects visual information (mountain) and biological information (hot) currently experienced by the user U2. In any case, sensory information that is relevant is determined as the second sensory information.
  • the visual information (sun) has a degree of association with the visual information (mountain) of 80% and a degree of association with the biological information (hot) of 60%.
  • the threshold is 50%.
  • the degree of association of visual information (sun) with both visual information (mountain) and biological information (hot) exceeds the threshold. Therefore, it can be said that visual information (sun) is related to both visual information (mountain) and biological information (hot).
  • the visual information (sun) sensed from the user U1 is considered to be more compatible with the visual information (mountain) and the biological information (hot) currently experienced by the user U2 than to a certain extent.
  • Presentation data corresponding to information (sun) may be presented to the user U2.
  • the sense information determination unit 152 unconditionally presents the presentation data corresponding to the sense information of the user U1 when the sense information of the same type as the sense information (second sense information) of the user U1 is not acquired from the user U2 in the first place May be controlled to be presented to the user U2.
  • the sensory information may be tactile information (cat hair) or olfactory information (mint).
  • the sense information determination unit 152 presents the user U2 with the presentation data corresponding to the sense information of the user U2 as it is It may be controlled as it is.
  • the sensory information may be auditory information or biological information (heavy feet).
  • Presentation data corresponding to biometric information may be provided to the user by applying pressure on the user's foot.
  • the visual information (heating) has a degree of association with the visual information (mountain) of 1% and an degree of association with the biological information (hot) of 80%.
  • the threshold is 50%. In such a case, although the degree of association of the visual information (heating) with the biological information (hot) exceeds the threshold, the degree of association with the visual information (mountain) is equal to or less than the threshold. Therefore, although visual information (heating) is related to biological information (hot), it can be said that it is not related to visual information (mountain).
  • the visual information (heating) sensed from the user U1 has a higher affinity than the biological information (hot) currently experienced by the user U2 to a certain extent, but the affinity to the visual information (mountain) is so high Since it is considered that there is not, presentation data corresponding to visual information (heating) need not be presented to the user U2.
  • FIG. 14 is a diagram for describing a case where presentation data corresponding to visual information experienced by user U1 is to be presented to user U2. As described with reference to FIG. 13, presentation data corresponding to visual information (sun) experienced by the user U1 is presented to the user U2. As a result, the sense corresponding to the visual information (the sun) is also experienced by the user U2, and the sense experienced by the user U2 becomes more realistic.
  • visual information G2 is shown in which visual information (sun) is added to the visual information G1 shown in FIG. Note that, as described above, the presentation data corresponding to the visual information (heating) is not to be presented to the user U2, and thus no visual information (heating) is added to the visual information G2.
  • FIG. 15 is a flowchart illustrating a second example of a presentation process by the information processing system 1 according to an embodiment of the present disclosure.
  • the flowchart shown in FIG. 15 only shows an example of the presentation process by the information processing system 1 according to the embodiment of the present disclosure.
  • the presentation process by the information processing system 1 according to the embodiment of the present disclosure is not limited to the example of the flowchart illustrated in FIG.
  • the sensory information determination unit 152 acquires biometric information (first biometric information) of the user U2.
  • the sensory information determination unit 152 also acquires device information and personal information (S41).
  • the sensory information determination unit 152 acquires the biological information (first biological information) of the user U 2
  • the management data acquisition unit 151 acquires the relevance data 232 from the server 20.
  • the sense information determination unit 152 acquires, from the relevance data, sense information (second sense information) of the user U1 related to the biometric information (first sense information) of the user U2 (S42).
  • the sensation information determination unit 152 determines whether the user U2 has the presentation device 40-2 that presents presentation data corresponding to the user U1's sensation information (second sensation information). (S43). When the user U2 does not have the presentation device 40-2 that presents presentation data corresponding to the sense information (second sense information) of the user U1 ("No" in S43), the sense information determination unit 152 performs the presentation process Finish.
  • the sense information determination unit 152 determines whether the user U2 has a presentation device 40-2 that presents presentation data corresponding to the sense information (second sense information) of the user U1 ("Yes" in S43).
  • the sense information determination unit 152 shifts the operation to S47.
  • the sense information determination unit 152 determines from the relevance data The degree of association between the sense information (second sense information) of U1 and the sense information of the user U2 is acquired (S45).
  • the sense information determination unit 152 determines whether the degree of association is higher than a threshold (S46). If the degree of association is equal to or less than the threshold (“No” in S46), the presentation control unit 153 ends the presentation process. On the other hand, when the degree of association is higher than the threshold ("Yes" in S46), the presentation control unit 153 presents the user U2 with presentation data corresponding to the sense information of the user U1 based on the personal information of the user U2. Control is performed (S47), and the presentation process ends.
  • the sensory information determination unit 152 performs the first type. It is assumed that a second type of sensory information different from the second sensory information is determined as the second sensory information, and the presentation control unit 153 presents the user U2 with presentation data corresponding to the second sensory information. This is effective, for example, when the user U2 can not perceive the sense corresponding to the first type of sense information, when the first type of sense information is not perfect.
  • the sensory information determining unit 152 selects a second type different from the first type. It is preferable to determine the type of sensory information as the second sensory information. As a result, sensory information similar to the sensory information related to the selected sensory information (first sensory information) is determined as the second sensory information, and the presentation data corresponding to the second sensory information is the user It can be presented to U2.
  • first type and the second type is not particularly limited.
  • the sensory information determination unit 152 determines the recognition result of the sensory information.
  • the second type sensory information may be determined as the second sensory information.
  • the recognition of sensory information may be done in any way.
  • the sensory information determination unit 152 determines whether the reflected sound of the sound the user walks (hearing information) or the air based on the analysis of the visual information.
  • a flow such as a recognition result. Then, the auditory information (the reflected sound of the sound of the user walking) and the tactile information (air flow) may be determined as the second sensory information.
  • the sensory information determination unit 152 may obtain movement of the cat's mouth or the like as a recognition result by analyzing the visual information. Then, when it is recognized that the cat's mouth is opened or closed, the cat's cry (hearing information) may be determined as the second sensory information. At this time, the cry of the cat may be presented to the user U2 in accordance with the opening and closing of the cat's mouth.
  • the sensory information determination unit 152 may obtain positional relationships of the user's hand and the cat as a recognition result by analyzing the visual information. Good. Then, when it is recognized that the user's hand has touched a cat, tactile information (cat hair) may be determined as the second sensory information. At this time, tactile information (cat hair) may be presented to the user U2 in accordance with the movement of the user's hand.
  • the user U2 can not perceive vision because the user U2 is blind, but can perceive it if it is auditory and tactile.
  • the type of sensory information related to the sensory information (first sensory information) selected by the user U2 is visual
  • the sensory information determining unit 152 presents the user U2 with auditory information or tactile information. It may be determined as second sensory information corresponding to the presentation data to be played. That is, the first type may include vision, and the second type may include at least one of auditory and tactile.
  • FIG. 16 is a diagram for specifically describing a third example of the presentation process by the information processing system 1 according to the embodiment of the present disclosure.
  • the user U2 is a visually impaired person.
  • the sense information determination unit 152 may acquire the hearing information (cat) based on the visual information (cat).
  • the presentation control unit 153 may cause the user U2 to actually experience the hearing corresponding to the auditory information (cat) by controlling the presentation of the presentation data corresponding to the auditory information (cat) to the user U2. .
  • FIG. 17 is a flowchart illustrating a third example of presentation processing by the information processing system 1 according to an embodiment of the present disclosure.
  • the flowchart shown in FIG. 17 only shows an example of the presentation process by the information processing system 1 according to the embodiment of the present disclosure. Therefore, the presentation process by the information processing system 1 according to the embodiment of the present disclosure is not limited to the example of the flowchart illustrated in FIG.
  • the sensory information (first sensory information) selected as described above is acquired by the sensory information determination unit 152 (S51).
  • the sensory information determination unit 152 also acquires device information and personal information (S52).
  • the operation is shifted to S54, but the selected sensory information ( If the user U2 can not perceive 1 sensory information ("Yes” in S53), the operation is shifted to S56.
  • the presentation control unit 153 does not have the presentation device 40-2 that presents presentation data corresponding to the selected sensation information (No in S54). , End the presentation process.
  • the presentation control unit 153 based on the personal information, Control is performed such that presentation data corresponding to the selected sensation information is presented to the user U2 (S55), and the presentation process is ended.
  • the sensory information determination unit 152 acquires other sensory information based on the selected sensory information (S56). If the user U2 does not have the presentation device 40-2 that presents presentation data corresponding to other sensory information (“No” in S57), the presentation control unit 153 ends the presentation process. On the other hand, when the user U2 has the presentation device 40-2 that presents presentation data corresponding to other sensory information (“Yes” in S57), the presentation control unit 153 determines the other based on the personal information. Control is performed so that the presentation data corresponding to the sense information is presented to the user U2 (S55), and the presentation processing ends.
  • FIG. 18 is a block diagram showing an example of the hardware configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the hardware configuration of the server 20 can also be realized in the same manner as the example of the hardware configuration shown in FIG. .
  • the information processing apparatus 10 includes a central processing unit (CPU) 901, a read only memory (ROM) 903, and a random access memory (RAM) 905.
  • the information processing apparatus 10 may also include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing device 10 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 10 may have a processing circuit called a digital signal processor (DSP) or an application specific integrated circuit (ASIC) instead of or in addition to the CPU 901.
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the entire operation or a part of the information processing apparatus 10 according to various programs recorded in the ROM 903, the RAM 905, the storage unit 919, or the removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901, parameters that appropriately change in the execution, and the like.
  • the CPU 901, the ROM 903 and the RAM 905 are mutually connected by a host bus 907 configured by an internal bus such as a CPU bus. Furthermore, the host bus 907 is connected to an external bus 911 such as a peripheral component interconnect / interface (PCI) bus via the bridge 909.
  • PCI peripheral component interconnect / interface
  • the input device 915 is, for example, a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may include a microphone that detects the user's voice.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone corresponding to the operation of the information processing apparatus 10.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the generated signal to the CPU 901.
  • the user operates the input device 915 to input various data to the information processing apparatus 10 and instruct processing operations.
  • an imaging device 933 described later can also function as an input device by imaging the movement of the user's hand, the finger of the user, and the like. At this time, the pointing position may be determined according to the movement of the hand or the direction of the finger.
  • the output device 917 is configured of a device capable of visually or aurally notifying the user of the acquired information.
  • the output device 917 is, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, a display device such as a projector, a display device of a hologram, a sound output device such as a speaker and headphones, And a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing apparatus 10 as a video such as text or an image or outputs it as a sound such as voice or sound.
  • the output device 917 may include a light or the like to brighten the surroundings.
  • the storage device 919 is a device for data storage configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 is configured of, for example, a magnetic storage unit device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 10.
  • the drive 921 reads out the information recorded in the mounted removable recording medium 927 and outputs it to the RAM 905.
  • the drive 921 also writes a record on the attached removable recording medium 927.
  • connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • the connection port 923 may be, for example, a Universal Serial Bus (USB) port, an IEEE 1394 port, a Small Computer System Interface (SCSI) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, a high-definition multimedia interface (HDMI (registered trademark)) port, or the like.
  • HDMI registered trademark
  • the communication device 925 is, for example, a communication interface configured of a communication device or the like for connecting to the communication network 931.
  • the communication device 925 may be, for example, a communication card for a wired or wireless Local Area Network (LAN), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for Asymmetric Digital Subscriber Line (ADSL), or a modem for various types of communication.
  • the communication device 925 transmits and receives signals and the like to and from the Internet or another communication device using a predetermined protocol such as TCP / IP.
  • a communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and is, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging device such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and a lens for controlling the formation of an object image on the imaging device. It is an apparatus which images real space and generates a captured image.
  • the imaging device 933 may capture a still image, or may capture a moving image.
  • the sensor 935 is, for example, various sensors such as a distance measuring sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a vibration sensor, an optical sensor, and a sound sensor.
  • the sensor 935 acquires information on the environment of the information processing apparatus 10, such as information on the state of the information processing apparatus 10 itself, such as the attitude of the housing of the information processing apparatus 10, and brightness and noise around the information processing apparatus 10, for example. Do.
  • the sensor 935 may also include a GPS sensor that receives a Global Positioning System (GPS) signal and measures the latitude, longitude and altitude of the device.
  • GPS Global Positioning System
  • a data acquisition unit that acquires relevance data of a plurality of sensory information sensed in advance and the first sensory information and relevance based on the relevance data.
  • an information processing apparatus comprising: a sensory information determination unit that determines a second sensory information having quality; and a presentation control unit that controls presentation of presentation data corresponding to the second sensory information to a user Ru.
  • a program for causing hardware such as a CPU, a ROM, and a RAM incorporated in a computer to exhibit the same function as the function of the control unit 110 described above.
  • a computer readable recording medium having the program recorded thereon.
  • the detection data acquisition unit 120, the detection data transmission control unit 140, the management data acquisition unit 151, the sense information determination unit 152, and the presentation control unit 153 are incorporated in the user terminal 10-1 was mainly described. .
  • these functions may be incorporated in an apparatus different from the user terminal 10.
  • these functions may be incorporated into a robot or the like. This is expected to improve the quality of service provided by the robot.
  • the data acquisition unit 212, the storage control unit 214, and the relevancy calculation unit 216 are incorporated in the server 20 has mainly been described. However, these functions may be incorporated in an apparatus different from the server 20. For example, these functions may be incorporated in some or all of the plurality of user terminals 10.
  • a data acquisition unit that acquires relevance data of a plurality of sensory information sensed in advance;
  • a sensory information determination unit that determines second sensory information related to the first sensory information based on the relevance data;
  • a presentation control unit configured to control presentation of presentation data corresponding to the second sense information to a user;
  • An information processing apparatus comprising: (2) The presentation control unit controls presentation of presentation data corresponding to the first sensory information and controls presentation of presentation data corresponding to the second sensory information. The information processing apparatus according to (1).
  • the presentation control unit controls presentation of presentation data corresponding to the second sensation information without controlling presentation of presentation data corresponding to the first sensation information.
  • the information processing apparatus according to (1).
  • the presentation control unit determines whether to control presentation of presentation data corresponding to the first sense information based on a predetermined condition.
  • the information processing apparatus includes a condition indicating whether there is a presentation device that presents presentation data corresponding to the first sensory information.
  • the predetermined condition includes a condition indicating whether setting is made to allow presentation of presentation data corresponding to the first sensory information.
  • the information processing apparatus according to (5).
  • the sense information determination unit may use the same user at the timing corresponding to the second biometric information according to the first biometric information.
  • the sensory information sensed from the sensor information, and the sensory information related to the first sensory information is determined as the second sensory information
  • the information processing apparatus according to (1).
  • the first biological information includes at least one of biological information obtained by sensing for the user and biological information input by the user.
  • the information processing apparatus according to (7).
  • the sensory information determination unit may be configured to use a second type of sensory information different from the first type. Determined as 2 sense information, The information processing apparatus according to (1).
  • the sensory information determination unit determines, based on the recognition result of the sensory information, the second type of sensory information. As the second sensory information, The information processing apparatus according to (9).
  • the first type includes vision
  • the second type includes at least one of an auditory sense and a tactile sense.
  • the type of the first sensory information is different from the type of the second sensory information, The information processing apparatus according to (1).
  • the sensory information determination unit determines the second sensory information based on sensory information in which the degree of association with the first sensory information exceeds a threshold.
  • the sensory information determination unit acquires the first sensory information selected by the user or a predetermined algorithm.
  • the degree of association between the plurality of sense information items is calculated based on the frequency at which the plurality of sense information items are sensed from the same user at the corresponding timing.
  • the information processing apparatus according to any one of (1) to (14).
  • the degree of association is a ratio at which one of the plurality of sensory information is sensed from the same user at a timing corresponding to the one under the condition in which one of the plurality of sensory information is sensed.
  • the first sensory information includes at least one of five sense information.
  • the five sense information includes visual information, auditory information, tactile information, olfactory information and taste information.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ユーザが自分自身または他のユーザによって実際に体験された感覚に応じた感覚を体験することを可能とする技術が提供されることが望ましい。 【解決手段】あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定する感覚情報決定部と、前記第２の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、所定の感覚情報に対応する提示データをユーザに提示することによって、所定の感覚をユーザに体験させる技術が存在する。例えば、コンピュータなどによって感覚情報に対応する提示データを生成し、生成した提示データをユーザに提示する技術が存在する。一例として、送信装置から受信した感覚情報に対応する提示データを生成する受信装置に関する技術が開示されている（例えば、特許文献１参照）。ここで、提示データに対応する感覚情報も人間によって生成されるのが一般的である。
特開２００９－１９４５９７号公報
　しかし、ユーザは、自分自身によって実際に体験された感覚と同じような感覚を再度体験したいと望むことがある。あるいは、ユーザは、他のユーザによって実際に体験された感覚と同じような感覚を自分も体験したいと望むこともある。そこで、ユーザが自分自身または他のユーザによって実際に体験された感覚に応じた感覚を体験することを可能とする技術が提供されることが望ましい。
　本開示によれば、あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定する感覚情報決定部と、前記第２の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、を備える、情報処理装置が提供される。
　本開示によれば、あらかじめセンシングされた複数の感覚情報の関連性データを取得することと、前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定することと、プロセッサにより、前記第２の感覚情報に対応する提示データのユーザへの提示を制御することと、を含む、情報処理方法が提供される。
　本開示によれば、コンピュータを、あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定する感覚情報決定部と、前記第２の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザが自分自身または他のユーザによって実際に体験された感覚に応じた感覚を体験することを可能とする技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係るユーザ端末の機能構成例を示す図である。 制御部の詳細な構成例を示す図である。 本開示の実施形態に係るサーバの機能構成例を示す図である。 プログラムの実行に必要なデータの例を示す図である。 記憶データの例を示す図である。 関連性データの例を示す図である。 本開示の実施形態に係る情報処理システムによる登録処理の例を示すフローチャートである。 本開示の実施形態に係る情報処理システムによるデータ更新処理の例を示すフローチャートである。 ユーザの体験したい感覚が間接的に他のユーザによって体験される具体的な例を示す図である。 本開示の実施形態に係る情報処理システムによる提示処理の第１の例を示すフローチャートである。 ユーザによって現在体験されている感覚を示す情報の例を示す図である。 本開示の実施形態に係る情報処理システムによる提示処理の第２の例について具体的に説明するための図である。 ユーザによって体験された視覚情報に対応する提示データが他のユーザへの提示対象とされた場合を説明するための図である。 本開示の実施形態に係る情報処理システムによる提示処理の第２の例を示すフローチャートである。 本開示の実施形態に係る情報処理システムによる提示処理の第３の例について具体的に説明するための図である。 本開示の実施形態に係る情報処理システムによる提示処理の第３の例を示すフローチャートである。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態の詳細
　　１．１．システム構成例
　　１．２．ユーザ端末の機能構成例
　　１．３．サーバの機能構成例
　　１．４．登録処理およびデータ更新処理
　　１．５．提示処理
　　　１．５．１　第１の例
　　　１．５．２　第２の例
　　　１．５．３　第３の例
　２．ハードウェア構成例
　３．むすび
　＜１．実施形態の詳細＞
　以下、本開示の実施形態の詳細について説明する。
　［１．１．システム構成例］
　まず、本開示の実施形態に係る情報処理システムの構成例について説明する。
　図１は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図１に示すように、情報処理システム１は、ユーザ端末１０－１、検出装置３０－１および提示装置４０－１を備える。ユーザ端末１０－１、検出装置３０－１および提示装置４０－１は、ユーザＵ１によって利用され得る。ユーザ端末１０－１は、検出装置３０－１および提示装置４０－１それぞれと無線または有線によって接続されている。また、ユーザ端末１０－１は、ネットワーク９０に接続されており、ネットワーク９０を介してサーバ２０と通信可能に構成されている。
　また、図１に示すように、情報処理システム１は、ユーザ端末１０－２、検出装置３０－２および提示装置４０－２を備える。ユーザ端末１０－２、検出装置３０－２および提示装置４０－２は、ユーザＵ２によって利用され得る。ユーザ端末１０－２は、検出装置３０－２および提示装置４０－２それぞれと無線または有線によって接続されている。また、ユーザ端末１０－２は、ネットワーク９０に接続されており、ネットワーク９０を介してサーバ２０と通信可能に構成されている。
　なお、図１に示した例では、ユーザの数が（ユーザＵ１およびユーザＵ２の）２人である。しかし、ユーザの数は特に限定されない。すなわち、ユーザが自分自身によって実際に体験された感覚と同じような感覚を再度体験する場合には、ユーザの数は１人であってもよい。あるいは、ユーザが他のユーザによって実際に体験された感覚と同じような感覚を体験したい場合には、ユーザの数は最低２人必要である。ユーザの数は３人以上であってもよい。ユーザの数が３人以上である場合、３人以上のユーザそれぞれに対応して、ユーザ端末１０、検出装置３０および提示装置４０が存在すればよい。
　なお、本開示の実施形態においては、ユーザ端末１０、検出装置３０および提示装置４０がユーザごとに設けられている場合を主に想定する。しかし、ユーザ端末１０、検出装置３０および提示装置４０の少なくとも一部は、ユーザごとに設けられていなくてもよい。すなわち、ユーザ端末１０、検出装置３０および提示装置４０の少なくとも一部は、一部または全部のユーザによって共有されてもよい。その場合、ログイン時に入力されたユーザＩＤによってユーザが識別可能であってもよい。
　また、本開示の実施形態においては、ユーザ端末１０－１およびユーザ端末１０－２がスマートフォンである場合を主に想定する。しかし、ユーザ端末１０－１およびユーザ端末１０－２はスマートフォンに限定されない。例えば、ユーザ端末１０－１およびユーザ端末１０－２の少なくとも一部は、携帯電話であってもよいし、タブレット端末であってもよいし、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）であってもよいし、ヘッドマウントディスプレイであってもよいし、カメラであってもよい。ユーザ端末１０－１およびユーザ端末１０－２それぞれは、情報処理装置として機能し得る。
　図１に示すように、情報処理システム１は、サーバ２０を備える。サーバ２０は、ネットワーク９０に接続されている。そして、サーバ２０は、ネットワーク９０を介してユーザ端末１０－１と通信可能に構成されている。また、サーバ２０は、ネットワーク９０を介してユーザ端末１０－２と通信可能に構成されている。図１に示すように、サーバ２０は、ユーザ端末１０とは独立したコンピュータによって構成されてよい。しかし、サーバ２０が有する各種機能は、ユーザ端末１０－１およびユーザ端末１０－２のいずれかに組み込まれていてもよい。
　以上、本開示の実施形態に係る情報処理システム１の構成例について説明した。
　［１．２．ユーザ端末の機能構成例］
　続いて、ユーザ端末１０の機能構成例について説明する。
　図２は、本開示の実施形態に係るユーザ端末１０の機能構成例を示す図である。図２に示したように、ユーザ端末１０は、制御部１１０、操作部１６０、記憶部１７０、通信部１８０および出力部１９０を有している。以下、ユーザ端末１０が備えるこれらの機能ブロックについて説明する。
　制御部１１０は、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などといった処理装置によって構成されてよい。これらのブロックがＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は電子回路によって構成されてよい。制御部１１０は、かかる処理装置によってプログラムが実行されることによって実現され得る。ここで、制御部１１０の詳細な構成について説明する。
　図３は、制御部１１０の詳細な構成例を示す図である。図３に示すように、制御部１１０は、検出データ取得部１２０、検出データ送信制御部１４０、管理データ取得部１５１、感覚情報決定部１５２および提示制御部１５３を有する。
　検出データ取得部１２０は、検出装置３０によって検出されたデータ（検出データ）を検出装置３０から取得する。検出データ取得部１２０は、視覚情報取得部１２１、聴覚情報取得部１２２、嗅覚情報取得部１２３、触覚情報取得部１２４、味覚情報取得部１２５を有する。また、検出データ取得部１２０は、生体情報取得部１３１、地理情報取得部１３２、時間情報取得部１３３、イベント情報取得部１３４、その他情報取得部１３５およびユーザ情報取得部１３６を有する。
　視覚情報取得部１２１は、検出装置３０がユーザの視覚情報をセンシング可能な視覚情報検出装置を有する場合、当該視覚情報検出装置によってセンシングされた視覚情報を取得する。このとき、視覚情報検出装置は、撮像装置を含んで構成され、撮像装置によって撮像された実世界の画像を視覚情報として得てもよいし、環境センシング技術（ＳＬＡＭ：Simultaneous Localization and Mapping）を用いて画像から得られた実世界の三次元的な環境マップを視覚情報として得てもよい。例えば、視覚情報は、ＲＧＢカメラ、Ｄｅｐｔｈカメラ、偏光カメラ、赤外線カメラ、超音波センサ、ジャイロセンサ、加速度センサおよびＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサのうちの一つまたは複数の組み合わせによって検出されてもよい。
　聴覚情報取得部１２２は、検出装置３０がユーザの聴覚情報をセンシング可能な聴覚情報検出装置を有する場合、当該聴覚情報検出装置によってセンシングされた聴覚情報を取得する。このとき、聴覚情報検出装置は、マイクロフォンを含んで構成され、マイクロフォンによって検出された音情報を聴覚情報として得てよい。聴覚情報取得部１２２は、音情報から音源にある物体が認識された場合には、音情報とともに物体の認識結果を取得してもよい。聴覚情報検出装置が指向性を有するマイクロフォンを含んで構成される場合、マイクロフォンから音源までの方位情報および距離情報を音情報とともに取得してもよい。距離情報は、絶対座標によって表されてもよいし、相対座標によって表されてもよい。
　嗅覚情報取得部１２３は、検出装置３０がユーザの嗅覚情報をセンシング可能な嗅覚情報検出装置を有する場合、当該嗅覚情報検出装置によってセンシングされた嗅覚情報を取得する。このとき、嗅覚情報検出装置は、特定の気体の濃度に反応する複数のセンサを含んで構成され、かかるセンサによる検出結果を嗅覚情報として得てもよい。あるいは、嗅覚情報検出装置は、人間の嗅覚の機能を模倣するバイオセンサを含んで構成され、かかるセンサによる検出結果を嗅覚情報として得てよい。
　触覚情報取得部１２４は、検出装置３０がユーザの触覚情報をセンシング可能な触覚情報検出装置を有する場合、当該触覚情報検出装置によってセンシングされた触覚情報を取得する。このとき、触覚情報検出装置は、ユーザの腕、足、指などの身体の一部に装着されるセンサを含んで構成され、かかるセンサによって検出される、ユーザが物体を保持した場合に手に加えられる力覚、ユーザが素材に触れたときの接触面の凹凸感などを、触覚情報として得てもよい。
　味覚情報取得部１２５は、検出装置３０がユーザの味覚情報をセンシング可能な味覚情報検出装置を有する場合、当該味覚情報検出装置によってセンシングされた味覚情報を取得する。このとき、味覚情報検出装置は、ユーザに装着されたセンサ（例えば、脳波センサ、生体情報センサなど）によって構成され、かかるセンサによる検出結果を味覚情報として得てもよい。あるいは、味覚情報検出装置は、ユーザの口から摂取される成分に直接反応する味覚センサによって構成される場合、かかるセンサによる検出結果を味覚情報として得てもよい。
　このようにして、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報が取得され得る。一般に、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報は、五感情報とも言われている。したがって、本明細書において使用される「感覚情報」は、五感情報の少なくともいずれか一つを含んでよい。そして、五感情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報を含んでよい。しかし、感覚情報は、五感情報のいずれかに限定されない。
　生体情報取得部１３１は、検出装置３０がユーザの生体情報をセンシング可能な生体情報検出装置を有する場合、当該生体情報検出装置によってセンシングされた生体情報を取得する。このとき、生体情報検出装置は、ユーザに装着された心拍センサによって構成され、かかるセンサによって検出された心拍数を生体情報として得てもよい（例えば、心拍数の変化から心拍上昇などの情報が得られる）。あるいは、生体情報検出装置は、発汗センサによって構成される場合、かかるセンサによって検出された発汗量を生体情報として得てもよい（例えば、発汗量が閾値を上回る場合に、ユーザが暑さを感じているという情報が得られる）。あるいは、生体情報検出装置は、ユーザに装着された温度センサによって構成される場合、かかるセンサによって検出された体温の変化を生体情報として得てもよい。
　地理情報取得部１３２は、ユーザ端末１０によって検出された地理情報を取得する。地理情報の形式は特に限定されない。例えば、地理情報は、ユーザのＧＰＳ情報（位置情報）を含んでよい。時間情報取得部１３３は、ユーザ端末１０によって検出された時間情報を取得する。例えば、時間情報は、日付け、時刻情報などを含んでよい。イベント情報取得部１３４は、ユーザ端末１０によって検出されたイベント情報を取得する。イベントの種類は限定されない。例えば、イベントは、遠足の日であってもよいし、誕生日であってもよいし、サンバの開催日であってもよい。
　その他情報取得部１３５は、ユーザ端末１０によって検出されたその他情報を取得する。その他情報はどのような情報であってもよい。例えば、その他情報は、ユーザによってＳＮＳに登録された情報であってもよい。例えば、その他情報は、飼い猫に装着された生体センサによって取得された猫の生体状況を示す生体情報など、他の装置から取得した情報であってもよい。ユーザ情報取得部１３６は、ユーザ端末１０によって検出されたユーザＩＤを取得する。
　図２に戻って説明を続ける。
　操作部１６０は、ユーザによる操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部１６０が、タッチパネルを含む場合を主に想定する。しかし、操作部１６０は、ボタンを含んでもよいし、マウスを含んでもよいし、キーボードを含んでもよいし、スイッチを含んでもよいし、レバーなどを含んでもよい。また、操作部１６０は、ユーザの音声を検出するマイクロフォンを含んでもよい。
　記憶部１７０は、メモリを含んで構成され、制御部１１０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１７０は、制御部１１０による演算のためにデータを一時的に記憶する。例えば、記憶部１７０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスにより構成される。
　通信部１８０は、通信回路を含んで構成され、ネットワークを介して他の装置との間で通信を行う機能を有する。例えば、通信部１８０は、当該他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。例えば、通信部１８０は、通信インターフェースにより構成される。
　出力部１９０は、各種の情報を出力する。例えば、出力部１９０は、ユーザに視認可能な表示を行うことが可能なディスプレイを含んでよい。このとき、ディスプレイは、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。なお、情報表示の必要がない場合などには、ユーザ端末１０は、出力部１９０を有していなくてもよい。
　なお、本開示の実施形態においては、操作部１６０、通信部１８０、記憶部１７０および出力部１９０がユーザ端末１０の内部に存在する場合を主に想定する。しかし、操作部１６０、通信部１８０、記憶部１７０および出力部１９０の少なくともいずれか一つは、ユーザ端末１０の外部に存在していてもよい。
　以上、本開示の実施形態に係るユーザ端末１０の機能構成例について説明した。
　［１．３．サーバの機能構成例］
　続いて、本開示の実施形態に係るサーバ２０の機能構成例について説明する。図４は、本開示の実施形態に係るサーバ２０の機能構成例を示す図である。図４に示したように、サーバ２０は、制御部２１０、記憶部２３０および通信部２４０を有している。
　制御部２１０は、サーバ２０の各部の制御を実行する。なお、制御部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部２１０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。制御部２１０は、かかる処理装置によってプログラムが実行されることによって実現され得る。
　記憶部２３０は、メモリを含んで構成され、制御部２１０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部２３０は、制御部２１０による演算のためにデータを一時的に記憶する。例えば、記憶部２３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスにより構成される。
　ここで、プログラムの実行に必要なデータの例について説明する。図５は、プログラムの実行に必要なデータの例を示す図である。図５に示すように、記憶部２３０は、プログラムの実行に必要なデータの例として、記憶データ２３１および関連性データ２３２を記憶することが可能である。なお、記憶データ２３１および関連性データ２３２の詳細については、後に説明する。
　図４に戻って説明を続ける。
　通信部２４０は、通信回路を含んで構成され、ネットワークを介して他の装置との間で通信を行う機能を有する。例えば、通信部２４０は、当該他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。例えば、通信部２４０は、通信インターフェースにより構成される。
　以上、本開示の実施形態に係るサーバ２０の機能構成例について説明した。
　［１．４．登録処理およびデータ更新処理］
　続いて、本開示の実施形態に係る情報処理システム１による登録処理およびデータ更新処理について説明する。
　まず、ユーザ端末１０において、検出データ取得部１２０は、検出装置３０およびユーザ端末１０によって検出された各種情報（五感情報、生体情報、地理情報、時間情報、イベント情報、その他情報、および、ユーザＩＤ）を取得する。例えば、五感情報および生体情報は、検出装置３０によって検出され得る。一方、地理情報、時間情報、イベント情報、その他情報、および、ユーザＩＤは、ユーザ端末１０において検出され得る。
　以下、各種情報における任意の１つの情報または任意の複数の情報の組み合わせを「検出データ」と称する場合がある。これらの検出データは、同一ユーザから対応するタイミングに検出されたデータである。対応するタイミングは、同時であってもよいし、あらかじめ決められた所定の条件を満たすタイミングであってもよい。
　検出データ送信制御部１４０は、通信部１８０による各種情報のサーバ２０への送信を制御する。
　サーバ２０において、データ取得部２１２は、通信部２４０によってユーザ端末１０から受信された各種情報を取得する。そして、記憶制御部２１４は、データ取得部２１２によって取得された各種情報に基づいて、記憶部２３０によって記憶されている記憶データ２３１を更新する。具体的に、記憶制御部２１４は、データ取得部２１２によって取得された各種情報を、記憶部２３０によって記憶されている記憶データ２３１に追加すればよい。
　図６は、記憶データ２３１の例を示す図である。図６を参照すると、記憶データ２３１には、ユーザＵ１の検出装置３０－１によって検出された各種情報（五感情報、生体情報、地理情報、時間情報、イベント情報、その他情報、および、ユーザＩＤ＝「Ｕ１」）が追加されている。また、記憶データ２３１には、ユーザＵ２の検出装置３０－２によって検出された各種情報（五感情報、生体情報、地理情報、時間情報、イベント情報、その他情報、および、ユーザＩＤ＝「Ｕ２」）が追加されている。
　図６に示したように、同一ユーザから対応するタイミングに検出された各種情報が１件のデータとして記憶データ２３１に登録される。続いて、関連性算出部２１６は、記憶データ２３１に基づいて、関連性データ２３２を算出する。具体的に、関連性算出部２１６は、記憶データ２３１に基づいて、複数の検出データ同士が同一ユーザから対応するタイミングに検出された頻度に基づいて複数の検出データ同士の関連度を算出する。例えば、関連性算出部２１６は、記憶データ２３１に基づいて、複数の感覚情報同士が同一ユーザから対応するタイミングに検出された頻度に基づいて複数の感覚情報同士の関連度を算出する。
　本開示の実施形態においては、関連性算出部２１６が、複数の検出データのうちの一方がセンシングされた条件下において、複数の検出データのうちの他方が当該一方と対応するタイミングに同一ユーザからセンシングされた割合を、関連度として算出する場合を主に想定する。例えば、関連性算出部２１６は、複数の感覚情報のうちの一方がセンシングされた条件下において、複数の感覚情報のうちの他方が当該一方と対応するタイミングに同一ユーザからセンシングされた割合を、関連度として算出する。
　図７は、関連性データ２３２の例を示す図である。図７を参照すると、関連性データ２３２には、第１の検出データが検出された条件下において、第２の検出データが第１の検出データと対応するタイミングに同一ユーザから検出された割合が「関連度」として含まれている。図７には、第１の検出データ「視覚情報Ｖ１」がセンシングされた条件下において、第２の検出データ「聴覚情報Ａ１」が第１の検出データ「視覚情報Ｖ１」と対応するタイミングに同一ユーザからセンシングされた割合が「関連度２％」として含まれている。
　また、閾値と比較される関連度は、どのように表現されてもよい。例えば、関連度としては、上記のように割合が直接使われてもよいし、割合が変換された後の他の値であってもよい。関連度の算出について、さらに具体的に説明する。なお、以下では、感覚情報または生体情報から抽出される特徴を、感覚情報または生体情報の直後に括弧書きで示す場合がある（例えば、視覚情報（クッキー）など）。
　例えば：視覚情報Ａ（猫）、視覚情報Ｂ（猫の口が開いている）、視覚情報Ｃ（人）、触覚情報Ａ（左手：猫の毛のふさふさ感）、触覚情報Ｂ（右手：所持しているおもちゃの重さ）、聴覚情報Ａ（猫の鳴き声）、その他情報Ａ（猫の装着したセンサーが血糖値低めと検出）である場合を想定する。
　このとき、関連性算出部２１６は、視覚情報Ａ、視覚情報Ｃ、触覚情報Ａ、触覚情報Ｂが同時に取得された場合、視覚情報Ｃの視覚情報Ａとの関連度を高め、視覚情報Ａ＋Ｃの触覚情報Ａとの関連度を高め、視覚情報Ａ＋Ｃ＋触覚情報Ｂの触覚情報Ａとの関連度を高めてもよい。すなわち、関連性算出部２１６は、新たに現れた組み合わせの関連度を高め、再度発生した組み合わせ同士の関連度を高めてもよい。
　また、関連性算出部２１６は、視覚情報Ａ、視覚情報Ｂ、聴覚情報Ａが所定の回数を超えて同時に取得された場合、視覚情報Ａの視覚情報Ｃとの関連度を高め、視覚情報Ａの視覚情報Ｂとの関連度を高めてもよい。そして、関連性算出部２１６は、複数の感覚情報同士の関連度が所定の値まで達したら、当該複数の感覚情報同士の関連度を「関連性あり」として確定してもよい。
　一方、関連性算出部２１６は、視覚情報Ａと触覚情報Ｂとが同時に取得される回数が所定の期間または所定の空間内において所定の回数より低い場合、視覚情報Ａと触覚情報Ｂとの関連度を低くしてもよい。そして、関連性算出部２１６は、複数の感覚情報同士の関連度が所定の値まで達したら、当該複数の感覚情報同士の関連度を「関連性なし」として確定してもよい。
　また、視覚情報Ａと視覚情報Ｂとその他情報Ａとの組み合わせの聴覚情報Ａに対する関連度が閾値を超えており（例えば、８０％と高めであり）、視覚情報Ａと視覚情報Ｂとその他情報Ａ以外との組み合わせの聴覚情報Ａに対する関連度が閾値未満である場合（例えば、２％と低めである場合）、その他情報Ａを、視覚情報Ａと視覚情報Ｂとが同時に取得されるという状況下での聴覚情報Ａの発生要件であると確定してよい。
　以上、関連度の算出について、具体的に説明したが、関連度の算出は、他の手法によってなされてもよい。例えば、関連性算出部２１６は、人工知能、機械学習などの手法を用いて、複数の感覚情報同士の関連度を算出したり、感覚情報が発生するという状況下での他の感覚情報が発生するための条件を算出したりしてもよい。
　なお、本開示の実施形態においては、記憶データ２３１に含まれる検出データがどのユーザから検出されたかは考慮されずに、あらゆるユーザ（本開示の実施形態においては、ユーザＵ１およびユーザＵ２）の検出データに基づいて一括で関連度が算出される場合を主に想定する。しかし、記憶データ２３１に含まれる検出データに基づく関連度が、検出データが検出されたユーザごとに算出されてもよい。
　図８は、本開示の実施形態に係る情報処理システム１による登録処理の例を示すフローチャートである。なお、図８に示したフローチャートは、本開示の実施形態に係る情報処理システム１による登録処理の一例を示したに過ぎない。したがって、本開示の実施形態に係る情報処理システム１による登録処理は、図８に示したフローチャートの例に限定されない。
　まず、ユーザ端末１０において、検出データ取得部１２０は、検出装置３０およびユーザ端末１０によって検出された各種情報（五感情報、生体情報、地理情報、時間情報、イベント情報、その他情報、および、ユーザＩＤ）を取得する（Ｓ１１）。そして、検出データ送信制御部１４０は、通信部１８０による各種情報のサーバ２０への送信を制御する（Ｓ１２）。
　図９は、本開示の実施形態に係る情報処理システム１によるデータ更新処理の例を示すフローチャートである。なお、図９に示したフローチャートは、本開示の実施形態に係る情報処理システム１によるデータ更新処理の一例を示したに過ぎない。したがって、本開示の実施形態に係る情報処理システム１によるデータ更新処理は、図９に示したフローチャートの例に限定されない。
　まず、サーバ２０において、通信部２４０は、ユーザ端末１０から送信された各種情報を受信し（Ｓ２１）、データ取得部２１２は、通信部２４０によって受信された各種情報を取得する。そして、記憶制御部２１４は、データ取得部２１２によって取得された各種情報に基づいて、記憶データ２３１を更新する（Ｓ２２）。関連性算出部２１６は、記憶データ２３１に基づいて、関連性データ２３２を更新する（Ｓ２３）。
　以上、本開示の実施形態に係る情報処理システム１による登録処理およびデータ更新処理について説明した。
　［１．５．提示処理］
　続いて、本開示の実施形態に係る情報処理システム１による提示処理について説明する。
　　（１．５．１　第１の例）
　以下、本開示の実施形態に係る情報処理システム１による提示処理の第１の例について説明する。ここでは、ユーザＵ２がユーザＵ１の体験した感覚と同じような感覚を体験したいと考えた場合を想定する。しかし、ユーザＵ２は、自分自身が体験した感覚と同じような感覚を体験することが可能であってもよい。まず、ユーザ端末１０－２において、第１の感覚情報が選択される。かかる場合、ユーザＵ２によって選択された第１の感覚情報は、操作部１６０によって受け付けられ、感覚情報決定部１５２によって取得される。
　本開示の実施形態においては、第１の感覚情報として、ユーザＵ２が体験したい感覚を示す情報を選択する場合を主に説明する。しかし、第１の感覚情報はどのように選択されてもよい。例えば、第１の感覚情報は、所定のアルゴリズムによってユーザ端末１０－２によって選択されてもよい。かかる場合には、所定のアルゴリズムによって選択された第１の感覚情報は、感覚情報決定部１５２によって取得される。
　第１の感覚情報が選択された場合、管理データ取得部１５１は、サーバ２０から関連性データ２３２を取得する。感覚情報決定部１５２は、関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定する。具体的に、感覚情報決定部１５２は、第１の感覚情報との関連度が閾値を超える感覚情報に基づいて、第２の感覚情報を決定してよい。例えば、感覚情報決定部１５２は、第１の感覚情報との関連度が閾値を超える感覚情報を、第２の感覚情報として決定してもよい。
　そして、提示制御部１５３は、第２の感覚情報に対応する提示データのユーザＵ２への提示を制御する。かかる構成によれば、ユーザＵ２は、ユーザＵ１によって実際に体験された感覚に応じた感覚を体験することが可能となる。
　このとき、例えば、第１の感覚情報の種類が視覚情報であり、第２の感覚情報の種類が聴覚情報であるといったように、第１の感覚情報の種類は、第２の感覚情報の種類と異なっていてよい。そうすれば、ユーザＵ２は、ユーザＵ１によって実際に体験された感覚と同じような感覚を、別の種類の感覚によって体験することが可能である。
　提示制御部１５３によって、第２の感覚情報に対応する提示データのユーザＵ２への提示が制御されるとき、提示制御部１５３は、第１の感覚情報に対応する提示データのユーザＵ２への提示も制御してよい。第１の感覚情報に対応する提示データもユーザＵ２に提示される場合には、ユーザＵ２の体験したい感覚がより強い臨場感を伴ってユーザＵ２に体験されることが予想される。
　例えば、第１の感覚情報に対応する感覚を「感覚Ｘ０」と示す。そして、第１の感覚情報と関連性のある第２の感覚情報に対応する感覚として「感覚Ｘ１」「感覚Ｘ２」「感覚Ｘ３」が取得された場合を想定する。このとき、提示制御部１５３は、「感覚Ｘ１」「感覚Ｘ２」「感覚Ｘ３」だけではなく「感覚Ｘ０」もユーザＵ２に体験されるように、「感覚Ｘ０」に対応する提示データのユーザＵ２への提示も制御してよい。
　一方、提示制御部１５３によって、第２の感覚情報に対応する提示データのユーザＵ２への提示が制御されるとき、提示制御部１５３は、第１の感覚情報に対応する提示データのユーザＵ２への提示を制御しなくてもよい。第１の感覚情報に対応する提示データがユーザＵ２に提示されない場合には、ユーザＵ２の体験したい感覚が間接的にユーザＵ２によって体験される。
　例えば、上記と同様に、第１の感覚情報と関連性のある第２の感覚情報に対応する感覚として「感覚Ｘ１」「感覚Ｘ２」「感覚Ｘ３」が取得された場合を想定する。このとき、提示制御部１５３は、「感覚Ｘ１」「感覚Ｘ２」「感覚Ｘ３」はユーザＵ２に体験されるようにしつつも「感覚Ｘ０」はユーザＵ２に体験されないように、「感覚Ｘ０」に対応する提示データのユーザＵ２への提示は制御しなくてもよい。
　ここで、感覚情報と提示データとはあらかじめ対応付けられていてよい。例えば、提示装置４０が視覚提示装置（例えば、ディスプレイなど）を含む場合、提示制御部１５３は、視覚情報に対応する提示データが視覚提示装置によって提示されるように制御してよい。例えば、提示制御部１５３は、クッキーの視覚情報に対応する画像データを生成し、視覚提示装置による提示を制御することによって、クッキーの視覚情報に対応する提示データの提示を制御してもよい。
　例えば、提示装置４０が触覚提示装置を含む場合、提示制御部１５３は、触覚情報に対応する提示データが触覚提示装置によって提示されるように制御してよい。例えば、提示制御部１５３は、クッキーの触覚情報（クッキーを手に持った感触など）に対応する触覚情報を生成し、触覚提示装置による提示を制御することによって、クッキーの触覚情報に対応する提示データの提示を制御してもよい。
　このとき、提示制御部１５３は、ユーザが触れたときに油っぽい感触をユーザに対して与えるとともに、クッキーの大きさから重量を予測し、ユーザの手に圧力を加えることによって、ユーザに対して重量感を与えてもよい。また、提示制御部１５３は、ユーザによる噛む動作が検出されたら、触覚提示装置によってユーザの歯に所定の適度な反発力が加えられるように制御することによって、クッキーのサクサクした触覚をユーザに対して与えてもよい。
　例えば、提示装置４０が嗅覚提示装置を含む場合、提示制御部１５３は、嗅覚情報に対応する提示データが嗅覚提示装置によって提示されるように制御してよい。例えば、提示制御部１５３は、クッキーの嗅覚情報（クッキーの匂いなど）に対応する嗅覚情報を生成し、嗅覚提示装置による提示を制御することによって、クッキーの嗅覚情報に対応する提示データの提示を制御してもよい。
　このとき、提示制御部１５３は、クッキーの場所が検出された場合、クッキーの場所から空気を通じて匂いが伝わってくるように匂いを発生してもよい。例えば、提示制御部１５３は、ユーザが仮想的に表示されたクッキーの画像に近づくほど、匂い放出の強度を上げることにより、クッキーの匂いの濃度を高めてもよい。
　例えば、提示装置４０が聴覚提示装置を含む場合、提示制御部１５３は、聴覚情報に対応する提示データが聴覚提示装置によって提示されるように制御してよい。例えば、提示制御部１５３は、クッキーの聴覚情報（クッキーを噛む音など）に対応する聴覚情報を生成し、聴覚提示装置による提示を制御することによって、クッキーの聴覚情報に対応する提示データの提示を制御してもよい。
　このとき、提示制御部１５３は、歯の動作と口内におけるクッキーの仮想的な場所に応じて、サクサクと噛む音データを生成し、生成した音データを提示する。提示制御部１５３は、聴覚情報に対応する提示データの提示を制御する場合にあっても、嗅覚情報に対応する提示データの提示を制御する場合と同様に、定位された音データ、立体感が出された音データの提示を制御してもよい。
　感覚情報に対する認識が行われれば、その感覚情報の特徴が抽出され得る（生体情報に対する認識が行われた場合にも、その生体情報の特徴が抽出され得る）。例えば、クッキーが含まれる視覚情報に対する認識が行われれば、その感覚がユーザに体験されることによって、クッキーに関する視覚がユーザに体験されることが把握され得る。
　ユーザＵ２の体験したい感覚が間接的にユーザＵ２によって体験される具体的な例を説明する。特に、ユーザＵ２の体験したい感覚として、クッキーに関する味覚が選択され、実際にユーザＵ２に体験させる感覚として、クッキーに関する味覚の代わりに、クッキーに関する視覚、聴覚、嗅覚が決定される場合について説明する。図１０は、ユーザＵ２の体験したい感覚が間接的にユーザＵ２によって体験される具体的な例を示す図である。
　まず、図１０に示すように、ユーザＵ２がクッキーの味覚を体験したいと考え、ユーザ端末１０－２において、ユーザＵ２が、第１の感覚情報として「味覚情報（クッキー）」を選択した場合を想定する。かかる場合、ユーザＵ２によって選択された第１の感覚情報「味覚情報（クッキー）」は、操作部１６０によって受け付けられ、感覚情報決定部１５２によって取得される。
　第１の感覚情報「味覚情報（クッキー）」が選択された場合、管理データ取得部１５１は、サーバ２０から関連性データ２３２を取得する。例えば、感覚情報決定部１５２は、関連性データ２３２に基づいて、第１の感覚情報「味覚情報（クッキー）」との関連度が閾値を超える感覚情報を、第２の感覚情報として決定する。
　図１０に示した例では、「視覚情報（クッキー）、触覚情報（クッキー）、嗅覚情報（クッキー）」は、第１の感覚情報「味覚情報（クッキー）」との関連度が「８０％」である。閾値が「７０％」である場合を想定すると、「視覚情報（クッキー）、触覚情報（クッキー）、嗅覚情報（クッキー）」は、第１の感覚情報「味覚情報（クッキー）」との関連度「８０％」が閾値「７０％」を超えているため、感覚情報決定部１５２は、「視覚情報（クッキー）、触覚情報（クッキー）、嗅覚情報（クッキー）」を第２の感覚情報として決定する。
　そして、提示制御部１５３は、第２の感覚情報「視覚情報（クッキー）、触覚情報（クッキー）、嗅覚情報（クッキー）」に対応する提示データのユーザＵ２への提示を制御する。かかる構成によれば、ユーザＵ２は、ユーザＵ１によって実際に体験された感覚（クッキーに関する味覚）に応じた感覚（クッキーに関する視覚、触覚および嗅覚）を体験することが可能となる。
　ここでは特に、提示制御部１５３が、第１の感覚情報「味覚情報（クッキー）」の代わりに、第２の感覚情報「視覚情報（クッキー）、触覚情報（クッキー）、嗅覚情報（クッキー）」に対応する提示データのユーザＵ２への提示を制御する場合を想定している。これによって、ユーザＵ２の体験したい感覚（クッキーに関する味覚）が間接的にユーザＵ２によって体験される。
　なお、上記した例では、第１の感覚情報に対応する提示データがユーザＵ２に提示されるか否かがあらかじめ決められている場合を主に説明した。しかし、第１の感覚情報に対応する提示データがユーザＵ２に提示されるか否かは、状況に応じて制御されてもよい。すなわち、提示制御部１５３は、所定の条件に基づいて第１の感覚情報に対応する提示データのユーザＵ２への提示を制御するか否かを判断してもよい。
　所定の条件は、特にどのような条件であってもよい。例えば、所定の条件は、第１の感覚情報に対応する提示データを提示する提示装置が存在するか否かを示す条件を含んでもよい。すなわち、提示制御部１５３は、第１の感覚情報に対応する提示データを提示する提示装置をユーザＵ２が持っているか否かに応じて、第１の感覚情報に対応する提示データのユーザＵ２への提示を制御するか否かを判断してもよい。
　あるいは、所定の条件は、第１の感覚情報に対応する提示データの提示を許容する設定がなされているか否かを示す条件であってもよい。すなわち、提示制御部１５３は、第１の感覚情報に対応する提示データの提示を許容する設定がなされているか否かに応じて（ユーザＵ２の嗜好設定または電力モード設定に応じて）、第１の感覚情報に対応する提示データのユーザＵ２への提示を制御するか否かを判断してもよい。
　例えば、提示制御部１５３は、省電力モード設定がなされている場合には、第１の感覚情報に対応する提示データのユーザＵ２への提示を制御せず、省電力モード設定がなされていない場合には、第１の感覚情報に対応する提示データのユーザＵ２への提示を制御してもよい。あるいは、衛生上の都合などによって、第１の感覚情報（例えば、味覚情報）に対応する提示データが提示されないほうがよい場合などには、第１の感覚情報に対応する提示データのユーザＵ２への提示を制御しない場合も想定される。
　図１１は、本開示の実施形態に係る情報処理システム１による提示処理の第１の例を示すフローチャートである。なお、図１１に示したフローチャートは、本開示の実施形態に係る情報処理システム１による提示処理の一例を示したに過ぎない。例えば、図１１に示した例では、ユーザＵ１が体験した感覚と同じような感覚をユーザＵ２が体験する場合を主に想定している。しかし、ユーザＵ２は、自分自身が体験した感覚と同じような感覚を体験することが可能であってもよい。その他、本開示の実施形態に係る情報処理システム１による提示処理は、図１１に示したフローチャートの例に限定されない。
　まず、ユーザ端末１０－２において、ユーザＵ２は、ユーザＵ２が体験したい感覚を示す情報（第１の感覚情報）を選択する。かかる場合、ユーザＵ２によって選択された第１の感覚情報は、操作部１６０によって受け付けられ、感覚情報決定部１５２によって取得される。また、感覚情報決定部１５２によって、装置情報および個人情報も取得される（Ｓ３１）。
　装置情報には、ユーザＵ２が持っている提示装置４０－２の種類を示す情報（すなわち、ユーザ端末１０－２に接続された提示装置４０－２の種類を示す情報）が含まれ得る。提示装置４０－２の種類は、提示装置４０－２がユーザＵ２に提示可能な提示データの種類（すなわち、提示装置４０－２がユーザＵ２に体験させることが可能な感覚の種類）であってよい。また、個人情報には、ユーザＵ２に関する情報であり、ユーザＵ２の年齢および性別などが含まれ得る。
　ユーザＵ２の体験したい感覚を示す感覚情報（第１の感覚情報）が選択された場合、管理データ取得部１５１は、サーバ２０から関連性データ２３２を取得する。そして、感覚情報決定部１５２は、関連性データから、ユーザＵ２の体験したい感覚を示す感覚情報（第１の感覚情報）とユーザＵ１の感覚情報との関連度を取得する（Ｓ３２）。感覚情報決定部１５２は、関連度が閾値よりも高いか否かを判断する（Ｓ３３）。
　感覚情報決定部１５２は、関連度が閾値以下である場合（Ｓ３３において「Ｎｏ」）、提示処理を終了する。一方、感覚情報決定部１５２は、関連度が閾値よりも高い場合（Ｓ３３において「Ｙｅｓ」）、装置情報に基づいて、ユーザＵ１の感覚情報に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っているか否かを判断する（Ｓ３４）。
　提示制御部１５３は、ユーザＵ１の感覚情報に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っていない場合（Ｓ３４において「Ｎｏ」）、提示処理を終了する。一方、提示制御部１５３は、ユーザＵ１の感覚情報に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っている場合（Ｓ３４において「Ｙｅｓ」）、ユーザＵ２の個人情報に基づいて、ユーザＵ１の感覚情報に対応する提示データがユーザＵ２に提示されるように制御し（Ｓ３５）、提示処理を終了する。
　ユーザＵ２の個人情報に基づく提示データは、特に限定されない。例えば、ユーザＵ２の年齢が低いほどユーザＵ２に体験される感覚の強度は小さいほうが望ましいと考えられる。そこで、提示制御部１５３は、ユーザＵ２の年齢が低いほど、強度の小さい感覚を示す感覚情報に対応する提示データがユーザＵ２に提示されるように制御してもよい。
　あるいは、ユーザＵ２の性別が女性である場合には、ユーザＵ２の性別が男性である場合よりも、ユーザＵ２に体験される感覚の強度は小さいほうが望ましいと考えられる。そこで、提示制御部１５３は、ユーザＵ２の性別が女性である場合、ユーザＵ２の性別が男性である場合よりも、強度の小さい感覚を示す感覚情報に対応する提示データがユーザＵ２に提示されるように制御してもよい。なお、提示データは、ユーザＵ２の個人情報に特に依存しなくてもよい。
　以上、本開示の実施形態に係る情報処理システム１による提示処理の第１の例について説明した。
　　（１．５．２　第２の例）
　以下、本開示の実施形態に係る情報処理システム１による提示処理の第２の例について説明する。ここでは、ユーザＵ２の生体情報がユーザＵ１の生体情報と対応する場合に、ユーザＵ１の体験した感覚と同じような感覚をユーザＵ２にも体験させることによって、ユーザＵ２が体験する感覚がより強い臨場感を伴うようにする場合を想定する。このとき、ユーザＵ１の体験した感覚がユーザＵ２によって現在体験されている感覚とある程度よりも親和性が高い場合に、ユーザＵ１の体験した感覚がユーザＵ２にも体験される。
　なお、以下において想定する場合と同様にして、ユーザＵ２の生体情報が自分自身の過去の生体情報と対応する場合に、ユーザＵ２が過去に体験した感覚と同じような感覚を自分自身に再度体験させることによって、ユーザＵ２が体験する感覚がより強い臨場感を伴うようにされてもよい。
　ここでは、感覚情報決定部１５２が、ユーザＵ２に基づく感覚情報（第１の感覚情報）とともにユーザＵ２に基づく生体情報（第１の生体情報）を取得した場合を想定する。かかる場合、感覚情報決定部１５２は、第１の生体情報に応じた第２の生体情報と対応するタイミングに同一ユーザ（ここでは、ユーザＵ１）からセンシングされた感覚情報であり、かつ、第１の感覚情報と関係性のある感覚情報を第２の感覚情報として決定する。第１の生体情報に応じた第２の生体情報は、第１の生体情報と同一または類似する（同じ特徴を有する）第２の生体情報であってよい。
　以下では、ユーザＵ２に基づく生体情報（第１の生体情報）として、ユーザＵ２によって入力された生体情報（特に、ユーザＵ２によってＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）に対して登録された生体情報）を例に挙げて説明する。しかし、ユーザＵ２に基づく生体情報（第１の生体情報）は、ユーザＵ２に対する検出装置３０－２によるセンシングによって得られた生体情報であってもよい。
　さらに、ユーザＵ２に基づく感覚情報（第１の感覚情報）として、ユーザＵ２によって入力された感覚情報（特に、ユーザＵ２によってＳＮＳに対して登録された感覚情報）を例に挙げて説明する。しかし、ユーザＵ２に基づく感覚情報（第１の生体情報）は、ユーザＵ２に対する検出装置３０－２によるセンシングによって得られた感覚情報であってもよい。
　以下、本開示の実施形態に係る情報処理システム１による提示処理の第２の例について具体的に説明する。図１２は、ユーザＵ２によって現在体験されている感覚を示す情報の例を示す図である。図１２を参照すると、ユーザＵ２によって現在体験されている感覚を示す情報（感覚情報）の例として、視覚情報Ｇ１が示されている。視覚情報Ｇ１によって示される感覚がユーザＵ２に体験されることによって、山に関する視覚がユーザに体験されている。
　図１３は、本開示の実施形態に係る情報処理システム１による提示処理の第２の例について具体的に説明するための図である。ここでは、視覚情報Ｇ１によって示される感覚がユーザＵ２に体験されているときに、データＤ１に示すように、ユーザＵ２によって、ＳＮＳに対して生体情報（心拍上昇）、視覚情報（山）、生体情報（暑い）が登録された場合を想定する。かかる場合には、感覚情報決定部１５２によって、生体情報（心拍上昇）、視覚情報（山）、生体情報（暑い）が取得される。
　一方、ユーザＵ１の体験として、太陽に関する視覚を体験したときに、太陽から照りつけられる日光を直接浴びたせいで、発汗が活発になり、心拍が上昇するという体験をしたことがある場合を想定する。かかる場合には、図１３に示すように、記憶データ２３１には、ユーザＩＤ「Ｕ１」、視覚情報（太陽）および生体情報（心拍上昇）が関連付けられたデータが登録される。
　同様に、ユーザＵ１の体験として、暖房に関する視覚を体験したときに、暖房が近くに見える場所に居たせいで、発汗が活発になり、心拍が上昇するという体験をしたことがある場合を想定する。かかる場合には、図１３に示すように、記憶データ２３１には、ユーザＩＤ「Ｕ１」、視覚情報（暖房）および生体情報（心拍上昇）が関連付けられたデータが登録される。
　感覚情報決定部１５２は、ユーザＵ２の生体情報（心拍上昇）、視覚情報（山）、生体情報（暑い）を取得すると、ユーザＵ２の生体情報に応じたユーザＵ１の生体情報を取得する。ここでは、感覚情報決定部１５２は、記憶データ２３１から、ユーザＵ２の生体情報（心拍上昇）と同じ特徴を有する生体情報として、ユーザＵ１の生体情報（心拍上昇）を取得する。そして、感覚情報決定部１５２は、記憶データ３１から、ユーザＵ１の生体情報（心拍上昇）と対応するタイミングに同一ユーザＵ１からセンシングされた感覚情報として、視覚情報（太陽）および視覚情報（暖房）を取得する。
　続いて、感覚情報決定部１５２は、ユーザＵ１からセンシングされた視覚情報（太陽）および視覚情報（暖房）のうち、ユーザＵ２によって現在体験されている視覚情報（山）および生体情報（暑い）のいずれとも関連性のある感覚情報を第２の感覚情報として決定する。
　関連性データ２３２を参照すると、視覚情報（太陽）は、視覚情報（山）との関連度が８０％であり、生体情報（暑い）との関連度が６０％である。例えば、閾値が５０％である場合を想定する。かかる場合、視覚情報（太陽）は、視覚情報（山）および生体情報（暑い）のいずれとの関連度も閾値を超えている。そのため、視覚情報（太陽）は、視覚情報（山）および生体情報（暑い）のいずれとも関連性があると言える。
　したがって、ユーザＵ１からセンシングされた視覚情報（太陽）は、ユーザＵ２によって現在体験されている視覚情報（山）および生体情報（暑い）のいずれともある程度よりも親和性が高いと考えられるため、視覚情報（太陽）に対応する提示データをユーザＵ２への提示対象としてよい。
　なお、感覚情報決定部１５２は、ユーザＵ１の感覚情報（第２の感覚情報）と同種の感覚情報がユーザＵ２からそもそも取得されない場合には、無条件にユーザＵ１の感覚情報に対応する提示データがユーザＵ２に提示されるように制御してもよい。例えば、感覚情報は、触覚情報（猫の毛）であってもよいし、嗅覚情報（ミント）などであってよい。
　感覚情報決定部１５２は、ユーザＵ１の感覚情報（第２の感覚情報）と同種の感覚情報がユーザＵ１から取得されない場合には、ユーザＵ２の感覚情報に対応する提示データがそのままユーザＵ２に提示されるように制御してもよい。例えば、感覚情報は、聴覚情報であってもよいし、生体情報（足が重い）などであってよい。生体情報（足が重い）に対応する提示データは、ユーザの足に圧力を加えることによってユーザに与えられてもよい。
　一方、関連性データ２３２を参照すると、視覚情報（暖房）は、視覚情報（山）との関連度が１％であり、生体情報（暑い）との関連度が８０％である。同様にして、閾値が５０％である場合を想定する。かかる場合、視覚情報（暖房）は、生体情報（暑い）との関連度が閾値を超えているものの、視覚情報（山）との関連度が閾値以下である。そのため、視覚情報（暖房）は、生体情報（暑い）と関連性があるものの、視覚情報（山）とは関連性がないと言える。
　したがって、ユーザＵ１からセンシングされた視覚情報（暖房）は、ユーザＵ２によって現在体験されている生体情報（暑い）とはある程度より親和性が高いが、視覚情報（山）とはさほど親和性が高くないと考えられるため、視覚情報（暖房）に対応する提示データをユーザＵ２への提示対象としなくてよい。
　図１４は、ユーザＵ１によって体験された視覚情報に対応する提示データがユーザＵ２への提示対象とされた場合を説明するための図である。図１３を参照しながら説明したように、ユーザＵ１によって体験された視覚情報（太陽）に対応する提示データがユーザＵ２に提示される。これによって、視覚情報（太陽）に対応する感覚もユーザＵ２によって体験されるようになり、ユーザＵ２が体験する感覚がより強い臨場感を伴うようになる。
　図１４を参照すると、図１２に示した視覚情報Ｇ１に対して、視覚情報（太陽）が追加された視覚情報Ｇ２が示されている。なお、上記したように、視覚情報（暖房）に対応する提示データは、ユーザＵ２への提示対象とされないため、視覚情報Ｇ２には、視覚情報（暖房）が追加されていない。
　図１５は、本開示の実施形態に係る情報処理システム１による提示処理の第２の例を示すフローチャートである。なお、図１５に示したフローチャートは、本開示の実施形態に係る情報処理システム１による提示処理の一例を示したに過ぎない。例えば、図１５に示した例では、ユーザＵ１が体験した感覚と同じような感覚をユーザＵ２が体験する場合を主に想定している。しかし、ユーザＵ２は、自分自身が体験した感覚と同じような感覚を体験することが可能であってもよい。その他、本開示の実施形態に係る情報処理システム１による提示処理は、図１５に示したフローチャートの例に限定されない。
　まず、ユーザ端末１０－２において、感覚情報決定部１５２によって、ユーザＵ２の生体情報（第１の生体情報）が取得される。また、感覚情報決定部１５２によって、装置情報および個人情報も取得される（Ｓ４１）。感覚情報決定部１５２によって、ユーザＵ２の生体情報（第１の生体情報）が取得された場合、管理データ取得部１５１は、サーバ２０から関連性データ２３２を取得する。そして、感覚情報決定部１５２は、関連性データから、ユーザＵ２の生体情報（第１の感覚情報）に関連するユーザＵ１の感覚情報（第２の感覚情報）を取得する（Ｓ４２）。
　感覚情報決定部１５２は、装置情報に基づいて、ユーザＵ１の感覚情報（第２の感覚情報）に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っているか否かを判断する（Ｓ４３）。感覚情報決定部１５２は、ユーザＵ１の感覚情報（第２の感覚情報）に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っていない場合（Ｓ４３において「Ｎｏ」）、提示処理を終了する。
　一方、感覚情報決定部１５２は、ユーザＵ１の感覚情報（第２の感覚情報）に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っている場合（Ｓ４３において「Ｙｅｓ」）、Ｓ４４に動作を移行させる。
　感覚情報決定部１５２は、ユーザＵ１の感覚情報（第２の感覚情報）と同種の感覚情報がユーザＵ２から取得されない場合には（Ｓ４４において「Ｎｏ」）、Ｓ４７に動作を移行させる。一方、感覚情報決定部１５２は、ユーザＵ１の感覚情報（第２の感覚情報）と同種の感覚情報がユーザＵ２から取得された場合には（Ｓ４４において「Ｙｅｓ」）、関連性データから、ユーザＵ１の感覚情報（第２の感覚情報）とユーザＵ２の感覚情報との関連度を取得する（Ｓ４５）。
　感覚情報決定部１５２は、関連度が閾値よりも高いか否かを判断する（Ｓ４６）。提示制御部１５３は、関連度が閾値以下である場合（Ｓ４６において「Ｎｏ」）、提示処理を終了する。一方、提示制御部１５３は、関連度が閾値よりも高い場合（Ｓ４６において「Ｙｅｓ」）、ユーザＵ２の個人情報に基づいて、ユーザＵ１の感覚情報に対応する提示データがユーザＵ２に提示されるように制御し（Ｓ４７）、提示処理を終了する。
　以上、本開示の実施形態に係る情報処理システム１による提示処理の第２の例について説明した。
　　（１．５．３　第３の例）
　以下、本開示の実施形態に係る情報処理システム１による提示処理の第３の例について説明する。ここでは、上記のようにして選択された感覚情報（第１の感覚情報）と関連性のある感覚情報の種類が第１の種類である場合に、感覚情報決定部１５２によって、第１の種類とは異なる第２の種類の感覚情報が第２の感覚情報として決定され、提示制御部１５３によって、第２の感覚情報に対応する提示データがユーザＵ２に提示される場合を想定する。これによって、ユーザＵ２が第１の種類の感覚情報に対応する感覚を知覚できない場合、第１の種類の感覚情報が万全ではない場合などに有効である。
　例えば、感覚情報決定部１５２は、選択された感覚情報（第１の感覚情報）と関連性のある感覚情報の種類が第１の種類である場合に、第１の種類とは異なる第２の種類の感覚情報を第２の感覚情報として決定するとよい。これによって、選択された感覚情報（第１の感覚情報）と関連性のある感覚情報と同じような感覚情報が第２の感覚情報として決定され、第２の感覚情報に対応する提示データがユーザＵ２に提示され得る。第１の種類および第２の種類それぞれは、特に限定されない。
　このとき、感覚情報決定部１５２は、選択された感覚情報（第１の感覚情報）と関連性のある感覚情報の種類が第１の種類である場合に、当該感覚情報の認識結果に基づいて、第２の種類の感覚情報を第２の感覚情報として決定するとよい。感覚情報の認識はどのようにされてもよい。
　例えば、感覚情報決定部１５２は、選択された感覚情報（第１の感覚情報）が視覚情報である場合、視覚情報の解析に基づいて、ユーザが歩く音の反射音（聴覚情報）、空気の流れ（触覚情報）などを予測して認識結果として得てもよい。そして、聴覚情報（ユーザが歩く音の反射音）および触覚情報（空気の流れ）を第２の感覚情報として決定してもよい。
　あるいは、感覚情報決定部１５２は、選択された感覚情報（第１の感覚情報）が視覚情報である場合、視覚情報の解析によって、猫の口の動きなどを認識結果として得てもよい。そして、猫の口が開いたり閉じたりしたことが認識された場合に、猫の泣き声（聴覚情報）を第２の感覚情報として決定してもよい。このとき、猫の泣き声は、猫の口の開閉に合わせてユーザＵ２に提示されてよい。
　あるいは、感覚情報決定部１５２は、選択された感覚情報（第１の感覚情報）が視覚情報である場合、視覚情報の解析によって、ユーザの手と猫の位置関係などを認識結果として得てもよい。そして、ユーザの手が猫に触れたことが認識された場合に、触覚情報（猫の毛）を第２の感覚情報として決定してもよい。このとき、触覚情報（猫の毛）は、ユーザの手の動きに合わせてユーザＵ２に提示されてよい。
　例えば、ユーザＵ２が視覚障害者であるために、視覚を知覚できないが、聴覚および触覚であれば知覚できる場合が想定される。かかる場合、感覚情報決定部１５２は、ユーザＵ２によって選択された感覚情報（第１の感覚情報）と関連性のある感覚情報の種類が視覚である場合、聴覚情報または触覚情報がユーザＵ２に提示される提示データに対応する第２の感覚情報として決定されるとよい。すなわち、第１の種類は、視覚を含み、第２の種類は、聴覚および触覚の少なくともいずれか一方を含んでよい。
　以下、本開示の実施形態に係る情報処理システム１による提示処理の第３の例について具体的に説明する。図１６は、本開示の実施形態に係る情報処理システム１による提示処理の第３の例について具体的に説明するための図である。ここでは、ユーザＵ２が視覚障害者である場合を想定する。かかる場合において、視覚情報（猫）に対応する感覚が選択された場合を想定する。このとき、感覚情報決定部１５２は、視覚情報（猫）に基づいて、聴覚情報（猫）を取得すればよい。そして、提示制御部１５３は、聴覚情報（猫）に対応する提示データのユーザＵ２への提示を制御することによって、聴覚情報（猫）に対応する聴覚を実際にユーザＵ２に体験させるのがよい。
　図１７は、本開示の実施形態に係る情報処理システム１による提示処理の第３の例を示すフローチャートである。なお、図１７に示したフローチャートは、本開示の実施形態に係る情報処理システム１による提示処理の一例を示したに過ぎない。したがって、本開示の実施形態に係る情報処理システム１による提示処理は、図１７に示したフローチャートの例に限定されない。
　まず、ユーザ端末１０－２において、上記のようにして選択された感覚情報（第１の感覚情報）が、感覚情報決定部１５２によって取得される（Ｓ５１）。また、感覚情報決定部１５２によって、装置情報および個人情報も取得される（Ｓ５２）。ここで、選択された感覚情報（第１の感覚情報）をユーザＵ２は知覚可能である場合には（Ｓ５３において「Ｎｏ」）、Ｓ５４に動作が移行されるが、選択された感覚情報（第１の感覚情報）をユーザＵ２は知覚不可能である場合には（Ｓ５３において「Ｙｅｓ」）、Ｓ５６に動作が移行される。
　Ｓ５４に動作が移行された場合、提示制御部１５３は、選択された感覚情報に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っていない場合には（Ｓ５４において「Ｎｏ」）、提示処理を終了する。一方、提示制御部１５３は、選択された感覚情報に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っている場合には（Ｓ５４において「Ｙｅｓ」）、個人情報に基づいて、選択された感覚情報に対応する提示データがユーザＵ２に提示されるように制御して（Ｓ５５）、提示処理を終了する。
　一方、Ｓ５６に動作が移行された場合、感覚情報決定部１５２は、選択された感覚情報に基づいて他の感覚情報を取得する（Ｓ５６）。提示制御部１５３は、他の感覚情報に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っていない場合には（Ｓ５７において「Ｎｏ」）、提示処理を終了する。一方、提示制御部１５３は、他の感覚情報に対応する提示データを提示する提示装置４０－２をユーザＵ２が持っている場合には（Ｓ５７において「Ｙｅｓ」）、個人情報に基づいて、他の感覚情報に対応する提示データがユーザＵ２に提示されるように制御して（Ｓ５５）、提示処理を終了する。
　以上、本開示の実施形態に係る情報処理システム１による提示処理の第３の例について説明した。
　＜２．ハードウェア構成例＞
　次に、図１８を参照して、本開示の実施形態に係る情報処理装置（ユーザ端末）１０のハードウェア構成について説明する。図１８は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。なお、図１８に示した例は、情報処理装置（ユーザ端末）１０のハードウェア構成例であるが、サーバ２０のハードウェア構成も、図１８に示したハードウェア構成例と同様に実現され得る。
　図１８に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
　ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　＜３．むすび＞
　以上説明したように、本開示の実施形態によれば、あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定する感覚情報決定部と、前記第２の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、を備える、情報処理装置が提供される。
　かかる構成によれば、ユーザが自分自身または他のユーザによって実際に体験された感覚に応じた感覚を体験することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部１１０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　上記では、検出データ取得部１２０、検出データ送信制御部１４０、管理データ取得部１５１、感覚情報決定部１５２および提示制御部１５３が、ユーザ端末１０－１に組み込まれている場合について主に説明した。しかし、これらの機能は、ユーザ端末１０とは異なる装置に組み込まれてもよい。例えば、これらの機能は、ロボットなどに組み込まれてもよい。これによって、ロボットによって提供されるサービスの質が向上されることが期待される。
　また、上記では、データ取得部２１２、記憶制御部２１４および関連性算出部２１６がサーバ２０に組み込まれている場合について主に説明した。しかし、これらの機能は、サーバ２０とは異なる装置に組み込まれていてもよい。例えば、これらの機能は、複数のユーザ端末１０の一部または全部に組み込まれていてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
　前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定する感覚情報決定部と、
　前記第２の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
　を備える、情報処理装置。
（２）
　前記提示制御部は、前記第１の感覚情報に対応する提示データの提示を制御するとともに、前記第２の感覚情報に対応する提示データの提示を制御する、
　前記（１）に記載の情報処理装置。
（３）
　前記提示制御部は、前記第１の感覚情報に対応する提示データの提示を制御せずに、前記第２の感覚情報に対応する提示データの提示を制御する、
　前記（１）に記載の情報処理装置。
（４）
　前記提示制御部は、所定の条件に基づいて前記第１の感覚情報に対応する提示データの提示を制御するか否かを判断する、
　前記（１）に記載の情報処理装置。
（５）
　前記所定の条件は、前記第１の感覚情報に対応する提示データを提示する提示装置が存在するか否かを示す条件を含む、
　前記（４）に記載の情報処理装置。
（６）
　前記所定の条件は、前記第１の感覚情報に対応する提示データの提示を許容する設定がなされているか否かを示す条件を含む、
　前記（５）に記載の情報処理装置。
（７）
　前記感覚情報決定部は、前記第１の感覚情報とともに前記ユーザに基づく第１の生体情報が得られた場合、前記第１の生体情報に応じた第２の生体情報と対応するタイミングに同一ユーザからセンシングされた感覚情報であり、かつ、前記第１の感覚情報と関係性のある感覚情報を前記第２の感覚情報として決定する、
　前記（１）に記載の情報処理装置。
（８）
　前記第１の生体情報は、前記ユーザに対するセンシングによって得られた生体情報、および、前記ユーザによって入力された生体情報の少なくともいずれか一方を含む、
　前記（７）に記載の情報処理装置。
（９）
　前記感覚情報決定部は、前記第１の感覚情報と関連性のある感覚情報の種類が第１の種類である場合に、前記第１の種類とは異なる第２の種類の感覚情報を前記第２の感覚情報として決定する、
　前記（１）に記載の情報処理装置。
（１０）
　前記感覚情報決定部は、前記第１の感覚情報と関連性のある感覚情報の種類が第１の種類である場合に、当該感覚情報の認識結果に基づいて、前記第２の種類の感覚情報を前記第２の感覚情報として決定する、
　前記（９）に記載の情報処理装置。
（１１）
　前記第１の種類は、視覚を含み、
　前記第２の種類は、聴覚および触覚の少なくともいずれか一方を含む、
　前記（９）または（１０）に記載の情報処理装置。
（１２）
　前記第１の感覚情報の種類は、前記第２の感覚情報の種類と異なる、
　前記（１）に記載の情報処理装置。
（１３）
　前記感覚情報決定部は、前記第１の感覚情報との関連度が閾値を超える感覚情報に基づいて、前記第２の感覚情報を決定する、
　前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記感覚情報決定部は、前記ユーザまたは所定のアルゴリズムによって選択された前記第１の感覚情報を取得する、
　前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記複数の感覚情報同士の関連度は、前記複数の感覚情報同士が同一ユーザから対応するタイミングにセンシングされた頻度に基づいて算出される、
　前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記関連度は、前記複数の感覚情報のうちの一方がセンシングされた条件下において、前記複数の感覚情報のうちの他方が前記一方と対応するタイミングに同一ユーザからセンシングされた割合である、
　前記（１５）に記載の情報処理装置。
（１７）
　前記第１の感覚情報は、五感情報のうちの少なくともいずれか一つを含む、
　前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記五感情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報を含む、
　前記（１７）に記載の情報処理装置。
（１９）
　あらかじめセンシングされた複数の感覚情報の関連性データを取得することと、
　前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定することと、
　プロセッサにより、前記第２の感覚情報に対応する提示データのユーザへの提示を制御することと、
　を含む、情報処理方法。
（２０）
　コンピュータを、
　あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
　前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定する感覚情報決定部と、
　前記第２の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
　を備える情報処理装置として機能させるためのプログラム。
　１　　　情報処理システム
　１０　　ユーザ端末（情報処理装置）
　１１０　制御部
　１２０　検出データ取得部
　１２１　視覚情報取得部
　１２２　聴覚情報取得部
　１２３　嗅覚情報取得部
　１２４　触覚情報取得部
　１２５　味覚情報取得部
　１３１　生体情報取得部
　１３２　地理情報取得部
　１３３　時間情報取得部
　１３４　イベント情報取得部
　１３５　他情報取得部
　１３６　ユーザ情報取得部
　１４０　検出データ送信制御部
　１５１　管理データ取得部
　１５２　感覚情報決定部
　１５３　提示制御部
　１６０　操作部
　１７０　記憶部
　１８０　通信部
　１９０　出力部
　２０　　サーバ
　２１０　制御部
　２１２　データ取得部
　２１４　記憶制御部
　２１６　関連性算出部
　２３０　記憶部
　２３１　記憶データ
　２３２　関連性データ
　２４０　通信部
　３０　　検出装置
　４０　　提示装置
　９０　　ネットワーク

Claims (20)

  1. 　あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
    　前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定する感覚情報決定部と、
    　前記第２の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
    　を備える、情報処理装置。
  2. 　前記提示制御部は、前記第１の感覚情報に対応する提示データの提示を制御するとともに、前記第２の感覚情報に対応する提示データの提示を制御する、
    　請求項１に記載の情報処理装置。
  3. 　前記提示制御部は、前記第１の感覚情報に対応する提示データの提示を制御せずに、前記第２の感覚情報に対応する提示データの提示を制御する、
    　請求項１に記載の情報処理装置。
  4. 　前記提示制御部は、所定の条件に基づいて前記第１の感覚情報に対応する提示データの提示を制御するか否かを判断する、
    　請求項１に記載の情報処理装置。
  5. 　前記所定の条件は、前記第１の感覚情報に対応する提示データを提示する提示装置が存在するか否かを示す条件を含む、
    　請求項４に記載の情報処理装置。
  6. 　前記所定の条件は、前記第１の感覚情報に対応する提示データの提示を許容する設定がなされているか否かを示す条件を含む、
    　請求項５に記載の情報処理装置。
  7. 　前記感覚情報決定部は、前記第１の感覚情報とともに前記ユーザに基づく第１の生体情報が得られた場合、前記第１の生体情報に応じた第２の生体情報と対応するタイミングに同一ユーザからセンシングされた感覚情報であり、かつ、前記第１の感覚情報と関係性のある感覚情報を前記第２の感覚情報として決定する、
    　請求項１に記載の情報処理装置。
  8. 　前記第１の生体情報は、前記ユーザに対するセンシングによって得られた生体情報、および、前記ユーザによって入力された生体情報の少なくともいずれか一方を含む、
    　請求項７に記載の情報処理装置。
  9. 　前記感覚情報決定部は、前記第１の感覚情報と関連性のある感覚情報の種類が第１の種類である場合に、前記第１の種類とは異なる第２の種類の感覚情報を前記第２の感覚情報として決定する、
    　請求項１に記載の情報処理装置。
  10. 　前記感覚情報決定部は、前記第１の感覚情報と関連性のある感覚情報の種類が第１の種類である場合に、当該感覚情報の認識結果に基づいて、前記第２の種類の感覚情報を前記第２の感覚情報として決定する、
    　請求項９に記載の情報処理装置。
  11. 　前記第１の種類は、視覚を含み、
    　前記第２の種類は、聴覚および触覚の少なくともいずれか一方を含む、
    　請求項９に記載の情報処理装置。
  12. 　前記第１の感覚情報の種類は、前記第２の感覚情報の種類と異なる、
    　請求項１に記載の情報処理装置。
  13. 　前記感覚情報決定部は、前記第１の感覚情報との関連度が閾値を超える感覚情報に基づいて、前記第２の感覚情報を決定する、
    　請求項１に記載の情報処理装置。
  14. 　前記感覚情報決定部は、前記ユーザまたは所定のアルゴリズムによって選択された前記第１の感覚情報を取得する、
    　請求項１に記載の情報処理装置。
  15. 　前記複数の感覚情報同士の関連度は、前記複数の感覚情報同士が同一ユーザから対応するタイミングにセンシングされた頻度に基づいて算出される、
    　請求項１に記載の情報処理装置。
  16. 　前記関連度は、前記複数の感覚情報のうちの一方がセンシングされた条件下において、前記複数の感覚情報のうちの他方が前記一方と対応するタイミングに同一ユーザからセンシングされた割合である、
    　請求項１５に記載の情報処理装置。
  17. 　前記第１の感覚情報は、五感情報のうちの少なくともいずれか一つを含む、
    　請求項１に記載の情報処理装置。
  18. 　前記五感情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報および味覚情報を含む、
    　請求項１７に記載の情報処理装置。
  19. 　あらかじめセンシングされた複数の感覚情報の関連性データを取得することと、
    　前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定することと、
    　プロセッサにより、前記第２の感覚情報に対応する提示データのユーザへの提示を制御することと、
    　を含む、情報処理方法。
  20. 　コンピュータを、
    　あらかじめセンシングされた複数の感覚情報の関連性データを取得するデータ取得部と、
    　前記関連性データに基づいて、第１の感覚情報と関連性のある第２の感覚情報を決定する感覚情報決定部と、
    　前記第２の感覚情報に対応する提示データのユーザへの提示を制御する提示制御部と、
    　を備える情報処理装置として機能させるためのプログラム。
PCT/JP2018/029273 2017-10-31 2018-08-03 情報処理装置、情報処理方法およびプログラム WO2019087502A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880069169.9A CN111263926B (zh) 2017-10-31 2018-08-03 信息处理装置、信息处理方法和计算机可读存储介质
EP18873419.8A EP3705981A4 (en) 2017-10-31 2018-08-03 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US16/758,502 US11169599B2 (en) 2017-10-31 2018-08-03 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-210456 2017-10-31
JP2017210456A JP2019082904A (ja) 2017-10-31 2017-10-31 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2019087502A1 true WO2019087502A1 (ja) 2019-05-09

Family

ID=66331725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029273 WO2019087502A1 (ja) 2017-10-31 2018-08-03 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US11169599B2 (ja)
EP (1) EP3705981A4 (ja)
JP (1) JP2019082904A (ja)
CN (1) CN111263926B (ja)
WO (1) WO2019087502A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102608981B1 (ko) * 2018-10-24 2023-12-01 한국전자통신연구원 향 시각화 시스템 및 방법
KR102131614B1 (ko) * 2019-07-16 2020-07-08 주상현 대체현실 제공 시스템 및 그 방법
WO2022180770A1 (ja) * 2021-02-26 2022-09-01 享 山中 プログラム、情報処理装置、及び情報処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282279A (ja) * 1992-03-30 1993-10-29 Toshiba Corp 情報提示装置
JP2003233798A (ja) * 2002-02-07 2003-08-22 Advanced Telecommunication Research Institute International インタラクション・メディア装置及び同装置を用いた体験伝達システム
JP2009194597A (ja) 2008-02-14 2009-08-27 Sony Corp 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
US20110125790A1 (en) * 2008-07-16 2011-05-26 Bum-Suk Choi Method and apparatus for representing sensory effects and computer readable recording medium storing sensory effect metadata
JP2016537701A (ja) * 2013-10-25 2016-12-01 インテル コーポレイション ユーザ体験をキャプチャおよび生成するための装置及び方法
JP2017003885A (ja) * 2015-06-12 2017-01-05 日本電信電話株式会社 情報出力装置、情報出力方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060047704A1 (en) * 2004-08-31 2006-03-02 Kumar Chitra Gopalakrishnan Method and system for providing information services relevant to visual imagery
US8396282B1 (en) * 2008-10-31 2013-03-12 Hrl Labortories, Llc Method and system for computing fused saliency maps from multi-modal sensory inputs
US9727128B2 (en) * 2010-09-02 2017-08-08 Nokia Technologies Oy Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode
US9176649B2 (en) * 2013-03-15 2015-11-03 American Megatrends, Inc. Method and apparatus of remote management of computer system using voice and gesture based input
US9339236B2 (en) * 2013-07-05 2016-05-17 James Tyler Frix Continuous transdermal monitoring system and method
US10064566B2 (en) * 2013-11-25 2018-09-04 Koninklijke Philips N.V. Electrocardiography monitoring system and method
AU2014210579B2 (en) * 2014-07-09 2019-10-10 Baylor College Of Medicine Providing information to a user through somatosensory feedback
US10368112B2 (en) * 2015-12-26 2019-07-30 Intel Corporation Technologies for immersive user sensory experience sharing
CN106377252A (zh) * 2016-09-30 2017-02-08 兰州大学 一种基于虚拟现实的生物信息反馈系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282279A (ja) * 1992-03-30 1993-10-29 Toshiba Corp 情報提示装置
JP2003233798A (ja) * 2002-02-07 2003-08-22 Advanced Telecommunication Research Institute International インタラクション・メディア装置及び同装置を用いた体験伝達システム
JP2009194597A (ja) 2008-02-14 2009-08-27 Sony Corp 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
US20110125790A1 (en) * 2008-07-16 2011-05-26 Bum-Suk Choi Method and apparatus for representing sensory effects and computer readable recording medium storing sensory effect metadata
JP2016537701A (ja) * 2013-10-25 2016-12-01 インテル コーポレイション ユーザ体験をキャプチャおよび生成するための装置及び方法
JP2017003885A (ja) * 2015-06-12 2017-01-05 日本電信電話株式会社 情報出力装置、情報出力方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3705981A4

Also Published As

Publication number Publication date
CN111263926A (zh) 2020-06-09
EP3705981A4 (en) 2020-12-09
CN111263926B (zh) 2022-07-26
US11169599B2 (en) 2021-11-09
EP3705981A1 (en) 2020-09-09
JP2019082904A (ja) 2019-05-30
US20200341540A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
US11068050B2 (en) Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
Hu et al. An overview of assistive devices for blind and visually impaired people
JP6702322B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20190196576A1 (en) Virtual reality device and a virtual reality server
KR101945082B1 (ko) 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
CN107658016B (zh) 用于老年保健陪伴的Nounou智能监护系统
US12007561B2 (en) Methods and devices related to extended reality
WO2019087502A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11755111B2 (en) Spatially aware computing hub and environment
US11157084B2 (en) Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
US20230185364A1 (en) Spatially Aware Computing Hub and Environment
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN118103799A (zh) 与远程设备的用户交互
JP6969577B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019123744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016170589A (ja) 情報処理装置、情報処理方法およびプログラム
WO2020026986A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN111344776B (zh) 信息处理装置、信息处理方法和程序
Rakkolainen et al. State of the Art in Extended Reality—Multimodal Interaction
WO2023032264A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023244579A1 (en) Virtual remote tele-physical examination systems
WO2023112706A1 (ja) 情報処理システム、情報処理方法、プログラム
GB2622063A (en) System and method
KR20230101498A (ko) 가상현실에 기반하여 감정을 출력하는 방법 및 그 전자장치
Montanini Smartphone Applications for AAL and Well-being in the Home Environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18873419

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018873419

Country of ref document: EP

Effective date: 20200602