WO2023119583A1 - 柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム - Google Patents

柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム Download PDF

Info

Publication number
WO2023119583A1
WO2023119583A1 PCT/JP2021/047989 JP2021047989W WO2023119583A1 WO 2023119583 A1 WO2023119583 A1 WO 2023119583A1 JP 2021047989 W JP2021047989 W JP 2021047989W WO 2023119583 A1 WO2023119583 A1 WO 2023119583A1
Authority
WO
WIPO (PCT)
Prior art keywords
softness
deformation speed
deformation
feeling
visual object
Prior art date
Application number
PCT/JP2021/047989
Other languages
English (en)
French (fr)
Inventor
雄介 宇治土公
隆寛 河邉
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/047989 priority Critical patent/WO2023119583A1/ja
Publication of WO2023119583A1 publication Critical patent/WO2023119583A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present invention relates to technology for controlling softness perceived by humans.
  • Non-Patent Document 1 When the same amount of force is applied to objects with various degrees of softness, the objects deform with different deformation amounts. Humans can easily recognize the difference in the softness of an object just by observing this state in the image. That is, the difference in the amount of deformation of an object in an image contributes to the difference in softness of the object (see, for example, Non-Patent Document 1).
  • the object in the image can be made to feel softer than the original object.
  • the present invention has been made in view of these points, and aims to provide a technique that can control the softness of the presented visual object regardless of the amount of deformation of the presented visual object.
  • a deformation speed index representing a deformation speed of the visual object and a softness feeling index representing a softness perceived by the visual object deforming at the deformation speed. , to obtain the deformation speed index corresponding to the softness index representing the softness specified by the specification information.
  • the softness of the presented visual object can be controlled.
  • FIG. 1 is a block diagram illustrating the configuration of a softness presentation system 1 according to the first embodiment.
  • FIGS. 2A to 2C illustrate mapping information representing the correspondence between a deformation speed index representing the deformation speed of a visual object and a softness feeling index representing the softness perceived by the visual object deforming at that deformation speed. It is a figure for doing.
  • FIG. 3 is a diagram for exemplifying a deformation speed index representing a deformation speed having a maximum value.
  • FIG. 4 is a diagram for explaining the content of the experiment.
  • FIG. 5 is a graph exemplifying the relationship between the pushing speed into an object (indentation speed) and the softness rating felt by a person looking at the object (softness rating).
  • FIG. 6 is a graph exemplifying the relationship between the length of indentation into an object (Length), the indentation speed into an object (Indentation speed), and the evaluation of softness felt by a person who sees the object (Softness rating).
  • FIG. 7A is a graph illustrating the relationship between the pushing force (Force) to the object and the amount of displacement (Displacement) of the object for objects of three types of materials A, B, and C with different softness.
  • FIG. 7B shows, for an object composed of Materials A, B, and C, the indentation speed into the object and the evaluation of the softness felt by a person who sees the object (Softness Rating).
  • 4 is a graph illustrating relationships; FIG.
  • FIG. 8 is a block diagram illustrating the configuration of the softness sensation presentation system 2 of the second embodiment.
  • FIG. 9 is a block diagram illustrating the configuration of the softness sensation presentation system 3 of the third embodiment.
  • FIG. 10 is a diagram illustrating the hardware configuration of the softness feeling control device according to the embodiment.
  • Experiment 1 The results of Experiment 1 are shown in FIG.
  • the horizontal axis of FIG. 5 represents the indentation speed [mm/s] of the rod 103 into the object 101 (five different indentation speeds of 2, 6, 10, 14, and 18 [mm/s]).
  • the vertical axis in FIG. 5 represents the average score (0 to 100) of the soft feeling answered by the subjects.
  • the softness score given by the subject differs depending on the pressing speed of the rod 103 into the object 101 . That is, there is a tendency that the higher the pressing speed (faster pressing speed), the softer the object 101 is perceived, and the lower the pressing speed (slower pressing speed), the harder the object 101 is perceived.
  • the pushing speed is also the deformation speed of the object 101 . Therefore, it can be said that the higher the deformation speed of the object 101 is, the stronger the soft feeling perceived by the human being from the object 101 is (the object 101 is perceived as being softer). Conversely, it can be said that the smaller the deformation speed of the object 101 is, the weaker the softness of the object 101 is perceived by humans (the object 101 is perceived as being harder).
  • Experiment 2 An experiment was conducted by controlling not only the pushing speed of the rod 103 into the object 101 in the image, but also the pushing length of the rod 103 into the object 101 . Specifically, experiments were conducted under the conditions of 5 types of indentation speed (2, 6, 10, 14, 18 [mm/s]) and 5 types of indentation length (6, 9, 12, 15, 18 [mm]). did Other experimental conditions are the same as Experiment 1.
  • Example result 2 The results of Experiment 2 are shown in FIG.
  • the horizontal axis of FIG. 6 represents the indentation speed (Indentation speed) [mm/s] of the rod 103 into the object 101 (five different indentation speeds of 2, 6, 10, 14, and 18 [mm/s]).
  • the vertical axis in FIG. 6 represents the average score (0 to 100) of the soft feeling answered by the subjects.
  • the types of lines in the graph represent the pushing lengths of the rod 103 into the object 101 (five kinds of pushing lengths of 6, 9, 12, 15, and 18 [mm]).
  • the effect of being able to present different softness depending on the deformation speed of the object 101 is robustly obtained regardless of the pushing length.
  • the softness score given by the subject differs according to the pressing speed of the rod 103 into the object 101 . That is, there is a tendency that the faster the pressing speed is, the softer the object 101 is perceived, and the slower the pressing speed is, the harder the object 101 is perceived. In other words, regardless of the pushing length, the faster the deformation speed of the object 101 is, the stronger the soft feeling perceived by the human being from the object 101 is. Perceived softness becomes weaker. Furthermore, the longer the indentation length, the stronger the softness perceived by humans, and conversely, the smaller the indentation length, the weaker the softness perceived by humans. Here, the indentation length is also the amount of deformation of the object 101 .
  • Experiment 3 not only the pushing speed of the rod 103 into the object 101 in the image but also the physical softness (hardness) of the object 101 were controlled. Specifically, an experiment was conducted using images obtained by controlling the pushing speed of the rod 103 into the object 101 for objects 101 made of three kinds of materials having different physical softness. Specifically, for the objects 101 of three types of materials A, B, and C with different physical softness, under the conditions of five types of pushing speeds (2, 6, 10, 14, and 18 [mm/s]) I did an experiment.
  • FIG. 7A is a graph illustrating the physical softness of three types of materials A, B, and C; The vertical axis in FIG.
  • FIG. 7B The results of Experiment 3 are shown in FIG. 7B.
  • the horizontal axis of FIG. 7B represents the indentation speed (Indentation speed) [mm/s] of the rod 103 into the object 101 (five different indentation speeds of 2, 6, 10, 14, and 18 [mm/s]).
  • the vertical axis in FIG. 7B represents the average score (0 to 100) of the soft feeling answered by the subjects.
  • the types of lines in the graph represent materials A, B, and C that make up object 101 .
  • FIG. 7B the robust effect of being able to present different softness sensations depending on the deformation speed of the object 101 regardless of the physical softness of the object 101 can be seen.
  • the softness score given by the subject differs depending on the speed with which the rod 103 is pushed into the object 101.
  • FIG. That is, there is a tendency that the faster the pressing speed is, the softer the object 101 is perceived, and the slower the pressing speed is, the harder the object 101 is perceived.
  • the higher the deformation speed of the object 101 the stronger the softness perceived by the human being.
  • the softness perceived by humans from the object 101 is weakened.
  • the deformation speed of object 101 was controlled by pushing rod 11 into object 101 (compressing object 101).
  • the same effect can be expected no matter how the object 101 is deformed.
  • the same effect can be expected if the deformation speed of the object 101 is controlled by pulling and deforming the object 101 and controlling the pulling speed.
  • a similar effect can be expected by applying a shear stress to the object 101 to deform it and controlling the shear deformation speed.
  • the same effect can be expected by twisting and deforming the object 101 and controlling the twisting speed (angular speed).
  • a similar effect can also be expected by enlarging or reducing the object 101 and controlling the enlargement speed or reduction speed.
  • the point is that the deformation speed of the object 101 can be controlled regardless of how the object 101 deforms. The lower the speed, the weaker the softness perceived by humans from the object 101 .
  • the image of the deforming object 101 was used to perceive a feeling of softness according to the deformation speed.
  • similar effects can be expected when a person directly observes the deforming object 101 . That is, even if the deforming object 101 is directly observed, a feeling of softness corresponding to its deformation speed is perceived.
  • the shape of the object 101 is not limited, and similar effects can be expected for any shape of the object.
  • an object drawn by computer graphics or animation may be deformed.
  • a person who observes such an image perceives a feeling of softness according to the deformation speed.
  • a human observes some visual object that is deformed presented visual object
  • the relationship between the deformation speed of the presented visual object and the perceived softness can be generalized as follows. That is, the softness perceived by the presented visual object that deforms at the first deformation speed is the same as the presented visual perception that deforms at a second deformation speed lower than the first deformation speed (second deformation speed slower than the first deformation speed). Greater than the softness sensation perceived by the subject.
  • a feeling of softness is large means that it is perceived as being softer.
  • a presented visual object with a high deformation speed (fast deformation speed) can be perceived as being softer (perceived as being softer), and conversely, a presentation with a low deformation speed (slow deformation speed) can be perceived.
  • a visual object can be perceived as being softer (perceived as being harder).
  • the deformation speed of the presented visual object may or may not be constant.
  • the deformation speed in the first time interval may be different from the deformation speed in the second time interval, which is different from the first time interval.
  • the deformation velocity may have an extreme value (maximum or minimum) at a particular point in time or time interval.
  • the presentation visual object includes multiple visual objects
  • by independently controlling the deformation speed for each visual object it is possible to perceive a different softness for each visual object.
  • the presented visual object includes a first presented visual object and a second presented visual object presented together with the first presented visual object
  • the deformation speed of the first presented visual object and the second presented visual object You may make it differ from a deformation speed.
  • the presentation visual object is an image, and by controlling the deformation speed in this image, an example is shown in which the softness perceived by humans is controlled.
  • the same reference numbers may be used to simplify the description of items that have already been described.
  • a softness sensation presentation system 1 of the present embodiment has a softness sensation control device 11 and a presentation device 12, by means of which a softness sensation perceived by a user 100 (human) is presented.
  • Control This embodiment shows an example in which the softness sensation control device 11 and the presentation device 12 are configured to be able to communicate via a network.
  • Softness feeling control device 11 has storage units 111 and 112 , input unit 113 , deformation speed control unit 114 , deformation processing unit 115 , and communication unit 116 .
  • the hardware configuration of the feeling of softness control device 11 will be described later.
  • the presentation device 12 is a device that visually presents an image to the user 100 . Examples of presentation devices 12 are displays, projectors, VR goggles, and the like.
  • the storage unit 112 stores an image (moving image) including a visual object that transforms.
  • the video is, for example, a moving image (a moving image having a plurality of frames) obtained by photographing a transforming object (for example, the object 101 described above).
  • the image of the object is the visual object.
  • a video including a visual object may be a video of a human transforming an object, a video of a human transforming an object using a tool, or a video of a non-human animal or machine transforming an object. It may be an image of how an object is deformed. These images are preferably taken with a high-speed camera.
  • the storage unit 112 may store an image of a deforming visual object drawn by computer graphics, animation, or the like instead of an image of an object deformed in real space. As long as the deformation speed can be controlled, how the visual object deforms and the image can be stored in the compression.
  • the video may be a two-dimensional video or a three-dimensional video.
  • the storage unit 111 also stores mapping information.
  • the mapping information is a correspondence (relationship) between an index representing the deformation speed of a visual object (deformation speed index) and an index representing the softness perceived by the visual object deforming at that deformation speed (softness feeling index). It is information representing The relationship between the deformation speed of a visual object and the softness perceived by the visual object deforming at that deformation speed is based on the results obtained in advance from experiments with humans. For example, by varying the deformation speed of the visual object in the video, the viewer is asked to respond with the perceived softness (see, for example, Experiments 1, 2, and 3). Then, the mapping information may be set based on the obtained correspondence relationship between the deformation speed and the feeling of softness (for example, see FIGS.
  • the softness perceived from the presented visual object that deforms at the first deformation speed is higher than the softness perceived from the presented visual object that deforms at the second deformation speed lower than the first deformation speed.
  • the softness feeling represented by the softness feeling index corresponding to the deformation speed index representing the first deformation speed is represented by the softness feeling index corresponding to the deformation speed index representing the second deformation speed lower than the first deformation speed.
  • a deformation speed index representing a greater deformation speed is associated with a softness feeling index representing a greater feeling of softness.
  • the deformation speed index may be any index that represents the deformation speed of the visual target.
  • the deformation speed (physical quantity) of the visual target may be used as the deformation speed index
  • the relative speed of the deformation speed of the visual target with respect to the reference deformation speed may be used as the deformation speed of the visual target
  • the deformation speed and/or A relative velocity function value (for example, a monotonically increasing function value or a non-decreasing function value) may be used as the deformation velocity index.
  • Any deformation speed (physical quantity) of the visual object may be used.
  • the deformation speed (physical quantity) of the visual target may be the displacement speed of a specific part of the visual target (for example, the pushing speed described above), or the group of velocity vectors of the visual target obtained by optical flow (local motion vector group), or other statistical values.
  • any deformation speed may be used as a reference.
  • the reference deformation speed may be the deformation speed itself of the visual object of the image stored in the storage unit 112, or may be a predetermined speed.
  • the softness index may be any index that expresses the softness perceived by a visual object that deforms at the above-mentioned deformation speed.
  • the average softness score or other statistical values may be used as the softness index, or the average softness score or other statistical values of visual objects deformed at a reference deformation speed may be used as the softness index.
  • the average value of the softness score or other relative statistical value may be used as the softness index, or the average score or other statistical value and / or function value of the relative value (for example, monotonically increasing function value or non decreasing function value) may be used as the softness index.
  • the softness score may be any value that objectively expresses the softness. For example, the softness score described in Experiment 1 can be used.
  • the score in this example is an integer from 0 to 100, and the higher the score, the greater the feeling of softness, with a score of 0 indicating "not feeling soft at all" and a score of 100 indicating "feeling the softest imaginable". indicates
  • the softness score may be a value of 5 levels or 7 levels.
  • a physical quantity equivalent to the feeling of softness perceived by a visual object may be defined by a psychophysical experiment, and a physical quantity equivalent to the feeling of softness or a function value thereof may be used as a feeling of softness index.
  • the subject observes an image of how an object pressed with a finger is deformed, and the subject presses the actual object with his or her finger and selects an object that is equivalent to the softness perceived from the image.
  • the average value of the hardness of the object selected by the subject for example, the Asker type A hardness value obtained by measuring with a durometer
  • other statistical value or its function value is used as the object in the image (visual object ) may be defined as a softness index corresponding to the deformation speed.
  • the mapping information may be any information as long as it represents the correspondence (relationship) between the deformation speed index and the softness index.
  • the mapping information may be a table that associates the deformation speed index with the corresponding softness index.
  • FIG. 2A shows an example in which the deformation speed (physical quantity) of the visual target is used as the deformation speed index, and the average softness score of the visual target and other relative statistical values are used as the softness index.
  • FIG. 2B uses the relative speed of the deformation speed of the visual object with respect to the reference deformation speed as a deformation speed index, and shows the average softness score and other statistical values of the visual object deformed at this reference deformation speed.
  • a function indicating the correspondence (relationship) between the deformation speed index and the corresponding softness index may be used as the mapping information.
  • Such a function can be obtained, for example, by machine learning using as learning data the correspondence relationship between deformation speed and softness score obtained in an experiment (for example, a set of deformation speed and softness score).
  • designation information s designating the softness of the visual object to be presented is input to the input unit 113 of the softness feeling control device 11 (FIG. 1).
  • the designation information s may be input by the user 100 or the like operating a button or keyboard (not shown), may be sent from another application, or may be sent from the outside through communication. Alternatively, it may be stored in advance in a memory (not shown) of the softness feeling control device 11 .
  • the designation information s may be any information as long as it designates the softness of the presented visual object.
  • the designation information s may be, for example, the softness index itself, information for specifying the softness index, a softness score, or a softness index. It may be a physical quantity equivalent to the feeling, or information for specifying a score of the softness feeling or a physical quantity equivalent to the softness feeling.
  • the input unit 113 receives the input designation information s and sends the designation information s to the deformation speed control unit 114 (step S113).
  • Designation information s is input to the deformation speed control unit 114 .
  • the deformation speed control unit 114 uses the mapping information stored in the storage unit 111 (the deformation speed index representing the deformation speed of the visual object and the softness index representing the softness perceived by the visual object deforming at the deformation speed). ,) is used to obtain and output a deformation speed index v corresponding to the softness index representing the softness specified by the specification information s.
  • the mapping information is a table (for example, FIGS. 2A and 2B) in which the deformation speed index and the corresponding softness index are associated with each other
  • the deformation speed control unit 114 searches the mapping information and specifies the specified information.
  • a deformation speed index v corresponding to the softness index representing the softness specified by s is obtained and output.
  • the deformation speed control unit 114 may set the softness feeling designated by the designation information s. Substitute the index into the function to obtain and output the deformation speed index v.
  • the deformation speed index v is sent to the deformation processing unit 115 (step S114).
  • a deformation speed index v is input to the deformation processing unit 115 .
  • the deformation processing unit 115 performs image processing (processing) on the image o extracted from the storage unit 112 based on the deformation speed index v, and transforms the presentation visual object (for example, the image of the object) at the deformation speed based on the deformation speed index v. to obtain and output an image ov including .
  • image processing processing
  • transforms the presentation visual object for example, the image of the object
  • the transformation processing unit 115 When obtaining an image ov including a presentation visual object whose deformation speed is greater than that of the visual object included in the image o , the transformation processing unit 115 thins out frames from the image o. As a result, the deformation processing unit 115 obtains an image ov including the presentation visual object deformed at the deformation speed based on the deformation speed index v. For example, when the total number of frames of the image o is N, and the deformation speed of the presented visual object is X times the deformation speed of the visual object included in the image o, the deformation processing unit 115 determines that the number of frames is N/X.
  • N and X are positive integers satisfying N>X, and N is a multiple of X.
  • the transformation processing unit 115 thins every other frame of the image o.
  • the transformation processing unit 115 When obtaining an image ov including a presented visual object whose deformation speed is lower than that of the visual object included in the image o , the transformation processing unit 115 adds a new frame to the image o. As a result, the deformation processing unit 115 obtains an image ov including the presentation visual object deformed at the deformation speed based on the deformation speed index v. For example, when the deformation speed of the presented visual object is set to 1/X times the deformation speed of the visual object included in the image o, the deformation processing unit 115 transforms the original image o so that the number of frames is N*X.
  • an image o v including the presented visual object is obtained.
  • the new frame to be inserted is a copy of the frame closest to the new frame's insertion position (eg, the frame immediately before or after the new frame's insertion position).
  • the new frame may be obtained by alpha-blending the frames before and after the new frame to be inserted.
  • the deformation speed based on the deformation speed index v in Specific Example 1 is the deformation speed represented by the deformation speed index v or the deformation speed index, which can be realized by thinning out frames from the image o or adding frames to the image o. It is a deformation speed in the vicinity of the deformation speed represented by v (for example, the deformation speed closest to the deformation speed represented by the deformation speed index v).
  • Specific example 2 is a modified example of specific example 1, in which the content of image o is analyzed to optimize the deformation speed.
  • the transformation processing unit 115 uses optical flow to calculate a velocity vector group (local motion vector group) between frames of the image o, and calculates the average magnitude of the velocity vector group and other statistical values. Defined as the deformation speed of the visual object in a frame.
  • the deformation processing unit 115 controls the number of frames so that the deformation speed is constant or substantially constant throughout all frames, and then thins out frames to increase the deformation speed, or , inserting a new frame to reduce the deformation speed. Others are the same as the first specific example.
  • the deformation speed based on the deformation speed index v in Specific Example 2 controls the number of frames so that the deformation speed is constant or substantially constant over all frames, and then thins out frames from the image o or It is a deformation speed represented by the deformation speed index v or a deformation speed near the deformation speed represented by the deformation speed index v (for example, the deformation speed closest to the deformation speed represented by the deformation speed index v) that can be realized by adding to .
  • Specific example 3 is a modification of specific examples 1 and 2.
  • FIG. 3 illustrates the relationship between the frame number in this case and the magnification of the deformation speed based on the deformation speed index v in the frame (time interval) of the frame number.
  • the magnification of the deformation speed based on the deformation speed index v represents the magnification of the deformation speed (the deformation speed of the presentation visual object) based on the deformation speed index v with respect to the deformation speed represented by the deformation speed index v.
  • the magnification of the deformation speed based on the deformation speed index v represents the magnification of the deformation speed (the deformation speed of the presentation visual object) based on the deformation speed index v with respect to the deformation speed represented by the deformation speed index v.
  • the deformation speed indicated by the deformation speed index v is the deformation speed of the presented visual object in frames other than frame numbers 300 to 360, and the deformation speed index v is A deformation speed that is twice the represented deformation speed is the deformation speed of the presented visual object.
  • Others are the same as in specific examples 1 and 2 (step S115).
  • the deformation speed based on the deformation speed index v of Specific Example 3 is controlled such that the deformation speed undergoes a desired change over time, and then frames are thinned out from the image o or frames are added to the image o. It is the deformation speed represented by the deformation speed index v or the deformation speed in the vicinity of the deformation speed represented by the deformation speed index v (for example, the deformation speed closest to the deformation speed represented by the deformation speed index v) that can be realized by
  • the image o v including the presentation visual object output from the deformation processing unit 115 may be stored in the storage unit 112 as a new image o, may be transmitted to the outside via the communication unit 116, or It may be sent to the presentation device 12 (eg, sent to the presentation device 12 in real time).
  • the presentation device 12 visually outputs (displays) the video ov , and the user 100 views it. Thereby, the user 100 perceives the feeling of softness specified by the specification information s (step S116).
  • the softness feeling control device 11 image-processes the image o to generate the image ov including the presentation visual object deformed at the deformation speed based on the deformation speed index v.
  • the softness feeling control device 11 may generate an image ov including the presentation visual object in which the deformation amount (maximum deformation amount) is controlled in addition to the deformation speed.
  • information for designating the amount of deformation may be included in the designation information s, or this information may be input to the softness control device 11 independently of the designation information s, or stored in advance. (not shown).
  • Information for designating the deformation speed index v and the amount of deformation is input to the deformation processing unit 115 .
  • the deformation processing unit 115 controls the deformation speed of the presentation visual object based on the deformation speed index v as exemplified in the first embodiment, and presents information based on the information for designating the deformation amount. It also controls the amount of deformation of the visual object. This makes it possible to widen the control range of the softness to be presented.
  • a method for controlling the amount of deformation of the presented visual object will be exemplified below.
  • the deformation processing unit 115 uses not all the frames of the image o but only some continuous frames thereof so that the maximum deformation amount of the presented visual object becomes the specified deformation amount, and the deformation speed index v and generate an image o v including the presented visual object deformed at a deformation speed based on the deformation speed index v. For example, if the specified amount of deformation is 1/Y of the amount of deformation of the visual object included in the image o v , the deformation processing unit 115 selects consecutive 1/Y of all frames included in the image o.
  • image processing may be performed based on the deformation speed index v to generate an image ov containing the presented visual object.
  • Y is a positive integer.
  • the deformation processing unit 115 uses only half the frames of the video o and performs image processing based on the deformation speed index v, Generate an image o v containing the presented visual object.
  • the content of the image o may be analyzed to control the amount of deformation of the presented visual object.
  • the deformation processing unit 115 uses optical flow to calculate a velocity vector group between frames of the image o, and sums the magnitudes of the velocity vector groups for Z frames (Z is an integer equal to or greater than 2). is defined as the amount of deformation of the visual object in the Z frames. Further, the deformation processing unit 115 selects a group of partial frames corresponding to Z consecutive frames such that the deformation amount defined in this way is the designated deformation amount or approximates the designated deformation amount.
  • the deformation processing unit 115 uses the frames of the selected partial frame group, performs image processing based on the deformation speed index v, and generates an image ov including the presentation visual object deformed at the deformation speed based on the deformation speed index v. do. Others are the same as the deformation amount control method 1 .
  • Moving images obtained by photographing a plurality of objects having different physical softness may be stored in the storage unit 112 as images including visual objects.
  • the softness sensation control device 11 in addition to controlling the deformation speed, selects the physical softness of the visual object (object) that is the basis of the visual object to be presented, and the image including the visual object to be presented is displayed. ov can be generated.
  • the designation information s may include information for designating the physical softness of the original visual object, and this information may be sent to the softness feeling control device 11 independently of the designation information s. It may be input or stored in advance in a memory (not shown).
  • the deformation processing unit 115 receives the deformation speed index v and information for designating the original physical softness of the visual object. Using these, the deformation processing unit 115 extracts from the storage unit 112 an image o obtained by photographing an object having the designated physical softness. The deformation processing unit 115 performs image processing on the extracted image o based on the deformation speed index v, as exemplified in the first embodiment, and includes a presentation visual object deformed at a deformation speed based on the deformation speed index v. Generate an image ov . This makes it possible to widen the control range of the softness to be presented. In addition, as exemplified in Modification 1 of the first embodiment, the deformation amount (maximum deformation amount) of the presentation visual object may also be controlled. This makes it possible to further widen the control range of the softness to be presented.
  • the softness feeling control device 11 controls the deformation speed independently for each visual object, thus An image ov including multiple presented visual objects whose deformation speeds are independently controlled may be generated. This makes it possible to perceive different softness for each presented visual object.
  • the input unit 113 receives designation information s that independently designates the softness of a plurality of presentation visual objects. That is, the presented visual objects include a first presented visual object and a second presented visual object presented together with the first presented visual object, and the input unit 113 specifies the softness of the first presented visual object.
  • Designation information s including first designation information that is designation information and second designation information that is designation information that designates the feeling of softness of a second presented visual object is received.
  • the designation information s is input to the deformation speed control section 114 .
  • the deformation speed control unit 114 uses the mapping information stored in the storage unit 111 to obtain the deformation speed index v corresponding to the softness feeling index representing the softness feeling of each presentation visual object specified by the specification information s. Output. That is, the deformation speed control unit 114 controls the deformation speed index v, which is the deformation speed index v corresponding to the softness feeling index designated by the first designation information, and the softness feeling designated by the second designation information.
  • a second deformation speed index which is a deformation speed index v corresponding to the softness index representing softness, is obtained and output.
  • the deformation speed index v is input to the deformation processing unit 115 .
  • the deformation processing unit 115 independently performs image processing on each of the plurality of visual objects included in the image o extracted from the storage unit 112 based on the deformation speed index v, and each of the plurality of presentation visual objects corresponds to each An image ov including the presentation visual object deformed at a deformation speed based on the deformation speed index v is obtained and output.
  • the deformation processing unit 115 performs image processing on the first visual object included in the video o based on the first deformation speed index, and processes the second visual object included in the video o on the basis of the second deformation speed index. image processing based on As a result, the deformation processing unit 115 generates an image o including the first presented visual object deformed at the deformation speed based on the first deformation speed index and the second presented visual object deformed at the deformation speed based on the second deformation speed index. Obtain and output v . For example, the deformation processing unit 115 separates the image o for each presentation visual object, executes the processing described in the first embodiment for each image including each presentation visual object, and synthesizes the obtained images.
  • the amount of deformation (maximum amount of deformation) may be controlled, or the physical softness may also be selectable. In this case, it may be determined whether to control the deformation speed or the amount of deformation independently for each presented visual object.
  • the deformation processing unit 115 performs image processing on the image o based on the deformation speed index v, and includes a presentation visual object deformed at a deformation speed based on the deformation speed index v. I was getting the video ov .
  • the image o including the visual object deformed at a plurality of deformation velocities may be stored in the storage unit 112 in advance.
  • the deformation processing unit 115 uses the deformation speed index v, the deformation processing unit 115 selects and extracts the image ov including the presentation visual object deformed at the deformation speed based on the deformation speed index v from the video o stored in the storage unit 112 . Earn by doing As a result, the time required to obtain the image ov can be shortened.
  • the softness feeling control device outputs an image ov including a presentation visual object that deforms at a deformation speed based on the deformation speed index.
  • the softness sensation control device may output a command for deforming the presented visual object at a deformation speed based on the deformation speed index.
  • the softness sensation presentation system 2 of this embodiment has a softness sensation control device 21 and a presentation device 22 .
  • This embodiment shows an example in which the softness sensation control device 21 and the presentation device 22 are configured to be able to communicate via a network.
  • the softness feeling control device 21 has a storage unit 111 , an input unit 113 , a deformation speed control unit 114 , a deformation processing unit 215 and a communication unit 116 .
  • the hardware configuration of the feeling of softness control device 21 will be described later.
  • the presentation device 22 may be a device that visually presents an image to the user 100 or a device that visually presents a mechanical motion to the user 100 .
  • Examples of the former presentation device 22 are a display, a projector, VR goggles, and the like.
  • Examples of the latter presentation device 22 include a device such as a tension/compression tester that can externally deform an object (presentation visual object) at a specified speed, and a device that deforms the object (presentation visual object) itself at a specified speed.
  • devices such as robots, toys, and product demonstrators that transform.
  • mapping information described in the first embodiment is stored in the storage unit 111 .
  • the softness feeling control device 21 executes the processing of steps S113 and S114 described in the first embodiment.
  • the deformation speed index v obtained in step S114 is input to the deformation processing unit 215 .
  • the deformation processing unit 215 generates and outputs a command cv for deforming the presentation visual object at a deformation speed based on the deformation speed index v (step S215).
  • the command cv is transmitted to the outside via the communication unit 116 and then sent to the presentation device 22 .
  • the presentation device 22 presents a presentation visual object deformed at a deformation speed based on the deformation speed index v according to the command cv.
  • the presentation device 22 may, as described in the first embodiment or its modification, change the deformation speed based on the deformation speed index v Obtain and display a presentation visual object that transforms with .
  • the presentation device 22 may display a deformation speed based on the deformation speed index v (for example, a deformation speed represented by the deformation speed index v). ) to mechanically move the presented visual object (object).
  • the user 100 views the presentation visual object presented in this way, and perceives the softness specified by the specification information s (step S216).
  • Modifications similar to Modifications 1 to 3 of the first embodiment may be made to the second embodiment. That is, in the second embodiment, the softness control device 21 may control the deformation amount (maximum deformation amount) in addition to the deformation speed of the presented visual object. Further, in the second embodiment, the softness feeling control device 21 may select the physical softness of the visual object (object) that is the basis of the presented visual object, in addition to controlling the deformation speed. Further, in the second embodiment, the softness feeling control device 21 may independently control the deformation speed of each of a plurality of presentation visual objects presented at the same time.
  • the softness control device 21 may control the deformation amount (maximum deformation amount) in addition to the deformation speed of the presented visual object. Further, in the second embodiment, the softness feeling control device 21 may select the physical softness of the visual object (object) that is the basis of the presented visual object, in addition to controlling the deformation speed. Further, in the second embodiment, the softness feeling control device 21 may independently control the deformation speed of each of
  • the presentation device presents a presentation visual object that presents the softness specified by the specification information s, and the imaging device captures the situation, thereby producing an image that presents the softness specified by the specification information s. You may get
  • the softness sensation presentation system 3 of this embodiment includes a softness sensation control device 31 , a presentation device 12 or 22 , a presentation device 32 , and an imaging device 33 .
  • the softness feeling control device 31 has storage units 111 and 112 , input unit 113 , deformation speed control unit 114 , deformation processing unit 315 , and communication unit 116 .
  • the hardware configuration of the feeling of softness control device 31 will be described later.
  • the presentation device 32 is a device that visually presents mechanical movements to the user 100 .
  • the presentation device 32 is, for example, a device such as a tension/compression tester that can deform an object (presentation visual target) from the outside at a specified speed, or a device that deforms the object (presentation visual target) itself at a specified speed. devices such as robots, toys, and product demonstrators.
  • the photographing device 33 is, for example, a camera capable of photographing moving images, such as a high-speed camera.
  • mapping information described in the first embodiment is stored in the storage unit 111 .
  • the softness feeling control device 31 executes the processing of steps S113 and S114 described in the first embodiment.
  • the deformation speed index v obtained in step S114 is input to the deformation processing unit 315 .
  • the deformation processing unit 315 generates and outputs a command cv for deforming the presented visual object at a deformation speed based on the deformation speed index v (step S315).
  • the command cv is transmitted to the outside via the communication unit 116 and then sent to the presentation device 32 .
  • the presentation device 32 mechanically moves the presented visual object (object) at a deformation speed based on the deformation speed index v according to the command cv.
  • the presentation device 32 presents the presentation visual object deformed according to the command cv output from the deformation processing unit 315 .
  • the photographing device 33 photographs the presentation visual object presented by the presentation device 32, and obtains and outputs an image o of the presentation visual object.
  • the image o is sent to the softness control device 31 via the network.
  • the communication unit 116 of the softness feeling control device 31 receives this image o and stores it in the storage unit 112 (step S316).
  • the image o stored in the storage unit 112 is used, for example, as described in the first embodiment, the modified example of the first embodiment, the second embodiment, or the modified example of the second embodiment.
  • the softness control devices 11, 21, and 31 in each embodiment are, for example, processors (hardware processors) such as CPUs (central processing units), RAMs (random-access memories), ROMs (read-only memories), etc. It is a device configured by executing a predetermined program on a general-purpose or dedicated computer equipped with a memory or the like. That is, the softness control devices 11, 21, 31 in each embodiment, for example, have processing circuitry configured to implement each unit they have.
  • This computer may have a single processor and memory, or may have multiple processors and memories.
  • This program may be installed in the computer, or may be recorded in ROM or the like in advance.
  • processing units may be configured using an electronic circuit that independently realizes processing functions, instead of an electronic circuit that realizes a functional configuration by reading a program like a CPU.
  • an electronic circuit that constitutes one device may include a plurality of CPUs.
  • FIG. 10 is a block diagram illustrating the hardware configuration of the softness feeling control devices 11, 21, and 31 in each embodiment.
  • the softness feeling control devices 11, 21, and 31 of this example include a CPU (Central Processing Unit) 10a, an input section 10b, an output section 10c, a RAM (Random Access Memory) 10d, a ROM (Read Only Memory) 10e, an auxiliary storage device 10f, a communication section 10h and a bus 10g.
  • the CPU 10a of this example has a control section 10aa, an arithmetic section 10ab, and a register 10ac, and executes various arithmetic processing according to various programs read into the register 10ac.
  • the input unit 10b is an input terminal for data input, a keyboard, a mouse, a touch panel, and the like.
  • the output unit 10c is an output terminal, a display, or the like from which data is output.
  • the communication unit 10h is a LAN card or the like controlled by the CPU 10a that has read a predetermined program.
  • the RAM 10d is SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), or the like, and has a program area 10da in which a predetermined program is stored and a data area 10db in which various data are stored.
  • the auxiliary storage device 10f is, for example, a hard disk, an MO (Magneto-Optical disc), a semiconductor memory, or the like, and has a program area 10fa in which a predetermined program is stored and a data area 10fb in which various data are stored.
  • the bus 10g connects the CPU 10a, the input section 10b, the output section 10c, the RAM 10d, the ROM 10e, the communication section 10h, and the auxiliary storage device 10f so that information can be exchanged.
  • the CPU 10a writes the program stored in the program area 10fa of the auxiliary storage device 10f to the program area 10da of the RAM 10d according to the read OS (Operating System) program.
  • the CPU 10a writes various data stored in the data area 10fb of the auxiliary storage device 10f to the data area 10db of the RAM 10d. Then, the address on the RAM 10d where the program and data are written is stored in the register 10ac of the CPU 10a.
  • the control unit 10aa of the CPU 10a sequentially reads these addresses stored in the register 10ac, reads the program and data from the area on the RAM 10d indicated by the read address, and causes the calculation unit 10ab to sequentially execute the calculation indicated by the program, The calculation result is stored in the register 10ac.
  • the above program can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium is a non-transitory recording medium. Examples of such recording media are magnetic recording devices, optical discs, magneto-optical recording media, semiconductor memories, and the like.
  • the distribution of this program is carried out, for example, by selling, assigning, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded. Further, the program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to other computers via the network.
  • a computer that executes such a program for example, first stores the program recorded on a portable recording medium or transferred from a server computer in its own storage device. When executing the process, this computer reads the program stored in its own storage device and executes the process according to the read program. Also, as another execution form of this program, the computer may read the program directly from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer.
  • the processing according to the received program may be executed sequentially.
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service, which does not transfer the program from the server computer to this computer, and realizes the processing function only by its execution instruction and result acquisition.
  • ASP Application Service Provider
  • the program in this embodiment includes information that is used for processing by a computer and that conforms to the program (data that is not a direct instruction to the computer but has the property of prescribing the processing of the computer, etc.).
  • the device is configured by executing a predetermined program on a computer, but at least part of these processing contents may be implemented by hardware.
  • the present invention is not limited to the above-described embodiments.
  • the softness sensation control device and the presentation device or imaging device are configured to be able to communicate with each other via a network.
  • this does not limit the present invention, and they may be directly connected in a communicable manner, or the functions of the presentation device and the imaging device may be integrated into the softness control device.
  • the softness feeling control device may be distributed to a plurality of devices, and the plurality of devices may be configured to be able to communicate with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

柔らかさ感制御装置は、提示視覚対象の柔らかさ感を指定する指定情報を受け付け、視覚対象の変形速度を表す変形速度指標と、変形速度で変形する視覚対象から知覚される柔らかさ感を表す柔らかさ感指標と、の対応を表す情報を用い、当該指定情報が指定する柔らかさ感を表す柔らかさ感指標に対応する変形速度指標を得て出力する。出力された変形速度指標が表す変形速度で変形する提示視覚対象を提示することで、指定された柔らかさ感を知覚させることができる。

Description

柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム
　本発明は、ヒトが知覚する柔らかさ感を制御する技術に関する。
　様々な柔らかさの物体に同じ大きさの力を加えると、当該物体は異なる変形量で変形する。ヒトはこの様子を映像で観察するだけで、物体の柔らかさの違いを容易に認識できる。すなわち、映像中の物体の変形量の違いは、当該物体の柔らかさ感の違いに寄与する（例えば、非特許文献１等参照）。
E. Fakhoury, P. R. Culmer and B. Henson, "The effect of indentation force and displacement on visual perception of compliance," 2015 IEEE World Haptics Conference (WHC), 2015, pp. 88-93, doi: 10.1109/WHC.2015.7177696, [2021年12月10日検索], インターネット＜https://ieeexplore.ieee.org/document/7177696＞
　これに基づくと、画像処理で映像中の物体の変形量を大きくすると、映像中の物体を元の物体よりも柔らかく感じさせることができる。
　しかし、元の物体よりも変形量が大きくなるように画像処理できない場合には、元の物体より柔らかく感じさせることはできない。
　このような問題は、物体の柔らかさ感を制御する場合のみならず、提示される何らかの視覚対象（以下、「提示視覚対象」）の柔らかさ感を制御する場合に共通する。
　本発明はこのような点に鑑みてなされたものであり、提示視覚対象の変形量にかかわらず、提示視覚対象の柔らかさ感を制御できる技術を提供することを目的とする。
　提示視覚対象の柔らかさ感を指定する指定情報を受け付け、視覚対象の変形速度を表す変形速度指標と、前記変形速度で変形する前記視覚対象から知覚される柔らかさ感を表す柔らかさ感指標と、の対応を表す情報を用い、前記指定情報が指定する柔らかさ感を表す前記柔らかさ感指標に対応する前記変形速度指標を得る。
　これにより、提示視覚対象の変形量にかかわらず、提示視覚対象の柔らかさ感を制御できる。
図１は、第１実施形態の柔らかさ感提示システム１の構成を例示したブロック図である。 図２Ａから図２Ｃは、視覚対象の変形速度を表す変形速度指標と、当該変形速度で変形する視覚対象から知覚される柔らかさ感を表す柔らかさ感指標と、の対応を表すマッピング情報を例示するための図である。 図３は、極大値を持つ変形速度を表す変形速度指標を例示するための図である。 図４は、実験内容を説明するための図である。 図５は、物体への押し込み速度（Indentation speed）と、その物体を見たヒトが感じる柔らかさ感の評価（Softness rating）との関係を例示したグラフである。 図６は、物体への押し込み長（Length）と、物体への押し込み速度（Indentation speed）と、その物体を見たヒトが感じる柔らかさ感の評価（Softness rating）との関係を例示したグラフである。 図７Ａは、柔らかさが異なる３種類の物質（Material）Ａ，Ｂ，Ｃの物体について、物体への押し込み力（Force）と、物体の変位量（Displacement）との関係を例示したグラフである。図７Ｂは、物質（Material）Ａ，Ｂ，Ｃで構成された物体について、物体への押し込み速度（Indentation speed）と、その物体を見たヒトが感じる柔らかさ感の評価（Softness rating）との関係を例示したグラフである。 図８は、第２実施形態の柔らかさ感提示システム２の構成を例示したブロック図である。 図９は、第３実施形態の柔らかさ感提示システム３の構成を例示したブロック図である。 図１０は、実施形態の柔らかさ感制御装置のハードウェア構成を例示するための図である。
　以下、本発明の実施形態を説明する。
　［原理］
　まず、原理を説明する。
　本発明者は、提示視覚対象の変形速度によって、当該提示視覚対象を見たヒトが感じる柔らかさ感が異なるという自然法則（生理学上の法則）を発見した。この自然法則を示す実験結果を例示する。
　＜実験１＞
　図４に例示するように、ステージ１０２上に弾性体の物体１０１を配置し、その上面を棒１０３で下方向（Ｄ方向）に押し込み、物体１０１を変形させた。被検者は、この映像（動画）を鑑賞し、変形する物体１０１から感じる柔らかさ感の主観評価値を０～１００の整数のスコアで回答した。ここで、スコアが大きいほど柔らかさ感が大きく、スコア０は「全く柔らかく感じない」ことを示し、スコア１００は「想像できる中で一番柔らかく感じる」ことを示す。棒１０３の物体１０１への押し込み速度は制御されている。具体的には５種類の押し込み速度（２，６，１０，１４，１８［mm/s］）で実験を行った。３００人の被検者について同様の実験を行った。
　＜実験結果１＞
　図５に実験１の結果を示す。図５の横軸は、棒１０３の物体１０１への押し込み速度（Indentation speed）［mm/s］（２，６，１０，１４，１８［mm/s］の５種類の押し込み速度）を表す。図５の縦軸は、被検者が回答した柔らかさ感のスコア（０～１００）の平均値を表す。図５に例示するように、棒１０３の物体１０１への押し込み速度に応じ、被検者が回答した柔らかさ感のスコアが異なる。すなわち、押し込み速度が大きいほど（押し込み速度が速いほど）、物体１０１が柔らかく知覚され、押し込み速度が小さいほど（押し込み速度が遅いほど）、物体１０１が硬く知覚される傾向がある。ここで、押し込み速度は物体１０１の変形速度でもある。そのため、物体１０１の変形速度が大きいほど、その物体１０１からヒトが知覚する柔らか感が強くなる（物体１０１が柔らかいと知覚される）といえる。逆に、物体１０１の変形速度が小さいほど、その物体１０１からヒトが知覚する柔らか感が弱くなる（物体１０１が硬いと知覚される）といえる。
　＜実験２＞
　実験２では、映像における棒１０３の物体１０１への押し込み速度だけではなく、棒１０３の物体１０１への押し込み長も制御して実験を行った。具体的には、５種類の押し込み速度（２，６，１０，１４，１８［mm/s］）および５種類の押し込み長（６，９，１２，１５，１８［mm］）の条件で実験を行った。その他の実験条件は実験１と同じである。
　＜実験結果２＞
　図６に実験２の結果を示す。図６の横軸は、棒１０３の物体１０１への押し込み速度（Indentation speed）［mm/s］（２，６，１０，１４，１８［mm/s］の５種類の押し込み速度）を表す。図６の縦軸は、被検者が回答した柔らかさ感のスコア（０～１００）の平均値を表す。グラフの線の種類は、棒１０３の物体１０１への押し込み長（６，９，１２，１５，１８［mm］の５種類の押し込み長）を表す。図６に例示するように、押し込み長にかかわらず、物体１０１の変形速度によって異なる柔らか感を提示できるといった効果がロバストにみられる。すなわち、どのような押し込み長であっても、棒１０３の物体１０１への押し込み速度に応じ、被検者が回答した柔らかさ感のスコアは異なる。つまり、押し込み速度が大きいほど、物体１０１が柔らかく知覚され、押し込み速度が小さいほど、物体１０１が硬く知覚される傾向がある。言い換えると、押し込み長にかかわらず、物体１０１の変形速度が大きいほど、その物体１０１からヒトが知覚する柔らか感が強くなり、逆に、物体１０１の変形速度が小さいほど、その物体１０１からヒトが知覚する柔らか感が弱くなる。さらに、押し込み長が大きいほど、ヒトが知覚する柔らか感が強くなり、逆に押し込み長が小さいほど、ヒトが知覚する柔らか感が弱くなる。ここで、押し込み長は物体１０１の変形量でもある。そのため、物体１０１の変形量が大きいほど、ヒトが知覚する柔らか感が強くなり、逆に物体１０１の変形量が小さいほど、ヒトが知覚する柔らか感が弱くなる。したがって、物体１０１の変形速度と変形量の両方を制御することで、ヒトが知覚する柔らか感の制御レンジを広くすることができる。
　＜実験３＞
　実験３では、映像における棒１０３の物体１０１への押し込み速度だけではなく、物体１０１の物理的な柔らかさ（硬さ）も制御して実験を行った。具体的には、物理的な柔らかさが異なる３種類の物質の物体１０１について、棒１０３の物体１０１への押し込み速度を制御して得られた映像を用いて実験を行った。具体的には、物理的な柔らかさが異なる３種類の物質Ａ，Ｂ，Ｃの物体１０１について、５種類の押し込み速度（２，６，１０，１４，１８［mm/s］）の条件で実験を行った。図７Ａは、３種類の物質Ａ，Ｂ，Ｃの物理的な柔らかさを例示するグラフである。図７Ａの縦軸は物質Ａ，Ｂ，Ｃそれぞれの物体１０１への押し込み力（加えられる力の大きさ）（Force）［Ｎ］を表し、横軸はそれらの力が加えられたときの物体１０１の変位量（Displacement）［ｍｍ］を表す。その他の実験条件は実験１と同じである。
　＜実験結果３＞
　図７Ｂに実験３の結果を示す。図７Ｂの横軸は、棒１０３の物体１０１への押し込み速度（Indentation speed）［mm/s］（２，６，１０，１４，１８［mm/s］の５種類の押し込み速度）を表す。図７Ｂの縦軸は、被検者が回答した柔らかさ感のスコア（０～１００）の平均値を表す。グラフの線の種類は、物体１０１を構成する物質Ａ，Ｂ，Ｃを表す。図７Ｂに例示するように、物体１０１の物理的な柔らかさにかかわらず、物体１０１の変形速度によって異なる柔らか感を提示できるといった効果がロバストにみられる。すなわち、どのような柔らかさの物体１０１であっても、棒１０３の物体１０１への押し込み速度に応じ、被検者が回答した柔らかさ感のスコアが異なる。すなわち、押し込み速度が大きいほど、物体１０１が柔らかく知覚され、押し込み速度が小さいほど、物体１０１が硬く知覚される傾向がある。言い換えると、物体１０１の物理的な柔らかさにかかわらず、物体１０１の変形速度が大きいほど、その物体１０１からヒトが知覚する柔らか感が強くなり、逆に、物体１０１の変形速度が小さいほど、その物体１０１からヒトが知覚する柔らか感が弱くなる。さらに、物体１０１が物理的に柔らかいほど、ヒトが知覚する柔らか感が強くなり、物体１０１が物理的に硬いほど、ヒトが知覚する柔らか感が弱くなる。したがって、物体１０１の変形速度の制御に加え、実空間での物体１０１の物理的な柔らかさも選択可能にすることで、ヒトが知覚する柔らか感の制御レンジを広くすることができる。
　＜考察＞
　上述の実験では、棒１１を物体１０１へ押し込むこと（物体１０１を圧縮すること）で物体１０１の変形速度を制御した。しかし、物体１０１の変形速度を制御できるのであれば、どのように物体１０１を変形させても、同様な効果が見込まれる。例えば、物体１０１を引っ張って変形させ、その引っ張り速度を制御することで物体１０１の変形速度を制御しても同様な効果が見込まれる。また、例えば、物体１０１にせん断応力を与えて変形させ、それによるずれ変形速度を制御しても同様な効果が見込まれる。その他、例えば、物体１０１をねじって変形させ、そのねじり速度（角速度）を制御しても同様な効果が見込まれる。また、物体１０１を拡大または縮小させ、その拡大速度や縮小速度を制御しても同様な効果が見込まれる。要は、物体１０１の変形の仕方にかかわらず、物体１０１の変形速度を制御できればよく、物体１０１の変形速度が大きいほど、その物体１０１からヒトが知覚する柔らか感が強くなり、物体１０１の変形速度が小さいほど、その物体１０１からヒトが知覚する柔らか感が弱くなる。
　また、上述の実験では、変形する物体１０１の映像によって、変形速度に応じた柔らかさ感を知覚させた。しかしながら、変形する物体１０１をヒトが直接観察した場合にも同様な効果が見込まれる。すなわち、変形する物体１０１が直接観察されても、その変形速度に応じた柔らかさ感が知覚される。また物体１０１の形状に限定はなく、どのような形状の物体であっても同様な効果が見込まれる。さらに外部から力が加えられることで物体１０１が変形する場合のみならず、物体１０１が自ら変形する場合であっても、その変形速度に応じた柔らかさ感を知覚させることができる。また、物理的な物体１０１が変形するのではなく、コンピュータグラフィックスやアニメーションで描かれた対象が変形してもよい。このような画像を観察するヒトは、その変形速度に応じた柔らかさ感を知覚する。要は、ヒトは、変形する何らかの視覚対象（提示視覚対象）を観察すると、その変形速度に応じた柔らかさ感を知覚する。そのため、提示視覚対象の変形速度を制御することで、提示視覚対象を見たヒトが知覚する柔らかさ感を制御できる。
　提示視覚対象の変形速度と知覚される柔らかさ感との関係は以下のように一般化できる。すなわち、第１変形速度で変形する提示視覚対象から知覚される柔らかさ感は、第１変形速度よりも小さな第２変形速度（第１変形速度よりも遅い第２変形速度）で変形する提示視覚対象から知覚される柔らかさ感よりも大きい。なお、柔らかさ感が大きいとは、より柔らかいと知覚されることを意味する。例えば、変形速度が大きな（変形速度が速い）提示視覚対象ほど、大きな柔らかさ感を知覚させることができ（柔らかいと知覚させることができ）、逆に変形速度が小さい（変形速度が遅い）提示視覚対象ほど、小さな柔らかさ感を知覚させることができる（硬いと知覚させることができる）。
　なお、提示視覚対象の変形速度は、一定であってもよいし、一定でなくてもよい。例えば、第１時間区間での変形速度が第１時間区間と異なる第２時間区間での変形速度と相違してもよい。たとえば、変形速度が特定の時点または時間区間で極値（極大または極小）となってもよい。
　また、前述のように、提示視覚対象の変形速度と変形量の両方を制御することで、提示視覚対象から知覚される柔らかさ感の制御レンジを広くすることができる。同様に、提示視覚対象の変形速度と物理的な柔らかさの両方を制御することで、提示視覚対象から知覚される柔らかさ感の制御レンジを広くすることができる。さらには、提示視覚対象の変形速度と変形量と物理的な柔らかさを制御することで、提示視覚対象から知覚される柔らかさ感の制御レンジをより広くすることができる。
　さらに、提示視覚対象が複数の視覚対象を含む場合、視覚対象ごとに独立に変形速度を制御すれば、視覚対象ごとに異なる柔らかさ感を知覚させることもできる。例えば、提示視覚対象が、第１提示視覚対象と、第１提示視覚対象とともに提示される第２提示視覚対象と、を含む場合、第１提示視覚対象の変形速度と第２提示視覚対象との変形速度とを相違させてもよい。これにより、第１提示視覚対象と第２提示視覚対象とで互いに異なる柔らかさ感を知覚させることができる。
　［第１実施形態］
　第１実施形態を説明する。本実施形態では、提示視覚対象が映像であり、この映像中で変形速度を制御することで、ヒトに知覚される柔らかさ感を制御する例を示す。なお、以降の説明において、既に説明した事項については、同じ参照番号を引用して説明を簡略化する場合がある。
　＜構成＞
　図１に例示するように、本実施形態の柔らかさ感提示システム１は、柔らかさ感制御装置１１と提示装置１２とを有し、これらによって利用者１００（ヒト）が知覚する柔らかさ感を制御する。本実施形態では、柔らかさ感制御装置１１と提示装置１２とがネットワークを介して通信可能に構成されている例を示す。しかしこれは本発明を限定するものではない。柔らかさ感制御装置１１は、記憶部１１１，１１２、入力部１１３、変形速度制御部１１４、変形処理部１１５、および通信部１１６を有する。柔らかさ感制御装置１１のハードウェア構成については後述する。提示装置１２は、映像を利用者１００に視覚的に提示する装置である。提示装置１２の例は、ディスプレイ、投影機、ＶＲゴーグルなどである。
　＜事前処理＞
　事前処理として、記憶部１１２には、変形していく視覚対象を含む映像（動画）が格納される。映像は、例えば、変形していく物体（例えば、前述の物体１０１）を撮影して得られた動画（複数のフレームを持つ動画）である。この例では、物体の映像が視覚対象である。視覚対象を含む映像は、ヒトが物体を変形させる様子の映像であってもよいし、ヒトが道具を介して物体を変形させる様子の映像であってもよいし、ヒト以外の動物や機械が物体を変形させる様子の映像であってもよい。これらの映像は、高速カメラで撮影されたものであることが望ましい。高速カメラで撮影された映像は、単位時間当たりのフレーム数が多く、画像処理によって制御可能な変形速度のレンジが広いからである。単位時間当たりのフレーム数が多ければ、単純にフレームを間引くだけでも視覚対象の変形速度を大きくできる。しかし、これは本発明を限定するものではない。例えば、実空間で物体を変形させた様子を写した映像ではなく、変形していく視覚対象をコンピュータグラフィックスやアニメーションなどで描いた映像が記憶部１１２に格納されてもよい。変形速度を制御できるのであれば、どのように視覚対象が変形してく映像が圧縮に格納されてもよい。例えば、視覚対象が押し込まれるように変形（圧縮変形）していく映像であってもよいし、視覚対象が引っ張られるように変形していく映像であってもよいし、視覚対象がせん断変形（ずれ変形）するように変形していく映像であってもよいし、視覚対象がねじれるように変形していく映像であってもよいし、視覚対象が拡大または縮小するように変形していく映像であってもよいし、これら何れかの変形が同時に生じるように変形していく映像であってもよい。また映像は２次元映像であってもよいし、３次元映像であってもよい。
　また記憶部１１１には、マッピング情報が格納される。マッピング情報は、視覚対象の変形速度を表す指標（変形速度指標）と、当該変形速度で変形する視覚対象から知覚される柔らかさ感を表す指標（柔らかさ感指標）と、の対応（関係）を表す情報である。視覚対象の変形速度と当該変形速度で変形する視覚対象から知覚される柔らかさ感との関係は、ヒトを対象とした実験によって予め取得された結果に基づく。例えば、映像中の視覚対象の変形速度を様々に変化させ、それを鑑賞するヒトが知覚した柔らかさ感を回答させる（例えば、前述の実験１，２，３参照）。そして、それによって得られた変形速度と柔らかさ感との対応関係（例えば、図５，図６，７Ｂ参照）に基づいて、マッピング情報を設定すればよい。前述のように、第１変形速度で変形する提示視覚対象から知覚される柔らかさ感は、第１変形速度よりも小さな第２変形速度で変形する提示視覚対象から知覚される柔らかさ感よりも大きい。そのため、第１変形速度を表す変形速度指標に対応する柔らかさ感指標が表す柔らかさ感は、第１変形速度よりも小さな第２変形速度を表す変形速度指標に対応する柔らかさ感指標が表す柔らかさ感よりも大きい。例えば、大きな変形速度を表す変形速度指標ほど、大きな柔らかさ感を表す柔らかさ感指標に対応付けられる。
　変形速度指標は、視覚対象の変形速度を表す指標であればどのようなものであってもよい。例えば、視覚対象の変形速度（物理量）を変形速度指標としてもよいし、基準となる変形速度に対する視覚対象の変形速度の相対速度を視覚対象の変形速度としてもよいし、当該変形速度および／または相対速度の関数値（例えば、単調増加関数値や非減少関数値）を変形速度指標としてもよい。視覚対象の変形速度（物理量）はどのようなものであってもよい。例えば、視覚対象の変形速度（物理量）は、視覚対象の特定の部位の変位速度（例えば、前述の押し込み速度）であってもよいし、オプティカルフローによって得られる視覚対象の速度ベクトル群（局所運動ベクトル群）の平均値その他の統計値であってもよい。また、基準となる変形速度もどのようなものであってもよい。例えば、基準となる変形速度は、記憶部１１２に格納された映像の視覚対象の変形速度そのものであってもよいし、予め定められた速度であってもよい。
　柔らかさ感指標は、上述の変形速度で変形する視覚対象から知覚される柔らかさ感を表す指標であれば、どのようなものであってもよい。例えば、柔らかさ感のスコアの平均値その他の統計値を柔らかさ感指標としてもよいし、基準となる変形速度で変形する視覚対象の柔らかさ感のスコアの平均値その他の統計値に対する、柔らかさ感のスコアの平均値その他の統計値の相対値を柔らかさ感指標としてもよいし、当該スコアの平均値その他の統計値および／または相対値の関数値（例えば、単調増加関数値や非減少関数値）を柔らかさ感指標としてもよい。柔らかさ感のスコアは、柔らかさ感を客観的に表現する値であればどのようなものであってもよい。例えば、実験１で説明した柔らかさ感のスコアを用いることができる。この例のスコアは０～１００の整数であり、スコアが大きいほど柔らかさ感が大きく、スコア０は「全く柔らかく感じない」ことを示し、スコア１００は「想像できる中で一番柔らかく感じる」ことを示す。その他、柔らかさ感のスコアが５段階や７段階の値であってもよい。あるいは、視覚対象から知覚される柔らかさ感と等価な物理量を心理物理実験で定義し、その柔らかさ感と等価な物理量またはその関数値を柔らかさ感指標としてもよい。例えば、指で押された物体が変形する様子の映像を被検者に観察させ、当該被検者が実際の物体を自らの指で押しながら、映像から知覚した柔らかさ感と等しい物体を選択する心理物理実験を行う。そして、当該被検者が選択した物体の硬度（例えば、デュロメータで計測して得られるアスカーＡ型の硬度値）の平均値その他の統計値またはその関数値を、当該映像中の物体（視覚対象）の変形速度に対応する柔らかさ感指標と定義してもよい。
　マッピング情報は、変形速度指標と柔らかさ感指標との対応（関係）を表す情報であればどのようなものであってもよい。例えば、図２Ａおよび図２Ｂに例示するように、変形速度指標とそれに対応する柔らかさ感指標とを対応付けたテーブルをマッピング情報としてもよい。図２Ａは、視覚対象の変形速度（物理量）を変形速度指標とし、視覚対象の柔らかさ感のスコアの平均値その他の統計値の相対値を柔らかさ感指標とした例である。図２Ｂは、基準となる変形速度に対する視覚対象の変形速度の相対速度を変形速度指標とし、この基準となる変形速度で変形する視覚対象の柔らかさ感のスコアの平均値その他の統計値に対する、視覚対象の柔らかさ感のスコアの平均値その他の統計値の相対値を柔らかさ感指標とした例である。また例えば、図２Ｃに例示するように、変形速度指標とそれに対応する柔らかさ感指標との対応（関係）を示す関数（数理モデル）をマッピング情報としてもよい。このような関数は、例えば、実験で得られた変形速度と柔らかさ感のスコアとの対応関係（例えば、変形速度と柔らかさ感のスコアとの組）を学習データとした機械学習によって得られる。
　＜柔らかさ感制御処理＞
　上述の事前処理を前提として、以下の柔らかさ感制御処理が実行される。まず、柔らかさ感制御装置１１（図１）の入力部１１３に、提示する提示視覚対象の柔らかさ感を指定する指定情報ｓが入力される。指定情報ｓは、利用者１００等がボタンやキーボードなど（図示せず）を操作することで入力されてもよいし、その他のアプリケーションから送られてもよいし、通信によって外部から送信されてもよいし、柔らかさ感制御装置１１のメモリ（図示せず）に予め格納されていてもよい。指定情報ｓは、提示視覚対象の柔らかさ感を指定する情報であればどのようなものであってもよい。指定情報ｓは、例えば、柔らかさ感指標そのものであってもよいし、柔らかさ感指標を特定するための情報であってもよいし、柔らかさ感のスコアであってもよいし、柔らかさ感と等価な物理量であってもよいし、柔らかさ感のスコアや柔らかさ感と等価な物理量を特定するための情報であってもよい。入力部１１３は、入力された指定情報ｓを受け付け、当該指定情報ｓを変形速度制御部１１４に送る（ステップＳ１１３）。
　変形速度制御部１１４には、指定情報ｓが入力される。変形速度制御部１１４は、記憶部１１１に格納されたマッピング情報（視覚対象の変形速度を表す変形速度指標と、変形速度で変形する視覚対象から知覚される柔らかさ感を表す柔らかさ感指標と、の対応を表す情報）を用い、指定情報ｓが指定する柔らかさ感を表す柔らかさ感指標に対応する変形速度指標ｖを得て出力する。例えば、マッピング情報が変形速度指標とそれに対応する柔らかさ感指標とを対応付けたテーブル（例えば、図２Ａおよび図２Ｂ）である場合、変形速度制御部１１４は、マッピング情報を検索し、指定情報ｓが指定する柔らかさ感を表す柔らかさ感指標に対応する変形速度指標ｖを得て出力する。例えば、マッピング情報が変形速度指標とそれに対応する柔らかさ感指標との対応（関係）を示す関数である場合、変形速度制御部１１４は、指定情報ｓが指定する柔らかさ感を表す柔らかさ感指標を当該関数に代入し、それによって変形速度指標ｖを得て出力する。変形速度指標ｖは変形処理部１１５に送られる（ステップＳ１１４）。
　変形処理部１１５には、変形速度指標ｖが入力される。変形処理部１１５は、記憶部１１２から抽出した映像ｏを変形速度指標ｖに基づいて画像処理（加工）し、変形速度指標ｖに基づく変形速度で変形する提示視覚対象（例えば、物体の映像）を含む映像ｏｖを得て出力する。以下にこの具体例を示す。
　＜具体例１＞
　まず、変形速度指標ｖに基づいて、単純に、複数のフレームに対応する映像ｏからフレームを間引いたり、当該映像ｏにフレームを追加したりして、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを得る方法を例示する。
　映像ｏに含まれた視覚対象よりも変形速度が大きな提示視覚対象を含む映像ｏｖを得る場合、変形処理部１１５は、映像ｏからフレームを間引く。これにより、変形処理部１１５は、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを得る。例えば、映像ｏの総フレーム数がＮであり、提示視覚対象の変形速度を映像ｏに含まれた視覚対象の変形速度のＸ倍にする場合、変形処理部１１５は、フレーム数がＮ／Ｘとなるように、合計Ｎ＊（１－（１／Ｘ））個のフレームを元の映像ｏから均等または略均等に間引くことで、提示視覚対象を含む映像ｏｖを得る。ただし、ＮおよびＸはＮ＞Ｘを満たす正の整数であり、ＮはＸの倍数である。例えば、提示視覚対象の変形速度を映像ｏに含まれた視覚対象の２倍にする場合、変形処理部１１５は、映像ｏのフレームを１フレームおきに間引く。
　映像ｏに含まれた視覚対象よりも変形速度が小さな提示視覚対象を含む映像ｏｖを得る場合、変形処理部１１５は、映像ｏに新たなフレームを追加する。これにより、変形処理部１１５は、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを得る。例えば、提示視覚対象の変形速度を映像ｏに含まれた視覚対象の変形速度の１／Ｘ倍にする場合、変形処理部１１５は、フレーム数がＮ＊Ｘとなるように、元の映像ｏのフレーム間に合計Ｎ＊（Ｘ－１）個の新たなフレームを均等または略均等に挿入することで、提示視覚対象を含む映像ｏｖを得る。例えば、挿入される新たなフレームは、新たなフレームの挿入位置に最も近いフレーム（例えば、新たなフレームの挿入位置の直前または直後のフレーム）のコピーである。或いは、挿入される新たなフレームの前後のフレームをアルファブレンディングしたものを当該新たなフレームとしてもよい。例えば、あるフレーム間にＭ個の新たなフレームを挿入する場合、当該Ｍ個の新たなフレームのうちｉ番目のフレームは、そのｉ番目のフレームの前後のフレームをｉ／Ｍと（Ｍ－ｉ）／Ｍでそれぞれ重みづけしてアルファブレンディングしたものとする。ただし、Ｍは２以上の正整数であり、ｉ＝１，…，Ｍである。
　なお、具体例１の変形速度指標ｖに基づく変形速度は、映像ｏからフレームを間引いたり、当該映像ｏにフレームを追加したりして実現できる、変形速度指標ｖが表す変形速度または変形速度指標ｖが表す変形速度の近傍（例えば、変形速度指標ｖが表す変形速度に最も近い）の変形速度である。
　＜具体例２＞
　具体例２は、具体例１の変形例であり、映像ｏの中身を解析して変形速度を最適化する。例えば、変形処理部１１５は、オプティカルフローを用いて、映像ｏのフレーム間の速度ベクトル群（局所運動ベクトル群）を計算し、その速度ベクトル群の大きさの平均値その他の統計値を、そのフレームでの視覚対象の変形速度と定義する。変形処理部１１５は、例えば、この変形速度が全フレームを通して一定または略一定となるようにフレーム数を制御した上で、具体例１と同様に、変形速度を大きくするためにフレームを間引く、または、変形速度を小さくするために新たなフレームを挿入する。その他は具体例１と同じである。
　なお、具体例２の変形速度指標ｖに基づく変形速度は、この変形速度が全フレームを通して一定または略一定となるようにフレーム数を制御した上で、映像ｏからフレームを間引いたり、当該映像ｏに追加したりして実現できる、変形速度指標ｖが表す変形速度または変形速度指標ｖが表す変形速度の近傍（例えば、形速度指標ｖが表す変形速度に最も近い）の変形速度である。
　＜具体例３＞
　具体例３は、具体例１，２の変形例である。具体例３でも、映像ｏの中身を解析して変形速度を最適化する。具体例２との相違点は、変形速度が全フレームを通して一定または略一定となるようにフレーム数を制御するのではなく、変形速度が所望の時間変化を行うように制御する点である。これにより、非線形な柔らかさ感を提示することができる。すなわち、具体例３では、第１時間区間での変形速度指標ｖに基づく変形速度（提示視覚対象の変化速度）は、変形速度指標が表す第１時間区間と異なる第２時間区間での変形速度指標ｖに基づく変形速度と異なる。例えば、変形速度指標ｖに基づく変形速度が時間的に極大になったり、極小となったりするように制御される。図３に、この場合のフレーム番号と、当該フレーム番号のフレーム（時間区間）での変形速度指標ｖに基づく変形速度の倍率と、の関係を例示する。ここで、変形速度指標ｖに基づく変形速度の倍率とは、変形速度指標ｖが表す変形速度に対する、変形速度指標ｖに基づく変形速度（提示視覚対象の変形速度）の倍率を表す。図３の例の場合、フレーム番号３００から３６０まで以外のフレームでは、変形速度指標ｖが表す変形速度が提示視覚対象の変形速度となり、フレーム番号３００から３６０までのフレームでは、変形速度指標ｖが表す変形速度の２倍の変形速度が提示視覚対象の変形速度となる。その他は具体例１，２と同じである（ステップＳ１１５）。
　なお、具体例３の変形速度指標ｖに基づく変形速度は、変形速度が所望の時間変化を行うように制御した上で、映像ｏからフレームを間引いたり、当該映像ｏにフレームを追加したりして実現できる、変形速度指標ｖが表す変形速度または変形速度指標ｖが表す変形速度の近傍（例えば、形速度指標ｖが表す変形速度に最も近い）の変形速度である。
　変形処理部１１５から出力された提示視覚対象を含む映像ｏｖは、新たな映像ｏとして記憶部１１２に格納されてもよいし、通信部１１６を介して外部に伝送されてもよいし、さらに提示装置１２に送られてもよい（例えば、提示装置１２にリアルタイムに送られてもよい）。提示装置１２に提示視覚対象を含む映像ｏｖが送られると、提示装置１２は当該映像ｏｖを視覚的に出力（表示）し、利用者１００はこれを鑑賞する。これにより、利用者１００は、指定情報ｓで指定された柔らかさ感を知覚する（ステップＳ１１６）。
　［第１実施形態の変形例１］
　第１実施形態では、柔らかさ感制御装置１１が、映像ｏを画像処理し、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを生成した。しかしながら、柔らかさ感制御装置１１が、変形速度に加えて変形量（最大変形量）も制御した提示視覚対象を含む映像ｏｖを生成してもよい。この場合、指定情報ｓに変形量を指定するための情報が含まれていてもよいし、指定情報ｓと独立に、この情報が柔らかさ感制御装置１１に入力されてもよいし、予めメモリ（図示せず）に格納されていてもよい。変形処理部１１５には、変形速度指標ｖおよび変形量を指定するための情報が入力される。変形処理部１１５は、これらを用いて、変形速度指標ｖに基づいて第１実施形態で例示したように提示視覚対象の変形速度を制御するとともに、変形量を指定するための情報に基づいて提示視覚対象の変形量も制御する。これにより、提示する柔らか感の制御レンジを広くすることができる。以下に提示視覚対象の変形量の制御方法を例示する。
　＜変形量の制御方法１＞
　例えば、変形処理部１１５は、提示視覚対象の最大変形量が指定された変形量となるように、映像ｏの全フレームではなく、それらの一部の連続するフレームのみを用い、変形速度指標ｖに基づいて画像処理し、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを生成してもよい。例えば、指定された変形量が、映像ｏｖに含まれた視覚対象の変形量の１／Ｙである場合、変形処理部１１５は、映像ｏに含まれた全フレームのうち、連続する１／Ｙ（または１／Ｙに最も近い整数）個のフレームのみを用い、変形速度指標ｖに基づいて画像処理し、提示視覚対象を含む映像ｏｖを生成してもよい。ただし、Ｙは正の整数である。例えば、提示視覚対象の変形量を映像ｏに含まれた視覚対象の半分にする場合、変形処理部１１５は、映像ｏの半分のフレームのみを用い、変形速度指標ｖに基づいて画像処理し、提示視覚対象を含む映像ｏｖを生成する。
　＜変形量の制御方法２＞
　別の方法として、映像ｏの中身を解析して提示視覚対象の変形量を制御してもよい。例えば、変形処理部１１５は、オプティカルフローを用いて、映像ｏのフレーム間での速度ベクトル群を計算し、Ｚ個（Ｚは２以上の整数）のフレーム分の速度ベクトル群の大きさの和を当該Ｚ個のフレームでの視覚対象の変形量と定義する。さらに変形処理部１１５は、このように定義した変形量が、指定された変形量または指定された変形量に近似するように、連続するフレームＺ個分の部分フレーム群を選択する。そして、変形処理部１１５は、選択した部分フレーム群のフレームを用い、変形速度指標ｖに基づいて画像処理し、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを生成する。その他は変形量の制御方法１と同一である。
　［第１実施形態の変形例２］
　物理的な柔らかさが異なる複数の物体をそれぞれ撮影して得られた動画を、それぞれ視覚対象を含む映像として記憶部１１２に格納しておいてもよい。これにより、柔らかさ感制御装置１１が、変形速度の制御に加えて、提示視覚対象のもととなる視覚対象（物体）の物理的な柔らかさの選択をも行い、提示視覚対象を含む映像ｏｖを生成することが可能になる。この場合、指定情報ｓに当該元の視覚対象の物理的な柔らかさを指定するための情報が含まれていてもよいし、指定情報ｓと独立に、この情報が柔らかさ感制御装置１１に入力されてもよいし、予めメモリ（図示せず）に格納されていてもよい。変形処理部１１５には、変形速度指標ｖおよび視覚対象の元の物理的な柔らかさを指定するための情報が入力される。変形処理部１１５は、これらを用い、指定された物理的な柔らかさを持つ物体を撮影して得られた映像ｏを記憶部１１２から抽出する。変形処理部１１５は、抽出した映像ｏに対し、第１実施形態で例示したように、変形速度指標ｖに基づく画像処理を行い、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを生成する。これにより、提示する柔らか感の制御レンジを広くすることができる。さらに加えて、第１実施形態の変形例１で例示したように、提示視覚対象の変形量（最大変形量）も制御してもよい。これにより、提示する柔らか感の制御レンジをさらに広くすることができる。
　［第１実施形態の変形例３］
　記憶部１１２に格納された映像ｏが複数の視覚対象（例えば、複数の物体の映像）を含む場合、柔らかさ感制御装置１１が、視覚対象ごとに独立に変形速度を制御し、このように変形速度が独立に制御された複数の提示視覚対象を含む映像ｏｖを生成してもよい。これにより、提示視覚対象ごとに異なる柔らかさ感を知覚させることもできる。この場合、入力部１１３には、複数の提示視覚対象の柔らかさ感を互いに独立に指定する指定情報ｓが入力される。すなわち、提示視覚対象が、第１提示視覚対象と、第１提示視覚対象とともに提示される第２提示視覚対象と、を含み、入力部１１３は、第１提示視覚対象の柔らかさ感を指定する指定情報である第１指定情報、および、第２提示視覚対象の柔らかさ感を指定する指定情報である第２指定情報を含む、指定情報ｓを受け付ける。指定情報ｓは変形速度制御部１１４に入力される。変形速度制御部１１４は、記憶部１１１に格納されたマッピング情報を用い、指定情報ｓが指定する各提示視覚対象の柔らかさ感を表す柔らかさ感指標に対応する変形速度指標ｖをそれぞれ得て出力する。すなわち、変形速度制御部１１４は、第１指定情報が指定する柔らかさ感を表す柔らかさ感指標に対応する変形速度指標ｖである第１変形速度指標、および、第２指定情報が指定する柔らかさ感を表す柔らかさ感指標に対応する変形速度指標ｖである第２変形速度指標を得て出力する。変形速度指標ｖは変形処理部１１５に入力される。変形処理部１１５は、記憶部１１２から抽出した映像ｏに含まれた複数の視覚対象それぞれを、変形速度指標ｖに基づいて独立に画像処理し、複数の提示視覚対象のそれぞれが、それぞれに対応する変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを得て出力する。例えば、変形処理部１１５は、映像ｏに含まれた第１視覚対象を、第１変形速度指標に基づいて画像処理し、映像ｏに含まれた第２視覚対象を、第２変形速度指標に基づいて画像処理する。これにより、変形処理部１１５は、第１変形速度指標に基づく変形速度で変形する第１提示視覚対象、および、第２変形速度指標に基づく変形速度で変形する第２提示視覚対象を含む映像ｏｖを得て出力する。例えば、変形処理部１１５は、映像ｏを提示視覚対象ごとに分離し、各提示視覚対象がそれぞれ含まれる映像ごとに、第１実施形態で説明した処理を実行し、得られた映像を合成して映像ｏｖを得る。その他は第１実施形態と同じである。さらに、第１実施形態の変形例２，３のように、変形速度に加え、変形量（最大変形量）を制御してもよいし、被写体となった元の第１提示視覚対象の物理的な柔らかさをも選択可能としてもよい。この場合、提示視覚対象ごとに独立に、変形速度を制御するのか、さらに変形量も制御するのかが決定されてもよい。
　［第１実施形態の変形例４］
　第１実施形態およびその変形例１，２，３では、変形処理部１１５が映像ｏを変形速度指標ｖに基づいて画像処理し、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを得ていた。しかし、複数の変形速度で変形する視覚対象を含む映像ｏを予め記憶部１１２に格納しておいてもよい。この場合、変形処理部１１５は、変形速度指標ｖを用い、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を含む映像ｏｖを、記憶部１１２に格納された映像ｏから選択および抽出することで得る。これにより、映像ｏｖを得るための時間を短縮できる。
　［第２実施形態］
　第１実施形態およびその変形例１～４では、柔らかさ感制御装置が、変形速度指標に基づく変形速度で変形する提示視覚対象を含む映像ｏｖを出力した。しかしながら、柔らかさ感制御装置が、変形速度指標に基づく変形速度で提示視覚対象を変形させるための指令を出力してもよい。
　＜構成＞
　図８に例示するように、本実施形態の柔らかさ感提示システム２は、柔らかさ感制御装置２１と提示装置２２とを有する。本実施形態では、柔らかさ感制御装置２１と提示装置２２とがネットワークを介して通信可能に構成されている例を示す。しかしこれは本発明を限定するものではない。柔らかさ感制御装置２１は、記憶部１１１、入力部１１３、変形速度制御部１１４、変形処理部２１５、および通信部１１６を有する。柔らかさ感制御装置２１のハードウェア構成については後述する。提示装置２２は、映像を利用者１００に視覚的に提示する装置であってもよいし、機械的な動きを利用者１００に視覚的に提示する装置であってもよい。前者の提示装置２２の例は、ディスプレイ、投影機、ＶＲゴーグルなどである。後者の提示装置２２の例は、指定された速度で物体（提示視覚対象）を外部から変形させることができる引張・圧縮試験機などの装置や、指定された速度で物体（提示視覚対象）自身が変形するロボット、玩具、製品のデモンストレーターなどの装置である。
　＜事前処理＞
　事前処理として、記憶部１１１に第１実施形態で説明したマッピング情報が格納される。
　＜柔らかさ感制御処理＞
　上述の事前処理を前提として、以下の柔らかさ感制御処理が実行される。まず、柔らかさ感制御装置２１が第１実施形態で説明したステップＳ１１３，１１４の処理を実行する。変形処理部２１５には、ステップＳ１１４で得られた変形速度指標ｖが入力される。変形処理部２１５は、変形速度指標ｖに基づく変形速度で提示視覚対象を変形させるための指令ｃｖを生成して出力する（ステップＳ２１５）。指令ｃｖは通信部１１６を介して外部に伝送され、さらに提示装置２２に送られる。提示装置２２は、指令ｃｖに従って、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を提示する。例えば、提示装置２２が、映像を利用者１００に視覚的に提示する装置である場合、提示装置２２は、第１実施形態またはその変形例で説明したように、変形速度指標ｖに基づく変形速度で変形する提示視覚対象を得て表示する。例えば、提示装置２２が、機械的な動きを利用者１００に視覚的に提示する装置である場合、提示装置２２は、変形速度指標ｖに基づく変形速度（例えば、変形速度指標ｖが表す変形速度）で提示視覚対象（物体）を機械的に動かす。利用者１００は、このように提示された提示視覚対象を鑑賞し、指定情報ｓで指定された柔らかさ感を知覚する（ステップＳ２１６）。
　［第２実施形態の変形例］
　第２実施形態に対し、第１実施形態の変形例１～３と同様な変形がなされてもよい。すなわち、第２実施形態において、柔らかさ感制御装置２１が、提示される提示視覚対象の変形速度に加えて変形量（最大変形量）も制御してもよい。また第２実施形態において、柔らかさ感制御装置２１が、変形速度の制御に加え、提示視覚対象のもととなる視覚対象（物体）の物理的な柔らかさを選択可能としてもよい。また第２実施形態において、柔らかさ感制御装置２１が、同時に提示される複数の提示視覚対象それぞれの変形速度を独立に制御してもよい。
　［第３実施形態］
　提示装置が、指定情報ｓで指定された柔らかさ感を提示する提示視覚対象を提示し、撮影装置がその様子を撮影することで、指定情報ｓで指定された柔らかさ感を提示する映像を得てもよい。
　＜構成＞
　図９に例示するように、本実施形態の柔らかさ感提示システム３は、柔らかさ感制御装置３１と提示装置１２または２２と提示装置３２と撮影装置３３を有する。本実施形態では、柔らかさ感制御装置３１と提示装置１２，２２，３２と撮影装置３３とがネットワークを介して通信可能に構成されている例を示す。しかしこれは本発明を限定するものではない。柔らかさ感制御装置３１は、記憶部１１１，１１２、入力部１１３、変形速度制御部１１４、変形処理部３１５、および通信部１１６を有する。柔らかさ感制御装置３１のハードウェア構成については後述する。提示装置３２は、機械的な動きを利用者１００に視覚的に提示する装置である。提示装置３２は、例えば、指定された速度で物体（提示視覚対象）を外部から変形させることができる引張・圧縮試験機などの装置や、指定された速度で物体（提示視覚対象）自身が変形するロボット、玩具、製品のデモンストレーターなどの装置である。撮影装置３３は、例えば、高速カメラなどの動画を撮影可能なカメラである。
　＜事前処理＞
　事前処理として、記憶部１１１に第１実施形態で説明したマッピング情報が格納される。
　＜柔らかさ感制御処理＞
　上述の事前処理を前提として、以下の柔らかさ感制御処理が実行される。まず、柔らかさ感制御装置３１が第１実施形態で説明したステップＳ１１３，１１４の処理を実行する。変形処理部３１５には、ステップＳ１１４で得られた変形速度指標ｖが入力される。変形処理部３１５は、変形速度指標ｖに基づく変形速度で提示視覚対象を変形させるための指令ｃｖを生成して出力する（ステップＳ３１５）。指令ｃｖは通信部１１６を介して外部に伝送され、さらに提示装置３２に送られる。提示装置３２は、指令ｃｖに従って、変形速度指標ｖに基づく変形速度で提示視覚対象（物体）を機械的に動かす。すなわち提示装置３２は、変形処理部３１５から出力された指令ｃｖに従って変形させた提示視覚対象を提示する。撮影装置３３は、提示装置３２で提示された提示視覚対象を撮影し、提示視覚対象の映像ｏを得て出力する。映像ｏはネットワークを介して柔らかさ感制御装置３１に送られる。柔らかさ感制御装置３１の通信部１１６はこの映像ｏを受け取り、記憶部１１２に格納する（ステップＳ３１６）。
　記憶部１１２に格納された映像ｏは、例えば、第１実施形態、第１実施形態の変形例、第２実施形態、または第２実施形態の変形例で説明したように利用される。
　［ハードウェア構成］
　各実施形態における柔らかさ感制御装置１１，２１，３１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。すなわち、各実施形態における柔らかさ感制御装置１１，２１，３１は、例えば、それぞれが有する各部を実装するように構成された処理回路（processing circuitry）を有する。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
　図１０は、各実施形態における柔らかさ感制御装置１１，２１，３１のハードウェア構成を例示したブロック図である。図１０に例示するように、この例の柔らかさ感制御装置１１，２１，３１は、ＣＰＵ（Central Processing Unit）１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ（Random Access Memory）１０ｄ、ＲＯＭ（Read Only Memory）１０ｅ、補助記憶装置１０ｆ、通信部１０ｈ及びバス１０ｇを有している。この例のＣＰＵ１０ａは、制御部１０ａａ、演算部１０ａｂ及びレジスタ１０ａｃを有し、レジスタ１０ａｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１０ｂは、データが入力される入力端子、キーボード、マウス、タッチパネル等である。また、出力部１０ｃは、データが出力される出力端子、ディスプレイ等である。通信部１０ｈは、所定のプログラムを読み込んだＣＰＵ１０ａによって制御されるＬＡＮカード等である。また、ＲＡＭ１０ｄは、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等であり、所定のプログラムが格納されるプログラム領域１０ｄａ及び各種データが格納されるデータ領域１０ｄｂを有している。また、補助記憶装置１０ｆは、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、所定のプログラムが格納されるプログラム領域１０ｆａ及び各種データが格納されるデータ領域１０ｆｂを有している。また、バス１０ｇは、ＣＰＵ１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ１０ｄ、ＲＯＭ１０ｅ、通信部１０ｈ及び補助記憶装置１０ｆを、情報のやり取りが可能なように接続する。ＣＰＵ１０ａは、読み込まれたＯＳ（Operating System）プログラムに従い、補助記憶装置１０ｆのプログラム領域１０ｆａに格納されているプログラムをＲＡＭ１０ｄのプログラム領域１０ｄａに書き込む。同様にＣＰＵ１０ａは、補助記憶装置１０ｆのデータ領域１０ｆｂに格納されている各種データを、ＲＡＭ１０ｄのデータ領域１０ｄｂに書き込む。そして、このプログラムやデータが書き込まれたＲＡＭ１０ｄ上のアドレスがＣＰＵ１０ａのレジスタ１０ａｃに格納される。ＣＰＵ１０ａの制御部１０ａａは、レジスタ１０ａｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１０ｄ上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１０ａｂに順次実行させ、その演算結果をレジスタ１０ａｃに格納していく。このような構成により、柔らかさ感制御装置１１，２１，３１の機能構成が実現される。
　上述のプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
　このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。上述のように、このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　［その他の変形例］
　なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の各実施形態では、柔らかさ感制御装置と提示装置や撮影装置とがネットワークを介して通信可能に構成されている例を示した。しかし、これは本発明を限定するものではなく、これらが通信可能に直接接続されていてもよいし、柔らかさ感制御装置の中に提示装置や撮影装置の機能が統合されていてもよい。あるいは、柔らかさ感制御装置が複数の装置に分散配置され、それらの複数の装置が通信可能に構成されていてもよい。
　また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
１，２，３：柔らかさ感提示システム
１１，２１，３１：柔らかさ感制御装置
１１４：変形速度制御部
１１５，２１５，３１５：変形処理部
１２，２２，３２：提示装置
３３：撮影装置

Claims (8)

  1. 　提示視覚対象の柔らかさ感を指定する指定情報を受け付ける入力部と、
    　視覚対象の変形速度を表す変形速度指標と、前記変形速度で変形する前記視覚対象から知覚される柔らかさ感を表す柔らかさ感指標と、の対応を表す情報を用い、前記指定情報が指定する柔らかさ感を表す前記柔らかさ感指標に対応する前記変形速度指標を得る変形速度制御部と、
    を有する柔らかさ感制御装置。
  2. 　請求項１の柔らかさ感制御装置であって、
    　第１変形速度を表す前記変形速度指標に対応する前記柔らかさ感指標が表す柔らかさ感は、前記第１変形速度よりも小さな第２変形速度を表す前記変形速度指標に対応する前記柔らかさ感指標が表す柔らかさ感よりも大きい、柔らかさ感制御装置。
  3. 　請求項１または２の柔らかさ感制御装置であって、
    　前記提示視覚対象は、第１提示視覚対象と、前記第１提示視覚対象とともに提示される第２提示視覚対象と、を含み、
    　前記入力部は、前記第１提示視覚対象の柔らかさ感を指定する前記指定情報である第１指定情報、および、前記第２提示視覚対象の柔らかさ感を指定する前記指定情報である第２指定情報を受け付け、
    　前記変形速度制御部は、前記第１指定情報が指定する柔らかさ感を表す前記柔らかさ感指標に対応する前記変形速度指標である第１変形速度指標、および、前記第２指定情報が指定する柔らかさ感を表す前記柔らかさ感指標に対応する前記変形速度指標である第２変形速度指標を得る、柔らかさ感制御装置。
  4. 　請求項１から３の何れかの柔らかさ感制御装置であって、
    　前記変形速度指標に基づく変形速度で変形する前記提示視覚対象を得て出力する、および／または、前記変形速度指標に基づく変形速度で前記提示視覚対象を変形させるための指令を出力する、変形処理部をさらに有する、
    柔らかさ感制御装置。
  5. 　請求項４の柔らかさ感制御装置であって、
    　第１時間区間での前記変形速度指標に基づく変形速度は、前記変形速度指標が表す前記第１時間区間と異なる第２時間区間での前記変形速度指標に基づく変形速度と異なる、柔らかさ感制御装置。
  6. 　請求項４または５の前記柔らかさ感制御装置を有する柔らかさ感提示システムであって、
    　前記柔らかさ感制御装置は前記指令を出力し、
    　前記柔らかさ感提示システムは、さらに
    　前記指令に従って変形させた前記提示視覚対象を提示する提示装置と、
    　前記提示装置で提示された前記提示視覚対象を撮影して前記提示視覚対象の映像を得る撮影装置と、
    を有する柔らかさ感提示システム。
  7. 　柔らかさ感制御装置の柔らかさ感制御方法であって、
    　提示視覚対象の柔らかさ感を指定する指定情報を受け付ける入力ステップと、
    　視覚対象の変形速度を表す変形速度指標と、前記変形速度で変形する前記視覚対象から知覚される柔らかさ感を表す柔らかさ感指標と、の対応を表す情報を用い、前記指定情報が指定する柔らかさ感を表す前記柔らかさ感指標に対応する前記変形速度指標を得る変形速度制御ステップと、
    を有する柔らかさ感制御方法。
  8. 　請求項１から５の何れかの柔らかさ感制御装置としてコンピュータを機能させるためのプログラム。
PCT/JP2021/047989 2021-12-23 2021-12-23 柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム WO2023119583A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/047989 WO2023119583A1 (ja) 2021-12-23 2021-12-23 柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/047989 WO2023119583A1 (ja) 2021-12-23 2021-12-23 柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2023119583A1 true WO2023119583A1 (ja) 2023-06-29

Family

ID=86901884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047989 WO2023119583A1 (ja) 2021-12-23 2021-12-23 柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023119583A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111245A1 (ja) * 2007-03-14 2008-09-18 Japan Science And Technology Agency 仮想感覚提示装置
JP2013254398A (ja) * 2012-06-08 2013-12-19 Univ Of Electro-Communications 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111245A1 (ja) * 2007-03-14 2008-09-18 Japan Science And Technology Agency 仮想感覚提示装置
JP2013254398A (ja) * 2012-06-08 2013-12-19 Univ Of Electro-Communications 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム

Similar Documents

Publication Publication Date Title
WO2017101094A1 (en) Avatar animation system
US20090044112A1 (en) Animated Digital Assistant
KR20210032553A (ko) 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품
US9046926B2 (en) System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
Marcos et al. A realistic, virtual head for human–computer interaction
CN114630738B (zh) 用于模拟感测数据和创建感知的系统和方法
JP2002298147A5 (ja)
CN113095206A (zh) 虚拟主播生成方法、装置和终端设备
KR20160134883A (ko) 영상컨텐츠 적용 디지털액터의 운용방법
WO2023119583A1 (ja) 柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム
Vlachos et al. Android emotions revealed
Gonzalez Morin et al. Full body video-based self-avatars for mixed reality: from E2E system to user study
Lee et al. A study on virtual reality sickness and visual attention
KR20200001574A (ko) 다차원 반응형 영상 생성장치, 방법 및 프로그램, 및 다차원 반응형 영상 재생방법 및 프로그램
JP6794740B2 (ja) プレゼンテーション資料生成装置、プレゼンテーション資料生成システム、コンピュータプログラム及びプレゼンテーション資料生成方法
WO2023119582A1 (ja) 見掛け力制御装置、見掛け力提示システム、見掛け力制御方法、およびプログラム
WO2021199408A1 (ja) 擬似触覚制御装置、擬似触覚制御方法、およびプログラム
CN113419798B (zh) 内容的展示方法、装置、设备和存储介质
WO2019208152A1 (ja) 情報処理装置及びプログラム
Vinnikov et al. Real-time simulation of visual defects with gaze-contingent display
Fujimoto et al. HMD Eye-Tracking Measurement of Miniature Eye Movement Toward VR Image Navigation
JP2723070B2 (ja) 人物像表示によるユーザインタフェース装置
Heravi et al. Development and evaluation of a learning-based model for real-time haptic texture rendering
WO2023119581A1 (ja) 擬似触覚提示装置、擬似触覚提示方法、およびプログラム
JP7171964B1 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21969018

Country of ref document: EP

Kind code of ref document: A1