WO2023079627A1 - 擬似触覚提示装置、擬似触覚提示方法、およびプログラム - Google Patents

擬似触覚提示装置、擬似触覚提示方法、およびプログラム Download PDF

Info

Publication number
WO2023079627A1
WO2023079627A1 PCT/JP2021/040589 JP2021040589W WO2023079627A1 WO 2023079627 A1 WO2023079627 A1 WO 2023079627A1 JP 2021040589 W JP2021040589 W JP 2021040589W WO 2023079627 A1 WO2023079627 A1 WO 2023079627A1
Authority
WO
WIPO (PCT)
Prior art keywords
amount
pseudo
visual object
change
visual
Prior art date
Application number
PCT/JP2021/040589
Other languages
English (en)
French (fr)
Inventor
隆寛 河邉
拓巳 横坂
雄介 宇治土公
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/040589 priority Critical patent/WO2023079627A1/ja
Publication of WO2023079627A1 publication Critical patent/WO2023079627A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to technology for presenting a pseudo tactile sensation.
  • Non-Patent Document 1 discloses touchless pseudo-haptic technology in a carousel interface that slides an image left and right based on a user's swipe gesture. This technology reproduces the natural movement and stopping of the carousel by applying the coefficient of friction and magnetic force to the movement of the carousel based on physics calculations, giving the user a pseudo tactile sensation.
  • Non-Patent Document 2 discloses that, in a virtual reality environment, by manipulating the speed difference between a real object grasped in real space and visual feedback, the weight of the real object can be felt to change.
  • Non-Patent Document 2 Although the weight of the object in the virtual environment is modulated by a pseudo-tactile sensation, the speed difference between the tactile sensation and visual feedback due to the physical reaction received from the gripped real object is used. , does not allow the user to perceive a pseudo tactile sensation without using the tactile sensation of physical reaction to the motion of the human body.
  • the present invention has been made in view of these points.
  • the purpose is to make the user perceive a pseudo-tactile sensation.
  • the visual object is visualized with the amount of change corresponding to the operation.
  • Output information to change and present visually changed visual objects is determined at least according to the degree of pseudo-tactile sensation to be presented.
  • FIG. 1 is a block diagram illustrating the pseudo-tactile presentation system of the embodiment.
  • FIG. 2 is a conceptual diagram illustrating the pseudo-tactile presentation system of the embodiment.
  • FIG. 3 is a graph for exemplifying the relationship between the amount of manipulation and the amount of visual change in the visual target in the first embodiment.
  • FIGS. 4A to 4C are diagrams for exemplifying the relationship between the amount of manipulation and the amount of visual change in the visual target in the first embodiment.
  • FIGS. 5A to 5C are diagrams for illustrating the relationship between the amount of visual change in the visual target and the amount of operation in the first embodiment.
  • FIG. 6A is a diagram for explaining the content of an experiment showing the effect of the first embodiment;
  • FIG. 6A is a diagram for explaining the content of an experiment showing the effect of the first embodiment;
  • FIG. 6A is a diagram for explaining the content of an experiment showing the effect of the first embodiment;
  • FIG. 1 is a block diagram illustrating the pseudo-tact
  • FIG. 6B is a graph for illustrating the relationship between the height of the finger in the vertical direction (operation amount based on operation) and the amount of change in the diameter or phase of the visual object (visual amount of change in the visual object).
  • FIG. 7 is a graph illustrating experimental results showing the effects of the first embodiment.
  • FIG. 7 shows the ratio (Speed ratio) and the degree of heaviness (pseudo-tactile sensation) perceived by the subject (evaluation score).
  • FIG. 8 is a diagram for illustrating the visual object of the embodiment of the second embodiment.
  • 9A to 9C are diagrams for exemplifying the relationship between the amount of visual change in the visual target and the amount of operation in the second embodiment.
  • FIGS. 10A to 10C are diagrams for exemplifying the relationship between the amount of manipulation and the amount of visual change in the visual target in the second embodiment.
  • FIGS. 11A to 11C are diagrams for exemplifying the relationship between the amount of manipulation and the amount of visual change in the visual target in the modified example of the second embodiment.
  • FIG. 12A is a diagram for explaining the content of an experiment showing the effect of the second embodiment;
  • FIG. 12B is a graph illustrating experimental results showing the effects of the second embodiment.
  • FIG. 12B shows the ratio (Speed ratio) and the degree of heaviness (pseudo-tactile sensation) perceived by the subject (evaluation score).
  • FIG. 13 is a graph illustrating experimental results showing the effect of the modification of the second embodiment.
  • FIG. 12A is a diagram for explaining the content of an experiment showing the effect of the second embodiment
  • FIG. 12B is a graph illustrating experimental results showing the effects of the second embodiment.
  • FIG. 12B shows the ratio
  • FIG. 13 shows the ratio (Speed ratio) and the degree of heaviness (pseudo-tactile sensation) perceived by the subject (evaluation score).
  • FIG. 14 is a diagram for illustrating a visual object of an embodiment of the third embodiment;
  • FIG. 15A is a diagram for explaining the content of an experiment showing the effect of the third embodiment;
  • FIG. 15B is a graph illustrating experimental results showing the effects of the third embodiment.
  • FIG. 15B shows the ratio (Speed ratio) and the degree of heaviness (pseudo-tactile sensation) perceived by the subject (evaluation score).
  • FIG. 16 is a block diagram illustrating the hardware configuration of the pseudo-tactile presentation device.
  • a pseudo-tactile sensation that can be presented is, for example, a sense of weight.
  • the feeling of heaviness can also be rephrased as a feeling of weight, a feeling of resistance, and the like.
  • body parts are fingers, palms, arms, head, parts of face, waist, trunk, and feet, but these are not intended to limit the present invention, and operations based on actions of any body part can be performed. There may be.
  • the motion of the body part is, for example, the motion of the body part in a touchless environment.
  • a touchless environment means an environment that does not use a physical reaction (that is, a reaction force caused by the reaction) to the motion of the human body to present a pseudo-tactile sensation.
  • An environment in which the human body does not hold or wear a physical input device is a touchless environment.
  • the motion of the body part may be a motion of moving the position of the body part, a motion of rotating the body part, a motion of deforming the body part, or a combination thereof.
  • the position of the body part may be an absolute position or a relative position.
  • An example of the former is the position of a coordinate system fixed to an external reference position (e.g. ground or floor), and an example of the latter is the position relative to the visual object or the device presenting the visual object.
  • the position of the body part may be a position represented by a three-dimensional coordinate system, a position represented by a two-dimensional coordinate system, or a position represented by a one-dimensional coordinate system.
  • the action of rotating the body part may be the action of absolutely rotating the body part or the action of relatively rotating the body part.
  • An example of the former is an action of rotating a body part with respect to a coordinate system fixed to an external reference position
  • an example of the latter is an action of rotating a body part with respect to a visual object or a device that presents the visual object.
  • the action of deforming a body part is the action of deforming a body part with movement of muscles and joints.
  • Examples of actions that transform a body part include a finger pinching action and a fist-clenching action.
  • Motion of a body part can be represented, for example, by the position, orientation, amount of movement, amount of rotation, speed of movement, speed of rotation, acceleration, angular acceleration, or a combination of at least some of these, of the body part.
  • the operation based on the motion of the body part may be any operation as long as it is performed based on the motion of the body part.
  • an operation based on the motion of a body part is an operation content or operation based on the position, orientation, amount of movement, amount of rotation, speed of movement, speed of rotation, acceleration, angular acceleration, or a combination of at least some of these.
  • Any device may be used as long as the operation amount is determined based on the operation.
  • an operation by a body part performed in a touchless environment is detected by a detection device such as a hand tracker, and the detected position, orientation, amount of movement, amount of rotation, speed of movement, speed of rotation, acceleration, and angular acceleration of the detected body part.
  • the operation information representing the operation based on the motion of the body part may be any information as long as it represents the operation based on the motion of the body part.
  • it may be information representing the operation content.
  • it may be information representing the operation amount based on the operation, or information representing both the operation content and the operation amount based on the operation.
  • the operation content indicates the type of operation. Specific examples of operation contents include operation selection, start, continuation, and end.
  • the operation amount based on the operation represents the amount of any type of operation. For example, the greater the movement of the body part, the greater the amount of manipulation based on the manipulation.
  • the operation amount based on operation is described with the operation amount m.
  • the operation amount m is, for example, an amount directly proportional to the amount of movement of the body part.
  • the movement amount of the body part may be used as the operation amount m as it is, or a function value (for example, a non-decreasing function value or a monotonically increasing function value) of the movement amount of the body part may be used as the operation amount m.
  • the movement amount of the body part may be the distance from the movement start position of the body part to the current position, or a specific direction component (for example, the vertical direction) of the distance from the movement start position of the body part to the current position. component, vertically upward component, vertically downward component, horizontal component, horizontal specific direction component, etc.), or the distance from the movement start position of the body part to the current position.
  • the motion start position of the body part may be, for example, the position of the body part at the time when the predetermined start condition is changed from not satisfied to satisfied, or may be a predetermined position. good too.
  • start conditions are that a body part has started an action or movement (condition 1), and that a body part has performed a specific trigger action (for example, a pinching action with a finger or a fist-clenching action) (condition 2). ), the positional relationship of the body part with respect to the visual object and other positions satisfies a predetermined condition (Condition 3), the device state satisfies a predetermined condition (Condition 4), and the operation state of the device satisfies a predetermined condition. (Condition 5), and there is an output from another processing unit (Condition 6). Any combination of conditions 1 to 6 may be used as the start condition.
  • the manipulated variable m may be a value greater than or equal to 0, a positive value, a value less than or equal to 0, a negative value, a positive value, or a negative value. It may be a value that can be 0 or 0.
  • a visual object can be anything as long as it is visually perceived and changes visually according to the amount of change according to the operation.
  • the visual object may be a two-dimensional image, a three-dimensional image, an image in a virtual space, a three-dimensional hologram, or a Other physical objects (for example, mechanically moving attraction devices, advertising signs, etc.) may also be used.
  • the size of the visual object may change
  • the shape of the visual object may change
  • the brightness may change
  • the color may change
  • the color may change.
  • the pattern may change, or any combination of these may change.
  • at least one of the brightness, color, and pattern of the visual object may change without changing the size or shape of the visual object.
  • the brightness, color and/or pattern of a visual object may or may not be uniform in the spatial domain.
  • the brightness, color, and/or pattern of visual objects may be periodic or non-periodic in the spatial domain.
  • the amount of visual change of a visual object means the amount of change from the initial state of the visual element of the visual object to the current state.
  • the initial state of the visual element of the visual object may be predetermined, may be determined based on input information, or may be determined based on other information (e.g., the position of the presented visual object). may be defined.
  • the initial state of the visual element of the visual object may be the same regardless of the degree of pseudo-haptic sensation to be presented, or may be different depending on the degree of pseudo-haptic sensation to be presented. However, in order to clarify the difference in the degree of the pseudo-tactile sensation to be presented, it is desirable to make the initial state of the visual elements of the visual target the same regardless of the degree of the pseudo-tactile sensation to be presented.
  • the visual change amount of the visual target is expressed as change amount c.
  • the amount of change c corresponds to the amount of change in at least one of the size, shape, brightness, color, and pattern of the visual object, and at least one of the size, shape, brightness, color, and pattern of the visual object is It changes by the amount of change according to the operation based on the motion of the body part.
  • Examples of the amount of change in size of the visual object include the amount of change in diameter, the amount of change in radius, the amount of change in area, and the amount of change in volume of the visual object.
  • Examples of the amount of change in the shape of the visual object include the amount of change in the aspect ratio of the visual object, the amount of change in the aspect ratio, the amount of change in the aspect ratio, and the like.
  • Examples of the amount of change in luminance include the amount of change in luminance, the amount of change in brightness, and the amount of phase change in the spatial domain.
  • Examples of the amount of change in color include the amount of change in pixel value, the amount of change in color space, and the amount of phase change in the spatial domain.
  • the amount of pattern change is the amount of change in phase in the spatial domain, the amount of change in pixel value, the amount of change in pixel value, the total amount of change in pixel value, and the like.
  • the amount of change c may be a value of 0 or more, a positive value, a value of 0 or less, a negative value, or both positive and negative. It may be a value that can be 0 as well.
  • the relationship between the amount of operation m based on the operation and the amount of visual change c of the visual object is determined according to the degree of pseudo-tactile sensation to be presented.
  • This relationship is determined according to the degree of pseudo-tactile sensation to be presented.
  • this relationship is written as relationship r. Only a single relationship r for a single pseudo-haptic degree may be defined, or a plurality of relationships r for a plurality of pseudo-haptic degrees may be defined respectively.
  • the degree of pseudo-tactile sensation to be presented may be determined in advance, may be determined based on input information, or may be determined based on other processing.
  • an index representing the degree of pseudo-tactile sensation to be presented will be referred to as an index i.
  • index i is a value (e.g., index, numerical value, vector, symbol) representing the magnitude (strength) of the pseudo tactile sensation, such as the magnitude of the sense of weight, the magnitude of the sense of weight, the sense of resistance.
  • the relationship r(i 2 ) is different from the relationship r(i 1 ) and r(i 2 ).
  • the relationship r between the amount of change c and the amount of operation m may be a linear relationship or a non-linear relationship.
  • An example of the relationship r is the ratio ⁇ c/ ⁇ m of the change ⁇ c in the visual change amount c of the visual object to the change ⁇ m in the manipulated variable m.
  • .DELTA.m means the unit amount of operation in the amount of operation m.
  • f(.) means a function whose domain is .
  • the ratio r ⁇ c/ ⁇ m when the index i is i 1 (first index value) is expressed as the ratio r(i 1 ) (first value), and the index i is different from i 1 i 2 (second index value) is expressed as a ratio r(i 2 ) (second value), the ratio r(i 1 ) (first value) and the ratio r(i 2 ) (second value) are mutually different.
  • the degree of the pseudo-tactile sensation represented by the index i 1 (for example, the magnitude of the pseudo-tactile sensation; for example, the magnitude of the sense of weight, the magnitude of the sense of weight, the magnitude of the sense of resistance, etc.)
  • the index i 2 second index value
  • the ratio r(i 1 ) (first value) is smaller than the ratio r(i 2 ) (second value).
  • the larger the degree of pseudo-tactile sensation to be presented the smaller the ratio r. In other words, the smaller the ratio r, the greater the degree of pseudo-tactile sensation to be presented.
  • the ratio r when the manipulated variable m is m1 is r( i1 , m1 ) (third value), and the ratio when the manipulated variable m is the manipulated variable m2
  • r is r(i 1 , m 2 ) (fourth value)
  • r(i 1 , m 1 ) r(i 1 , m 2 )
  • r(i 1 , m 1 ) ⁇ r(i 1 ,m 2 ) ie, r(i 1 ,m 2 ) (fourth value) is different from r(i 1 ,m 1 ) (third value)).
  • the manipulated variable m 1 (first manipulated variable) is greater than the manipulated variable m 2 (second manipulated variable), and r (i 1 , m 1 ) (third value) is r (i 1 , m 2 ) ( fourth value).
  • the greater the operation amount m the greater the degree of the pseudo-tactile sensation.
  • the greater the operation amount m the greater the degree of the pseudo-tactile sensation.
  • the manipulated variable m 1 (first manipulated variable) is larger than the manipulated variable m 2 (second manipulated variable), and r(i 1 , m 1 ) (third value) becomes r(i 1 , m 2 ) may be greater than (fourth value).
  • the larger the operation amount m the smaller the degree of pseudo-tactile sensation.
  • the larger the operation amount m the smaller the degree of pseudo-tactile sensation.
  • the ratio r to the manipulated variable m 1 is r(i 1 , m 1 )
  • the manipulated variable m 2 is r(i 1 , m 2 )
  • the ratio r to the manipulated variable m 3 is r(i 1 , m 3 )
  • the degree of the pseudo-tactile sensation presented at the operation amount m2 is greater than the degree of the pseudo-tactile sensation presented at the operation amounts m1 and m3 before and after it.
  • the degree of the pseudo-tactile sensation presented at the operation amount m2 is smaller than the degree of the pseudo-tactile sensation presented at the operation amounts m1 and m3 before and after it.
  • the index i representing the degree of pseudo-tactile sensation may be switched according to the operation amount m.
  • the manipulated variable m changes from m 1 (first manipulated variable) to m 2 (second manipulated variable) and/or the manipulated variable m changes from m 2 (second manipulated variable) to m 1 (first manipulated variable) (m 1 is different from m 2 )
  • the time index i may be equal to or different from each other.
  • the degree of pseudo-tactile sensation represented by index i 1 is greater than the degree of pseudo-tactile sensation represented by index i 2 .
  • the index is switched to index i1 at the operation amount m2 , and the index i at the operation amount m1 .
  • the index may be switched to i3 when the operation amount is m2 , switched to the index i2 when the operation amount is m1 , and switched to the index i3 when the operation amount is m3 .
  • the body part is the user's fingers
  • the visual object is a disk-shaped two-dimensional figure
  • the motion of the body part is a gesture that moves the visual target up and down.
  • a case will be exemplified where the diameter of the visual object is changed by the amount of change according to the operation, and the user perceives a sense of weight, which is a pseudo-tactile sensation.
  • this is not a limitation of the invention.
  • the pseudo-tactile presentation system 1 of this embodiment includes a pseudo-tactile presentation device 11, a detection device 12, and a visual object presentation device 13.
  • FIG. 1 the pseudo-tactile presentation device 11
  • FIG. 2 the pseudo-tactile presentation device 13
  • the pseudo-tactile presentation device 11 has an input unit 111 , a storage unit 112 , an action information detection unit 113 , an operation determination unit 115 , a visual target update unit 116 and an output unit 117 . Although the description is omitted hereafter, the data obtained by each process is stored in the storage unit 112 and is read and used as necessary.
  • the detection device 12 is a device that detects the position of the body part 101 (for example, finger) of the user 100 in a touchless environment and outputs the detection result.
  • sensing devices 12 are hand trackers such as Leap motion®, motion capture, touchless displays, accelerometers, gyro sensors, and the like.
  • the visual object presentation device 13 is a device that visually presents the visual object 130 to the user 100 .
  • Examples of visual object presentation devices 13 are liquid crystal displays, virtual reality headsets, video projectors, stereo hologram displays, etc., but this is not limiting of the invention.
  • ⁇ Pretreatment> As preprocessing, at least information p representing the relationship r between the amount of visual change c of the visual object 130 and the amount of operation m based on the operation (operation based on the motion of the body part 101) is input to the input unit 111 and stored. Stored in unit 112 .
  • Specific examples of the amount of operation m, the visual target 130, the amount of change c, and the relationship r are as described above.
  • the visual object 130 is a disk-shaped two-dimensional figure
  • the visual change amount c of the visual object 130 is the change amount (positive value) of the diameter of the visual object 130.
  • the operation amount m is the movement amount of the vertical component of the body part 101 (fingers) based on the motion of the body part 101 that moves the visual object 130 up and down
  • the relationship r is the visual object relative to the operation amount m.
  • FIG. 3 illustrates the relationship r between the amount of change c and the amount of operation m.
  • the horizontal axis in FIG. 3 exemplifies the manipulated variable m [cm] based on the motion of the body part 101 .
  • the movement amount of the vertical component of the body part 101 is the operation amount m [cm].
  • the vertical axis in FIG. 3 exemplifies the visual change amount c [pixels] of the visual target 130 .
  • the amount of change in the diameter of the visual object 130 which is a disk-shaped two-dimensional figure, is the amount of visual change c [pixels].
  • a single relationship r for a single pseudo-haptic degree may be defined, or a plurality of relationships r for a plurality of pseudo-haptic degrees may be defined respectively.
  • a plurality of relationships r are defined for a plurality of degrees of pseudo-haptics.
  • a relationship r illustrated in FIG. 3 represents the ratio ⁇ c/ ⁇ m of the change ⁇ c in the visual change amount c of the visual object 130 to the change ⁇ m in the operation amount m.
  • the ratio ⁇ c/ ⁇ m (slope) is constant regardless of the magnitude of m. That is, the relationship r between the amount of change c and the amount of operation m illustrated in FIG. 3 is a linear relationship.
  • the information p may include a function representing the relationship r, may include a table representing the relationship r, or may include parameters representing the relationship r.
  • the information p includes information representing the initial (initial state) visual object 130 (for example, information on the diameter of the initial visual object 130, information on the luminance, color, pattern, etc. of the initial visual object 130). good.
  • the initial state of the visual object 130 for example, the diameter, brightness, color, pattern, etc. of the initial visual object 130
  • the information p is the initial visual object 130 information (for example, information on the diameter of the initial visual object 130, information on the brightness, color and pattern of the initial visual object 130, etc.) may not be included.
  • Information p may also include information b indicating in which direction the diameter of the visual object 130 is to be changed (increased or decreased) with respect to the positive amount of change c. .
  • information b indicating in which direction the diameter of the visual object 130 is to be changed (increased or decreased) with respect to the positive amount of change c.
  • b is a positive real number
  • b ⁇ is a negative real number.
  • An example of b + is +1 and an example of b + is -1.
  • b + may be a positive function value of m (eg, monotonically increasing function value or monotonically decreasing function value)
  • b ⁇ may be a negative function value of m (eg, monotonically increasing function value or monotonically decreasing function value). function value).
  • these do not limit the present invention. If the direction in which the diameter of the visual object 130 is changed is fixed with respect to the positive amount of change c, the information p may not include the information b.
  • Visual object updater 116 (FIG. 1) generates initial visual object 130 and outputs information v representing initial visual object 130 .
  • the initial visual target 130 exemplified in this embodiment is a disk-shaped two-dimensional figure whose diameter is the initial value c1 .
  • This initial value c1 of the diameter may be a value included in the information p read from the storage unit 112, or may be a predetermined value.
  • the brightness, color, and pattern of the initial visual target 130 may be values included in the information p read from the storage unit 112, or may be predetermined values.
  • Information v representing the initial visual object 130 is sent to the output unit 117 and output from the output unit 117 to the visual object presentation device 13 .
  • the visual object presentation device 13 presents (displays) the visual object 130 based on the sent information v (FIG. 2).
  • a user 100 moves a body part 101 (for example, fingers) in a touchless environment while viewing a visual object 130 presented by the visual object presentation device 13 .
  • the position of the body part 101 is detected by the detection device 12 .
  • Information d representing the position of the body part 101 detected by the detection device 12 is output to the motion information detection unit 113 .
  • the position detection of the body part 101 and the output of the information d by the detection device 12 may be performed, for example, continuously at predetermined time intervals, or may be performed each time the movement of the body part 101 is detected. good. Every time the information d is input, the motion information detection unit 113 detects the motion of the body part 101 from the information d and outputs information am representing the motion of the body part 101 .
  • Motion detection of the body part 101 and output of information am are also continuously performed.
  • the information am representing the motion is, for example, information representing at least one of the position, motion, and movement amount m of the body part 101 .
  • the information am representing the motion is information specifying the movement amount m of the body part 101 .
  • a specific example of the movement amount m of the body part 101 is as described above.
  • an example is shown in which the vertical component of the distance from the movement start position of the body part 101 to the current position is used as the amount of movement.
  • a specific example of the motion start position of the body part 101 is as described above.
  • the position of the body part 101 at the time when the start condition, which is a combination of the above-described conditions 2 and 3, is changed from unsatisfied to satisfied is taken as the motion start position. That is, in the example of the present embodiment, the body part 101 performs a specific trigger action (condition 2), and the positional relationship of the body part 101 with respect to the presented visual target 130 or other positions satisfies the predetermined condition ( The position of the body part 101 at the time of transition to condition 3) is set as the motion start position.
  • the trigger action may be of any kind, but in the present embodiment, an example is shown in which a pinching action with fingers is used as the trigger action.
  • the predetermined condition (condition 3) that the positional relationship satisfies may be any condition, but in the example of the present embodiment, the body part 101 (for example, fingers) is the presentation position of the visual target 130 (for example, the visual The predetermined condition is that the display screen of the target presentation device 13 is separated from the display screen of the target presentation device 13 by a predetermined distance.
  • the motion information detection unit 113 measures the distance d1 between the thumb and index finger, which are the body parts 101 of the user 100, based on the information d.
  • the operation determination unit 115 obtains and outputs operation information representing an operation based on the motion of the body part 101 . Examples of the operation information are as described above, but in this embodiment, an example of outputting information representing the operation amount m as the operation information will be described. For example, first, the operation determination unit 115 determines whether or not the distance d1 is less than a predetermined threshold value dth1 (or whether or not the distance d1 is equal to or less than the threshold value dth1 ). However, the threshold d th1 is a positive real number representing the distance.
  • the operation determination unit 115 determines that the body part 101 (finger in this example) is pinched, that is, the trigger Determine that no action has taken place.
  • the operation determination unit 115 determines that the trigger action is performed (that is, condition 2 is satisfied).
  • the operation determination unit 115 also determines whether or not the distance d2 exceeds a predetermined threshold value dth2 (or whether or not the distance d2 is greater than or equal to the threshold value dth2 ).
  • the threshold d th2 is a positive real number representing the distance.
  • the distance d2 is equal to or less than the threshold dth2 (or when the distance d2 is less than the threshold dth2 )
  • it is determined that the positional relationship of the body part 101 does not satisfy the predetermined condition.
  • the distance d2 exceeds the threshold value dth2 (or when the distance d2 is equal to or greater than the threshold value dth2 ), it is determined that the positional relationship of the body part 101 satisfies the predetermined condition (that is, the condition 3).
  • the operation determination unit 115 determines that the trigger action is performed and the positional relationship of the body part 101 satisfies the predetermined condition (that is, when it determines that both the condition 2 and the condition 3 are satisfied).
  • the distance d2 the vertical component of the distance from the motion start position to the current position of the body part 101 is obtained as the amount of movement, and the amount of movement is defined as the operation amount m. Note that the operation start position is as described above.
  • the motion start position exemplified in this embodiment is the position of the body part 101 at the time when at least one of Condition 2 or Condition 3 is not satisfied to the state where both Condition 2 and Condition 3 are satisfied.
  • the operation determination unit 115 outputs information representing the operation amount m (operation information representing an operation based on the motion of the body part) to the visual target updating unit 116 .
  • Information representing the operation amount m is input to the visual target updating unit 116 .
  • the visual target update unit 116 refers to the information p stored in the storage unit 112, and updates at least information representing the operation amount m (operation information representing an operation based on the motion of the body part) and information p (operation amount based on the operation). information representing the relationship of the amount of visual change of the visual object with respect to ), the visual object 130 is visually changed by the amount of change according to the operation. For example, if the information p represents only a single relationship r with respect to the degree of a single pseudo-haptic sensation, the visual object updating unit 116 refers to this relationship r to correspond to the input operation amount m.
  • a change amount c is obtained, and the visual object 130 is visually changed from the initial state by the change amount c.
  • the visual target updating unit 116 refers to the relationship r corresponding to the degree of pseudo-haptic sensation to be presented, A change amount c corresponding to the input operation amount m is obtained, and the visual object 130 is visually changed from the initial state by the change amount c.
  • the visual target updating unit 116 sets the relationship r See
  • FIGS. 4A to 5C are used to illustrate differences in changes in the visual object 130 when different degrees of pseudo-tactile sensation are to be presented.
  • Index 1 (FIG. 3) is an index representing the degree of the pseudo-tactile sensation to be presented (for example, a sense of weight, a sense of weight, a sense of resistance)
  • the visual target updating unit 116 causes the body part 101 to start moving.
  • the degree of the pseudo-tactile sensation (for example, the sense of weight, the sense of weight, the sense of resistance) represented by the index Index 1 is greater than the degree of the pseudo-tactile sense represented by the index Index 2.
  • in the diameter of the visual object 130 with respect to the index Index 1 is It is smaller than the amount of change
  • the position of the body part 101 at the time when at least one of the conditions 2 and 3 is not satisfied is shifted to the state where both the conditions 2 and 3 are satisfied is the motion start position. do. Therefore, the diameter of the visual target 130 changes only when the trigger motion (pinch motion) is detected and when the body part 101 (for example, the finger) is detected to be away from the presentation position of the visual target 130 by a certain distance or more. Updated.
  • the information v representing the visual object 130 output from the visual object update unit 116 is sent to the output unit 117 and output from the output unit 117 to the visual object presentation device 13 .
  • the visual object presentation device 13 presents (displays) the visual object 130 based on the sent information v (FIG. 2).
  • the visual object 130 presented to the user 100 changes by the change amount c according to the operation based on the motion of the body part 101, and the user 100 is given a pseudo-tactile sensation (for example, a feeling of weight, weight, resistance) can be presented.
  • a selected degree of pseudo tactile sensation e.g., a sense of weight of a selected size, a sense of weight, a sense of resistance
  • a sense of resistance e.g., a sense of weight of a selected size, a sense of weight, a sense of resistance
  • Experiment 1 for showing the effect of the first embodiment will be illustrated.
  • the visual object presentation device 13 presented a visual object 130 (evaluation stimulus) to be evaluated, and also presented a visual object 140 (standard stimulus) as a reference.
  • Both the visual object 130 and the visual object 140 are disk-shaped two-dimensional images, and their diameters change according to the amount of change based on the motion of the finger (body part) of the experiment participant.
  • the visual object 130 and the visual object 140 differ in the amount of change in diameter with respect to the amount of operation.
  • the diameter of the visual target 140 changes by 20 [pixels] every time the height of the finger (the vertical component of the amount of movement) changes by 1 [cm].
  • the diameter changes by 5 [pixels] case 1 changes by 10 [pixels]
  • case 2 changes by 20 [pixels].
  • Case 3, case 4 with 40 [pixels] change, and case 5 with 80 [pixels] change were tried. That is, the ratios (speed ratios) of changes in the visual object 130 to changes in the diameter of the visual object 140 in cases 1, 2, 3, 4, and 5 are 0.25, 0.5, and 1.0, respectively. , 2.0, 4.0.
  • FIG. 6B shows the amount of change [pixels] in the diameter of the visual object 130 with respect to the height [cm] of the finger of the experiment participant at each speed ratio.
  • the horizontal axis of FIG. 6B represents the height of the finger of the experiment participant [cm]
  • the vertical axis represents the amount of change in the diameter of the visual target 130 [pixels].
  • the experiment participants compared the visual object 130 and the visual object 140, and reported which of them felt heavier by a rating method. Specifically, the experimental participants were: 1: the left disc (visual object 140) is considerably heavier; 2: the left disc (visual object 140) is slightly heavier; 4: Slightly heavier right disc (visual object 130); 5: Significantly heavier right disc (visual object 130).
  • FIG. 7 shows the results of this experiment.
  • the horizontal axis of FIG. 7 represents the speed ratio, and the vertical axis represents the average value of the evaluation scores (1 to 5) of the feeling of weight for each participant in the experiment.
  • the visual object 130 felt heavier as the speed ratio decreased. That is, the smaller the amount of change in the diameter of the visual object with respect to the operation amount based on the operation, the greater the sense of heaviness.
  • the visual target 130 is a disk-shaped two-dimensional figure
  • the motion of the body part 101 is a gesture that moves the visual target 130 up and down.
  • a case is illustrated in which the diameter of the visual object 130 is changed and the user perceives a sense of weight, which is a pseudo-tactile sensation. That is, in the first embodiment, an example was given in which the sense of weight is perceived by changing the size of the visual object 130 by the amount of change according to the operation based on the motion.
  • the second embodiment even if the size and shape of the visual object are not changed, at least one of the luminance, color, and pattern of the visual object is changed by the amount of change according to the operation based on the action, thereby weighting the object.
  • phase in the spatial domain of the concentric fringes of the visual target by the amount of change according to the operation based on the motion.
  • the pseudo-tactile presentation system 2 of this embodiment has a pseudo-tactile presentation device 21 , a detection device 12 , and a visual object presentation device 13 .
  • the pseudo-tactile presentation device 21 has an input unit 111 , a storage unit 112 , an action information detection unit 113 , an operation determination unit 115 , a visual target update unit 216 and an output unit 117 .
  • the visual object 130 is replaced with a visual object 230, which is a disk-shaped two-dimensional figure with concentric fringes with a fixed diameter (for example, FIG. 8), and the change in the diameter of the visual object 130 is
  • the preprocessing is the same as the preprocessing of the first embodiment, except that the amount c is replaced with the phase change amount c of the concentric fringes of the visual target 230 .
  • one period in the spatial region of the concentric fringes of the visual target 230 is 100 [pixels]. That is, the phase change amount c [pixels] of the concentric fringes of the visual target 230 represents a phase change of 2 ⁇ (c/100) [rad]. Note that FIG.
  • the change in luminance value with respect to the change in distance from the center O of the concentric fringes in the spatial domain is represented by a sine wave (that is, the concentric fringes with sinusoidal luminance modulation).
  • a change in luminance value with respect to a change in distance from the center O may be represented by a rectangular wave, a triangular wave, or the like.
  • the information p may or may not include the initial information of the visual object 230 .
  • Examples of the information of the initial visual object 230 include phase information (initial phase value) of concentric fringes possessed by the initial visual object 230, and information on the size, shape, luminance, color, pattern, etc. of the initial visual object 230. is.
  • Visual object updater 216 (FIG. 1) generates initial visual object 230 and outputs information v representing initial visual object 230 .
  • the initial visual object 230 exemplified in this embodiment has concentric fringes of initial state phase.
  • the phase of concentric fringes may be expressed in any way.
  • the initial visual object 230 in this embodiment is a disk-shaped two-dimensional figure with concentric fringes of a phase where the distance x is the initial value x1 .
  • the initial value x 1 of the distance x may be a value included in the information p read from the storage unit 112, or may be a predetermined value.
  • the size, shape, luminance, color, and pattern of the initial visual object 230 may be values included in the information p read from the storage unit 112, or may be predetermined values. good.
  • Information v representing the initial visual object 230 is sent to the output unit 117 and output from the output unit 117 to the visual object presentation device 13 .
  • the visual object presentation device 13 presents (displays) the visual object 230 based on the sent information v (FIGS. 2 and 8).
  • the user 100 moves a body part 101 (for example, fingers) in a touchless environment while viewing a visual object 230 presented by the visual object presentation device 13 .
  • the position of the body part 101 is detected by the detection device 12 .
  • the operations of the detection device 12 and the motion information detection unit 113 are the same as in the first embodiment.
  • the information a m (d 1 , d 2 ) is input to the operation determination unit 115, and the operation determination unit 115 obtains and outputs operation information representing the operation based on the motion of the body part 101 based on the information am .
  • the operation determination unit 115 obtains and outputs operation information representing the operation based on the motion of the body part 101 based on the information am .
  • the operation of the operation determination unit 115 is the same as in the first embodiment.
  • Information representing the manipulated variable m is input to the visual target updating unit 216 .
  • the visual target update unit 216 refers to the information p stored in the storage unit 112, and updates at least information representing the operation amount m (operation information representing an operation based on the motion of the body part) and information p (operation amount based on the operation). information representing the relationship of the amount of visual change of the visual object with respect to ), the visual object 230 is visually changed by the amount of change according to the operation.
  • the stripes are moved inward as the altitude (vertical component of the amount of movement) of the body part 101 (eg, fingers) increases, and the stripes move inward as the altitude of the body part 101 (eg, fingers) decreases. Move the stripes outward. Note that the diameter (size) and shape of the visual target 230 are not changed.
  • FIGS. 9A to 11C are used to illustrate the difference in change of visual object 230 when the degree of pseudo-tactile sensation to be presented is different.
  • 9B, 9C, 10B, 10C, 11B, and 11C the horizontal axis represents the distance x, and the vertical axis represents the pixel value.
  • Index 1 (FIG. 3) is the index representing the degree of the pseudo-tactile sensation to be presented (for example, a sense of weight, a sense of weight, a sense of resistance)
  • the visual object updating unit 216 causes the body part 101 to start moving.
  • the visual object update unit 216 moves the concentric stripes of the visual object 230 outward (FIGS. 9A to 9C)
  • the fringes of the concentric fringes of are moved inward (FIGS. 11A to 11C).
  • the degree of the pseudo-tactile sensation (for example, the sense of weight, the sense of weight, the sense of resistance) represented by the index Index 1 is greater than the degree of the pseudo-tactile sense represented by the index Index 2.
  • the manipulated variable m is the same, the amount of change in the phase of the visual object 230 with respect to the index Index 1
  • the information v representing the visual object 130 output from the visual object update unit 216 is sent to the output unit 117 and output from the output unit 117 to the visual object presentation device 13 .
  • the visual object presentation device 13 presents (displays) the visual object 230 based on the sent information v (FIGS. 2 and 8).
  • the visual object 230 presented to the user 100 changes by a change amount c according to the operation based on the motion of the body part 101, giving the user 100 a pseudo tactile sensation (for example, a feeling of weight, weight, resistance) can be presented.
  • the selected degree of pseudo-tactile sensations (for example, a sense of weight of a selected magnitude, a sense of weight, a sense of resistance) can be presented.
  • Both the visual object 230 and the visual object 240 are disk-shaped two-dimensional images with concentric fringes, and their phases change according to the amount of change based on the finger movements of the experiment participants.
  • the visual target 230 and the visual target 240 differ in phase change amount with respect to the operation amount. That is, in the visual target 240, the position of the concentric stripes changes by 20 pixels each time the height of the finger (the vertical component of the amount of movement) changes by 1 [cm]. That is, if one cycle of the concentric fringes in the spatial domain is 100 [pixels], the phase of the concentric fringes changes by 0.4 ⁇ [rad] every time the height of the finger changes by 1 [cm].
  • the ratios (speed ratios) of the phase of the visual object 230 to the change of the phase of the visual object 240 in cases 1, 2, 3, 4, and 5 are 0.25, 0.5, and 1.0, respectively. , 2.0, 4.0.
  • FIG. 6B shows the amount of change [pixels] in the phase of the concentric fringes of the visual target 130 with respect to the height [cm] of the finger of the experiment participant at each speed ratio.
  • the horizontal axis of FIG. 6B represents the height of the finger of the experiment participant [cm]
  • the vertical axis represents the amount of change in the phase of the concentric stripes of the visual target 230 [pixels].
  • FIG. 12B shows the experimental results of Experiment 2.
  • the horizontal axis of FIG. 12B represents the speed ratio, and the vertical axis represents the average value of the evaluation scores (1 to 5) of feeling of weight for each participant in the experiment. As illustrated in FIG. 12B, it was found that the smaller the speed ratio, the heavier the visual object 230 felt.
  • FIG. 13 shows the experimental results of Experiment 3.
  • FIG. The horizontal axis of FIG. 13 represents the speed ratio
  • the vertical axis represents the average value of the evaluation scores (1 to 5) of feeling of weight for each participant in the experiment. As illustrated in FIG. 13, it was found that the visual object 230 felt heavier as the speed ratio decreased.
  • the perceived heaviness increases as the amount of change in the phase of the concentric fringes of the visual object 230 with respect to the operation amount based on the operation decreases. Further, from this result, regardless of the direction of change in the phase of the concentric fringes (moving direction of the fringes), the sense of weight can be achieved by changing the phase of the concentric fringes possessed by the visual target 230 in accordance with the amount of manipulation based on the manipulation. It turns out that it can be made to perceive.
  • the sense of weight is perceived by changing the phase of the concentric fringes of the visual target by the amount of change according to the operation based on the motion.
  • this effect is obtained not only when changing the phase of concentric fringes, but also when changing the phase of other figures.
  • a two-dimensional figure having one-dimensional stripes is used as a visual object.
  • the visual object of this embodiment also does not change in size or shape. Differences from the first and second embodiments will be mainly described below, and the same reference numerals will be used for the items that have already been described to simplify the description.
  • the pseudo-tactile presentation system 3 of this embodiment has a pseudo-tactile presentation device 31, a detection device 12, and a visual object presentation device 13.
  • FIG. The pseudo-tactile presentation device 31 has an input unit 111 , a storage unit 112 , an action information detection unit 113 , an operation determination unit 115 , a visual target update unit 316 and an output unit 117 .
  • the preprocessing of the present embodiment replaces the visual object 130 with a visual object 330, which is a rectangular two-dimensional figure with one-dimensional fringes of fixed size (eg, FIG. 14), and the diameter of the visual object 130 is
  • the preprocessing is the same as the preprocessing of the first embodiment except that the amount of change c is replaced with the amount of change c of the phase of the one-dimensional fringe of the visual target 330 .
  • FIG. 14 illustrates a case where the change in luminance value with respect to the change in distance from the edge E of the visual target 330 in the spatial domain is represented by a sine wave (that is, a one-dimensional fringe with sinusoidal luminance modulation). .
  • the information p may or may not include information on the initial visual object 330 .
  • the information of the initial visual object 330 include phase information (initial phase value) of the one-dimensional fringes possessed by the initial visual object 330, and information on the size, shape, luminance, color, and pattern of the initial visual object 330. and so on.
  • Visual object updater 316 (FIG. 1) generates initial visual object 330 and outputs information v representing initial visual object 330 .
  • the initial visual object 330 exemplified in this embodiment has one-dimensional fringes of initial state phase.
  • the phase of the one-dimensional fringes may be expressed in any way.
  • the spatial region from the edge E of the one-dimensional fringe to the position P x where the luminance has a specific value (for example, 0 corresponding to black) We express the phase by the distance x at .
  • this is not a limitation of the invention.
  • the initial visual object 330 in this embodiment is a rectangular two-dimensional figure with one-dimensional fringes of phase whose distance x is the initial value x1 .
  • the initial value x 1 of the distance x (initial value of the phase) may be a value included in the information p read from the storage unit 112, or may be a predetermined value.
  • the size, shape, brightness, color, and pattern of the initial visual object 330 may be values included in the information p read from the storage unit 112, or may be predetermined values. good.
  • Information v representing the initial visual object 330 is sent to the output unit 117 and output from the output unit 117 to the visual object presentation device 13 .
  • the visual object presentation device 13 presents (displays) the visual object 330 based on the sent information v (FIGS. 2 and 14).
  • the user 100 moves a body part 101 (for example, fingers) in a touchless environment while viewing a visual object 330 presented by the visual object presentation device 13 .
  • the position of the body part 101 is detected by the detection device 12 .
  • the operations of the detection device 12 and the motion information detection unit 113 are the same as in the first embodiment.
  • the information a m (d 1 , d 2 ) is input to the operation determination unit 115, and the operation determination unit 115 obtains and outputs operation information representing the operation based on the motion of the body part 101 based on the information am .
  • the operation determination unit 115 obtains and outputs operation information representing the operation based on the motion of the body part 101 based on the information am .
  • the operation of the operation determination unit 115 is the same as in the first embodiment.
  • Information representing the manipulated variable m is input to the visual target updating unit 316 .
  • the visual target update unit 316 refers to the information p stored in the storage unit 112, and updates at least information representing the operation amount m (operation information representing an operation based on the motion of the body part) and information p (operation amount based on the operation). information representing the relationship of the amount of visual change of the visual object with respect to ), the visual object 330 is visually changed by the amount of change according to the operation.
  • the stripes move to the right as the vertical position of the body part 101 (eg, finger) is higher, and to the left as the vertical position of the body part 101 (eg, finger) is lower.
  • the stripes are moved to the left as the altitude (vertical component of the amount of movement) of the body part 101 (eg, fingers) increases, and the stripes move to the left as the altitude of the body part 101 (eg, fingers) decreases. Move the stripes to the right. Note that the size and shape of the visual object 330 are not changed.
  • the information v representing the visual object 130 output from the visual object update unit 316 is sent to the output unit 117 and output from the output unit 117 to the visual object presentation device 13 .
  • the visual object presentation device 13 presents (displays) the visual object 330 based on the sent information v (FIGS. 2 and 14).
  • the visual object 330 presented to the user 100 changes by the change amount c according to the operation based on the motion of the body part 101, and the user 100 is given a pseudo-tactile sensation (for example, weight, weight, resistance) can be presented.
  • the selected degree of pseudo-tactile sensations (for example, a sense of weight of a selected magnitude, a sense of weight, a sense of resistance) can be presented.
  • Experiment 4 for showing the effect of the third embodiment will be illustrated.
  • the visual object presentation device 13 also presented a visual object 330 (evaluation stimulus) to be evaluated, and also presented a reference visual object 340 (standard stimulus).
  • Both the visual object 330 and the visual object 340 are rectangular two-dimensional images with one-dimensional fringes, and their phases change according to the amount of change based on the finger movements of the experiment participants.
  • the visual target 330 and the visual target 340 differ in phase change amount with respect to the operation amount.
  • the position of the one-dimensional stripe changes by 20 pixels each time the height of the finger (the vertical component of the amount of movement) changes by 1 [cm]. That is, if one period of the one-dimensional fringe in the spatial domain is 100 [pixels], the phase of the one-dimensional fringe changes by 0.4 ⁇ [rad] every time the height of the finger changes by 1 [cm]. On the other hand, for the visual target 330, every time the height of the finger changes by 1 [cm], the position of the stripe of the one-dimensional stripe changes by 5 [pixels], case 2 changes by 10 [pixels].
  • FIG. 15B shows the experimental results of Experiment 4.
  • the horizontal axis of FIG. 15B represents the speed ratio
  • the vertical axis represents the average value of the evaluation scores (1 to 5) of the feeling of weight for each experiment participant.
  • the smaller the speed ratio the heavier the visual object 330 feels. That is, the smaller the amount of change in the phase of the one-dimensional fringe of the visual object 330 with respect to the operation amount based on the operation, the greater the sense of heaviness.
  • a sense of weight can be perceived by changing the phase of the stripes of the visual object 330 according to the amount of operation based on the operation, regardless of the stripe type and spatial structure.
  • the method of changing the size of the visual object is not limited to that of the first embodiment, and the size may change while the visual object is deformed by the amount of change according to the operation.
  • the size or shape of the visual object may change while at least one of the brightness, color, and pattern of the visual object changes.
  • the phase of the periodic fringes of the visual object may change while the size and shape of the visual object change by the amount of change according to the operation.
  • the visual target is a two-dimensional image with an aperiodic pattern (for example, a white noise image), and at least one of the size, shape, pattern, brightness, and color of the visual target is changed according to the operation. may change.
  • the visual target updating units 116, 216, and 316 switch the index i representing the degree of the pseudo-haptic sensation according to the operation amount m, and refer to the relationship r corresponding to the switched index i.
  • the amount of change c corresponding to the amount of operation m obtained may be obtained, and the visual target 130 may be visually changed with the obtained amount of change.
  • the pseudo-tactile presentation devices 11, 21, and 31 in each embodiment include, for example, a processor (hardware processor) such as a CPU (central processing unit), a RAM (random-access memory), a ROM (read-only memory), and the like. It is a device configured by executing a predetermined program on a general-purpose or dedicated computer equipped with a memory or the like. That is, the pseudo-tactile presentation devices 11, 21, 31 in each embodiment, for example, have processing circuitry configured to implement each unit they have.
  • This computer may have a single processor and memory, or may have multiple processors and memories.
  • This program may be installed in the computer, or may be recorded in ROM or the like in advance.
  • processing units may be configured using an electronic circuit that independently realizes processing functions, instead of an electronic circuit that realizes a functional configuration by reading a program like a CPU.
  • an electronic circuit that constitutes one device may include a plurality of CPUs.
  • FIG. 16 is a block diagram illustrating the hardware configuration of the pseudo-tactile presentation devices 11, 21, and 31 in each embodiment.
  • the pseudo-tactile presentation devices 11, 21, and 31 of this example include a CPU (Central Processing Unit) 10a, an input section 10b, an output section 10c, a RAM (Random Access Memory) 10d, a ROM (Read Only Memory) 10e, an auxiliary storage device 10f and a bus 10g.
  • the CPU 10a of this example has a control section 10aa, an arithmetic section 10ab, and a register 10ac, and executes various arithmetic processing according to various programs read into the register 10ac.
  • the input unit 10b is an input terminal for data input, a keyboard, a mouse, a touch panel, and the like.
  • the output unit 10c is an output terminal for outputting data, a display, a LAN card controlled by the CPU 10a having read a predetermined program, and the like.
  • the RAM 10d is SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), or the like, and has a program area 10da in which a predetermined program is stored and a data area 10db in which various data are stored.
  • the auxiliary storage device 10f is, for example, a hard disk, an MO (Magneto-Optical disc), a semiconductor memory, or the like, and has a program area 10fa in which a predetermined program is stored and a data area 10fb in which various data are stored.
  • the bus 10g connects the CPU 10a, the input section 10b, the output section 10c, the RAM 10d, the ROM 10e, and the auxiliary storage device 10f so that information can be exchanged.
  • the CPU 10a writes the program stored in the program area 10fa of the auxiliary storage device 10f to the program area 10da of the RAM 10d according to the read OS (Operating System) program.
  • the CPU 10a writes various data stored in the data area 10fb of the auxiliary storage device 10f to the data area 10db of the RAM 10d. Then, the address on the RAM 10d where the program and data are written is stored in the register 10ac of the CPU 10a.
  • the control unit 10aa of the CPU 10a sequentially reads these addresses stored in the register 10ac, reads the program and data from the area on the RAM 10d indicated by the read address, and causes the calculation unit 10ab to sequentially execute the calculation indicated by the program, The calculation result is stored in the register 10ac.
  • the above program can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium is a non-transitory recording medium. Examples of such recording media are magnetic recording devices, optical discs, magneto-optical recording media, semiconductor memories, and the like.
  • the distribution of this program is carried out, for example, by selling, assigning, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded. Further, the program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to other computers via the network.
  • a computer that executes such a program for example, first stores the program recorded on a portable recording medium or transferred from a server computer in its own storage device. When executing the process, this computer reads the program stored in its own storage device and executes the process according to the read program. Also, as another execution form of this program, the computer may read the program directly from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer.
  • the processing according to the received program may be executed sequentially.
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service, which does not transfer the program from the server computer to this computer, and realizes the processing function only by its execution instruction and result acquisition.
  • ASP Application Service Provider
  • the program in this embodiment includes information that is used for processing by a computer and that conforms to the program (data that is not a direct instruction to the computer but has the property of prescribing the processing of the computer, etc.).
  • the device is configured by executing a predetermined program on a computer, but at least part of these processing contents may be implemented by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

身体部位の動作に基づく操作を表す操作情報と、操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、操作に応じた変化量で視覚対象を視覚的に変化させ、視覚的に変化させた視覚対象を提示するための情報を出力する。ただし、この関係は、少なくとも、提示する擬似触覚の程度を表す指標に応じて定まる。

Description

擬似触覚提示装置、擬似触覚提示方法、およびプログラム
　本発明は、擬似的な触覚を提示する技術に関する。
　マウス、キーボード、タッチペン、反力提示装置などの触覚入力装置から得られる情報に基づいて視覚情報を操作することで、触覚入力に対する視覚的フィードバックを利用者に与えることができる。この時、視覚的フィードバックに遅延や変動を与えることで、利用者に実際とは異なる触覚印象を錯覚的に与えることができる。この技術をここでは疑似触覚技術と呼ぶ。
　触覚入力装置ではなく、タッチレスで利用者の身体運動や手指運動をトラッキングしつつ、そのトラッキング情報に基づいて視覚情報を操作することで、利用者に触覚印象を与える技術も存在する。例えば、非特許文献１には、利用者のスワイプジェスチャに基づいて映像を左右にスライドさせるカルーセル・インターフェースにおけるタッチレス疑似触覚技術が開示されている。この技術では、物理演算に基づいて摩擦係数や磁力をカルーセルの移動に適用することで、カルーセルの自然な移動や停止を再現しつつ、利用者に疑似触覚を与えている。非特許文献２には、バーチャルリアリティ環境において、実空間で把持した実対象と視覚的フィードバックとの速度差を操作することで、実対象の重さが変わって感じられることが開示されている。
Gaucher, P., Argelaguet, F., Royan, J. & Lecuyer, A., "A novel 3D Carousel based on Pseudo-Haptic Feedback and Gestural Interaction for Virtual Showcasing", [online], 2013年, 2013 IEEE Symposium on 3D User Interfaces (3DUI), 55-58, [2021年10月21日検索], インターネット＜https://doi.org/10.1109/3dui.2013.6550197＞ Samad, M., Gatti, E., Hermes, A., Benko, H. & Parise, C., "Pseudo-Haptic Weight: Changing the Perceived Weight of Virtual Objects By Manipulating Control-Display Ratio", 2019年, Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, 1-13, インターネット＜https://doi.org/10.1145/3290605.3300550＞
　しかし、実環境を模すための煩雑な物理演算を行ったり、人体の動作に対する物理的な反作用に基づく触覚を利用したりすることなく、利用者に擬似触覚を知覚させる技術は知られていない。例えば、非特許文献２では、バーチャル環境における対象の重さを疑似触覚によって変調しているものの、把持した実物体から受ける物理的な反作用による触覚と視覚的フィードバックとの速度差を利用しており、人体の動作に対する物理的な反作用による触覚を利用することなく、利用者に擬似触覚を知覚させるものではない。
　本発明はこのような点に鑑みてなされたものであり、実環境を模すための煩雑な物理演算を行ったり、人体の動作に対する物理的な反作用に基づく触覚を利用したりすることなく、利用者に擬似触覚を知覚させることを目的とする。
　身体部位の動作に基づく操作を表す操作情報と、操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、操作に応じた変化量で視覚対象を視覚的に変化させ、視覚的に変化させた視覚対象を提示するための情報を出力する。ただし、この関係は、少なくとも、提示する擬似触覚の程度に応じて定まる。
　これにより、実環境を模すための煩雑な物理演算を行ったり、人体の動作に対する物理的な反作用に基づく触覚を利用したりすることなく、利用者に擬似触覚を知覚させることができる。
図１は実施形態の擬似触覚提示システムを例示するためのブロック図である。 図２は実施形態の擬似触覚提示システムを例示するための概念図である。 図３は、第１実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するためのグラフである。 図４Ａから図４Ｃは、第１実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。 図５Ａから図５Ｃは、第１実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。 図６Ａは、第１実施形態の効果を示す実験内容を説明するための図である。図６Ｂは、手指の垂直方向の高さ（操作に基づく操作量）に対する視覚対象の直径または位相の変化量（視覚対象の視覚的な変化量）の関係を例示するためのグラフである。 図７は、第１実施形態の効果を示す実験結果を例示するグラフである。図７は、参照用の視覚対象の直径の変化量（視覚対象の視覚的な変化量）に対する視覚刺激用の視覚対象の直径の変化量（視覚対象の視覚的な変化量）の比率（Speed ratio）と、被検者が知覚した重さ感（擬似触覚）の程度（評価スコア）と、の関係を例示している。 図８は、第２実施形態の実施形態の視覚対象を例示するための図である。 図９Ａから図９Ｃは、第２実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。 図１０Ａから図１０Ｃは、第２実施形態における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。 図１１Ａから図１１Ｃは、第２実施形態の変形例における、操作量に対する視覚対象の視覚的な変化量の関係を例示するための図である。 図１２Ａは、第２実施形態の効果を示す実験内容を説明するための図である。図１２Ｂは、第２実施形態の効果を示す実験結果を例示するグラフである。図１２Ｂは、参照用の視覚対象の位相の変化量（視覚対象の視覚的な変化量）に対する視覚刺激用の視覚対象の位相の変化量（視覚対象の視覚的な変化量）の比率（Speed ratio）と、被検者が知覚した重さ感（擬似触覚）の程度（評価スコア）と、の関係を例示している。 図１３は、第２実施形態の変形例の効果を示す実験結果を例示するグラフである。図１３は、参照用の視覚対象の位相の変化量（視覚対象の視覚的な変化量）に対する視覚刺激用の視覚対象の位相の変化量（視覚対象の視覚的な変化量）の比率（Speed ratio）と、被検者が知覚した重さ感（擬似触覚）の程度（評価スコア）と、の関係を例示している。 図１４は、第３実施形態の実施形態の視覚対象を例示するための図である。 図１５Ａは、第３実施形態の効果を示す実験内容を説明するための図である。図１５Ｂは、第３実施形態の効果を示す実験結果を例示するグラフである。図１５Ｂは、参照用の視覚対象の位相の変化量（視覚対象の視覚的な変化量）に対する視覚刺激用の視覚対象の位相の変化量（視覚対象の視覚的な変化量）の比率（Speed ratio）と、被検者が知覚した重さ感（擬似触覚）の程度（評価スコア）と、の関係を例示している。 図１６は、擬似触覚提示装置のハードウェア構成を例示するためのブロック図である。
　以下、図面を参照して本発明の実施形態を説明する。
　［原理］
　まず、各実施形態の原理を説明する。
　各実施形態では、身体部位の動作に基づく操作を表す操作情報と、操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、操作に応じた変化量で視覚対象を視覚的に変化させ、視覚的に変化させた視覚対象を利用者に提示する。ただし、操作に基づく操作量に対する視覚対象の視覚的な変化量の関係は、少なくとも、提示する擬似触覚の程度に応じて定まる。これにより、実環境を模すための煩雑な物理演算を行ったり、人体の動作に対する物理的な反作用に基づく触覚を利用したりすることなく、利用者に擬似触覚を知覚させることができる。提示可能な擬似触覚は、例えば、重さ感である。重さ感は、重量感、抵抗感などと言い換えることもできる。
　身体部位の具体例は、手指、掌、腕、頭部、顔の部位、腰、体幹、足であるが、これは本発明を限定するものではなく、どの身体部位の動作に基づく操作であってもあってもよい。身体部位の動作は、例えば、タッチレス環境での身体部位の動作である。タッチレス環境とは、人体の動作に対する物理的な反作用（すなわち、当該反作用による反力）を擬似触覚の提示に使用しない環境を意味する。人体が物理的な入力装置を把持や装着していない環境であれば、タッチレス環境である。また、人体が物理的な入力装置（例えば、ＶＲコントローラー）を把持や装着していたとしても、人体の動作に対する入力装置からの物理的な反作用を擬似触覚の提示に使用しないのであれば、タッチレス環境である。身体部位の動作は、身体部位の位置を移動させる動作であってもよいし、身体部位を回転させる動作であってもよいし、身体部位を変形させる動作であってもよいし、これらの組み合わせであってもよい。身体部位の位置とは、絶対的な位置であってもよいし、相対的な位置であってもよい。前者の例は、外部の基準位置（例えば、地面や床）に固定された座標系の位置であり、後者の例は、視覚対象や視覚対象を提示する装置に対する相対的な位置などである。また、身体部位の位置は三次元座標系で表される位置であってもよいし、二次元座標系で表される位置であってもよいし、一次元座標系で表される位置であってもよい。身体部位を回転させる動作は、身体部位を絶対的に回転させる動作であってもよいし、相対的に回転させる動作であってもよい。前者の例は、外部の基準位置に固定された座標系に対して身体部位を回転させる動作であり、後者の例は、視覚対象や視覚対象を提示する装置に対して身体部位を回転させる動作である。身体部位を変形させる動作は、筋肉や関節の動きに伴って身体部位を変形させる動作である。身体部位を変形させる動作の例は、指でのつまみ動作や拳を握る動作などである。身体部位の動作は、例えば、身体部位の位置、向き、移動量、回転量、移動速度、回転速度、加速度、角加速度、またはこれらの少なくも一部の組み合わせによって表すことができる。
　身体部位の動作に基づく操作は、身体部位の動作に基づいて行われる操作であれば、どのようなものであってもよい。例えば、身体部位の動作に基づく操作は、身体部位の位置、向き、移動量、回転量、移動速度、回転速度、加速度、角加速度、またはこれらの少なくも一部の組み合わせに基づいて操作内容や操作に基づく操作量が決定されるものであれば、どのようなものであってもよい。例えば、タッチレス環境で行われた身体部位による操作がハンドトラッカなどの検出装置で検出され、検出された身体部位の位置、向き、移動量、回転量、移動速度、回転速度、加速度、角加速度、またはこれらの少なくも一部の組み合わせに基づいて操作内容や操作に基づく操作量が決定されてもよい。また、身体部位の動作に基づく操作を表す操作情報は、身体部位の動作に基づく操作を表す情報であればどのようなものであってもよく、例えば、操作内容を表す情報であってもよいし、操作に基づく操作量を表す情報であってもよいし、操作内容および操作に基づく操作量の両方を表す情報であってもよい。操作内容は操作の種別を表す。操作内容の具体例は、操作の選択、開始、継続、終了などである。操作に基づく操作量は、何れかの種別の操作の量を表す。例えば、身体部位の動作が大きいほど、操作に基づく操作量が大きい。より具体的には、例えば、身体部位の移動量が大きいほど、操作に基づく操作量が大きい。以降、操作に基づく操作量を操作量ｍと表記する。操作量ｍは、例えば、身体部位の移動量に対して正比例する量である。身体部位の移動量をそのまま操作量ｍとしてもよいし、身体部位の移動量の関数値（例えば、非減少関数値または単調増加関数値）を操作量ｍとしてもよい。この場合の身体部位の移動量は、身体部位の動作開始位置から現在位置までの距離であってもよいし、身体部位の動作開始位置から現在位置までの距離の特定方向成分（例えば、鉛直方向成分、鉛直上方成分、鉛直下方成分、水平方向成分、水平特定方向成分など）であってもよいし、身体部位の動作開始位置から現在位置までの道のりであってもよい。また、身体部位の動作開始位置は、例えば、所定の開始条件を満たしていない状態から満たした状態に移行した時点での身体部位の位置であってもよいし、予め定められた位置であってもよい。開始条件の例は、身体部位が動作や移動を開始したこと（条件１）、身体部位が特定のトリガー動作（例えば、指でのつまみ動作や拳を握る動作など）を行ったこと（条件２）、視覚対象やその他の位置に対する身体部位の位置関係が所定条件を満たしたこと（条件３）、装置状態が所定条件を満たしたこと（条件４）、装置の操作状態が所定条件を満たしたこと（条件５）、その他の処理部からの出力があったこと（条件６）などである。条件１から６の何れかの組み合わせを開始条件としてもよい。なお、操作量ｍは０以上の値であってもよいし、正値であってもよいし、０以下の値であってもよいし、負値であってもよいし、正にも負にも０にもなり得る値であってもよい。
　視覚対象は、視覚によって知覚され、操作に応じた変化量で視覚的に変化する対象であればどのようなものであってもよい。例えば、視覚対象は、二次元画像であってもよいし、三次元画像であってもよいし、仮想空間での画像であってもよいし、立体ホログラムであってもよいし、実空間での実体物（例えば、機械的に動くアトラクション装置や広告用看板など）であってもよい。視覚対象の視覚的な変化には限定はなく、例えば、視覚対象の大きさが変化してもよいし、視覚対象の形状が変化してもよいし、輝度が変化してもよいし、色彩が変化してもよいし、模様が変化してもよいし、これらのうちいずれかの組み合わせが変化してもよい。また、視覚対象の大きさや形状が変化することなく、視覚対象の輝度、色彩、または模様の少なくとも何れかが変化してもよい。視覚対象の輝度、色彩、または模様の少なくとも何れかは、空間領域で一様であってもよいし、一様でなくてもよい。視覚対象の輝度、色彩、または模様の少なくとも何れかは、空間領域で周期的であってもよいし、非周期的であってもよい。
　視覚対象の視覚的な変化量は、視覚対象の視覚的な要素の初期状態から現在の状態までの変化量を意味する。視覚対象の視覚的な要素の初期状態は、予め定められていてもよいし、入力情報に基づいて定められてもよいし、その他の情報（例えば、提示される視覚対象の位置）に基づいて定められてもよい。視覚対象の視覚的な要素の初期状態は、提示する擬似触覚の程度にかかわらず同一であってもよいし、提示する擬似触覚の程度に応じて異なっていてもよい。しかし、提示する擬似触覚の程度の違いを明確化するためには、提示する擬似触覚の程度にかかわらず、視覚対象の視覚的な要素の初期状態を同一にする方が望ましい。以降、視覚対象の視覚的な変化量を変化量ｃと表記する。変化量ｃは、視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかの変化量に対応し、視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかが、身体部位の動作に基づく操作に応じた変化量で変化する。なお、視覚対象の大きさの変化量の例は、視覚対象の直径の変化量、半径の変化量、面積の変化量、体積の変化量などである。視覚対象の形状の変化量の例は、視覚対象の縦横比の変化量、縦横奥行比の変化量、扁平率の変化量などである。輝度の変化量の例は、輝度の変化量、明度の変化量、空間領域での位相の変化量などである。色彩の変化量の例は、画素値の変化量、色空間での変化量、空間領域での位相の変化量などである。模様の変化量は、空間領域での位相の変化量、画素値の変化量、画素値の変化量、画素値の変化量の合計などである。変化量ｃは０以上の値であってもよいし、正値であってもよいし、０以下の値であってもよいし、負値であってもよいし、正にも負にも０にもなり得る値であってもよい。
　操作に基づく操作量ｍに対する視覚対象の視覚的な変化量ｃの関係は、提示する擬似触覚の程度に応じて定まる。この関係は、提示する擬似触覚の程度に応じて定められる。以降、この関係を関係ｒと表記する。単一の擬似触覚の程度に対する単一の関係ｒのみが定められてもよいし、複数の擬似触覚の程度に対する複数の関係ｒがそれぞれ定められてもよい。なお、提示する擬似触覚の程度は予め定められていてもよいし、入力情報に基づいて定められてもよいし、他の処理に基づいて定められてもよい。以降、提示する擬似触覚の程度を表す指標を指標ｉと表記する。指標ｉの例は、擬似触覚の大きさ（強さ）を表す値（例えば、インデックス、数値、ベクトル、記号）であり、例えば、重さ感の大きさ、重量感の大きさ、抵抗感の大きさを表す値である。複数の擬似触覚の程度に対する複数の関係ｒがそれぞれ定められる場合、提示する擬似触覚が異なれば関係ｒも異なる。すなわち、指標ｉがｉ１（第１指標値）である場合の当該関係を関係ｒ（ｉ１）と表記し、提示する擬似触覚の程度を表す指標ｉがｉ１と異なるｉ２（第２指標値）である場合の関係を関係ｒ（ｉ２）と表記すると、関係ｒ（ｉ１）と関係ｒ（ｉ２）とは異なる。操作量ｍに対する変化量ｃの関係ｒは、線形な関係であってもよいし、非線形な関係であってもよい。関係ｒの一例は、操作量ｍの変化Δｍに対する視覚対象の視覚的な変化量ｃの変化Δｃの比率Δｃ／Δｍである。例えば、Δｍは操作量ｍでの単位操作量を意味する。例えば、ｃがｍの関数値ｆ（ｍ）である場合、比率ｒ＝Δｃ／Δｍの一例は、ｃ＝ｆ（ｍ）のｍについての一次微分値（傾き）ｄｃ／ｄｍである。ただし、ｆ（・）は・を定義域とする関数を意味する。
　指標ｉがｉ１（第１指標値）である場合の比率ｒ＝Δｃ／Δｍを比率ｒ（ｉ１）（第１値）と表記し、指標ｉがｉ１と異なるｉ２（第２指標値）である場合の比率ｒを比率ｒ（ｉ２）（第２値）と表記すると、比率ｒ（ｉ１）（第１値）と比率ｒ（ｉ２）（第２値）とは互いに異なる。例えば、指標ｉ１（第１指標値）が表す擬似触覚の程度（例えば、擬似触覚の大きさ。例えば、重さ感の大きさ、重量感の大きさ、抵抗感の大きさなど）が、指標ｉ２（第２指標値）が表す擬似触覚の程度よりも大きい場合、比率ｒ（ｉ１）（第１値）は比率ｒ（ｉ２）（第２値）よりも小さい。例えば、提示する擬似触覚の程度が大きいほど比率ｒが小さい。言い換えると、比率ｒが小さいほど、提示する擬似触覚の程度が大きい。
　同じ指標ｉに対し、ｍの大きさにかかわらず（少なくとも、所定のｍの範囲において）比率ｒ＝Δｃ／Δｍが一定であってもよいし、ｍの大きさに応じて比率ｒ＝Δｃ／Δｍが異なってもよい。すなわち、操作に応じ、操作量ｍがｍ１（第１操作量）からｍ２（第２操作量）まで変化し、および／または、操作量ｍがｍ２（第２操作量）からｍ１（第１操作量）まで変化する場合（ｍ１はｍ２と異なる）、操作量ｍ１（第１操作量）であるときの比率ｒ（第３値）と、操作量ｍ２（第２操作量）であるときの比率ｒ（第４値）とが、互いに等しくてもよいし、互いに異なっていてもよい。例えば、指標ｉ１に対し、操作量ｍがｍ１であるときの比率ｒがｒ（ｉ１，ｍ１）（第３値）であり、操作量ｍが操作量ｍ２であるときの比率ｒがｒ（ｉ１，ｍ２）（第４値）である場合、ｒ（ｉ１，ｍ１）＝ｒ（ｉ１，ｍ２）であってもよいし、ｒ（ｉ１，ｍ１）≠ｒ（ｉ１，ｍ２）（すなわち、ｒ（ｉ１，ｍ２）（第４値）がｒ（ｉ１，ｍ１）（第３値）と異なる）であってもよい。例えば、操作量ｍ１（第１操作量）が操作量ｍ２（第２操作量）よりも大きく、ｒ（ｉ１，ｍ１）（第３値）がｒ（ｉ１，ｍ２）（第４値）よりも小さくてもよい。この場合、操作量ｍが大きい方が擬似触覚の程度が大きくなり、例えば、操作量ｍが大きいほど擬似触覚の程度が大きくなる。逆に、例えば、操作量ｍ１（第１操作量）が操作量ｍ２（第２操作量）よりも大きく、ｒ（ｉ１，ｍ１）（第３値）がｒ（ｉ１，ｍ２）（第４値）よりも大きくてもよい。この場合、操作量ｍが大きい方が擬似触覚の程度が小さくなり、例えば、操作量ｍが大きいほど擬似触覚の程度が小さくなる。或いは、例えば、ｍ１＜ｍ２＜ｍ３を満たす操作量ｍ１，ｍ２，ｍ３に対し、操作量ｍ１に対する比率ｒがｒ（ｉ１，ｍ１）であり、操作量ｍ２に対する比率ｒがｒ（ｉ１，ｍ２）であり、操作量ｍ３に対する比率ｒがｒ（ｉ１，ｍ３）である場合、ｒ（ｉ１，ｍ２）＜ｒ（ｉ１，ｍ１）かつｒ（ｉ１，ｍ２）＜ｒ（ｉ１，ｍ３）であってもよい。この場合、操作量ｍ２のときに提示される擬似触覚の程度が、その前後の操作量ｍ１，ｍ３のときに提示される擬似触覚の程度よりも大きくなる。逆に、ｒ（ｉ１，ｍ２）＞ｒ（ｉ１，ｍ１）かつｒ（ｉ１，ｍ２）＞ｒ（ｉ１，ｍ３）であってもよい。この場合、操作量ｍ２のときに提示される擬似触覚の程度が、その前後の操作量ｍ１，ｍ３のときに提示される擬似触覚の程度よりも小さくなる。
　その他、操作量ｍに応じ、擬似触覚の程度を表す指標ｉが切り替えられてもよい。例えば、操作に応じ、操作量ｍがｍ１（第１操作量）からｍ２（第２操作量）まで変化し、および／または、操作量ｍがｍ２（第２操作量）からｍ１（第１操作量）まで変化する場合（ｍ１はｍ２と異なる）、操作量ｍ１（第１操作量）であるときの指標ｉと、操作量ｍ２（第２操作量）であるときの指標ｉとが、互いに等しくてもよいし、互いに異なっていてもよい。このように、操作量ｍに応じて指標ｉを切り替えることで、擬似触覚の程度を変化させてもよい。この場合、各指標ｉに対応する比率ｒ（ｉ）＝Δｃ／Δｍは、それぞれ、ｍの大きさにかかわらず一定であってもよいし、比率ｒ（ｉ）＝Δｃ／Δｍがｍの大きさに応じて異なってもよい（例えば、上述したように）。例えば、各指標ｉに対応する比率ｒ（ｉ）がｍの大きさにかかわらず一定であったとしても、操作量ｍに応じて指標ｉを切り替えることで、操作量ｍに応じて提示する擬似触覚の程度を変化させることができる。例えば、操作量ｍ１が操作量ｍ２よりも大きく、指標ｉ１が表す擬似触覚の程度が、指標ｉ２が表す擬似触覚の程度よりも大きい場合に、操作量ｍ１のときに指標ｉ１に切り替えられ、操作量ｍ２のときに指標ｉ２に切り替えられてもよい。逆に、操作量ｍ１のときに指標ｉ２に切り替えられ、操作量ｍ２のときに指標ｉ１に切り替えられてもよい。あるいは、例えば、ｍ１＜ｍ２＜ｍ３を満たす操作量ｍ１，ｍ２，ｍ３に対し、指標ｉ１が表す擬似触覚の程度が、指標ｉ２が表す擬似触覚の程度よりも大きく、指標ｉ２が表す擬似触覚の程度が、指標ｉ３が表す擬似触覚の程度よりも大きい場合に、操作量ｍ２のときに指標ｉ１に切り替えられ、操作量ｍ１のときに指標ｉ２に切り替えられ、操作量ｍ３のときに指標ｉ３に切り替えられてもよい。或いは、この場合に、操作量ｍ２のときに指標ｉ３に切り替えられ、操作量ｍ１のときに指標ｉ２に切り替えられ、操作量ｍ３のときに指標ｉ３に切り替えられてもよい。
　［第１実施形態］
　第１実施形態では、身体部位が利用者の手指であり、視覚対象が円盤状の二次元図形であり、身体部位の動作が視覚対象を上下に移動させるようなジェスチャであり、この動作に基づく操作に応じた変化量で視覚対象の直径を変化させ、利用者に擬似触覚である重さ感を知覚させる場合を例示する。しかし、これは本発明を限定するものではない。
　＜構成＞
　図１および図２に例示するように、本実施形態の擬似触覚提示システム１は、擬似触覚提示装置１１と、検出装置１２と、視覚対象提示装置１３とを有する。
　擬似触覚提示装置１１は、入力部１１１と、記憶部１１２と、動作情報検出部１１３と、操作判定部１１５と、視覚対象更新部１１６と、出力部１１７とを有する。なお、以降では説明を省略するが、各処理で得られたデータは記憶部１１２に格納され、必要に応じて読み出されて使用される。
　検出装置１２は、タッチレス環境における利用者１００の身体部位１０１（例えば、手指）の位置を検出し、検出結果を出力する装置である。検出装置１２の一例は、Leap motion（登録商標）などのハンドトラッカ、モーションキャプチャ、タッチレスディスプレイ、加速度センサ、ジャイロセンサなどであるが、これらは本発明を限定しない。
　視覚対象提示装置１３は、視覚対象１３０を利用者１００に視覚的に提示する装置である。視覚対象提示装置１３の例は、液晶ディスプレイ、バーチャルリアリティヘッドセット、ビデオプロジェクタ、立体ホログラムディスプレイなどであるが、これは本発明を限定しない。
　＜前処理＞
　前処理として、少なくとも、操作（身体部位１０１の動作に基づく操作）に基づく操作量ｍに対する視覚対象１３０の視覚的な変化量ｃの関係ｒを表す情報ｐが、入力部１１１に入力され、記憶部１１２に格納される。操作量ｍ、視覚対象１３０、変化量ｃ、および関係ｒの具体例は前述した通りである。説明の簡略化のため、本実施形態では、視覚対象１３０が円盤状の二次元図形であり、視覚対象１３０の視覚的な変化量ｃが視覚対象１３０の直径の変化量（正値）であり、操作量ｍが、視覚対象１３０を上下に移動させるような身体部位１０１の動作に基づく、身体部位１０１（手指）の鉛直方向成分の移動量であり、関係ｒが、操作量ｍに対する視覚対象１３０の直径の変化量ｃの関係である場合を例示する。しかし、これは本発明を限定するものではない。図３に、操作量ｍに対する変化量ｃの関係ｒを例示する。図３の横軸は、身体部位１０１の動作に基づく操作量ｍ［cm］を例示する。本実施形態の例では、身体部位１０１（手指）の鉛直方向成分の移動量が操作量ｍ［cm］である。図３の縦軸は、視覚対象１３０の視覚的な変化量ｃ［pixels］を例示する。本実施形態の例では、円盤状の二次元図形である視覚対象１３０の直径の変化量が視覚的な変化量ｃ［pixels］である。前述のように、単一の擬似触覚の程度に対する単一の関係ｒのみが定められてもよいし、複数の擬似触覚の程度に対する複数の関係ｒがそれぞれ定められてもよい。図３の例では、複数の擬似触覚の程度に対する複数の関係ｒがそれぞれ定められている。すなわち、互いに異なる擬似触覚の程度を表す指標（Index 1,..., Index 5）に応じ、互いに異なる関係ｒがそれぞれ定められている。図３に例示する関係ｒは、操作量ｍの変化Δｍに対する視覚対象１３０の視覚的な変化量ｃの変化Δｃの比率Δｃ／Δｍを表している。図３の例では、ｍの大きさにかかわらず、比率Δｃ／Δｍ（傾き）は一定である。すなわち、図３に例示する操作量ｍに対する変化量ｃの関係ｒは線形な関係である。情報ｐは、関係ｒを表す関数を含んでいてもよいし、関係ｒを表すテーブルを含んでいてもよいし、関係ｒを表すパラメータを含んでいてもよい。また、情報ｐが初期（初期状態）の視覚対象１３０を表す情報（例えば、初期の視覚対象１３０の直径の情報、初期の視覚対象１３０の輝度や色彩や模様の情報など）を含んでいてもよい。ただし、視覚対象１３０の初期状態（例えば、初期の視覚対象１３０の直径、輝度、色彩、模様など）が固定（例えば、直径の初期値が０）であれば、情報ｐが初期の視覚対象１３０の情報（例えば、初期の視覚対象１３０の直径の情報、初期の視覚対象１３０の輝度や色彩や模様の情報など）を含んでいなくてもよい。また、情報ｐが正の変化量ｃに対して、視覚対象１３０の直径をいずれの方向に変化させるか（直径を増加させるか、または、減少させるか）を表す情報ｂを含んでもいてもよい。例えば、正の変化量ｃに対して直径を増加させる場合にはｂ＝ｂ＋とし、正の変化量ｃに対して直径を減少させる場合にはｂ＝ｂ－とする。ここで、ｂ＋は正の実数であり、ｂ－は負の実数である。ｂ＋の絶対値とｂ－の絶対値は互いに等しいことが望ましいが、これらが互いに異なっていてもよい。ｂ＋の一例は＋１であり、ｂ＋の一例は－１である。或いは、ｂ＋がｍの正の関数値（例えば、単調増加関数値や単調減少関数値）であってもよいし、ｂ－がｍの負の関数値（例えば、単調増加関数値や単調減少関数値）であってもよい。ただし、これらは本発明を限定するものではない。なお、正の変化量ｃに対して、視覚対象１３０の直径をいずれの方向に変化させるかが固定されているのであれば、情報ｐが情報ｂを含まなくてもよい。
　＜動作＞
　次に、本実施形態の擬似触覚提示システム１の動作を例示する。
　視覚対象更新部１１６（図１）は、初期の視覚対象１３０を生成し、初期の視覚対象１３０を表す情報ｖを出力する。本実施形態で例示する初期の視覚対象１３０は、直径が初期値ｃ１である円盤状の二次元図形である。この直径の初期値ｃ１は、記憶部１１２から読み出された情報ｐに含まれた値であってもよいし、予め定められた値であってもよい。また、初期の視覚対象１３０の輝度や色彩や模様は、記憶部１１２から読み出された情報ｐに含まれた値であってもよいし、予め定められた値であってもよい。初期の視覚対象１３０を表す情報ｖは出力部１１７に送られ、出力部１１７から視覚対象提示装置１３に出力される。視覚対象提示装置１３は、送られた情報ｖに基づいて視覚対象１３０を提示（表示）する（図２）。
　利用者１００は、視覚対象提示装置１３で提示された視覚対象１３０を見ながら、タッチレス環境で身体部位１０１（例えば、手指）を動かす。身体部位１０１の位置は検出装置１２で検出される。検出装置１２で検出された身体部位１０１の位置を表す情報ｄは、動作情報検出部１１３に出力される。検出装置１２での身体部位１０１の位置検出および情報ｄの出力は、例えば、所定の時間間隔で継続的に行われてもよいし、身体部位１０１の動きが検出されるたびに行われてもよい。動作情報検出部１１３は、情報ｄが入力されるたびに、当該情報ｄから身体部位１０１の動作を検出し、身体部位１０１の動作を表す情報ａｍを出力する。身体部位１０１の動作検出および情報ａｍの出力も継続的に行われる。動作を表す情報ａｍは、例えば、身体部位１０１の位置、動き、移動量ｍの少なくとも何れかを表す情報である。本実施形態では、動作を表す情報ａｍが身体部位１０１の移動量ｍを特定する情報である例を示す。身体部位１０１の移動量ｍの具体例は前述の通りである。本実施形態では、身体部位１０１の動作開始位置から現在位置までの距離の鉛直方向成分を移動量とする例を示す。この身体部位１０１の動作開始位置の具体例は前述の通りである。本実施形態の例では、前述の条件２および条件３の組み合わせである開始条件を満たしていない状態から満たした状態に移行した時点での身体部位１０１の位置を動作開始位置とする。すなわち、本実施形態の例では、身体部位１０１が特定のトリガー動作を行い（条件２）、かつ、提示される視覚対象１３０やその他の位置に対する身体部位１０１の位置関係が所定条件を満たした（条件３）状態に移行した時点での身体部位１０１の位置を動作開始位置とする。トリガー動作はどのようなものであってもよいが、本実施形態では、指でのつまみ動作をトリガー動作とする例を示す。また、位置関係が満たす所定条件（条件３）はどのようなものであってもよいが、本実施形態の例では、身体部位１０１（例えば、手指）が視覚対象１３０の提示位置（例えば、視覚対象提示装置１３の表示画面）から一定距離よりも離れることを当該所定条件とする。この場合、動作情報検出部１１３は、情報ｄに基づいて、利用者１００の身体部位１０１である親指と人差し指と間の距離ｄ１を計測し、さらに身体部位１０１（例えば、手指）と視覚対象１３０の提示位置（例えば、視覚対象提示装置１３の表示画面）との間の距離ｄ２を計測し、距離ｄ１および距離ｄ２を、身体部位１０１の動作を表す情報ａｍ＝（ｄ１，ｄ２）として出力する。
　情報ａｍ＝（ｄ１，ｄ２）は操作判定部１１５に入力される。操作判定部１１５は、情報ａｍに基づき、身体部位１０１の動作に基づく操作を表す操作情報を得て出力する。操作情報の例は前述の通りであるが、本実施形態では、操作量ｍを表す情報を操作情報として出力する例を説明する。例えばまず、操作判定部１１５は、距離ｄ１が予め定められた閾値ｄｔｈ１未満となったか否か（または、距離ｄ１が閾値ｄｔｈ１以下となったか否か）を判定する。ただし、閾値ｄｔｈ１は距離を表す正の実数である。ここで距離ｄ１が閾値ｄｔｈ１を超える場合（または、距離ｄ１が閾値ｄｔｈ１以上である場合）、操作判定部１１５は、身体部位１０１（この例では手指）でのつまみ動作、すなわちトリガー動作が行われていないと判断する。一方、距離ｄ１が閾値ｄｔｈ１以下である場合（または、距離ｄ１が閾値ｄｔｈ１未満である場合）、操作判定部１１５は、トリガー動作が行われていると判定する（すなわち、条件２を満たしていると判定する）。また、操作判定部１１５は、距離ｄ２が予め定められた閾値ｄｔｈ２を超えているか否か（または、距離ｄ２が閾値ｄｔｈ２以上となったか否か）を判定する。ただし、閾値ｄｔｈ２は距離を表す正の実数である。ここで、距離ｄ２が閾値ｄｔｈ２以下である場合（または、距離ｄ２が閾値ｄｔｈ２未満である場合）、身体部位１０１の位置関係が所定条件を満たしていないと判定する。一方、距離ｄ２が閾値ｄｔｈ２を超えている場合（または、距離ｄ２が閾値ｄｔｈ２以上である場合）、身体部位１０１の位置関係が所定条件を満たしていると判定する（すなわち、条件３を満たしていると判定する）。操作判定部１１５は、トリガー動作が行われており、かつ、身体部位１０１の位置関係が所定条件を満たしたと判定した場合（すなわち、条件２および条件３の両方を満たしていると判定した場合）、距離ｄ２に基づいて、動作開始位置から身体部位１０１の現在位置までの距離の鉛直方向成分を移動量として得、当該移動量を操作量ｍとする。なお、動作開始位置は前述した通りである。本実施形態で例示する動作開始位置は、条件２または条件３の少なくとも一方を満たしていない状態から、条件２および条件３の両方を満たす状態に移行した時点での身体部位１０１の位置である。操作判定部１１５は、操作量ｍを表す情報（身体部位の動作に基づく操作を表す操作情報）を視覚対象更新部１１６に出力する。
　操作量ｍを表す情報は、視覚対象更新部１１６に入力される。視覚対象更新部１１６は、記憶部１１２に格納された情報ｐを参照し、少なくとも、操作量ｍを表す情報（身体部位の動作に基づく操作を表す操作情報）と情報ｐ（操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報）とに基づいて、操作に応じた変化量で視覚対象１３０を視覚的に変化させる。例えば、情報ｐが単一の擬似触覚の程度に対する単一の関係ｒのみを表しているのであれば、視覚対象更新部１１６は、この関係ｒを参照し、入力された操作量ｍに対応する変化量ｃを得、視覚対象１３０を初期状態から変化量ｃだけ視覚的に変化させる。本実施形態の例では、視覚対象１３０の直径を初期値ｃ１からｃ１＋ｂ・ｃに変化させる。すなわち、この例の視覚対象更新部１１６は、直径ｃ２＝ｃ１＋ｂ・ｃの円盤状の視覚対象１３０を生成し、当該視覚対象１３０を表す情報ｖを出力する。ｂ＝｛ｂ＋，ｂ－｝は情報ｐに含まれている情報であってもよいし、予め定められていてもよい。一方、例えば、情報ｐが複数の擬似触覚の程度に対する複数の関係ｒを表しているのであれば、視覚対象更新部１１６は、提示しようとする擬似触覚の程度に対応する関係ｒを参照し、入力された操作量ｍに対応する変化量ｃを得、視覚対象１３０を初期状態から変化量ｃだけ視覚的に変化させる。図３の例の場合、視覚対象更新部１１６は、提示しようとする擬似触覚の程度を表す指標（図３の例では、Index 1,..., Index 5の何れか）に対応する関係ｒを参照する。前述のように、提示しようとする擬似触覚の程度は予め定められていてもよいし、入力部１１１に入力される入力情報Ｉに基づいて定められてもよいし、他の処理に基づいて定められてもよい。この場合も視覚対象更新部１１６は、直径ｃ２＝ｃ１＋ｂ・ｃの円盤状の視覚対象１３０を生成し、当該視覚対象１３０を表す情報ｖを出力する。
　図４Ａから図５Ｃを用い、提示しようとする擬似触覚の程度が異なる場合の視覚対象１３０の変化の違いを例示する。例えば、提示しようとする擬似触覚（例えば、重さ感、重量感、抵抗感）の程度を表す指標がIndex 1（図３）である場合、視覚対象更新部１１６は、身体部位１０１の動作開始位置ｖｈ１から現在位置ｖｈ１までの距離の鉛直方向成分である操作量ｍに対し、視覚対象１３０の直径を、初期のｃ１＝ｃ１－１からｃ２＝ｃ１－２＝ｃ１－１＋ｂ・ｃまで変化させる。例えば、視覚対象更新部１１６は、ｂ＝ｂ＋であれば、視覚対象１３０の直径をｃ１＝ｃ１－１からｃ２＝ｃ１－２に拡大し（図４Ａから図４Ｃ）、ｂ＝ｂ－であれば、視覚対象１３０の直径をｃ１＝ｃ１－１からｃ２＝ｃ１－２に縮小する。一方、提示しようとする擬似触覚の程度を表す指標がIndex 2である場合、視覚対象更新部１１６は、同じ操作量ｍに対し、視覚対象１３０の直径を、初期のｃ１＝ｃ２－１からｃ２＝ｃ２－２＝ｃ２－１＋ｂ・ｃまで変化させる。例えば、視覚対象更新部１１６は、ｂ＝ｂ＋であれば、視覚対象１３０の直径をｃ１＝ｃ２－１からｃ２＝ｃ２－２に拡大し（図５Ａから図５Ｃ）、ｂ＝ｂ－であれば、視覚対象１３０の直径をｃ１＝ｃ２－１からｃ２＝ｃ２－２に縮小する。ここで、指標Index 1が表す擬似触覚（例えば、重さ感、重量感、抵抗感）の程度は、指標Index 2が表す擬似触覚の程度よりも大きい。この場合、操作量ｍは同一であるにもかかわらず、指標Index 1に対する視覚対象１３０の直径の変化量｜ｃ１－２－ｃ１－１｜は、指標Index 2に対する視覚対象１３０の直径の変化量｜ｃ２－２－ｃ２－１｜よりも小さい。なお、本実施形態の例では、条件２または条件３の少なくとも一方を満たしていない状態から、条件２および条件３の両方を満たす状態に移行した時点での身体部位１０１の位置を動作開始位置とする。そのため、トリガー動作（つまみ動作）が検出され、かつ、身体部位１０１（例えば、手指）が視覚対象１３０の提示位置から一定距離以上離れたことが検出されたときにのみ、視覚対象１３０の直径が更新される。
　視覚対象更新部１１６から出力された視覚対象１３０を表す情報ｖは出力部１１７に送られ、出力部１１７から視覚対象提示装置１３に出力される。視覚対象提示装置１３は、送られた情報ｖに基づいて視覚対象１３０を提示（表示）する（図２）。これにより、利用者１００に提示されている視覚対象１３０が、身体部位１０１の動作に基づく操作に応じた変化量ｃで変化し、利用者１００に擬似触覚（例えば、重さ感、重量感、抵抗感）を提示することができる。また、複数の擬似触覚の程度に対する複数の関係ｒが設定されているのであれば、選択された程度の擬似触覚（例えば、選択された大きさの重さ感、重量感、抵抗感）を提示することができる。
　＜実験結果＞
　次に、第１実施形態の効果を示すための実験１の実験結果を例示する。
　図６Ａに例示するように、実験１では、視覚対象提示装置１３から、評価対象の視覚対象１３０（評価刺激）を提示するとともに、基準となる視覚対象１４０（標準刺激）も提示した。なお、視覚対象１３０および視覚対象１４０はともに円盤状の二次元画像であり、実験参加者の手指（身体部位）の動作に基づく変化量でそれらの直径が変化する。ただし、視覚対象１３０と視覚対象１４０とは、操作量に対する直径の変化量が異なる。すなわち、視覚対象１４０の直径は、当該手指の高度（移動量の鉛直方向成分）が１［cm］変化するごとに２０［pixels］変化する。これに対し、視覚対象１３０については、当該手指の高度が１［cm］変化するごとに、直径が５［pixels］変化するケース１、１０［pixels］変化するケース２、２０［pixels］変化するケース３、４０［pixels］変化するケース４、および８０［pixels］変化するケース５が試された。すなわち、ケース１，２，３，４，５の視覚対象１４０の直径の変化に対する視覚対象１３０の変化の比率（速度比率：Speed ratio）は、それぞれ、０．２５，０．５，１．０，２．０，４．０である。図６Ｂに、各速度比率における、実験参加者の手指の高さ［cm］に対する視覚対象１３０の直径の変化量［pixels］を示す。実験１では、図６Ｂの横軸が実験参加者の手指の高さ［cm］を表し、縦軸が視覚対象１３０の直径の変化量［pixels］を表す。実験参加者は、ケース１，２，３，４，５について、視覚対象１３０と視覚対象１４０とを対比し、これらのどちらが重く感じられたかを評定法により報告した。具体的には、実験参加者は、１：左の円盤（視覚対象１４０）の方がかなり重い、２：左の円盤（視覚対象１４０）の方がやや重い、３：重さは左右で変わらない、４：右の円盤（視覚対象１３０）の方がやや重い、５：右の円盤（視覚対象１３０）の方がかなり重い、の５種類の評価スコアによる５件法で報告した。図７に、この実験結果を示す。図７の横軸は速度比率を表し、縦軸は実験参加者ごとの重さ感の評価スコア（１から５）の平均値を表す。図７に例示するように、速度比率が小さいほど、視覚対象１３０が重く感じられることが分かった。すなわち、操作に基づく操作量に対する視覚対象の直径の変化量が小さいほど、知覚される重さ感が大きくなる。
　［第２実施形態］
　第１実施形態では、視覚対象１３０が円盤状の二次元図形であり、身体部位１０１の動作が視覚対象１３０を上下に移動させるようなジェスチャであり、この動作に基づく操作に応じた変化量で視覚対象１３０の直径を変化させ、利用者に擬似触覚である重さ感を知覚させる場合を例示した。すなわち、第１実施形態では、動作に基づく操作に応じた変化量で視覚対象１３０の大きさを変化させることで、重さ感を知覚させる例を示した。第２実施形態では、視覚対象の大きさや形状を変化させなくても、動作に基づく操作に応じた変化量で、視覚対象の輝度、色彩、または模様の少なくとも何れかを変化させることで重さ感を知覚させることができることを示す。このことを示すため、本実施形態では、直径が固定された同心円縞を持つ二次元図形を視覚対象とする。第２実施形態では、動作に基づく操作に応じた変化量で、視覚対象が持つ同心円縞の空間領域での位相（以降、単に「位相」という）を変化させることで重さ感を知覚させる。以下では第１実施形態との相違点を中心に説明し、すでに説明した事項については同じ参照番号を用いて説明を簡略化する。
　＜構成＞
　図１および図２に例示するように、本実施形態の擬似触覚提示システム２は、擬似触覚提示装置２１と、検出装置１２と、視覚対象提示装置１３とを有する。擬似触覚提示装置２１は、入力部１１１と、記憶部１１２と、動作情報検出部１１３と、操作判定部１１５と、視覚対象更新部２１６と、出力部１１７とを有する。
　＜前処理＞
　本実施形態の前処理は、視覚対象１３０が、直径が固定された同心円縞を持つ円盤状の二次元図形である視覚対象２３０に置換され（例えば、図８）、視覚対象１３０の直径の変化量ｃが、視覚対象２３０が持つ同心円縞の位相の変化量ｃに置換される以外、第１実施形態の前処理と同じである。なお、図３の例では、視覚対象２３０が持つ同心円縞の空間領域での１周期を１００［pixels］としている。すなわち、視覚対象２３０が持つ同心円縞の位相の変化量ｃ［pixels］は、2π(c/100)［rad］の位相の変化を表す。なお、図８では、空間領域での同心円縞の中心Ｏからの距離の変化に対する輝度値の変化が正弦波で表される場合（すなわち、正弦波輝度変調する同心円縞）を例示する。しかし、これは本発明を限定するものではなく、中心Ｏからの距離の変化に対する輝度値の変化が周期的な縞構造を持つ同心円縞であればよい。例えば、中心Ｏからの距離の変化に対する輝度値の変化が矩形波や三角波などで表されてもよい。また、第１実施形態と同様、情報ｐが初期の視覚対象２３０の情報を含んでいてもよいし、含んでいなくてもよい。初期の視覚対象２３０の情報の例は、初期の視覚対象２３０が持つ同心円縞の位相の情報（位相の初期値）、および初期の視覚対象２３０の大きさや形状や輝度や色彩や模様の情報などである。また、情報ｐが正の変化量ｃに対して、位相をいずれの方向に変化させるかを表す情報ｂ＝｛ｂ＋，ｂ－｝を含んでもいてもよい。
　＜動作＞
　次に、本実施形態の擬似触覚提示システム２の動作を例示する。
　視覚対象更新部２１６（図１）は、初期の視覚対象２３０を生成し、初期の視覚対象２３０を表す情報ｖを出力する。本実施形態で例示する初期の視覚対象２３０は、初期状態の位相の同心円縞を持つ。同心円縞の位相はどのように表現されてもよい。説明の都合上、本実施形態では、図８に例示するように、同心円縞の中心Ｏから、輝度が特定の値（例えば、黒色に対応する０）となる位置Ｐｘまでの空間領域での距離ｘによって位相を表現する。しかし、これは本発明を限定するものではない。この表現に従うと、本実施形態の初期の視覚対象２３０は、距離ｘが初期値ｘ１となる位相の同心円縞を持つ円盤状の二次元図形である。距離ｘの初期値ｘ１（位相の初期値）は、記憶部１１２から読み出された情報ｐに含まれた値であってもよいし、予め定められた値であってもよい。また、初期の視覚対象２３０の大きさや形状や輝度や色彩や模様は、記憶部１１２から読み出された情報ｐに含まれた値であってもよいし、予め定められた値であってもよい。初期の視覚対象２３０を表す情報ｖは出力部１１７に送られ、出力部１１７から視覚対象提示装置１３に出力される。視覚対象提示装置１３は、送られた情報ｖに基づいて視覚対象２３０を提示（表示）する（図２および図８）。
　利用者１００は、視覚対象提示装置１３で提示された視覚対象２３０を見ながら、タッチレス環境で身体部位１０１（例えば、手指）を動かす。身体部位１０１の位置は検出装置１２で検出される。検出装置１２で検出された身体部位１０１の位置を表す情報ｄは、動作情報検出部１１３に出力される。動作情報検出部１１３は、情報ｄが入力されるたびに、当該情報ｄから身体部位１０１の動作を検出し、身体部位１０１の動作を表す情報ａｍ＝（ｄ１，ｄ２）を出力する。その他、検出装置１２および動作情報検出部１１３の動作は第１実施形態と同じである。
　情報ａｍ＝（ｄ１，ｄ２）は操作判定部１１５に入力され、操作判定部１１５は、情報ａｍに基づき、身体部位１０１の動作に基づく操作を表す操作情報を得て出力する。第１実施形態と同じく、本実施形態でも、操作量ｍを表す情報を操作情報として出力する例を説明する。操作判定部１１５の動作は第１実施形態と同じである。
　操作量ｍを表す情報は、視覚対象更新部２１６に入力される。視覚対象更新部２１６は、記憶部１１２に格納された情報ｐを参照し、少なくとも、操作量ｍを表す情報（身体部位の動作に基づく操作を表す操作情報）と情報ｐ（操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報）とに基づいて、操作に応じた変化量で視覚対象２３０を視覚的に変化させる。この動作は、視覚対象１３０の直径を初期値ｃ１からｃ２＝ｃ１＋ｂ・ｃに変化させることに代え、視覚対象２３０が持つ同心円縞の位相を距離ｘがｘ１からｘ２＝ｘ１＋ｂ・ｃになるように変化させること以外、第１実施形態の視覚対象更新部１１６の動作と同じである。変化量ｃが正であり、ｂ＝ｂ＋である場合、視覚対象２３０が持つ同心円縞の位相を距離ｘがｘ１からｘ２＝ｘ１＋ｂ・ｃになるように変化させることは、同心円縞の縞を中心Ｏから外側に向かう方向に移動させることである。すなわち、ｂ＝ｂ＋である場合、身体部位１０１（例えば、手指）の垂直位置が高くなるほど縞を外側へ移動させ、身体部位１０１（例えば、手指）の垂直位置が低くなるほど縞を内側へ移動させる。また、変化量ｃが正であり、ｂ＝ｂ－である場合、視覚対象２３０が持つ同心円縞の位相を距離ｘがｘ１からｘ２＝ｘ１＋ｂ・ｃになるように変化させることは、同心円縞の縞を外側から中心Ｏに向かう方向に移動させることである。すなわち、ｂ＝ｂ－である場合、身体部位１０１（例えば、手指）の高度（移動量の鉛直方向成分）が高くなるほど縞を内側へ移動させ、身体部位１０１（例えば、手指）の高度が低くなるほど縞を外側へ移動させる。なお、視覚対象２３０の直径（大きさ）や形状は変化させない。
　図９Ａから図１１Ｃを用い、提示しようとする擬似触覚の程度が異なる場合の視覚対象２３０の変化の違いを例示する。図９Ｂ，図９Ｃ，図１０Ｂ，図１０Ｃ，図１１Ｂ，図１１Ｃにおける横軸は前述の距離ｘを表し、縦軸は画素値を表す。例えば、提示しようとする擬似触覚（例えば、重さ感、重量感、抵抗感）の程度を表す指標がIndex 1（図３）である場合、視覚対象更新部２１６は、身体部位１０１の動作開始位置ｖｈ１から現在位置ｖｈ１までの距離の鉛直方向成分である操作量ｍに対し、視覚対象２３０が持つ同心円縞の位相を距離ｘが初期のｘ１＝ｘ１－１からｘ２＝ｘ１－２＝ｘ１－１＋ｂ・ｃになるように変化させる。例えば、視覚対象更新部２１６は、ｂ＝ｂ＋であれば、視覚対象２３０が持つ同心円縞の縞を外側に移動させ（図９Ａから図９Ｃ）、ｂ＝ｂ－であれば、視覚対象２３０が持つ同心円縞の縞を内側に移動させる（図１１Ａから図１１Ｃ）。一方、提示しようとする擬似触覚の程度を表す指標がIndex 2である場合、視覚対象更新部２１６は、同じ操作量ｍに対し、視覚対象２３０が持つ同心円縞の位相を距離ｘが初期のｘ１＝ｘ２－１からｘ２＝ｘ２－２＝ｘ２－１＋ｂ・ｃになるように変化させる。例えば、視覚対象更新部２１６は、ｂ＝ｂ＋であれば、視覚対象２３０が持つ同心円縞の縞を外側に移動させ（図１０Ａから図１０Ｃ）、ｂ＝ｂ－であれば、視覚対象２３０が持つ同心円縞の縞を内側に移動させる（図１１Ａから図１１Ｃ）。ここで、指標Index 1が表す擬似触覚（例えば、重さ感、重量感、抵抗感）の程度は、指標Index 2が表す擬似触覚の程度よりも大きい。この場合、操作量ｍは同一であるにもかかわらず、指標Index 1に対する視覚対象２３０の位相の変化量｜ｘ１－２－ｘ１－１｜は、指標Index 2に対する視覚対象２３０の位相の変化量｜ｘ２－２－ｘ２－１｜よりも小さい。
　視覚対象更新部２１６から出力された視覚対象１３０を表す情報ｖは出力部１１７に送られ、出力部１１７から視覚対象提示装置１３に出力される。視覚対象提示装置１３は、送られた情報ｖに基づいて視覚対象２３０を提示（表示）する（図２および図８）。これにより、利用者１００に提示されている視覚対象２３０が、身体部位１０１の動作に基づく操作に応じた変化量ｃで変化し、利用者１００に擬似触覚（例えば、重さ感、重量感、抵抗感）を提示することができる。また、情報ｐが複数の擬似触覚の程度に対する複数の関係ｒを表しているのであれば、選択された程度の擬似触覚（例えば、選択された大きさの重さ感、重量感、抵抗感）を提示することができる。
　＜実験結果＞
　次に、第２実施形態の効果を示すための実験２，３の実験結果を例示する。
　実験２は、ｂ＝ｂ＋の場合、すなわち、身体部位１０１（例えば、手指）の垂直位置が高くなるほど縞を外側へ移動させ、身体部位１０１（例えば、手指）の垂直位置が低くなるほど縞を内側へ移動させる場合の実験である。図１２Ａに例示するように、実験２でも、視覚対象提示装置１３から、評価対象の視覚対象２３０（評価刺激）を提示するとともに、基準となる視覚対象２４０（標準刺激）も提示した。なお、視覚対象２３０および視覚対象２４０はともに同心円縞を持つ円盤状の二次元画像であり、実験参加者の手指の動作に基づく変化量でそれらの位相が変化する。ただし、視覚対象２３０と視覚対象２４０とは、操作量に対する位相の変化量が異なる。すなわち、視覚対象２４０は、当該手指の高度（移動量の鉛直方向成分）が１［cm］変化するごとに同心円縞の縞の位置が２０pixels変化する。つまり、同心円縞の空間領域での１周期を１００［pixels］とした場合、当該手指の高度が１［cm］変化するごとに同心円縞の位相が０．４π［rad］変化する。これに対し、視覚対象２３０については、当該手指の高さが１［cm］変化するごとに、同心円縞の縞の位置が５［pixels］変化するケース１、１０［pixels］変化するケース２、２０［pixels］変化するケース３、４０［pixels］変化するケース４、および８０［pixels］変化するケース５が試された。つまり、同心円縞の空間領域での１周期を１００［pixels］とした場合、ケース１，２，３，４，５では、当該手指の高度が１［cm］変化するごとに、位相が０．１π，０．２π，０．４π，０．８π，１．６π［rad］変化する。すなわち、ケース１，２，３，４，５の視覚対象２４０の位相の変化に対する視覚対象２３０の位相の比率（速度比率：Speed ratio）は、それぞれ、０．２５，０．５，１．０，２．０，４．０である。図６Ｂに、各速度比率における、実験参加者の手指の高さ［cm］に対する視覚対象１３０の同心円縞の位相の変化量［pixels］を示す。実験２では、図６Ｂの横軸が実験参加者の手指の高さ［cm］を表し、縦軸が視覚対象２３０の同心円縞の位相の変化量［pixels］を表す。実験参加者は、ケース１，２，３，４，５について、視覚対象２３０と視覚対象２４０とを対比し、これらのどちらが重く感じられたかを、評定法により報告した。評価は、実験１と同じく、１から５の評価スコアによる５件法で行われた。図１２Ｂに、実験２の実験結果を示す。図１２Ｂの横軸は速度比率を表し、縦軸は実験参加者ごとの重さ感の評価スコア（１から５）の平均値を表す。図１２Ｂに例示するように、速度比率が小さいほど、視覚対象２３０が重く感じられることが分かった。すなわち、ｂ＝ｂ＋の場合、操作に基づく操作量に対して視覚対象２３０が持つ同心円縞の位相の変化量が小さいほど、知覚される重さ感が大きくなる。また、この結果から、視覚対象の大きさや形状に変化がなくても、操作に基づく操作量に応じて視覚対象２３０が持つ同心円縞の位相を変化させることで、重さ感を知覚させることができることが分かる。
　実験３は、ｂ＝ｂ－の場合、すなわち、身体部位１０１（例えば、手指）の垂直位置が高くなるほど縞を内側へ移動させ、身体部位１０１（例えば、手指）の垂直位置が低くなるほど縞を外側へ移動させる場合の実験である。ｂ＝ｂ－である以外、実験方法は実験２と同じである。図１３に、実験３の実験結果を示す。図１３の横軸は速度比率を表し、縦軸は実験参加者ごとの重さ感の評価スコア（１から５）の平均値を表す。図１３に例示するように、速度比率が小さいほど、視覚対象２３０が重く感じられることが分かった。すなわち、ｂ＝ｂ－の場合も、操作に基づく操作量に対して視覚対象２３０が持つ同心円縞の位相の変化量が小さいほど、知覚される重さ感が大きくなる。また、この結果から、同心円縞の位相の変化方向（縞の移動方向）にかかわらず、操作に基づく操作量に応じて視覚対象２３０が持つ同心円縞の位相を変化させることで、重さ感を知覚させることができることが分かる。
　［第３実施形態］
　第２実施形態では、動作に基づく操作に応じた変化量で、視覚対象が持つ同心円縞の位相を変化させることで重さ感を知覚させた。しかし、この効果は同心円縞の位相を変化させる場合だけでなく、その他の図形の位相を変化させる場合にも得られる。このことを示すため、本実施形態では、１次元縞を持つ二次元図形を視覚対象とする。本実施形態の視覚対象も大きさや形状は変化しない。以下では第１，２実施形態との相違点を中心に説明し、すでに説明した事項については同じ参照番号を用いて説明を簡略化する。
　図１および図２に例示するように、本実施形態の擬似触覚提示システム３は、擬似触覚提示装置３１と、検出装置１２と、視覚対象提示装置１３とを有する。擬似触覚提示装置３１は、入力部１１１と、記憶部１１２と、動作情報検出部１１３と、操作判定部１１５と、視覚対象更新部３１６と、出力部１１７とを有する。
　＜前処理＞
　本実施形態の前処理は、視覚対象１３０が、大きさが固定された１次元縞を持つ矩形の二次元図形である視覚対象３３０に置換され（例えば、図１４）、視覚対象１３０の直径の変化量ｃが、視覚対象３３０が持つ１次元縞の位相の変化量ｃに置換される以外、第１実施形態の前処理と同じである。なお、図１４では、空間領域での視覚対象３３０の縁部Ｅからの距離の変化に対する輝度値の変化が正弦波で表される場合（すなわち、正弦波輝度変調する１次元縞）を例示する。しかし、これは本発明を限定するものではなく、縁部Ｅからの距離の変化に対する輝度値の変化が周期的な縞構造を持つ１次元縞であればよい。例えば、縁部Ｅからの距離の変化に対する輝度値の変化が矩形波や三角波などで表されてもよい。また、第１実施形態と同様、情報ｐが初期の視覚対象３３０の情報を含んでいてもよいし、含んでいなくてもよい。初期の視覚対象３３０の情報の例は、初期の視覚対象３３０が持つ１次元縞の位相の情報（位相の初期値）、および初期の視覚対象３３０の大きさや形状や輝度や色彩や模様の情報などである。また、情報ｐが正の変化量ｃに対して、位相をいずれの方向に変化させるかを表す情報ｂ＝｛ｂ＋，ｂ－｝を含んでもいてもよい。
　＜動作＞
　次に、本実施形態の擬似触覚提示システム３の動作を例示する。
　視覚対象更新部３１６（図１）は、初期の視覚対象３３０を生成し、初期の視覚対象３３０を表す情報ｖを出力する。本実施形態で例示する初期の視覚対象３３０は、初期状態の位相の１次元縞を持つ。１次元縞の位相はどのように表現されてもよい。説明の都合上、本実施形態では、図１４に例示するように、１次元縞の縁部Ｅから、輝度が特定の値（例えば、黒色に対応する０）となる位置Ｐｘまでの空間領域での距離ｘによって位相を表現する。しかし、これは本発明を限定するものではない。この表現に従うと、本実施形態の初期の視覚対象３３０は、距離ｘが初期値ｘ１となる位相の１次元縞を持つ矩形の二次元図形である。距離ｘの初期値ｘ１（位相の初期値）は、記憶部１１２から読み出された情報ｐに含まれた値であってもよいし、予め定められた値であってもよい。また、初期の視覚対象３３０の大きさや形状や輝度や色彩や模様は、記憶部１１２から読み出された情報ｐに含まれた値であってもよいし、予め定められた値であってもよい。初期の視覚対象３３０を表す情報ｖは出力部１１７に送られ、出力部１１７から視覚対象提示装置１３に出力される。視覚対象提示装置１３は、送られた情報ｖに基づいて視覚対象３３０を提示（表示）する（図２および図１４）。
　利用者１００は、視覚対象提示装置１３で提示された視覚対象３３０を見ながら、タッチレス環境で身体部位１０１（例えば、手指）を動かす。身体部位１０１の位置は検出装置１２で検出される。検出装置１２で検出された身体部位１０１の位置を表す情報ｄは、動作情報検出部１１３に出力される。動作情報検出部１１３は、情報ｄが入力されるたびに、当該情報ｄから身体部位１０１の動作を検出し、身体部位１０１の動作を表す情報ａｍ＝（ｄ１，ｄ２）を出力する。その他、検出装置１２および動作情報検出部１１３の動作は第１実施形態と同じである。
　情報ａｍ＝（ｄ１，ｄ２）は操作判定部１１５に入力され、操作判定部１１５は、情報ａｍに基づき、身体部位１０１の動作に基づく操作を表す操作情報を得て出力する。第１実施形態と同じく、本実施形態でも、操作量ｍを表す情報を操作情報として出力する例を説明する。操作判定部１１５の動作は第１実施形態と同じである。
　操作量ｍを表す情報は、視覚対象更新部３１６に入力される。視覚対象更新部３１６は、記憶部１１２に格納された情報ｐを参照し、少なくとも、操作量ｍを表す情報（身体部位の動作に基づく操作を表す操作情報）と情報ｐ（操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報）とに基づいて、操作に応じた変化量で視覚対象３３０を視覚的に変化させる。この動作は、視覚対象１３０の直径を初期値ｃ１からｃ２＝ｃ１＋ｂ・ｃに変化させることに代え、視覚対象３３０が持つ１次元縞の位相を距離ｘがｘ１からｘ２＝ｘ１＋ｂ・ｃになるように変化させること以外、第１実施形態の視覚対象更新部１１６の動作と同じである。変化量ｃが正であり、ｂ＝ｂ＋である場合、視覚対象３３０が持つ１次元縞の位相を距離ｘがｘ１からｘ２＝ｘ１＋ｂ・ｃになるように変化させることは、１次元縞の縞を縁部Ｅから右方向に移動させることである。すなわち、ｂ＝ｂ＋である場合、身体部位１０１（例えば、手指）の垂直位置が高くなるほど縞を右側へ移動させ、身体部位１０１（例えば、手指）の垂直位置が低くなるほど縞を左側へ移動させる。また、変化量ｃが正であり、ｂ＝ｂ－である場合、視覚対象３３０が持つ１次元縞の位相を距離ｘがｘ１からｘ２＝ｘ１＋ｂ・ｃになるように変化させることは、１次元縞の縞を右側から縁部Ｅに向かう方向（左方向）に移動させることである。すなわち、ｂ＝ｂ－である場合、身体部位１０１（例えば、手指）の高度（移動量の鉛直方向成分）が高くなるほど縞を左側へ移動させ、身体部位１０１（例えば、手指）の高度が低くなるほど縞を右側へ移動させる。なお、視覚対象３３０の大きさや形状は変化させない。
　視覚対象更新部３１６から出力された視覚対象１３０を表す情報ｖは出力部１１７に送られ、出力部１１７から視覚対象提示装置１３に出力される。視覚対象提示装置１３は、送られた情報ｖに基づいて視覚対象３３０を提示（表示）する（図２および１４）。これにより、利用者１００に提示されている視覚対象３３０が、身体部位１０１の動作に基づく操作に応じた変化量ｃで変化し、利用者１００に擬似触覚（例えば、重さ感、重量感、抵抗感）を提示することができる。また、情報ｐが複数の擬似触覚の程度に対する複数の関係ｒを表しているのであれば、選択された程度の擬似触覚（例えば、選択された大きさの重さ感、重量感、抵抗感）を提示することができる。
　＜実験結果＞
　次に、第３実施形態の効果を示すための実験４の実験結果を例示する。
　図１５Ａに例示するように、実験４でも、視覚対象提示装置１３から、評価対象の視覚対象３３０（評価刺激）を提示するとともに、基準となる視覚対象３４０（標準刺激）も提示した。なお、視覚対象３３０および視覚対象３４０はともに１次元縞を持つ矩形の二次元画像であり、実験参加者の手指の動作に基づく変化量でそれらの位相が変化する。ただし、視覚対象３３０と視覚対象３４０とは、操作量に対する位相の変化量が異なる。すなわち、視覚対象３４０は、当該手指の高度（移動量の鉛直方向成分）が１［cm］変化するごとに１次元縞の位置が２０pixels変化する。つまり、１次元縞の空間領域での１周期を１００［pixels］とした場合、当該手指の高度が１［cm］変化するごとに１次元縞の位相が０．４π［rad］変化する。これに対し、視覚対象３３０については、当該手指の高さが１［cm］変化するごとに、１次元縞の縞の位置が５［pixels］変化するケース１、１０［pixels］変化するケース２、２０［pixels］変化するケース３、４０［pixels］変化するケース４、および８０［pixels］変化するケース５が試された。すなわち、実験４の場合も、ケース１，２，３，４，５の視覚対象３４０の位相の変化に対する視覚対象３３０の位相の比率（速度比率：Speed ratio）は、それぞれ、０．２５，０．５，１．０，２．０，４．０である（図６Ｂ）。実験２，３と同じく、実験４でも、図６Ｂの横軸が実験参加者の手指の高さ［cm］を表し、縦軸が視覚対象３３０の１次元縞の位相の変化量［pixels］を表す。実験参加者は、ケース１，２，３，４，５について、視覚対象３３０と視覚対象３４０とを対比し、これらのどちらが重く感じられたかを、評定法により報告した。評価は、実験１と同じく、１から５の評価スコアによる５件法で行われた。図１５Ｂに、実験４の実験結果を示す。図１５Ｂの横軸は速度比率を表し、縦軸は実験参加者ごとの重さ感の評価スコア（１から５）の平均値を表す。図１５Ｂに例示するように、この場合も、速度比率が小さいほど、視覚対象３３０が重く感じられることが分かった。すなわち、操作に基づく操作量に対して視覚対象３３０が持つ１次元縞の位相の変化量が小さいほど、知覚される重さ感が大きくなる。また、この結果から、縞の種別や空間構造にかかわらず、操作に基づく操作量に応じて視覚対象３３０が持つ縞の位相を変化させることで、重さ感を知覚させることができることが分かる。
　［その他の変形例］
　第１から第３実施形態では、身体部位の動作に基づく操作を表す操作情報と、操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、操作に応じた変化量で視覚対象の大きさや位相を変化させることで、利用者に重さ感を知覚させる例を示した。しかしながら、本発明がこれに限定されないのは前述した通りである。例えば、視覚対象の形状は、円盤状であってもよいし、楕円状であってもよいし、矩形であってもよいし、その他の多角形であってもよいし、その他の形状であってもよい。視覚対象の視覚的な変化にも限定はない。例えば、視覚対象の大きさの変化の仕方も第１実施形態のものには限定されず、操作に応じた変化量で、視覚対象が変形しながら大きさが変化してもよいし、視覚対象の輝度、色彩、または模様の少なくとも何れかが変化しながら、視覚対象の大きさや形状が変化してもよい。操作に応じた変化量で、視覚対象の大きさや形状が変化しながら、視覚対象が持つ周期的な縞の位相が変化してもよい。視覚対象が非周期的な模様を持つ二次元画像（例えば、ホワイトノイズ画像など）であり、操作に応じた変化量で、その視覚対象の大きさ、形状、模様、輝度、色彩の少なくとも何れかが変化してもよい。また、前述したように、同じ指標ｉに対し、関係ｒ（例えば、ｒ＝Δｃ／Δｍ）が一定であってもよいし、関係ｒ（例えば、ｒ＝Δｃ／Δｍ）がｍの大きさに応じて異なってもよい。また、視覚対象更新部１１６，２１６，３１６が、前述したように、操作量ｍに応じ、擬似触覚の程度を表す指標ｉを切り替え、切り替えた指標ｉに対応する関係ｒを参照し、入力された操作量ｍに対応する変化量ｃを得、得られた変化量で視覚対象１３０を視覚的に変化させてもよい。
　また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
　［ハードウェア構成］
　各実施形態における擬似触覚提示装置１１，２１，３１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。すなわち、各実施形態における擬似触覚提示装置１１，２１，３１は、例えば、それぞれが有する各部を実装するように構成された処理回路（processing circuitry）を有する。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
　図１６は、各実施形態における擬似触覚提示装置１１，２１，３１のハードウェア構成を例示したブロック図である。図１６に例示するように、この例の擬似触覚提示装置１１，２１，３１は、ＣＰＵ（Central Processing Unit）１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ（Random Access Memory）１０ｄ、ＲＯＭ（Read Only Memory）１０ｅ、補助記憶装置１０ｆ及びバス１０ｇを有している。この例のＣＰＵ１０ａは、制御部１０ａａ、演算部１０ａｂ及びレジスタ１０ａｃを有し、レジスタ１０ａｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１０ｂは、データが入力される入力端子、キーボード、マウス、タッチパネル等である。また、出力部１０ｃは、データが出力される出力端子、ディスプレイ、所定のプログラムを読み込んだＣＰＵ１０ａによって制御されるＬＡＮカード等である。また、ＲＡＭ１０ｄは、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等であり、所定のプログラムが格納されるプログラム領域１０ｄａ及び各種データが格納されるデータ領域１０ｄｂを有している。また、補助記憶装置１０ｆは、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、所定のプログラムが格納されるプログラム領域１０ｆａ及び各種データが格納されるデータ領域１０ｆｂを有している。また、バス１０ｇは、ＣＰＵ１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ１０ｄ、ＲＯＭ１０ｅ及び補助記憶装置１０ｆを、情報のやり取りが可能なように接続する。ＣＰＵ１０ａは、読み込まれたＯＳ（Operating System）プログラムに従い、補助記憶装置１０ｆのプログラム領域１０ｆａに格納されているプログラムをＲＡＭ１０ｄのプログラム領域１０ｄａに書き込む。同様にＣＰＵ１０ａは、補助記憶装置１０ｆのデータ領域１０ｆｂに格納されている各種データを、ＲＡＭ１０ｄのデータ領域１０ｄｂに書き込む。そして、このプログラムやデータが書き込まれたＲＡＭ１０ｄ上のアドレスがＣＰＵ１０ａのレジスタ１０ａｃに格納される。ＣＰＵ１０ａの制御部１０ａａは、レジスタ１０ａｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１０ｄ上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１０ａｂに順次実行させ、その演算結果をレジスタ１０ａｃに格納していく。このような構成により、擬似触覚提示装置１１，２１，３１の機能構成が実現される。
　上述のプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
　このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。上述のように、このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１１，２１，３１　擬似触覚提示装置
１１６，２１６，３１６　視覚対象更新部

Claims (8)

  1. 　身体部位の動作に基づく操作を表す操作情報と、前記操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、前記操作に応じた前記変化量で前記視覚対象を視覚的に変化させる視覚対象更新部と、
    　前記視覚的に変化させた前記視覚対象を提示するための情報を出力する出力部と、を有し、
    　前記関係は、少なくとも、提示する擬似触覚の程度に応じて定まる、擬似触覚提示装置。
  2. 　請求項１の擬似触覚提示装置であって、
    　前記視覚対象の視覚的な変化量は、前記視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかの変化量に対応し、
    　前記視覚対象更新部は、前記視覚対象の大きさ、形状、輝度、色彩、または模様の少なくとも何れかを変化させる、擬似触覚提示装置。
  3. 　請求項１または２の擬似触覚提示装置であって、
    　前記関係は、前記操作量の変化に対する前記変化量の変化の比率であり、
    　前記擬似触覚の程度を表す指標が第１指標値である場合の前記比率は第１値であり、
    　前記指標が前記第１指標値と異なる第２指標値である場合の前記比率は、前記第１値と異なる第２値である、擬似触覚提示装置。
  4. 　請求項３の擬似触覚提示装置であって、
    　前記第１指標値が表す前記擬似触覚の程度は、前記第２指標値が表す前記擬似触覚の程度よりも大きく、
    　前記第１値は前記第２値よりも小さい、擬似触覚提示装置。
  5. 　請求項３または４の擬似触覚提示装置であって、
    　前記操作に応じ、前記操作量が第１操作量から第２操作量まで変化し、および／または、前記操作量が前記第２操作量から前記第１操作量まで変化し、
    　前記第１操作量は前記第２操作量と異なり、
    　前記操作量が前記第１操作量であるときの前記比率は第３値であり、
    　前記操作量が前記第２操作量であるときの前記比率は前記第３値と異なる第４値である、擬似触覚提示装置。
  6. 　請求項５の擬似触覚提示装置であって、
    　前記第１操作量は前記第２操作量よりも大きく、
    　前記第３値は前記第４値よりも小さい、または、前記第３値は前記第４値よりも大きい、擬似触覚提示装置。
  7. 　身体部位の動作に基づく操作を表す操作情報と、前記操作に基づく操作量に対する視覚対象の視覚的な変化量の関係を表す情報とに基づいて、前記操作に応じた前記変化量で前記視覚対象を視覚的に変化させる視覚対象更新ステップと、
    　前記視覚的に変化させた前記視覚対象を提示するための情報を出力する出力ステップと、を有し、
    　前記関係は、少なくとも、提示する擬似触覚の程度に応じて定まる、擬似触覚提示方法。
  8. 　請求項１から６の何れかの擬似触覚提示装置としてコンピュータを機能させるためのプログラム。
PCT/JP2021/040589 2021-11-04 2021-11-04 擬似触覚提示装置、擬似触覚提示方法、およびプログラム WO2023079627A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/040589 WO2023079627A1 (ja) 2021-11-04 2021-11-04 擬似触覚提示装置、擬似触覚提示方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/040589 WO2023079627A1 (ja) 2021-11-04 2021-11-04 擬似触覚提示装置、擬似触覚提示方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2023079627A1 true WO2023079627A1 (ja) 2023-05-11

Family

ID=86240804

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040589 WO2023079627A1 (ja) 2021-11-04 2021-11-04 擬似触覚提示装置、擬似触覚提示方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023079627A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111245A1 (ja) * 2007-03-14 2008-09-18 Japan Science And Technology Agency 仮想感覚提示装置
JP2013254398A (ja) * 2012-06-08 2013-12-19 Univ Of Electro-Communications 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008111245A1 (ja) * 2007-03-14 2008-09-18 Japan Science And Technology Agency 仮想感覚提示装置
JP2013254398A (ja) * 2012-06-08 2013-12-19 Univ Of Electro-Communications 携帯端末セット、携帯端末用ジャケット、携帯端末、情報処理システム、およびプログラム

Similar Documents

Publication Publication Date Title
US9665988B2 (en) Systems and methods for data visualization using three-dimensional displays
Montano Murillo et al. Erg-O: Ergonomic optimization of immersive virtual environments
Zaiţi et al. On free-hand TV control: experimental results on user-elicited gestures with Leap Motion
Hancock et al. Shallow-depth 3d interaction: design and evaluation of one-, two-and three-touch techniques
AU2012101951A4 (en) Graphical user interface, computing device, and method for operating the same
Stuerzlinger et al. The value of constraints for 3D user interfaces
Magnenat-Thalmann et al. Haptics in virtual reality and multimedia
Jetter et al. Does (multi-) touch aid users' spatial memory and navigation in'panning'and in'zooming & panning'UIs?
Vetter Technical potentials for the visualization in virtual reality
Stannus et al. Gestural navigation in google earth
US20150169156A1 (en) Method and Mechanism for Human Computer Interaction
Katzakis et al. INSPECT: extending plane-casting for 6-DOF control
Fiorentino et al. Improving bi-manual 3D input in CAD modelling by part rotation optimisation
Nishino et al. An iec-based haptic rendering optimizer
WO2023079627A1 (ja) 擬似触覚提示装置、擬似触覚提示方法、およびプログラム
Cabric et al. Touchglass: Raycasting from a glass surface to point at physical objects in public exhibits
Balzarotti et al. Hpge: an haptic plugin for game engines
JP2000047567A (ja) 物体の接触感シミュレーション装置
Kuckuk et al. Interactive particle dynamics using opencl and kinect
Li et al. The impact of control-display gain in kinesthetic search
Capece et al. A preliminary investigation on a multimodal controller and freehand based interaction in virtual reality
Pramudwiatmoko et al. A high-performance haptic rendering system for virtual reality molecular modeling
Sullivan Graph-based data visualization in virtual reality: a comparison of user experiences
Costes et al. Kinestouch: 3d force-feedback rendering for tactile surfaces
Anua et al. A systematic review of purpose and latency effect in the virtual reality environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21963224

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023557495

Country of ref document: JP