WO2018179826A1 - 視覚触覚統合呈示装置 - Google Patents

視覚触覚統合呈示装置 Download PDF

Info

Publication number
WO2018179826A1
WO2018179826A1 PCT/JP2018/003486 JP2018003486W WO2018179826A1 WO 2018179826 A1 WO2018179826 A1 WO 2018179826A1 JP 2018003486 W JP2018003486 W JP 2018003486W WO 2018179826 A1 WO2018179826 A1 WO 2018179826A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
visual
presentation
presentation device
image
Prior art date
Application number
PCT/JP2018/003486
Other languages
English (en)
French (fr)
Inventor
納谷　昌之
貴洋 佐野
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019508670A priority Critical patent/JP6803971B2/ja
Publication of WO2018179826A1 publication Critical patent/WO2018179826A1/ja
Priority to US16/568,796 priority patent/US10928912B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position

Definitions

  • the present invention relates to an integrated visual and tactile sensation presentation apparatus that presents information that is visually recognized and information that is recognized by tactile sensation, which is one of the skin sensations.
  • Japanese Unexamined Patent Application Publication No. 2016-110383 proposes a haptic transmission device including a visual information display unit that displays visual information and a haptic information presentation unit that presents haptic information.
  • a visual information display unit displays visual information
  • a haptic information presentation unit that presents haptic information.
  • the visual information display unit a shirt that is an object is displayed, and the touch feeling is presented in the tactile information presentation unit.
  • the user can recognize the object visually and feel the tactile sensation.
  • JP 2013-501992 A, JP 2004-145456 A, etc. output image information output means for displaying image information of an object and tactile information by deformation based on information according to the surface state of the object.
  • An information output device including tactile information output means is proposed.
  • Information output devices such as Japanese Patent Application Laid-Open Nos. 2013-501992 and 2004-145456 are configured to accurately identify the shape of unevenness on the surface of an object through visual and tactile senses. Can be offered as.
  • the visual information display unit and the haptic information presentation unit are separately arranged, and the part that is actually touched and the part that displays the image of the object are Since they are different, the visual texture cannot be improved by the cross-modal effect.
  • image information output means and tactile information output means can be stacked so that tactile information can be output overlaid with an image display. It is possible to obtain an effect of feeling the material feeling due to the uneven shape.
  • the tactile information output means cannot be easily replaced.
  • the tactile information that can be presented is limited, and it is difficult to deal with a wide variety of tactile sensations.
  • the image displayed on the image information output means becomes a shadow of the user's own hand. There is a problem that it is difficult to see the image of the part that is actually touched. Furthermore, application to a case where the object is a three-dimensional object is difficult.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an integrated visual and tactile sensation presentation apparatus capable of experiencing a more realistic material feeling or tactile sensation with respect to two-dimensional and three-dimensional objects. .
  • the visual and tactile integrated presentation device of the present invention includes a half mirror, A visual presentation body arranged on the mirror surface side of the half mirror and presenting visual information of the object; A tactile presentation body for presenting tactile information, which is disposed at an optical distance equal to the optical distance between the half mirror and the visual presentation body, facing the visual presentation body across the mirror surface of the half mirror. This is a visual and tactile integrated presentation device.
  • the visual and tactile integrated presentation device of the present invention preferably includes a finger illumination tool that illuminates the finger of the user who is touching the tactile presentation body.
  • the finger illuminator is preferably disposed between the mirror surface and the tactile presentation body, and irradiates illumination light with limited spread to the mirror surface and the tactile presentation body between the mirror surface and the tactile presentation body. .
  • the finger illumination tool emits illumination light from two different directions.
  • the wavelength of the irradiation light of the finger illuminator is a single color.
  • the visual presenter may be an image carrier that displays an image of the object, or may be an object itself made of a three-dimensional object.
  • the “virtual image of the object” means a virtual image of the image of the object.
  • the image displayed by the image carrier may be a still image or a moving image. Further, it may be an image displayed on a display or the like, or may be an image drawn on paper or the like.
  • the optical distance between the mirror surface and the visual presenter is the optical distance from the image display surface to the mirror surface when the visual presenter is an image carrier, and when the visual presenter is a three-dimensional object, This is the optical distance from the point closest to the mirror surface of the visual presenter to the mirror surface.
  • the tactile presentation body may be a planar body or a three-dimensional object having a texture structure on the surface.
  • the optical distance between the mirror surface and the tactile presentation body is the optical distance from the mirror surface to the surface of the tactile presentation body when the tactile presentation body is a plane body, and when the tactile presentation body is a three-dimensional object, This is the optical distance from the point closest to the mirror surface to the mirror surface of the tactile presentation body.
  • the tactile presentation body may include an artificial skin sense presentation device.
  • Skin sensation is a general term for sensations based on receptors in skin, and includes touch, pressure, warm, cold, and pain.
  • the artificial skin sensation presentation device is a device that artificially generates static electricity, energization, vibration, ultrasonic waves, temperature changes and the like that stimulate the skin sensation.
  • the integrated visual and tactile sensation presentation apparatus of the present invention includes a display as a visual presentation body, is connected to the display and the artificial skin sensation presentation device, and skin sensation by the artificial skin sensation presentation device in conjunction with a change in an image displayed on the display It is preferable to include an information processing unit that changes the presentation state.
  • the integrated visual and tactile sensation presentation apparatus of the present invention includes a sensor that detects a position of a user's finger, and an information processing unit controls a skin sensation presentation state by an artificial skin sensation presentation device based on position information acquired by the sensor. It is preferable that it is comprised.
  • the visual and tactile integrated presentation device of the present invention may include an information terminal as a visual presenter.
  • the visual and tactile integrated presentation device of the present invention includes a half mirror, a visual presentation body that is arranged on the mirror surface side of the half mirror and presents visual information of an object, and a visual presentation body sandwiching the mirror surface of the half mirror And a tactile presentation body that presents tactile information that is disposed at an optical distance equal to the optical distance between the half mirror and the visual presentation body.
  • FIG. 1st Embodiment of this invention It is a perspective view which shows schematic structure of the visual tactile integrated presentation apparatus of the 1st Embodiment of this invention. It is a side view which shows the principal part positional relationship of the visual tactile integrated presentation apparatus shown in FIG. It is a perspective view which shows schematic structure of the visual tactile integrated presentation apparatus of the 2nd Embodiment of this invention. It is a side view which shows the principal part positional relationship of the visual tactile integrated presentation apparatus shown in FIG. It is a side view which shows schematic structure of the visual tactile integrated presentation apparatus of the 3rd Embodiment of this invention. It is a block diagram which shows the control structure by the information processing part of the visual tactile integrated presentation apparatus of 3rd Embodiment.
  • FIG. 1 is a perspective view of a schematic configuration of an integrated visual and tactile sensation presentation apparatus according to an embodiment of the present invention.
  • FIG. 2 is a side view illustrating a positional relationship between main parts of the integrated visual and haptic presentation apparatus 1 according to the present embodiment.
  • the visual and tactile integrated presentation device 1 (hereinafter, simply referred to as “integrated presentation device 1”) of the present embodiment includes a half mirror 20 and the mirror surface 22 side of the half mirror 20. And a tactile sensation providing unit 50 that is positioned optically symmetrically with the mirror surface 22 of the half mirror 20 interposed therebetween.
  • a visual presentation body 30 that presents visual information of an object is arranged.
  • the tactile presentation unit 50 includes the tactile presentation body 10 disposed at an optical distance equal to that of the visual presentation body 30 with the mirror surface interposed therebetween, and the integrated presentation apparatus 1 converts the virtual image of the object into the tactile presentation body. 10 is displayed so as to match.
  • the mirror surface 22 is a surface that reflects a part of incident light and transmits a part thereof.
  • the visual presentation unit 40 is a part for arranging the visual presentation body 30 in the integrated presentation device 1.
  • the tactile presentation unit 50 is for arranging the tactile presentation body 10 in the integrated presentation device 1. It is a part.
  • the visual presentation unit 40 includes a support plate 41 on which the visual presentation body 30 is placed, and the user can place any visual presentation body on the support plate 41 during use. .
  • the integrated presentation device 1 includes a support base 5 on which the tactile presentation body 10 is placed, and a support shaft 6 that supports the half mirror 20 and the support plate 41 at predetermined positions on the support base 5.
  • the half mirror 20 and the support plate 41 are preferably configured to be movable up and down along the support shaft 6.
  • the visual presentation object may be an image carrier that presents visual information of the object by displaying an image of the object, or may be an object itself that is a three-dimensional object.
  • the image carrier is not particularly limited as long as it displays an image on its image display surface.
  • the image carrier may be a paper medium such as a sheet on which an image is drawn, or displays an image. It may be a display.
  • a flat panel display is suitable as the display.
  • the display may be connected to a separate computer main body wirelessly or by wire to display an image received from the computer, or may be a display of a portable information terminal such as a tablet computer or a smartphone. .
  • the tactile sensation presentation body may be a flat body or a three-dimensional object.
  • the material of the surface is not particularly limited, and metal, wood, plastic, cloth, rubber, or the like can be used depending on the tactile sensation to be presented.
  • the surface may have a texture structure.
  • the planar body refers to a sheet-like or thin plate-like member. It should be noted that a plurality of tactile presenters that present different tactile information are prepared, and the user appropriately selects and arranges the tactile presenter on the tactile presenter according to the object on which the visual information is presented by the visual presenter. It may be.
  • the visual presentation body 30 is an image carrier that displays a two-dimensional image of an object.
  • the visual presentation body 30 is referred to as the image carrier 30.
  • the image carrier 30 has an image display surface 32 for displaying an image, and the image display surface 32 is disposed on the support plate 41 side.
  • the support plate 41 has transparency that allows an image displayed on the image display surface 32 to be projected on the mirror surface 22, and is preferably a transparent substrate transparent to visible light, such as glass or acrylic. Since the reflectance of the surface of the glass or acrylic plate is about 4% and the brightness of the image display surface is reduced by passing through the plate, both surfaces 42 and 44 (see FIG. 2) of the support plate 41 are subjected to antireflection treatment. Is preferably applied.
  • the reflectance with respect to visible light (380 to 780 nm) of both surfaces 42 and 44 of the support plate 41 is preferably less than 1%, for example.
  • the tactile sensation presentation body 10 is, for example, a sheet made of a rubber material.
  • a plurality of sheets having different tactile sensations such as a plastic sheet 10A, a stainless steel plate 10B, a cork plate 10C,.
  • the mirror surface 22 of the half mirror 20 is on the surface on the image carrier 30 side, and the surface 12, the mirror surface 22, and the image display surface 32 of the tactile sensation presentation body 10 are the image display surface 32, the mirror surface 22, and the like.
  • the optical distance h 1 is equal to the optical distance h 2 between the mirror surface 22 and the surface 12 of the tactile presentation body 10. That is, an optical distance h 1 from an arbitrary point O on the mirror surface 22 to an intersection A with the image display surface 32 of a perpendicular line passing through the arbitrary point O and perpendicular to the mirror surface 22 and the tactile sensation of the same perpendicular line. an optical distance h 2 to the intersection B with the surface 12 of the body 10 are equal.
  • the optical distance h 1 between the image display surface 32 and the mirror surface 22 is the product n 1 ⁇ d 1 of the thickness d 1 of the support plate 41 and the refractive index n 1 , the lower surface 44 of the support plate 41 and the mirror.
  • the virtual image of the image displayed on the image display surface 32 of the image carrier 30 coincides with the position where the tactile presentation body 10 is arranged. Is displayed.
  • being displayed in agreement means that the image plane of the virtual image is located on the surface 12 of the tactile sense presentation body 10.
  • the surface 12 of the tactile sensation presentation body 10 is a surface that the user touches and feels tactile.
  • the image carrier 30 needs to display a mirror image of the object on the image display surface 32 as visual information.
  • the brightness of the image display surface 32 of the image carrier 30 is adjusted so that the surface of the tactile sensation presentation body 10 itself is not visually recognized by the brightness of the mirror image (virtual image) reflected by the half mirror 20. It is preferable to do.
  • the position of the eyes when the user views the tactile sensation presentation body 10 from the mirror surface side of the half mirror 20 is referred to as an observation unit 60.
  • the user touches the surface 12 of the tactile presentation body 10 with a finger (hand) 75 while observing the virtual image of the image (object image) displayed on the image carrier 30 on the surface 12 of the tactile presentation body 10.
  • the visual and tactile interaction complements the visual information with the tactile information, allowing the user to recognize the object more realistically than the visual only, and the tactile information is supplemented with the visual information.
  • the user can experience a more realistic tactile sensation than in the case of only tactile sensation.
  • the stainless steel plate 10B is placed on the tactile sense presentation unit 50. If the object is a plastic image, the plastic sheet 10A is placed on the tactile sense presentation unit 50. The user can experience a more realistic material feeling by matching the texture obtained visually from the image and the texture obtained tactilely from the tactile presentation body 10.
  • the half mirror 20 includes a mirror surface 22 and a surface 24 that faces the mirror surface 22, and the surface 24 that faces the mirror surface 22 is a member arranged in parallel to each other.
  • the half mirror 20 only needs to reflect at least a part of the light incident on the mirror surface 22 and transmit a part of the light.
  • the reflectivity of the mirror surface 22 depends on the configuration of the optical system in the integrated presentation device 1. May be appropriately determined in the range of 1% to 99%, but is more preferably in the range of 4% to 85%.
  • the surface 24 facing the mirror surface 22 of the half mirror 20 is preferably an antireflection surface.
  • the reflectance of the antireflection surface may be a reflectance that is such that the image reflected by the surface 24 facing the mirror surface viewed from the observation unit does not appear double in the image reflected by the mirror surface 22,
  • the reflectance of the mirror surface 22 is less than 0.1 times.
  • the antireflection surface preferably has a reflectance with respect to light in the visible range of less than 1%, more preferably 0.5% or less.
  • Such an antireflection surface having a reflectance of less than 1% can be obtained by a known antireflection treatment such as formation of a dielectric multilayer film or formation of a fine relief structure layer.
  • the reflectivity at the mirror surface 22 and the reflectivity at the surface 24 facing the mirror surface are not necessarily uniform over the entire surface.
  • the half mirror 20 is provided with the mirror surface 22 on the visual presentation unit 40 side, but the mirror surface 22 may be provided on the tactile presentation unit 50 side. In this case as well, the optical distance between them may be adjusted so that the virtual image of the image presented by the visual presentation body 30 matches the tactile presentation body 10.
  • “equal optical distances” do not necessarily need to be exactly the same, and when the user touches the tactile presentation body, the surface touched by the user (the surface of the tactile presentation body) The position of the virtual image visually recognized by the user only needs to be matched to the extent that no deviation is felt. Therefore, if the mirror images are displayed on the tactile sensation presentation body 10 without a sense of incongruity, the optical distance between the image display surface 32 and the mirror surface 22 described above, and the optical distance between the surface 12 of the tactile presentation body 10 and the mirror surface 22 are displayed. You can consider that the distances are equal.
  • the degree of freedom of the tactile sensation presentation body is high, and it is possible to deal with various objects. Moreover, since what is displayed on the tactile sensation body is a virtual image, it is not possible to cast shadows with the fingers of the user, and the user can obtain a high sense of realism.
  • the integrated presentation device 1 of the present embodiment includes a finger illumination tool 70 that illuminates the user's finger 75 in contact with the tactile sense presentation body 10.
  • the virtual image displayed on the tactile sensation presentation body 10 is not shadowed by the user's fingers.
  • a virtual image may partially overlap the user's finger and a part of the virtual image may be displayed on the user's finger.
  • the finger illumination tool 70 By illuminating the finger with sufficiently high luminance compared to the luminance of the virtual image displayed on the user's finger by the finger illumination tool 70, the virtual image displayed on the finger can be made invisible to the user. This is because the brightness of the virtual image is relatively lowered due to the finger being illuminated and brightened, and is not recognized by the human eye. In this way, the finger illumination tool 70 is provided to illuminate the finger, the virtual image displayed on the finger is not visible, and the user's own finger is visually recognized, thereby further increasing the sense of touching the tactile sensation presentation body 10. A feeling improves.
  • the finger illuminator 70 is preferably an illuminator configured to illuminate the user's finger 75 without illuminating the mirror surface 22 and the tactile sense presentation body 10.
  • “without illuminating the mirror surface 22 and the tactile sensation presentation body 10” means that the chief ray of the illumination light is not incident on the mirror surface and the tactile presentation body 10 and is within a range that does not affect the above effect. This does not exclude the case where a part of the illumination light is incident on the mirror surface 22 or the tactile presentation body 10.
  • the finger illumination tool 70 in the present embodiment is disposed between the mirror surface 22 and the tactile presentation body 10 in the height direction of the integrated presentation device 1, and between the mirror surface 22 and the tactile presentation body 10, Irradiate light with a limited spread to the 22 side and the tactile sense presentation body 10 side.
  • the light 72 traveling substantially parallel to the support base 5 is irradiated.
  • the finger illumination tool 70 only needs to be able to illuminate the user's finger, and is preferably provided so as to illuminate the finger from the front of the user or illuminate the finger from the side. As shown in FIG. 1, you may each install in two different directions (front and side).
  • the emitted light 72 from the finger illuminator 70 is preferably sheet-like light parallel to the support base 5, and such sheet-like light can be realized by combining an LED light source and a cylindrical lens. .
  • the light emitted from the LED light source can be irradiated as light spreading in a sheet shape substantially parallel to the support base 5 by the action of the cylindrical lens.
  • the light source provided in the finger illumination tool 70 may be a white light source, but is preferably monochromatic.
  • a red or green light source is preferable.
  • a red LED having a peak wavelength of more than 650 nm to 700 nm or a green LED having a peak wavelength of 500 nm to 650 nm can be used. This is because the fingers illuminated in red or green can clearly show the fingers without causing an unpleasant sensation to the user.
  • FIG. 3 is a perspective view showing a schematic configuration of the integrated presentation device 2 according to the second embodiment
  • FIG. 4 is a side view thereof.
  • the same components as those in the integrated presentation device 1 of the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted. The same applies to the following drawings.
  • the integrated presentation device 2 according to the second embodiment further includes an illumination unit 80 that irradiates the visual presentation unit 40 with illumination light in the integrated presentation device 1 according to the first embodiment.
  • the visual presenter is an image carrier such as paper with an image of the object on the surface, or the object itself, the image is displayed by irradiating the visual presenter with illumination light. It can be reflected brightly on the mirror surface 22.
  • the visual presentation unit 40 is configured to be irradiated with illumination light from above, but the visual presentation unit 40 may be configured to be irradiated with illumination light from below.
  • the illumination unit 80 can be configured by a fluorescent lamp, a white LED, or the like.
  • positioned at the visual presentation part 40 is the target object 35 itself, and the tactile presentation body 15 arrange
  • the object 35 disposed on the support plate 41 is a three-dimensional object having an L-shaped cross section.
  • the tactile sensation presentation body 15 presented in the tactile sensation presentation unit 50 is a three-dimensional object having a rectangular parallelepiped shape.
  • both the object (visual presentation body) 35 and the tactile presentation body 15 are three-dimensional objects, here, the optical distance from the point closest to the mirror surface 22 of the visual presentation body 35 to the mirror surface 22 and the tactile presentation.
  • the positions of the support plate 41 and the half mirror 20 are adjusted so that the optical distances from the point closest to the mirror surface 22 of the body 15 to the mirror surface 22 are equal.
  • the point closest to the mirror surface 22 of the object 35 is on the upper surface 42 of the support plate 41
  • the point closest to the mirror surface 22 of the haptic presentation body 15 is on the surface 17 of the haptic presentation body 15.
  • the visual presenting object is the object 35 itself that is a three-dimensional object
  • the virtual image of the object 35 visually recognized from the lower surface 44 of the support plate 41 in the observation unit 60 is arranged on the tactile presenting object 15. Observed consistent with position. That is, the present integrated presentation device 2 displays the virtual image of the visual presentation body 35 in a manner consistent with the tactile presentation body 15.
  • the user touches the surface 17 of the tactile presentation body 15 with a finger (a finger of the hand) and the tactile sensation of the surface 17 of the tactile presentation body 15 with this device 2.
  • a finger a finger of the hand
  • the tactile sensation of the surface 17 of the tactile presentation body 15 with this device 2.
  • FIG. 5 is a side view showing a schematic configuration of the visual and tactile integrated presentation device 3 according to the third embodiment of the present invention.
  • the configuration including the support base 5 that supports the tactile presentation body 10 has been described.
  • the visual and tactile integrated presentation device 3 according to the present embodiment is described below.
  • the support 5 is not provided. Instead of having a support base 5, a vise fixing part 8 for installation on an existing desk is provided at the bottom of the support shaft 6, and the top plate 7 of the existing desk is sandwiched and fixed by a vise.
  • the presentation device 3 can be installed and used.
  • an image carrier Is provided with an image carrier holder 45 that holds a flat panel display 31 (hereinafter referred to as a display 31) that is one form of the image display surface 32 so that the image display surface 32 directly faces the half mirror 20.
  • the image carrier holder 45 has an opening on at least one side, and the display 31 is slid into the opening to support at least two opposite ends from the lower surface.
  • the image carrier holder may be a frame member that supports at least two opposite ends of the image carrier from the lower surface.
  • the mirror surface 22 and the image are set so that the optical distance h 31 between the image display surface 32 and the mirror surface 22 is equal to the optical distance h 32 between the mirror surface 22 and the surface 17 of the tactile presentation body 15. The position of the display surface 32 is adjusted.
  • the optical distance h 32 with respect to the surface 17 of 15 is the product n 2 ⁇ d 2 of the thickness d 2 of the half mirror 20 and the refractive index n 2 , the surface 24 facing the mirror surface 22, and the surface 17 of the tactile sense presentation body 15.
  • the image is displayed on the image display surface 32 of the image carrier 30 from the observation unit.
  • a mirror image (virtual image) of the obtained image is observed in conformity with the surface of the tactile sense presentation body 10.
  • the integrated presentation device 3 further includes a position detection sensor 90 that detects the position of the user's finger.
  • the tactile sensation presentation body 10 includes an artificial skin sensation presentation device 18. Furthermore, the information processing part 100 connected to the display 31, the position detection sensor 90, and the tactile sense presentation body 10 is provided.
  • the position detection sensor 90 a known motion capture device can be used as appropriate.
  • the artificial skin sensation presentation device 18 is a device that generates a signal that stimulates at least one of a sense based on a receptor in human skin, specifically, tactile sensation, pressure sensation, warm sensation, cold sensation, and pain sensation. .
  • a signal that stimulates at least one of a sense based on a receptor in human skin, specifically, tactile sensation, pressure sensation, warm sensation, cold sensation, and pain sensation.
  • static electricity, energization, vibration, ultrasonic waves, temperature change, and the like on the portion of the surface 17 of the tactile presentation body 10 that the user touches, the skin sensation is stimulated to make the user feel the object more realistically. It becomes possible.
  • the artificial skin sensation presentation device 18 includes a heater or cooler that generates a temperature change, a piezoelectric element that generates vibration, an electrostatic element, and an ultrasonic generation element that generates ultrasonic waves. Provide one or more.
  • a further artificial skin sensation presentation device disposed outside the haptic presentation body 10 is provided. It may be.
  • a blower that blows warm air, cold air, or the like on the user's finger located in the tactile sense presenting unit 50, an ultrasonic transducer array that directly vibrates and touches the surface of the user's finger, and the like.
  • the information processing unit 100 is a control device that controls the image display displayed on the display 31 and the tactile information presented by the artificial skin sensation presentation device 18 so as to generate an optimum tactile sensation according to the image (see FIG. 6).
  • the information processing unit 100 is mounted on a computer having a known hardware configuration such as a central processing unit (CPU), a main storage device, an auxiliary storage device, an input / output interface, and a communication interface.
  • a predetermined program for controlling the display 31 and the artificial skin sensation presentation device 18 in conjunction with each other is installed in the computer. By executing this program, control for interlocking image display with tactile information is realized.
  • the information processing unit 100 may be mounted on a portable information terminal such as a tablet computer provided with the display 31.
  • the object is a vibrating body
  • the diaphragm is provided as the artificial skin sensation presentation device 18
  • an image of the vibrating body (moving body moving image) is displayed on the display 31 under the control of the information processing unit 100.
  • the vibration plate can be vibrated to vibrate the surface of the tactile sense presentation body 10. Thereby, the illusion of touching the vibrating body can be given to the user who touches the tactile sense presentation body 10.
  • a topology display unit described in Japanese Patent Application Laid-Open No. 2013-501992, or a tactile information output unit described in Japanese Patent Application Laid-Open No. 2004-145456 may be applied.
  • a horizontal vibration array, a vertical vibration array, an uneven rotator, an ultrasonic vibrator, a heater, a Peltier element (cooling element), an electrode array, or the like can also be applied. If these are applied, the surface shape of the tactile sense presentation body 10 can be changed according to the object.
  • the information processing unit 100 controls one or both of the image display on the display 31 and the skin sensation presentation state by the artificial skin sensation presentation device 18 according to the position information of the user's finger detected by the position detection sensor 90. .
  • the user can experience a more realistic presence.
  • a speaker may be provided, or sound may be generated in conjunction with image display.
  • a speaker a speaker built in a tablet computer or a smartphone which is a form of a visual presenter may be used.
  • auditory information By presenting auditory information in conjunction with visual information and tactile information, visual, tactile and auditory senses are stimulated simultaneously, and a high sense of realism can be given to the user by a cross-modal effect.
  • FIG. 7 is a schematic diagram showing another example of the arrangement of the image display surface, the mirror surface, and the surface of the tactile presentation body in the visual and tactile integrated presentation device of the present invention.
  • the image display surface 32 and the surface 12 of the tactile sense presentation body 10 are arranged optically symmetrically with respect to the mirror surface 22.
  • the optical distances between the corresponding positions of the image display surface 32 and the surface 12 of the tactile sensation presentation body 10 with respect to the mirror surface 22 are arranged to be equal.
  • the position of the surface 12 of the tactile sensation body corresponding to the predetermined position on the image display surface 32 is a point A 1 where one perpendicular line K 1 perpendicular to an arbitrary point O 1 on the mirror surface 22 intersects the image display surface 32.
  • the perpendicular line K 1 is a position B 1 where the surface 12 of the tactile sensation presentation body 10 intersects.
  • the position of the surface 12 of the haptic presentation body 10 corresponding to the point A 2 where the perpendicular K 2 perpendicular to the other arbitrary point O 2 of the mirror surface 22 intersects the image display surface 32 is the vertical line K 2 of the haptic presentation body 10. This is a point B 2 that intersects the surface 12.
  • the three extension lines constitute two equal sides 61 and 62 of an isosceles triangle having the point P as a vertex and a middle line 63 that equally divides the angle formed by the two sides 61 and 62.
  • the virtual image of the image displayed on the image display surface 32 of the visual presentation body 30 from the observation unit 60 appears to coincide with the position of the surface 12 of the tactile presentation body 10, and the first to third The same effect as the integrated presentation device of the embodiment can be obtained.
  • the visual and tactile integrated presentation device of the present invention can be applied to a system capable of communicating with a remote place by connecting to the Internet as shown in FIG.
  • the visual and tactile integrated presentation device 1 may include the information terminal 38 as a visual presenter, and the information terminal 38 may constitute a system 101 capable of communication via the Internet.
  • the information terminal 38 is arrange
  • the information terminal 38 can be connected to the Internet by the wireless or wired communication function to receive image information, audio information, and the like from other information terminals 39 on the Internet.
  • the user can actually see the object existing in the remote place. You can feel as if you are touching.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

二次元および三次元の対象物について、よりリアルな物質感、あるいは触感が体感可能な視覚触覚統合呈示装置を提供する。　視覚触覚統合呈示装置（１）は、ハーフミラー（２０）と、ハーフミラー（２０）のミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体（３０）と、ハーフミラー（２０）のミラー面（２２）を挟んで、視覚呈示体（３０）と対向して、ハーフミラー（２０）と視覚呈示体（３０）との間の光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体（１０）とを備える。

Description

視覚触覚統合呈示装置
　本発明は、視覚で認識される情報と、皮膚感覚の１つである触覚で認識される情報とを統合して呈示する視覚触覚統合呈示装置に関する。
　視覚で認識される二次元もしくは三次元の画像を表示する表示装置は従来からよく知られている。他方、このような画像と連動させて凹凸情報などの触覚情報を出力する装置が近年提案されている（特開２０１６－１１０３８３号公報、特開２０１３－５０１９９２号公報および特開２００４－１４５４５６号公報など）。
　また、最近、人間の有する感覚のうちの１つの感覚による情報から他の感覚による情報を補完し、対象物を認知、解釈する感覚間相互作用（クロスモダリティ）についての研究が多くなされている。そして、人間の感覚が持つクロスモーダルな特性をインターフェース応用する技術が検討されている。
　特開２０１６－１１０３８３号公報には、視覚情報を表示する視覚情報表示部と触覚情報を呈示する触覚情報呈示部とを備えた触覚伝達装置が提案されている。視覚情報表示部において、対象物であるシャツを表示させ、その手触り感を触覚情報呈示部で呈示する。これにより、ユーザは対象物を視覚により認識すると共にその触感を体感することができる。
　特開２０１３－５０１９９２号公報、特開２００４－１４５４５６号公報等には、対象物の画像情報を表示する画像情報出力手段と、対象物の表面状態に応じた情報に基づく変形により触覚情報を出力する触覚情報出力手段とを備えた情報出力装置が提案されている。特開２０１３－５０１９９２号公報、特開２００４－１４５４５６号公報等の情報出力装置は、物体表面の凹凸の形状を視覚と触覚を通じて正確に識別できるように構成されており、物体の材質感を情報として提供することができる。
　しかしながら、特開２０１６－１１０３８３号公報の触覚伝達装置では、視覚情報表示部と触覚情報呈示部とが個別に配置されており、実際に触っている部分と対象物の画像を表示する部分とは異なるため、クロスモーダル効果による視覚的な質感の向上は得られない。
　一方、特開２０１３－５０１９９２号公報および特開２００４－１４５４５６号公報では、画像情報出力手段と触覚情報出力手段とを積層して、画像表示と重ねて触覚情報を出力することができるため、物体の凹凸形状による材質感をよりリアルに感じる効果を得ることができる。しかしながら、画像情報出力手段と触覚情報出力手段とが積層されて構成されるものであるため、触覚情報出力手段を簡単に差し換えることはできない。すなわち、呈示できる触覚情報が制限され、多種多様な触感に対応させるのは困難である。また、画像情報出力手段に表示される画像がユーザ自身の手の影になってしまい。実際に触っている箇所の画像が見えづらくなるという不具合がある。さらに、対象物が三次元物体である場合への応用は難しい。
　本発明は、上記事情に鑑みてなされたものであり、二次元および三次元の対象物について、よりリアルな物質感、あるいは触感が体感可能な視覚触覚統合呈示装置を提供することを目的とする。
　本発明の視覚触覚統合呈示装置は、ハーフミラーと、
　ハーフミラーのミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体と、
　ハーフミラーのミラー面を挟んで、視覚呈示体と対向して、ハーフミラーと視覚呈示体との間の光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体とを備えた視覚触覚統合呈示装置である。
　本発明の視覚触覚統合呈示装置は、触覚呈示体を触っているユーザの手指を照明する手指照明具を備えていることが好ましい。
　上記手指照明具は、ミラー面と触覚呈示体との間に配置された、ミラー面および触覚呈示体の間にミラー面および触覚呈示体側への広がりが制限された照明光を照射することが好ましい。
　また、上記手指照明具は、異なる２方向から照明光を照射することが好ましい。
　手指照明具の照射光の波長は単色とすることが好ましい。
　本発明の視覚触覚統合呈示装置において、視覚呈示体は、対象物の画像を表示する画像担持体であってもよいし、三次元物体からなる対象物そのものであってもよい。視覚呈示体が画像担持体である場合、「対象物の虚像」とは、対象物の画像の虚像を意味する。なお、画像担持体によって表示される画像は、静止画であっても動画であってもよい。また、ディスプレイ等に表示された画像であってもよいし、紙などに描かれた画像であってもよい。
　なお、ミラー面と視覚呈示体との光学距離は、視覚呈示体が画像担持体である場合、その画像表示面からミラー面までの光学距離であり、視覚呈示体が三次元物体である場合、その視覚呈示体の最もミラー面側の点からミラー面までの光学距離である。
　本発明の視覚触覚統合呈示装置において、触覚呈示体は、表面にテクスチャ構造を有する平面体もしくは三次元物体であってもよい。
　なお、ミラー面と触覚呈示体との光学距離は、触覚呈示体が平面体である場合、ミラー面から触覚呈示体の面までの光学距離であり、触覚呈示体が三次元物体である場合、その触覚呈示体の最もミラー面側の点からミラー面までの光学距離である。
　本発明の視覚触覚統合呈示装置は、触覚呈示体が、人工皮膚感覚呈示デバイスを備えていてもよい。
　皮膚感覚とは、皮膚にある受容器に基づく感覚の総称であり、触覚、圧覚、温覚、冷覚、痛覚を含む。人工皮膚感覚呈示デバイスとは、皮膚感覚を刺激する静電気、通電、振動、超音波、温度変化などを人工的に生じさせるデバイスである。
　本発明の視覚触覚統合呈示装置は、視覚呈示体としてディスプレイを備え、ディスプレイと人工皮膚感覚呈示デバイスとに接続され、ディスプレイに表示される画像の変化に連動して人工皮膚感覚呈示デバイスによる皮膚感覚呈示状態を変化させる情報処理部を備えていることが好ましい。
　本発明の視覚触覚統合呈示装置は、ユーザの手指の位置を検知するセンサを備え、情報処理部が、センサにより取得された位置情報に基づいて、人工皮膚感覚呈示デバイスによる皮膚感覚呈示状態を制御するように構成されていることが好ましい。
　本発明の上記視覚触覚統合呈示装置は、視覚呈示体として情報端末を備えてもよい。
　本発明の視覚触覚統合呈示装置は、ハーフミラーと、ハーフミラーのミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体と、ハーフミラーのミラー面を挟んで、視覚呈示体と対向して、ハーフミラーと視覚呈示体との光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体とを備えている。係る構成により、対象物の虚像を、触覚呈示体に一致させて表示することができるので、ユーザは対象物の虚像が表示された触覚呈示体を触りながら、虚像を視覚的に認識するため、視覚と触覚が同時に刺激されて、クロスモーダル効果を得て、対象物の質感をよりリアルに体感することができる。
本発明の第１の実施形態の視覚触覚統合呈示装置の概略構成を示す斜視図である。 図１に示す視覚触覚統合呈示装置の要部位置関係を示す側面図である。 本発明の第２の実施形態の視覚触覚統合呈示装置の概略構成を示す斜視図である。 図３に示す視覚触覚統合呈示装置の要部位置関係を示す側面図である、 本発明の第３の実施形態の視覚触覚統合呈示装置の概略構成を示す側面図である。 第３の実施形態の視覚触覚統合呈示装置の情報処理部による制御構成を示すブロック図である。 本発明の視覚触覚統合呈示装置における画像表示面、ミラー面および触覚呈示体の表面の配置の他の例を示す模式図である。 本発明の視覚触覚統合呈示装置を備えたインターネット通信可能なシステムを示す図である。
　以下、本発明の実施の形態について図面を参照して説明する。
　図１は、本発明の実施形態の視覚触覚統合呈示装置の概略構成を斜視図であり、図２は、本実施形態の視覚触覚統合呈示装置１の要部位置関係を示す側面図である。
　図１、図２に示すように、本実施形態の視覚触覚統合呈示装置１（以下において、単に「統合呈示装置１」とする。）は、ハーフミラー２０と、ハーフミラー２０のミラー面２２側に設けられた視覚呈示部４０と、ハーフミラー２０のミラー面２２を挟んで、光学的に対称に位置する触覚呈示部５０とを備えている。視覚呈示部４０には、対象物の視覚情報を呈示する視覚呈示体３０が配置されている。そして、触覚呈示部５０には、ミラー面を挟んで視覚呈示体３０と等しい光学距離に配置された触覚呈示体１０が備えられており、統合呈示装置１は対象物の虚像を、触覚呈示体１０に一致させて表示するように構成されている。ここで、ミラー面２２は、入射された光の一部を反射し、一部を透過する面である。
　ここで、視覚呈示部４０は、統合呈示装置１における視覚呈示体３０を配置するための部位であり、同様に、触覚呈示部５０は、統合呈示装置１において触覚呈示体１０を配置するための部位である。
　本実施形態において、視覚呈示部４０には、視覚呈示体３０が載置される支持板４１が備えられており、使用時にユーザが任意の視覚呈示体を支持板４１に載置することができる。
　統合呈示装置１は、触覚呈示体１０が載置される支持台５とその支持台５上にハーフミラー２０および支持板４１を所定の位置に支持する支持軸６を備えている。ハーフミラー２０と支持板４１は支持軸６に沿って上下に移動可能に構成されていることが好ましい。
　本発明において、視覚呈示体は、対象物の画像を表示することにより対象物の視覚情報を呈示する画像担持体であってもよいし、三次元物体である対象物そのものであってもよい。画像担持体は、その画像表示面に画像を表示するものであれば、特に制限はないが、例えば、一面に画像が描かれたシートなどの紙媒体であってもよいし、画像を表示するディスプレイであってもよい。ディスプレイとしてはフラットパネルディスプレイが適する。ディスプレイは、別体のコンピュータ本体に無線もしくは有線で接続され、コンピュータから受信した画像を表示するものであってもよいし、タブレット型コンピュータあるいはスマートフォンなどの携帯型情報端末のディスプレイであってもよい。
　本発明において、触覚呈示体は平面体であってもよいし、三次元物体であってもよい。表面の材質には、特に制限はなく、呈示させたい触覚に応じて、金属、木、プラスチック、布あるいはゴムなどを用いることができる。また、表面にテクスチャ構造を有していてもよい。ここで、平面体とは、シート状あるいは薄い板状の部材をいうものとする。なお、互いに異なる触覚情報を呈示する複数の触覚呈示体を用意しておき、視覚呈示体によりその視覚情報が呈示される対象物に応じて、ユーザが触覚呈示部に適宜選択して配置するようにしてもよい。
　本実施形態において、視覚呈示体３０は、対象物の二次元画像を表示する画像担持体であり、以下の本実施形態の説明においては、視覚呈示体３０を画像担持体３０と言い換える。画像担持体３０は、画像を表示する画像表示面３２を有し、その画像表示面３２が支持板４１側となるように配置されている。支持板４１は画像表示面３２に表示される画像をミラー面２２に映すことができる透明度を有するものであり、ガラスやアクリル等の可視光に透明な透明基板であることが好ましい。ガラスやアクリル板の表面の反射率は４％程度あり、画像表示面の明るさが板を介することにより低減されてしまうため、支持板４１の両面４２、４４（図２参照）は反射防止処理が施されていることが好ましい。支持板４１の両面４２、４４の可視光（３８０～７８０ｎｍ）に対する反射率は、例えば１％未満であることが好ましい。
　触覚呈示体１０は、例えば、ゴム素材からなるシートである。また、支持台５上に備えられている以外に、プラスチックシート１０Ａ、ステンレス板１０Ｂ、コルク板１０Ｃ…など触感の異なる複数のシートを備えている。
　本実施形態においてハーフミラー２０のミラー面２２は、画像担持体３０側の面にあり、触覚呈示体１０の表面１２、ミラー面２２および画像表示面３２は、画像表示面３２とミラー面２２との光学距離ｈ１と、ミラー面２２と触覚呈示体１０の表面１２との光学距離ｈ２とが等しくなるように位置される。すなわち、ミラー面２２の任意の点Ｏから、この任意の点Ｏを通ってミラー面２２と垂直に交わる垂線の画像表示面３２との交点Ａまでの光学距離ｈ１と、同一垂線の触覚呈示体１０の表面１２との交点Ｂまでの光学距離ｈ２とが等しい。
　本例において、画像表示面３２とミラー面２２との光学距離ｈ１は、支持板４１の厚みｄ１と屈折率ｎ１との積ｎ１・ｄ１と、支持板４１の下面４４とミラー面２２との距離Ｌ１との和すなわち、ｈ１＝ｎ１・ｄ１＋Ｌ１で表される。また、ミラー面２２と触覚呈示体１０の表面１２との光学距離ｈ２は、ハーフミラー２０の厚みｄ２と屈折率ｎ２との積ｎ２・ｄ２と、ハーフミラー２０の下面２４と表面１２との距離Ｌ２との和、すなわち、ｈ２＝ｎ２・ｄ２＋Ｌ２で表される。
　上記の光学距離ｈ１とｈ２が等しくなるようにハーフミラー２０の位置および画像表示面３２の位置が調整されることにより、図２に示すように、ユーザがハーフミラー２０の上方（ミラー面２２側）からハーフミラー２０を通して触覚呈示体１０を見たときに、画像担持体３０の画像表示面３２に表示された画像の虚像が、触覚呈示体１０が配置されている位置に一致して表示される。ここで、一致して表示されるとは、虚像の像面が触覚呈示体１０の表面１２に位置していることをいう。なお、この触覚呈示体１０の表面１２は、ユーザが触り、触感を感じる面である。
　このとき、触覚呈示体１０に画像が直接投影されているかのように見えるが、実際には、ユーザは、ミラー面２２で反射された画像の鏡像を見ており、画像担持体３０から触覚呈示体１０に像が直接投影されているわけではない。ユーザは画像表示面３２に表示されている画像の虚像を触覚呈示体１０上に視認していることになる。したがって、画像担持体３０は、対象物の鏡像画像を視覚情報として画像表示面３２に表示する必要がある。
　また、画像担持体３０の画像表示面３２の明るさは、ハーフミラー２０により反射された鏡像（虚像）の明るさによって、触覚呈示体１０自体の表面が視認されない程度の明るさとなるように調整することが好ましい。
　なお、以下において、ユーザがハーフミラー２０のミラー面側から触覚呈示体１０を見る際の目の位置を観察部６０と称する。
　ユーザは、画像担持体３０が表示する画像（対象物の像）の虚像を触覚呈示体１０の表面１２に観察しつつ、その触覚呈示体１０の表面１２を手の指（手指）７５で触ることにより、対象物を実際に触っているような感覚を得ることができる。視覚と触覚による相互作用により、視覚情報が触覚情報により補完され、ユーザは視覚のみの場合と比較して虚像をよりリアルに対象物を認識することができ、また、触覚情報が視覚情報により補完され、ユーザは触覚のみの場合と比較してよりリアルな触感を体感することができる。
　なお、対象物が金属製であれば、触覚呈示部５０にステンレス板１０Ｂを載置し、対象物がプラスチック製画像であれば、触覚呈示部５０にプラスチックシート１０Ａを載置する等、対象物の画像から視覚的に得られる質感と、触覚呈示体１０から触覚的に得られる質感を一致させることにより、ユーザはさらにリアルな物質感を体感することができる。
　ハーフミラー２０は、ミラー面２２とミラー面２２に対向する面２４を備えており、ミラー面２２と対向する面２４が互いに平行に配置された部材である。ハーフミラー２０は、ミラー面２２に入射された光の少なくとも一部を反射し、一部を透過させるものであればよく統合呈示装置１における光学系の構成に応じて、ミラー面２２の反射率は１％以上９９％以下の範囲で適宜定めればよいが、４％以上８５％以下の範囲とすることがより好ましい。
　ハーフミラー２０のミラー面２２と対向する面２４は、反射防止面とされていることが好ましい。反射防止面の反射率は、観察部から視認されるミラー面に対向する面２４での反射による像が、ミラー面２２での反射による像に二重映りしない程度の反射率であればよく、例えばミラー面２２の反射率の０．１倍未満とする。
　反射防止面は、可視域の光に対する反射率が１％未満とすることが好ましく、０．５％以下とすることがより好ましい。このような反射率１％未満となる反射防止面は、誘電多層膜の形成、あるいは微細凹凸構造層の形成などの公知の反射防止処理により得ることができる。
　なお、ミラー面２２における反射率、およびミラー面に対向する面２４における反射率は、必ずしも面全域に亘って均一でなくてもよい。
　図１に示した実施形態において、ハーフミラー２０は、視覚呈示部４０側にミラー面２２を備えたものであるが、ミラー面２２を触覚呈示部５０側に備えていてもよい。この場合も、視覚呈示体３０により呈示された画像の虚像が触覚呈示体１０に一致するように両者の光学距離を調整すればよい。
　なお、本発明において、「光学距離が等しい」とは厳密に同一であることを要するものではなく、ユーザが触覚呈示体に触れる際に、ユーザが触れている面（触覚呈示体の表面）と、ユーザにより視覚的に認識される虚像の位置にズレを感じない程度に一致していればよい。したがって、触覚呈示体１０に違和感なく鏡像が一致して表示されていれば、上述した画像表示面３２とミラー面２２との光学距離と、触覚呈示体１０の表面１２とミラー面２２との光学距離は等しいと看做してよい。
　本発明の統合呈示装置によれば、触覚呈示体の自由度が高く、様々な対象物に対応させることが可能である。また、触覚呈示体に表示されているのは虚像であるため、ユーザの手指による影ができず、ユーザは高い臨場感を得ることができる。
　さらに、本実施形態の統合呈示装置１は、触覚呈示体１０に接触するユーザの手指７５を照明する手指照明具７０を備えている。
　既述の通り、触覚呈示体１０に表示される虚像にはユーザの手指による影は生じない。一方で、ユーザの手指に虚像が一部重なり、ユーザの手指に虚像の一部が表示される場合がある。手指照明具７０によって、ユーザの手指に表示される虚像の輝度と比較して十分高い輝度で手指を照明することにより、手指に表示された虚像をユーザに視認できないようにすることができる。手指が照明されて明るくなることにより、虚像の輝度が相対的に低下し、ヒトの目に認知されなくなるからである。
　このように手指照明具７０を備えて手指を照らし、手指に表示されている虚像が見えず、ユーザ自身の手指が視認され状態とすることにより、触覚呈示体１０を触る感覚がさらに増し、臨場感が向上する。
　手指照明具７０は、ミラー面２２および触覚呈示体１０を照明することなく、ユーザの手指７５を照明するように構成された照明具であることが好ましい。ここで、「ミラー面２２および触覚呈示体１０を照明することなく」とは、照明光の主光線がミラー面および触覚呈示体１０に入射されないことを意味し、上記効果に影響のない範囲で照明光の一部がミラー面２２あるいは触覚呈示体１０に入射される場合までを排除するものではない。
　本実施形態における手指照明具７０は、統合呈示装置１の高さ方向においてミラー面２２と触覚呈示体１０との間に配置されて、ミラー面２２と触覚呈示体１０との間に、ミラー面２２側および触覚呈示体１０側への広がりが制限された光を照射する。ここでは、支持台５に略平行に進行する光７２を照射している。手指照明具７０は、ユーザの手指を照明することができればよく、手指をユーザの前方から照明する、もしくは手指を側方から照明するように設けられていることが好ましい。図１に示すように、異なる２方向（前方と側方）にそれぞれ設置されていてもよい。
　手指照明具７０からの出射光７２は、支持台５に平行なシート状の光であることが好ましく、そのようなシート状の光はＬＥＤ光源と、シリンドリカルレンズとを組み合わせて実現することができる。ＬＥＤ光源から出射された光をシリンドリカルレンズの作用により支持台５に略平行なシート状に広がる光として照射させることができる。
　手指照明具７０に備えられる光源は、白色光源を用いてもよいが、単色とすることが好ましい。単色の光源としては、赤色もしくは緑色の光源が好ましく、例えば、６５０ｎｍ超～７００ｎｍにピーク波長を有する赤色ＬＥＤ、もしくは５００ｎｍ～６５０ｎｍにピーク波長を有する緑色ＬＥＤを用いることができる。赤色もしくは緑色により照明された手指は、ユーザに不快な感覚を生じさせることなく、かつ手指をはっきりと見せることが可能となるからである。
　図３は、第２の実施形態の統合呈示装置２の概略構成を示す斜視図であり、図４はその側面図である。第１の実施形態の統合呈示装置１と同一の構成要素には同一の符号を付し、詳細な説明は省略する。以下の図面において同様とする。
　第２の実施形態の統合呈示装置２は、第１の実施形態の統合呈示装置１においてさらに、視覚呈示部４０に照明光を照射する照明部８０を備えている。視覚呈示体が、表面に対象物の像が描かれた紙等の画像担持体、あるいは対象物自体である場合などであっても、視覚呈示体に照明光を照射することにより、その像をミラー面２２に明るく映すことができる。本例では、視覚呈示部４０に対し、上方から照明光を照射するように構成されているが、視覚呈示部４０に対し、下方から照明光を照射するように構成されていてもよい。照明部８０は、蛍光灯あるいは白色ＬＥＤ等により構成することができる。
　また、本実施形態の統合呈示装置２においては、視覚呈示部４０に配置されている視覚呈示体が対象物３５自体であり、触覚呈示部５０に配置されている触覚呈示体１５も同様に三次元物体である。図３に示すように、支持板４１上に配置された対象物３５は、断面Ｌ字形状を有する三次元物体である。対して、触覚呈示部５０に呈示された触覚呈示体１５は直方体形状の三次元物体である。
　対象物（視覚呈示体）３５および触覚呈示体１５が共に三次元物体であるため、ここでは、その視覚呈示体３５の最もミラー面２２側の点からミラー面２２までの光学距離と、触覚呈示体１５の最もミラー面２２側の点からミラー面２２までの光学距離が等しくなるように、支持板４１およびハーフミラー２０の位置が調整されている。ここでは、対象物３５の最もミラー面２２側の点は支持板４１の上面４２にあり、触覚呈示体１５の最もミラー面２２側の点は触覚呈示体１５の表面１７にある。
　このように視覚呈示体が三次元物体である対象物３５自体であるとき、観察部６０において支持板４１の下面４４から視認される対象物３５の虚像が、触覚呈示体１５が配置されている位置に一致して観察される。すなわち、本統合呈示装置２は、視覚呈示体３５の虚像を触覚呈示体１５に一致させて表示する。
　本装置２によって、第１の実施形態の統合呈示装置１の場合と同様に、ユーザは、触覚呈示体１５の表面１７を手指（手の指）で触り、触覚呈示体１５の表面１７の触感を感じながら、触覚呈示体１５に一致して表示される対象物３５の虚像を見ることにより、対象物３５を実際に触っているような感覚を得ることができる。
　図５は、本発明の第３の実施形態の視覚触覚統合呈示装置３の概略構成を示す側面図である。
　第１および第２の実施形態の視覚触覚統合呈示装置１、２においては、触覚呈示体１０を支持する支持台５を備えた構成について説明したが、本実施形態の視覚触覚統合呈示装置３は、支持台５を備えていない。支持台５を備える代わりに、既存の机に設置するための万力固定部８を支持軸６の底部に備えており、既存の机の天板７を万力で挟み固定することにより、統合呈示装置３を設置して使用することができる。
　また、本実施形態の統合呈示装置３においては、第１の実施形態の統合呈示装置１の視覚呈示部４０に備えられている支持板４１の代わりに、図５に示すように、画像担持体の一形態であるフラットパネルディスプレイ３１（以下においてディスプレイ３１という。）を、その画像表示面３２が直接ハーフミラー２０に対向するように保持する画像担持体ホルダー４５を備えている。画像担持体ホルダー４５は、図５に示すように、少なくとも一辺に開口を有し、ディスプレイ３１をその開口部からスライド挿入させて、その少なくとも対向する二端を下面から支えるものである。なお、画像担持体ホルダーとしては、画像担持体の少なくとも対向する二端を下面から支える枠部材などであってもよい。
　本実施形態においても、画像表示面３２とミラー面２２との光学距離ｈ３１と、ミラー面２２と触覚呈示体１５の表面１７との光学距離ｈ３２とが等しくなるようにミラー面２２、画像表示面３２の位置が調整されている。
　本例において、画像表示面３２とミラー面２２との光学距離ｈ３１は、画像表示面３２とミラー面２２との距離Ｌ１、すなわちｈ３１＝Ｌ１であり、ミラー面２２と触覚呈示体１５の表面１７との光学距離ｈ３２は、ハーフミラー２０の厚みｄ２と屈折率ｎ２との積ｎ２・ｄ２と、ミラー面２２と対向する面２４と触覚呈示体１５の表面１７との距離Ｌ２との和、すなわち、ｈ３２＝ｎ２・ｄ２＋Ｌ２で表される。
　上記の光学距離ｈ３１とｈ３２が等しくなるようにハーフミラー２０の位置および画像表示面３２の位置が調整されることにより、観察部からは、画像担持体３０の画像表示面３２に表示された画像の鏡像（虚像）が触覚呈示体１０の表面に一致して観察される。
　本実施形態の統合呈示装置３においては、さらに、ユーザの手指の位置を検知する位置検出センサ９０を備えている。また、触覚呈示体１０が、人工皮膚感覚呈示デバイス１８を備えている。さらに、ディスプレイ３１、位置検出センサ９０および触覚呈示体１０に接続された情報処理部１００を備えている。
　位置検出センサ９０としては、公知のモーションキャプチャデバイスを適宜用いることができる。
　人工皮膚感覚呈示デバイス１８とは、ヒトの皮膚にある受容器にもとづく感覚、具体的には、触覚、圧覚、温覚、冷覚および痛覚の少なくとも１つを刺激する信号を生じさせるデバイスである。触覚呈示体１０の表面１７のユーザが触れる部分に、静電気、通電、振動、超音波、温度変化などを生じさせることにより、皮膚感覚を刺激して、ユーザに、対象物をよりリアルに体感させることが可能となる。
　具体的な人工皮膚感覚呈示デバイス１８としては、温度変化を生じさせるヒーターあるいはクーラー、振動を生じさせる圧電素子、静電素子、さらには超音波を発生する超音波発生素子などが挙げられ、これらを１つもしくは複数組み合わせて備える。
　なお、上記の触覚呈示体１０の表面の状態を変化させる触覚呈示体１０に備えられる人工皮膚感覚呈示デバイスの他に、触覚呈示体１０の外部に配置される、さらなる人工皮膚感覚呈示デバイスを備えていてもよい。例えば、触覚呈示部５０に位置するユーザの手指に、温風、冷風などを吹き付けるブロア、ユーザの手指表面に直接振動触覚を与える超音波振動子アレイなどが挙げられる。
　情報処理部１００は、ディスプレイ３１によって表示する画像表示と、人工皮膚感覚呈示デバイス１８により呈示する触覚情報を連動させ、画像に応じた最適な触感を生じさせるように制御する制御装置である（図６参照）。情報処理部１００は、中央処理装置（ＣＰＵ）、主記憶装置、補助記憶装置、入出力インターフェースおよび通信インターフェースなどの周知のハードウェア構成を備えたコンピュータに実装されている。コンピュータにはディスプレイ３１および人工皮膚感覚呈示デバイス１８を連動して制御するための所定のプログラムがインストールされており、このプログラムを実行することにより、画像表示と触覚情報を連動させる制御が実現される。情報処理部１００は、ディスプレイ３１を備えたタブレット型コンピュータなどの携帯型情報端末に実装されていてもよい。
　対象物が振動体である場合、人工皮膚感覚呈示デバイス１８として振動板を備えていれば、情報処理部１００の制御により、ディスプレイ３１に振動体の画像（振動している振動体の動画）を表示すると共に、振動板を振動させて触覚呈示体１０の表面を振動させることができる。これにより、触覚呈示体１０を触るユーザに、あたかも振動体に触っているような錯覚を与えることができる。
　人工皮膚感覚呈示デバイス１８として、特開２０１３－５０１９９２号公報に記載のトポロジ表示ユニット、あるいは特開２００４－１４５４５６号公報に記載の触覚情報出力手段などを適用してもよい。また、その他、水平振動アレイ、垂直振動アレイ、凹凸回転体、超音波振動子、ヒーター、ペルチエ素子（冷却素子）あるいは電極アレイなどを適用することもできる。これらを適用すれば、対象物に応じて触覚呈示体１０の表面形状を変化させることができる。
　また、情報処理部１００は、位置検出センサ９０により検出されたユーザの手指の位置情報に応じてディスプレイ３１における画像表示および人工皮膚感覚呈示デバイス１８による皮膚感覚呈示状態の一方、もしくは両方を制御する。
　本実施形態のように、視覚情報と触覚情報を連動させることにより、ユーザはさらにリアルな臨場感を体感することができる。
　本発明の統合呈示装置においては、スピーカーを備えてもよく、画像表示に連動させて音を発生させるようにしてもよい。スピーカーとしては、視覚呈示体の一形態であるタブレット型コンピュータあるいはスマートフォンなどに内蔵のスピーカーを用いてもよい。
　視覚情報、触覚情報に加え、聴覚情報を連動させて呈示することで、視覚、触覚および聴覚が同時に刺激されて、クロスモーダル効果によりユーザに高い臨場感を与えることができる。
　上記各実施形態の視覚触覚統合呈示装置においては、対象物の像が表示される画像表示面、ミラー面および触覚呈示体の表面の位置関係は、互いに平行な構成であるが、これらは平行でなくても構わない。図７は、本発明の視覚触覚統合呈示装置における画像表示面、ミラー面および触覚呈示体の表面の配置の他の例を示す模式図である。
　図７においては、画像表示面３２と触覚呈示体１０の表面１２とがミラー面２２に対して光学的に対称に配置されている。すなわち、画像表示面３２と触覚呈示体１０の表面１２との対応する位置同士のミラー面２２に対する光学距離が等しくなるように配置されている。画像表示面３２の所定位置と対応する触覚呈示体の表面１２の位置とは、ミラー面２２の任意の点Ｏ１に垂直な１本の垂線Ｋ１が画像表示面３２と交わる点Ａ１に対して、その垂線Ｋ１が触覚呈示体１０の表面１２と交わる位置Ｂ１である。ミラー面２２の他の任意の点Ｏ２に垂直な垂線Ｋ２が画像表示面３２と交わる点Ａ２に対応する触覚呈示体１０の表面１２の位置は、その垂線Ｋ２が触覚呈示体１０の表面１２と交わる点Ｂ２である。画像表示面３２と触覚呈示体１０の表面１２との対応する位置同士のミラー面２２に対する光学距離が等しい関係にあるとき、Ａ１Ｏ１の光学距離＝Ｂ１Ｏ１の光学距離、Ａ２Ｏ２の光学距離＝Ｂ２Ｏ２の光学距離、である。
　画像表示面３２とミラー面２２との光学距離、および触覚呈示体１０の表面１２とミラー面２２との光学距離がその物理的距離と等しい場合には、図７に示すように、画像表示面３２、触覚呈示体１０の表面１２およびミラー面２２上の線を延長すると、３つ延長線は一点Ｐで交わる。そして、３つの延長線はこの点Ｐを頂点とした二等辺三角形の等しい二辺６１、６２とその二辺６１、６２によりなされる角を等分する中線６３を構成するものとなる。
　上記の構成の場合にも観察部６０から視覚呈示体３０の画像表示面３２に表示された画像の虚像が、触覚呈示体１０の表面１２の位置に一致して見え、第１～第３の実施形態の統合呈示装置と同様の効果を得ることができる。
　本発明の視覚触覚統合呈示装置は、図８に示すようなインターネットに接続して遠隔地と通信可能なシステムに適用することができる。
　例えば、視覚触覚統合呈示装置１において、視覚呈示体として情報端末３８を備え、この情報端末３８によりインターネットによる通信が可能なシステム１０１を構成することもできる。情報端末３８は視覚呈示体として統合呈示装置１の視覚呈示部４０の支持板４１上に配置される。この情報端末３８の無線もしくは有線の通信機能によりインターネットに接続して、インターネット上の他の情報端末３９からの画像情報、音声情報等を受信することができる。他の情報端末３９で取得された対象物の画像を情報端末３８で再現し、その虚像を触覚呈示体１０に一致させて表示することにより、ユーザは、遠隔地に存在する対象物をあたかも実際に触っているように感じることができる。
１、２、３　　視覚触覚統合呈示装置
５　　支持台
６　　支持軸
７　　天板
８　　万力固定部
１０　　触覚呈示体
１０Ａ　　プラスチックシート
１０Ｂ　　ステンレス板
１０Ｃ　　コルク板
１２、１７　　触覚呈示体の表面
１８　　人工皮膚感覚呈示デバイス
２０　　ハーフミラー
２２　　ミラー面
２４　　ハーフミラーのミラー面と対向する面
３０　　画像担持体（視覚呈示体）
３１　　フラットパネルディスプレイ
３２　　画像表示面
３５　　視覚呈示体（対象物）
３８、３９　　情報端末
４０　　視覚呈示部
４１　　支持板
４２　　支持板の上面
４４　　支持板の下面
４５　　画像担持体ホルダー
５０　　触覚呈示部
６０　　観察部
６１、６２　　辺
６３　　中線
７０　　手指照明具
７２　　光
７５　　手指
８０　　照明部
９０　　位置検出センサ
１００　情報処理部
１０１　システム

Claims (12)

  1. 　ハーフミラーと、
    　前記ハーフミラーのミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体と、
    　前記ハーフミラーの前記ミラー面を挟んで、前記視覚呈示体と対向して、前記ハーフミラーと該視覚呈示体との間の光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体とを備えた視覚触覚統合呈示装置。
  2. 　前記触覚呈示体を触っているユーザの手指を照明する手指照明具を備えた請求項１に記載の視覚触覚統合呈示装置。
  3. 　前記手指照明具が、前記ミラー面と前記触覚呈示体との間に配置された、前記ミラー面および前記触覚呈示体の間に、前記ミラー面および前記触覚呈示体側への広がりが制限された照射光を照射する請求項２に記載の視覚触覚統合呈示装置。
  4. 　前記手指照明具が、異なる２方向から照明光を照射する請求項２または３に記載の視覚触覚統合呈示装置。
  5. 　前記手指照明具の照射光の波長が単色である請求項２から４のいずれか１項に記載の視覚触覚統合呈示装置。
  6. 　前記視覚呈示体が、前記対象物の画像を表示する画像担持体である請求項１から５のいずれか１項に記載の視覚触覚統合呈示装置。
  7. 　前記視覚呈示体が、三次元物体である請求項１から５のいずれか１項に記載の視覚触覚統合呈示装置。
  8. 　前記触覚呈示体が、表面にテクスチャ構造を有する平面体もしくは三次元物体である請求項１から７のいずれか１項に記載の視覚触覚統合呈示装置。
  9. 　前記触覚呈示体が、人工皮膚感覚呈示デバイスを備えた請求項１から７のいずれか１項に記載の視覚触覚統合呈示装置。
  10. 　前記視覚呈示体としてディスプレイを備え、
    　該ディスプレイと前記人工皮膚感覚呈示デバイスとに接続され、前記ディスプレイに表示される画像の変化に連動して前記人工皮膚感覚呈示デバイスによる皮膚感覚呈示状態を変化させる情報処理部を備えた請求項９に記載の視覚触覚統合呈示装置。
  11. 　ユーザの手指の位置を検知するセンサを備え、
    　前記情報処理部が、前記センサにより取得された位置情報に基づいて、前記人工皮膚感覚呈示デバイスによる前記皮膚感覚呈示状態を制御する請求項１０記載の視覚触覚統合呈示装置。
  12. 　前記視覚呈示体として情報端末を備えた請求項１から１１のいずれか１項記載の視覚触覚統合呈示装置。
PCT/JP2018/003486 2017-03-27 2018-02-01 視覚触覚統合呈示装置 WO2018179826A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019508670A JP6803971B2 (ja) 2017-03-27 2018-02-01 視覚触覚統合呈示装置
US16/568,796 US10928912B2 (en) 2017-03-27 2019-09-12 Visual sense and tactile sense integrated presentation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017060931 2017-03-27
JP2017-060931 2018-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/568,796 Continuation US10928912B2 (en) 2017-03-27 2019-09-12 Visual sense and tactile sense integrated presentation device

Publications (1)

Publication Number Publication Date
WO2018179826A1 true WO2018179826A1 (ja) 2018-10-04

Family

ID=63674725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003486 WO2018179826A1 (ja) 2017-03-27 2018-02-01 視覚触覚統合呈示装置

Country Status (3)

Country Link
US (1) US10928912B2 (ja)
JP (1) JP6803971B2 (ja)
WO (1) WO2018179826A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7358890B2 (ja) * 2019-10-01 2023-10-11 富士フイルムビジネスイノベーション株式会社 物体質感計測装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029589A (ja) * 1998-07-10 2000-01-28 Toshiba Corp 情報表示装置
JP2008027223A (ja) * 2006-07-21 2008-02-07 Nippon Telegr & Teleph Corp <Ntt> 視触覚融合提示装置及びその方法
JP2011519082A (ja) * 2008-04-02 2011-06-30 イマージョン コーポレイション マルチポイント触覚フィードバックテキスチャーシステムを提供するための方法および装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3900446B2 (ja) * 1998-06-19 2007-04-04 株式会社東京大学Ｔｌｏ 画像表示方法及び装置
CN1124435C (zh) 1998-08-21 2003-10-15 松下电器产业株式会社 辐射能量发射装置
JP2001025511A (ja) 1998-08-21 2001-01-30 Matsushita Electric Ind Co Ltd 放射エネルギー照射装置
US7812815B2 (en) * 2005-01-25 2010-10-12 The Broad of Trustees of the University of Illinois Compact haptic and augmented virtual reality system
CN101641964B (zh) * 2007-03-30 2012-01-18 独立行政法人情报通信研究机构 空中影像互动装置
KR100883311B1 (ko) * 2007-05-25 2009-02-11 한국과학기술연구원 입력 장치의 개발을 위한 시스템
WO2009151121A1 (ja) * 2008-06-13 2009-12-17 学校法人 早稲田大学 感覚呈示システム及び感覚呈示装置
JP5782441B2 (ja) 2009-08-11 2015-09-24 コーニンクレッカ フィリップス エヌ ヴェ ハイブリッド型表示装置
JP2014145456A (ja) 2013-01-30 2014-08-14 Nsk Ltd 転がり軸受
JP2016110383A (ja) 2014-12-05 2016-06-20 コニカミノルタ株式会社 触覚伝達装置
JP2018077438A (ja) * 2016-11-11 2018-05-17 株式会社ジャパンディスプレイ 表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029589A (ja) * 1998-07-10 2000-01-28 Toshiba Corp 情報表示装置
JP2008027223A (ja) * 2006-07-21 2008-02-07 Nippon Telegr & Teleph Corp <Ntt> 視触覚融合提示装置及びその方法
JP2011519082A (ja) * 2008-04-02 2011-06-30 イマージョン コーポレイション マルチポイント触覚フィードバックテキスチャーシステムを提供するための方法および装置

Also Published As

Publication number Publication date
JP6803971B2 (ja) 2020-12-23
JPWO2018179826A1 (ja) 2019-11-07
US10928912B2 (en) 2021-02-23
US20200004339A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN109101111B (zh) 融合静电力、空气压膜和机械振动的触觉再现方法与装置
Rakkolainen et al. A survey of mid-air ultrasound haptics and its applications
Carter et al. UltraHaptics: multi-point mid-air haptic feedback for touch surfaces
US10373452B2 (en) Targeted haptic projection
US20120124470A1 (en) Audio display system
JP6319328B2 (ja) 教育用触感提供装置、及び、システム
WO2015121971A1 (ja) 触感提供装置、及び、システム
JP2005141102A (ja) 立体的二次元画像表示装置及び方法
CN107111374A (zh) 触觉效果的覆盖
US11287886B1 (en) Systems for calibrating finger devices
CN109284005A (zh) 一种融合静电力和振动的可穿戴式触觉再现装置和方法
Hachisu et al. VacuumTouch: attractive force feedback interface for haptic interactive surface using air suction
US10928912B2 (en) Visual sense and tactile sense integrated presentation device
WO2022138297A1 (ja) 空間浮遊映像表示装置
US10664103B2 (en) Curved display apparatus providing air touch input function
WO2022158209A1 (ja) 空間浮遊映像表示装置
WO2022170650A1 (zh) 无接触人机交互系统和方法
US20110187656A1 (en) Interface apparatus and method
Kurzweg et al. Assignment of a Vibration to a Graphical Object Induced by Resonant Frequency
Bernard Perception of audio-haptic textures for new touchscreen interactions
WO2023243181A1 (ja) 空間浮遊映像情報表示システム
US11474609B1 (en) Systems and methods for haptic equalization
CN220627014U (zh) 具有头戴式显示器的运算系统
Shinoda et al. Superimposing Visual Images on Mid-Air Ultrasonic Haptic Stimulation
Sand et al. Touchless tactile interaction with unconventional permeable displays

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18775271

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508670

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18775271

Country of ref document: EP

Kind code of ref document: A1