WO2022153733A1 - 形状可変装置、形状制御方法、及び触覚提示装置 - Google Patents

形状可変装置、形状制御方法、及び触覚提示装置 Download PDF

Info

Publication number
WO2022153733A1
WO2022153733A1 PCT/JP2021/045273 JP2021045273W WO2022153733A1 WO 2022153733 A1 WO2022153733 A1 WO 2022153733A1 JP 2021045273 W JP2021045273 W JP 2021045273W WO 2022153733 A1 WO2022153733 A1 WO 2022153733A1
Authority
WO
WIPO (PCT)
Prior art keywords
propagation
unit
shape
light
contact
Prior art date
Application number
PCT/JP2021/045273
Other languages
English (en)
French (fr)
Inventor
健太郎 吉田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022575138A priority Critical patent/JPWO2022153733A1/ja
Publication of WO2022153733A1 publication Critical patent/WO2022153733A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Definitions

  • This technique relates to a shape variable device, a shape control method, and a tactile presentation device applicable to an input device, a tactile presentation device, and the like.
  • Patent Document 1 discloses a display device that detects a contact object using light (paragraphs [0005] [0006] [0014] of the specification of Patent Document 1 and the like).
  • an object of the present technology is to provide a shape variable device, a shape control method, and a tactile presentation device capable of realizing input operation detection and tactile presentation with high accuracy.
  • the shape variable device includes a signal emitting unit, a propagation unit, a detection unit, and a generation unit.
  • the signal emitting unit emits an electromagnetic wave.
  • the propagating portion has an exposed surface exposed to the outside, is configured to have a single refractive index with a flexible material, and internally emits the electromagnetic wave emitted by the signal emitting portion.
  • Waveguide The detection unit detects the electromagnetic wave guided by the propagation unit.
  • the generation unit generates information regarding the deformation of the propagation unit based on the detection result of the detection unit.
  • this shape variable device the electromagnetic wave emitted by the signal emitting unit and guided inside the propagating unit is detected by the detecting unit. Then, based on the detection result of the detection unit, information regarding the deformation of the propagation unit is generated. For example, by applying this shape variable device to the tactile presentation device, it is possible to present the tactile sensation with high accuracy based on the information regarding the deformation of the propagation portion. Further, by applying this shape variable device to the input device, it becomes possible to detect the operation or the like input to the member with high accuracy based on the information regarding the deformation of the propagation portion.
  • the devices and fields to which this shape variable device can be applied are not limited.
  • the information regarding the deformation of the propagation portion may include at least one of the information regarding the shape of the propagation portion and the contact state of the object in contact with the propagation portion.
  • the propagation portion may guide the electromagnetic wave so that the electromagnetic wave is reflected by the surface on the inner side of the exposed surface.
  • the detection unit may be arranged at a position where the electromagnetic wave reflected by the surface on the inner side of the exposed surface can be detected.
  • the generation unit may generate at least one of the shape of the exposed surface and the contact state of the object in contact with the exposed surface as the information regarding the deformation of the propagation unit.
  • At least a part of the exposed surface may be configured as a contact target surface to be a contact target of an object.
  • the generation unit may generate information on the contact state of the object in contact with the contact target surface as information on the deformation of the propagation unit.
  • the generation unit may generate information regarding the deformation of the propagation unit based on the detection amount of the electromagnetic wave detected by the detection unit.
  • the signal emitting unit may emit light as the electromagnetic wave, and the detecting unit may detect the amount of light of the light guided by the propagating unit.
  • the shape variable device may further include a holding portion that holds the propagating portion in a deformable manner.
  • the holding portion may have an elastic body that is flexible and abuts on the propagating portion.
  • the holding portion may be connected to the propagating portion, form a deformable space along the propagating portion with the propagating portion, and hold the propagating portion deformably through the space. ..
  • the holding part and the propagating part may hold the fluid in the space.
  • the shape variable device may further include a drive unit capable of deforming the propagation unit based on the information regarding the deformation of the propagation unit generated by the generation unit.
  • At least a part of the exposed surface may be configured as a contact target surface to be a contact target of an object.
  • the signal emitting unit may be configured to be capable of emitting at least a part of electromagnetic waves to a region facing the contact target surface.
  • the generation unit may generate information regarding the proximity of the object to the contact target surface based on the detection result by the detection unit.
  • At least a part of the exposed surface may be configured as a contact target surface to be a contact target of an object.
  • the propagation portion may have a surface opposite to the contact target surface.
  • the shape variable device may further include a scattered wave detection unit located in a region facing the surface opposite to the contact target surface and detecting the electromagnetic wave scattered by the propagation unit. .. Further, the generation unit may generate information regarding the contact state of the object in contact with the propagation unit based on the detection result of the scattered wave detection unit.
  • the signal emitting unit may emit the light with two or more kinds of intensities.
  • At least a part of the exposed surface may be configured as a contact target surface to be a contact target of an object.
  • the shape-variable device further includes a flexible portion that is arranged in at least a part of the contact target surface and has a refractive index lower than the refractive index of the propagating portion and flexibility. You may.
  • At least a part of the exposed surface may be configured as a contact target surface to be a contact target of an object.
  • the shape-variable device is further arranged in at least a part of the contact target surface, has a refractive index equal to the refractive index of the propagating portion, and does not deform even when the object comes into contact with the object.
  • a non-flexible portion composed of hardness may be provided.
  • the signal emitting unit may be arranged at a position where the electromagnetic wave can be emitted from the propagating unit.
  • the shape variable device is further arranged in the vicinity of the signal emitting portion, and among the electromagnetic waves emitted by the signal emitting portion, the electromagnetic waves that do not enter the propagating portion or all inside the propagating portion.
  • a shielding portion that shields at least one of non-reflected electromagnetic waves may be provided.
  • At least a part of the exposed surface may be configured as a contact target surface to be a contact target of an object.
  • the angle between the emission angle of the electromagnetic wave by the signal emitting unit and the angle formed by the contact target surface is greater than 0 degrees and 60 degrees or less, or the reception angle of the electromagnetic wave by the detecting unit and the contact. At least one of the angles formed by the target surface being greater than 0 degrees and not more than 60 degrees may hold.
  • the shape control method includes the following steps.
  • the tactile presentation device includes the signal emitting unit, the propagation unit, the detecting unit, the generating unit, and the driving unit.
  • the drive unit deforms the propagation unit so that a user who comes into contact with the propagation unit is presented with a predetermined tactile sensation.
  • FIGS. 1 to 4 are schematic views showing a configuration example of a user interface device (hereinafter, referred to as a UI device) according to an embodiment of the present technology.
  • FIG. 1 is a side view of the UI device 100 as viewed from the side.
  • FIG. 2 is a top view of the UI device 100 as viewed from above.
  • FIG. 3 is a side view of the state in which the user's finger is in contact with the UI device 100 as viewed from the side.
  • FIG. 4 is a top view of the state in which the user's finger is in contact with the UI device 100 as viewed from above.
  • the controller 1 included in the UI device 100 is schematically illustrated. Further, in the following, in order to make the explanation easy to understand, the top and bottom and the left and right are defined with reference to the figure, but the direction in which the UI device 100 according to the present embodiment is used is not limited.
  • the UI device 100 has a function as an input device capable of inputting various operations by the user. Further, the UI device 100 has a function as a tactile presentation device capable of presenting a predetermined tactile sensation to a user who comes into contact with the UI device 100. The presentation of tactile sensation can also be referred to as tactile feedback. Therefore, the UI device 100 can also be referred to as a tactile feedback device.
  • the UI device 100 corresponds to an embodiment of the shape variable device according to the present technology. That is, it can be said that the shape variable device according to the present technology is applied to an input device and a tactile presentation device.
  • the devices and fields to which the shape variable device according to the present technology can be applied are not limited.
  • the UI device 100 includes a propagation unit 2, a signal source 3, a sensor 4, and a controller 1. Further, in FIGS. 1 to 4, the light guided through the propagation portion 2 is schematically shown by an arrow.
  • the signal source 3 emits an electromagnetic wave.
  • the signal source 3 emits light as an electromagnetic wave.
  • the wavelength of the light emitted by the signal source 3 is not limited and may be set arbitrarily.
  • the wavelength of light can be specified by, for example, the peak wavelength.
  • light having a wavelength included in the wavelength band of ultraviolet light, visible light, and infrared light is emitted as a signal.
  • the specific configuration for emitting light is not limited, and any configuration may be adopted.
  • a solid-state light source such as an LED (Light Emitting Diode) or an LD (Laser Diode) can be used. Of course, other light sources may be used.
  • the signal source 3 corresponds to one embodiment of the signal emitting unit according to the present technology.
  • an electromagnetic wave for example, a radio wave may be emitted.
  • the wavelength of the radio wave is not limited, and a radio wave of any wavelength may be emitted.
  • radio waves such as millimeter waves and microwaves are emitted as signals.
  • the specific configuration for emitting radio waves is not limited, and any configuration may be adopted.
  • the type of electromagnetic wave emitted by the signal source 3 is not limited.
  • each of light and radio wave can be specified based on the wavelength.
  • an electromagnetic wave having a wavelength in the range of 10 nm to 100 ⁇ m is used as light and an electromagnetic wave having a wavelength of 100 ⁇ m or more is used as a radio wave.
  • Emitting light and radio waves of arbitrary wavelength as a signal is included in the concept of emitting electromagnetic waves of arbitrary wavelength as a signal.
  • the signal source 3 is arranged so as to face the side surface 7a of the propagation unit 2.
  • the signal source 3 emits light toward the side surface 7a of the propagation unit 2 facing the signal source 3.
  • the optical path of the emitted light is schematically illustrated by an arrow.
  • the emitted light is incident on the inside of the propagation unit 2 from the side surface 7a of the propagation unit 2.
  • the side surface 7a on which the light emitted by the signal source 3 is incident may be referred to as an incident surface 7a using the same reference numerals.
  • the propagation section 2 has an exposed surface exposed to the outside, is configured to have a single refractive index with a flexible material, and contains electromagnetic waves (light) emitted by the signal source 3 inside. Waveguide with.
  • the propagation portion 2 has a flat plate shape as an overall shape. Specifically, the propagation portion 2 is composed of the upper surface 5 on the upper side, the lower surface 6 on the lower side, and the four side surfaces 7a to 7d. That is, the propagation portion 2 can be a rectangular cuboid having a large area of the upper surface 5 and the lower surface 6 and a small thickness (distance between the upper surface 5 and the lower surface 6).
  • the upper surface 5 and the lower surface 6 have the same shape as each other. In the example shown in FIG.
  • the shapes of the upper surface 5 and the lower surface 6 are rectangular, but the upper surface 5 and the lower surface 6 may have any shape.
  • the upper surface 5 and the lower surface 6 may have a circular shape or other shapes.
  • the propagation portion 2 has a disk shape or other shape as a whole.
  • a flat plate having a thickness of about 0.5 mm to 3 mm is used as the propagation portion 2. That is, the distance between the upper surface 5 and the lower surface 6 is set to be about 0.5 mm to 3 mm.
  • the vertical lengths of the side surfaces 7a to 7d of the propagation portion 2 shown in FIG. 1 correspond to the thickness of the propagation portion 2.
  • the upper surface 5, the lower surface 6, and the side surfaces 7a to 7d of the propagation portion 2 are configured as the exposed surface 8 exposed to the outside. Then, the upper surface 5 is configured as a contact target surface 9 to be a contact target of the object. Therefore, the user performs an input operation on the upper surface 5 by using the finger 10.
  • the input operation is not limited to the finger 10, and the input operation may be performed using another object such as a stylus pen.
  • the positions of the exposed surface 8 and the contact target surface 9 may be determined in consideration of the portion of the propagation portion 2 that is desired to be exposed and the portion that is expected to be in contact, according to the application of the UI device 100. For example, the design of the propagation portion 2 is taken into consideration, and a portion that is not desired to be visually recognized by the user is excluded from the exposed surface 8. Further, a portion of the propagation portion 2 having low strength and which may be damaged by contact is excluded from the contact target surface 9. Such a design is also possible.
  • the locations where the exposed surface 8 and the contact target surface 9 are arranged are not limited, and may be arbitrarily designed.
  • all of the upper surface 5, the lower surface 6, and the side surfaces 7a to 7d configured as the exposed surface 8 may be designed as the contact target surface 9. Only the upper surface 5 and the side surfaces 7a to 7d may be configured as the exposed surface 8, and the lower surface 6 may be configured not to be the exposed surface 8. Further, although the side surfaces 7a to 7d are exposed surfaces 8, it is possible to design that the side surfaces 7a to 7d are not configured as contact target surfaces 9.
  • a flexible material As the material of the propagation part 2, a flexible material is used. It has flexibility, including PET (polyethylene terephthalate), liquid crystal polymer, polyurethane, styrene, silicon, synthetic rubber, natural rubber, materials with conductive function, materials with high thermal conductivity mixed with carbon, etc. Any material may be used.
  • PET polyethylene terephthalate
  • liquid crystal polymer polyurethane, styrene, silicon, synthetic rubber, natural rubber, materials with conductive function, materials with high thermal conductivity mixed with carbon, etc. Any material may be used.
  • the propagation unit 2 is configured to have a single refractive index.
  • a single material configures the propagation section 2 so that it has a single density.
  • the present invention is not limited to this, and any configuration can be adopted such that the propagating portion 2 has a single refractive index.
  • two or more members having the same refractive index may be laminated to form the propagation portion 2.
  • the propagation unit 2 is configured to be deformable.
  • deformation includes any deformation such as expansion and contraction, bending, expansion and contraction.
  • the propagation portion 2 can be deformed in a direction in which the curvature increases due to the contact of an object. As shown in FIG. 3, when the user pushes the propagation unit 2, the propagation unit 2 is deformed so as to be dented according to the force. In addition, the propagation unit 2 is deformed in response to various operations such as tracing and pinching.
  • the upper surface 5 of the propagation portion 2 is pressed by the user's finger 10.
  • a force acts downward on the propagation portion 2.
  • the propagating portion 2 receives a force from the finger 10 and deforms so as to bend downward. How much the propagation portion 2 is deformed depends on the magnitude and direction of the force received from the finger 10, the magnitude of the flexibility of the propagation portion 2, and the like.
  • the propagation portion 2 is greatly deformed. Further, when the user pushes the propagating portion 2 weakly or when the flexibility of the propagating portion 2 is small, the propagating portion 2 is deformed to a small extent.
  • the propagating portion 2 may be deformable due to any factor other than contact with an object, such as a temperature change.
  • the propagation unit 2 internally guides the light emitted by the signal source 3. Specifically, the light incident from the incident surface 7a travels inside the propagating portion 2. Then, the light is guided so that the light is totally reflected by the inner surface of the exposed surface 8.
  • the exposed surface 8 is composed of the entire surface of the propagation portion 2, that is, the upper surface 5, the lower surface 6, and the side surfaces 7a to 7d. That is, the inner side surface of the exposed surface 8 is the inner side surface of the upper surface 5, the inner side surface of the lower surface 6, and the inner side surface of each of the side surfaces 7a to 7d.
  • total reflection of light on the inner surface of the upper surface 5 may be simply expressed as "total reflection of light on the upper surface 5" when viewed from the inner side. That is, the surface on the inner side of the upper surface 5 when viewed from the inner side may be described as the upper surface 5 as it is. The same applies to the lower surface 6 and the side surfaces 7a to 7d.
  • the arrows shown in FIG. 1 schematically show the components of the light guided by the propagating portion 2 that travel while being totally reflected by the upper surface 5 and the lower surface 6.
  • the optical path of the guided light is not limited to this.
  • the light emitted by the signal source 3 is totally reflected at different positions on the upper surface 5, the lower surface 6, and the side surfaces 7a to 7d of the propagation unit 2, and travels inside in different optical paths.
  • the propagation unit 2 guides the light emitted by the signal source 3 while totally reflecting at least a part of the light internally. However, some components of the light emitted by the signal source 3 are scattered without being totally reflected. Whether the light is totally reflected or scattered can be determined by using the refractive index of the propagating portion 2 and the angle of incidence of the light on the inner surface of the exposed surface 8. Specifically, the refractive index of the propagating portion 2 and the refractive index of a substance outside the propagating portion 2 (for example, an object in contact with the exposed surface 8) are used, and are critical according to the snell formula. The angle (the maximum angle of incidence at which scattering occurs) is calculated. When light is incident at an incident angle larger than the critical angle, the light is totally reflected. On the other hand, when light is incident at an incident angle equal to or less than the critical angle, the light is scattered.
  • silicon rubber is used as the material of the propagation portion 2.
  • the refractive index of silicon rubber is about 1.36.
  • the critical angle is about 47 degrees. Therefore, when light is incident at an incident angle larger than this angle, the light is totally reflected. For example, when light is incident on the inner surface of the exposed surface 8 at an incident angle of 50 degrees, the light is totally reflected. On the other hand, when light is incident at an incident angle equal to or less than the critical angle, such as 40 degrees, the light is scattered.
  • the total reflection condition of light also changes depending on the refractive index of the substance outside the propagating portion 2.
  • the refractive index outside the propagation portion 2 is about 1.3 to 1.5 at the contact position. Ascend to.
  • the critical angle increases according to Snell's formula. That is, a phenomenon occurs in which the light that is totally reflected when the object is not in contact is scattered due to the contact of the finger 10. In this way, due to the change in the refractive index due to contact, the total reflection conditions are disrupted, and a large amount of light is scattered. That is, the amount of light (the amount of light guide) guided through the propagating portion 2 is reduced.
  • the total reflection condition also changes depending on the curvature of the propagation portion 2.
  • the curvature of the propagation portion 2 is the curvature of the surface of the propagation portion 2.
  • the state in which the surface is greatly bent corresponds to the state in which the curvature of the propagation portion 2 is high. Further, a state in which the surface is small and bent or is close to a flat surface corresponds to a state in which the curvature of the propagation portion 2 is low.
  • the incident angle of light incident on the inner surface of the exposed surface 8 changes as the curvature of the propagating portion 2 changes.
  • the incident angle of light before the curvature changes is larger than the critical angle, but the incident angle after the curvature changes becomes less than or equal to the critical angle. In this case, the light that was originally totally reflected is scattered due to the change in curvature.
  • the change in curvature causes the total reflection condition to collapse and the amount of light guide to decrease.
  • the light emitted by the signal source 3 is waved through the inside of the propagation unit 2 while repeating total reflection and scattering, but due to the change in the refractive index and the change in the curvature of the light, the light is transmitted.
  • the total reflection condition is broken and the amount of light guide is reduced.
  • the state of light waveguide changes.
  • the state of the light waveguide changes due to both factors of the change in the refractive index and the change in the curvature.
  • the light guided inside the propagation unit 2 is emitted from the side surface 7c of the propagation unit 2.
  • the side surface 7c from which the light guided inside the propagation unit 2 is emitted may be referred to as an emission surface 7c using the same reference numerals.
  • the exit surface 7c is a surface facing the entrance surface 7a.
  • the sensor 4 detects the light guided by the propagation unit 2.
  • the sensor 4 is arranged at a position where the reflected light reflected by the inner surface of the exposed surface 8 can be detected. Specifically, as shown in FIG. 1, the sensor 4 is arranged so as to face the exit surface 7c of the propagation unit 2. When the light emitted from the exit surface 7c is incident on the sensor 4, the light is detected by the sensor 4.
  • any device capable of detecting light is used as the sensor 4.
  • a PD Photo Diode
  • a pyroelectric sensor or the like can be used as the sensor 4.
  • the specific configuration for detecting light is not limited, and any configuration may be adopted.
  • the sensor 4 detects the amount of light guided by the propagation unit 2.
  • the amount of light can also be referred to as the intensity of light.
  • the amount of light is output to a generation unit described later as a detection result.
  • the sensor 4 When a radio wave is emitted as a signal, an arbitrary device capable of detecting the radio wave is used as the sensor 4.
  • the specific configuration for detecting radio waves is not limited, and any configuration may be adopted.
  • the sensor 4 detects, for example, the intensity of the radio wave guided by the propagation unit 2.
  • any device capable of detecting various electromagnetic waves may be used as the sensor 4.
  • the sensor 4 corresponds to an embodiment of a detection unit according to the present technology.
  • the controller 1 controls the operation of each block included in the UI device 100.
  • the controller 1 has hardware necessary for configuring a computer such as a CPU, ROM, RAM, and HDD. For example, when the CPU loads and executes a program related to the present technology recorded in advance in a ROM or the like into a RAM, processing related to the shape control method according to the present technology is executed.
  • a PLD such as FPGA or another device such as ASIC may be used.
  • any computer such as a PC (Personal Computer) may function as the controller 1.
  • the CPU executes a predetermined program to configure the generation unit 11 as a functional block.
  • the program is installed in the UI device 100 via, for example, various recording media. Alternatively, the program may be installed via the Internet or the like.
  • the type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any non-transient storage medium that can be read by a computer may be used.
  • the generation unit 11 generates information regarding the deformation of the propagation unit 2 based on the detection result of the sensor 4. That is, the detection result output by the sensor 4 is acquired by the generation unit 11, and the information regarding the deformation of the propagation unit 2 is generated based on the detection result.
  • the information regarding the deformation of the propagation unit 2 will be referred to as deformation-related information.
  • the deformation-related information includes arbitrary information regarding the deformation of the propagation unit 2.
  • variations of the deformation-related information generated by the generation unit 11 will be described.
  • the deformation-related information that is, the information regarding the deformation of the propagation unit 2 includes at least one of the information regarding the shape of the propagation unit 2 and the contact state of the object in contact with the propagation unit 2.
  • the shape of the propagation portion 2 for example, information such as the position where the propagation portion 2 is deformed, the curvature of the deformed portion, and the degree of deformation is generated.
  • the shape of the propagation unit 2 generated by the generation unit 11 is not limited.
  • the following information is generated. Presence or absence of an object in contact with the propagation part 2 Position of the object in contact with the propagation part 2 Number of objects in contact with the propagation part 2 Size of the object in contact with the propagation part 2 Movement of the object in contact with the propagation part 2 Contact with the propagation part 2 The shape of the object that came into contact with the propagating part 2 The type of the object that came into contact with the propagating part 2 The contact area with the object that came into contact with the propagating part 2 The force applied by the object that came into contact with the propagating part 2 The shape of the contact surface with the object that came into contact with the propagating part 2 Propagating part 2 Optical properties of the object in contact with the information regarding the proximity of the object to the propagating portion 2 Of course, the information is not limited to this information.
  • the object that comes into contact with the propagation unit 2 is, for example, a user's finger 10.
  • the present invention is not limited to this, and includes
  • the generation unit 11 generates at least one of the information regarding the shape of the exposed surface 8 and the contact state of the object in contact with the exposed surface 8 based on the detection result of the sensor 4.
  • the information regarding the deformation of the exposed surface 8 is, of course, the information regarding the deformation of the propagation portion 2. Therefore, the information regarding the deformation of the exposed surface 8 can be referred to as the deformation-related information.
  • the deformation-related information includes arbitrary information regarding the deformation of the exposed surface 8.
  • the generation unit 11 generates at least one of information regarding the shape of the exposed surface 8 and the contact state of an object in contact with the exposed surface 8.
  • the shape of the exposed surface 8 for example, information such as a bent position of the exposed surface 8 and the curvature of the bent place is generated.
  • the shape of the exposed surface 8 generated by the generation unit 11 is not limited.
  • the following information is generated. Presence or absence of objects in contact with exposed surface 8 Position of objects in contact with exposed surface 8 Number of objects in contact with exposed surface 8 Size of objects in contact with exposed surface 8 Movement of objects in contact with exposed surface 8 Contact with exposed surface 8 Shape of the object that came into contact with the exposed surface 8 Type of object that came into contact with the exposed surface 8 Contact area with the object that came into contact with the exposed surface 8 Force applied from the object that came into contact with the exposed surface 8 Shape of the contact surface with the object that came into contact with the exposed surface 8 Exposed surface 8 Optical properties of the object in contact with the information on the proximity of the object to the exposed surface 8 Of course, it is not limited to this information.
  • each generated information is not limited to these, and arbitrary information may be generated.
  • the presence / absence of an object in contact with the exposed surface 8 for example, two types of information of "yes" and "no" are generated depending on the presence / absence of contact.
  • the position of the object in contact with the exposed surface 8 for example, the coordinate system is defined in advance with respect to the exposed surface 8, and the coordinates of the position where the object is in contact are generated.
  • the number of objects in contact with the exposed surface 8 the number of objects in contact with the exposed surface 8 is generated, for example, "0", "1", "2", and the like.
  • the size of the object in contact with the exposed surface 8 for example, the volume or weight of the contacted object is generated.
  • the movement of the object in contact with the exposed surface 8 for example, when the object is a finger 10, the movement of the finger 10 such as tracing, pinching, stroking, tilting, turning, shifting, and pinching is generated as information. Further, for example, the direction of tracing, the speed of tracing, and the like may be generated. Further, for example, the position of the contacted object may be associated with the time, and information such as when and where the object was located may be generated. As the shape of the object in contact with the exposed surface 8, the shape of the object such as "quadrangle", "circle", and "star” is generated.
  • the type of the object in contact with the exposed surface 8 for example, "thumb”, “pencil”, “banana”, etc., what the contacted object is specifically is generated as information.
  • classifications and types of objects such as "human body” and "metal” may be generated.
  • the contact area with the object in contact with the exposed surface 8 for example, a specific numerical value indicating the area of the contact surface is generated.
  • the force applied from the object in contact with the exposed surface 8 for example, the magnitude and direction of the force received by the exposed surface 8 from the object are generated. Also, the pressure received from the object may be generated.
  • the shape of the contact surface with the object in contact with the exposed surface 8 for example, the shape of the contact surface such as "quadrangle" or "circular” is generated.
  • the refractive index of the object such as "1.3" is generated.
  • the color of the object is also included in the optical properties generated by the generation unit 11.
  • the distance between the exposed surface 8 and the object is generated. Further, the velocity at which the object approaches the exposed surface 8 may be generated.
  • information corresponding to a plurality of the above may be generated.
  • information is generated that corresponds to both the number of objects and the shape of the objects, such as "two objects are in contact with the exposed surface 8, one is a rectangle and the other is a circle". You may.
  • the information regarding the contact state of the object generated by the generation unit 11 is not limited.
  • the generation unit 11 can generate at least one of the information regarding the shape of the contact target surface 9 and the contact state of the object in contact with the contact target surface 9 based on the detection result of the sensor 4.
  • the information regarding the contact state of the object in contact with the contact target surface 9 for example, it is possible to generate the same information as the information regarding the contact state of the object in contact with the exposed surface 8. That is, for each of the above information, it is possible to generate information in which the "exposed surface" is replaced with the "contact target surface".
  • the generation unit 11 generates information regarding the deformation of the propagation unit 2 based on the detected amount of light detected by the sensor 4. Specifically, deformation-related information is generated based on the amount of light detected by the sensor 4. Of course, information on the deformation of the propagation unit 2 may be generated based on the detected amount of electromagnetic waves other than light. In this case, deformation-related information is generated based on, for example, the intensity of electromagnetic waves detected by the sensor 4.
  • the generation unit 11 generates information regarding the deformation of the propagation unit 2 based on at least one of a change with respect to a predetermined reference or a temporal change in the amount of light detected by the sensor 4.
  • deformation-related information is generated based on a change with respect to a predetermined reference
  • a reference value for the amount of light is determined in advance.
  • deformation-related information is generated based on the changed value (difference between the changed value and the reference value). For example, as described above, when an object comes into contact with the propagating portion 2, the amount of light guided by the light decreases due to both factors of a change in the refractive index and a change in the curvature.
  • the amount of light emitted from the exit surface 7c to the sensor 4 is reduced, and the amount of light detected by the sensor 4 is also reduced.
  • deformation-related information is generated based on the amount of reduction. For example, when the change in the amount of light with respect to the reference is large, deformation-related information such as "the propagation unit 2 is greatly deformed” is generated. Further, when the change in the amount of light with respect to the reference is small, deformation-related information such as "the propagation unit 2 is slightly deformed” is generated.
  • arbitrary deformation-related information may be generated based on changes with respect to a predetermined standard.
  • the amount of light at a certain time is set as a reference value.
  • the deformation-related information is generated based on the time at which the light amount is reduced and how much the light amount is reduced, that is, the information associated with the change in the light amount and the time. For example, when the amount of light changes suddenly, that is, when the amount of light changes significantly in a short time, deformation-related information such as the propagation portion 2 being deformed quickly is generated. Further, when the amount of light changes over a long period of time, deformation-related information such that the propagation unit 2 is slowly deformed is generated. In addition, arbitrary deformation-related information may be generated based on changes over time.
  • the method of calculating the deformation-related information is not limited.
  • the generation unit 11 generates information regarding the deformation of the propagation unit 2 according to a predetermined learning algorithm.
  • a predetermined learning algorithm For example, an arbitrary machine learning algorithm using DNN (Deep Neural Network) or the like may be used.
  • DNN Deep Neural Network
  • AI artificial intelligence
  • deep learning deep learning
  • a machine learning algorithm using a neural network such as RNN (Recurrent Neural Network), CNN (Convolutional Neural Network), MLP (Multilayer Perceptron) is used.
  • RNN Recurrent Neural Network
  • CNN Convolutional Neural Network
  • MLP Multilayer Perceptron
  • any machine learning algorithm that executes supervised learning method, unsupervised learning method, semi-supervised learning method, reinforcement learning method, etc. may be used.
  • the controller 1 is provided with a learning unit and an identification unit (not shown).
  • the learning unit performs machine learning based on the input information (learning data) and outputs the learning result.
  • the identification unit identifies (determines, predicts, etc.) the input information based on the input information and the learning result.
  • a neural network or deep learning is used as a learning method in the learning unit.
  • a neural network is a model that imitates a human brain neural circuit, and is composed of three types of layers: an input layer, an intermediate layer (hidden layer), and an output layer.
  • Deep learning is a model that uses a multi-layered neural network, and it is possible to learn complex patterns hidden in a large amount of data by repeating characteristic learning in each layer.
  • Deep learning is used, for example, to identify objects in images and words in sounds. Of course, it can also be applied to the calculation of the deformation-related information according to the present embodiment. Further, as a hardware structure for realizing such machine learning, a neurochip / neuromorphic chip incorporating the concept of a neural network can be used.
  • machine learning problem setting includes supervised learning, unsupervised learning, semi-supervised learning, reinforcement learning, reverse reinforcement learning, active learning, transfer learning, and the like.
  • supervised learning features are learned based on given labeled learning data (teacher data). This makes it possible to derive labels for unknown data.
  • unsupervised learning a large amount of unlabeled learning data is analyzed to extract features, and clustering is performed based on the extracted features. This makes it possible to analyze trends and predict the future based on a huge amount of unknown data.
  • semi-supervised learning is a mixture of supervised learning and unsupervised learning. After learning features in supervised learning, a huge amount of training data is given in unsupervised learning, and the features are automatically characterized.
  • the controller 1 can also generate virtual sensing data. For example, the controller 1 can predict another sensing data from one sensing data and use it as input information, such as generating position information from the input image information. Further, the controller 1 can also generate another sensing data from a plurality of sensing data.
  • the controller 1 can predict necessary information and generate predetermined information from the sensing data. Further, an arbitrary learning algorithm or the like different from machine learning may be used. By calculating the deformation-related information according to a predetermined learning algorithm, it is possible to improve the calculation accuracy of the deformation-related information.
  • the application of the learning algorithm may be executed for any process in the present disclosure.
  • the generation of deformation-related information is not limited to the case where a learning algorithm is used.
  • the generation unit 11 uses a Lookup table, a function, or a monotonically decreasing model to generate information about the contact state of an object in contact with the propagation unit 2.
  • a look-up table is a data structure such as an array or an associative array created to improve efficiency by replacing complicated calculation processing with simple array reference processing. For example, when a computer is to perform a process that imposes a heavy burden, data that can be calculated is calculated in advance, and the value is saved in an array (look-up table). By extracting the target data from the array instead of performing the calculation each time, the computer can reduce the calculation load and perform the processing efficiently.
  • the detected value of the amount of light by the sensor 4 and the deformation-related information are associated with each other and recorded in advance as a look-up table.
  • the generation unit 11 can generate deformation-related information by referring to a look-up table and extracting various deformation-related information using the amount of light detected by the sensor 4. By using the lookup table, it is possible to generate transformation-related information with high accuracy. In addition, efficient generation processing can be realized.
  • a function may be used to generate transformation-related information.
  • a function in which the detected value of the amount of light by the sensor 4 and the deformation-related information are associated with each other is prepared in advance.
  • a function is prepared in which the detected value of the amount of light and the number of contacting objects are associated with each other.
  • the generation unit 11 can calculate the number of contact objects by substituting the detected amount of light into the function. By using the function, it is possible to generate transformation-related information with high accuracy. In addition, efficient generation processing can be realized.
  • a monotonically decreasing model may be used to generate deformation-related information.
  • the monotonically decreasing model is a model in which the contact area of an object and the contact strength (for example, the amount of force or pressure) decrease or do not change when the sensor value (light receiving amount) increases. That is, it is a model in which the contact area and strength do not increase.
  • the model can be said to be a monotonically decreasing model.
  • the look-up table is referred to based on the amount of light received and the contact area and strength are calculated, if the area and strength always decrease or do not change as the amount of light received increases, It can be said that the look-up table is a monotonically decreasing model.
  • the above relational expression is constructed, for example, by measuring the amount of received light in a state where the area and strength are known in advance.
  • a relational expression may be constructed by simulation or theoretical calculation.
  • the contact area and strength corresponding to one sensor value are fixed to one (that is, the relational expression becomes injective).
  • the relational expression becomes injective
  • deformation-related information by statistical processing, arbitrary analysis processing, or the like.
  • statistical processing is executed on the detection result.
  • statistical processing is executed for a plurality of detection results (detected at a predetermined detection rate) detected in time series. This makes it possible to generate deformation-related information.
  • various detection results or detection result series) using minimum value, maximum value, mean value, mode (mode), median (median value), deviation, variance value, and the like. Processing can be mentioned. Alternatively, these values can be used properly. For example, it is possible to detect a failure based on an outlier of the detection result.
  • the user can input various operations by using the UI device 100 as a deformable interface.
  • the specific method of generating the deformation-related information by the generation unit 11 is not limited, and the deformation-related information may be generated by any method.
  • FIG. 5 is a flowchart showing an operation example of the UI device 100.
  • the UI device 100 generates deformation-related information.
  • the example shown in FIG. 5 corresponds to an embodiment of the shape control method according to the present technology.
  • the signal source 3 emits light to the incident surface 7a of the propagation unit 2 (step 101).
  • the timing of emitting light is not limited. For example, light may be continuously emitted at a predetermined interval (detection rate). Alternatively, light may be emitted when a predetermined trigger signal is received.
  • the signal is detected by the sensor 4 (step 102). Specifically, the light emitted in step 101 is incident on the propagation unit 2, guided inside the propagation unit 2, and emitted from the emission surface 7c. The emitted light is detected by the sensor 4.
  • the timing of detecting light that is, the timing of outputting the detection result by the sensor 4 is not limited.
  • the detection result may be output at a timing synchronized with the emission of the signal source 3.
  • the detection results may be continuously output at predetermined intervals (detection rate).
  • the detection result may be output when a predetermined trigger signal is received.
  • Deformation-related information is generated by the controller 1 (step 103). Specifically, the detection result is acquired by the generation unit 11 as a functional block. The generation unit 11 generates deformation-related information based on the detection result.
  • the generated transformation-related information can be arbitrarily used as input information from the user. For example, it is possible to determine or estimate various operations of the user on the propagation unit 2 based on the input information (transformation-related information) from the user. For example, based on the deformation-related information, it is determined that the operation is a pushing operation of the central portion by one index finger. Alternatively, it is determined that the knob operation is performed with two thumbs and the index finger. Such a determination is possible. It is also possible to generate operation contents such as a pushing operation and a knob operation as deformation-related information. Further, based on the input information (transformation-related information) from the user, the cooperative processing with other senses such as sight and hearing is executed, and it is also possible to present it as feedback to the user.
  • the room light is turned on in response to the operation of pushing the central portion of the exposed surface 8 with one finger (one object).
  • the buzzer placed in the room sounds in response to the operation of pinching the exposed surface 8 with two fingers (two objects). It is possible to realize such various examples.
  • the UI device 100 can be configured as a keyboard for a piano or a keyboard. For example, it is possible to determine whether or not the user is pressing with the correct finger with the correct operation from the viewpoint of improving the technique, based on the deformation-related information generated in response to the user's pressing operation on the keyboard. For example, the size, shape, movement, etc. of the contact object are generated as deformation-related information.
  • the controller 1 executes collation between the deformation-related information and the data set held in advance. This makes it possible to determine the individual identification of the user, which finger it is, and whether it is the correct operation. Of course, machine learning or the like may be used. For example, by feeding back the determination result to the user, it is possible to improve the technique of pressing a finger on a piano, keyboard, or the like. Guide information and the like for improving the procedure may be presented to the user.
  • the UI device 100 can be configured as a pillow.
  • a pillow For example, it is possible to acquire information such as a human part, the size of the whole body, a shape, and a posture based on the deformation-related information generated in response to the pressing motion when the user's pillow is used.
  • the size, shape, movement, etc. of the contact object are generated as deformation-related information.
  • the controller 1 executes collation between the deformation-related information and the data set held in advance. This makes it possible to identify the individual user, determine which body part it is, and whether it is in the correct sleeping phase. Of course, machine learning or the like may be used.
  • the present technique can be applied not only to pillows but also to furniture such as sofas and beds on which the user sits or lays down.
  • the UI device 100 By configuring the UI device 100 as a sofa or a bed, it is possible to acquire information on the contact state of the body, and it is possible to improve the usability and the like. It is possible to realize such various examples.
  • the movement / displacement of other devices or mechanisms may be detected based on the deformation-related information. In this case, it may be called by a different name from the UI device. Conversely, it is also possible to apply the present technique to a device different from the UI device 100.
  • FIG. 6 and 7 are side views of the UI device 100 including the holding portion as viewed from the side.
  • the UI device 100 includes a propagation unit 2, a signal source 3, two sensors 4, a controller 1 (not shown), and a support member 14.
  • the description of the configuration of the propagation unit 2 and the signal source 3 and the like will be omitted with respect to the same contents as those of the embodiment shown in FIG.
  • the propagation portion 2 has a curved surface shape as an overall shape. Specifically, as in the embodiment shown in FIG. 1, the propagation portion 2 is composed of the upper surface 5, the lower surface 6, and the side surfaces 7a to 7d. The propagation portion 2 has a curved surface shape such that the center of the upper surface 5 and the center of the lower surface 6 are bent downward. Further, a recess 15 for arranging the signal source 3 is formed in the center of the lower surface 6. That is, a dent protruding downward is formed.
  • the signal source 3 emits light. As shown in FIG. 6, in the present embodiment, the signal source 3 is arranged in the recess 15 formed in the center of the lower surface 6 of the propagation portion 2. When the light is emitted by the signal source 3, the light is guided inside the propagation unit 2 and travels toward the side surface 7a and the side surface 7c of the propagation unit 2 while repeating reflection and scattering.
  • the two sensors 4 detect the light guided by the propagation unit 2.
  • the side surface 7a and the side surface 7c are the exit surfaces of the propagation unit 2.
  • the two sensors 4 are arranged so as to face each emission surface.
  • the support member 14 holds the propagation portion 2 in a deformable manner. Specifically, the support member 14 is connected to the propagation portion 2, forms a deformable space along the propagation portion 2 with the propagation portion 2, and makes the propagation portion 2 deformable through the space. Hold.
  • the support member 14 has a lower surface 16 and four side surfaces 17a to 17d. That is, the support member 14 has a box-like shape with an opening at the top. The side surface 17b and the side surface 17d are not shown.
  • a space S surrounded by the lower surface 16, the side surfaces 17a to 17d, and the propagation portion 2 of the support member 14 is formed. ..
  • the method of connecting the propagation portion 2 to the support member 14 is not limited, and any method such as adhesion may be used. Since the propagation portion 2 itself is configured to be deformable, the space S becomes a space that can be deformed along the propagation portion 2.
  • the space S can be freely deformed according to the deformation of the propagation portion 2.
  • the space S is also deformed into a shape in which the upper portion is pushed in conjunction with it.
  • the support member 14 holds the propagation portion 2 deformably through the space.
  • the propagation unit 2 can be deformably fixed on the UI device 100.
  • the support member 14 may be made of any material.
  • the support member 14 is made of a highly rigid material so that the propagation unit 2, the signal source 3, and the sensor 4 can be supported.
  • the support member 14 corresponds to one embodiment of the holding portion according to the present technology.
  • the propagating portion 2 is held by the elastic body.
  • the elastic body is made of a material having both flexibility and elasticity, such as gel, sponge, and rubber.
  • the elastic body is made of, for example, a material having flexibility enough to be pushed by a human finger.
  • the type of elastic body is not limited, and the elastic body may be made of any material having flexibility and elasticity.
  • the elastic body has flexibility and abuts on the propagating portion 2. As shown in FIG. 7, the propagation portion 2 is brought into contact with the upper side of the elastic body 20. Since the elastic body 20 has flexibility and the propagation portion 2 itself is also deformable, the propagation portion 2 in contact with the elastic body 20 can also be deformed. For example, since the elastic body 20 has flexibility enough to be pushed by a human finger, the propagating portion 2 can also be deformed by being pushed by a finger. Therefore, the propagation portion 2 is held deformably by the elastic body 20.
  • the elastic body 20 corresponds to one embodiment of the holding portion according to the present technique.
  • the fluid may be held in the space S by the support member 14 and the propagation portion 2.
  • the propagation portion 2 is connected to the upper portion of the support member 14, and the fluid flows into the space S surrounded by the lower surface 16, the side surfaces 17a to 17d, and the propagation portion 2 of the support member 14. Be retained.
  • the fluid can also be freely deformed according to the deformation of the propagation unit 2. This makes it possible to hold the propagation unit 2 while affecting the tactile sensation of the propagation unit 2 by the fluid. For example, by using a highly viscous fluid, the tactile sensation of the propagating portion 2 becomes hard. On the contrary, by using a fluid having a low viscosity, the tactile sensation of the propagation portion 2 becomes soft.
  • the fluid for example, air, water, magnetic fluid, or the like is held. Of course, other gases, fluids and the like may be retained.
  • the propagating unit 2 is deformed by the driving unit.
  • the drive unit pulls the side surfaces 7a to 7d of the propagation unit 2 outward, and the propagation unit 2 is deformed into a shape close to a plane. Further, when the side surfaces 7a to 7d are pushed inward, the propagation portion 2 is bent and deformed into a shape having a high curvature.
  • a dielectric elastomer is used as the drive unit.
  • Dielectric elastomers are elastomers that generate greater strain due to the electric field. It can directly convert electrical energy into kinetic energy and is often used in techniques such as artificial muscles.
  • a voltage to the dielectric elastomer By applying a voltage to the dielectric elastomer, the electrodes can be pulled together and crushed between the electrodes to be deformed.
  • a mechanism such as a motor or a piezoelectric element is included in the drive unit.
  • any mechanism capable of deforming the propagation unit 2 may be adopted as the drive unit.
  • the propagation unit 2 may be deformable by controlling the fluid by the drive unit.
  • 8A and 8B are side views of the UI device 100 including the fluid control mechanism as viewed from the side.
  • FIG. 8A shows a state in which the propagation portion 2 is not deformed.
  • FIG. 8B shows a state in which the propagation portion 2 is deformed so as to swell due to fluid control.
  • the UI device 100 includes a propagation unit 2, a signal source 3, two sensors 4, a controller 1, a support member 14, and a fluid control mechanism 23.
  • the support member 14 is connected to the propagation portion 2, and the fluid 24 is held in the space S surrounded by the support member 14 and the propagation portion 2.
  • the side surface 17c of the support member 14 is provided with an opening 25 for inserting the fluid control mechanism 23.
  • the opening 25 may be formed on only one side surface of the support member 14, or may be formed on a plurality of side surfaces.
  • the fluid control mechanism 23 can deform the propagation unit 2 by controlling the flow of the fluid 24 held by the propagation unit 2 and the support member 14.
  • the fluid control mechanism 23 can allow the fluid 24 to flow into the space formed by the propagation portion 2 and the support member 14 through the outflow port 27 formed in the base portion 26.
  • the outflow port 27 is inserted into the opening 25 formed on the side surface of the holding portion.
  • the fluid 24 held by the propagation unit 2 and the support member 14 can be discharged to the outside of the UI device 100 via the fluid control mechanism 23.
  • a water pipe and a drain pipe (not shown) are connected to the base portion 26, and a fluid can be supplied and discharged from another fluid holding space for holding the fluid to flow into the UI device 100. ..
  • the specific configuration of the fluid control mechanism 23 is not limited, and may be arbitrarily designed.
  • any actuator mechanism may be employed to realize the inflow and outflow of the fluid 24.
  • pumps such as vacuum pumps, compressors, blowers, blowers, impellers and other devices can be used.
  • the space held by the support member 14 and another fluid holding space may be communicated with each other via the valve mechanism.
  • the valve mechanism includes any device capable of controlling the flow path resistance between the two spaces (the resistance is minimal when the valve is most open and infinite when the valve is closed). ..
  • the valve mechanism is controlled to reduce the flow path resistance (open the valve) in a state where a pressure difference is generated between the space S held by the support member 14 and the other fluid holding space.
  • An actuator mechanism such as a pump or a compressor may be used to create a pressure difference with another fluid holding space.
  • another fluid holding space may be formed in a part of a pump, a compressor, or the like.
  • the fluid control mechanism for outflow and the fluid control mechanism for inflow may be separately configured, and the control of the fluid 24 may be executed by each fluid control mechanism.
  • the outflow fluid control mechanism has an outflow port and a water pipe, and executes the inflow of the fluid 24 into the space S.
  • the fluid control mechanism for inflow has an inflow port and a drainage pipe, and executes the outflow of the fluid 24 to the outside of the UI device 100.
  • the specific configuration such as the number of fluid control mechanisms 23 is not limited.
  • the fluid control mechanism 23 can deform the propagation portion 2 by controlling at least one of the amount of the fluid 24 held by the support member 14 and the pressure of the fluid 24 held by the support member 14. For example, the inflow amount, inflow speed, inflow timing, etc. of the fluid 24, the outflow amount, outflow speed, outflow timing, etc. of the fluid 24 are appropriately controlled, and these are appropriately combined.
  • FIG. 8B shows a state in which the propagation portion 2 is expanded due to the inflow of the fluid 24.
  • fluid control for example, such deformation of the propagation unit 2 is realized.
  • various deformation modes such as contraction of the propagation portion 2, expansion / contraction of only a part of the propagation portion 2, and movement of rippling the propagation portion 2 can be realized.
  • the propagation unit 2 can be deformed with a high degree of freedom by holding the fluid and controlling the fluid.
  • the driving unit can further deform the propagation unit 2 based on the information regarding the deformation of the propagation unit 2 generated by the generation unit 11. For example, since the propagating portion 2 is lightly struck in a deflated state, it is possible to expand the propagating portion 2 to make it larger. In this case, a force is applied to the upper side by the drive unit with respect to the pierced portion. As a result, the propagation portion 2 is deformed so that the pushed portion returns to its original shape. Further, for example, the shape of the propagation portion 2 on which the image of the character or the UI button is projected can be transformed into a desired shape. For example, the propagation unit 2 is deformed so as to approach the shape corresponding to the video information that the user is viewing. It is possible to realize such various examples.
  • the control unit 28 as a functional block is configured as shown in FIGS. 8A and 8B.
  • the control unit 28 acquires the deformation-related information generated by the generation unit 11 and controls the operation of various mechanisms capable of deforming the propagation unit 2. That is, the drive unit is realized by the control unit 28 and a mechanism such as a dielectric elastomer.
  • the method of deforming the propagation unit 2 based on the deformation-related information and the shape of the propagation unit 2 to be deformed.
  • the propagation unit 2 may be deformed by controlling the fluid 24 based on the deformation-related information.
  • the control unit 28 acquires the deformation-related information generated by the generation unit 11 and controls the operation of the fluid control mechanism 23. That is, the fluid control mechanism 23 corresponds to one embodiment of the drive unit according to the present technology.
  • FIG. 9 is a flowchart showing an operation example related to the deformation drive of the UI device 100.
  • the example shown in FIG. 9 also corresponds to an embodiment of the shape control method according to the present technology.
  • Steps 201 and 202 are similar to steps 101 and 102 shown in FIG.
  • Deformation-related information is generated by the controller 1 (step 203). Specifically, the detection result is acquired by the generation unit 11 as a functional block. The generation unit 11 generates deformation-related information based on the detection result. The generated deformation-related information is output to the control unit 28.
  • the control unit 28 determines whether or not the propagation unit 2 needs to be deformed based on the deformation-related information (step 204). Specifically, the deformation-related information generated by the generation unit 11 is acquired by the control unit 28. The control unit 28 determines whether or not the propagation unit 2 needs to be deformed based on the acquired deformation-related information. When the propagation unit 2 needs to be deformed, it is determined what kind of deformation is to be executed.
  • the control unit 28 controls the deformation of the propagation unit 2 (step 205). That is, the operation of the dielectric elastomer, the fluid control mechanism 23, and the like is controlled by the control unit 28. As a result, the propagation unit 2 is deformed. [Tactile presentation]
  • the driving unit can further deform the propagating unit 2 so that a predetermined tactile sensation is presented to the user who comes into contact with the propagating unit 2.
  • the propagating portion 2 is expanded or contracted according to the user's pushing operation (operation) to give a momentary compression stimulus or vibration stimulus to give an operation feeling of pressing reliably.
  • the propagation unit 2 is expanded or contracted according to the user's long-pressing operation (operation) to give a continuous compression stimulus or vibration stimulus, giving an operation feeling of being pressed reliably.
  • the propagation unit 2 is expanded and repelled because the user pushes it strongly, or the propagation unit 2 is contracted because the user pinches it strongly.
  • the specific content and method of tactile presentation by the UI device 100 are not limited.
  • the UI device 100 corresponds to one embodiment of the tactile presentation device according to the present technology.
  • the propagation unit 2 may be deformed and the tactile sensation may be presented.
  • the feeling of being pushed by flowing the fluid 24 in a state where the user is in contact with the propagation unit 2.
  • by letting the fluid 24 flow out it is possible to encourage further pushing of the finger or the like or to move the finger or the like.
  • tactile presentation using the pressure of the fluid 24 is possible, so that a mechanism for tactile presentation can be easily configured.
  • fluid retention and fluid control make it possible to present a feeling of softness and shape with a high degree of freedom.
  • FIG. 10 is a flowchart showing an operation example related to the tactile presentation of the UI device 100.
  • Steps 301 to 303 are the same as steps 201 to 203 shown in FIG.
  • the control unit 28 determines whether or not tactile presentation is necessary based on the deformation-related information (step 304). Specifically, the deformation-related information generated by the generation unit 11 is acquired by the control unit 28. The control unit 28 determines whether or not tactile presentation is necessary based on the acquired deformation-related information. When tactile presentation is required, it is determined what kind of deformation of the propagation unit 2 is to be performed for tactile presentation.
  • control unit 28 controls the deformation of the propagation unit 2 so that a predetermined tactile sensation is presented to the user (step 305).
  • a state sensor may be provided in the UI device 100 to acquire at least one of the volume of the elastic body 20, the force applied to the elastic body 20, the pressure of the elastic body 20, or the shape of the elastic body 20.
  • a state sensor is configured by a pressure sensor configured by MEMS (Micro Electro Mechanical Systems) or the like, and the pressure of the elastic body 20 is acquired.
  • a force sensor or the like acquires the force applied to the elastic body 20.
  • the status sensor is arranged at an appropriate position on the UI device 100 in order to acquire various information. Specific numerical values are obtained as the volume and pressure of the elastic body 20.
  • the force applied to the elastic body 20 for example, the magnitude and direction of the force, or the position (point of action) to which the force is applied is acquired.
  • the shape of the elastic body 20 a specific shape of the elastic body such as a "rectangular cuboid" or a "sphere” is acquired.
  • the state sensor corresponds to one embodiment of the elastic body sensor unit according to the present technique. It should be noted that a plurality of pieces of information illustrated above may be acquired.
  • the volume of the fluid 24 and the pressure of the fluid 24 may be acquired by the state sensor.
  • the volume and pressure of the fluid 24 are acquired as specific numerical values by a pressure sensor, a force sensor, or the like.
  • the state sensor corresponds to one embodiment of the fluid sensor unit according to the present technology.
  • the control unit 28 can execute the deformation drive of the propagation unit 2 and the tactile presentation by the deformation of the propagation unit 2 based on the information acquired by the state sensor.
  • the deformation drive and the tactile presentation of expanding the propagation unit 2 in response to the user's push operation (operation) with respect to the propagation unit 2 can be executed based on the deformation-related information, but is acquired by the state sensor.
  • the deformation drive and tactile presentation are also possible by using the provided information. Specifically, when the propagation portion 2 is pushed in, a force acts on the elastic body 20. Then, the force applied to the elastic body 20 by the state sensor is acquired as state information indicating the state of the elastic body 20. When the state information is acquired by the state sensor, the state information is output to the control unit 28.
  • the control unit 28 acquires the output state information, and based on the state information, executes the deformation drive of the propagation unit 2 and the tactile presentation by the deformation of the propagation unit 2. In this way, various operations as illustrated in the description of the deformation drive and the tactile presentation are executed based on the information acquired by the state sensor.
  • state information is generated by the state sensor at the portion corresponding to step 203. Further, in step 204, the control unit acquires the state information, determines whether or not the propagation unit 2 needs to be deformed, and if the deformation is necessary, determines what kind of deformation is to be executed. Since the operations in the other steps are the same, the description thereof will be omitted. The same applies to the flowchart of tactile presentation shown in FIG.
  • the state of the elastic body 20 or the fluid 24 is acquired by the state sensor. This makes it possible to accurately sense the state of the elastic body 20 or the fluid 24. Further, based on the information acquired by the state sensor, the deformation drive of the propagation unit 2 and the tactile presentation by the deformation of the propagation unit 2 are executed. This makes it possible to perform deformation drive and tactile presentation with high accuracy. For example, it is possible to sense whether or not a desired tactile sensation can be given to the user.
  • both the generation of the deformation-related information by the generation unit 11 and the acquisition of the state information by the state sensor may be executed.
  • the deformation-related information is "the contact area of the object in contact with the propagation unit 2 is this size.
  • the contact area and the magnitude of the force are related, such as "the force applied from the object is this magnitude", but information that cannot be determined for each can be generated. This is because, for example, the generation unit 11 generates deformation-related information based only on the decrease in the amount of light guide.
  • information in which the contact area and the force magnitude are associated with each other is generated as deformation-related information, and further, each of the contact area and the force magnitude is generated as independent information based on the information and the state information. Will be done. Further, both the deformation-related information generated by the generation unit 11 and the state information acquired by the state sensor may be used for the deformation drive and the tactile presentation. This makes it possible to realize high-quality deformation drive and tactile presentation.
  • the UI device 100 may have a plurality of signal sources 3 that emit light. Further, the UI device 100 may have a plurality of sensors 4 for detecting the emitted light. By arranging the plurality of signal sources 3, it is possible to inject strong light over a wide range, for example, on the propagation unit 2. Further, by arranging the plurality of sensors 4, the generation unit 11 can generate deformation-related information based on the plurality of detection results. This makes it possible to generate deformation-related information with high accuracy.
  • 11 to 13 are schematic views showing variations in the arrangement configuration of the signal source 3 and the sensor 4. Each figure is a top view of the UI device 100 as viewed from above.
  • the UI device 100 has a plurality of sets of a signal source 3 and a sensor 4 for detecting the light emitted by the signal source 3.
  • the line segments connecting the signal source 3 and the sensor 4 in each set are parallel to each other facing the left-right direction when the UI device 100 is viewed from above. That is, the signal source 3 and the sensor 4 are arranged so that the optical paths of the light emitted from the signal source 3 and detected by the sensor 4 are parallel to each other.
  • the signal sources 3 in each set are arranged at equal intervals, and the sensors 4 in each set are arranged at equal intervals equal to the intervals of the signal sources 3.
  • the specific arrangement configuration is not limited, such as the distance between the signal sources 3, the distance between the sensors 4, the distance between the signal source 3 and the sensor 4, the number of the signal source 3 and the sensor 4.
  • the set of the signal source 3 and the sensor 4 that detects the light emitted by the signal source 3 corresponds to one embodiment of the first set according to the present technique.
  • the left-right direction when the UI device 100 is viewed from above corresponds to one embodiment of the first direction according to the present technology.
  • the interval between the signal sources 3 and the interval between the sensors 4 correspond to one embodiment of the first interval according to the present technique.
  • the UI device 100 further includes a plurality of sets of a signal source 3 and a sensor 4 for detecting the light emitted from the signal source 3 in addition to the example shown in FIG.
  • the line segments connecting the signal source 3 and the sensor 4 in each set are parallel in the vertical direction when the UI device 10 is viewed from above. Even in each set parallel to the vertical direction, the signal sources 3 in each set are arranged at equal intervals, and the sensors 4 in each set are arranged at equal intervals equal to the intervals of the signal sources 3. ..
  • the pair of the signal source 3 and the sensor 4 that detects the light emitted by the signal source 3 parallel to each other in the vertical direction corresponds to one embodiment of the second set according to the present technique.
  • the vertical direction when the UI device 100 is viewed from above corresponds to one embodiment of a second direction different from the first direction according to the present technology.
  • the distance between the signal sources 3 and the distance between the sensors 4 in each set parallel to the vertical direction corresponds to one embodiment of the second interval according to the present technique.
  • a plurality of sensors 4 are arranged side by side in a circle. Specifically, a plurality of sensors 4 are arranged at predetermined intervals on a circumference having a predetermined radius centered on one signal source 3. In this example, light is emitted from the centrally arranged signal source 3 in all directions, and the light is detected by the sensor 4.
  • the specific arrangement configuration such as the distance between the sensors 4 and the distance between each sensor 4 and the signal source 3 (radius of a circle) is not limited. With such an arrangement configuration, it is possible to acquire advanced deformation-related information including two-dimensional inclination, unevenness, and small shape changes.
  • FIG. 14 is a side view of the UI device 100 in which the signal source 3 and the sensor 4 are adhered to the propagation portion 2 as viewed from the side. Further, the signal source 3 and the sensor 4 may be embedded in the propagation unit 2.
  • FIG. 15 is a side view of the UI device 100 in which the signal source 3 and the sensor 4 are embedded in the propagation unit 2 as viewed from the side.
  • the bonding method and the embedding method of the signal source 3 and the sensor 4 are not limited, and the bonding and embedding may be performed by any method.
  • Light may be emitted by the signal source 3 with two or more kinds of intensities.
  • the intensity of the emitted light that is, the amount of light, variable
  • the amount of emitted light may be changed according to the degree of deformation of the propagation unit 2. This makes it possible to improve the sensitivity of sensing.
  • the change pattern of the amount of light is not limited and may be set arbitrarily.
  • the amount of light emitted by the signal source 3 corresponds to one embodiment of the intensity of the emitted light according to the present technology.
  • the signal source 3 may emit electromagnetic waves other than light, and the signal source 3 may be able to change the intensity of the emitted electromagnetic waves over time. For example, when a radio wave is emitted, the radio wave intensity changes with time.
  • FIG. 16 is a graph showing the relationship between the time and the emission intensity (light intensity) of the light emitted by the signal source 3.
  • the horizontal axis of the graph represents the time
  • the vertical axis represents the emission intensity of the light emitted by the signal source 3.
  • light is emitted at the emission intensity C1 until the time T1.
  • Emission is turned off at time T1, and then emission is stopped until time T2.
  • the emission is restarted at the time T2, and after the time T2, the light is emitted again at the emission intensity C1.
  • the emission may be switched ON / OFF at a predetermined time.
  • the ON / OFF switching of the emission is included in the fact that the light is emitted with two or more kinds of intensities.
  • FIG. 17 is a graph showing the relationship between the time and the light receiving sensor value (light amount) detected by the sensor 4 when the emission of the signal source 3 is switched ON / OFF.
  • FIG. 17 shows the transition of the sensor value when light is emitted as shown in FIG. Light is emitted at the emission intensity C1 until the time T1, and the sensor value C3 is detected by the sensor 4 during that time. Further, at times T1 to T2, the emission is stopped, and the sensor value C2 is detected during that time. Further, after the time T2, the light is emitted again at the emission intensity C1, and the sensor value C3 is detected during that time.
  • the sensor value C2 while the emission is stopped becomes the sensor value detected due to a factor other than the emission by the signal source 3.
  • a sensor value caused by emission from a signal source other than the signal source 3 and a sensor value caused by ambient light (illumination light, etc.) around the UI device 100 are detected as the sensor value.
  • the difference between the sensor values at the time of ON and OFF that is, the difference between C3 and C2
  • the signal source 3 may be able to change the intensity of the emitted light over time.
  • FIG. 18 is a graph showing the relationship between the time and the emission intensity (light intensity) of the light emitted by the signal source 3. In this example, light is emitted in a pattern of change in emission intensity such that the graph becomes a sine wave.
  • FIG. 19 is a graph showing the relationship between the time and the light receiving sensor value (light amount) detected by the sensor 4 when the sensor 4 has a light receiving allowable upper limit.
  • FIG. 19 shows the transition of the sensor value when light is emitted as shown in FIG. In this example, the sensor 4 has a light reception allowable upper limit.
  • the sensor 4 detects the correct amount of light (sachi). All the light having a light amount exceeding the light receiving upper limit is detected as the sensor value of the light receiving upper limit.
  • the amount of light emitted by the signal source 3 is increased to receive as much light as possible. It is desirable to sense by value. However, if the amount of emitted light is too large, the upper limit of light reception allowed on the sensor 4 side will be exceeded, making it difficult to detect the correct amount of light. On the other hand, if the amount of light is made too small, the upper limit of light reception allowed on the sensor 4 side will not be exceeded, but the influence of electrical noise and the like on the sensor value will increase, and the amount of light emitted by the signal source 3 will increase. , Accurate sensing becomes difficult (the emitted light becomes buried in noise).
  • a plurality of signal sources 3 and sensors 4 may be arranged to sense light having a plurality of wavelengths.
  • FIG. 20 is a top view of the UI device 100 when light of a plurality of wavelengths is sensed, as viewed from above.
  • three signal sources 3a to 3c are arranged at positions facing the incident surface 7a of the propagation unit 2.
  • the three signal sources 3a to 3c are configured so that the wavelengths of the emitted light are different from each other.
  • three sensors 4a to 4c are arranged at positions facing the exit surface 7c of the propagation unit 2.
  • the three sensors 4a to 4c are configured so that the wavelengths of the light to be detected are different from each other.
  • the light emitted from each of the signal sources 3a to 3c travels to the right in FIG.
  • the traveling light is detected by sensors 4a to 4c arranged at positions facing each other with the signal sources 3a to 3c and the propagation unit 2 sandwiched between them.
  • the light emitted by the signal source 3a is detected by the sensor 4a. That is, light of three kinds of wavelengths is guided inside the propagation unit 2.
  • FIG. 20 shows a schematic diagram of the user's finger 10 touching the propagation unit 2.
  • one signal source 3 may emit light having a plurality of different wavelengths.
  • the wavelength of light is changed with time and emitted.
  • the wavelength to be inspected by the sensor 4 is changed with time according to the wavelength of the emitted light, and sensing is executed.
  • the electromagnetic wave emitted from the signal source 3 is not limited to light.
  • a plurality of radio waves having different wavelengths may be emitted, or light and radio waves may be emitted.
  • the specific configuration of the signal source 3 and the sensor 4 is not limited.
  • Invisible light may be emitted as light by the signal source 3.
  • infrared rays and ultraviolet rays are emitted as invisible light.
  • the UI device 100 is used in combination with a visual stimulus such as a display or image projection.
  • a visual stimulus such as a display or image projection.
  • visible light is used as the light guided through the propagation unit 2
  • the light is visually recognized by the user, which visually affects the image or the like that the user originally wants to see.
  • characters or patterns are written on the exposed surface 8 of the propagation unit 2, the visibility of the characters or patterns can be improved by using invisible light for sensing.
  • the propagation portion 2 may be configured so that the thickness is partially different.
  • FIG. 21 is a side view of the UI device 100 as viewed from the side when the thickness of the propagation portion 2 is partially different.
  • FIG. 21 shows a state in which the finger 10 is in contact with the exposed surface 8 of the propagation portion 2 and the propagation portion 2 is pushed. Further, the light that is guided inside the propagation unit 2 and is reflected and scattered is schematically indicated by an arrow.
  • the thickness of the propagation portion 2 is the distance between the upper surface 5 and the lower surface 6 of the propagation portion 2. That is, the vertical distance between the upper surface 5 and the lower surface 6 of the propagation portion 2 in FIG. 21 corresponds to the thickness of the propagation portion 2.
  • the propagation portion 2 is configured so that the thickness is partially different. Specifically, of the lower surface 6 of the propagation portion 2, a convex portion protruding upward is formed near the center in the left-right direction. In this portion, the thickness of the propagation portion 2 is smaller than that of the periphery.
  • 22 and 23 are side views of the UI device 100 viewed from the side for explaining the outline of an experiment for examining the relationship between the shape of the propagation unit 2 and the detection result of the sensor 4.
  • the UI device 100 includes a propagation unit 2, a signal source 3, a sensor 4, a controller 1 (not shown), a rigid body 31, and a shielding unit 39.
  • a disk shape having a diameter of about 25 mm is adopted as the shape of the propagation portion 2.
  • the signal source 3 and the sensor 4 are arranged at an angle of 30 degrees upward with respect to the propagation unit 2.
  • the shielding portion 39 is arranged in the vicinity of the signal source 3 and the sensor 4.
  • the specific configuration of the shielding portion 39 and the effect of arranging the shielding portion 39 will be described later.
  • the rigid body 31 is arranged in contact with the lower surface 6 of the propagation portion 2.
  • the contact piece 33 is brought into contact with the upper surface 5 (exposed surface 8) of the propagation portion 2.
  • the contact piece 33 has a disk shape having a thickness of about 1 mm.
  • the contact piece 33 is made of, for example, a white urethane material or the like.
  • the propagation portion 2 was changed to various thicknesses, and the influence of the contact of the contact piece 33 on the detection result of the sensor 4 was considered.
  • the influence on the detection result by changing the diameter of the contact piece 33 to various sizes was examined.
  • FIG. 22 shows the shape of the propagation portion 2 when viewed from the side.
  • almost the entire propagation portion 2 has a small thickness (1 mm) shape.
  • the influence of the contact of the contact piece 33 on the detection result was investigated for each of the propagation portion 2 having such a shape and the propagation portion 2 having a large thickness (3 mm) as shown in FIG. 1, for example.
  • an experimental result was obtained that the detection value of the amount of light due to contact was significantly reduced in the propagation portion 2 having a small thickness as shown in FIG. 22, regardless of the diameter of the contact piece 33. That is, it was found that the smaller the overall thickness of the propagation portion 2, the better the sensitivity in sensing.
  • the present inventor has found that even when the thickness of a part of the propagation portion 2 is small, when an object comes into contact with the part, the detected value of the amount of light due to the contact tends to decrease significantly. ..
  • the center of the propagation portion 2 has a thickness of 2 mm, and the portion on the circumference having a radius of about 8 mm from the center of the propagation portion 2 has a small thickness (0.5 mm). ..
  • the amount of light is applied to each of the cases where nothing is brought into contact with the propagating portion 2, the contact piece 33 having a diameter of 6 mm is brought into contact, the contact piece 33 having a diameter of 10 mm is brought into contact, and the contact piece 33 having a diameter of 16 mm is brought into contact.
  • An experiment was conducted to measure the detected value of.
  • the contact piece 33 is arranged in the center of the upper surface 5 of the propagation portion 2, when the contact piece 33 having a diameter of 16 mm is brought into contact with the contact piece 33, the circumferential portion of the contact piece 33 is exactly the thickness of the propagation portion 2. It will be located in a portion (a portion on the circumference having a radius of about 8 mm from the center). That is, it was obtained that the sensitivity in sensing is improved when an object comes into contact with a locally small portion of the propagation portion 2.
  • the thickness of the propagation portion 2 is partially different, it is possible to accurately sense the contact of the object with the portion having a small thickness. For example, by thinning the propagation portion 2 at a position corresponding to the contact target surface 9 which is the contact target of the object, it is possible to accurately sense the contact of the object with the contact target surface 9. As described above, thinning the propagation portion 2 only at the position where the contact of the object is assumed is effective for realizing accurate sensing. Further, it is possible to optimize the configuration as appropriate, such as thinning the propagation portion 2 only in the portion where the accuracy of sensing is desired to be improved.
  • the propagation unit 2 may have a configuration in which the flexibility is low in the vicinity of the signal source 3 and the vicinity of the sensor 4.
  • FIG. 24 is a side view of the UI device 100 as viewed from the side when the propagation unit 2 has low flexibility in the vicinity of the signal source 3 and the vicinity of the sensor 4.
  • the portion of the propagation portion 2 having low flexibility is shown by shading.
  • the vicinity of the signal source 3 and the vicinity of the sensor 4 in the propagation unit 2 have lower flexibility than the portion of the propagation unit 2 that is not in the vicinity of the signal source 3 and is not in the vicinity of the sensor 4.
  • the propagation portion 2 has a configuration in which the end portion is harder than the central portion.
  • Deformation in the vicinity of the signal source 3 and the sensor 4 in the propagation unit 2 has a great influence on the signal intensity (light intensity). For example, when the curvature of the propagation portion 2 in the vicinity of the sensor 4 changes, the component of light that does not enter the sensor 4 increases, and the amount of light detected decreases. By adopting a configuration in which the flexibility of the end portion is low as in the present embodiment, the curvature is less likely to change even when an object comes into contact with the end portion. As a result, the influence of the deformation of the propagation unit 2 on the signal strength is suppressed, and the generation unit 11 can generate the deformation-related information with high accuracy.
  • the propagation portion 2 may be configured so that at least one of the vicinity of the signal source 3 and the vicinity of the sensor 4 has low flexibility.
  • the specific configuration regarding the flexibility of the propagation portion 2 is not limited.
  • FIG. 25 is a top view of the UI device 100 in which the propagation portion 2 has a widened shape as viewed from above.
  • the shape of the propagation portion 2 is narrowed as it approaches the signal source 3, and narrows as it approaches the sensor 4.
  • the central portion of the propagation portion 2 in the left-right direction has a shape that spreads in the vertical direction.
  • the propagation portion 2 may have a concave shape.
  • FIG. 26 is a side view of the UI device 100 in which the propagation portion 2 has a concave shape, as viewed from the side.
  • FIG. 26 shows a schematic view of a state in which the user's finger 10 is in contact with the propagation unit 2.
  • the UI device 100 does not have a holding portion, but as shown in FIG. 7, for example, even when the propagation portion 2 is held by the elastic body 20 and is deformed into a concave shape. It is included that the propagation portion 2 has a concave shape.
  • the propagation portion 2 has a concave shape, and the curvature increases due to contact with an object. It is also possible to adopt such a shape as the propagation portion 2.
  • the specific shape of the propagation unit 2 is not limited. For example, any shape such as a disk shape as shown in FIG. 1 can be adopted.
  • FIG. 27 is a side view of the UI device 100 in a state where proximity sensing is being executed, as viewed from the side.
  • the signal source 3 is configured so that at least a part of the light can be emitted to a region facing the contact target surface 9. Specifically, the signal source 3 emits light to a region facing the contact target surface 9 (upper surface 5 of the propagation portion 2), that is, a space above the propagation portion 2. At the same time, light is also emitted inside the propagation unit 2.
  • the generation unit 11 generates information regarding the proximity of the object to the contact target surface 9 based on the detection result by the sensor 4. As already illustrated, the information regarding the proximity of the object is included in the deformation-related information.
  • FIG. 28 is a graph showing the relationship between the time and the light receiving sensor value of the light reflected on the surface of the finger 10 when the finger 10 is gradually brought close to the contact target surface 9.
  • substantially the same sensor value is detected regardless of the time of day during standby (a state in which the finger 10 is stationary above the contact target surface 9).
  • the sensor value increases according to the proximity, and when the finger 10 approaches a certain position, the sensor value becomes maximum. After that, the sensor value decreases, and when the finger 10 comes into contact with the contact target surface 9 and the contact area increases due to the finger 10 being pushed in, the sensor value further decreases. In this way, different sensor values are detected depending on the degree of proximity of the fingers 10.
  • deformation-related information may be generated based on the detection result of the light guided inside the propagation unit 2. For example, it is possible to detect contact with an object based on a temporal change in the amount of light, such as a sensor value of light reflected by an object once increasing and then decreasing. Further, deformation-related information may be generated based on both the detection result of the light guided inside the propagation unit 2 and the detection result of the light emitted above the propagation unit 2 and reflected by the object. .. This makes it possible to generate deformation-related information with high accuracy.
  • the signal source 3 that emits light inside the propagation unit 2 and the signal source 3 that emits light above the propagation unit 2 may be configured separately. Further, the sensor 4 for detecting the light guided inside the propagation unit 2 and the sensor 4 for detecting the light emitted above the propagation unit 2 and reflected by the object may be separately configured. .. In addition, the specific configurations of the signal source 3 and the sensor 4 for proximity sensing are not limited.
  • FIG. 29 is a side view of the UI device 100 in a state where the detection of scattered light is being executed, as viewed from the side.
  • the propagation portion 2 has a surface opposite to the contact target surface 9.
  • the upper surface 5 of the propagation portion 2 is the contact target surface 9, and the lower surface 6 corresponds to the surface opposite to the contact target surface 9.
  • the UI device 100 has a scattered light sensor 36 that is located in a region facing the surface opposite to the contact target surface 9 and detects scattered light emitted from the propagation unit 2. That is, the scattered light sensor 36 is arranged on the lower side of the propagation unit 2. In the example shown in FIG. 29, the scattered light sensor 36 is arranged apart from the propagating portion 2, but the scattered light sensor 36 may be arranged in contact with the lower surface 6 of the propagating portion 2.
  • the scattered light sensor 36 an arbitrary device capable of detecting light, such as a PD (Photodiode) or a pyroelectric sensor, is used as in the sensor 4.
  • a PD Photodiode
  • a pyroelectric sensor a device capable of detecting light
  • the specific configuration of the scattered light sensor 36 is not limited, and any configuration may be adopted.
  • the scattered light sensor 36 detects the light scattered by the propagating unit 2.
  • the total reflection condition changes due to the change in the refractive index of the surface of the propagation portion 2, as described above. Further, the total reflection condition changes due to the change in the curvature of the propagation portion 2.
  • the light reflected without contact with the object starts to be newly scattered on the contact surface.
  • the scattered light travels downward inside the propagating portion 2 and is emitted from the lower surface 6 of the propagating portion 2. Such scattered light is detected by the scattered light sensor 36.
  • the scattered light sensor 36 outputs the detection result to the generation unit 11.
  • the generation unit 11 generates information regarding the contact state of the object in contact with the propagation unit 2 based on the detection result of the scattered light sensor 36.
  • the scattered light sensor 36 corresponds to one embodiment of the scattered wave detection unit according to the present technology.
  • the electromagnetic wave detected in this way is not limited to light. That is, an arbitrary electromagnetic wave scattered by the propagating unit 2 may be detected by a sensor capable of detecting scattered waves.
  • FIG. 30 is a graph showing the relationship between the time and the light receiving sensor value by the scattered light sensor 36 when the finger 10 is brought into contact with the contact target surface 9.
  • the standby state a state in which the finger 10 is stationary above the contact target surface 9
  • substantially the same sensor value is detected regardless of the time of day.
  • scattered light is detected and the sensor value increases.
  • the sensor value is further increased. In this way, different sensor values are detected depending on the degree of contact of the finger 10.
  • deformation-related information may be generated based on the detection result of scattered light.
  • Deformation-related information may be generated based on both the detection result by the sensor 4 and the detection result by the scattered light sensor 36. This makes it possible to generate deformation-related information with high accuracy.
  • FIG. 31 is a graph showing the relationship between the time and the light receiving sensor value when the finger 10 is brought close to and in contact with the contact target surface 9.
  • the sensor values related to scattered light sensing are shown by solid lines.
  • the graph showing the sensor value related to proximity sensing is shown by a broken line.
  • the sensor value related to scattered light sensing increases.
  • the sensor value related to proximity sensing decreases.
  • the generation unit 11 can generate the deformation-related information with high accuracy by executing the deformation-related information generation process based on the difference in the sensor values.
  • the specific configurations of the signal source 3 and the sensor 4 for proximity sensing are not limited.
  • the UI device 100 may have a shielding portion.
  • FIG. 32 is a schematic view for explaining the shielding portion.
  • the shielding portion 39 is arranged in the vicinity of the signal source 3. Further, the shielding unit 39 shields at least one of the light emitted by the signal source 3 that does not enter the propagating unit 2 or that is not totally reflected inside the propagating unit 2. As shown in FIG. 32, the shielding portion 39 is arranged near the signal source 3 on the upper side of the propagation portion.
  • the light emitted upward by the signal source 3 in FIG. 32 is shielded by the shielding unit 39.
  • the shielding portion 39 absorbs or reflects light.
  • the light emitted in the upper right direction is partially shielded by the shielding portion 39, and a part of the light travels without being shielded. In addition, the light emitted to the right travels unobstructed.
  • the light emitted upward is light that does not enter the propagating portion 2. Such light may be detected by the sensor 4 in a path that does not guide the propagation unit 2. The light may be reflected by an object existing in the environment around the UI device 100, such as a wall, and detected by the sensor 4. Such light, of course, becomes noise in sensing.
  • the shielding unit 39 it is possible to suppress the detection of noise components other than light according to the deformation of the propagation unit 2, and it is possible to improve the sensitivity of sensing.
  • a part of the light emitted in the upper right direction is totally reflected by the inner surface of the exposed surface 8 and a part is scattered.
  • the light incident on the inner surface of the exposed surface 8 at an angle larger than the critical angle is totally reflected.
  • light incident at an angle smaller than the critical angle is scattered.
  • Light incident at an angle smaller than the critical angle may be detected by the sensor 4 in a path that does not guide the propagating portion 2.
  • scattered light may travel outside the propagation unit 2, be reflected by an object existing in the environment around the UI device 100, and be detected by the sensor 4. Such light also becomes noise in sensing.
  • the shielding unit 39 By arranging the shielding unit 39, for example, of the light emitted by the signal source 3, only the scattered light is shielded. As a result, it is possible to suppress the detection of noise components other than light according to the deformation of the propagation unit 2, and it is possible to improve the sensitivity of sensing.
  • the shape and arrangement of the shielding portion 39 are not limited. For example, when the critical angle in reflection is large, the shielding portion 39 is arranged in a wide range, so that the shielding portion 39 is configured so that only light having a small reflection angle is guided through the propagation portion 2. Further, the shielding portion 39 is appropriately configured so as to be able to shield light, that is, to absorb or reflect light, for example.
  • the specific configuration of the shielding unit 39 is not limited, and any configuration may be adopted depending on the type of signal.
  • the UI device 100 may have a diffuser.
  • FIG. 33 is a schematic view for explaining the diffusion portion.
  • the UI device 100 further has a diffuser portion of the exposed surface 8 arranged in the vicinity of the sensor 4 and having a configuration for diffusing and reflecting the light guided by the propagation portion 2. ..
  • the diffusion unit 42 is arranged near the sensor 4 on the upper side of the propagation unit 2.
  • a diffuser 42 is arranged in the vicinity of the sensor 4 on the exposed surface 8.
  • the diffusing unit 42 can diffuse the incident light.
  • the diffusing portion 42 has a structure in which the surface is roughened. The light incident on the diffusing portion 42 is diffused, and a part of the diffused light travels toward the sensor 4. That is, by arranging the diffuser 42, it is possible to detect a part of the light that did not originally reach the sensor 4.
  • the sensor 4 can detect more light, and the generation unit 11 can generate deformation-related information with high accuracy.
  • the specific configuration of the diffusion unit 42 is not limited, and any configuration may be adopted.
  • FIG. 34 is a side view of the UI device 100 in a state where the signal source 3 and the sensor 4 are tilted, as viewed from the side.
  • the signal source 3 is arranged at an angle of ⁇ degrees upward with respect to the propagation portion 2. That is, the signal source 3 is arranged so as to be tilted upward by ⁇ degrees from the state in which the exit surface 43 of the signal source 3 and the incident surface 7a of the propagation portion 2 are parallel to each other.
  • the sensor 4 is arranged at an angle of ⁇ degree downward with respect to the propagation portion 2. That is, the sensor 4 is arranged so as to be tilted downward by ⁇ degree from the state in which the incident surface 44 of the sensor 4 and the exit surface 7c of the propagation portion 2 are parallel to each other.
  • the component having a small emission angle among the light emitted by the signal source 3 is directly detected by the sensor 4 without being reflected inside the propagation unit 2.
  • the light emitted at an emission angle of 0 degrees that is, perpendicular to the emission surface 43 of the signal source 3 when the signal source 3 is not tilted
  • the state of waveguide of unreflected light does not change. That is, such light is a component that is not involved in sensing.
  • the signal source 3 emits light with the strongest emission intensity in a direction perpendicular to the emission surface 43 of the signal source 3. That is, among the emitted light, the amount of light in the direction perpendicular to the emitting surface 43 is the largest. That is, when the signal source 3 is arranged at an angle, most of the emitted light is repeatedly reflected and guided. This makes it possible to reduce the components of light that are not involved in sensing.
  • the senor 4 can detect light in a direction perpendicular to the incident surface 44 of the sensor 4 with the highest sensitivity.
  • the sensor 4 is not arranged at an angle, light having a small emission angle, that is, light not involved in sensing is detected with high sensitivity.
  • the sensor 4 is arranged at an angle, light that is involved in sensing can be detected with high sensitivity.
  • the angle between the light emission angle of the signal source 3 and the contact target surface 9 is larger than 0 degrees and 60 degrees or less. That is, the signal source 3 is tilted upward with respect to the propagation portion 2 in an angle range of more than 0 degrees and 60 degrees or less. If the emission angle is too large, the incident angle of light with respect to the inner surface of the exposed surface 8 becomes extremely small. That is, most of the emitted light is scattered, which makes sensing difficult. By setting the emission angle to be greater than 0 degrees and 60 degrees or less, such a phenomenon can be prevented. Further, the angle between the light receiving angle of the sensor 4 and the contact target surface 9 is larger than 0 degrees and 60 degrees or less.
  • the sensor 4 is tilted downward with respect to the propagation portion 2 in an angle range of more than 0 degrees and 60 degrees or less.
  • an electromagnetic wave other than light is emitted by the signal source 3
  • such an arrangement configuration of the signal source 3 and the sensor 4 may be adopted.
  • the angle between the reception angle of the electromagnetic wave by the sensor 4 (the incident angle of the electromagnetic wave so that the sensor 4 can detect the electromagnetic wave with the highest sensitivity) and the contact target surface 9 is greater than 0 degrees and 60 degrees or less.
  • the sensor 4 is arranged so as to be.
  • the arrangement angle of the signal source 3 and the sensor 4 is not limited.
  • the signal source 3 and the sensor 4 may be arranged at an angle larger than 60 degrees with respect to the propagation unit 2.
  • at least one of the signal source 3 and the sensor 4 may be arranged at an angle.
  • only the signal source 3 may be arranged at an angle.
  • the specific arrangement configuration of the signal source 3 and the sensor 4 is not limited.
  • the UI device 100 may have a filter that transmits only light in a specific wavelength band.
  • the UI device 100 is arranged in the vicinity of the sensor 4 and has a filter that defines the wavelength of light detected by the sensor 4.
  • the filter transmits light in a wavelength band emitted by, for example, the signal source 3, and shields light in other wavelength bands. For example, when red light is emitted by the signal source 3, only light in the red light wavelength band (625 nm to 780 nm) is transmitted by the filter, and light in other wavelength bands is blocked. Since the filter is arranged in the vicinity of the sensor 4, only the light transmitted by the filter is incident on the sensor 4. In this way, the wavelength of light detected by the sensor 4 is defined.
  • the filter By arranging the filter, light other than the wavelength band emitted from the signal source 3 (for example, ambient light) is not detected by the sensor 4. That is, it is possible to reduce noise in sensing.
  • the wavelength band of the light transmitted through the filter and the wavelength band of the light blocked by the filter are not limited. For example, light in a wavelength band different from the wavelength band emitted from the signal source 3 may be transmitted by the filter.
  • the filter that defines the wavelength of light detected by the sensor 4 in this embodiment corresponds to one embodiment of the detection filter unit according to the present technology.
  • the UI device 100 has a filter arranged on the exposed surface 8 and defining a wavelength of light recognized by a user who visually recognizes the propagation unit 2. For example, when characters, patterns, etc. are written on the exposed surface 8, if visible light leaks from the exposed surface 8, it hinders the user from visually recognizing. In such a case, for example, a filter that blocks visible light and transmits invisible light is arranged on the exposed surface 8. This improves the visibility of characters, patterns, and the like. Further, only the light of a specific color may be transmitted by the filter. As a result, it becomes possible to combine the characters and patterns written on the exposed surface 8 with the color of the light transmitted by the filter, and the degree of freedom in designing the exposed surface 8 is improved. In addition, the specific configuration of the filter is not limited. The filter that defines the wavelength of light recognized by the user in this embodiment corresponds to one embodiment of the visual inspection filter unit according to the present technology.
  • FIG. 35 is a side view of the UI device 100 in which the mask is arranged on a part of the contact target surface 9 as viewed from the side.
  • a mask 47 having a refractive index lower than that of the propagating portion 2 is arranged on a part of the contact target surface 9.
  • the mask 47 is arranged at a position on the exposed surface 8 that is not a contact target of an object.
  • the mask 47 is arranged from the vicinity of the signal source 3 to the central portion of the contact target surface 9 (upper surface 5). Further, the mask 47 is arranged in the vicinity of the sensor 4. That is, a range slightly to the right of the central portion of the upper surface 5 is assumed as the position to be contacted by the object.
  • the mask 47 is configured to have a refractive index lower than that of the propagating portion 2.
  • the state of waveguide of the light guided inside the propagation portion 2 does not change.
  • the mask 47 arranged on a part of the contact target surface 9 corresponds to one embodiment of the mask portion according to the present technique.
  • FIG. 36 is a side view of the UI device 100 in which the mask is arranged on the back surface of the propagation unit 2 as viewed from the side.
  • the UI device 100 is arranged on the back surface of the propagation portion 2, that is, the surface of the exposed surface 8 opposite to the contact target surface 9, and has a mask 50 having a refractive index lower than that of the propagation portion 2.
  • the back surface of the propagation portion 2 (that is, the lower surface 6) is a portion that is not supposed to come into contact with an object.
  • the mask 50 By arranging the mask 50, it is possible to suppress the influence on the detection result when the object comes into contact with the back surface which is not supposed to come into contact.
  • the mask 50 arranged on the surface opposite to the contact target surface 9 corresponds to one embodiment of the back surface mask portion according to the present technique.
  • FIG. 37 is a top view of the UI device 100 in which the non-flexible portion is arranged, as viewed from above.
  • the non-flexible portion 53 arranged on the contact target surface 9 is shown in a diagonal line pattern.
  • the non-flexible portion 53 is arranged in at least a part of the contact target surface 9.
  • the non-flexible portion 53 is arranged on the upper surface 5 of the propagation portion 2 so as to cover the three signal sources 3 and the three sensors 4 arranged above and below the propagation portion 2. Further, the non-flexible portion 53 is arranged so as to cover three optical paths traveling downward, which are emitted by each of the three signal sources 3 arranged at the upper part.
  • the non-flexible portion 53 has a refractive index equal to that of the propagating portion 2, and is configured to have a hardness that does not deform even when an object comes into contact with the non-flexible portion 53. That is, the non-flexible portion 53 is made of a material having the same refractive index as the propagating portion 2 and having no flexibility. For example, the material of the non-flexible portion 53 is determined according to the refractive index of the propagating portion 2, but of course any material may be used.
  • the non-flexible portion 53 does not have flexibility, so that the non-flexible portion 53 and the propagation portion 2 are not deformed. That is, the curvature of the propagation portion 2 does not change.
  • the non-flexible portion 53 since the non-flexible portion 53 has the same refractive index as the propagation portion 2, the critical angle in the reflection of the waveguide light by the surface of the finger 10 changes.
  • the state of the light waveguide changes not due to the change in the curvature of the propagation portion 2 but only due to the change in the external refractive index. Therefore, it is possible to separate the information between the contact of the object and the deformation of the propagation portion 2.
  • the generation unit 11 can accurately generate information on the contact state of an object.
  • FIG. 38 is a top view of the UI device 100 in which the flexible portion is arranged, as viewed from above.
  • the flexible portion 56 arranged on the contact target surface 9 is shown in a diagonal line pattern.
  • the flexible portion 56 is arranged in at least a part of the contact target surface 9.
  • three signal sources 3 and three sensors 4 are arranged above and below the propagation unit 2 as in the example shown in FIG. 37.
  • the flexible portion 56 is arranged so as to cover the signal source 3 arranged in the center in the left-right direction above the propagation portion 2 and the sensor 4 arranged in the center in the left-right direction below the propagation portion 2. ..
  • the flexible portion 56 is arranged so as to cover an optical path traveling downward, which is emitted by a signal source 3 arranged in the center of the upper portion.
  • the flexible portion 56 has a refractive index lower than that of the propagating portion 2 and flexibility. That is, the flexible portion 56 is made of a sufficiently soft material having a refractive index lower than that of the propagating portion 2.
  • the material of the flexible portion 56 is determined according to the refractive index of the propagating portion 2, but of course any material may be used.
  • the flexible portion 56 has flexibility, so that the flexible portion 56 and the propagation portion 2 are deformed. That is, the curvature of the propagation portion 2 changes.
  • the flexible portion 5 since the flexible portion 5 has a lower refractive index than the propagating portion 2, the critical angle in the reflection of the waveguide light by the surface of the finger 10 does not change.
  • the state of the light waveguide changes not due to the change in the external refractive index but only due to the change in the curvature of the propagation portion 2. Also in this embodiment, it is possible to separate the information between the contact of the object and the deformation of the propagation portion 2. For example, the generation unit 11 can accurately generate information regarding the shape of the propagation unit 2.
  • the electromagnetic wave emitted by the signal source 3 and guided inside the propagation unit 2 is detected by the sensor 4. Then, based on the detection result of the sensor 4, information regarding the deformation of the propagation unit 2 is generated. This makes it possible to detect input operations, present tactile sensations, and the like with high accuracy.
  • the propagation unit 2 it is possible to detect an operation or the like input to the propagation unit 2 with high accuracy based on the deformation-related information regarding the deformation of the propagation unit 2. Specifically, it can be applied to the measurement of a procedure involving contact with a piano, a keyboard, or the like, or the measurement related to the body by applying it to the surface of a sofa, a pillow, or the like.
  • this technology by applying this technology to headphones, earphones, HMDs (head-mounted displays), watches, wristbands, supporters, etc., it is possible to acquire the wearing state of the device and acquire the biometric information of the user.
  • a mouse, keyboard, controller, wristwatch, smartphone, display, etc. may be configured as an input device or a tactile presentation device using the present technology. It is also possible to apply this shape variable device to a device whose purpose is to change the shape of an object such as a video projection surface or a figurine.
  • the present technology makes it possible to exert the following effects. Since the propagation portion 2 has flexibility, it is possible to realize a UI device 100 having a flexible surface. By integrating and analyzing the information obtained from the sensor 4, it is possible to estimate the shape of the propagation unit 2 and the contact state of the object in contact with it with high accuracy. For example, the shape of the propagation part 2 is estimated by comprehensively analyzing the bias and total of the sensor values, and the presence / absence, number, position, movement (tracing), and size of contact with an object such as a finger 10 are estimated from the shape. It is also possible to obtain information on sensors. The quality of tactile presentation can be improved. Since the propagation portion 2 has flexibility, it is possible to present a higher quality feeling of hardness and shape.
  • the UI device 100 can be configured by a minimum of one signal source 3 and one sensor 4, the scalability of the system load and performance is improved.
  • the propagating portion is configured to have a single refractive index, but in the present disclosure, "the propagating portion has a single refractive index” means all parts of the propagating portion.
  • the refractive indexes are not limited to exactly the same, and a case where a slight difference in the refractive indexes occurs in the propagating portion may be included. That is, "the propagation part has a single refractive index” does not necessarily require that the refractive indexes completely match in all parts of the waveguide (propagation part) from the signal emission part to the detection part. is not. For example, due to manufacturing variations and the like, a partial difference may occur in the refractive index of the propagating portion.
  • a portion having a different refractive index is intentionally provided with respect to the propagating portion within a range that does not deviate from the purpose of the present technology.
  • a state in which the refractive indexes are partially different but the difference in the refractive indexes is sufficiently small is included in the fact that the refractive index is single.
  • the propagating portion has a single refractive index.
  • the propagation part is composed of a plurality of members and each member has three types of refractive indexes, that is, the refractive index is 1.38, the refractive index is 1.40, and the refractive index is 1.42.
  • the refractive index is 1.38
  • the refractive index is 1.40
  • the refractive index is 1.42.
  • both are 1.4, which is the same.
  • the refractive index is single.
  • the criteria for determining whether or not the refractive index is single is not limited to the above-mentioned two-digit coincidence.
  • any standard such as three significant digits or a predetermined numerical range may be adopted.
  • the refractive index of the end portion may be unintentionally different from that of other portions as long as the function of the shape variable device is not impaired. Even in such a case, if the difference in refractive index is very small and it can be regarded as substantially the same refractive index, it can be said that the propagating portion has a single refractive index. Alternatively, in such a case, the propagating portion has a single refractive index by considering that the end portion is not a propagating portion but a member that transmits electromagnetic waves incident on the propagating portion and electromagnetic waves emitted from the propagating portion. It is also possible to interpret that. As described above, whether or not each member or mechanism constituting the shape variable device is included in the propagation portion may be appropriately and arbitrarily interpreted as long as it does not contradict the contents of the present disclosure.
  • the propagation portion 2 has a higher flexibility than the flexibility of the object to be contacted with the propagation portion 2, it is possible to generate deformation-related information with higher accuracy.
  • the object to be contacted with the propagation portion 2 is a finger 10 and the propagation portion 2 is harder than the finger 10, the finger 10 is crushed by pushing, so that the contact area increases.
  • the propagation portion 2 is not deformed so much, the change in curvature is small. That is, the detection result changes due to the change in the refractive index.
  • the contact area increases according to the pushing, and the curvature of the propagation portion 2 also changes to some extent. That is, the detection result changes due to both the change in the refractive index and the change in the curvature.
  • the contact area increases with pushing, and the curvature of the propagating portion 2 also changes remarkably. That is, the detection result changes due to the change in the refractive index, and the detection result changes strongly under the influence of the change in curvature.
  • the propagation portion 2 has sufficiently high flexibility with respect to the finger 10
  • the change in the detection result due to the pushing of the finger 10 becomes large, so that the deformation-related information can be generated with high accuracy. It becomes.
  • the propagating portion 2 is made of a material having a high refractive index to some extent.
  • the propagation portion 2 is made of a material having a refractive index of 1.3 or more.
  • the propagation portion 2 is composed of silicon rubber (refractive index of about 1.36) or the like. Further, by configuring the propagation portion 2 with a material having an extremely high refractive index such as a refractive index of 1.4 or more, it is possible to further efficiently guide light.
  • the CPU of the controller 1 executes a predetermined program to form a "generation unit" as a functional block.
  • the "generation unit” may be provided with a function of executing preprocessing, codec processing, etc. related to generation of deformation-related information such as noise reduction and compression.
  • the block that executes such preprocessing may be configured as a functional block different from the generation unit.
  • the shape control method according to the present technology may be executed by interlocking the computer mounted on the shape variable device with another computer capable of communicating via a network or the like, and the shape variable device according to the present technology may be constructed. ..
  • the "generation unit” may be provided with a communication function.
  • other functional blocks having a communication function may be configured and can cooperate with the "communication unit”.
  • the detection result of the detection unit of the shape variable device is transmitted to another computer capable of communicating via a network or the like.
  • Deformation-related information is generated based on the detection result by the "generation unit” built on another computer.
  • the generated deformation-related information or information generated based on the deformation-related information is transmitted to the shape variable device via a network or the like.
  • the "shape control method" according to the present technology may be executed.
  • the same can be said for components other than the "generation unit". That is, the shape control method and the program according to the present technology can be executed not only in a computer system composed of a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device in which a plurality of modules are housed in one housing are both systems.
  • the generation of deformation-related information, the control of the signal source and the sensor, the control of the drive unit, and the like described above may be executed by a single computer, or each process may be executed by a different computer. Further, the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquire the result. That is, the shape control method and program according to the present technology can be applied to a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • UI device shape variable device, arrangement of signal source and sensor, each configuration of propagation part, signal emission flow, signal detection flow, deformation drive flow, tactile presentation flow, deformation described with reference to each drawing.
  • the flow of generating related information is only one embodiment, and can be arbitrarily modified without departing from the spirit of the present technology. That is, other arbitrary configurations, algorithms, and the like for implementing the present technique may be adopted.
  • a signal emitting part that emits electromagnetic waves and A propagating unit that has an exposed surface exposed to the outside, is configured to have a single refractive index with a flexible material, and internally waveguides the electromagnetic waves emitted by the signal emitting unit.
  • a detection unit that detects the electromagnetic wave guided by the propagation unit, and a detection unit.
  • a shape variable device including a generation unit that generates information regarding deformation of the propagation unit based on the detection result of the detection unit.
  • the shape variable device includes at least one of the information regarding the deformation of the propagation portion and the information regarding the shape of the propagation portion and the contact state of an object in contact with the propagation portion.
  • the propagating portion guides the electromagnetic wave so that the electromagnetic wave is reflected by the surface on the inner side of the exposed surface.
  • the detection unit is arranged at a position where the electromagnetic wave reflected by the inner surface of the exposed surface can be detected.
  • the generation unit is a shape variable device that generates at least one of the shape of the exposed surface and the contact state of an object in contact with the exposed surface as information regarding the deformation of the propagation unit.
  • the shape-variable device according to (3). At least a part of the exposed surface is configured as a contact target surface to be a contact target of an object.
  • the generation unit is a shape variable device that generates information on the contact state of an object in contact with the contact target surface as information on the deformation of the propagation unit.
  • the shape variable device is a shape variable device that generates information regarding deformation of the propagation unit based on the amount of electromagnetic waves detected by the detection unit.
  • the shape variable device is a shape variable device that generates information regarding deformation of the propagation unit based on the amount of electromagnetic waves detected by the detection unit.
  • the signal emitting unit emits light as the electromagnetic wave.
  • the detection unit is a shape-variable device that detects the amount of light guided by the propagation unit.
  • the shape variable device according to any one of (1) to (6), and further.
  • the shape variable device is a shape-variable device having an elastic body that is flexible and abuts on the propagating portion.
  • the shape variable device according to (7) is connected to the propagating portion, forms a deformable space along the propagating portion with the propagating portion, and holds the propagating portion deformably through the space. .. (10) The shape variable device according to (9).
  • the holding portion and the propagating portion are shape-variable devices that hold a fluid in the space.
  • (11) The shape variable device according to any one of (1) to (10), and further.
  • the shape variable device according to any one of (1) to (11). At least a part of the exposed surface is configured as a contact target surface to be a contact target of an object.
  • the signal emitting unit is configured to be capable of emitting at least a part of electromagnetic waves to a region facing the contact target surface.
  • the generation unit is a shape variable device that generates information regarding the proximity of the object to the contact target surface based on the detection result by the detection unit.
  • the shape variable device according to any one of (1) to (12). At least a part of the exposed surface is configured as a contact target surface to be a contact target of an object.
  • the propagation portion has a surface opposite to the contact target surface, and has a surface opposite to the contact target surface.
  • the shape variable device further includes a scattered wave detection unit located in a region facing the surface opposite to the contact target surface and detecting the electromagnetic wave scattered by the propagation unit.
  • the generation unit is a shape variable device that generates information on the contact state of an object in contact with the propagation unit based on the detection result of the scattered wave detection unit.
  • the signal emitting unit is a shape-variable device that emits the light with two or more kinds of intensities.
  • the shape-variable device is further arranged in at least a part of a region on the contact target surface, and includes a flexible portion having a refractive index lower than the refractive index of the propagating portion and flexibility. Device.
  • (16) The shape variable device according to any one of (1) to (15).
  • At least a part of the exposed surface is configured as a contact target surface to be a contact target of an object.
  • the shape-variable device is further arranged in at least a part of the contact target surface, has a refractive index equal to the refractive index of the propagating portion, and has a hardness that does not deform even when the object comes into contact with the object.
  • a shape-variable device including a configured non-flexible portion. (17) The shape variable device according to any one of (1) to (16).
  • the signal emitting unit is arranged at a position where the electromagnetic wave can be emitted from the propagating unit.
  • the shape variable device is further arranged in the vicinity of the signal emitting portion, and among the electromagnetic waves emitted by the signal emitting portion, an electromagnetic wave that does not enter the propagating portion or an electromagnetic wave that is not totally reflected inside the propagating portion.
  • a shape-variable device including a shielding portion that shields at least one of the above.
  • a shape-variable device in which at least one of the angles formed by the angle is greater than 0 degrees and 60 degrees or less holds.
  • Electromagnetic waves are guided inside a propagating section that has an exposed surface exposed to the outside and is configured to have a single refractive index with a flexible material.
  • a shape control method that detects the electromagnetic wave guided by the propagation unit and generates information on the deformation of the propagation unit based on the detection result.
  • a signal emitting part that emits electromagnetic waves and A propagating unit that has an exposed surface exposed to the outside, is configured to have a single refractive index with a flexible material, and internally waveguides the electromagnetic waves emitted by the signal emitting unit.
  • a detection unit that detects the electromagnetic wave guided by the propagation unit, and a detection unit.
  • a generation unit that generates information regarding deformation of the propagation unit based on the detection result of the detection unit, and a generation unit.
  • a drive unit capable of deforming the propagation unit based on the information generated by the generation unit is provided.
  • the drive unit is a tactile presentation device that deforms the propagation unit so that a predetermined tactile sensation is presented to a user who comes into contact with the propagation unit.
  • the shape variable device according to any one of (1) to (18), and further.
  • a shape-variable device including a mask portion that is arranged at a position on the exposed surface that is not a contact target of an object and has a refractive index lower than that of the propagating portion.
  • the propagating portion is a shape variable device configured so that the thickness is partially different.
  • the generation unit is a shape variable device that generates information on deformation of the propagation unit based on at least one of a change with respect to a predetermined reference or a temporal change in the intensity of the electromagnetic wave detected by the detection unit.
  • the shape variable device according to (2) The shape variable device according to (2).
  • Information on the contact state of the object includes the presence / absence of an object in contact with the propagation portion, the position of the object in contact with the propagation portion, the number of objects in contact with the propagation portion, the size of the object in contact with the propagation portion, and the above.
  • a shape variable device that includes at least one piece of information about a force, the shape of a contact surface with an object in contact with the propagating portion, the optical properties of the object in contact with the propagating portion, or the proximity of the object to the propagating portion.
  • the propagating portion is a shape variable device that can be deformed in a direction in which the curvature increases due to contact with an object.
  • the propagation unit is a shape-variable device that waveguides at least a part of the electromagnetic wave emitted by the signal emission unit while totally reflecting it internally.
  • the drive unit is a shape variable device that deforms the propagation unit so that a predetermined tactile sensation is presented to a user who comes into contact with the propagation unit.
  • the drive unit can deform the propagation unit by controlling at least one of the amount of the fluid held by the holding unit and the pressure of the fluid held by the holding unit. .. (30)
  • the signal emitting unit has one or more signal sources that emit the light.
  • the detection unit has one or more sensors that detect the emitted light.
  • the generation unit is a shape variable device that generates information regarding deformation of the propagation unit based on the detection results of one or more sensors.
  • the shape variable device according to (31) The one or more signal sources include a plurality of signal sources.
  • the one or more sensors include a plurality of sensors.
  • the plurality of signal sources are configured so that the wavelengths of the emitted light are different from each other, and the plurality of sensors are shape-variable devices configured so that the wavelengths of the light to be detected are different from each other.
  • the shape variable device is further arranged in the vicinity of the detection unit and includes a detection filter unit that defines a wavelength of light detected by the detection unit.
  • the propagation portion has a surface opposite to the contact target surface, and has a surface opposite to the contact target surface.
  • the shape variable device is further arranged on a surface opposite to the contact target surface, and includes a back surface mask portion having a refractive index lower than the refractive index of the propagating portion.
  • the shape variable device according to (31) A line segment having a plurality of first sets of the signal source and the sensor for detecting the light emitted by the signal source, and connecting the signal source and the sensor in each of the first sets. Are parallel to each other in the first direction, the signal sources in each of the first sets are arranged at first intervals, and the sensors in each of the first sets are at said first intervals.
  • Shape variable device placed in. (40) The shape variable device according to (39).
  • the sensor is a shape variable device arranged at the second interval.
  • the one or more sensors include a plurality of sensors.
  • the plurality of sensors are shape-variable devices arranged at predetermined intervals on a circumference having a predetermined radius centered on the signal emitting portion.
  • the shape variable device according to any one of (1) to (18) or (21) to (41).
  • the propagating portion is a shape variable device having higher flexibility than the flexibility of an object to be contacted with the propagating portion.
  • the signal emitting portion is adhered to the propagating portion or embedded in the propagating portion.
  • the detection unit is a shape variable device that is adhered to or embedded in the propagation unit.
  • the signal emitting unit is arranged at a position where the light can be emitted with respect to the propagating unit.
  • the detection unit is arranged at a position where the light guided by the propagation unit can be detected.
  • At least one of the propagation portions in the vicinity of the signal emission portion or the vicinity of the detection portion is lower than the flexibility of the portion of the propagation portion that is not in the vicinity of the signal emission portion and is not in the vicinity of the detection portion.
  • Flexible shape variable device (45) The shape variable device according to (43).
  • the signal emitting unit is a shape-variable device that emits invisible light as the light.
  • the signal emitting unit is a shape variable device capable of changing the intensity of the light with time.
  • a shape-variable device configured such that the propagation unit narrows as it approaches the signal emitting unit and narrows as it approaches the detection unit.
  • the propagating portion has a concave shape, and the curvature is increased by contact with an object.
  • the object to be contacted with the propagating portion is a finger, which is a shape variable device.
  • the generation unit is a shape variable device that generates information regarding deformation of the propagation unit according to a predetermined learning algorithm.
  • the generator is a shape-variable device that uses a look-up table, a function, or a monotonically decreasing model to generate information about the contact state of an object in contact with the propagator.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)

Abstract

本技術の一形態に係る形状可変装置は、信号出射部と、伝搬部と、検出部と、生成部とを具備する。前記信号出射部は、電磁波を出射する。前記伝搬部は、外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成され、前記信号出射部により出射された前記電磁波を内部で導波させる。前記検出部は、前記伝搬部により導波された前記電磁波を検出する。前記生成部は、前記検出部の検出結果に基づいて、前記伝搬部の変形に関する情報を生成する。

Description

形状可変装置、形状制御方法、及び触覚提示装置
 本技術は、入力装置や触覚提示装置等に適用可能な形状可変装置、形状制御方法、及びその触覚提示装置に関する。
 特許文献1には、光を利用して接触物を検知する表示装置について開示されている(特許文献1の明細書段落[0005][0006][0014]図3等)。
特開2009-129152号公報
 上記のような表示装置において、入力操作を高精度に検出することが可能な技術が求められている。またユーザに対して触覚を提示可能な触覚提示装置において、精度の高い触覚提示を可能とする技術が求められている。
 以上のような事情に鑑み、本技術の目的は、入力操作の検出や触覚提示等を高い精度で実現することが可能となる形状可変装置、形状制御方法、及び触覚提示装置を提供することにある。
 上記目的を達成するため、本技術の一形態に係る形状可変装置は、信号出射部と、伝搬部と、検出部と、生成部とを具備する。
 前記信号出射部は、電磁波を出射する。
 前記伝搬部は、外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成され、前記信号出射部により出射された前記電磁波を内部で導波させる。
 前記検出部は、前記伝搬部により導波された前記電磁波を検出する。
 前記生成部は、前記検出部の検出結果に基づいて、前記伝搬部の変形に関する情報を生成する。
 この形状可変装置では、信号出射部により出射され伝搬部の内部を導波された電磁波が、検出部により検出される。そして、検出部の検出結果に基づいて、伝搬部の変形に関する情報が生成される。
 例えば本形状可変装置を触覚提示装置に適用することで、伝搬部の変形に関する情報に基づいて、精度の高い触覚提示が可能となる。また本形状可変装置を入力装置に適用することで、伝搬部の変形に関する情報に基づいて、部材へ入力された操作等を高い精度で検出することが可能となる。もちろん本形状可変装置を適用可能な装置や分野等が限定される訳ではない。
 前記伝搬部の変形に関する情報は、前記伝搬部の形状、又は前記伝搬部に接触した物体の接触状態に関する情報の少なくとも一方を含んでもよい。
 前記伝搬部は、前記露出面の内部側の面により前記電磁波が反射するように、前記電磁波を導波してもよい。この場合、前記検出部は、前記露出面の内部側の面により反射された前記電磁波を検出可能な位置に配置されてもよい。また、前記生成部は、前記伝搬部の変形に関する情報として、前記露出面の形状、又は前記露出面に接触した物体の接触状態に関する情報の少なくとも一方を生成してもよい。
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成されてもよい。この場合、前記生成部は、前記伝搬部の変形に関する情報として、前記接触対象面に接触した物体の接触状態に関する情報を生成してもよい。
 前記生成部は、前記検出部により検出される前記電磁波の検出量に基づいて、前記伝搬部の変形に関する情報を生成してもよい。
 前記信号出射部は、前記電磁波として、光を出射し、前記検出部は、前記伝搬部により導波された前記光の光量を検出してもよい。
 前記形状可変装置は、さらに、前記伝搬部を変形可能に保持する保持部を具備してもよい。
 前記保持部は、可撓性を有し前記伝搬部に当接する弾性体を有してもよい。
 前記保持部は、前記伝搬部に連結され、前記伝搬部との間に前記伝搬部に沿って変形可能な空間を形成し、前記空間を介して前記伝搬部を変形可能に保持してもよい。
 前記保持部及び伝搬部は、前記空間に流体を保持してもよい。
 前記形状可変装置は、さらに、前記生成部により生成された前記伝搬部の変形に関する情報に基づいて、前記伝搬部を変形させることが可能な駆動部を具備してもよい。
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成されてもよい。この場合、前記信号出射部は、少なくとも一部の電磁波を、前記接触対象面に対向する領域に出射可能に構成されてもよい。また、前記生成部は、前記検出部による検出結果に基づいて、前記接触対象面に対する前記物体の近接に関する情報を生成してもよい。
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成されてもよい。この場合、前記伝搬部は、前記接触対象面とは反対側の面を有してもよい。また、前記形状可変装置は、さらに、前記接触対象面とは反対側の面に対向する領域に位置し、前記伝搬部により散乱された前記電磁波を検出する散乱波検出部を具備してもよい。また、前記生成部は、前記散乱波検出部の検出結果に基づいて、前記伝搬部に接触した物体の接触状態に関する情報を生成してもよい。
 前記信号出射部は、前記光を2種類以上の強度で出射してもよい。
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成されてもよい。この場合、前記形状可変装置は、さらに、前記接触対象面上の少なくとも一部の領域に配置され、前記伝搬部の前記屈折率より低い屈折率と、可撓性とを有する可撓部を具備してもよい。
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成されてもよい。この場合、前記形状可変装置は、さらに、前記接触対象面上の少なくとも一部の領域に配置され、前記伝搬部の前記屈折率と等しい屈折率を有し、前記物体が接触した場合でも変形しない硬度にて構成された非可撓部を具備してもよい。
 前記信号出射部は、前記伝搬部に対して前記電磁波を出射可能な位置に配置されてもよい。この場合、前記形状可変装置は、さらに、前記信号出射部の近傍に配置され、前記信号出射部により出射された前記電磁波のうち、前記伝搬部に入射しない電磁波、又は前記伝搬部の内部で全反射しない電磁波の少なくとも一方を遮蔽する遮蔽部を具備してもよい。
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成されてもよい。この場合、前記信号出射部による前記電磁波の出射角度と、前記接触対象面とのなす角の角度が0度より大きく60度以下である、又は前記検出部による前記電磁波の受信角度と、前記接触対象面とのなす角の角度が0度より大きく60度以下であるの少なくとも一方が成り立ってもよい。
 本技術の一形態に係る形状制御方法は、以下のステップを具備する。
 外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成される伝搬部の内部で、電磁波を導波させるステップ。
 前記伝搬部により導波された前記電磁波を検出し、検出結果に基づいて前記伝搬部の変形に関する情報を生成するステップ。
 本技術の一形態に係る触覚提示装置は、前記信号出射部と、前記伝搬部と、前記検出部と、前記生成部と、前記駆動部とを具備する。
 前記駆動部は、前記伝搬部に接触するユーザに所定の触覚が提示されるように、前記伝搬部を変形させる。
UI装置を側方から見た側面図である。 UI装置を上方から見た上面図である。 UI装置にユーザの指が接触した状態を、側方から見た側面図である。 UI装置にユーザの指が接触した状態を、上方から見た上面図である。 UI装置の動作例を示すフローチャートである。 保持部を含むUI装置を側方から見た側面図である。 保持部を含むUI装置を側方から見た側面図である。 流体制御機構を含むUI装置を側方から見た側面図である。 UI装置の変形駆動に係る動作例を示すフローチャートである。 UI装置の触覚提示に係る動作例を示すフローチャートである。 信号源及びセンサの配置構成のバリエーション例を示す模式図である。 信号源及びセンサの配置構成のバリエーション例を示す模式図である。 信号源及びセンサの配置構成のバリエーション例を示す模式図である。 信号源及びセンサが伝搬部に接着されたUI装置を、側方から見た側面図である。 信号源及びセンサが伝搬部に埋め込まれたUI装置を、側方から見た側面図である。 時刻及び信号源により出射される光の発光強度(光量)の関係を表すグラフである。 信号源の出射のON/OFFが切替えられる場合の、時刻及びセンサにより検出される受光センサ値(光量)の関係を表すグラフである。 時刻及び信号源により出射される光の発光強度(光量)の関係を表すグラフである。 センサに受光許容上限がある場合の、時刻及びセンサにより検出される受光センサ値(光量)の関係を表すグラフである。 複数の波長の光がセンシングされる場合のUI装置を、上方から見た上面図である。 伝搬部の厚さが部分的に異なる場合の、UI装置を側方から見た側面図である。 伝搬部の形状とセンサの検出結果との関係を検討するための実験の概要を説明するための、UI装置を側方から見た側面図である。 伝搬部の形状とセンサの検出結果との関係を検討するための実験の概要を説明するための、UI装置を側方から見た側面図である。 伝搬部が信号源の近傍及びセンサの近傍において可撓性が低い場合の、UI装置を側方から見た側面図である。 伝搬部が広がり形状を有するUI装置を、上方から見た上面図である。 伝搬部が凹形状を有するUI装置を、側方から見た側面図である。 近接センシングが実行されている状態のUI装置を、側方から見た側面図である。 接触対象面に指を徐々に近接させた場合における、時刻と、指の表面で反射された光の受光センサ値との関係を示すグラフである。 散乱光の検出が実行されている状態のUI装置を、側方から見た側面図である。 接触対象面に指を接触させた場合における、時刻と、散乱光センサによる受光センサ値との関係を示すグラフである。 接触対象面に指を近接及び接触させた場合における、時刻と、受光センサ値との関係を示すグラフである。 遮蔽部について説明するための模式図である。 拡散部について説明するための模式図である。 信号源及びセンサが傾いた状態のUI装置を、側方から見た側面図である。 接触対象面の一部にマスクが配置されたUI装置を、側方から見た側面図である。 伝搬部の裏面にマスクが配置されたUI装置を、側方から見た側面図である。 非可撓部が配置されたUI装置を、上方から見た上面図である。 可撓部が配置されたUI装置を、上方から見た上面図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 [ユーザインタフェース装置の構成]
 図1~図4は、本技術の一実施形態に係るユーザインタフェース装置(以下、UI装置と記載する)の構成例を示す模式図である。
 図1は、UI装置100を側方から見た側面図である。
 図2は、UI装置100を上方から見た上面図である。
 図3は、UI装置100にユーザの指が接触した状態を、側方から見た側面図である。
 図4は、UI装置100にユーザの指が接触した状態を、上方から見た上面図である。
 なお、図1~図4では、UI装置100に含まれるコントローラ1については、模式的に図示されている。
 また、以下では、説明を分かりやすくするために、図を基準として上下及び左右が規定されているが、本実施形態に係るUI装置100が使用される向き等が限定される訳ではない。
 本実施形態において、UI装置100は、ユーザが種々の操作を入力することが可能な入力装置としての機能を有する。またUI装置100は、UI装置100に接触するユーザに、所定の触覚を提示することが可能な、触覚提示装置としての機能を有する。
 なお触覚の提示のことを、触覚フィードバックという事も可能である。従って、UI装置100を、触覚フィードバック装置という事も可能である。
 UI装置100は、本技術に係る形状可変装置の一実施形態に相当する。すなわち本技術に係る形状可変装置を、入力装置及び触覚提示装置に適用した例とも言える。もちろん本技術に係る形状可変装置を適用可能な装置や分野等が限定される訳ではない。
 図1及び図2に示すように、UI装置100は、伝搬部2と、信号源3と、センサ4と、コントローラ1とを有する。また図1~図4には、伝搬部2を導波する光が、矢印にて模式的に示されている。
 信号源3は、電磁波を出射する。
 本実施形態では信号源3により、電磁波として、光が出射される。信号源3により出射される光の波長は限定されず、任意に設定されてよい。なお、光の波長は、例えばピーク波長にて規定することが可能である。
 例えば、紫外光~可視光~赤外光の波長帯域に含まれる波長の光が、信号として出射される。
 光を出射するための具体的な構成は限定されず、任意の構成が採用されてよい。例えば信号源3として、LED(Light Emitting Diode)やLD(Laser Diode)等の固体光源を用いることが可能である。もちろん、他の光源が用いられてもよい。
 信号源3は、本技術に係る信号出射部の一実施形態に相当する。
 また電磁波として、例えば電波が出射されてもよい。この場合、電波の波長も限定されず、任意の波長の電波が出射されてよい。例えば、ミリ波やマイクロ波等の電波が、信号として出射される。
 電波を出射するための具体的な構成は限定されず、任意の構成が採用されてよい。
 その他、信号源3により出射される電磁波の種類は限定されない。
 なお、光及び電波の各々は、波長に基づいて規定することが可能である。例えば、波長が10nm~100μmの範囲の電磁波を光とし、波長が100μm以上の電磁波を電波とするといった規定が可能である。もちろんこのような規定に限定される訳ではない。
 信号として任意の波長の光及び電波を出射することは、信号として任意の波長の電磁波を出射するという概念に含まれる。
 図1に示すように、信号源3は伝搬部2の側面7aに対向して配置される。信号源3は、信号源3に対向する伝搬部2の側面7aに向かって光を出射する。
 図1には、出射された光の光路が矢印にて模式的に図示されている。図1に示すように、出射された光は伝搬部2の側面7aから、伝搬部2の内部に入射する。
 以降、信号源3により出射された光が入射する側面7aを、同じ符号を用いて入射面7aと記載する場合がある。
 伝搬部2は、外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成され、信号源3により出射された電磁波(光)を内部で導波させる。
 本実施形態では、伝搬部2は、全体の形状として、平板形状を有する。具体的には、上方側の上面5、下方側の下面6、及び4つの側面7a~7dにより、伝搬部2が構成される。すなわち伝搬部2は、上面5及び下面6の面積が大きく、厚さ(上面5と下面6との距離)が小さい直方体ということも可能である。上面5及び下面6は、互いに同じ形状を有する。
 図2に示す例では、上面5及び下面6の形状は長方形であるが、上面5や下面6は任意の形状であってよい。例えば上面5及び下面6が、円形やその他の形状であってもよい。この場合、伝搬部2は全体として円板形状や、その他の形状を有することになる。
 本実施形態では、例えば伝搬部2として0.5mm~3mm程度の厚さの平板が用いられる。すなわち、上面5と下面6との距離が、0.5mm~3mm程度になるように構成される。
 図1に示す伝搬部2の側面7a~7dの上下方向の長さが、伝搬部2の厚さに相当する。
 本実施形態では、伝搬部2の上面5、下面6、及び側面7a~7dが、外部に対して露出した露出面8として構成される。そして、上面5が、物体の接触対象となる接触対象面9として構成される。
 従って、ユーザは、上面5に対して指10を用いて入力操作を行うことになる。もちろん指10に限定されず、スタイラスペン等の他の物体を用いて、入力操作が行われてもよい。
 例えばUI装置100の用途に合わせて、伝搬部2のうち露出させたい部分や接触を想定する部分が考慮され、露出面8や接触対象面9の位置が決定されてよい。
 例えば伝搬部2のデザインが考慮され、ユーザに視認させたくない部分が露出面8から除外される。また、伝搬部2のうち強度が低く、接触により破損する恐れがある部分等が、接触対象面9から除外される。このような設計も可能である。
 その他、露出面8及び接触対象面9の配置箇所は限定されず、任意に設計されてよい。
 例えば、露出面8として構成された上面5、下面6、及び側面7a~7dの全てが、接触対象面9として設計されてもよい。
 上面5及び側面7a~7dのみが露出面8として構成され、下面6は露出面8ではないように構成されてもよい。また、側面7a~7dは露出面8ではあるが、接触対象面9としては構成されないといった設計も可能である。
 伝搬部2の材料としては、可撓性を有する材料が用いられる。例えばPET(ポリエチレンテレフタレート)、液晶ポリマー、ポリウレタン、スチレン、シリコン、合成ゴム、天然ゴム、導電機能を付与した材料、カーボン等を混ぜて熱伝導率を高くした材料等を含め、可撓性を有する任意の材料が用いられてよい。
 また伝搬部2は、単一の屈折率を有するように構成される。典型的には、単一の材料により、単一の密度となるように伝搬部2が構成される。もちろんこれに限らず、伝搬部2が単一の屈折率となるような、任意の構成が採用可能である。例えば、等しい屈折率を有する2以上の部材が積層されて伝搬部2が構成されてもよい。
 本実施形態では、伝搬部2は、変形可能に構成される。本開示において、「変形」は、伸縮、曲げ、膨張、収縮等の任意の変形を含む。
 また伝搬部2は、物体の接触により、曲率が増加する方向に変形可能である。
 図3に示すように、ユーザが伝搬部2を押すと、その力に応じて伝搬部2がへこむように変形する。その他、なぞる、つまむ等の種々の操作に応じて、伝搬部2は変形する。
 図3及び図4に示す例では、伝搬部2の上面5がユーザの指10により押下されている。
 伝搬部2の上面5が押下されると、伝搬部2に対して下方側に力がはたらく。図3に示すように、伝搬部2は指10から力を受け、下方側に撓むように変形する。
 伝搬部2がどの程度大きく変形するかは、指10から受ける力の大きさや向き、伝搬部2の可撓性の大きさ等に依存して決まる。ユーザが伝搬部2を強く押した場合や、伝搬部2の可撓性が大きい場合には、伝搬部2は大きく変形する。また、ユーザが伝搬部2を弱く押した場合や、伝搬部2の可撓性が小さい場合には、伝搬部2は小さく変形する。
 なお、物体の接触による変形以外の変形に対しても、本技術は適用可能である。例えば温度変化等、物体の接触以外の任意の要因により、伝搬部2が変形可能であってもよい。
 図1~図4に示すように伝搬部2は、信号源3により出射された光を内部で導波させる。具体的には、入射面7aから入射した光が、伝搬部2の内部を進行する。そして、露出面8の内部側の面により光が全反射するように、光が導波される。
 本実施形態では、伝搬部2の表面全体、すなわち上面5、下面6、及び側面7a~7dにより露出面8が構成される。すなわち、露出面8の内部側の面とは、上面5の内部側の面、下面6の内部側の面、及び側面7a~7dの各々の内部側の面である。
 以降、光が上面5の内部側の面で全反射する等の現象を、内部側から見て、単に「光が上面5で全反射する」と表現する場合がある。すなわち、内部側から見て、上面5の内部側の面を、そのまま上面5と記載する場合がある。下面6及び側面7a~7dについても同様とする。
 図1に示す矢印は、伝搬部2により導波される光のうち、上面5及び下面6で全反射しながら進行する成分を模式的に示したものである。
 もちろん、導波される光の光路はこのようなものに限らない。信号源3により出射された光は、例えば伝搬部2の上面5、下面6、及び側面7a~7dの、各々異なる位置で全反射し、各々異なる光路で内部を進行する。
 このように、伝搬部2は、信号源3により出射された光の、少なくとも一部を内部で全反射させながら導波させる。しかしながら、信号源3により出射された光の中には、全反射せずに、散乱する成分も存在する。
 光が全反射するか、もしくは散乱するかは、伝搬部2が有する屈折率、及び露出面8の内部側の面に対する光の入射角を用いて、判定することが可能である。
 具体的には、伝搬部2が有する屈折率と、伝搬部2の外部の物質(例えば露出面8に接触している物体)が有する屈折率とが用いられ、スネル(snell)の公式により臨界角(散乱が起こる最大の入射角)が計算される。臨界角より大きい入射角で光が入射した場合には、光は全反射される。
 一方で、臨界角以下の入射角で光が入射した場合には、光は散乱される。
 本実施形態では、伝搬部2の材料としてシリコンゴムが用いられる。
 シリコンゴムの屈折率は1.36程度である。例えば伝搬部2の外部が空気(屈折率1程度)であり、伝搬部2が曲がっていない場合には、臨界角は約47度となる。従って、この角度より大きい入射角で光が入射した場合には、光は全反射される。例えば、露出面8の内部側の面に対して、入射角50度で光が入射した場合には、光は全反射される。
 一方で、例えば40度等、臨界角以下の入射角で光が入射した場合には、光は散乱される。
 光の全反射条件は、伝搬部2の外部の物質が有する屈折率によっても変化する。例えば図3に及び図4に示すように、露出面8に対してユーザの指10が接触した場合には、接触位置において、伝搬部2の外部の屈折率が1.3~1.5程度に上昇する。
 この場合、スネルの公式により臨界角が大きくなることが分かる。すなわち、物体が接触していない状態では全反射されていた光が、指10の接触に起因して散乱されるようになる、といった現象が起こる。
 このように、接触による屈折率の変化に起因して、全反射条件の崩れが起き、光が多く散乱されるようになる。すなわち、伝搬部2を導波する光の光量(導光量)が減少する。
 また、全反射条件は、伝搬部2の曲率によっても変化する。
 伝搬部2の曲率とは、具体的には、伝搬部2の表面の曲率である。表面が大きく撓んでいる状態が、伝搬部2の曲率が高い状態に相当する。また、表面が小さく撓んでいたり、平面に近いような状態が、伝搬部2の曲率が低い状態に相当する。
 露出面8の内部側の面に入射する光の入射角は、伝搬部2の曲率が変化することで変化する。
 これにより、例えば曲率が変化する前の光の入射角は臨界角より大きかったが、曲率が変化した後の入射角は臨界角以下になる、といった現象が起こる。この場合、元々全反射されていた光が、曲率の変化に起因して散乱されるようになる。
 このように、曲率の変化に起因して、全反射条件の崩れや導光量の減少が起こる。
 以上のように、信号源3により出射された光は、伝搬部2の内部で全反射や散乱を繰り返しながら導波されるが、屈折率の変化や、曲率の変化に起因して、光の全反射条件の崩れや、導光量の減少が発生する。これにより、光の導波の状態が変化することとなる。
 もちろん物体が接触し、かつ接触により物体から加わる力によって伝搬部2が変形するような場合には、屈折率の変化及び曲率の変化の双方の要因により、光の導波の状態が変化する。
 図1に示すように、伝搬部2の内部を導波した光は、伝搬部2の側面7cから出射される。
 以降、伝搬部2の内部を導波した光が出射される側面7cを、同じ符号を用いて出射面7cと記載する場合がある。図1に示すように、本実施形態では、出射面7cは入射面7aに対向する面となる。
 センサ4は、伝搬部2により導波された光を検出する。
 センサ4は、露出面8の内部側の面により反射された反射光を検出可能な位置に配置される。具体的には、図1に示すように、センサ4は伝搬部2の出射面7cに対向して配置される。出射面7cから出射された光がセンサ4に入射することにより、センサ4により光が検出される。
 本実施形態では、センサ4として、光を検出可能な任意のデバイスが用いられる。例えばセンサ4として、PD(Photo Diode)や焦電センサ等を用いることが可能である。光を検出するための具体的な構成は限定されず、任意の構成が採用されてよい。
 センサ4は、伝搬部2により導波された光の光量を検出する。光の光量は、光の強度ということも可能である。
 センサ4により光が検出されると、検出結果として、光量が後述する生成部に対して出力される。
 信号として電波が出射される場合には、センサ4として、電波を検出可能な任意のデバイスが用いられる。電波を検出するための具体的な構成は限定されず、任意の構成が採用されてよい。
 この場合、センサ4は、例えば伝搬部2により導波された電波の強度を検出する。
 その他、センサ4として、種々の電磁波を検出可能な任意のデバイスが用いられてよい。
 センサ4は、本技術に係る検出部の一実施形態に相当する。
 コントローラ1は、UI装置100が有する各ブロックの動作を制御する。
 コントローラ1は、例えばCPU、ROM、RAM、及びHDD等のコンピュータの構成に必要なハードウェアを有する。例えばCPUがROM等に予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、本技術に係る形状制御方法に関する処理が実行される。
 コントローラ1として、例えばFPGA等のPLD、その他ASIC等のデバイスが用いられてもよい。またPC(Personal Computer)等の任意のコンピュータが、コントローラ1として機能してもよい。
 図1に示すように、本実施形態では、CPUが所定のプログラムを実行することで、機能ブロックとしての生成部11が構成される。もちろん機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
 なお、図1以外のUI装置100の図面においては、コントローラ1及び生成部11の記載を省略している。
 プログラムは、例えば種々の記録媒体を介してUI装置100にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
 プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
 [変形関連情報]
 本実施形態では、生成部11により、センサ4の検出結果に基づいて、伝搬部2の変形に関する情報が生成される。すなわち、センサ4により出力された検出結果が、生成部11により取得され、検出結果に基づいて、伝搬部2の変形に関する情報が生成される。
 以降、伝搬部2の変形に関する情報を、変形関連情報と呼称する。変形関連情報は、伝搬部2の変形に関する任意の情報を含む。
 以下、生成部11により生成される変形関連情報のバリエーションについて説明する。
 例えば、変形関連情報、すなわち伝搬部2の変形に関する情報は、伝搬部2の形状、又は伝搬部2に接触した物体の接触状態に関する情報の少なくとも一方を含む。
 伝搬部2の形状として、例えば伝搬部2が変形している位置や、変形箇所の曲率、変形の度合い等の情報が生成される。その他、生成部11により生成される伝搬部2の形状は限定されない。
 伝搬部2に接触した物体の接触状態に関する情報としては、例えば、以下の情報が生成される。
 伝搬部2に接触した物体の有無
 伝搬部2に接触した物体の位置
 伝搬部2に接触した物体の数
 伝搬部2に接触した物体のサイズ
 伝搬部2に接触した物体の動き
 伝搬部2に接触した物体の形状
 伝搬部2に接触した物体の種類
 伝搬部2に接触した物体との接触面積
 伝搬部2に接触した物体から加わる力
 伝搬部2に接触した物体との接触面の形状
 伝搬部2に接触した物体の光学的性質
 伝搬部2に対する物体の近接に関する情報
 もちろんこれらの情報に限定される訳ではない。
 伝搬部2に接触した物体は、例えばユーザの指10等である。もちろんこれに限定されず、タブレットペン等の任意の物体を含む。
 本実施形態では、生成部11により、センサ4の検出結果に基づいて、露出面8の形状、又は露出面8に接触した物体の接触状態に関する情報の少なくとも一方が生成される。
 露出面8の変形に関する情報は、もちろん伝搬部2の変形に関する情報である。従って、露出面8の変形に関する情報を、変形関連情報と言うことも可能である。
 変形関連情報は、露出面8の変形に関する任意の情報を含む。
 例えば変形関連情報として、生成部11により、露出面8の形状、又は露出面8に接触した物体の接触状態に関する情報の少なくとも一方が生成される。
 露出面8の形状として、例えば露出面8の曲がっている位置や、曲がっている場所の曲率等の情報が生成される。その他、生成部11により生成される露出面8の形状は限定されない。
 露出面8に接触した物体の接触状態に関する情報としては、例えば、以下の情報が生成される。
 露出面8に接触した物体の有無
 露出面8に接触した物体の位置
 露出面8に接触した物体の数
 露出面8に接触した物体のサイズ
 露出面8に接触した物体の動き
 露出面8に接触した物体の形状
 露出面8に接触した物体の種類
 露出面8に接触した物体との接触面積
 露出面8に接触した物体から加わる力
 露出面8に接触した物体との接触面の形状
 露出面8に接触した物体の光学的性質
 露出面8に対する物体の近接に関する情報
 もちろんこれらの情報に限定される訳ではない。
 以下、生成される各々の情報の例について説明する。もちろん、生成される情報はこれらに限定されず、任意の情報が生成されてよい。
 露出面8に接触した物体の有無としては、例えば接触の有無に応じて「有」「無」の2種類の情報が生成される。
 露出面8に接触した物体の位置としては、例えば露出面8に対してあらかじめ座標系が規定され、物体が接触している位置の座標が生成される。
 露出面8に接触した物体の数としては、例えば「0個」「1個」「2個」等、接触した物体の数が生成される。
 露出面8に接触した物体のサイズとしては、例えば接触した物体の体積や重量が生成される。
 露出面8に接触した物体の動きとしては、例えば物体が指10である場合に、なぞる、つまむ、撫でる、傾ける、まわす、ずらす、つねるといった指10の動きが、情報として生成される。また、例えばなぞりの方向、なぞりの速度等が生成されてもよい。また、例えば接触した物体の位置と、時刻とが関連付けられ、物体がどの時刻にどこに位置したか、といった情報が生成されてもよい。
 露出面8に接触した物体の形状としては、「四角形」「円形」「星型」といった物体の形状が生成される。
 露出面8に接触した物体の種類としては、例えば「親指」「鉛筆」「バナナ」等、接触した物体が具体的に何であるかが、情報として生成される。また、「人体」「金属」等の、物体の分類やタイプが生成されてもよい。
 露出面8に接触した物体との接触面積としては、例えば接触面の面積を示す具体的な数値が生成される。
 露出面8に接触した物体から加わる力としては、例えば露出面8が物体から受ける力の大きさ、方向が生成される。また、物体から受ける圧力が生成されてもよい。
 露出面8に接触した物体との接触面の形状としては、例えば「四角形」「円形」といった接触面の形状が生成される。
 露出面8に接触した物体の光学的性質としては、例えば「1.3」等の、物体の屈折率が生成される。また、物体の色も、生成部11により生成される光学的性質に含まれる。
 露出面8に対する物体の近接に関する情報としては、例えば露出面8と物体との距離が生成される。また、露出面8に対して物体が接近する速度が生成されてもよい。
 また、上記のうち複数に該当するような情報が、生成されてもよい。
 例えば「露出面8に対して物体が2個接触しており、一方は四角形で、一方は円形である」というような、物体の数と物体の形状の両方に該当するような情報が生成されてもよい。
 その他、生成部11により生成される、物体の接触状態に関する情報は限定されない。
 本実施形態では、上面5が、接触対象面9として構成される。従って、生成部11により、センサ4の検出結果に基づいて、接触対象面9の形状、又は接触対象面9に接触した物体の接触状態に関する情報の少なくとも一方を生成することが可能である。
 接触対象面9に接触した物体の接触状態に関する情報として、例えば上記した露出面8に接触した物体の接触状態に関する情報と同様の情報を生成することが可能である。すなわち上記の各情報について、「露出面」を「接触対象面」に置き換えた情報を生成することが可能となる。
 [生成部による情報の生成]
 次に、生成部11による変形関連情報の生成方法の例を説明する。
 本実施形態では、生成部11は、センサ4により検出される光の検出量に基づいて、伝搬部2の変形に関する情報を生成する。
 具体的には、センサ4により検出される光の光量に基づいて、変形関連情報が生成される。
 もちろん、光以外の電磁波の検出量に基づいて、伝搬部2の変形に関する情報が生成されてもよい。この場合、例えばセンサ4により検出される電磁波の強度等に基づいて、変形関連情報が生成される。
 例えば生成部11は、センサ4により検出される光の光量の、所定の基準に対する変化又は時間的な変化の少なくとも一方に基づいて、伝搬部2の変形に関する情報を生成する。
 所定の基準に対する変化に基づいて変形関連情報が生成される場合には、あらかじめ光量の基準値が定められる。センサ4により検出される光量が基準値に対して変化した場合に、変化した値(変化後の値と、基準値との差)に基づいて、変形関連情報が生成される。
 例えば先述したように、伝搬部2に対して物体が接触すると、屈折率の変化及び曲率の変化の双方の要因により、光の導光量が減少する。すなわち、出射面7cからセンサ4に対して出射される光の光量が減少し、センサ4により検出される光の光量も減少する。例えばこのような場合に、基準値に対して検出される光量が減少するため、減少量に基づいて変形関連情報が生成される。
 例えば基準に対する光量の変化が大きい場合には、「伝搬部2が大きく変形した」といった変形関連情報が生成される。また、基準に対する光量の変化が小さい場合には、「伝搬部2が小さく変形した」といった変形関連情報が生成される。その他、所定の基準に対する変化に基づいて、任意の変形関連情報が生成されてよい。
 時間的な変化に基づいて変形関連情報が生成される場合には、例えばある時刻における光量が、基準値として定められる。
 例えば検出される光量が減少した場合には、どの時刻において光量がどの程度減少したか、すなわち光量の変化と時刻が関連付けられた情報に基づいて、変形関連情報が生成される。
 例えば、光量の変化が急であるような場合、すなわち短い時間において光量が大きく変化しているような場合には、伝搬部2が素早く変形した、といった変形関連情報が生成される。また、長い時間をかけて光量が変化しているような場合には、伝搬部2がゆっくりと変形した、といった変形関連情報が生成される。その他、時間的な変化に基づいて、任意の変形関連情報が生成されてよい。
 変形関連情報を算出する方法は限定されない。
 例えば、生成部11は、所定の学習アルゴリズムに従って、伝搬部2の変形に関する情報を生成する。
 例えばDNN(Deep Neural Network:深層ニューラルネットワーク)等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング(深層学習)を行うAI(人工知能)等を用いることで、変形関連情報の算出精度を向上させることが可能となる。
 また、例えばRNN(Recurrent Neural Network:再帰型ニューラルネットワーク)、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)、MLP(Multilayer Perceptron:多層パーセプトロン)等のニューラルネットワークを用いた機械学習アルゴリズムが用いられる。その他、教師あり学習法、教師なし学習法、半教師あり学習法、強化学習法等を実行する任意の機械学習アルゴリズムが用いられてよい。
 例えばコントローラ1に、学習部及び識別部(図示は省略)が備えられる。学習部は、入力された情報(学習データ)に基づいて機械学習を行い、学習結果を出力する。また、識別部は、入力された情報と学習結果に基づいて、当該入力された情報の識別(判断や予測等)を行う。
 学習部における学習手法には、例えばニューラルネットワークやディープラーニングが用いられる。ニューラルネットワークとは、人間の脳神経回路を模倣したモデルであって、入力層、中間層(隠れ層)、出力層の3種類の層から成る。
 ディープラーニングとは、多層構造のニューラルネットワークを用いたモデルであって、各層で特徴的な学習を繰り返し、大量データの中に潜んでいる複雑なパターンを学習することができる。
 ディープラーニングは、例えば画像内のオブジェクトや音声内の単語を識別する用途として用いられる。もちろん、本実施形態に係る変形関連情報の算出に適用することも可能である。
 また、このような機械学習を実現するハードウェア構造としては、ニューラルネットワークの概念を組み込まれたニューロチップ/ニューロモーフィック・チップが用いられ得る。
 また、機械学習の問題設定には、教師あり学習、教師なし学習、半教師学習、強化学習、逆強化学習、能動学習、転移学習等がある。
 例えば教師あり学習は、与えられたラベル付きの学習データ(教師データ)に基づいて特徴量を学習する。これにより、未知のデータのラベルを導くことが可能となる。
 また、教師なし学習は、ラベルが付いていない学習データを大量に分析して特徴量を抽出し、抽出した特徴量に基づいてクラスタリングを行う。これにより、膨大な未知のデータに基づいて傾向の分析や未来予測を行うことが可能となる。
 また、半教師学習は、教師あり学習と教師なし学習を混在させたものであって、教師あり学習で特徴量を学ばせた後、教師なし学習で膨大な訓練データを与え、自動的に特徴量を算出させながら繰り返し学習を行う方法である。
 また、強化学習は、ある環境内におけるエージェントが現在の状態を観測して取るべき行動を決定する問題を扱うものである。エージェントは、行動を選択することで環境から報酬を習得し、一連の行動を通じて報酬が最も多く得られるような方策を学習する。このように、ある環境における最適解を学習することで、人間の判断力を再現し、また、人間を超える判断力をコンピュータに習得させることが可能となる。
 機械学習によって、コントローラ1は、仮想的なセンシングデータを生成することも可能である。例えば、コントローラ1は、入力された画像情報から位置情報を生成するなど、あるセンシングデータから別のセンシングデータを予測して入力情報として使用することが可能である。
 また、コントローラ1は、複数のセンシングデータから別のセンシングデータを生成することも可能である。また、コントローラ1は、必要な情報を予測し、センシングデータから所定の情報を生成することも可能である。
 また、機械学習とは異なる任意の学習アルゴリズム等が用いられてよい。所定の学習アルゴリズムに従って変形関連情報を算出することで、変形関連情報の算出精度を向上させることが可能となる。
 なお学習アルゴリズムの適用は、本開示内の任意の処理に対して実行されてよい。
 変形関連情報の生成について、学習アルゴリズムが用いられる場合に限定される訳ではない。
 例えば生成部11は、ルックアップテーブル(Lookup table)、関数、又は単調減少するモデルを用いて、伝搬部2に接触した物体の接触状態に関する情報を生成する。
 ルックアップテーブルとは、複雑な計算処理を単純な配列の参照処理で置き換えて効率化を図るために作られた、配列や連想配列などのデータ構造のことをいう。例えば大きな負担がかかる処理をコンピュータに行わせる場合、あらかじめ先に計算できるデータを計算しておき、その値を配列(ルックアップテーブル)に保存しておく。コンピュータはその都度計算を行う代わりに配列から目的のデータを取り出すことによって、計算の負担を軽減し効率よく処理を行うことが可能となる。
 例えばセンサ4による光量の検出値と、変形関連情報とが関連付けられ、あらかじめルックアップテーブルとして記録される。生成部11はセンサ4により検出された光量を用いて、ルックアップテーブルを参照し、種々の変形関連情報を取り出すことにより、変形関連情報を生成することが可能である。
 ルックアップテーブルを用いることにより、変形関連情報を精度よく生成することが可能となる。また、効率的な生成処理が実現可能となる。
 また、関数が用いられ、変形関連情報が生成されてもよい。
 この場合、センサ4による光量の検出値と、変形関連情報とが関連付けられた関数が、あらかじめ用意される。例えば光量の検出値と接触物体の数とが関連付けられた関数が用意される。
 生成部11は検出された光量を関数に代入することにより、接触物体の数を算出することが可能である。
 関数を用いることにより、変形関連情報を精度よく生成することが可能となる。また、効率的な生成処理が実現可能となる。
 また、単調減少するモデルが用いられ、変形関連情報が生成されてもよい。
 単調減少するモデルとは、センサ値(受光量)が増加した場合に、物体の接触面積や、接触の強さ(例えば力又は圧力等の量)が減少するか、又は変化しないモデルである。すなわち、接触面積や強さが増加しないモデルである。
 例えば、「接触面積=α×受光量(αは0以下)」というモデルが用いられる。このモデルでは、αが0以下であるため、受光量が増加した場合に、接触面積は減少するか、又は変化しない。すなわち、このモデルは単調減少するモデルである。
 このように、接触面積を受光量で微分することにより求められる導関数(上記の式ではαに相当する部分)が常に0以下であれば、当該モデルは単調減少するモデルであるといえる。
 また、受光量に基づいてルックアップテーブルが参照され、接触面積や強さが算出される場合においても、受光量増加に伴って常に面積や強さが減少するか、又は変化しない場合には、当該ルックアップテーブルは単調減少するモデルといえる。
 上記のような関係式は、例えば事前に、面積や強さが分かっている状態で受光量が計測されることにより構築される。また、シミュレーションや理論計算により、関係式が構築されてもよい。
 関係式が単調減少するモデルである場合には、1つのセンサ値に対応する接触面積や強さは、1つに定まる(すなわち、関係式が単射となる)。これにより、例えばセンサの履歴情報がないような場合にも、センサ値単体から接触面積や強さを算出することが可能となり、変形関連情報を精度よく生成することが可能となる。
 また、統計処理や任意の解析処理等により、変形関連情報を生成することも可能である。
 例えば検出結果に対して統計処理が実行される。あるいは、時系列に沿って検出される(所定の検出レートにより検出される)複数の検出結果に対して、統計処理が実行される。これにより、変形関連情報を生成することが可能である。
 統計処理としては、例えば、複数の検出結果(あるいは検出結果系列)の最小値、最大値、平均値、モード(最頻値)、メジアン(中央値)、偏差、分散値等を用いた種々の処理が挙げられる。あるいはこれらの値を、適宜使い分けることも可能である。
 例えば検出結果の外れ値に基づいて故障を発見すること等も可能である。また検出結果のバラつきが多い場合は、中央値を信頼することで変形関連情報の生成精度の向上を図ることも可能となる。
 このように検出結果に基づいて、種々の変形関連情報を生成することが可能である。従って、ユーザは、UI装置100を変形可能なインタフェースとして、種々の操作を入力することが可能となる。
 その他、生成部11による変形関連情報の具体的な生成方法は限定されず、任意の方法により変形関連情報が生成されてよい。
 図5は、UI装置100の動作例を示すフローチャートである。本フローチャートに即して、UI装置100による変形関連情報の生成が実行される。
 図5に示す例は、本技術に係る形状制御方法の一実施形態に相当する。
 信号源3により、伝搬部2の入射面7aに対して光が出射される(ステップ101)。
 光を出射するタイミングは限定されない。例えば、所定の間隔(検出レート)で連続的に光が出射されてもよい。あるいは、所定のトリガ信号を受信した場合に、光が出射されてもよい。
 センサ4により、信号が検出される(ステップ102)。
 具体的には、ステップ101にて出射された光が伝搬部2に入射し、伝搬部2の内部を導波し、出射面7cから出射される。センサ4により、出射された光が検出される。
 光を検出するタイミング、すなわちセンサ4が検出結果を出力するタイミングは限定されない。例えば、信号源3の出射と同期したタイミングで検出結果が出力されてもよい。あるいは、所定の間隔(検出レート)で連続的に検出結果が出力されてもよい。または、所定のトリガ信号を受信した場合に、検出結果が出力されてもよい。
 コントローラ1により、変形関連情報が生成される(ステップ103)。
 具体的には、機能ブロックとしての生成部11により、検出結果が取得される。生成部11により、検出結果に基づいて変形関連情報が生成される。
 [変形関連情報の利用例]
 生成された変形関連情報は、ユーザからの入力情報として、任意に利用することが可能である。
 例えば、ユーザからの入力情報(変形関連情報)に基づいて、ユーザの、伝搬部2に対する種々の操作を判定又は推定することが可能となる。
 例えば、変形関連情報に基づいて、人差し指1本による中央部分の押し込み操作であると判定する。あるいは、親指と人差し指の2本でのつまみ操作であると判定する。このような判定が可能である。なお、押し込み操作やつまみ操作等の操作内容を、変形関連情報として生成することも可能である。
 さらに、ユーザからの入力情報(変形関連情報)に基づいて、視覚、聴覚などの他の感覚との連携処理が実行され、ユーザにフィードバックとして提示することも可能である。
 ユーザからの入力情報(変形関連情報)の利用例として、例えば、1本の指(1つの物体)で露出面8の中央部分を押し込む操作に応じて、部屋のライトをONにする。2本の指(2つの物体)で露出面8をつまむ操作に応じて、部屋に置いてあるブザーを鳴らす。このような種々の実施例を実現することが可能である。
 また、例えばUI装置100をピアノやキーボードの鍵盤として構成することも可能である。
 例えば、ユーザの鍵盤に対する押下動作に応じて生成される変形関連情報に基づいて、手技上達の観点で正しい指で正しい動作で押されているかを判定することが可能である。
 例えば、変形関連情報として、接触物体のサイズ、形状、動き等が生成される。コントローラ1により、変形関連情報と、予め持っているデータセットとの照合が実行される。これにより、ユーザの個人特定、どの手指であるか、正しい動作であるかといったことを判定することが可能となる。もちろん機械学習等が用いられてもよい。
 例えば、判定結果をユーザにフィードバック等することで、ピアノやキーボード等の指の押下動作の手技向上を実現することが可能となる。手技向上のためのガイド情報等がユーザに提示されてもよい。
 また、例えばUI装置100を枕として構成することも可能である。
 例えば、ユーザの枕を使用する際の押下動作に応じて生成される変形関連情報に基づいて、人の部位、全身のサイズ、形状、姿勢等の情報を取得することが可能である。
 例えば、変形関連情報として、接触物体のサイズ、形状、動き等が生成される。コントローラ1により、変形関連情報と、予め持っているデータセットとの照合が実行される。これにより、ユーザの個人特定、どの身体部位であるか、正しい寝相であるかといったことを判定することが可能となる。もちろん機械学習等が用いられてもよい。
 例えば、これらの情報をユーザにフィードバック等することで、枕の身体への接触状態を把握することが可能となり、自分に合う枕の選択、睡眠時の姿勢の改善等、よりよい睡眠を実現するための行動をとることが可能となる。この結果、睡眠状態の向上を実現することが可能となる。
 なお、枕に限定されず、ソファやベッド等の、ユーザが座ったり寝転がったりする家具等に対して、本技術を適用することも可能である。UI装置100をソファやベッドとして構成することで、身体の接触状態の情報を取得することが可能となり、使用感等を向上させることが可能となる。
 このような種々の実施例を実現することが可能である。
 変形関連情報に基づいて、他の装置や機構の動き・変位等が検出されてもよい。この場合、UI装置とは別の名称で呼ばれる可能性はある。逆にいうと、UI装置100とは異なる装置に、本技術を適用することも可能である。
 [保持部]
 次に、伝搬部2が保持部により保持される実施形態について説明する。
 図6及び図7は、保持部を含むUI装置100を側方から見た側面図である。
 図6に示すように、本実施形態では、UI装置100は、伝搬部2と、信号源3と、2つのセンサ4と、コントローラ1(図示は省略)と、支持部材14とを有する。
 以降、伝搬部2や信号源3等の構成について、図1に示す実施形態と同様の内容については、説明を省略する。
 伝搬部2は、全体の形状として、曲面形状を有する。具体的には、図1に示す実施形態と同様に、上面5、下面6、及び側面7a~7dにより、伝搬部2が構成される。伝搬部2は、上面5の中央及び下面6の中央を下方側に撓ませたような、曲面形状を有する。
 また、下面6の中央には、信号源3を配置するための凹部15が構成される。すなわち、下方側に向かって突き出た窪みが構成される。
 信号源3は、光を出射する。
 図6に示すように、本実施形態では、伝搬部2の下面6の中央に構成された凹部15に、信号源3が配置される。信号源3により光が出射されると、光は伝搬部2の内部を導波し、反射や散乱を繰り返しながら伝搬部2の側面7a及び側面7cに向かって進行する。
 2つのセンサ4は、伝搬部2により導波された光を検出する。
 本実施形態では、側面7a及び側面7cが、伝搬部2の出射面となる。2つのセンサ4は、各々の出射面に対向して配置される。
 支持部材14は、伝搬部2を変形可能に保持する。具体的には、支持部材14は、伝搬部2に連結され、伝搬部2との間に、伝搬部2に沿って変形可能な空間を形成し、空間を介して伝搬部2を変形可能に保持する。
 図6に示すように、支持部材14は、下面16及び4つの側面17a~17dを有する。すなわち支持部材14は、上部に開口部が設けられた箱のような形状を有する。なお、側面17b及び側面17dについては、図示が省略されている。
 図6に示すように、支持部材14の上部に伝搬部2が連結されることにより、支持部材14の下面16、側面17a~17d、及び伝搬部2に囲まれた、空間Sが形成される。なお、支持部材14に伝搬部2を連結する方法は限定されず、接着等、任意の方法が用いられてよい。
 伝搬部2自体は変形可能に構成されているため、空間Sは、伝搬部2に沿って変形可能な空間となる。すなわち、伝搬部2の変形に応じて、空間Sも自由に変形することが可能である。例えば、伝搬部2が下方側に押し込まれた場合には、連動して、空間Sも上部が押し込まれたような形に変形する。
 このようにして、支持部材14は、空間を介して伝搬部2を変形可能に保持する。これにより、UI装置100上で、伝搬部2を変形可能に固定することが可能となる。
 なお、支持部材14は任意の材料により構成されてよい。例えば、伝搬部2、信号源3、及びセンサ4を支持することが可能なように、剛性の高い材料により、支持部材14が構成される。
 支持部材14は、本技術に係る保持部の一実施形態に相当する。
 図7に示す例では、弾性体により伝搬部2が保持される。
 弾性体は、ゲル、スポンジ、ゴム等、可撓性及び弾性の双方を有する材料により構成される。具体的には、例えば人間の指で押し込める程度の可撓性を有する材料により、弾性体が構成される。
 もちろん弾性体の種類は限定されず、可撓性及び弾性を有する任意の材料により、弾性体が構成されてよい。
 弾性体は可撓性を有し、伝搬部2に当接する。
 図7に示すように、弾性体20の上方側に伝搬部2が当接される。
 弾性体20は可撓性を有し、伝搬部2自体も変形可能に構成されているため、弾性体20に当接した伝搬部2も変形可能となる。例えば弾性体20は人間の指で押し込める程度の可撓性を有するため、伝搬部2も指で押し込まれることにより変形することが可能である。
 従って、伝搬部2は、弾性体20により変形可能に保持されることとなる。
 これにより、伝搬部2の触感に対して弾性体20による影響を与えながら、伝搬部2を保持することが可能となる。例えば可撓性の高い弾性体20を用いることで、伝搬部2の触感は柔らかいものとなる。逆に、可撓性の低い弾性体20を用いることで、伝搬部2の触感は硬いものとなる。
 弾性体20は、本技術に係る保持部の一実施形態に相当する。
 また、支持部材14及び伝搬部2により、空間Sに流体が保持されてもよい。
 この場合、図6における場合と同様に、支持部材14の上部に伝搬部2が連結され、支持部材14の下面16、側面17a~17d、及び伝搬部2に囲まれた空間Sに、流体が保持される。
 伝搬部2自体は変形可能に構成されているため、伝搬部2の変形に応じて、流体も自由に変形することが可能である。
 これにより、伝搬部2の触感に対して流体による影響を与えながら、伝搬部2を保持することが可能となる。例えば粘性の高い流体を用いることで、伝搬部2の触感は硬いものとなる。逆に、粘性の低い流体を用いることで、伝搬部2の触感は柔らかいものとなる。流体として、例えば空気や水、又は磁性流体等が保持される。もちろんその他の気体及び流体等が保持されてもよい。
 [駆動部]
 次に、UI装置100が駆動部を有する実施形態について説明する。
 本実施形態においては、駆動部により、伝搬部2が変形される。
 例えば駆動部により、伝搬部2の側面7a~7dが外側に向かって引っ張られ、伝搬部2は平面に近い形状に変形する。また、側面7a~7dが内側に向かって押されることにより、伝搬部2は撓み、曲率の高い形状に変形する。
 その他、伝搬部2の上面5や下面6の一部に対して力が加えられることで、伝搬部2に、局所的な凹凸を作ることも可能である。
 伝搬部2を変形させるために、伝搬部2に対して力を及ぼすことが可能であるような、種々の機構が駆動部として採用される。
 例えば誘電エラストマーが、駆動部として採用される。誘電エラストマーは、電場により大きなひずみを生成するエラストマーである。電気エネルギーを直接運動エネルギーに変換することができ、人工筋肉等の技術にしばしば利用される。
 誘電エラストマーに対して電圧をかけることで、電極が引っ張り合い、電極の間を押しつぶして変形させることが可能である。この仕組みを利用することで、伝搬部2を変形させることが可能である。
 その他、モーター又は圧電素子といった機構が、駆動部に含まれる。もちろん、伝搬部2を変形させることが可能な、任意の機構が駆動部として採用されてよい。
 駆動部により、流体が制御されることで、伝搬部2が変形可能であってもよい。
 図8A及び図8Bは、流体制御機構を含むUI装置100を側方から見た側面図である。
 図8Aには、伝搬部2が変形していない状態が示されている。
 図8Bには、流体制御により伝搬部2が膨らむように変形した状態が示されている。
 図8A及び図8Bに示すように、本実施形態では、UI装置100は、伝搬部2と、信号源3と、2つのセンサ4と、コントローラ1と、支持部材14と、流体制御機構23とを有する。また、支持部材14が伝搬部2に連結され、支持部材14及び伝搬部2により囲まれた空間Sに、流体24が保持される。
 本実施形態においては、支持部材14の側面17cに、流体制御機構23が挿入されるための開口部25が構成される。
 開口部25は、支持部材14の1つの側面にのみ構成されてもよいし、複数の側面に構成されてもよい。
 流体制御機構23は、伝搬部2及び支持部材14により保持される流体24の流れを制御することで、伝搬部2を変形させることが可能である。
 流体制御機構23は、基体部26に形成された流出入口27を介して、伝搬部2及び支持部材14により形成された空間に、流体24を流入させることが可能である。なお、流出入口27は、保持部の側面に構成された開口部25に挿入される。
 また、流体制御機構23を介して、伝搬部2及び支持部材14により保持されている流体24を、UI装置100の外部に流出させることが可能である。
 例えば基体部26に図示しない送水管及び排水管が接続され、UI装置100に流入させるための流体を保持する他の流体保持空間との間で、流体の供給や、流体の排出が実現される。
 流体制御機構23の具体的な構成は限定されず、任意に設計されてよい。例えば、流体24の流入及び流出を実現するために、任意のアクチュエータ機構が採用されてよい。
 例えば、真空ポンプ等のポンプ、コンプレッサー、ブロワ、送風機、羽根車等のデバイスを用いることが可能である。
 また弁機構を介して、支持部材14により保持される空間と他の流体保持空間とが連通されてもよい。弁機構は、2つの空間の間の流路抵抗(弁が最も開いているとき抵抗は最小となり、弁が閉じているとき抵抗は無限大となる)を制御することのできる任意の装置を含む。
 支持部材14により保持される空間Sと他の流体保持空間との間に圧力差を生じさせた状態で、弁機構を制御して、流路抵抗を下げる(弁を開ける)。これにより、保持部により保持される空間Sに対する流体24の流入及び流出を制御することが可能となる。
 他の流体保持空間との圧力差を生じさせるために、ポンプやコンプレーサー等のアクチュエータ機構が用いられてもよい。また他の流体保持空間が、ポンプやコンプレーサー等の一部に形成されてもよい。
 なお、流出用の流体制御機構及び流入用の流体制御機構が分かれて構成され、各々の流体制御機構により流体24の制御が実行されてもよい。この場合、流出用の流体制御機構は流出口や送水管を有し、空間Sに対する流体24の流入を実行する。また、流入用の流体制御機構は流入口や排水管を有し、UI装置100の外部への、流体24の流出を実行する。
 その他、流体制御機構23の数等、具体的な構成は限定されない。
 流体制御機構23は、支持部材14が保持する流体24の量又は支持部材14が保持する流体24の圧力の少なくとも一方を制御することで、伝搬部2を変形させることが可能である。
 例えば流体24の流入量、流入速度、流入タイミング等や、流体24の流出量、流出速度、流出タイミング等を適宜制御し、またこれらを適宜組み合わせる。
 図8Bには、流体24の流入により伝搬部2が膨張した状態が示されている。流体制御により、例えばこのような伝搬部2の変形が実現される。
 その他、例えば伝搬部2の収縮、伝搬部2の一部だけの膨張/収縮、伝搬部2を波立たせる動き等、種々の変形態様を実現することが可能となる。
 本実施形態では、流体保持かつ流体制御により、自由度の高い伝搬部2の変形が可能である。
 [変形駆動]
 本実施形態においては、さらに、駆動部は、生成部11により生成された伝搬部2の変形に関する情報に基づいて、伝搬部2を変形させることが可能である。
 例えば、伝搬部2がしぼんでいる状態で軽く突かれたので、伝搬部2を膨張させて大きくするといったことが可能である。この場合、突かれた部分に対して、駆動部により、上方側に力が加えられる。これにより、押し込まれた部分が元に戻るような、伝搬部2の変形が実現される。
 また例えば、キャラクターやUIボタンの映像が投影された伝搬部2の形状を、所望の形状に変形させることが可能である。例えば、ユーザが視聴している映像情報に対応した形状へ近づけるように、伝搬部2を変形させる。このような種々の実施例を実現することが可能である。
 この場合、例えばコントローラ1が有するCPUが所定のプログラムを実行することで、図8A及び図8Bに示すように、機能ブロックとしての制御部28が構成される。制御部28は、生成部11により生成された変形関連情報を取得し、伝搬部2を変形させることが可能な種々の機構の動作を制御する。
 すなわち、制御部28と、例えば誘電エラストマー等の機構とにより、駆動部が実現される。
 その他、変形関連情報に基づいて伝搬部2を変形させる方法、及びどのような形状に伝搬部2を変形させるかについては、限定されない。
 もちろん、変形関連情報に基づいて流体24が制御されることで、伝搬部2が変形されてもよい。
 この場合、制御部28は、生成部11により生成された変形関連情報を取得し、流体制御機構23の動作を制御する。
 すなわち、流体制御機構23は、本技術に係る駆動部の一実施形態に相当する。
 図9は、UI装置100の変形駆動に係る動作例を示すフローチャートである。図9に示す例も、本技術に係る形状制御方法の一実施形態に相当する。
 ステップ201及び202は、図5に示すステップ101及び102と同様である。
 コントローラ1により、変形関連情報が生成される(ステップ203)。
 具体的には、機能ブロックとしての生成部11により、検出結果が取得される。生成部11により、検出結果に基づいて変形関連情報が生成される。生成された変形関連情報は、制御部28に対して出力される。
 制御部28により、変形関連情報に基づいて、伝搬部2の変形が必要か否かが判定される(ステップ204)。
 具体的には、生成部11により生成された変形関連情報が、制御部28により取得される。制御部28により、取得した変形関連情報に基づいて、伝搬部2の変形が必要か否かが判定される。
 伝搬部2の変形が必要な場合には、どのような変形を実行するかが判定される。
 変形が必要であると判定された場合(ステップ204のYes)、制御部28により、伝搬部2の変形が制御される(ステップ205)。
 すなわち、誘電エラストマーや流体制御機構23等の動作が、制御部28により制御される。これにより、伝搬部2の変形が実現される。
 [触覚提示]
 本実施形態においては、さらに、駆動部は、伝搬部2に接触するユーザに所定の触覚が提示されるように、伝搬部2を変形させることが可能である。
 例えば、ユーザの押し動作(操作)に応じて伝搬部2を膨張または収縮させて、瞬間的な圧迫刺激または振動刺激を与え、確実に押したという操作感を与える。また、ユーザの長押し動作(操作)に応じて伝搬部2を膨張または収縮させて、継続的な圧迫刺激または振動刺激を与え、確実に押しているという操作感を与える。
 このような種々の触覚提示が可能となることで、伝搬部2を押したときの触感を、プッシュボタンを押したときの触感や、振動フィードバックボタンを押したときの触感等、様々な触感に切り替えることも可能となる。
 もちろん、例えば、ユーザが強く押し込んだから伝搬部2を膨張させて反発させるとか、ユーザが強くつまんだから伝搬部2を収縮させるといった、種々の触覚提示も可能である。
 その他、UI装置100による触覚提示の具体的な内容や方法については、限定されない。
 本実施形態において、UI装置100は、本技術に係る触覚提示装置の一実施形態に相当する。
 もちろん、変形関連情報に基づいて流体24が制御されることで、伝搬部2が変形され、触覚提示がなされてもよい。
 例えば、伝搬部2にユーザが接触している状態で、流体24を流入することで、押される感覚を提示することが可能である。あるいは、流体24を流出させることで、さらなる指等の押し込みを促したり、指等を移動させたりすることも可能となる。
 また流体24の流入及び流出を繰り返したりする等により、連続的に繰り返される触覚を提示するといったことも可能である。その他、種々の触覚を提示することが可能である。
 本実施形態では、流体24の圧力を利用した触覚提示が可能であるので、触覚提示のための機構を容易に構成することが可能である。また、流体保持かつ流体制御により、自由度の高い軟硬感や形状感の提示が可能である。
 図10は、UI装置100の触覚提示に係る動作例を示すフローチャートである。
 ステップ301~303は、図9に示すステップ201~203と同様である。
 制御部28により、変形関連情報に基づいて、触覚提示が必要か否かが判定される(ステップ304)。
 具体的には、生成部11により生成された変形関連情報が、制御部28により取得される。制御部28により、取得した変形関連情報に基づいて、触覚提示が必要か否かが判定される。
 触覚提示が必要な場合には、触覚提示のためにどのような伝搬部2の変形を実行するかが判定される。
 触覚提示が必要であると判定された場合(ステップ304のYes)、制御部28により、ユーザに所定の触覚が提示されるように、伝搬部2の変形が制御される(ステップ305)。
 [状態センサ]
 UI装置100に状態センサが備えられ、弾性体20の体積、弾性体20に対して加えられた力、弾性体20の圧力、又は弾性体20の形状の少なくとも1つが取得されてもよい。
 例えば、MEMS(Micro Electro Mechanical Systems)等により構成された圧力センサにより状態センサが構成され、弾性体20の圧力が取得される。また、例えば力センサ等により、弾性体20に対して加えられた力が取得される。状態センサは、種々の情報を取得するために、UI装置100の適当な位置に配置される。
 弾性体20の体積や圧力としては、具体的な数値が取得される。
 弾性体20に対して加えられた力としては、例えば力の大きさ、方向、もしくは力が加えられた位置(作用点)が取得される。
 弾性体20の形状としては、「直方体」「球体」等、弾性体の具体的な形が取得される。
 この場合、状態センサは、本技術に係る弾性体センサ部の一実施形態に相当する。
 なお、上記に例示したうち複数の情報が取得されてもよい。
 また状態センサにより、流体24の体積又は流体24の圧力の少なくとも一方が取得されてもよい。
 この場合も、圧力センサや力センサ等により、流体24の体積や圧力が、具体的な数値として取得される。
 この場合、状態センサは、本技術に係る流体センサ部の一実施形態に相当する。
 制御部28は、状態センサにより取得された情報に基づいて、伝搬部2の変形駆動や、伝搬部2の変形による触覚提示を実行することが可能である。
 例えば、伝搬部2に対するユーザの押し動作(操作)に応じて、伝搬部2を膨張させるという変形駆動及び触覚提示は、変形関連情報に基づいて実行することが可能であるが、状態センサにより取得された情報を用いることによっても、当該変形駆動及び触覚提示が可能である。
 具体的には、伝搬部2が押し込まれると、弾性体20に対して力がはたらく。そして状態センサにより、弾性体20に対して加えられた力が、弾性体20の状態を示す状態情報として取得される。
 状態センサにより状態情報が取得されると、状態情報が制御部28に対して出力される。制御部28は出力された状態情報を取得し、状態情報に基づいて、伝搬部2の変形駆動や、伝搬部2の変形による触覚提示を実行する。
 このように、変形駆動や触覚提示の説明で例示したような種々の動作が、状態センサにより取得された情報に基づいて実行される。
 本実施形態においては、図9に示す変形駆動のフローチャートにおいて、ステップ203に相当する部分で、状態センサにより状態情報が生成される。また、ステップ204では、制御部により状態情報が取得され、伝搬部2の変形が必要か否かが判定され、変形が必要な場合には、どのような変形を実行するかが判定される。
 その他のステップにおける動作については同様であるため、説明を省略する。
 なお、図10に示す触覚提示のフローチャートにおいても、同様である。
 本実施形態では、状態センサにより弾性体20又は流体24の状態が取得される。これにより、弾性体20又は流体24の状態を精度よくセンシングすることが可能となる。また、状態センサにより取得された情報に基づいて、伝搬部2の変形駆動や、伝搬部2の変形による触覚提示が実行される。これにより、精度よく変形駆動や触覚提示を実行することが可能となる。
 例えば、ユーザに対して所望の触覚を与えることができているかを、センシングすることが可能である。
 また、生成部11による変形関連情報の生成、及び状態センサによる状態情報の取得の、双方が実行されてもよい。
 例えば生成部11により変形関連情報が生成され、状態センサによる状態情報の取得が実行されないような場合には、変形関連情報として、「伝搬部2に接触した物体の接触面積がこの大きさである場合には、物体から加わる力はこの大きさ」といった、接触面積と力の大きさが関連付けられているが、各々が確定しない情報が生成されうる。これは、例えば生成部11が導光量の減少のみに基づいて変形関連情報を生成することに起因する。
 変形関連情報の生成及び状態情報の取得の、双方が実行されることで、各々の情報を分離することが可能となる。例えば、変形関連情報として接触面積と力の大きさが関連付けられている情報が生成され、さらに、当該情報及び状態情報に基づいて、接触面積及び力の大きさの各々が、独立した情報として生成される。
 また、変形駆動や触覚提示のために、生成部11により生成された変形関連情報、及び状態センサにより取得された状態情報の双方が利用されてもよい。これにより、高品位な変形駆動や触覚提示が実現可能となる。
 [信号源及びセンサの配置構成例]
 UI装置100が、光を出射する複数の信号源3を有してもよい。
 また、UI装置100が、出射された光を検出する複数のセンサ4を有してもよい。
 複数の信号源3が配置されることで、例えば伝搬部2に対して広範囲に、強い光を入射させることが可能である。
 また、複数のセンサ4が配置されることで、生成部11は複数の検出結果に基づいて、変形関連情報を生成することが可能となる。これにより、変形関連情報を精度良く生成することが可能となる。
 UI装置100が複数の信号源3を有する場合、又は複数のセンサ4を有する場合における、信号源3及びセンサ4の配置例について説明する。
 図11~図13は、信号源3及びセンサ4の配置構成のバリエーション例を示す模式図である。なお、各々の図は、UI装置100を上方から見た上面図である。
 図11に示す例では、信号源3とセンサ4の組が平行に、複数配置される。
 具体的には、UI装置100は、信号源3と、信号源3により出射された光を検出するセンサ4との組を複数有する。各々の組における信号源3とセンサ4とを結んだ線分は、それぞれUI装置100を上方側から見た場合に、左右方向を向いて平行である。
 すなわち、信号源3から出射され、センサ4により検出される光の光路が平行になるように、信号源3及びセンサ4が配置される。
 各々の光路が平行であるため、各々の組における信号源3は等間隔で配置され、かつ各々の組におけるセンサ4は信号源3の間隔と等しい、等間隔で配置されることになる。
 なお、もちろん信号源3同士の間隔、センサ4同士の間隔、信号源3とセンサ4との間隔、信号源3及びセンサ4の個数等、具体的な配置構成は限定されない。
 このような配置構成により、物体の一次元的な接触位置を、精度よく取得することが可能となる。
 信号源3と、信号源3により出射された光を検出するセンサ4との組は、本技術に係る第1の組の一実施形態に相当する。
 また、UI装置100を上方側から見た場合の左右方向は、本技術に係る第1の方向の一実施形態に相当する。
 また、信号源3同士の間隔、及びセンサ4同士の間隔は、本技術に係る第1の間隔の一実施形態に相当する。
 図12に示す例では、図11に示す例に加えて、さらに信号源3とセンサ4の組が上下方向に平行に、複数配置される。
 具体的には、UI装置100は、図11に示す例に加えてさらに、信号源3と、信号源に3より出射された光を検出するセンサ4との組を複数有する。各々の組における信号源3とセンサ4とを結んだ線分は、それぞれUI装置10を上方側から見た場合に、上下方向を向いて平行である。
 上下方向に平行な各々の組においても、各々の組における信号源3は等間隔で配置され、かつ各々の組におけるセンサ4は信号源3の間隔と等しい、等間隔で配置されることになる。
 このような配置構成により、2次元的な傾きや凹凸、細かい形状変化等を含む高度な変形関連情報を取得することが可能となる。
 信号源3と、信号源3により出射された光を検出するセンサ4との上下方向に平行な組は、本技術に係る第2の組の一実施形態に相当する。
 また、UI装置100を上方側から見た場合の上下方向は、本技術に係る第1の方向とは異なる第2の方向の一実施形態に相当する。
 また、上下方向に平行な各々の組における信号源3同士の間隔、及びセンサ4同士の間隔は、本技術に係る第2の間隔の一実施形態に相当する。
 図13に示す例では、複数のセンサ4が、円形に並べられて配置される。
 具体的には、複数のセンサ4が、1つの信号源3を中心とした所定の半径の円周上に、所定の間隔で配置される。
 なお、本例においては、中心に配置された信号源3から全ての方向に光が出射され、センサ4により光が検出される。センサ4同士の間隔や、各センサ4と信号源3との距離(円の半径)等の、具体的な配置構成は限定されない。
 このような配置構成により、2次元的な傾きや凹凸、細かい形状変化等を含む高度な変形関連情報を取得することが可能となる。
 信号源3やセンサ4が伝搬部2に接着されてもよい。
 図14は、信号源3及びセンサ4が伝搬部2に接着されたUI装置100を、側方から見た側面図である。
 また、信号源3やセンサ4が伝搬部2に埋め込まれてもよい。
 図15は、信号源3及びセンサ4が伝搬部2に埋め込まれたUI装置100を、側方から見た側面図である。
 信号源3が伝搬部2に埋め込み又は接着されることで、信号源3により出射された光のうち、伝搬部2の外に漏れ出る光が少なくなる。すなわち、効率よく光を導波させることが可能となる。
 また、センサ4が伝搬部2に埋め込み又は接着されることで、伝搬部2を導波した光のうち、センサ4により検出されない光が少なくなる。これにより、精度よく光を検出することが可能となる。
 なお、信号源3やセンサ4の接着方法、及び埋め込みの方法は限定されず、任意の方法により接着及び埋め込みがなされてよい。
 [信号の出射/検出のバリエーション]
 信号源3により、光が2種類以上の強度で出射されてもよい。
 出射される光の強度、すなわち光量を変化可能とすることで、センサ4側で検出可能なダイナミックレンジに適した出力に調整することが可能となり、センシングの感度を向上させることが可能となる。
 例えば、伝搬部2の変形度合いに応じて、出射される光の光量が変化されてもよい。これによりセンシングの感度を向上させることが可能となる。
 その他、光量の変化パターンは限定されず、任意に設定されてよい。
 信号源3により出射される光の光量は、本技術に係る、出射される光の強度の一実施形態に相当する。
 なお、もちろん信号源3により光以外の電磁波が出射され、信号源3が、出射される電磁波の強度を時間的に変化させることが可能であってもよい。例えば電波が出射される場合には、電波強度が時間的に変化される。
 信号源3による出射のON/OFFが切替え可能であってもよい。
 図16は、時刻及び信号源3により出射される光の発光強度(光量)の関係を表すグラフである。
 図16に示すように、グラフの横軸には時刻が、縦軸には信号源3により出射される光の発光強度が取られている。
 本例では、時刻T1までは発光強度C1で光が出射される。時刻T1にて出射がOFFになり、その後時刻T2まで出射が停止される。時刻T2において出射が再開され、時刻T2以降は再び発光強度C1で光が出射される。
 このように、所定の時刻で出射のON/OFFが切替えられてもよい。なお、出射のON/OFFの切替えは、光が2種類以上の強度で出射されることに含まれる。
 信号源3による出射のON/OFFが切替えられることで、信号源による出射以外の要因に起因する、検出結果への影響を抽出することが可能となる。
 図17は、信号源3の出射のON/OFFが切替えられる場合の、時刻及びセンサ4により検出される受光センサ値(光量)の関係を表すグラフである。
 図17には、図16のように光が出射される場合における、センサ値の推移が示されている。
 時刻T1までは発光強度C1で光が出射され、その間センサ4により、センサ値C3が検出される。また、時刻T1~T2においては出射が停止され、その間センサ値C2が検出される。また、時刻T2以降は再び発光強度C1で光が出射され、その間センサ値C3が検出される。
 この場合、出射が停止されている間のセンサ値C2が、信号源3による出射以外の要因に起因して検出されるセンサ値となる。例えば当該信号源3以外の他の信号源による出射に起因するセンサ値や、UI装置100の周囲の環境光(照明光等)に起因するセンサ値が、当該センサ値として検出される。
 また、ON時とOFF時のセンサ値の差分、すなわちC3とC2の差を取ることで、信号源3の出射に起因するセンサ値の変動を算出することが可能となる。
 このように、各々の信号源3の出射による検出結果への影響や、環境光による検出結果への影響を、それぞれ分離して抽出することが可能となる。
 信号源3が、出射される光の強度を時間的に変化させることが可能であってもよい。
 図18は、時刻及び信号源3により出射される光の発光強度(光量)の関係を表すグラフである。
 本例においては、グラフが正弦波となるような発光強度の変化パターンで、光が出射される。
 図19は、センサ4に受光許容上限がある場合の、時刻及びセンサ4により検出される受光センサ値(光量)の関係を表すグラフである。
 図19には、図18のように光が出射される場合における、センサ値の推移が示されている。
 本例では、センサ4が受光許容上限を有する。すなわち、光量が受光許容上限を超えた場合に、センサ4による正しい光量の検出が不可能となる(サチる)。受光許容上限を超えた光量を有する光は、全て受光許容上限のセンサ値として検出されてしまう。
 センサ4により検出される光には、信号源3により出射された光以外にも、一定の電気的ノイズ等が含まれるため、信号源3により出射される光の光量を大きくし、なるべく大きな受光値でセンシングさせることが望ましい。しかしながら、出射される光の光量を大きくしすぎると、センサ4側の受光許容上限を超えてしまい、正しい光量の検出が困難になる。
 一方で、光量を小さくしすぎると、センサ4側の受光許容上限を超えることはなくなるが、センサ値に対する電気的ノイズ等の影響が大きくなってしまい、信号源3により出射された光の光量の、正確なセンシングが困難となる(出射された光が、ノイズに埋もれてしまうような状態となる)。
 信号源3により、一定の光量の光が出射される場合には、上記のような問題が発生するが、本実施形態のように、出射される光の強度を時間的に変化させることで、光量の変化をセンシングできるレンジが拡大する。すなわち、広い範囲の光量を検出することが可能である。これにより、上記の問題を解消することが可能となる。
 信号源3及びセンサ4が複数配置され、複数の波長の光がセンシングされてもよい。
 図20は、複数の波長の光がセンシングされる場合のUI装置100を、上方から見た上面図である。
 本例では、伝搬部2の入射面7aに対向する位置に、3つの信号源3a~3cが配置される。3つの信号源3a~3cは、出射する光の波長が互いに異なるように構成される。
 また、伝搬部2の出射面7cに対向する位置に、3つのセンサ4a~4cが配置される。3つのセンサ4a~4cは、検出する光の波長が互いに異なるように構成される。
 各々の信号源3a~3cから出射される光は、図20における右方向に向かって進行する。進行した光は、各々の信号源3a~3cと伝搬部2を挟んで対向する位置に配置されているセンサ4a~4cにより、検出される。例えば、信号源3aにより出射される光は、センサ4aにより検出される。
 すなわち、伝搬部2の内部で、3種類の波長の光が導波される。
 本実施形態では、複数の異なる波長の光の検出結果が取得される。これにより、接触物体の色等の、光学的特徴を精度よく生成することが可能となる。
 図20には、伝搬部2に触れたユーザの指10の模式図が示されている。複数の異なる波長の光を用いたセンシングにより、このように指が触れられた場合にも、人肌の検出、個人の特定、皮膚の状態や脈拍等の生体情報の取得等、様々な情報を変形関連情報として生成することが可能となる。
 なお、一つの信号源3により、複数の異なる波長の光が出射されてもよい。この場合、例えば光の波長が時間的に変化され、出射される。また、例えば出射された光の波長に合わせて、センサ4の検対象となる波長が時間的に変化され、センシングが実行される。
 また、本例において、信号源3から出射される電磁波は光に限定されない。例えば複数の異なる波長の電波が出射されてもよいし、光と電波が出射されてもよい。
 その他、信号源3やセンサ4の具体的な構成は限定されない。
 信号源3により、光として、不可視光が出射されてもよい。
 例えば不可視光として、赤外線や紫外線が出射される。
 例えばUI装置100は、ディスプレイや映像投影等の視覚刺激と併用される。この場合に、伝搬部2を導波する光として可視光が用いられると、当該光がユーザにより視認されてしまうため、本来ユーザに視認させたい映像等に、視覚的な影響を及ぼしてしまう。
 伝搬部2を導波する光として、赤外線や紫外線等の、人間により視認されない光が利用されることで、このような視覚的な影響を無くすことが可能となる。
 例えば伝搬部2の露出面8上に、文字や絵柄等が記される場合に、センシングに不可視光を用いることで、文字や絵柄の視認性を向上させることが可能となる。
 [伝搬部の形状のバリエーション]
 伝搬部2は、部分的に厚さが異なるように構成されてもよい。
 図21は、伝搬部2の厚さが部分的に異なる場合の、UI装置100を側方から見た側面図である。
 図21には、伝搬部2の露出面8に指10が接触し、伝搬部2が押し込まれている状態が示されている。また、伝搬部2の内部を導波し、反射及び散乱する光が、模式的に矢印で示されている。
 伝搬部2の厚さとは、伝搬部2の上面5と下面6との距離である。すなわち、図21における伝搬部2の、上面5及び下面6の上下方向の距離が、伝搬部2の厚さに相当する。
 図21に示すように、伝搬部2は、部分的に厚さが異なるように構成される。具体的には、伝搬部2の下面6のうち、左右方向における中央付近に、上方向に突き出た凸部が構成される。当該部分において、伝搬部2の厚さが周囲よりも小さいような形状となっている。
 (実験)
 発明者は、伝搬部2の形状と、センサ4の検出結果との関係について検討するために、種々の実験を行った。
 図22及び図23は、伝搬部2の形状とセンサ4の検出結果との関係を検討するための実験の概要を説明するための、UI装置100を側方から見た側面図である。
 図22に示す例では、UI装置100は、伝搬部2と、信号源3と、センサ4と、図示しないコントローラ1と、剛体31と、遮蔽部39とを有する。
 本実験では、伝搬部2の形状として、直径25mm程度の円板形状が採用される。
 信号源3及びセンサ4は、伝搬部2に対して上方側に30度傾けて配置される。信号源3及びセンサ4を傾けることによる効果については、後述する。
 また、伝搬部の上面5及び下面6のうち、信号源3及びセンサ4の近傍には、遮蔽部39が配置される。遮蔽部39の具体的な構成や、遮蔽部39の配置による効果については、後述する。
 また、剛体31が伝搬部2の下面6に接して配置される。
 図22に示すように、伝搬部2の上面5(露出面8)に対し、接触片33を接触させる。接触片33は厚さが1mm程度の円板形状を有する。また、接触片33は、例えば白色ウレタン素材等により構成される。
 本実験では、伝搬部2を様々な厚さに変化させ、接触片33の接触による、センサ4の検出結果への影響が考察された。また、接触片33の直径を様々な大きさに変化させることによる、検出結果への影響が検討された。
 本発明者は、伝搬部2の厚さが小さいほど、接触による光量の検出値の減少が大きい傾向にあることを見出した。
 図22には、側方から見た場合の、伝搬部2の形状が示されている。図22に示す例では、伝搬部2のほぼ全体が、厚さの小さい(1mm)形状となっている。
 このような形状の伝搬部2と、例えば図1に示すような、厚さが大きい(3mm)伝搬部2の各々について、接触片33の接触による検出結果への影響が調べられた。その結果、接触片33の直径に関わらず、図22に示すような厚さの小さい伝搬部2の方が、接触による光量の検出値の減少が大きいという実験結果が得られた。
 すなわち、伝搬部2の全体の厚さが小さいほど、センシングにおける感度が良いという結果が見出された。
 また本発明者は、伝搬部2の一部の箇所の厚さが小さい場合にも、当該箇所に物体が接触した場合に、接触による光量の検出値の減少が大きい傾向にあることを見出した。
 図23に示す例では、伝搬部2の中央が厚さ2mmであり、伝搬部2の中心から半径8mm程度の円周上の部分が、厚さの小さい(0.5mm)形状となっている。
 このような伝搬部2に何も接触させない場合、直径6mmの接触片33を接触させる場合、直径10mmの接触片33を接触させる場合、直径16mmの接触片33を接触させる場合の各々について、光量の検出値を測定する実験を行った。
 その結果、接触片33の直径を10mmから16mmに変化させた際の、光量の検出値の減少が最も大きいという実験結果が得られた。
 接触片33は伝搬部2の上面5の中央に配置されるため、直径16mmの接触片33を接触させた場合には、接触片33の円周部分が、ちょうど伝搬部2の厚さの小さい部分(中心から半径8mm程度の円周上の部分)に位置することになる。
 すなわち、伝搬部2のうち、局所的に厚さの小さい部分に物体が接触した場合に、センシングにおける感度が良くなるという結果が得られた。
 このような結果から、伝搬部2の全体や一部の厚さを小さくすることで、センシングにおける感度が良くなるという知見が得られた。
 図21に示すように、伝搬部2の厚さの小さい部分においては、内部を導波する光の反射回数が多くなる。そのため、全反射条件の崩れによる導光量の減少がより顕著に現れ、センシングにおける感度が良くなると推察される。
 このように、伝搬部2の厚さが部分的に異なるような構成を採用することで、厚さが小さい部分に対する物体の接触を、精度よくセンシングすることが可能となる。
 例えば、物体の接触対象となる接触対象面9に対応する位置において、伝搬部2を薄くすることで、接触対象面9に対する物体の接触を、精度よくセンシングすることが可能となる。このように、物体の接触を想定する位置に限り、伝搬部2を薄くするということは、精度のよいセンシングを実現するために有効である。
 また、センシングの精度を上げたい部分に限り伝搬部2を薄くする等、適宜構成を最適化することが可能となる。
 また、伝搬部2が、信号源3の近傍及びセンサ4の近傍において可撓性が低いような構成を有してもよい。
 図24は、伝搬部2が信号源3の近傍及びセンサ4の近傍において可撓性が低い場合の、UI装置100を側方から見た側面図である。
 図24には、伝搬部2のうち可撓性が低い部分が、網掛けで示されている。本実施形態では、伝搬部2のうち、信号源3の近傍及びセンサ4の近傍は、伝搬部2のうち、信号源3の近傍でなく、かつセンサ4の近傍でない部分より低い可撓性を有する。
 すなわち、伝搬部2は、端部が中央部よりも硬いような構成を有する。
 伝搬部2のうち、信号源3やセンサ4の近傍の変形は、信号強度(光の光量)に大きな影響を及ぼす。
 例えば、伝搬部2のうち、センサ4の近傍の曲率が変化すると、センサ4に入射しない光の成分が増加し、検出される光量が少なくなる。
 本実施形態のように、端部の可撓性が低い構成を採用することで、端部に物体が接触した場合にも、曲率が変化しにくくなる。
 これにより、伝搬部2の変形による信号強度への影響が抑制され、生成部11は精度よく変形関連情報を生成することが可能となる。
 なお、もちろん信号源3の近傍のみ、可撓性が低いような構成が採用されてもよい。また、センサ4の近傍のみ、可撓性が低いような構成が採用されてもよい。
 すなわち、信号源3の近傍又はセンサ4の近傍の少なくとも一方の可撓性が低いように、伝搬部2が構成されてよい。
 その他、伝搬部2の可撓性に関する、具体的な構成は限定されない。
 また、伝搬部2が、広がり形状を有してもよい。
 図25は、伝搬部2が広がり形状を有するUI装置100を、上方から見た上面図である。
 本例においては、伝搬部2の形状は、信号源3に近づくほど狭まっており、センサ4に近づくほど狭まっている。伝搬部2の左右方向における中央部は、上下方向に広がりを持った形状となっている。
 このような形状の伝搬部2が用いられることにより、少ない信号源3及びセンサ4と、大きい面積の伝搬部2といった構成が採用可能となる。すなわち、少ない信号源3及びセンサ4により、広い範囲のセンシングを実行することが可能となる。
 また、伝搬部2が、凹形状を有してもよい。
 図26は、伝搬部2が凹形状を有するUI装置100を、側方から見た側面図である。
 図26には、伝搬部2に対してユーザの指10が接触した状態の模式図が示されている。本実施形態では、UI装置100は保持部を有さないが、例えば図7に示すように、伝搬部2が弾性体20に保持されることによって凹形状に変形しているような場合も、伝搬部2が凹形状を有することに含まれる。
 本例においては、伝搬部2は、凹形状を有し、物体の接触により曲率が増加する。
 伝搬部2として、このような形状を採用することも可能である。
 その他、伝搬部2の具体的な形状については限定されない。例えば図1に示すような円板形状等、任意の形状を採用することが可能である。
 [近接センシング]
 伝搬部2の外部に出射された光に基づいて、物体の近接のセンシングが可能であってもよい。
 図27は、近接センシングが実行されている状態のUI装置100を、側方から見た側面図である。
 信号源3は、少なくとも一部の光を、接触対象面9に対向する領域に出射可能に構成される。具体的には、信号源3により、接触対象面9(伝搬部2の上面5)に対向する領域、すなわち伝搬部2の上方側の空間に光が出射される。同時に、伝搬部2の内部にも光が出射される。
 図27に示すように、接触対象面9に対してユーザの指10が近接している場合には、伝搬部2の上方側に出射された光の一部が、指10の表面で反射される。また、反射された光の一部が、センサ4により検出される。センサ4は、当該検出結果を生成部11に対して出力する。
 生成部11は、センサ4による検出結果に基づいて、接触対象面9に対する物体の近接に関する情報を生成する。
 なお、既に例示したとおり、物体の近接に関する情報は、変形関連情報に含まれる。
 図28は、接触対象面9に指10を徐々に近接させた場合における、時刻と、指10の表面で反射された光の受光センサ値との関係を示すグラフである。
 図28に示すように、待機時(指10が接触対象面9の上方で静止している状態)においては、時刻に関わらずほぼ同じセンサ値が検出される。
 指10が接触対象面9に対して徐々に近接し始めると、近接に応じてセンサ値が増加し、指10がある位置まで近接した時に、センサ値が最大となる。
 その後センサ値は減少し、指10が接触対象面9に対して接触し、指10が押し込まれることで接触面積が増加すると、さらにセンサ値が減少していく。
 このように、指10の近接の度合いによって、異なるセンサ値が検出される。
 このような手法により、物体の近接をセンシングすることが可能となる。
 その他、伝搬部2の内部を導波する光の検出結果に基づいて、任意の変形関連情報が生成されてよい。例えば、物体により反射される光のセンサ値が一度増加してから減少したというような、光量の時間的な変化に基づいて、物体の接触を検知することが可能となる。
 また、伝搬部2の内部を導波する光の検出結果と、伝搬部2の上方に出射され、物体により反射される光の検出結果の双方に基づいて、変形関連情報が生成されてもよい。これにより、精度よく変形関連情報を生成することが可能となる。
 なお、伝搬部2の内部に光を出射する信号源3と、伝搬部2の上方に光を出射する信号源3とが、それぞれ別個に構成されてもよい。また、伝搬部2の内部を導波する光を検出するセンサ4と、伝搬部2の上方に出射され、物体により反射される光を検出するセンサ4とが、それぞれ別個に構成されてもよい。
 その他、近接センシングのための信号源3及びセンサ4等の具体的な構成は限定されない。
 [散乱光センシング]
 散乱光の検出結果に基づいて、変形関連情報が生成されてもよい。
 図29は、散乱光の検出が実行されている状態のUI装置100を、側方から見た側面図である。
 伝搬部2は、接触対象面9とは反対側の面を有する。本実施形態では、伝搬部2の上面5が接触対象面9であり、下面6が、接触対象面9とは反対側の面に相当する。
 UI装置100は、接触対象面9とは反対側の面に対向する領域に位置し、伝搬部2から出射される散乱光を検出する散乱光センサ36を有する。
 すなわち、散乱光センサ36は、伝搬部2の下方側に配置される。図29に示す例では、散乱光センサ36が伝搬部2と離間して配置されているが、散乱光センサ36が伝搬部2の下面6に接触して配置されてもよい。
 散乱光センサ36として、センサ4と同様に、PD(Photo Diode)や焦電センサ等の、光を検出可能な任意のデバイスが用いられる。もちろん散乱光センサ36の具体的な構成は限定されず、任意の構成が採用されてよい。
 散乱光センサ36により、伝搬部2により散乱された光が検出される。
 接触対象面9に指10が接触すると、先述したように、伝搬部2の表面の屈折率の変化に起因して、全反射条件が変化する。また、伝搬部2の曲率の変化に起因して、全反射条件が変化する。これにより、物体の接触がない状態で反射していた光が、接触面において新たに散乱し始める、といった現象が起こる。
 図29に示すように、散乱光は伝搬部2の内部を下方側に向かって進行し、伝搬部2の下面6から出射される。このような散乱光が、散乱光センサ36により検出される。
 また、散乱光センサ36により、検出結果が生成部11に対して出力される。
 生成部11は、散乱光センサ36の検出結果に基づいて、伝搬部2に接触した物体の接触状態に関する情報を生成する。
 散乱光センサ36は、本技術に係る散乱波検出部の一実施形態に相当する。
 なお、このようにして検出される電磁波は、光に限定されない。すなわち、散乱波を検出可能なセンサにより、伝搬部2により散乱された任意の電磁波が検出されてよい。
 図30は、接触対象面9に指10を接触させた場合における、時刻と、散乱光センサ36による受光センサ値との関係を示すグラフである。
 図30に示すように、待機時(指10が接触対象面9の上方で静止している状態)においては、時刻に関わらずほぼ同じセンサ値が検出される。
 指10が接触対象面9に対して接触すると、散乱光が検出され、センサ値が増加する。
 指10が押し込まれることで接触面積が増加すると、さらにセンサ値が増加する。
 このように、指10の接触の度合いによって、異なるセンサ値が検出される。
 このような手法により、物体の接触や、接触面積をセンシングすることが可能となる。
 その他、散乱光の検出結果に基づいて、任意の変形関連情報が生成されてよい。
 センサ4による検出結果と、散乱光センサ36による検出結果の双方に基づいて、変形関連情報が生成されてもよい。これにより、精度よく変形関連情報を生成することが可能となる。
 また、例えば先述した近接センシングと、散乱光センシングが併用されてもよい。
 図31は、接触対象面9に指10を近接及び接触させた場合における、時刻と、受光センサ値との関係を示すグラフである。
 グラフのうち、散乱光センシングに係るセンサ値は、実線で示されている。また、近接センシングに係るセンサ値(指10の表面で反射された光の受光センサ値)を表すグラフは、破線で示されている。
 図31に示すように、例えば指10の接触時には、散乱光センシングに係るセンサ値が増加する。また、近接センシングに係るセンサ値が、減少する。
 すなわち、各々のセンサ値の差を取ると、接触状態が少し変わるだけでも、センサ値の差の値は大きく変化することとなる。従って、生成部11は、センサ値の差に基づいて変形関連情報の生成処理を実行することで、精度よく変形関連情報を生成することが可能となる。
 その他、近接センシングのための信号源3及びセンサ4等の具体的な構成は限定されない。
 [遮蔽部]
 UI装置100は、遮蔽部を有してもよい。
 図32は、遮蔽部について説明するための模式図である。
 遮蔽部39は、信号源3の近傍に配置される。また遮蔽部39は、信号源3により出射された光のうち、伝搬部2に入射しない光又は伝搬部2の内部で全反射しない光の少なくとも一方を遮蔽する。
 図32に示すように、遮蔽部39が、伝搬部の上方側の、信号源3の近傍に配置される。
 例えば信号源3により、図32における上方向に出射された光は、遮蔽部39により遮蔽される。具体的には、例えば遮蔽部39により、光が吸収又は反射される。
 また、右上方向に出射された光は、一部は遮蔽部39により遮蔽され、一部は遮蔽されずに進行する。
 また、右方向に出射された光は、遮蔽されずに進行する。
 上方向に出射された光は、図32に示すように、伝搬部2に入射しない光となる。このような光は、伝搬部2を導波しないような経路で、センサ4により検出されるおそれがある。例えば壁等の、UI装置100の周囲の環境に存在する物体により当該光が反射され、センサ4により検出されることがある。
 このような光は、もちろんセンシングにおいてノイズとなる。遮蔽部39が配置されることで、伝搬部2の変形に応じた光以外のノイズ成分の検出を抑制することが可能となり、センシングの感度を向上させることが可能となる。
 また、右上方向に出射された光は、一部が露出面8の内部側の面で全反射され、一部は散乱される。
 具体的には、臨界角より大きい角度で露出面8の内部側の面に入射する光は、全反射される。一方で、臨界角より小さい角度で入射する光は、散乱される。
 臨界角より小さい角度で入射する光、すなわち散乱する光は、伝搬部2を導波しないような経路で、センサ4により検出されるおそれがある。例えば散乱した光が伝搬部2の外部を進行し、UI装置100の周囲の環境に存在する物体により当該光が反射され、センサ4により検出されることがある。
 このような光も、センシングにおいてノイズとなる。遮蔽部39が配置されることにより、例えば信号源3により出射された光のうち、散乱する光のみが遮蔽される。これにより、伝搬部2の変形に応じた光以外のノイズ成分の検出を抑制することが可能となり、センシングの感度を向上させることが可能となる。
 なお、遮蔽部39の形状や配置箇所は限定されない。例えば反射における臨界角が大きい場合に、遮蔽部39が広範囲に配置されることにより、反射角の小さい光のみが伝搬部2を導波するように、遮蔽部39が構成される。また光の遮蔽、すなわち例えば、吸収や反射が可能となるように、遮蔽部39が適宜構成される。
 その他、遮蔽部39の具体的な構成は限定されず、信号の種類に応じて、任意の構成が採用されてよい。
 [拡散部]
 UI装置100は、拡散部を有してもよい。
 図33は、拡散部について説明するための模式図である。
 図33に示す例では、UI装置100は、さらに、露出面8のうち、センサ4の近傍に配置され、伝搬部2により導波された光を拡散反射するための構成を有する拡散部を有する。
 図33に示すように、拡散部42が、伝搬部2の上方側の、センサ4の近傍に配置される。
 伝搬部2を導波する光の中には、露出面8の内部側の面で全反射するが、センサ4に届かないため、検出されない成分が存在する。
 例えば、図33に示すように、露出面8の内部側の面のうち、センサ4の近傍で反射した光は、出射面7cの上部に到達する。本例のようにセンサ4が出射面7cに対して小さい場合には、このような光はセンサ4に入射せず、検出されない。
 このような光を検出可能にするために、露出面8のうち、センサ4の近傍に拡散部42が配置される。拡散部42は、入射した光を拡散することが可能である。光を拡散するために、例えば拡散部42は表面が荒らし加工された構成を有する。
 拡散部42に対して入射された光は拡散され、拡散された光の一部はセンサ4に向かって進行する。すなわち、拡散部42の配置により、元々センサ4に届かなかったような光の一部を、検出させることが可能となる。
 これにより、センサ4がより多くの光を検出することが可能となり、生成部11は精度よく変形関連情報を生成することが可能となる。
 なお、拡散部42の具体的な構成は限定されず、任意の構成が採用されてよい。
 [信号源及びセンサの角度]
 信号源3及びセンサ4は、伝搬部2に対して傾けて配置されてもよい。
 図34は、信号源3及びセンサ4が傾いた状態のUI装置100を、側方から見た側面図である。
 図34に示す例では、信号源3が、伝搬部2に対して上方側にθ度傾けて配置されている。すなわち、信号源3の出射面43及び伝搬部2の入射面7aが平行となる状態から、信号源3が上方側にθ度傾いたような状態で、配置されている。
 また、センサ4は、伝搬部2に対して下方側にφ度傾けて配置されている。すなわち、センサ4の入射面44及び伝搬部2の出射面7cが平行となる状態から、センサ4が下方側にφ度傾いたような状態で、配置されている。
 信号源3が傾けて配置されない場合には、信号源3により出射された光のうち、出射角度の小さい成分が、伝搬部2の内部で反射せずに、直接センサ4により検出される。
 例えば伝搬部の上面5や下面6が曲がっていない場合に、出射角度0度で(すなわち信号源3が傾いていない場合に、信号源3の出射面43と垂直に)出射された光は、伝搬部2の上面5や下面6と平行に進行する。そのため、一度も反射されることなく直接センサ4に入射する。
 また、ある程度小さい出射角度で出射された光も、反射されることなく直接センサ4に入射する。具体的には、伝搬部2の入射面7aと出射面7cとの距離が小さいほど、直接センサ4に入射するような光の角度範囲は大きくなる。また、伝搬部2の上面5と下面6との距離が大きいほど、直接センサ4に入射するような光の角度範囲は大きくなる。
 伝搬部2に物体が接触した場合に、反射しない光の導波の状態は変化しない。すなわち、このような光はセンシングに関与しない成分となる。
 信号源3が傾けて配置されることで、出射光のうち、センシングに関与しない光の成分を減らすことが可能となる。
 信号源3は、信号源3の出射面43に対して垂直な方向に、最も強い発光強度で光を出射する。すなわち、出射光のうち、出射面43に対して垂直な方向の光量が最も大きくなる。
 すなわち、信号源3が傾けて配置されることで、出射光の大部分が、反射を繰り返して導波されることになる。これにより、センシングに関与しない光の成分を減らすことが可能となる。
 また、センサ4は、センサ4の入射面44に対して垂直な方向の光を、最も感度よく検出することが可能である。
 センサ4が傾けて配置されない場合には、出射角度の小さい光、すなわちセンシングに関与しない光が、感度よく検出されることになる。
 一方で、センサ4が傾けて配置されることにより、センシングに関与するような光が感度よく検出されるようになる。
 このように、信号源3やセンサ4が傾けて配置されることにより、センシングに関与しない光の出射及び検出が抑制され、生成部11は精度よく変形関連情報を生成することが可能となる。
 なお、本実施形態では、信号源3による光の出射角度と、接触対象面9とのなす角の角度が0度より大きく60度以下となる。すなわち、信号源3が、伝搬部2に対して上方側に0度より大きく60度以下となる角度範囲で、傾けて配置される。
 出射角度が大きすぎると、露出面8の内側の面に対する、光の入射角度が極めて小さくなる。すなわち、出射光のうち大部分が散乱されてしまい、センシングが困難となる。
 出射角度を0度より大きく60度以下とすることで、このような現象を防ぐことが可能となる。
 また、センサ4による光の受光角度と、接触対象面9とのなす角の角度が0度より大きく60度以下となる。すなわち、センサ4が、伝搬部2に対して下方側に0度より大きく60度以下となる角度範囲で、傾けて配置される。
 もちろん、信号源3により光以外の電磁波が出射される場合にも、このような信号源3及びセンサ4の配置構成が採用されてよい。例えばセンサ4による電磁波の受信角度(センサ4が最も感度よく電磁波を検出することができるような、電磁波の入射角度)と、接触対象面9とのなす角の角度が0度より大きく60度以下となるように、センサ4が配置される。
 もちろん信号源3やセンサ4の配置角度は、限定されない。例えば信号源3やセンサ4が、伝搬部2に対して60度より大きい角度で傾けて配置されてもよい。
 また、信号源3及びセンサ4のうち、少なくとも一方が傾けて配置されてもよい。例えば信号源3のみが傾けて配置されてもよい。
 その他、信号源3及びセンサ4の具体的な配置構成は、限定されない。
 [波長フィルタ]
 UI装置100が、特定の波長帯の光のみを透過させるフィルタを有していてもよい。
 例えばUI装置100は、センサ4の近傍に配置され、センサ4により検出される光の波長を規定するフィルタを有する。
 フィルタは、例えば信号源3により出射される波長帯の光を透過し、その他の波長帯の光を遮蔽する。例えば、信号源3により赤色光が出射される場合には、フィルタにより赤色光の波長帯(625nm~780nm)の光のみが透過され、その他の波長帯の光は遮蔽される。
 フィルタはセンサ4の近傍に配置されるため、センサ4には、フィルタにより透過された光のみが入射する。このようにして、センサ4により検出される光の波長が規定される。
 フィルタが配置されることにより、信号源3から出射される波長帯以外の光(例えば環境光等)が、センサ4により検出されなくなる。すなわち、センシングにおけるノイズを低減することが可能となる。
 なお、フィルタが透過する光の波長帯、及び遮蔽する光の波長帯は限定されない。例えば、信号源3から出射される波長帯とは異なる波長帯の光が、フィルタにより透過されてもよい。
 本実施形態における、センサ4により検出される光の波長を規定するフィルタは、本技術に係る検出フィルタ部の一実施形態に相当する。
 また、例えばUI装置100は、露出面8上に配置され、伝搬部2を視認するユーザにより認知される光の波長を規定するフィルタを有する。
 例えば露出面8に文字や絵柄等が記される場合に、露出面8から可視光が漏れていると、ユーザにとって視認の妨げとなってしまう。このような場合に、例えば可視光を遮蔽し、不可視光を透過するフィルタが、露出面8上に配置される。これにより、文字や絵柄等の視認性が向上する。
 また、フィルタにより特定の色の光のみが透過されてもよい。これにより、露出面8に記された文字や絵柄と、フィルタにより透過される光の色を組み合わせることが可能となり、露出面8に対するデザインの自由度が向上する。
 その他、フィルタの具体的な構成は限定されない。
 本実施形態における、ユーザにより認知される光の波長を規定するフィルタは、本技術に係る視認フィルタ部の一実施形態に相当する。
 [マスク配置のバリエーション]
 伝搬部2の表面に、マスクが配置されてもよい。
 図35は、接触対象面9の一部にマスクが配置されたUI装置100を、側方から見た側面図である。
 本実施形態では、図35に示すように、接触対象面9の一部に、伝搬部2の屈折率より低い屈折率を有するマスク47が配置される。
 マスク47は、露出面8のうち、物体の接触対象とならない位置に配置される。本実施形態では、接触対象面9(上面5)のうち、信号源3の近傍から中央部に渡ってマスク47が配置される。また、センサ4の近傍にマスク47が配置される。
 すなわち、物体の接触対象となる位置として、上面5の中央部からやや右方側の範囲が想定されている。
 マスク47は、伝搬部2の屈折率より低い屈折率を有するように、構成される。
 マスク47に対して物体が接触した場合に、伝搬部2の内部を導波する光の、導波の状態は変化しない。
 例えば本実施形態のように、接触を想定していない部分にマスク47が配置されることにより、接触を想定していない部分に物体が接触した場合の、検出結果への影響を抑制することが可能となる。
 本実施形態において、接触対象面9の一部に配置されるマスク47は、本技術に係るマスク部の一実施形態に相当する。
 また、伝搬部2の裏面に、マスクが配置されてもよい。
 図36は、伝搬部2の裏面にマスクが配置されたUI装置100を、側方から見た側面図である。
 本実施形態では、UI装置100は、伝搬部2の裏面、すなわち露出面8の、接触対象面9の反対側の面に配置され、伝搬部2の屈折率より低い屈折率を有するマスク50を有する。
 本例においては、伝搬部2の裏面(すなわち、下面6)は、物体の接触を想定していない部分となる。マスク50が配置されることにより、接触を想定していない裏面に物体が接触した場合の、検出結果への影響を抑制することが可能となる。
 本実施形態において、接触対象面9の反対側の面に配置されるマスク50は、本技術に係る裏面マスク部の一実施形態に相当する。
 伝搬部2を導波する光の光路に、変形しない非可撓部が配置されてもよい。
 図37は、非可撓部が配置されたUI装置100を、上方から見た上面図である。
 図37には、接触対象面9に配置された非可撓部53が、斜線模様で示されている。
 非可撓部53は、接触対象面9上の少なくとも一部の領域に配置される。図37に示す例では、伝搬部2の上下に配置される3つの信号源3及び3つのセンサ4を覆うように、伝搬部2の上面5に非可撓部53が配置される。
 また非可撓部53は、上部に配置される3つの信号源3の各々により出射される、下方向に進行する3つの光路を覆うように配置される。
 非可撓部53は、伝搬部2の有する屈折率と等しい屈折率を有し、物体が接触した場合でも変形しない硬度にて構成される。
 すなわち、伝搬部2と同じ屈折率を有し、可撓性を有さない材料にて非可撓部53が構成される。例えば非可撓部53の材料は、伝搬部2の屈折率に応じて決定されるが、もちろん任意の材料が用いられてよい。
 非可撓部53に対してユーザの指10が接触した場合に、非可撓部53が可撓性を有さないため、非可撓部53及び伝搬部2は変形しない。すなわち、伝搬部2の曲率が変化しない。
 一方で、非可撓部53は伝搬部2と同じ屈折率を有するため、指10の表面による導波光の反射における、臨界角は変化する。
 すなわち、伝搬部2の曲率変化に起因せず、外部の屈折率変化のみに起因して、光の導波の状態が変化する。
 従って、物体の接触と、伝搬部2の変形との情報を分離することが可能となる。例えば生成部11は、物体の接触状態に関する情報を、精度よく生成することが可能となる。
 また、伝搬部2を導波する光の光路に、可撓性を有する可撓部が配置されてもよい。
 図38は、可撓部が配置されたUI装置100を、上方から見た上面図である。
 図38には、接触対象面9に配置された可撓部56が、斜線模様で示されている。
 可撓部56は、接触対象面9上の少なくとも一部の領域に配置される。図38に示す例では、図37に示す例と同様に、伝搬部2の上下に3つの信号源3及び3つのセンサ4が配置される。可撓部56は、伝搬部2の上部の、左右方向における中央に配置される信号源3と、伝搬部2の下部の、左右方向における中央に配置されるセンサ4と覆うように配置される。
 また可撓部56は、上部中央に配置される信号源3により出射される、下方向に進行する光路を覆うように配置される。
 可撓部56は、伝搬部2の屈折率より低い屈折率と、可撓性とを有する。
 すなわち、伝搬部2より低い屈折率を持ち、十分柔らかい材料にて可撓部56が構成される。可撓部56の材料は、伝搬部2の屈折率に応じて決定されるが、もちろん任意の材料が用いられてよい。
 可撓部56に対してユーザの指10が接触した場合に、可撓部56が可撓性を有するため、可撓部56及び伝搬部2は変形する。すなわち、伝搬部2の曲率が変化する。
 一方で、可撓部5は伝搬部2より低い屈折率を有するため、指10の表面による導波光の反射における、臨界角は変化しない。
 すなわち、外部の屈折率変化に起因せず、伝搬部2の曲率変化のみに起因して、光の導波の状態が変化する。
 本実施形態においても、物体の接触と、伝搬部2の変形との情報を分離することが可能となる。例えば生成部11は、伝搬部2の形状に関する情報を、精度よく生成することが可能となる。
 以上、本実施形態に係るUI装置100では、信号源3により出射され伝搬部2の内部を導波された電磁波が、センサ4により検出される。そして、センサ4の検出結果に基づいて、伝搬部2の変形に関する情報が生成される。これにより、入力操作の検出や触覚提示等を高い精度で実現することが可能となる。
 例えば、伝搬部2の変形に関する変形関連情報に基づいて、伝搬部2へ入力された操作等を高い精度で検出することが可能である。具体的には、ピアノやキーボード等の接触を伴う手技の計測や、ソファや枕等の表面に適用することによる身体に関わる計測に適用可能である。
 また、ヘッドホン、イヤホン、HMD(ヘッドマウントディスプレイ)、腕時計、リストバンド、サポーター等に本技術を適用することで、装置の装着状態の取得や、ユーザの生体情報の取得を実行することが可能となる。
 その他、マウス、キーボード、コントローラ、腕時計、スマートフォン、ディスプレイ等が、本技術を用いた入力装置や触覚提示装置として構成されてもよい。
 また本形状可変装置を、映像投影面や置物等のオブジェクトの形状変化そのものを目的とした装置に適用することも可能である。
 変形関連情報に基づいて、駆動部により伝搬部2が変形されることで、精度の高い触覚提示が可能である。具体的には、操作による触覚フィードバックのあるUI装置100のボタン、ゲームのコントローラ、PCのマウスなどに好適である。
 触った面が変形可能であることを特徴とする変形インタフェースへのニーズが高まっている。触る面が変形可能であるので、例えば、リアリティのある触覚体験、皮膚にフィットする柔らかい感覚、視聴覚に頼らない入力/出力、より自然で直感的な入力/出力、心地よい入力/出力等が実現可能となる。
 上記でも述べたが、本技術により、以下のような効果を発揮させることが可能となる。
 伝搬部2が可撓性を有するため、表面が柔軟なUI装置100の実現が可能となる。
 センサ4から得られる情報を統合して解析することによって、伝搬部2の形状やそれに接触するモノの接触状態を高い精度で推定することも可能である。例えば、センサ値の偏りや合計などを統合的に解析することで、伝搬部2の形状を推定し、そこから指10などの物体との接触の有無や数、位置、動き(なぞり)、大きさ等に関する情報を取得することも可能である。
 触覚提示の質を上げることができる。伝搬部2が可撓性を有するため、より高品位な硬軟感や形状感を提示可能である。
 触る方向や速度などに応じて、異なる触感を提示することができる。
 触る位置や速度がバラつくことによる触感のバラつきを抑え、より安定的に正確な触覚提示が可能になる。例えば伝搬部2の露出面8の中心を押す人と、外側を押す人で、押し込み量のセンシング結果がバラついてしまうといったことを防止することが可能である。
 導波光を用いたセンシングが実行されるため、例えば散乱光を集めるための機構が不要である。これにより、装置の薄型化や軽量化が可能である。
 最小で1つの信号源3と、1つのセンサ4によりUI装置100が構成可能であるため、システム負荷と性能のスケーラビリティが向上する。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 本技術に係る形状可変装置では、伝搬部が単一の屈折率を有するように構成されるが、本開示において「伝搬部が単一の屈折率を有する」ことは、伝搬部のすべての部分において屈折率が完全に一致することに限定されず、伝搬部内で屈折率にごくわずかな差異が生じている場合も含まれ得る。
 すなわち、「伝搬部が単一の屈折率を有する」ことは、必ずしも信号出射部から検出部までの導波路(伝搬部)のすべての部分において、屈折率が完全に一致することを要求するわけではない。
 例えば製造ばらつき等に起因して、伝搬部が有する屈折率に部分的な差異が発生することがありうる。また、本技術の趣旨を逸脱しない範囲で、伝搬部に対して屈折率が異なる部分があえて設けられる場合があり得る。このような伝搬部において、部分的に異なる屈折率を有するが、屈折率の差異が十分に小さいような状態は、屈折率が単一であることに含まれる。
 具体例として、例えば伝搬部内にて複数の異なる屈折率が見られる場合に、各々の屈折率が有効数字2桁で等しい場合は、伝搬部が単一の屈折率を有することに含まれる。例えば伝搬部が複数の部材により構成され、各部材が屈折率1.38、屈折率1.40、及び屈折率1.42の3種類の屈折率を有する場合に、各々の屈折率を有効数字2桁で表記すると、いずれも1.4となり一致する。このような場合は、屈折率が単一であるということが可能である。
 もちろん、屈折率が単一であるか否かを決定する基準は、上記のような有効数字2桁における一致に限定されない。例えば有効数字3桁や、所定の数値範囲等、任意の基準が採用されてよい。
 また、図24に示すような、端部が硬い伝搬部において、形状可変装置の機能を阻害しない範囲で、意図せずに端部の屈折率が他の部分と異なってしまう場合がありうる。このような場合でも、屈折率の差異が非常に小さく実質的に等しい屈折率と見做せる場合には、伝搬部が単一の屈折率を有するということができる。
 あるいはこのような場合に、端部は伝搬部ではなく、伝搬部に入射する電磁波や伝搬部から出射される電磁波を透過する部材であるとみなすことにより、伝搬部が単一の屈折率を有すると解釈することも可能である。このように、形状可変装置を構成する各々の部材や機構が、伝搬部に含まれるか否かについては、本開示の内容に矛盾しない範囲で、適宜任意に解釈されてよい。
 伝搬部2について、伝搬部2に対する接触対象となる物体が有する可撓性より、高い可撓性を有するような構成を採用することで、変形関連情報をより高い精度で生成することが可能となる。
 例えば伝搬部2に対する接触対象となる物体が指10であり、伝搬部2が指10よりも硬い場合においては、押し込みにより指10が押し潰れるため、接触面積が増加していく。一方で、伝搬部2はあまり変形しないため、曲率の変化は少ない。すなわち、概ね屈折率の変化のみに起因して、検出結果が変化することとなる。
 一方で、伝搬部2が指10と同等程度の硬さを有する場合においては、押し込みに応じて接触面積が増加し、伝搬部2の曲率もある程度変化する。すなわち、屈折率変化と、曲率変化との双方に起因して、検出結果が変化する。
 さらに、伝搬部2が指10に対して十分柔らかい場合においては、押し込みに応じて接触面積が増加し、伝搬部2の曲率も顕著に変化する。すなわち、屈折率変化に起因して検出結果が変化し、また、検出結果は、曲率の変化の影響を強く受けて変化する。
 このように、伝搬部2が指10に対して十分高い可撓性を有する場合には、指10の押し込みによる検出結果の変化が大きくなるため、変形関連情報を高い精度で生成することが可能となる。
 伝搬部2の屈折率が高いほど、スネルの公式により、臨界角は小さくなる。すなわち、信号源3により出射される光のうち、伝搬部2の内部側の面により全反射される成分が多くなる。
 すなわち、物体が接触していない状態で散乱される光の成分が少ないため、非接触状態で光を効率よく導波させることが可能となる。
 光を効率よく導波させるために、伝搬部2は、ある程度高い屈折率を有する材料により構成される。例えば本実施形態では、伝搬部2が屈折率1.3以上の材料により構成される。
 具体的には、シリコンゴム(屈折率1.36程度)等により、伝搬部2が構成される。
 また、屈折率1.4以上等、屈折率が極めて高い材料により伝搬部2を構成することで、さらに光を効率よく導波させることが可能となる。
 図1に例示した実施形態では、コントローラ1のCPUが所定のプログラムを実行することで、機能ブロックとしての「生成部」が構成された。「生成部」に、ノイズ除去や圧縮等の、変形関連情報の生成に関する前処理やコーデック処理等を実行する機能が備えられてもよい。もちろん、そのような前処理等を実行するブロックが生成部とは異なる機能ブロックとして構成されてもよい。
 形状可変装置に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る形状制御方法が実行され、本技術に係る形状可変装置が構築されてもよい。
 例えば「生成部」の機能の一部または全部が、ネットワーク等を介して通信可能な他のコンピュータに備えられる構成もあり得る。この場合、「生成部」に通信機能が備えられてもよい。もちろん通信機能を有する他の機能ブロックが構成され、「通信部」と協働可能であってもよい。
 例えば、形状可変装置の検出部の検出結果が、ネットワーク等を介して通信可能な他のコンピュータに送信される。他のコンピュータに構築された「生成部」により、検出結果に基づいて変形関連情報が生成される。生成された変形関連情報あるいは変形関連情報に基づいて生成された情報等が、ネットワーク等を介して、形状可変装置に送信される。
 このような構成により、本技術に係る「形状制御方法」が実行されてもよい。もちろん「生成部」以外の構成要素についても同様のことが言える。
 すなわち本技術に係る形状制御方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 例えば上記で説明した変形関連情報の生成、信号源及びセンサの制御、駆動部の制御等は、単体のコンピュータにより実行されてもよいし、各処理が異なるコンピュータにより実行されてもよい。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る形状制御方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 各図面を参照して説明したUI装置、形状可変装置、信号源及びセンサの配置、伝搬部等の各構成、信号出射のフロー、信号検出のフロー、変形駆動のフロー、触覚提示のフロー、変形関連情報の生成フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
 本開示において、説明の理解を容易とするために、「略」「ほぼ」「おおよそ」等の文言が適宜使用されている。一方で、これら「略」「ほぼ」「おおよそ」等の文言を使用する場合と使用しない場合とで、明確な差異が規定されるわけではない。
 すなわち、本開示において、「中心」「中央」「均一」「単一」「等しい」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に単一」「実質的に等しい」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
 例えば「完全に中心」「完全に中央」「完全に均一」「完全に単一」「完全に等しい」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
 従って、「略」「ほぼ」「おおよそ」等の文言が付加されていない場合でも、いわゆる「略」「ほぼ」「おおよそ」等を付加して表現され得る概念が含まれ得る。反対に、「略」「ほぼ」「おおよそ」等を付加して表現された状態について、完全な状態が必ず排除されるというわけではない。
 本開示において、「Aより大きい」「Aより小さい」といった「より」を使った表現は、Aと同等である場合を含む概念と、Aと同等である場合を含まない概念の両方を包括的に含む表現である。例えば「Aより大きい」は、Aと同等は含まない場合に限定されず、「A以上」も含む。また「Aより小さい」は、「A未満」に限定されず、「A以下」も含む。
 本技術を実施する際には、上記で説明した効果が発揮されるように、「Aより大きい」及び「Aより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 なお、本技術は以下のような構成も採ることができる。
(1)
 電磁波を出射する信号出射部と、
 外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成され、前記信号出射部により出射された前記電磁波を内部で導波させる伝搬部と、
 前記伝搬部により導波された前記電磁波を検出する検出部と、
 前記検出部の検出結果に基づいて、前記伝搬部の変形に関する情報を生成する生成部と
 を具備する形状可変装置。
(2)(1)に記載の形状可変装置であって、
 前記伝搬部の変形に関する情報は、前記伝搬部の形状、又は前記伝搬部に接触した物体の接触状態に関する情報の少なくとも一方を含む
 形状可変装置。
(3)(2)に記載の形状可変装置であって、
 前記伝搬部は、前記露出面の内部側の面により前記電磁波が反射するように、前記電磁波を導波し、
 前記検出部は、前記露出面の内部側の面により反射された前記電磁波を検出可能な位置に配置され、
 前記生成部は、前記伝搬部の変形に関する情報として、前記露出面の形状、又は前記露出面に接触した物体の接触状態に関する情報の少なくとも一方を生成する
 形状可変装置。
(4)(3)に記載の形状可変装置であって、
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
 前記生成部は、前記伝搬部の変形に関する情報として、前記接触対象面に接触した物体の接触状態に関する情報を生成する
 形状可変装置。
(5)(1)から(4)のうちいずれか1つに記載の形状可変装置であって、
 前記生成部は、前記検出部により検出される前記電磁波の検出量に基づいて、前記伝搬部の変形に関する情報を生成する
 形状可変装置。
(6)(5)に記載の形状可変装置であって、
 前記信号出射部は、前記電磁波として、光を出射し、
 前記検出部は、前記伝搬部により導波された前記光の光量を検出する
 形状可変装置。
(7)(1)から(6)のうちいずれか1つに記載の形状可変装置であって、さらに、
 前記伝搬部を変形可能に保持する保持部を具備する
 形状可変装置。
(8)(7)に記載の形状可変装置であって、
 前記保持部は、可撓性を有し前記伝搬部に当接する弾性体を有する
 形状可変装置。
(9)(7)に記載の形状可変装置であって、
 前記保持部は、前記伝搬部に連結され、前記伝搬部との間に前記伝搬部に沿って変形可能な空間を形成し、前記空間を介して前記伝搬部を変形可能に保持する
 形状可変装置。
(10)(9)に記載の形状可変装置であって、
 前記保持部及び伝搬部は、前記空間に流体を保持する
 形状可変装置。
(11)(1)から(10)のうちいずれか1つに記載の形状可変装置であって、さらに、
 前記生成部により生成された前記伝搬部の変形に関する情報に基づいて、前記伝搬部を変形させることが可能な駆動部を具備する
 形状可変装置。
(12)(1)から(11)のうちいずれか1つに記載の形状可変装置であって、
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
 前記信号出射部は、少なくとも一部の電磁波を、前記接触対象面に対向する領域に出射可能に構成され、
 前記生成部は、前記検出部による検出結果に基づいて、前記接触対象面に対する前記物体の近接に関する情報を生成する
 形状可変装置。
(13)(1)から(12)のうちいずれか1つに記載の形状可変装置であって、
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
 前記伝搬部は、前記接触対象面とは反対側の面を有し、
 前記形状可変装置は、さらに、前記接触対象面とは反対側の面に対向する領域に位置し、前記伝搬部により散乱された前記電磁波を検出する散乱波検出部を具備し、
 前記生成部は、前記散乱波検出部の検出結果に基づいて、前記伝搬部に接触した物体の接触状態に関する情報を生成する
 形状可変装置。
(14)(6)に記載の形状可変装置であって、
 前記信号出射部は、前記光を2種類以上の強度で出射する
 形状可変装置。
(15)(1)から(14)のうちいずれか1つに記載の形状可変装置であって、
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
 前記形状可変装置は、さらに、前記接触対象面上の少なくとも一部の領域に配置され、前記伝搬部の前記屈折率より低い屈折率と、可撓性とを有する可撓部を具備する
 形状可変装置。
(16)(1)から(15)のうちいずれか1つに記載の形状可変装置であって、
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
 前記形状可変装置は、さらに、前記接触対象面上の少なくとも一部の領域に配置され、前記伝搬部の前記屈折率と等しい屈折率を有し、前記物体が接触した場合でも変形しない硬度にて構成された非可撓部を具備する
 形状可変装置。
(17)(1)から(16)のうちいずれか1つに記載の形状可変装置であって、
 前記信号出射部は、前記伝搬部に対して前記電磁波を出射可能な位置に配置され、
 前記形状可変装置は、さらに、前記信号出射部の近傍に配置され、前記信号出射部により出射された前記電磁波のうち、前記伝搬部に入射しない電磁波、又は前記伝搬部の内部で全反射しない電磁波の少なくとも一方を遮蔽する遮蔽部を具備する
 形状可変装置。
(18)(1)から(17)のうちいずれか1つに記載の形状可変装置であって、
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
 前記信号出射部による前記電磁波の出射角度と、前記接触対象面とのなす角の角度が0度より大きく60度以下である、又は前記検出部による前記電磁波の受信角度と、前記接触対象面とのなす角の角度が0度より大きく60度以下であるの少なくとも一方が成り立つ
 形状可変装置。
(19)
 外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成される伝搬部の内部で、電磁波を導波させ、
 前記伝搬部により導波された前記電磁波を検出し、検出結果に基づいて前記伝搬部の変形に関する情報を生成する
 形状制御方法。
(20)
 電磁波を出射する信号出射部と、
 外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成され、前記信号出射部により出射された前記電磁波を内部で導波させる伝搬部と、
 前記伝搬部により導波された前記電磁波を検出する検出部と、
 前記検出部の検出結果に基づいて、前記伝搬部の変形に関する情報を生成する生成部と、
 前記生成部により生成された前記情報に基づいて、前記伝搬部を変形させることが可能な駆動部と
 を具備し、
 前記駆動部は、前記伝搬部に接触するユーザに所定の触覚が提示されるように、前記伝搬部を変形させる
 触覚提示装置。
(21)(1)から(18)のうちいずれか1つに記載の形状可変装置であって、さらに、
 前記露出面のうち物体の接触対象とならない位置に配置され、前記伝搬部の前記屈折率より低い屈折率を有するマスク部を具備する
 形状可変装置。
(22)(1)から(18)又は(21)のうちいずれか1つに記載の形状可変装置であって、
 前記伝搬部は、部分的に厚さが異なるように構成される
 形状可変装置。
(23)(1)から(18)又は(21)又は(22)のうちいずれか1つに記載の形状可変装置であって、
 前記伝搬部の前記屈折率は、1.3以上である
 形状可変装置。
(24)(1)から(18)又は(21)から(23)のうちいずれか1つに記載の形状可変装置であって、
 前記生成部は、前記検出部により検出される前記電磁波の強度の、所定の基準に対する変化又は時間的な変化の少なくとも一方に基づいて、前記伝搬部の変形に関する情報を生成する
 形状可変装置。
(25)(2)に記載の形状可変装置であって、
 前記物体の接触状態に関する情報は、前記伝搬部に接触した物体の有無、前記伝搬部に接触した物体の位置、前記伝搬部に接触した物体の数、前記伝搬部に接触した物体のサイズ、前記伝搬部に接触した物体の動き、前記伝搬部に接触した物体の形状、前記伝搬部に接触した物体の種類、前記伝搬部に接触した物体との接触面積、前記伝搬部に接触した物体から加わる力、前記伝搬部に接触した物体との接触面の形状、前記伝搬部に接触した物体の光学的性質、又は前記伝搬部に対する物体の近接に関する情報の少なくとも1つを含む
 形状可変装置。
(26)(1)から(18)又は(21)から(25)のうちいずれか1つに記載の形状可変装置であって、
 前記伝搬部は、物体の接触により、曲率が増加する方向に変形可能である
 形状可変装置。
(27)(1)から(18)又は(21)から(26)のうちいずれか1つに記載の形状可変装置であって、
 前記伝搬部は、前記信号出射部により出射された前記電磁波の、少なくとも一部を内部で全反射させながら導波させる
 形状可変装置。
(28)(11)に記載の形状可変装置であって、
 前記駆動部は、前記伝搬部に接触するユーザに所定の触覚が提示されるように、前記伝搬部を変形させる
 形状可変装置。
(29)(10)に記載の形状可変装置であって、
 前記駆動部は、前記保持部が保持する前記流体の量、又は前記保持部が保持する前記流体の圧力の少なくとも一方を制御することで、前記伝搬部を変形させることが可能である
 形状可変装置。
(30)(6)に記載の形状可変装置であって、
 前記信号出射部は、前記光を出射する1以上の信号源を有し、
 前記検出部は、出射された前記光を検出する1以上のセンサを有し、
 前記生成部は、前記1以上のセンサの検出結果に基づいて、前記伝搬部の変形に関する情報を生成する
 形状可変装置。
(30)に記載の形状可変装置であって、
 前記1以上の信号源は複数の信号源を含む、又は前記1以上のセンサは複数のセンサを含むの少なくとも一方が成り立つ
 形状可変装置。
(32)(31)に記載の形状可変装置であって、
 前記1以上の信号源は複数の信号源を含み、
 前記1以上のセンサは複数のセンサを含み、
 前記複数の信号源は、出射する光の波長が互いに異なるように構成され、前記複数のセンサは、検出する光の波長が互いに異なるように構成される
 形状可変装置。
(33)(8)に記載の形状可変装置であって、さらに、
 前記弾性体の体積、前記弾性体に対して加えられた力、前記弾性体の圧力、又は前記弾性体の形状の少なくとも1つを取得する弾性体センサ部を具備する
 形状可変装置。
(34)(29)に記載の形状可変装置であって、さらに、
 前記流体の体積又は前記流体の圧力の少なくとも一方を取得する流体センサ部を具備する
 形状可変装置。
(35)(1)から(18)又は(21)から(34)のうちいずれか1つに記載の形状可変装置であって、
 前記検出部は、前記伝搬部により導波された前記光を検出可能な位置に配置され、
 前記形状可変装置は、さらに、前記露出面のうち、前記検出部の近傍に配置され、前記伝搬部により導波された前記光を拡散反射するための構成を有する拡散部を具備する
 形状可変装置。
(36)(1)から(18)又は(21)から(35)のうちいずれか1つに記載の形状可変装置であって、
 前記検出部は、前記伝搬部により導波された前記光を検出可能な位置に配置され、
 前記形状可変装置は、さらに、前記検出部の近傍に配置され、前記検出部により検出される光の波長を規定する検出フィルタ部を具備する
 形状可変装置。
(37)(1)から(18)又は(21)から(35)のうちいずれか1つに記載の形状可変装置であって、さらに、
 前記露出面上に配置され、前記伝搬部を視認するユーザにより認知される光の波長を規定する視認フィルタ部を具備する
 形状可変装置。
(38)(1)から(18)又は(21)から(36)のうちいずれか1つに記載の形状可変装置であって、
 前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
 前記伝搬部は、前記接触対象面とは反対側の面を有し、
 前記形状可変装置は、さらに、前記接触対象面とは反対側の面に配置され、前記伝搬部の前記屈折率より低い屈折率を有する裏面マスク部を具備する
 形状可変装置。
(39)(31)に記載の形状可変装置であって、
 前記信号源と、前記信号源により出射された前記光を検出する前記センサとの第1の組を複数有し、各々の前記第1の組における前記信号源と前記センサとを結んだ線分は、それぞれ第1の方向を向いて平行であり、各々の前記第1の組における前記信号源は第1の間隔で配置され、各々の前記第1の組における前記センサは前記第1の間隔で配置される
 形状可変装置。
(40)(39)に記載の形状可変装置であって、
 前記信号源と、前記信号源により出射された前記光を検出する前記センサとの第2の組を複数有し、各々の前記第2の組における前記信号源と前記センサとを結んだ線分は、それぞれ前記第1の方向とは異なる第2の方向を向いて平行であり、各々の前記第2の組における前記信号源は第2の間隔で配置され、各々の前記第2の組における前記センサは前記第2の間隔で配置される
 形状可変装置。
(41)(30)に記載の形状可変装置であって、
 前記1以上のセンサは、複数のセンサを含み、
 前記複数のセンサは、前記信号出射部を中心とした所定の半径の円周上に、所定の間隔で配置される
 形状可変装置。
(42)(1)から(18)又は(21)から(41)のうちいずれか1つに記載の形状可変装置であって、
 前記伝搬部は、前記伝搬部に対する接触対象となる物体が有する可撓性より、高い可撓性を有する
 形状可変装置。
(43)(1)から(18)又は(21)から(42)のうちいずれか1つに記載の形状可変装置であって、
 前記信号出射部は、前記伝搬部に接着される、又は前記伝搬部に埋め込まれ、
 前記検出部は、前記伝搬部に接着される、又は前記伝搬部に埋め込まれる
 形状可変装置。
(44)(1)から(18)又は(21)から(43)のうちいずれか1つに記載の形状可変装置であって、
 前記信号出射部は、前記伝搬部に対して前記光を出射可能な位置に配置され、
 前記検出部は、前記伝搬部により導波された前記光を検出可能な位置に配置され、
 前記伝搬部のうち、前記信号出射部の近傍又は前記検出部の近傍の少なくとも一方は、前記伝搬部のうち前記信号出射部の近傍でなくかつ前記検出部の近傍でない部分の可撓性より低い可撓性を有する
 形状可変装置。
(45)(43)に記載の形状可変装置であって、
 前記信号出射部は、前記光として、不可視光を出射する
 形状可変装置。
(46)(6)に記載の形状可変装置であって、
 前記信号出射部は、前記光の強度を時間的に変化させることが可能である
 形状可変装置。
(47)(1)から(18)又は(21)から(46)のうちいずれか1つに記載の形状可変装置であって、
 前記伝搬部は、前記信号出射部に近づくにつれて狭まり、かつ、前記検出部に近づくにつれて狭まるように構成される
 形状可変装置。
(48)(1)から(18)又は(21)から(46)のうちいずれか1つに記載の形状可変装置であって、
 前記伝搬部は、凹形状を有し、物体の接触により曲率が増加する
 形状可変装置。
(49)(1)から(18)又は(21)から(47)のうちいずれか1つに記載の形状可変装置であって、
 前記伝搬部に対する接触対象となる物体は、指である
 形状可変装置。
(50)(1)から(18)又は(21)から(49)のうちいずれか1つに記載の形状可変装置であって、
 前記生成部は、所定の学習アルゴリズムに従って、前記伝搬部の変形に関する情報を生成する
 形状可変装置。
(51)(1)から(18)又は(21)から(50)のうちいずれか1つに記載の形状可変装置であって、
 前記生成部は、ルックアップテーブル、関数、又は単調減少するモデルを用いて、前記伝搬部に接触した物体の接触状態に関する情報を生成する
 形状可変装置。
 100…UI装置
 1…コントローラ
 2…伝搬部
 3…信号源
 4…センサ
 7a…入射面
 7c…出射面
 8…露出面
 9…接触対象面
 10…指
 11…生成部
 14…支持部材
 20…弾性体
 23…流体制御機構
 24…流体
 28…制御部
 36…散乱光センサ
 39…遮蔽部
 42…拡散部
 47…マスク
 50…マスク
 53…非可撓部
 56…可撓部

Claims (20)

  1.  電磁波を出射する信号出射部と、
     外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成され、前記信号出射部により出射された前記電磁波を内部で導波させる伝搬部と、
     前記伝搬部により導波された前記電磁波を検出する検出部と、
     前記検出部の検出結果に基づいて、前記伝搬部の変形に関する情報を生成する生成部と
     を具備する形状可変装置。
  2.  請求項1に記載の形状可変装置であって、
     前記伝搬部の変形に関する情報は、前記伝搬部の形状、又は前記伝搬部に接触した物体の接触状態に関する情報の少なくとも一方を含む
     形状可変装置。
  3.  請求項2に記載の形状可変装置であって、
     前記伝搬部は、前記露出面の内部側の面により前記電磁波が反射するように、前記電磁波を導波し、
     前記検出部は、前記露出面の内部側の面により反射された前記電磁波を検出可能な位置に配置され、
     前記生成部は、前記伝搬部の変形に関する情報として、前記露出面の形状、又は前記露出面に接触した物体の接触状態に関する情報の少なくとも一方を生成する
     形状可変装置。
  4.  請求項3に記載の形状可変装置であって、
     前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
     前記生成部は、前記伝搬部の変形に関する情報として、前記接触対象面に接触した物体の接触状態に関する情報を生成する
     形状可変装置。
  5.  請求項1に記載の形状可変装置であって、
     前記生成部は、前記検出部により検出される前記電磁波の検出量に基づいて、前記伝搬部の変形に関する情報を生成する
     形状可変装置。
  6.  請求項5に記載の形状可変装置であって、
     前記信号出射部は、前記電磁波として、光を出射し、
     前記検出部は、前記伝搬部により導波された前記光の光量を検出する
     形状可変装置。
  7.  請求項1に記載の形状可変装置であって、さらに、
     前記伝搬部を変形可能に保持する保持部を具備する
     形状可変装置。
  8.  請求項7に記載の形状可変装置であって、
     前記保持部は、可撓性を有し前記伝搬部に当接する弾性体を有する
     形状可変装置。
  9.  請求項7に記載の形状可変装置であって、
     前記保持部は、前記伝搬部に連結され、前記伝搬部との間に前記伝搬部に沿って変形可能な空間を形成し、前記空間を介して前記伝搬部を変形可能に保持する
     形状可変装置。
  10.  請求項9に記載の形状可変装置であって、
     前記保持部及び伝搬部は、前記空間に流体を保持する
     形状可変装置。
  11.  請求項1に記載の形状可変装置であって、さらに、
     前記生成部により生成された前記伝搬部の変形に関する情報に基づいて、前記伝搬部を変形させることが可能な駆動部を具備する
     形状可変装置。
  12.  請求項1に記載の形状可変装置であって、
     前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
     前記信号出射部は、少なくとも一部の電磁波を、前記接触対象面に対向する領域に出射可能に構成され、
     前記生成部は、前記検出部による検出結果に基づいて、前記接触対象面に対する前記物体の近接に関する情報を生成する
     形状可変装置。
  13.  請求項1に記載の形状可変装置であって、
     前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
     前記伝搬部は、前記接触対象面とは反対側の面を有し、
     前記形状可変装置は、さらに、前記接触対象面とは反対側の面に対向する領域に位置し、前記伝搬部により散乱された前記電磁波を検出する散乱波検出部を具備し、
     前記生成部は、前記散乱波検出部の検出結果に基づいて、前記伝搬部に接触した物体の接触状態に関する情報を生成する
     形状可変装置。
  14.  請求項6に記載の形状可変装置であって、
     前記信号出射部は、前記光を2種類以上の強度で出射する
     形状可変装置。
  15.  請求項1に記載の形状可変装置であって、
     前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
     前記形状可変装置は、さらに、前記接触対象面上の少なくとも一部の領域に配置され、前記伝搬部の前記屈折率より低い屈折率と、可撓性とを有する可撓部を具備する
     形状可変装置。
  16.  請求項1に記載の形状可変装置であって、
     前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
     前記形状可変装置は、さらに、前記接触対象面上の少なくとも一部の領域に配置され、前記伝搬部の前記屈折率と等しい屈折率を有し、前記物体が接触した場合でも変形しない硬度にて構成された非可撓部を具備する
     形状可変装置。
  17.  請求項1に記載の形状可変装置であって、
     前記信号出射部は、前記伝搬部に対して前記電磁波を出射可能な位置に配置され、
     前記形状可変装置は、さらに、前記信号出射部の近傍に配置され、前記信号出射部により出射された前記電磁波のうち、前記伝搬部に入射しない電磁波、又は前記伝搬部の内部で全反射しない電磁波の少なくとも一方を遮蔽する遮蔽部を具備する
     形状可変装置。
  18.  請求項1に記載の形状可変装置であって、
     前記露出面の少なくとも一部は、物体の接触対象となる接触対象面として構成され、
     前記信号出射部による前記電磁波の出射角度と、前記接触対象面とのなす角の角度が0度より大きく60度以下である、又は前記検出部による前記電磁波の受信角度と、前記接触対象面とのなす角の角度が0度より大きく60度以下であるの少なくとも一方が成り立つ
     形状可変装置。
  19.  外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成される伝搬部の内部で、電磁波を導波させ、
     前記伝搬部により導波された前記電磁波を検出し、検出結果に基づいて前記伝搬部の変形に関する情報を生成する
     形状制御方法。
  20.  電磁波を出射する信号出射部と、
     外部に対して露出した露出面を有し、可撓性を有する材料にて単一の屈折率となるように構成され、前記信号出射部により出射された前記電磁波を内部で導波させる伝搬部と、
     前記伝搬部により導波された前記電磁波を検出する検出部と、
     前記検出部の検出結果に基づいて、前記伝搬部の変形に関する情報を生成する生成部と、
     前記生成部により生成された前記情報に基づいて、前記伝搬部を変形させることが可能な駆動部と
     を具備し、
     前記駆動部は、前記伝搬部に接触するユーザに所定の触覚が提示されるように、前記伝搬部を変形させる
     触覚提示装置。
PCT/JP2021/045273 2021-01-13 2021-12-09 形状可変装置、形状制御方法、及び触覚提示装置 WO2022153733A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022575138A JPWO2022153733A1 (ja) 2021-01-13 2021-12-09

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-003614 2021-01-13
JP2021003614 2021-01-13

Publications (1)

Publication Number Publication Date
WO2022153733A1 true WO2022153733A1 (ja) 2022-07-21

Family

ID=82448321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045273 WO2022153733A1 (ja) 2021-01-13 2021-12-09 形状可変装置、形状制御方法、及び触覚提示装置

Country Status (2)

Country Link
JP (1) JPWO2022153733A1 (ja)
WO (1) WO2022153733A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080284925A1 (en) * 2006-08-03 2008-11-20 Han Jefferson Y Multi-touch sensing through frustrated total internal reflection
JP2010211612A (ja) * 2009-03-11 2010-09-24 Autonetworks Technologies Ltd 入力装置及び車両機器
US20110193818A1 (en) * 2010-02-05 2011-08-11 Edamak Corporation Proximity-sensing panel
US20110216013A1 (en) * 2010-03-05 2011-09-08 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, touch screen device, mobile device and method for operating a touch-sensitive input device
CN102929449A (zh) * 2012-11-16 2013-02-13 昆山特思达电子科技有限公司 一种基于受抑全内反射技术的纯平多点触摸检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080284925A1 (en) * 2006-08-03 2008-11-20 Han Jefferson Y Multi-touch sensing through frustrated total internal reflection
JP2010211612A (ja) * 2009-03-11 2010-09-24 Autonetworks Technologies Ltd 入力装置及び車両機器
US20110193818A1 (en) * 2010-02-05 2011-08-11 Edamak Corporation Proximity-sensing panel
US20110216013A1 (en) * 2010-03-05 2011-09-08 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, touch screen device, mobile device and method for operating a touch-sensitive input device
CN102929449A (zh) * 2012-11-16 2013-02-13 昆山特思达电子科技有限公司 一种基于受抑全内反射技术的纯平多点触摸检测系统

Also Published As

Publication number Publication date
JPWO2022153733A1 (ja) 2022-07-21

Similar Documents

Publication Publication Date Title
Xu et al. Earbuddy: Enabling on-face interaction via wireless earbuds
US8803848B2 (en) Method and apparatus for tomographic touch imaging and interactive system using same
Ogata et al. iRing: intelligent ring using infrared reflection
Chu et al. Robotic learning of haptic adjectives through physical interaction
TWI536227B (zh) 光學觸控偵測
Kikuchi et al. EarTouch: turning the ear into an input surface
US9436282B2 (en) Contactor-based haptic feedback generation
JP6203637B2 (ja) 触覚型フィードバックを備えたユーザインタフェース
US8922503B2 (en) User interface system
US8581856B2 (en) Touch sensitive display apparatus using sensor input
JP2017510010A (ja) 入力事象処理のためのデシメーション戦略
Vanderloock et al. The skweezee system: enabling the design and the programming of squeeze interactions
Sugiura et al. Behind the palm: Hand gesture recognition through measuring skin deformation on back of hand by using optical sensors
Bergström et al. Human--Computer interaction on the skin
Shi et al. Ready, steady, touch! sensing physical contact with a finger-mounted imu
KR20190066428A (ko) 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
Choi et al. Surface haptic rendering of virtual shapes through change in surface temperature
Xu et al. An elasticity-curvature illusion decouples cutaneous and proprioceptive cues in active exploration of soft objects
Nguyen et al. Bendid: Flexible interface for localized deformation recognition
Hu et al. Shadowsense: Detecting human touch in a social robot using shadow image classification
US11868532B2 (en) Shape changeable apparatus, shape control method, and tactile sense providing apparatus
WO2022153733A1 (ja) 形状可変装置、形状制御方法、及び触覚提示装置
Guo et al. Touch-and-Heal: Data-driven Affective Computing in Tactile Interaction with Robotic Dog
Oh et al. VibEye: Vibration-mediated object recognition for tangible interactive applications
WO2023032285A1 (ja) 形状可変装置、形状制御方法、及び触覚提示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919622

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022575138

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21919622

Country of ref document: EP

Kind code of ref document: A1