WO2016135908A1 - 感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法 - Google Patents

感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法 Download PDF

Info

Publication number
WO2016135908A1
WO2016135908A1 PCT/JP2015/055516 JP2015055516W WO2016135908A1 WO 2016135908 A1 WO2016135908 A1 WO 2016135908A1 JP 2015055516 W JP2015055516 W JP 2015055516W WO 2016135908 A1 WO2016135908 A1 WO 2016135908A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
sensory
image
hue
operator
Prior art date
Application number
PCT/JP2015/055516
Other languages
English (en)
French (fr)
Inventor
智生 小堀
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to PCT/JP2015/055516 priority Critical patent/WO2016135908A1/ja
Publication of WO2016135908A1 publication Critical patent/WO2016135908A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H35/00—Switches operated by change of a physical condition

Definitions

  • the present invention relates to a sensory presentation device, an operation processing device, an image display device, and a sensory presentation method.
  • Patent Document 1 states that “the light emitted from the light emitting element enters the optical body and propagates through the optical body. The light propagated through the optical body is reflected by a reflecting surface in contact with air. When the fingertip comes into contact with the reflecting surface, the light emitted from the light emitting element and propagating through the optical body enters the fingertip from the reflecting surface of the optical body. And a self-luminous switch that can be visually confirmed for switching operation is disclosed. "
  • Patent Document 2 discloses that “a force that presents a sense of force to an operator through the receptor by ejecting a gas or a liquid from the ejection port of the ejection means according to the position or orientation of the receptor and hitting the receptor.
  • a sense of sensation presentation method is disclosed, wherein in the force sense presentation method, an inclined side surface having a shape inclined with respect to an axis of the receptor is provided on the receptor outward from a central portion, and the inclined side surface is provided on the inclined side surface.
  • a force including a component in a direction perpendicular to the gas or liquid ejection direction is applied to the receptor.
  • an image display device that displays images on a monitor screen or space
  • not only the image displayed on the monitor screen or space is visually perceived, but also a tactile sensation similar to that when touching the substance. It is desirable to give users a sense of force and force.
  • an operation processing device that recognizes and processes an operation such as a gesture input in a predetermined area in space, it is desired to give the operator that the operation is recognized as a sensation. Yes.
  • Patent Literature 1 and Patent Literature 2 have been proposed.
  • the device realized by the technology disclosed in Patent Literature 1 has a fixed switch position, There is a problem in that it is difficult to confirm the switching operation when the is moved or disposed in space.
  • the apparatus realized by the technique disclosed in Patent Document 2 is not convenient from the viewpoints of maintainability, usage, and the like.
  • gas or liquid is ejected to a finger or the like of the user of the apparatus to present a sense of force, so the type of gas or liquid to be ejected is selected or supplemented It is necessary to do.
  • the technique disclosed in Patent Document 2 has a problem that the finger becomes dirty when the liquid is ejected onto the finger or the like of the user of the apparatus.
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide a technique that can improve the operational feeling of an operation performed on a monitor screen or a predetermined area on a space. .
  • the present invention adopts, for example, the configurations described in the claims.
  • the present application includes a plurality of components that solve the above-described problems.
  • the operating body for an operator to operate is detected on a monitor screen or a predetermined area on the space, and the operating body is detected.
  • the detection position which is the position where is detected, a light beam having a hue and / or a light amount corresponding to the operation is applied to a predetermined range including the detection position.
  • FIG. 1 It is a figure which illustrates the structure of the sense presentation apparatus which concerns on Embodiment 1 of this invention.
  • (A) And (b) is a figure which illustrates the beam size of the light ray radiated
  • (A) And (b) is a figure which illustrates sensory information concerning Embodiment 1 of the present invention. It is a figure which illustrates the control state by the radiation
  • Embodiment 7 of this invention It is a figure which illustrates the structure of the wristwatch type
  • Embodiment 1 of the present invention will be described in detail with reference to FIGS.
  • a laser beam whose hue and / or light amount is changed according to an operation such as touching an image displayed in a predetermined area in the space or inputting a gesture in the predetermined area in the space is operated. Radiation to the finger of the person. Thereby, it is possible to give the operator a feeling of operation.
  • FIG. 1 is a diagram illustrating the configuration of the sensory presentation device 1 according to the present embodiment.
  • the sensory presentation device 1 includes two-axis peristaltic mirrors 2 and 3, a scanning drive control unit 4, a timing / address generation unit 5, an object detection sensor 6, an object information generation unit 7, A radiation determination unit 8, an information storage unit 9, a radiation control unit 10, a radiation unit 11, and a beam shaping unit 12 are included.
  • the biaxial peristaltic mirrors 2 and 3 are peristaltic about the two axes of the H axis and the V axis, and reflect a radiation beam 13 emitted from a beam shaping unit 12 described later.
  • the vibration in the V-axis direction is the vibration in the up-down direction (y-axis direction shown in FIG. 1) (hereinafter referred to as “V vibration”) shown in FIG.
  • the vibration is assumed to be the vibration in the left-right direction (the x-axis direction shown in FIG. 1) shown in FIG. 1 (hereinafter referred to as “H vibration”).
  • the H vibration vibrates in the resonance mode.
  • the biaxial peristaltic mirrors 2 and 3 vibrate at high speed based on the resonance frequency.
  • the V vibration vibrates in a non-resonant mode.
  • the biaxial peristaltic mirrors 2 and 3 vibrate based on the movement period and the holding period.
  • the H vibration operates sufficiently faster than the V vibration. For example, when 200 points ⁇ 200 lines equivalent is displayed at an update rate of 25 Hz, the H vibration operates at 2.8 kHz, the V vibration operates at 25 Hz, and the biaxial peristaltic mirrors 2 and 3 are about to radiate the radiation unit 11 described later. This is the relationship of modulation driving at 1.25 MHz.
  • the H / Vsensor signal of the biaxial peristaltic mirrors 2 and 3 is an amplitude signal corresponding to the tilt angle of each axis.
  • the scanning drive control unit 4 drives the biaxial peristaltic mirrors 2 and 3 by microcomputer control (not shown). Further, the scanning drive control unit 4 specifies the scanning position of the biaxial peristaltic mirrors 2 and 3 by the H / Vsensor signal which is an analog signal indicating the scanning position of the biaxial peristaltic mirrors 2 and 3, and A reference signal H / Vsync, which is a digital signal indicating the scanning position 3, is generated. That is, the scanning drive control unit 4 controls the driving of the biaxial peristaltic mirrors 2 and 3 to raster scan the radiation beam 14.
  • the region scanned by the radiation beam under the control of the scanning drive control unit 4 is a sensation presentation region 15 that presents a sensation due to a change in hue and / or light amount to the operator in the present embodiment.
  • sensation presentation region 15 presents a sensation due to a change in hue and / or light amount to the operator in the present embodiment.
  • “sensation due to changes in hue and / or light amount” may be simply referred to as “sensation”.
  • the size of the sensory presentation area 15 is determined by the distance KK from the biaxial peristaltic mirrors 2 and 3 to the detection position 17 and the deflection angle of the H / V axis.
  • the mirror 2 has a circular diameter of ⁇ 2, and the deflection angle is ⁇ 7 ( ⁇ 7 to +7) degrees / ⁇ 7 ( ⁇ 7 to +7) for each H / V axis. It is assumed that the angle is an optical angle. In this case, if the distance KK from the biaxial peristaltic mirrors 2 and 3 to the detection position 17 is 200 mm, the size of the sense presentation area 15 is 50 mm ⁇ 50 mm.
  • the deflection angle of the mirror 2 is ⁇ 14 ( ⁇ 14 to +14) degrees / ⁇ 14 ( ⁇ ) for each of the H / V axes. 14 to +14) degrees.
  • the detection position 17 is a position of a fingertip (hereinafter referred to as “operation body”) that performs an operation that is a part of a finger 16 (for example, an operator's hand) that is an object in the sense presentation area 15.
  • the timing / address generation unit 5 outputs the reference signals H / Vsync generated by the scanning drive control unit 4 (digital signals indicating the scanning positions of the two-axis swing mirrors 2 and 3). By assigning the coordinates of the sensory presentation area 15 (the area of 200 points ⁇ 200 lines scanned by the radiation beam 14) to the scanning position, the scanning position address fire_add is generated. Further, the timing / address generation unit 5 generates timing information for emitting the radiation beam 14 with respect to the coordinates of the generated scanning position address fir_add. For example, the timing / address generation unit 5 generates timing information for emitting the radiation beam 14 at a timing at which coordinates specified from the generated scanning position address are scanned. Details of the generation of timing information will be described later.
  • the timing / address generation unit 5 uses 90% time of the area scanned by the biaxial peristaltic mirrors 2 and 3 as the effective area (10% of the total time that the biaxial peristaltic mirrors 2 and 3 scan). As a region excluding the region operated during the period, a scanning position address “fir_add” of 200 points ⁇ 200 lines in the sensory presentation region 15 scanned by the radiation beam 14 may be generated.
  • the object detection sensor 6 is an operation body detection unit that detects the position of the operation body in the sense presentation area 15.
  • the object detection sensor 6 is a light detection sensor that detects an object by reflection of light, and emits laser light to the range of the sensation presentation area 15 to detect reflected light from the operating body. Then, the operating body is detected.
  • the object detection sensor 6 that has detected the reflected light calculates the distance from the object detection sensor 6 to the operating body based on the detected reflected light, and in the sensory presentation area 15 based on the calculated distance and the emission direction of the laser light. Recognize which position is touched by the operating tool. In other words, the object detection sensor 6 recognizes the detection position 17 that is composed of the distance from the object detection sensor 6 to the operating body and the emission direction of the laser light.
  • the object information generation unit 7 acquires a detection position 17 including a distance from the object detection sensor 6 recognized by the object detection sensor 6 to the operating body and a laser beam emission direction, and acquires the acquired detection position 17 and scanning.
  • Object information (coordinates where the operating tool is located) is generated based on the position address fir_add.
  • the object information generation unit 7 generates a scanning position address “fir_add” specified from the detection position 17 as object information.
  • the object information is coordinates when the coordinate of the lower left corner of the sense presentation area 15 is (0, 0).
  • the object information generation unit 7 outputs the generated object information to the radiation determination unit 8.
  • the radiation determination unit 8 acquires sensory information corresponding to coordinates specified from the object information input from the object information generation unit 7, and applies the finger 16 detected by the object detection sensor 6 based on the acquired sensory information. On the other hand, it is determined whether or not the radiation beam 14 is emitted.
  • the sensory information is set in advance from an external PC (Personal Computer) or the like, and includes, for example, sensory presentation conditions DATA for each position information wr_add in the sensory presentation area 15.
  • the sensory presentation condition DATA is information indicating, for example, whether or not the radiation beam 14 is emitted at the position, and when it is emitted, the emission time (emission time), the hue and / or the amount of light.
  • the radiation determination unit 8 acquires the sensory presentation condition DATA of a position where the detection position 17 included in the object information matches the position information wr_add included in the sensory information. Then, when the acquired sensory presentation condition DATA indicates that the radiation beam 14 is emitted, the radiation determination unit 8 determines that the radiation beam 14 is emitted to the detected detection position 17. The radiation determination unit 8 causes the information storage unit 9 to store position information wr_add indicating the coordinates of the position determined to emit the radiation beam 14 and the corresponding sensory presentation condition DATA.
  • the information storage unit 9 is a storage medium that stores various information so that the radiation control unit 10 can refer to the information.
  • the information storage unit 9 includes the scanning position address fir_add generated by the timing / address generation unit 5, the position information wr_add input from the radiation determination unit 8, and the sensory presentation condition corresponding to the position information wr_add. DATA is stored.
  • the information storage unit 9 includes history information (hereinafter referred to as “sensory presentation history”), including positional information wr_add inputted so far from the radiation determination unit 8, sensory presentation conditions DATA, radiation control information by the radiation control unit 10, and the like. Information ”).
  • the radiation control unit 10 refers to the scanning position address fir_add, the position information wr_add, and the sensory presentation condition DATA stored in the information storage unit 9, and the hue of the light emitted from the radiation unit 11 that is a light emitting unit. And / or the radiation conditions which show a light quantity, radiation
  • the radiation control unit 10 controls the radiation unit 11 in accordance with the determined radiation condition and the timing information input from the timing / address generation unit 5. Details of the radiation operation of the radiation unit 11 under the control of the radiation control unit 10 will be described later.
  • the radiating unit 11 serving as a light emitting unit emits a beam to a predetermined range including a detection position, and adds a change in hue and / or light quantity to the predetermined range through the space. Further, the radiating unit 11 which is a light emitting unit radiates a radiation beam to a fixed range via the biaxial peristaltic mirrors 2 and 3.
  • the radiating unit 11 emits any wavelength component of visible light (wavelength of about 400 nm to 680 nm), and is composed of a light emitting element capable of adjusting the light amount for each of R, G, and B components of at least three primary colors.
  • a semiconductor laser element or an LED (Light Emitting Diode) element is selected for each wavelength.
  • 450 nm (B), 530 nm (G), and 630 nm (R) can be selected.
  • the radiation unit 11 is driven at a timing, radiation intensity, and radiation time according to the control by the radiation control unit 10, and emits visible light having a desired hue and / or light amount.
  • the radiation beam 13 may have any light intensity that allows the operator to visually recognize either a component that reflects the skin or a component that is absorbed and diffused into the skin and then emitted from the skin surface. If the radiation beam 13 is a laser beam, an intensity equivalent to a commercially available laser pointer (about 1 mw) is sufficient, and it is designed to comply with laser safety standards.
  • the beam shaping unit 12 is configured by, for example, an optical lens (condensing lens) that condenses laser light, and focuses the visible light emitted from the radiation unit 11 and outputs a radiation beam 13.
  • FIG. 2 is a diagram illustrating the beam size of visible light emitted from the radiation unit 11.
  • the horizontal axis of FIG. 2A indicates the distance, and shows the beam shaping unit 12, the mirror 2, and the detection position 17 through which the visible light beam emitted from the radiation unit 11 passes in order.
  • the horizontal axis may be the elapsed time after radiation from the radiation unit 11.
  • the vertical axis in FIG. 2A indicates the beam size.
  • FIG. 2B is a diagram illustrating a conceptual diagram of a beam shape corresponding to the distance and the beam size in FIG.
  • the visible light beam radiated from the radiation part 11 first spreads immediately after radiation (the beam diameter becomes larger), is converged by the beam shaping part 12 and radiated as a radiation beam 13, and the mirror 2 Reflected with a beam diameter of ⁇ 2 at the position of. Then, the radiation beam 13 is focused and then diffused again as the radiation beam 14 to have a beam diameter of ⁇ 4 at the detection position 17.
  • the focused visible light directly hits the fingertip at the detection position 17 and shines with a desired hue and / or light quantity.
  • the beam diameter of the radiation beam 14 expands according to the radiation distance, energy is diffused at a position beyond the sensory presentation area, and the influence on the subsequent stage is reduced.
  • the radiation beam 14 before the energy is diffused can be prevented from entering the eyes of a person (such as an operator), and safety is improved.
  • the beam shaping part 12 will carry out beam shaping so that it may become a similar shape after the mirror 2.
  • the beam shaping part 12 may perform the process which diffuses coherent property.
  • the visible light radiation beam 14 is emitted to the detection position 17 where the operating body (for example, the fingertip of the operator) is detected, so that the fingertip at the detection position 17 has a desired hue and / or light amount. It will shine at.
  • the operator can feel a change in the hue and / or light amount of the fingertip, and can obtain a pseudo tactile sensation for the operation by this change.
  • the pseudo-tactile sensation expects a cross modal (interaction between sensations), and for example, expects to feel a touch when a temperature change is felt, such as feeling cool when listening to a wind chime tone.
  • the operating body at the detection position 17 is the fingertip, and the skin of the fingertip is the target.
  • FIG. 3 is a diagram illustrating the sensory presentation area 15.
  • the length of the HWD that is the horizontal side of the sensory presentation area 15 is 50 mm
  • the length of the VWD that is the vertical side is 50 mm.
  • the sensory presentation area 15 is composed of 10 ⁇ 10 sensory presentation units.
  • the length THV of one side of the sensory presentation unit is 5 mm.
  • FIG. 4 is a diagram illustrating sensory information.
  • corresponding sensory presentation conditions for each sensory presentation unit constituting the sensory presentation area 15 shown in FIG. 3 are defined as sensory information.
  • a radiation beam with a changed hue and / or light amount is emitted at that position. That is, that the radiation beam is emitted to the detection position means that the radiation beam is emitted to a sensory presentation unit that is a predetermined range including the detection position.
  • the sensation presentation area 15 is traced with the fingertip in the X-axis direction, light application and non-light application to the fingertip are alternately performed.
  • the change in hue and / or light amount as “unevenness”, pseudo-tactile presentation of unevenness is realized.
  • FIG. 4B shows sensory information different from that shown in FIG. 4A.
  • the fingertip when the sensory presentation area 15 is traced with the fingertip in the Y-axis direction, the fingertip radiates.
  • the hue and / or light quantity of the emitted radiation beam By changing the hue and / or light quantity of the emitted radiation beam and defining this as “unevenness”, pseudo-tactile presentation of the unevenness is realized.
  • pseudo tactile sensation such as material or hardness is realized.
  • the pseudo tactile sensation presentation may be realized by changing the hue and / or the light amount earlier than the movement of the fingertip.
  • FIG. 5 is a diagram illustrating the relationship between the control state by the radiation control unit 10 when the fingertip is detected at the detection position 17 and the change in the hue and / or the amount of light at the detection position 17.
  • the control shown in FIG. Is done.
  • the reference signal Vsync shown in FIG. 5 is an enlarged part of the elapsed time at the TMPUP (radiation position shown in FIG. 3). The period of vibration once in the vertical direction) is shown. Further, the reference signal Hsync shown in FIG. 5 is obtained by extending the ON time in T_MODE, and one cycle (1H) is repeatedly shown.
  • the timing / address generation unit 5 generates timing information so that the radiation unit 11 emits visible light at the timing of scanning the detection position 17 in the cycle of the reference signal Hsync shown in FIG.
  • the radiation unit 11 is turned on, for example, at the timing shown in FIG. 5 by the control by the radiation control unit 10 according to the timing information generated by the timing / address generation unit 5, and a plurality of visible rays are emitted while T_MODE is ON. Radiate once. That is, the radiation unit 11 emits visible light at the timing when the detection position 17 is scanned.
  • FIG. 6 is a flowchart illustrating an operation example related to the sensory presentation of the sensory presentation device 1.
  • the operating body is the finger 16 that is a part of the object that is the hand of the operator, and is simply “object” in the flowchart shown in FIG. 6.
  • the process shown in FIG. 6 starts, for example, after the biaxial peristaltic mirrors 2 and 3 reciprocate once in the vertical direction.
  • the object detection sensor 6 when the object detection sensor 6 does not detect the operating tool (S601 / NO), the process ends without executing the operation related to sensory presentation.
  • the object detection sensor 6 detects the operation body (S601 / YES)
  • the object information generation unit 7 is the scanning position address fir_add specified from the detection position 17 of the operation body detected by the object detection sensor 6.
  • Object information (coordinates) is generated (S602).
  • the radiation determination unit 8 emits the radiation beam 14 to the position where the operating body is detected based on the generated object information and preset sensory information. It is determined whether or not (S603). For example, when the detected operating body is at the detection position 17 shown in FIGS. 1 and 3 and the sensory information shown in FIG. 4A is used, the radiation determination unit 8 determines the position where the operating body is detected. It is determined that the radiation beam 14 is emitted.
  • the radiation determination unit 8 determines not to emit the radiation beam 14 (S603 / NO), the process ends without performing subsequent operations relating to sensory presentation.
  • the radiation control unit 10 refers to the hue and / or light quantity conditions stored in the information storage unit 9 and performs timing.
  • the radiation unit 11 is controlled to emit visible light according to the information (S604).
  • the radiation control unit 10 controls the radiation unit 11 to emit visible light until the predetermined time included in the sensory presentation condition elapses after the radiation unit 11 emits visible light (S605 / NO) (S604). ). On the other hand, when a predetermined time elapses after the radiation unit 11 radiates visible light (S605 / YES), the radiation control unit 10 stops the radiation of the visible light by the radiation unit 11 (S606).
  • the sensation presentation device 1 when the sensation presentation device 1 according to the present embodiment detects an operating body in the sensation presentation area 15, the visible light radiation beam 14 is applied to the position according to the position where the operating body is detected. Radiate. Thereby, the visible light which hits the fingertip of the operator, which is an example of the operating body, is re-emitted by reflection or absorption / diffusion on the skin surface, and the operator visually recognizes it.
  • the operator replaces the change in hue and / or light amount with another perception, for example, a tactile sensation, thereby realizing a pseudo tactile sensation presentation.
  • the sensation presentation device 1 uses a material for presenting a predetermined sensation like a conventional device that ejects liquid or gas to a finger or the like to present a sense of force. There is no need to select or replenish materials, so maintenance is good.
  • the sensation presentation device 1 according to the present exemplary embodiment does not contaminate the finger with the presentation of the sensation unlike the conventional device that ejects liquid onto the finger and presents a sense of force.
  • the sensory presentation device 1 according to the present embodiment is configured to radiate a visible radiation beam to the sensory presentation region, and vibration during gas or liquid injection is a noise source as in a conventional device. It will never be. Further, for example, the sensory presentation device 1 according to the present embodiment is configured to emit a visible light beam to the sensory presentation region, and there is no need to increase the sensory presentation configuration according to the size of the sensory presentation region. The size can be reduced. In addition, the sensory presentation device 1 according to the present embodiment can be used as long as the gloves and dirt transmit or absorb and diffuse visible light even when the operator is wearing gloves or the fingertips are dirty. Sense presentation is possible. Further, according to the present embodiment, since visible light is emitted only at the sense presentation position of the operating body, power saving can be realized.
  • the radiation unit 11 may radiate any wavelength component from the visible light region to the microwave region that can present light presentation or light change through the space.
  • the wavelength component is selected in consideration of the presence or absence of external interference such as various safety standards and communication applications.
  • FIG. 7 is a diagram illustrating sensory presentation conditions according to the radiation state of the radiation beam 14 in the scanning direction of the sensory presentation region 15 and the biaxial peristaltic mirrors 2 and 3.
  • FIG. 7A is a diagram exemplifying sensory presentation conditions when the radiation beam 14 is emitted in the front direction with respect to the scanning direction of the sensory presentation region 15 and the biaxial oscillating mirrors 2 and 3.
  • FIG. 7B is a diagram illustrating sensory presentation conditions when the radiation beam 14 is emitted obliquely with respect to the scanning direction of the sensory presentation region 15 and the biaxial peristaltic mirrors 2 and 3.
  • the timing / address generation unit 5 reads out the information stored in the information storage unit 9, the radiation control unit 10 controls the reading order of DATA so that the sense presentation conditions can be uniformed, 11 radiation output is controlled.
  • FIG. 8 is a diagram illustrating a configuration of the operation processing device 20.
  • the operation processing device 20 has a configuration in which an operation processing unit 43 is added to the configuration of the sensation presentation device 1 illustrated in FIG. 1.
  • the sense presentation area 15 is an area for detecting an operation such as a gesture input.
  • the operation processing unit 43 acquires the object information of the operating tool detected by the object detection sensor 6, detects the operation in the sensory presentation area 15 from the position information included in the object information, and performs processing for the detected operation. Specifically, for example, the operation processor 43 moves or rotates in the up / down / left / right and depth directions so that the operator's hand or finger crosses / blocks the operation detection area (described later, FIG. 9), so that the operation processing unit 43
  • the operation pattern is detected as a predetermined operation.
  • the motion pattern is determined in advance by, for example, the direction and number of movements of hands and fingers, a combination thereof, and the like.
  • the input operation may be an operation of operating a slide switch, toggle switch, volume knob, push switch, or the like.
  • FIG. 9 is a diagram illustrating the sensory presentation area 15 in the second embodiment.
  • operation detection areas 8 ⁇ 8 areas
  • the embodiment With the configuration described in 1, a pseudo tactile sensation due to a change in light is presented to the operating body.
  • the sensory information in this case includes sensory presentation conditions in which the radiation beam 14 is emitted to the finger at the position of the operation detection region.
  • R is displayed when it is recognized for the first time
  • G is displayed when it is understood
  • RGB is displayed or blinked when it corresponds to the operation.
  • the sensation presentation area 15 can be used as a pointer or marker that is a source of input, and the operator's vision can be released.
  • the operator can check the result of the gesture operation.
  • the device since the operation area can be presented in the space, the device does not require a special structure such as an operation panel, and the degree of freedom of the operation environment can be improved at the same time as the device is downsized. Above all, the operation unit is a space and does not become a cause of failure. Further, when an unspecified number of people come into contact with the operation processing device 20, it is not necessary to touch a place touched by a person. Further, according to the present embodiment, it is possible to realize non-contact and confidential communication transmission.
  • the 8 ⁇ 8 area from the center has been described as the operation detection area.
  • the operation detection area may be fixed or changed according to the situation. May be.
  • the operation processing unit 43 changes the sensory information according to the response operation to the operation, and gives the operator a sense based on the changed sensory information so that the operator can recognize the response to the operation. It may be.
  • the sensory information is changed so that the radiation ON / OFF of the radiation beam is different for each time series.
  • region 15 was demonstrated as an example.
  • each sensation presentation area may correspond to each key of the keyboard and accept keyboard operations. (Embodiment 3)
  • FIG. 10 is a diagram illustrating the configuration of the image display device 22.
  • the image display device 22 has a configuration in which an image generation unit 44 and an LCD (Liquid Crystal Display) 31 are added to the configuration of the operation processing device 20 shown in FIG.
  • FIG. 11 is a diagram illustrating an example of a floating image. As shown in FIG. 11, the image displayed on the LCD 31 is displayed as a floating image in the recursive display area 32 in space by the recursive optical element 30. This will be specifically described below.
  • the recursive optical element 30 has a plurality of pairs of pinhole reflecting portions formed in a planar shape, each having a pinhole at the zenith and two elliptical hemispherical reflecting portions facing each other on the inner surface.
  • This is a planar optical sheet (pinhole array) configured. Note that the light beam capturing range ⁇ of each pinhole is ⁇ 45 ( ⁇ 45 to +45) degrees with respect to the sheet vertical direction.
  • a two-dimensional original image 33 is displayed on the LCD 31 which is a liquid crystal display having a screen size of 15 inches as an object or an image display unit that emits scattered light in two or three dimensions.
  • the position of the surface object with respect to the LCD 31 and the recursive optical element 30 is a recursive display area 32 (15 inches in this embodiment).
  • a part of the scattered light emitted from the original image 33 of the LCD 31 is recursed and condensed in the recursive display area 32 to form a floating image 34 which is a virtual image, and then rediffused.
  • the biaxial peristaltic mirrors 2 and 3 and the object detection sensor 6 are arranged so that the sensation presentation area 15 coincides with the entire or partial area of the recursive display area 32. That is, the sense presentation area in the present embodiment is an image display area that is an area for displaying an image.
  • the 10 generates an image displayed on the LCD 31 and sensory information based on drawing data input from an external PC or the like.
  • the sensory information is generated based on the content of the image displayed on the LCD 31.
  • the sensory presentation condition for the edge position of the image is set to emit the radiation beam 14.
  • the sensation presentation condition may be set so that the hue and / or the amount of light changes according to the color density (intensity) of a figure or a character constituting the image.
  • the sensory presentation condition of the position constituting the character “3” displayed in the original image 33 is set to emit the radiation beam 14.
  • the fingertip of the operator who is the operating body is at the detection position 17
  • a part of the floating image 34 of the character “3” is displayed at the detection position 17.
  • FIG. 12 is a diagram illustrating the positional relationship between the operator's eyes 41 and 42 and the image display device 22.
  • the diffused light 35, 36, 39 of the character 33a representing “3” in the original image 33 is converted into the retrodiffused light 37, 38, 40 by the recursive optical element 30 to form a virtual image 34a.
  • the light becomes re-diffused light 38 and 40 and enters the left and right eyes 41 and 42.
  • the virtual image 34a shown in FIG. 12 and the detection position 17 correspond, a sense is shown with respect to an operator.
  • the virtual image 34a is a light emission image
  • the black display is a non-light emission, that is, a transmission region.
  • the floating image 34 shown in FIG. 11 is an example, and may be an image showing a visual change, a change linked to an image operation, or the like. Specifically, for example, steam or cold, various switches, characters, photographs, pictures, marks, cash, products, etc., can be displayed, and the floating image 34 is a virtual image of an entity. Also good. In addition, when dealing with cash images, it shall be operated based on the laws of each country. Further, for example, the floating image 34 displayed in the sensation presentation area 15 may be a marker, a button, or a joystick, and the gesture input shown in FIG. May be.
  • the floating image 34 is a button image
  • a sensory presentation condition in which the radiation beam 14 is emitted to the finger at the position of the button image is set. Therefore, when the button image is pressed with the fingertip of the operator, a sense is presented to the fingertip.
  • the operator perceives the floating image 34 visually and at the same time with a sense of presence similar to that of the entity by touching with a finger. can do. Further, according to the image display device 22 according to the third embodiment, when the operator tries to match the adjustment and the convergence with the floating image 34, the sense can be used as a mark, and the viewpoint can be easily aligned.
  • the display content of the LCD 31 may be changed in conjunction with the operation with the fingertip on the floating image 34.
  • the operation processing unit 43 outputs information on drawing data to be displayed on the LCD 31 to the image generation unit 44 based on the operation detected in the sense presentation area 15.
  • the image generation unit 44 changes the sensory information in conjunction with the change of the display content.
  • a predetermined movement such as expansion and contraction or vibration of the floating image 34 may be expressed at the same time as the sense is presented.
  • the floating image 34 is a button switch
  • the button switch image is displayed so as to expand and contract or move in the depth direction, up and down, left and right in conjunction with the gesture input operation shown in FIG. May be.
  • the recursive optical element 30 is used as an example of the method for displaying the floating image 34 .
  • this is merely an example, and any of a reflex display sheet and a half mirror or orthogonal mirror array type recursive display method, a 2 ⁇ multi-parallax stereoscopic TV, or the like, a light reproduction type display or a half mirror method may be used.
  • a reflex display sheet and a half mirror or orthogonal mirror array type recursive display method a 2 ⁇ multi-parallax stereoscopic TV, or the like, a light reproduction type display or a half mirror method may be used.
  • the floating image 34 may be configured to be disposed in the immediate vicinity of the display surface of the projection image such as a direct view monitor such as the LCD 31, a projection TV, or a projector.
  • the floating image 34 is not only a video image but also a variety of images such as a photographic image and a light source such as an LED, and any image that is a target of sensory presentation related to display contents does not depart from the present invention.
  • the operation processing device 20 includes the configuration of the sense presentation device 1
  • the image display device 22 includes the configuration of the operation processing device 20. The case where it is described as an example. However, this is only an example, and the sensation presentation device 1, the operation processing device 20 including a configuration related to operation processing, and the image display device 22 including a configuration related to image display may be configured as separate devices. (Embodiment 4)
  • the configuration of the sensory presentation device 1, the operation processing device 20, the image display device 22, and the like described above is applied to an automated teller machine (ATM) as an example of various devices. This will be described as an example.
  • ATM automated teller machine
  • FIG. 13 is a diagram illustrating the configuration of the ATM 50 to which the sensory presentation device 1 according to this embodiment is applied.
  • the ATM 50 includes a card slot 51 into which a cash card is inserted, a bankbook slot 52 into which a bankbook is inserted, a cash slot 53 into which cash is taken in and out, a display unit 54 that displays an operation screen of the ATM 50, and the like.
  • the floating image 34 is displayed by the configuration described in the third embodiment.
  • the floating image 34 in the ATM 50 is, for example, a substance or an image of money or banknotes displayed at the time of deposit operation or transfer operation.
  • a transfer operation if the operator of the ATM 50 moves the money image of the money or banknote displayed as the floating image 34 with the finger 16, the radiation beam 14 is emitted to the finger 16, and light is applied to the finger 16. A sense of change is presented.
  • the biaxial swinging mirrors 2 and 3 and the object detection sensor 6 are arranged on the entire surface or a partial region of the recursive display region 32.
  • at least one of the biaxial peristaltic mirrors 2 and 3 and the object detection sensor 6 may be disposed in a part of the area surrounding the outer periphery of the recursive display area 32.
  • the radiation beam 14 is radiated upward from the biaxial peristaltic mirrors 2 and 3 toward the detection position 17.
  • the radiation beam 14 may be emitted from the biaxial peristaltic mirrors 2 and 3 toward the detection position 17 sideward or downward.
  • a sensory presentation area 15 in space is provided as an area for inputting a personal identification number by a gesture or the like.
  • the sensation presentation area 15 is realized by the configuration described in the second embodiment, and when the operator's finger 16 is detected in the sensation presentation area 15, the radiation beam 14 is emitted to the finger 16 so that the finger 16 is presented with a pseudo tactile sensation due to a change in light.
  • the operator can recognize the sensation presentation area 15 when the sensation is presented, and can input a password using a gesture or the like in the sensation presentation area 15.
  • the operator is alerted by obtaining a sense of handling cash from the sense of realism of the money image when depositing and transferring money by the operator, and operational safety and remittance
  • the deterrent effect can be improved.
  • the operator can input a personal identification number with a gesture or the like in the sensory presentation area 15, so that the confidentiality of the input content can be improved, and the personal identification number can be seen by others. Etc. can be prevented.
  • the sensation presentation is also a mark in the spatial area, so that the operator can easily recognize the sensation presentation area 15. .
  • the configuration of the sensory presentation device 1, the operation processing device 20, the image display device 22, and the like described above is an automatic ticketing machine / vending machine (hereinafter referred to as “vending machine”) as an example of various devices. ) Will be described as an example.
  • FIG. 14 is a diagram illustrating a configuration of a vending machine 60 to which the sensory presentation device 1 according to the present embodiment is applied.
  • the vending machine 60 includes a cash outlet 61 for inputting cash, a product outlet 62 for taking out purchased products, and a display unit 63 for displaying sold products.
  • the biaxial swinging mirrors 2 and 3 and the object detection sensor 6 are disposed in a part of the front area of the vending machine.
  • the radiation beam 14 is radiated from the side toward the detection position 17 from the biaxial peristaltic mirrors 2 and 3.
  • the radiation beam 14 may be emitted from above or below from the biaxial peristaltic mirrors 2 and 3 toward the detection position 17.
  • the floating image 34 is displayed with the configuration described in the third embodiment.
  • the floating image 34 in the vending machine 60 is, for example, an image of a product being sold.
  • the radiation beam 14 is emitted to the finger 16, and the temperature is changed according to the unevenness of the product with respect to the operator's finger 16.
  • a pseudo-tactile sensation is presented.
  • the detection position 17 is at the position of the sense presentation area 15, the radiation beam 14 is emitted to the finger 16.
  • the operator can simulate the warmth of the product by changing the hue and / or the amount of light presented depending on whether the product is a hot drink or a cold drink.
  • a red radiation beam 14 is emitted to the finger 16.
  • a radiation beam 14 having a larger amount of light than the radiation beam 14 emitted when the detection position 17 is not at the position of the drink image is emitted to the finger 16.
  • the detection position 17 is at the position of the image of the cold drink, the blue radiation beam 14 is emitted to the finger 16.
  • a radiation beam 14 having a light amount smaller than that of the radiation beam 14 emitted when the detection position 17 is not at the drink image position is emitted to the finger 16.
  • the operator can experience the features of the product in a pseudo-realistic manner, so that convenience when selecting the product can be improved.
  • the image of the operation unit such as a marker, a button, and a joystick is displayed as the floating image 34 in addition to the product image, and the operator operates the operation unit by flipping the operation unit from the left, right, up, down, front and rear directions. It may be.
  • a cash image is displayed as a floating image so that a sense of sensation is presented when paying for a price or receiving a change like the ATM 50 described above. It may be. (Embodiment 6)
  • Embodiment 6 demonstrates as an example the case where the structure of the sensory presentation apparatus 1, the operation processing apparatus 20, the image display apparatus 22, etc. which were mentioned above is applied to portable terminal devices, such as a smart phone, as an example of various apparatuses.
  • FIG. 15 is a diagram illustrating a configuration of a mobile terminal device 70 to which the sensory presentation device 1 according to the present embodiment is applied.
  • the mobile terminal device 70 includes a display operation unit 71 that accepts image display and operation input.
  • the floating image 34 is displayed by the configuration described in the third embodiment.
  • the floating image 34 in the mobile terminal device 70 is an operation screen of the mobile terminal device 70, for example.
  • the biaxial swinging mirrors 2 and 3 are arranged in a part of the area surrounding the outer periphery of the recursive display area 32.
  • the radiation beam 14 is radiated from the outer peripheral side to the inner peripheral side of the recursive display area 32 from the biaxial peristaltic mirrors 2 and 3 toward the detection position 17.
  • the radiation beam 14 may be emitted from above or below the recursive display area 32.
  • a seventh embodiment of the present invention will be described.
  • a case where the configuration of the sensory presentation device 1, the operation processing device 20, the image display device 22, and the like described above is applied to an HMD (Head Mounted Display) as an example of various devices will be described as an example.
  • HMD Head Mounted Display
  • FIG. 16 is a diagram illustrating the configuration of the HMD 80 to which the sensory presentation device 1 and the like according to this embodiment are applied.
  • the HMD 80 is, for example, a glasses type, and includes a display operation unit 81 that receives image display and operation input.
  • the image displayed on the display operation unit 81 is also displayed on the virtual image area 82 in space.
  • the biaxial swinging mirrors 2 and 3 and the object detection sensor 6 are arranged above the display operation unit 81.
  • the biaxial peristaltic mirrors 2 and 3 and the object detection sensor 6 may be disposed or built in the rim portion of the HMD 80 disposed in front of the user's eyes while being mounted on the user's head. good.
  • the biaxial peristaltic mirrors 2 and 3 and the object detection sensor 6 may be arranged or built in the temple portion of the HMD 80 that is hooked on the user's ear while being mounted on the user's head. You may comprise so that the pan angle and tilt angle of the biaxial peristaltic mirrors 2 and 3 can be changed.
  • the radiation beam 14 is emitted from the biaxial peristaltic mirrors 2 and 3 toward the detection position 17 in the user's line-of-sight direction (for example, the user's traveling direction and the user's left-right direction).
  • the virtual image area 82 and the sensory presentation area 15 are displayed so as to overlap each other with the configuration described in the third embodiment.
  • a radiation beam 14 is emitted to the operator's finger 16 or the like in accordance with the operation, and a pseudo tactile sensation due to a change in hue and / or light amount is presented. Is done.
  • the sensation presentation device 1 and the like into the HMD 80, when an input operation is detected using an area on the space around the HMD 80, the operator's finger 16 enters the area where the input operation is detected.
  • the radiation beam 14 is emitted to the finger 16 and a pseudo tactile sensation is presented. Therefore, the operator can obtain the same feeling as when operating by touching the HMD 80, and the convenience of the operator can be improved while improving the degree of freedom in designing the HMD 80.
  • the case where the virtual image area 82 and the sensory presentation area 15 are displayed in an overlapping manner has been described as an example.
  • the virtual image area 82 and the sense presentation area 15 may be displayed at different positions.
  • sensory presentation based on information in which each position in the virtual image area 82 and each position in the sensory presentation area 15 are associated in advance is performed.
  • the position where the sensory presentation area 15 is displayed can be freely determined according to the operability of the HMD 80.
  • an eighth embodiment of the present invention will be described.
  • a case where the configuration of the sensory presentation device 1, the operation processing device 20, the image display device 22, and the like described above is applied to a wristwatch type terminal device as an example of various devices will be described as an example.
  • FIG. 17 is a diagram illustrating the configuration of a wristwatch type terminal device 83 to which the sensory presentation device 1 according to the present invention is applied.
  • the wristwatch type terminal device 83 is a terminal device that is used by being worn on the arm 84 of the operator, and includes a display operation unit 85 that receives image display and operation input.
  • a sense presentation area 15 in space is provided as an area for detecting an operation such as gesture input.
  • the sensory presentation area 15 is realized by the configuration described in the second embodiment, and when the operator's finger 16 is detected in the sensory presentation area 15, the radiation beam 14 is emitted to the finger 16, Thus, a pseudo tactile sensation is presented by a change in hue and / or light quantity. Further, when an operator's finger or the like performs an operation in the sensory presentation area 15, a radiation beam 14 is emitted to the finger 16, and the operator's finger or the like is simulated according to a change in hue and / or light amount according to the operation. A tactile sensation is presented.
  • the biaxial swing mirrors 2 and 3 are arranged in a part of an area surrounding the outer periphery of the display operation unit 85.
  • the radiation beam 14 is emitted from the biaxial peristaltic mirrors 2 and 3 toward the detection position 17.
  • the sensory presentation device 1 and the like By incorporating the sensory presentation device 1 and the like into the wristwatch type terminal device 83 in this manner, when an input operation is detected using a space area around the wristwatch type terminal device 83, the input operation is detected.
  • the radiation beam 14 When the operator's finger 16 enters, the radiation beam 14 is emitted to the finger 16 and a pseudo tactile sensation is presented. Therefore, the operator can obtain the same feeling as when touching and operating the wristwatch type terminal device 83, and the convenience of the operator is improved while improving the freedom of design of the wristwatch type terminal device 83. Can do.
  • the case where only the sensation presentation area 15 is displayed in the space has been described as an example, but this is an example, and is displayed on the display operation unit 85 of the wristwatch type terminal device 83.
  • the image may be displayed on the space as a floating image by the configuration of the third embodiment or the like. At that time, the floating image and the sensory presentation area 15 may be displayed so as to overlap each other, or may be displayed at another position. (Embodiment 9)
  • FIG. 18 is a diagram illustrating the configuration of the sensory presentation device 1 according to the ninth embodiment.
  • the sensation presentation device 1 according to Embodiment 9 replaces the biaxial peristaltic mirrors 2 and 3 of the sensation presentation device 1 shown in FIG.
  • the scanning drive control unit 4, the timing / address generation unit 5, and the information storage unit 9 are excluded from the configuration of the presentation device 1.
  • the information storage unit 9 is the sensory presentation device 1. Instead of the above configuration, it may be stored in the information storage unit 9 as in the first embodiment.
  • the sensory presentation device 1 detects a predetermined position (in the case shown in FIG. 18, when the radiation unit 11 emits visible light).
  • the radiation beam 14 is emitted limited to a predetermined range including the position 17). That is, the radiation beam 14 is emitted limited to one of the sensory presentation units shown in FIG.
  • the radiation determination unit 8 determines that the radiation beam 14 is emitted to the detection position 17 when the position included in the object information input from the object information generation unit 7 matches the detection position 17. To do.
  • the configuration is smaller than the configuration of the sensation presentation apparatus 1 according to the first embodiment. Since it becomes simple, the sensation presentation device 1 can be further downsized. Also, with such a configuration, the radiation time of the radiation beam 14 per unit time increases, so that the radiation energy of the radiation unit 11 can be reduced.
  • 100 sensory presentation units included in the sensory presentation area 15 shown in FIG. 3 are radiation objects of the radiation beam 14, whereas in this embodiment, one sensory presentation unit. Since only the radiation object of the radiation beam 14 is emitted, the emission energy can be reduced to 1/100.
  • the radiation control unit 10 expands the beam diameter shown in FIG. 2 to the size of one sensory presentation unit (for example, the length of one side is 5 mm) so that the radiation beam 14 covers one sensory presentation unit. You may make it control the radiation intensity etc. of the radiation
  • FIG. Further, in the present embodiment, the size of the region where the radiation beam 14 is emitted is the size of the sensory presentation unit shown in FIG. 2, but this is an example, and the detection position 17 is determined according to the application. A size may be set.
  • the radiation control unit 10 may adjust the radiation beam diameter and the emission energy in which the size of the detection position 17 is set. (Embodiment 10)
  • FIG. 19 is a diagram illustrating a configuration of the sensory presentation device 1 according to the tenth embodiment.
  • the biaxial peristaltic mirrors 2 and 3 according to the present embodiment differ from the biaxial peristaltic mirrors 2 and 3 according to the first embodiment in that both the H axis and the V axis are perturbed in a non-resonant mode.
  • the scanning drive control unit 4 according to the present embodiment tilts the biaxial peristaltic mirrors 2 and 3 so that the radiation beam 14 is always emitted to the detection position 17 included in the object information input from the object information generation unit 7. In non-resonant mode.
  • the sensory presentation device 1 according to the tenth embodiment has the same configuration as that of the sensory presentation device 1 shown in FIG. 1, but the object information generating unit 7 according to the tenth embodiment. Outputs the detection position 17 (tg_posi) included in the generated object information to the scanning drive control unit 4.
  • the scanning drive control unit 4 controls the biaxial peristaltic mirrors 2 and 3 so that the radiation beam 14 is emitted to the output detection position 17 (tg_posi).
  • the radiation beam 14 is emitted following the detection position 17. And since the radiation beam 14 is always radiated
  • FIG. 20 is a diagram illustrating a configuration of the sensory presentation device 1 according to the eleventh embodiment.
  • the sensation presentation device 1 according to the eleventh embodiment has a configuration of the sensation presentation device 1 shown in FIG. This is a configuration in which a movable portion 19 that gives an inclination within a range of ⁇ 7 to +7) degrees is added.
  • the object information generation unit 7 according to Embodiment 11 outputs the detection position 17 (tg_posi) included in the generated object information to the scanning drive control unit 4.
  • the scanning drive control unit 4 controls the biaxial peristaltic mirrors 2 and 3 so that the radiation beam 14 is emitted to the output detection position 17 (tg_posi).
  • the scanning drive control unit 4 moves the detection position 17T after the movement.
  • the movable part 19 is driven according to the above.
  • region 15 moves to the sensory presentation area
  • the scanning range of the radiation beam 14 is a maximum of ⁇ 14 ( ⁇ 14 to +14) / ⁇ 14. ( ⁇ 14 to +14), and the area of the sensory presentation area 15 is quadrupled.
  • the area of the sensory presentation area 15 can be expanded without changing the radiation capability of the radiation unit 11. (Embodiment 12)
  • FIG. 21 is a diagram illustrating the configuration of the in-vehicle terminal device 90 to which the sensory presentation device according to the eleventh embodiment is applied.
  • the in-vehicle terminal device 90 has a configuration in which the finger 16 performs a gesture operation on the sensation presentation area 15 and emits the fingertip with a hue and / or a light amount that responds to the gesture operation.
  • the in-vehicle terminal device 90 includes a display operation unit 94 that accepts image display and operation input.
  • the biaxial sliding mirrors 2 and 3 are arranged or built in a dashboard or the like in the passenger compartment.
  • the radiation beam 14 is emitted from the biaxial peristaltic mirrors 2 and 3 toward the detection position 17.
  • the biaxial peristaltic mirrors 2 and 3 may be disposed or built in a sun visor in the vehicle interior.
  • the biaxial peristaltic mirrors 2 and 3 may be arranged or built in a rearview mirror in the vehicle interior.
  • the sensory presentation area 15 is formed in an area where the outside scenery can be visually recognized (for example, a windshield of a vehicle). Further, a virtual image may be displayed so as to coincide with the sensory presentation area 15. The virtual image may be displayed on the vehicle interior side or on the vehicle interior side.
  • the response is red if not responded, green if the operation content is understood, white if executed.
  • FIG. 22 is a diagram illustrating a configuration of a switch operation device to which the sensory presentation device according to the thirteenth embodiment is applied.
  • the touch switch 95 When the touch switch 95 is operated by contact or non-contact, the fingertip is caused to emit light with a hue and / or light amount that responds to the operation. For example, as a response on the touch switch 95 side, it operates in red when not responding, green when the operation content is understood, white when executed.
  • the operator when operating the touch switch 95 by contact or non-contact, the operator can visually obtain the operation response information by causing the fingertip to emit light with a hue and / or light amount that responds to the operation. become.
  • Each device according to the first to thirteenth embodiments is an example, and any device that can provide operation support in accordance with the purpose by incorporating the sensory presentation device 1, the operation processing device 20, and the image display device 22 can be used. Any device may be used.
  • the device on which the sensory presentation device 1 or the like is presented is a device that can be conveniently provided by a human interface, such as a bicycle, an audi, a unicycle, a human assist robot, a robot, a medical device, or a medical care bed.
  • the case where there is one configuration for sensory presentation such as the sensory presentation region 15 and the object detection sensor 6 is described as an example.
  • this is merely an example, and a configuration in which the sensation presentation areas 15 are superimposed or arranged using a plurality of sensation presentation areas 15 and the object detection sensor 6 may be used.
  • the intensity of visible light emitted to the detection position 17 can be increased even if the radiation intensity of visible light to each sensory presentation area 15 is weak. .
  • the sensory information according to the first to thirteenth embodiments may be set so as to give a desired temperature difference to the temperature distribution in the sensory presentation area 15.
  • the sensory presentation device 1 may have an adjustment mechanism that dynamically adjusts the beam focal length of the visible light emitted from the radiating unit 11 using a liquid lens or the like. With such an adjustment mechanism, it becomes possible to radiate a radiation beam with higher accuracy in accordance with the depth of the sensory presentation area 15.
  • a defocused beam may be emitted to a finger or a region that is not the target of sensory presentation to suppress a change reaction of hue and / or light quantity.
  • the sensation presentation area 15 in the first to thirteenth embodiments may be the palm or the entire back of the hand.
  • the biaxial peristaltic mirrors 2 and 3 scan the palm and the back of the hand.
  • the radiating unit 11 emits visible light to the palm or the like so as to represent a stroke of a picture or a character. Thereby, a feeling due to a change in hue and / or light quantity is given to the palm or the like, and a picture or character written with a single stroke can be recognized. With such a configuration, it is possible to transmit information while maintaining confidentiality without contact.
  • Embodiments 1 to 13 the case where the radiation beam 14 is emitted to the detection position 17 where one fingertip of the operator is detected has been described as an example.
  • a plurality of fingertips may be detected and the radiation beam 14 may be emitted to the plurality of detection positions 17.
  • the operator's fingertip is described as an example of the sensory presentation target. However, this is only an example, and any of the whole body may be used as long as the operator can visually recognize it.
  • a two-dimensional image has been described as an example.
  • a three-dimensional image may be a target for sensory presentation.
  • the object information and the sensory information include information related to depth.
  • the sensation presentation area 15 may be provided in the space around the surface of the entity (pot, pot, kettle, faucet, etc.) in a high temperature state.
  • the radiation beam 14 is emitted to the fingertip.
  • various operations such as a light marker and light guide of a guide device, a flush button of a toilet, an automatic door opening / closing button, a POS (Point Of Sale) product presentation position, an elevator floor indication button, etc.
  • the sensation presentation device 1 may be applied to a device that accepts. By applying the sensation presentation device 1 to such a device, the operator can easily recognize that the operation is detected.
  • the sensation presentation device 1 according to Embodiments 1 to 13 can be applied to game machines (pachinko, pachislot, games, etc.).

Abstract

　空間上の所定の領域において行われる操作に応じて操作者に色相および／または光量により感覚を与える感覚提示装置であって、操作者が操作を行うための操作体を前記所定の領域において検知する操作体検知部と、操作体が検知された位置である検知位置に応じて検知位置を含む所定範囲に空間を介して色相および／または光量の変化を加える発光部とを含むことを特徴とする。

Description

感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法
　本発明は、感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法に関する。
　本発明の背景技術として、特開平９－５０７２６号公報（特許文献１）と再表２００６／０６４６１５号公報（特許文献２）とがある。特許文献１には、「発光素子から発せられた光は、光学体の内部に進入して、該光学体内を伝播する。該光学体内を伝播した光は、空気が接触した反射面にて反射されると、前記受光素子によって受光される。前記反射面に指先が接触すると、前記発光素子から発せられて前記光学体内を伝播する光は、前記光学体の前記反射面から指先内に進入して、指先内で拡散される。視覚によってスイッチング動作を確認することができる自発光スイッチを提供する。」と開示されている。
　特許文献２には、「受容体の位置又は向きに応じて気体又は液体を噴出手段の噴出口から噴出させ該受容体に当てることにより該受容体を介して操作者に力覚を提示する力覚提示方法が開示される。当該力覚提示方法では、前記受容体に中心部から外側に向けて前記受容体の軸線に対して傾斜した形状をなす傾斜側面部を設け、該傾斜側面部に対して前記気体又は液体を噴出することにより、前記受容体に対して、前記気体又は液体の噴出方向に垂直な方向の成分を含んだ力を与える。」と開示されている。
特開平９－５０７２６号公報 再表２００６／０６４６１５号公報
　画像をモニタ画面や空間上に表示する画像表示装置では、モニタ画面や空間上に表示された画像を目で見て知覚するだけでなく、実体を触った場合と同じような臨場感のある触感や力覚等を利用者に対して与えることが望まれている。また、空間上の所定の領域にてジェスチャ入力等の操作を認識して処理する操作処理装置においても同様に、操作が認識されていることを感覚として操作者に対して与えることが望まれている。
　これを実現する方法として特許文献１や特許文献２に開示された技術が提案されているが、特許文献１に開示された技術により実現する装置は、スイッチ位置が固定されることから、スイッチ位置が移動する場合や、空間上に配置される場合には、スイッチング動作を確認し難いという問題がある。また、特許文献２に開示された技術により実現する装置は、メンテナンス性、使用方法等の観点から利便性が悪い。具体的には、特許文献２に開示された技術では、気体や液体を装置の利用者の指等に噴出して力覚を提示するので、噴出される気体や液体の種類を選択したり補充をしたりする必要がある。また、特許文献２に開示された技術では、装置の利用者の指等に液体が噴出されると指が汚れてしまうという問題がある。
　本発明は、このような課題を解決するためになされたものであり、モニタ画面上や空間上の所定の領域で行われる操作の操作感を向上可能にする技術を提供することを目的とする。
　上記課題を解決するために、本発明は例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する構成要素を複数含んでいるが、その一例を挙げるならば、操作者が操作を行うための操作体をモニタ画面上や空間上の所定の領域において検知し、操作体が検知された位置である検知位置に応じて検知位置を含む所定範囲に、操作に応じた色相および／または光量の光線を当てることを特徴としている。
　本発明によれば、モニタ画面上や空間上の所定の領域で行われる操作の操作感が向上する。上記した以外の課題、構成および効果は、以下の実施の形態の説明により明らかにされる。
本発明の実施の形態１に係る感覚提示装置の構成を例示する図である。 （ａ）および（ｂ）は、本発明の実施の形態１に係る放射部から放射された光線のビームサイズを例示する図である。 本発明の実施の形態１に係る感覚提示領域を例示する図である。 （ａ）および（ｂ）は、本発明の実施の形態１に係る感覚情報を例示する図である。 本発明の実施の形態１に係る対象位置で指先が検知された場合における放射制御部による制御状態を例示する図である。 本発明の実施の形態１に係る感覚提示装置の感覚提示に関する動作例を示すフローチャートである。 （ａ）および（ｂ）は、本発明の実施の形態１に係る感覚提示領域および２軸搖動ミラーの走査方向に対する放射ビームの放射状態に応じた感覚提示条件を例示する図である。 本発明の実施の形態２に係る操作処理装置の構成を例示する図である。 本発明の実施の形態２に係る感覚提示領域を例示する図である。 本発明の実施の形態３に係る画像表示装置の構成を例示する図である。 本発明の実施の形態３に係る浮遊画像の態様を例示する図である。 本発明の実施の形態３に係る操作者の目と画像表示装置との位置関係を例示する図である。 本発明の実施の形態４に係る感覚提示装置等を適用したＡＴＭの構成を例示する図である。 本発明の実施の形態５に係る感覚提示装置等を適用した自動販売機の構成を例示する図である。 本発明の実施の形態６に係る感覚提示装置等を適用した携帯端末装置の構成を例示する図である。 本発明の実施の形態７に係る感覚提示装置等を適用したＨＭＤの構成を例示する図である。 本発明の実施の形態８に係る感覚提示装置等を適用した腕時計型端末装置の構成を例示する図である。 本発明の実施の形態９に係る感覚提示装置の構成を例示する図である。 本発明の実施の形態１０に係る感覚提示装置の構成を例示する図である。 本発明の実施の形態１１に係る感覚提示装置の構成を例示する図である。 本発明の実施の形態１２に係る感覚提示装置等を適用した車載端末装置の構成を例示する図である。 本発明の実施の形態１３に係る感覚提示装置等を適用したスイッチ操作装置の構成を例示する図である。
（実施の形態１）
　以下、本発明の実施の形態１を、図１～図７を用いて詳細に説明する。実施の形態１では、空間上の所定の領域に表示された画像に触れたり空間上の所定の領域にてジェスチャ入力する等の操作に応じて色相および／または光量を変化させたレーザ光を操作者の指などに放射する。これによって、操作者に操作感を与えることができる。
　図１は、本実施の形態に係る感覚提示装置１の構成を例示する図である。図１に示すように、感覚提示装置１は、２軸搖動ミラー２，３と、走査駆動制御部４と、タイミング／アドレス生成部５と、物体検知センサ６と、物体情報生成部７と、放射判定部８と、情報記憶部９と、放射制御部１０と、放射部１１と、ビーム成型部１２とを含む。
　２軸搖動ミラー２，３は、Ｈ軸およびＶ軸の２軸で搖動し、後述するビーム成型部１２から放射される放射ビーム１３を反射させる。なお、本実施の形態においては、Ｖ軸方向の振動を図１に示した上下方向（図１に示したｙ軸方向）の振動（以降、「Ｖ振動」とする）とし、Ｈ軸方向の振動を図１に示した左右方向（図１に示したｘ軸方向）の振動（以降、「Ｈ振動」とする）とする。
　Ｈ振動は、共振モードにて振動する。なお、共振モードでは、２軸搖動ミラー２，３は、共振周波数に基づいて高速で振動する。一方、Ｖ振動は、非共振モードで振動する。なお、非共振モードでは、２軸搖動ミラー２，３は、移動期間と保持期間とに基づいて振動する。そして、Ｈ振動はＶ振動に比べて十分早く動作する。例えば、２００点×２００ライン相当が２５Ｈｚの更新速度で表示される場合、Ｈ振動は２．８ｋＨｚ、Ｖ振動は２５Ｈｚで動作し、２軸搖動ミラー２，３は、後述する放射部１１を約１．２５ＭＨｚで変調駆動する関係となる。なお、２軸搖動ミラー２，３のＨ／Ｖｓｅｎｓｏｒ信号は、各軸の傾き角度に応じた振幅信号である。
　走査駆動制御部４は、図示しないマイコン制御により２軸搖動ミラー２，３を駆動する。また、走査駆動制御部４は、２軸搖動ミラー２，３の走査位置を示すアナログ信号であるＨ／Ｖｓｅｎｓｏｒ信号により２軸搖動ミラー２，３の走査位置を特定し、２軸搖動ミラー２，３の走査位置を示すデジタル信号である基準信号Ｈ／Ｖｓｙｎｃを生成する。すなわち、走査駆動制御部４は、２軸搖動ミラー２，３の駆動を制御して放射ビーム１４をラスタ走査させる。走査駆動制御部４の制御によって放射ビームが走査する領域が、本実施の形態において操作者に対して色相および／または光量の変化による感覚を提示する感覚提示領域１５である。なお、以降、「色相および／または光量の変化による感覚」を単に「感覚」と呼ぶ場合がある。
　感覚提示領域１５のサイズは、２軸搖動ミラー２，３から検知位置１７までの距離ＫＫと、Ｈ／Ｖ軸の振れ角とにより定まる。例えば、２軸搖動ミラー２，３のうちミラー２のミラー径がφ２の円状であり、振れ角がＨ／Ｖ軸それぞれ±７（－７～＋７）度／±７（－７～＋７）度（光学角度）であるとする。この場合、２軸搖動ミラー２，３から検知位置１７までの距離ＫＫが２００ｍｍであるとすると、感覚提示領域１５のサイズは５０ｍｍ×５０ｍｍである。また、例えば、距離ＫＫが１００ｍｍであり、感覚提示領域１５のサイズが５０ｍｍ×５０ｍｍとする場合、ミラー２の振れ角はＨ／Ｖ軸それぞれ±１４（－１４～＋１４）度／±１４（－１４～＋１４）度とする。検知位置１７は、感覚提示領域１５において物体である手指１６（例えば、操作者の手）の一部分である操作を行う指先（以降、「操作体」とする）の位置である。
　タイミング／アドレス生成部５は、走査駆動制御部４により生成された基準信号Ｈ／Ｖｓｙｎｃ（２軸搖動ミラー２，３の走査位置を示すデジタル信号）から特定される２軸搖動ミラー２，３の走査位置に、感覚提示領域１５（放射ビーム１４が走査する２００点×２００ラインの領域）の座標を割り当てることで、走査位置アドレスｆｉｒ＿ａｄｄを生成する。また、タイミング／アドレス生成部５は、生成した走査位置アドレスｆｉｒ＿ａｄｄの座標に対して放射ビーム１４を放射させるためのタイミング情報を生成する。例えば、タイミング／アドレス生成部５は、生成した走査位置アドレスから特定される座標が走査されるタイミングで放射ビーム１４を放射させるためのタイミング情報を生成する。タイミング情報の生成についての詳細は後述する。なお、タイミング／アドレス生成部５は、２軸搖動ミラー２，３の走査する領域の９０％時間を有効領域（２軸搖動ミラー２，３が走査するすべての時間のうち、１０％の走査時間の間に操作した領域を除いた領域）として、放射ビーム１４が走査する感覚提示領域１５における２００点×２００ラインの走査位置アドレスｆｉｒ＿ａｄｄを生成しても良い。
　物体検知センサ６は、感覚提示領域１５において操作体の位置等を検知する操作体検知部である。具体的には、例えば、物体検知センサ６は、光の反射により物体を検知する光検知センサであり、感覚提示領域１５の範囲にレーザ光を出射し、操作体からの反射光を検知することで、操作体を検知する。反射光を検知した物体検知センサ６は、検知した反射光に基づいて物体検知センサ６から操作体までの距離を算出し、算出した距離およびレーザ光の出射方向に基づいて、感覚提示領域１５におけるどの位置を操作体がタッチしたかを認識する。すなわち、物体検知センサ６は、物体検知センサ６から操作体までの距離とレーザ光の出射方向とからなる検知位置１７を認識する。
　物体情報生成部７は、物体検知センサ６により認識された物体検知センサ６から操作体までの距離とレーザ光の出射方向とからなる検知位置１７を取得して、取得した検知位置１７と、走査位置アドレスｆｉｒ＿ａｄｄとに基づいて物体情報（操作体が位置する座標）を生成する。例えば、物体情報生成部７は、検知位置１７から特定される走査位置アドレスｆｉｒ＿ａｄｄを物体情報として生成する。例えば、物体情報は、感覚提示領域１５の左下の角の座標を（０，０）とした場合における座標である。物体情報生成部７は、生成した物体情報を放射判定部８に対して出力する。
　放射判定部８は、物体情報生成部７から入力された物体情報から特定される座標と対応する感覚情報を取得し、取得した感覚情報に基づいて、物体検知センサ６により検知された手指１６に対して放射ビーム１４を放射するか否かを判定する。感覚情報は、外部のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等から予め設定され、例えば、感覚提示領域１５における位置情報ｗｒ＿ａｄｄごとの感覚提示条件ＤＡＴＡを含む。感覚提示条件ＤＡＴＡは、例えば、その位置において放射ビーム１４を放射するか否か、放射する場合は放射する時間（放射時間）および色相および／または光量等を示す情報である。
　具体的には、例えば、放射判定部８は、物体情報に含まれる検知位置１７と感覚情報に含まれる位置情報ｗｒ＿ａｄｄとが一致する位置の感覚提示条件ＤＡＴＡを取得する。そして、放射判定部８は、取得した感覚提示条件ＤＡＴＡが放射ビーム１４を放射することを示す場合、検知された検知位置１７に対して放射ビーム１４を放射すると判定する。放射判定部８は、放射ビーム１４を放射すると判定した位置の座標を示す位置情報ｗｒ＿ａｄｄおよび対応する感覚提示条件ＤＡＴＡを、情報記憶部９に記憶させる。
　情報記憶部９は、各種情報を放射制御部１０が参照可能に格納されている記憶媒体である。具体的は、例えば、情報記憶部９は、タイミング／アドレス生成部５により生成された走査位置アドレスｆｉｒ＿ａｄｄと、放射判定部８から入力された位置情報ｗｒ＿ａｄｄと、位置情報ｗｒ＿ａｄｄと対応する感覚提示条件ＤＡＴＡとが格納されている。また、情報記憶部９には、放射判定部８からこれまでに入力された位置情報ｗｒ＿ａｄｄと、感覚提示条件ＤＡＴＡと、放射制御部１０による放射制御情報等が履歴情報（以降、「感覚提示履歴情報」とする）として格納されている。
　放射制御部１０は、情報記憶部９に格納されている走査位置アドレスｆｉｒ＿ａｄｄと、と位置情報ｗｒ＿ａｄｄと、感覚提示条件ＤＡＴＡとを参照して、発光部である放射部１１が放射する光線の色相および／または光量や、放射時間等を示す放射条件を決定する。具体的には、例えば、放射制御部１０は、放射対象となる検知位置１７の操作に応じた色相および／または光量となるように、放射強度を決定する。操作に応じた色相および／または光量の情報は、例えば、情報記憶部９に記憶されている感覚提示履歴情報から算出される。なお、放射制御部１０は、情報記憶部９に記憶されている位置情報ｗｒ＿ａｄｄと対応する感覚提示条件ＤＡＴＡに基づき、放射条件を決定しても良い。
　そして、放射制御部１０は、決定した放射条件およびタイミング／アドレス生成部５から入力されたタイミング情報に従って、放射部１１を制御する。放射制御部１０の制御による放射部１１の放射動作についての詳細は後述する。
　発光部である放射部１１は、検知位置を含む所定範囲にビームを放射して所定範囲に空間を介して色相および／または光量の変化を加える。また、発光部である放射部１１は、２軸搖動ミラー２，３を介して定範囲に放射ビームを放射する。
　放射部１１は、可視光（波長が約４００ｎｍ～６８０ｎｍ）のいずれかの波長成分を放射するものであり、少なくとも３原色のＲ、Ｇ、Ｂ成分毎に光量を調整可能な発光素子で構成される。例えば、半導体レーザ素子やＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）素子を波長毎に選択する。半導体レーザ素子であれば４５０ｎｍ（Ｂ）、５３０ｎｍ（Ｇ），６３０ｎｍ（Ｒ）が選択できる。もちろんいずれか１波長や２波長で構成しても良い。放射部１１は、放射制御部１０による制御に応じたタイミング、放射強度および放射時間で駆動し、所望の色相および／または光量の可視光線を放射する。
　なお、放射ビーム１３は、皮膚を反射する成分、或いは、皮膚内部に吸収され拡散した後に、皮膚表面より放出する成分の何れかを操作者が視認できる光強度であれば良い。放射ビーム１３がレーザ光であれば、市販されるレーザポインタ相当の強度（約１ｍｗ）であれば充分であり、レーザ安全基準に準拠するよう設計される。ビーム成型部１２は、例えば、レーザ光を集光する光学レンズ（集光レンズ）で構成され、放射部１１から放射された可視光線を集束して放射ビーム１３を出力する。
　図２は、放射部１１から放射された可視光線のビームサイズを例示する図である。図２（ａ）の横軸は距離を示し、放射部１１から放射された可視光ビームが順に通過するビーム成型部１２、ミラー２および検知位置１７を示す。すなわち、横軸の左端から右へいくほど放射部１１からの距離が離れているものとする。したがって、横軸は放射部１１から放射後の経過時間としてもよい。図２（ａ）の縦軸はビームサイズを示す。図２（ｂ）は、図２（ａ）の距離およびビームサイズに対応させたビーム形状の概念図を例示する図である。
　図２に示すように、まず、放射部１１から放射された可視光ビームは、放射直後に広がり（ビーム径が大きくなり）、ビーム成型部１２で集束して放射ビーム１３として放射され、ミラー２の位置でφ２のビーム径で反射する。そして、放射ビーム１３は焦点を成した後、放射ビーム１４として再度拡散し、検知位置１７でφ４のビーム径となる。
　このような構成により、集束した可視光線が検知位置１７にある指先に直接当たり、所望の色相および／または光量で光る。また、放射ビーム１４のビーム径が放射距離に応じて拡大するので、感覚提示領域を超えた位置ではエネルギが拡散して、後段への影響が低減される。これによってエネルギが拡散する前の放射ビーム１４が、人（操作者など）の目などに入射することを防止でき、安全性が向上する。
　なお、放射部１１から放射される可視光線が平行であれば、ビーム成型部１２は、ミラー２以降は同様の形状になるようにビーム成型する。また、放射部１１から可視光レーザが放射される場合、ビーム成型部１２は、コヒーレント性を拡散させる処理を施してもよい。
　以上の構成により、操作体（例えば、操作者の指先）が検知された検知位置１７に可視光の放射ビーム１４が放射されることにより、検知位置１７にある指先が所望の色相および／または光量で光ることになる。これにより、操作者は、指先の色相および／または光量の変化を感じ、この変化により操作に対する擬似触感を得ることができる。擬似触感は、クロスモーダル（感覚間相互作用）を期待するものであり、例えば、風鈴の音色を聞くと涼しいと感じるように、温度変化を感じると接触感を感じることを期待するものである。
　次に、上述した構成により検知位置１７へ放射ビーム１４が放射されるまでの具体例を説明する。ここでは、検知位置１７にある操作体を指先とし、指先の皮膚を対象とする。
　図３は、感覚提示領域１５を例示する図である。図３に示されるように、感覚提示領域１５の水平方向の辺であるＨＷＤの長さは５０ｍｍであり、垂直方向の辺であるＶＷＤの長さは５０ｍｍである。また、感覚提示領域１５の領域サイズは、ＨＷＤ×ＶＷＤ＝５０ｍｍ×５０ｍｍである。また、感覚提示領域１５は、１０×１０個の複数の感覚提示単位から構成される。また、感覚提示単位の一辺の長さＴＨＶは、５ｍｍである。
　図４は、感覚情報を例示する図である。図４（ａ）に示されるように、感覚情報として、図３に示した感覚提示領域１５を構成する感覚提示単位ごとの対応する感覚提示条件が定められている。例えば、黒色に塗りつぶされた感覚提示単位の位置で指先が検知された場合に、その位置に色相および／または光量を変えた放射ビームが放射される。すなわち、検知位置に対して放射ビームが放射されるとは、検知位置を含む所定範囲である感覚提示単位に対して放射ビームが放射されることを意味する。図４（ａ）に示す場合、感覚提示領域１５を指先でＸ軸方向になぞっていくと、指先への加光と非加光とが交互に行われる。この色相および／または光量の変化を“凹凸”と定義することで、凹凸の擬似的な触感提示が実現される。
　また、図４（ｂ）は、図４（ａ）とは異なる感覚情報であり、図４（ｂ）に示す場合、感覚提示領域１５を指先でＹ軸方向になぞっていくと、指先に放射される放射ビームの色相および／または光量が変わり、これを“凹凸”と定義することで、凹凸の擬似的な触感提示が実現される。その他、例えばこの色相および／または光量の変化を接触対象の“材質違い”又は“硬さの違い”と定義することで、材質又は硬さ等の擬似的な触感提示が実現される。もちろん、指先の移動よりも早く色相および／または光量を変化させて上記擬似的な触感提示を実現しても良い。
　図５は、検知位置１７で指先が検知された場合における放射制御部１０による制御状態と検知位置１７の色相および／または光量の変化との関係を例示する図である。例えば、感覚提示領域１５において図４（ａ）に示した感覚情報が用いられる場合であって、操作者の指先が図３に示した検知位置１７で検知されると、図５に示した制御が行われる。
　図５に示した基準信号Ｖｓｙｎｃは、ＴＭＰＵＰ（図３に示される放射位置）における経過時間の一部を拡大したものであり、１周期（１Ｖの入力によって、２軸搖動ミラー２，３が、上下方向に１回振動する周期）が示されている。また、図５に示した基準信号Ｈｓｙｎｃは、Ｔ＿ＭＯＤＥにおけるＯＮ時間を拡大したものであり、１周期（１Ｈ）が繰り返し示されている。タイミング／アドレス生成部５は、図５に示した基準信号Ｈｓｙｎｃの周期において検知位置１７を走査するタイミングで放射部１１が可視光線を放射するようタイミング情報を生成する。
　放射部１１は、タイミング／アドレス生成部５により生成されたタイミング情報に応じた放射制御部１０による制御により、例えば図５に示したタイミングでＯＮにされ、Ｔ＿ＭＯＤＥがＯＮの間、可視光線を複数回放射する。すなわち、放射部１１は、検知位置１７が走査されるタイミングで可視光線を放射する。
　次に、感覚提示装置１の感覚提示に関する動作例を説明する。図６は、感覚提示装置１の感覚提示に関する動作例を示すフローチャートである。ここでの操作体は、操作者の手である物体の一部分である手指１６とし、図６に示したフローチャートにおいては、単に「物体」とする。図６に示される処理は、例えば、２軸搖動ミラー２，３が、上下方向に１往復した後に開始する。
　図６に示されるように、物体検知センサ６が操作体を検知していない場合（Ｓ６０１／ＮＯ）、感覚提示に関する動作が実行されることなく処理が終了する。一方、物体検知センサ６が操作体を検知した場合（Ｓ６０１／ＹＥＳ）、物体情報生成部７は、物体検知センサ６により検知された操作体の検知位置１７から特定される走査位置アドレスｆｉｒ＿ａｄｄである物体情報（座標）を生成する（Ｓ６０２）。
　物体情報生成部７により物体情報が生成されると、放射判定部８は、生成された物体情報および予め設定された感覚情報に基づいて、操作体が検知された位置に放射ビーム１４を放射するか否かを判定する（Ｓ６０３）。例えば、検知された操作体が図１や図３に示した検知位置１７にあり、図４（ａ）に示した感覚情報が用いられる場合、放射判定部８は、操作体が検知された位置に放射ビーム１４を放射すると判定する。
　放射判定部８が放射ビーム１４を放射しないと判定した場合（Ｓ６０３／ＮＯ）、感覚提示に関するその後の動作が実行されることなく処理が終了する。一方、放射判定部８が放射ビーム１４を放射すると判定した場合（Ｓ６０３／ＹＥＳ）、放射制御部１０は、情報記憶部９に格納されている色相および／または光量の条件を参照して、タイミング情報に応じて放射部１１が可視光線を放射するよう制御する（Ｓ６０４）。
　そして、放射制御部１０は、放射部１１が可視光線を放射してから感覚提示条件に含まれる所定時間経過するまで（Ｓ６０５／ＮＯ）、放射部１１が可視光線を放射するよう制御する（Ｓ６０４）。一方、放射制御部１０は、放射部１１が可視光線を放射してから所定時間経過すると（Ｓ６０５／ＹＥＳ）、放射部１１による可視光線の放射を停止させる（Ｓ６０６）。
　なお、図６に示したフローチャートにおいては、操作体が感覚提示領域１５におけるある位置で検知された場合の処理のみを例として説明した。しかしながら、これは一例であり、感覚提示領域１５を操作体がなぞっている場合、操作体が移動した位置ごとに、図６に示した処理を繰り返し行ってもよい。
　以上説明したように、本実施の形態に係る感覚提示装置１は、感覚提示領域１５において操作体を検知すると、操作体が検知された位置に応じて、その位置に可視光の放射ビーム１４を放射する。これにより、操作体の一例である操作者の指先に当たった可視光は、皮膚表面で反射或いは吸収拡散により再放出し、操作者がこれを視認する。ここで操作者がこの色相および／または光量の変化を別の知覚、例えば触感に置き換えることにより、擬似的な触感提示が実現される。
　このように、本実施の形態によれば、空間上の所定の領域で行われた操作に応じて操作者に所定の感覚を与える感覚提示装置の利便性を向上することができる。具体的には、例えば、本実施の形態に係る感覚提示装置１は、液体や気体を指等に噴出して力覚を提示する従来の装置のように所定の感覚を提示するための材料を選択したり材料を補充したりする必要がなく、メンテナンス性がよい。また、例えば、本実施の形態に係る感覚提示装置１は、指に液体を噴出して力覚を提示する従来の装置のように感覚の提示で指が汚れることがない。
　また、例えば、本実施の形態に係る感覚提示装置１は、感覚提示領域に可視光線の放射ビームを放射する構成であり、従来の装置のように気体や液体の噴射時の振動が騒音源となることもない。また、例えば、本実施の形態に係る感覚提示装置１は、感覚提示領域に可視光線ビームを放射する構成であり、感覚提示領域の大きさに応じた感覚提示用の構成を大きくする必要がなく、小型化が可能である。また、本実施の形態に係る感覚提示装置１は、操作者が手袋をしていたり指先が汚れていたりする場合であっても、手袋や汚れが可視光を透過や吸収拡散するものであれば、感覚提示が可能である。また、本実施の形態によれば、操作体の感覚提示位置にのみ可視光線が放射されるので、省電力化を実現できる。
　また、本実施の形態に係る放射部１１が放射する光は可視光線である場合を例として説明した。しかしながら、これは一例であり、放射部１１は、空間を介して光提示や光の変化を提示できる可視光領域からマイクロ波領域までのいずれの波長成分を放射してもよい。なお、波長成分は、各種安全規格や通信用途など外部との干渉有無に留意の上、選択される。
　また、本実施の形態に係る放射制御部１０は、感覚提示領域１５における感覚提示条件が均一になるよう放射部１１の放射出力を制御してもよい。図７は、感覚提示領域１５および２軸搖動ミラー２，３の走査方向に対する放射ビーム１４の放射状態に応じた感覚提示条件を例示する図である。
　図７（ａ）は、感覚提示領域１５および２軸揺動ミラー２，３の走査方向に対して放射ビーム１４が正面放射される場合の感覚提示条件を例示する図である。図７（ｂ）は、感覚提示領域１５および２軸搖動ミラー２，３の走査方向に対して放射ビーム１４が斜めに放射される場合の感覚提示条件を例示する図である。
　図７（ｂ）に示されるように、放射ビーム１４が斜めに放射される場合、走査範囲および感覚提示領域１５が台形状となるため、領域内の感覚提示条件が不均一になる。そのため、放射制御部１０は、タイミング／アドレス生成部５が情報記憶部９に格納されている情報を読み出す際に、感覚提示条件の均一化が図れるようＤＡＴＡの読み出し順を制御したり、放射部１１の放射出力を制御したりする。
　操作者の操作に応じて色相および／または光量を変える方法として、操作者が色相や光の変化を見て装置の状態を理解できる様に定義する。例えば、装置のジェスチャ動作に対し、初めて認識した場合はＲ、理解した場合はＧ、動作に対応した場合はＲＧＢを点等または点滅させる。
（実施の形態２）
　次に、本発明の実施の形態２を説明する。実施の形態２は、ジェスチャ入力等の操作を検知して処理する操作処理装置２０を例として説明する。図８は、操作処理装置２０の構成を例示する図である。図８に示すように、操作処理装置２０は、図１に示した感覚提示装置１の構成に、操作処理部４３を追加した構成である。本実施の形態に係る操作処理装置２０においては、感覚提示領域１５がジェスチャ入力等の操作を検知する領域である。
　操作処理部４３は、物体検知センサ６により検知された操作体の物体情報を取得して、物体情報に含まれる位置情報から感覚提示領域１５における操作を検知し、検知した操作に対する処理を行う。具体的には、例えば、操作者の手や指が操作検知領域（後述、図９）を横断／遮るよう上下左右、奥行方向に動かしたり、回転したりすることで、操作処理部４３は、その動作パターンを予め定められた操作として検知する。動作パターンは、例えば、手や指の動きの方向、回数およびこれらの組み合わせ等により予め定められる。その他、入力操作としては、スライドスイッチ、トグルスイッチ、ボリューム抓み、プッシュスイッチ等を操作する動作であってもよい。
　図９は、実施の形態２における感覚提示領域１５を例示する図である。図９に示すように、例えば、感覚提示領域１５の黒色で塗りつぶされた中心から８×８個の領域（以降、「操作検知領域」とする）において操作体が検知されると、実施の形態１において説明した構成により操作体に対して光の変化による擬似的な触感が提示される。すなわち、この場合における感覚情報は、操作検知領域の位置で手指に放射ビーム１４が放射される感覚提示条件を含む。例えば、装置のジェスチャ動作に対し、放射ビーム１４を放射することで、初めて認識した場合はＲ、理解した場合はＧ、動作に対応した場合はＲＧＢを点等または点滅させる。操作検知領域にて検知された操作体に放射ビーム１４を放射することで、操作者は、操作検知領域の範囲を把握できる。
　このような構成により、操作検知領域に操作者の手指が入ると、操作者の手指に光の変化が与えられるので、注視する事無く、視界の一部で操作検知領域の特定および操作検知領域における操作を実現できる。すなわち、本実施の形態に係る感覚提示領域１５は、入力のより所となる指針、マーカとして使用でき、操作者の視覚を開放できる。また、このような構成により、運転中、歩行中、暗闇等、操作者が操作面を注視できない状況にあっても、ジェスチャ操作と入力の精度を向上できる。また、操作者にジェスチャ操作の結果を確認させることが可能になる。
　また、本実施の形態によれば、空間に操作領域を提示できるため、装置に操作盤等の特別な構造が不要となり、装置の小型化と同時に操作環境の自由度を向上できる。何よりも、操作部は空間であり、障害の要因となる事もない。また、操作処理装置２０に不特定多数の人が接触する場合、人が触れた所を触らなくてもよい。また、本実施の形態によれば、非接触で秘匿性のある通信伝達を実現することができる。
　なお、上記実施の形態においては、中心から８×８個の領域を操作検知領域として説明したが、これは一例であり、操作検知領域は固定であってもよいし、状況に応じて変更されてもよい。例えば、操作処理部４３は、操作に対する応答動作に応じて感覚情報を変更し、変更された感覚情報に基づいて操作者の手指に感覚を与えることで、操作者が操作に対する応答を認識できるようにしてもよい。例えば、時系列ごとに放射ビームの放射ＯＮ／ＯＦＦが異なるよう感覚情報が変更される。
　また、上記実施の形態においては、感覚提示領域１５が１つである場合を例として説明した。その他、感覚提示領域１５が複数あってもよく、例えば、各感覚提示領域がキーボードの各キーに対応し、キーボード操作を受け付けるようにしてもよい。
（実施の形態３）
　次に、本発明の実施の形態３を説明する。実施の形態３は、表示画面に表示された画像を空間上にも表示させて、空間上に表示された画像（以降、「浮遊画像」とする）に対する操作を検知して処理する画像表示装置２２を例として説明する。図１０は、画像表示装置２２の構成を例示する図である。図１０に示すように、画像表示装置２２は、図８に示した操作処理装置２０の構成に、画像生成部４４およびＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）３１が追加された構成である。
　図１１は、浮遊画像の態様を例示する図である。図１１に示すように、ＬＣＤ３１に表示されている画像が再帰光学素子３０により空間上の再帰表示領域３２に浮遊画像として表示される。以下、具体的に説明する。
　再帰光学素子３０は、天頂にピンホールを形成し、かつ内側を反射鏡とする楕円半球面の反射部を２個それぞれ内側面で向合せた一対のピンホール反射部が平面状に複数個配置されて構成される平面の光学シート（ピンホールアレイ）である。なお、各ピンホールの光線取り込み範囲θはシート鉛直方向を中心に±４５（－４５～＋４５）度である。
　ここでは、物体や２次元或いは３次元で散乱光を発する画像表示部として、画面サイズが１５インチの液晶ディスプレイであるＬＣＤ３１で２次元の元画像３３を表示する場合を説明する。再帰光学素子３０のサイズは、図１１においてはＬＣＤ３１と同サイズで示しているが、距離Ｄ（例えば、Ｄ＝５０ｍｍ）で概ね平行であって、光線取り込み範囲θ＝±４５（－４５～＋４５）度および距離Ｄを考慮（＝Ｄ・ｔａｎθ）した大きさ以上あれば良い。
　ＬＣＤ３１と再帰光学素子３０に対して面対象の位置を再帰表示領域３２（本実施の形態においては１５インチ）とする。ＬＣＤ３１の元画像３３より発した散乱光の一部は、再帰表示領域３２に再帰・集光し、虚像である浮遊画像３４を結像した後、再拡散する。２軸搖動ミラー２，３および物体検知センサ６は、再帰表示領域３２の全面或いは一部領域に、感覚提示領域１５を一致させる様に配置される。すなわち、本実施の形態における感覚提示領域は、画像を表示する領域である画像表示領域である。
　図１０に示した画像生成部４４は、外部のＰＣ等から入力される描画データに基づいて、ＬＣＤ３１に表示される画像および感覚情報を生成する。感覚情報は、ＬＣＤ３１に表示される画像の内容に基づいて生成される。例えば、画像のエッジ位置の感覚提示条件が放射ビーム１４を放射すると設定される。また、例えば、画像を構成する図形や文字等の色の濃さ（強度）に応じて色相および／または光量が変わるよう感覚提示条件が設定されてもよい。
　例えば、図１１に示した元画像３３に基づいて生成された感覚情報では、元画像３３に表示されている“３”の文字を構成する位置の感覚提示条件は、放射ビーム１４を放射すると設定されている。図１１に示すように、操作体である操作者の指先が検知位置１７にある場合、検知位置１７には“３”の文字の浮遊画像３４の一部が表示されているので、実施の形態１において説明した構成により、操作体に対して光の変化による擬似的な触感が提示される。
　図１２は、操作者の目４１、４２と画像表示装置２２との位置関係を例示する図である。図１２に示すように、元画像３３の“３”を表す文字３３ａの発散した拡散光３５、３６、３９は、再帰光学素子３０で再帰拡散光３７、３８、４０となり、虚像３４ａを結像した後、再拡散光３８、４０となり、左右の目４１、４２に入る。そして、図１２に示した虚像３４ａと検知位置１７とが一致するので、操作者に対して感覚が提示される。なお、虚像３４ａは発光画像であり、黒表示は非発光、すなわち透過領域である。
　なお、図１１に示した浮遊画像３４は例示であり、その他、視覚的な変化や、画像の操作に連携した変化等を示す画像であってもよい。具体的には、例えば、湯気や冷気、各種スイッチ類、文字、写真や絵やマーク、現金や商品等、表示可能なものであればよく、浮遊画像３４であれば、実体の虚像であってもよい。なお、現金画像を扱う際は、各国の法律に基づいて運用されるものとする。また、例えば、感覚提示領域１５に表示される浮遊画像３４は、マーカ、ボタン、ジョイスティックでもよく、図９に示したジェスチャ入力により、左右、上下、前後等の方向から弾くような操作が行われてもよい。
　また、例えば、浮遊画像３４がボタン画像である場合、ボタン画像の位置で手指に放射ビーム１４が放射される感覚提示条件が設定されている。そのため、操作者の指先でボタン画像が押された際に、指先に感覚が提示される。
　以上説明したように、上記実施の形態３に係る画像表示装置２２によれば、操作者は、浮遊画像３４を視覚で捕えると同時に、手指で触った触感により実体と同じ様な臨場感で知覚することができる。また、上記実施の形態３に係る画像表示装置２２によれば、操作者が浮遊画像３４に調整と輻輳との一致を図る際、感覚を目印にでき、視点合わせが容易になる。
　なお、上記実施の形態３において、浮遊画像３４に対する指先での操作に連動して、ＬＣＤ３１の表示内容が変更されてもよい。この場合、操作処理部４３は、感覚提示領域１５において検知された操作に基づいて、ＬＣＤ３１に表示させる描画データの情報を画像生成部４４に対して出力する。また、ＬＣＤ３１の表示内容が変更されると、画像生成部４４は、表示内容の変更に連動して感覚情報を変更する。
　また、上記実施の形態３において、感覚が提示されると同時に、浮遊画像３４が伸縮したり振動したりする等の所定の動きを表現したりしてもよい。また、例えば、浮遊画像３４がボタンスイッチである場合、図９に示したジェスチャ入力等の操作に連動して、ボタンスイッチの画像が奥行方向や上下左右に伸縮したり動いたりするように表示されてもよい。
　また、上記実施の形態３においては、浮遊画像３４を表示する方法として、再帰光学素子３０を用いる場合を例として説明した。しかしながら、これは一例であり、再帰反射シートおよびハーフミラーや直交ミラーアレイ型の再帰表示方法、２・多視差の立体ＴＶ等、光線再生型表示およびハーフミラー方式のいずれの方式でもよく、視点と感覚とを一致可能であれば、いずれも本発明に逸脱しない。
　また、その他、浮遊画像３４は、ＬＣＤ３１等の直視モニタ、プロジェクションＴＶ、プロジェクタ等の投射画像の表示面の直近に配置される構成であってもよい。また、浮遊画像３４は、映像のみならず、写真画像、ＬＥＤ等の光源等、様々であり、表示内容に関連する感覚提示の対象となる画像であれば、いずれも本発明に逸脱しない。
　また、上記実施の形態２においては操作処理装置２０に感覚提示装置１の構成が含まれる場合を例として説明し、上記実施の形態３においては画像表示装置２２に操作処理装置２０の構成が含まれる場合を例として説明した。しかしながら、これは一例であり、感覚提示装置１、操作処理に関連する構成を含む操作処理装置２０および画像表示に関連する構成を含む画像表示装置２２それぞれを別個の装置として構成してもよい。
（実施の形態４）
　次に、本発明の実施の形態４を説明する。実施の形態４は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例として現金自動預け払い機（ＡＴＭ：Ａｕｔｏｍａｔｅｄ　Ｔｅｌｌｅｒ　Ｍａｃｈｉｎｅ）に適用した場合を例として説明する。
　図１３は、本実施の形態に係る感覚提示装置１等を適用したＡＴＭ５０の構成を例示する図である。図１３に示すように、ＡＴＭ５０は、キャッシュカードを投入するカード口５１、通帳を投入する通帳口５２、現金を出し入れする現金口５３、ＡＴＭ５０の操作画面等を表示する表示部５４等から構成される。
　本実施の形態においては、図１３に示すように、上記実施の形態３で説明した構成により浮遊画像３４が表示される。ＡＴＭ５０における浮遊画像３４は、例えば、預入操作や振込操作の際に表示される貨幣や紙幣の実体あるいは画像である。例えば、振込操作の場合、ＡＴＭ５０の操作者が浮遊画像３４として表示されている貨幣や紙幣の現金画像を手指１６で移動させると、手指１６に放射ビーム１４が放射され、手指１６に対して光の変化による感覚が提示される。
　また、図１３に示されるように、２軸搖動ミラー２，３および物体検知センサ６は、再帰表示領域３２の全面或いは一部領域に配置される。なお、２軸搖動ミラー２，３および物体検知センサ６の少なくともいずれか一方を、再帰表示領域３２の外周を囲う領域の一部に配置しても良い。また、放射ビーム１４は、２軸搖動ミラー２，３から検知位置１７に向かって上方に放射される。なお、放射ビーム１４は、２軸搖動ミラー２，３から検知位置１７に向かって側方または下方に向かって放射されるようにしても良い。
　また、図１３に示すように、ＡＴＭ５０において、ジェスチャ等で暗証番号を入力するための領域として空間上の感覚提示領域１５が提供される。感覚提示領域１５は、上記実施の形態２等で説明した構成により実現され、感覚提示領域１５において操作者の手指１６が検知されると、手指１６に放射ビーム１４が放射されることで、手指１６に対して光の変化により擬似的な触感が提示される。操作者は、感覚が提示されることで感覚提示領域１５を認識し、感覚提示領域１５において、ジェスチャ等で暗証番号を入力することができる。
　このようにＡＴＭ５０に感覚提示装置１等を組み込むことにより、操作者による預貯金や振込み処理の際、貨幣イメージの臨場感から、現金を扱う感覚を得ることで注意喚起され、運用の安全性や送金の抑止効果を向上できる。また、ＡＴＭ５０に感覚提示装置１等を組み込むことにより、操作者は感覚提示領域１５においてジェスチャ等で暗証番号を入力することができるので、入力内容の秘匿性を向上でき、他人による暗証番号の盗み見等を防止することができる。また、操作者の手指１６が感覚提示領域１５で検知されると感覚が提示されるので、空間上の領域においても感覚提示が目印となるので、操作者が感覚提示領域１５を認識しやすくなる。
　また、不特定多数の人が使用するＡＴＭ５０の表示画面に直接触れる必要がないので、衛生面の観点で操作者に安心感を与えることができる。また、ＡＴＭ５０の表示画面に複数の操作者の手指等が直接触れることがないので、表示画面が汚れにくくなる。
（実施の形態５）
　次に、本発明の実施の形態５を説明する。実施の形態５は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例として自動発券機・自動販売機（以降、「自動販売機」とする）に適用した場合を例として説明する。
　図１４は、本実施の形態に係る感覚提示装置１等を適用した自動販売機６０の構成を例示する図である。図１４に示すように、自動販売機６０は、現金を投入する現金口６１、購入した商品を取り出す商品口６２および販売されている商品等が表示される表示部６３から構成される。
　また、図１４に示されるように、２軸搖動ミラー２，３および物体検知センサ６は、自動販売機の前面の領域の一部に配置される。また、放射ビーム１４は、２軸搖動ミラー２，３から検知位置１７に向かって側方から放射される。なお、放射ビーム１４は、２軸搖動ミラー２，３から検知位置１７に向かって上方または下方から放射されるようにしても良い。
　本実施の形態においては、図１４に示すように、上記実施の形態３で説明した構成により浮遊画像３４が表示される。自動販売機６０における浮遊画像３４は、例えば、販売されている商品の画像である。操作者が浮遊画像３４として表示されている商品の画像を手指１６でなぞると、手指１６に放射ビーム１４が放射され、操作者の手指１６に対して商品の凹凸に合わせて温度を変化させた擬似的な触感が提示される。検知位置１７が、感覚提示領域１５の位置にある場合、手指１６に放射ビーム１４が放射される。
　また、商品が飲み物の場合、例えば、温かい飲み物か冷たい飲み物かによって提示する色相および／または光量を変化させることで、操作者は商品の温かさを擬似的に体感することができる。例えば、検知位置１７が温かい飲み物の画像の位置にある場合、手指１６に赤色の放射ビーム１４が放射される。また、検知位置１７が温かい飲み物の画像の位置にある場合、検知位置１７が飲み物の画像の位置にない場合に照射される放射ビーム１４よりも光量が大きい放射ビーム１４が手指１６に放射される。また、検知位置１７が冷たい飲み物の画像の位置にある場合、手指１６に青色の放射ビーム１４が放射される。また、検知位置１７が冷たい飲み物の画像の位置にある場合、検知位置１７が飲み物の画像の位置にない場合に照射される放射ビーム１４よりも光量が小さい放射ビーム１４が手指１６に放射される。
　このように自動販売機６０に感覚提示装置１等を組み込むことにより、操作者は商品の特徴を臨場感よく擬似的に体感することができるので、商品を選択する際の利便性を向上できる。また、上記実施の形態において、商品の画像の他、浮遊画像３４としてマーカ、ボタン、ジョイスティック等の操作部の画像が表示され、操作者が操作部を左右上下前後方向等から弾いて操作するようにしてもよい。また、クレジットカードやキャッシュカード、電子マネー対応の自動販売機６０においても、代金の支払いやお釣りの受け取りに際して、上述したＡＴＭ５０と同様に、現金画像を浮遊画像として表示させて感覚が提示されるようにしてもよい。
（実施の形態６）
　次に、本発明の実施の形態６を説明する。実施の形態６は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例としてスマートフォン等の携帯端末装置に適用した場合を例として説明する。
　図１５は、本実施の形態に係る感覚提示装置１等を適用した携帯端末装置７０の構成を例示する図である。図１５に示すように、携帯端末装置７０は、画像表示や操作入力を受け付ける表示操作部７１を含む。本実施の形態においては、図１５に示すように、上記実施の形態３で説明した構成により浮遊画像３４が表示される。携帯端末装置７０における浮遊画像３４は、例えば、携帯端末装置７０の操作画面である。
　また、図１５に示されるように、２軸搖動ミラー２，３は、再帰表示領域３２の外周を囲う領域の一部に配置される。また、放射ビーム１４は、２軸搖動ミラー２，３から検知位置１７に向かって再帰表示領域３２の外周側から内周側へと放射される。なお、放射ビーム１４は、再帰表示領域３２の上方または下方から放射されるようにしても良い。
　操作者が浮遊画像３４として表示されているボタン、文字、写真、アイコン等に手指１６で触れると、操作者の手指１６に対して放射ビーム１４が放射され、光の変化による擬似的な触感が提示される。このように携帯端末装置７０に感覚提示装置１等を組み込むことにより、操作者は表示画面に触れていないにも関わらず、色相および／または光量の変化により操作している感覚を得ることができるので、誤入力を防止したり、表示画面から視線を外して手探りで入力したりすることができる。また、表示画面に複数の操作者の手指等が直接触れることがないので、表示画面が汚れにくくなる。
（実施の形態７）
　次に、本発明の実施の形態７を説明する。実施の形態７は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例としてＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）に適用した場合を例として説明する。
　図１６は、本実施の形態に係る感覚提示装置１等を適用したＨＭＤ８０の構成を例示する図である。図１６に示すように、ＨＭＤ８０は例えばメガネ型であり、画像表示や操作入力を受け付ける表示操作部８１を含む。また、表示操作部８１に表示されている画像は、空間上の虚像領域８２にも表示される。
　また、図１６に示されるように、２軸搖動ミラー２，３および物体検知センサ６は、表示操作部８１の上方に配置される。なお、２軸搖動ミラー２，３および物体検知センサ６は、ユーザの頭部に装着された状態にてユーザの目の前に配置されるＨＭＤ８０のリム部に配置または内蔵されるようにしても良い。また、２軸搖動ミラー２，３および物体検知センサ６は、ユーザの頭部に装着された状態にてユーザの耳に引っ掛けられるＨＭＤ８０のテンプル部に配置または内蔵されるようにしても良い。２軸搖動ミラー２，３のパン角度およびチルト角度を変更可能に構成しても良い。
　また、放射ビーム１４は、２軸搖動ミラー２，３から検知位置１７に向かってユーザの視線方向（例えば、ユーザの進行方向や、ユーザの左右方向）へ放射される。
　本実施の形態においては、図１６に示すように、上記実施の形態３等で説明した構成により虚像領域８２と感覚提示領域１５とが重ねて表示される。操作者の手指等が感覚提示領域１５において操作を行うと、操作に応じて操作者の手指１６等に対して放射ビーム１４が放射され、色相および／または光量の変化による擬似的な触感が提示される。
　このようにＨＭＤ８０に感覚提示装置１等を組み込むことにより、ＨＭＤ８０の周りの空間上の領域を利用して入力操作を検知する場合に、入力操作を検知する領域に操作者の手指１６が入ると手指１６に放射ビーム１４が放射され、擬似的な触感が提示される。そのため、操作者はＨＭＤ８０に触れて操作する場合と同様の感覚を得ることができ、ＨＭＤ８０のデザインの自由度を向上しつつ、操作者の利便性を向上することができる。
　また、本実施の形態においては、虚像領域８２と感覚提示領域１５とが重ねて表示される場合を例として説明した。その他、虚像領域８２と感覚提示領域１５とが異なる位置に表示されるようにしてもよい。この場合、虚像領域８２における各位置と感覚提示領域１５における各位置とが予め対応付けられた情報に基づく感覚提示が行われるものとする。このような構成により、ＨＭＤ８０の操作性に応じて感覚提示領域１５が表示される位置を自由に決めることができる。
　また、本実施の形態においては、空間上に虚像領域８２および感覚提示領域１５が表示される場合を例として説明した。その他、上記実施の形態２等の構成により、空間上に感覚提示領域１５のみが表示されるようにしてもよい。
（実施の形態８）
　次に、本発明の実施の形態８を説明する。実施の形態８は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例として腕時計型端末装置に適用した場合を例として説明する。
　図１７は、本発明に係る感覚提示装置１等を適用した腕時計型端末装置８３の構成を例示する図である。図１７に示すように、腕時計型端末装置８３は、操作者の腕８４に装着して使用する端末装置であり、画像表示や操作入力を受け付ける表示操作部８５を含む。
　図１７に示すように、本実施の形態に係る腕時計型端末装置８３において、ジェスチャ入力等の操作を検知する領域として空間上の感覚提示領域１５が提供される。感覚提示領域１５は、上記実施の形態２等で説明した構成により実現され、感覚提示領域１５において操作者の手指１６が検知されると、手指１６に放射ビーム１４が放射され、手指１６に対して色相および／または光量の変化により擬似的な触感が提示される。また、操作者の手指等が感覚提示領域１５において操作を行うと、手指１６に放射ビーム１４が放射され、操作に応じて操作者の手指等に対して色相および／または光量の変化による擬似的な触感が提示される。
　また、図１７に示されるように、２軸搖動ミラー２，３は、表示操作部８５の外周を囲う領域の一部に配置される。また、放射ビーム１４は、２軸搖動ミラー２，３から検知位置１７に向かって放射される。
　このように腕時計型端末装置８３に感覚提示装置１等を組み込むことにより、腕時計型端末装置８３の周りの空間上の領域を利用して入力操作を検知する場合に、入力操作を検知する領域に操作者の手指１６が入ると、手指１６に放射ビーム１４が放射され、擬似的な触感が提示される。そのため、操作者は腕時計型端末装置８３に触れて操作する場合と同様の感覚を得ることができ、腕時計型端末装置８３のデザインの自由度を向上しつつ、操作者の利便性を向上することができる。
　なお、本実施の形態においては、空間上に感覚提示領域１５のみが表示される場合を例として説明したが、これは一例であり、腕時計型端末装置８３の表示操作部８５に表示されている画像が、上記実施の形態３等の構成により、浮遊画像として空間上に表示されてもよい。その際、浮遊画像と感覚提示領域１５が重ねて表示されてもよいし、別の位置に表示されてもよい。
（実施の形態９）
　次に、本発明の実施の形態９を説明する。実施の形態９は、上記実施の形態１で説明した感覚提示装置１の変形例である。図１８は、実施の形態９に係る感覚提示装置１の構成を例示する図である。図１８に示すように、実施の形態９に係る感覚提示装置１は、図１に示した感覚提示装置１の２軸搖動ミラー２，３を反射ミラー１８に置き換えるとともに、図１８に示した感覚提示装置１の構成から走査駆動制御部４、タイミング／アドレス生成部５、情報記憶部９を除いた構成である。なお、本実施の形態においては、実施の形態１において情報記憶部９に格納されていた感覚情報を放射制御部１０が保持する場合を例として説明するが、情報記憶部９は感覚提示装置１の構成から除かず、実施の形態１と同様に情報記憶部９に格納されるようにしてもよい。
　実施の形態９に係る感覚提示装置１は、実施の形態１に係る感覚提示装置１と異なり、放射部１１が可視光線を放射すると、予め定められた位置（図１８に示した場合においては検知位置１７）を含む所定範囲に限定して放射ビーム１４が放射される。すなわち、図３に示した感覚提示単位のうちの１つの感覚提示単位に限定して放射ビーム１４が放射される。図１８に示した場合、放射判定部８は、物体情報生成部７から入力された物体情報に含まれる位置が検知位置１７に一致する場合、検知位置１７に対して放射ビーム１４を放射すると判定する。
　このような構成により、放射ビーム１４が放射される位置が予め定められているため、感覚提示可能な領域は狭くなるが、実施の形態１に係る感覚提示装置１の構成に比べて、構成が簡易になるので、感覚提示装置１をより小型化することが可能になる。また、このような構成により、単位時間当たりの放射ビーム１４の放射時間が増大するので、放射部１１の放射エネルギを低減できる。例えば、実施の形態１では、図３に示した感覚提示領域１５に含まれる１００個の感覚提示単位が放射ビーム１４の放射対象であるのに対し、本実施の形態では、１つの感覚提示単位のみが放射ビーム１４の放射対象であるので、放出エネルギを１００分の１に低減できる。
　なお、放射制御部１０は、放射ビーム１４が１つの感覚提示単位を覆うように、図２に示したビーム径を１つの感覚提示単位のサイズ（例えば、一辺の長さが５ｍｍ）に広げるよう放射部１１の放射強度等を制御するようにしてもよい。また、本実施の形態においては、放射ビーム１４が放射される領域のサイズを図２に示した感覚提示単位のサイズとしたが、これは一例であり、実施の用途に応じて検知位置１７のサイズが設定されてもよい。放射制御部１０は、検知位置１７のサイズが設定された放射ビーム径および放出エネルギを調整してもよい。
（実施の形態１０）
　次に、本発明の実施の形態１０を説明する。実施の形態１０は、上記実施の形態１で説明した感覚提示装置１の変形例である。図１９は、実施の形態１０に係る感覚提示装置１の構成を例示する図である。本実施の形態に係る２軸搖動ミラー２，３は、Ｈ軸およびＶ軸ともに非共振モードで搖動する点が、実施の形態１に係る２軸搖動ミラー２，３と異なる。本実施の形態に係る走査駆動制御部４は、物体情報生成部７から入力された物体情報に含まれる検知位置１７に常に放射ビーム１４が放射されるよう、２軸搖動ミラー２，３の傾きを非共振モードで変更する。
　図１９に示すように、実施の形態１０に係る感覚提示装置１は、図１に示した感覚提示装置１の構成部と同様の構成であるが、実施の形態１０に係る物体情報生成部７は、生成した物体情報に含まれる検知位置１７（ｔｇ＿ｐｏｓｉ）を走査駆動制御部４に対して出力する。
　そして、走査駆動制御部４は、出力された検知位置１７（ｔｇ＿ｐｏｓｉ）に放射ビーム１４が放射されるように、２軸搖動ミラー２，３を制御する。
　このような構成により、放射ビーム１４が検知位置１７を追従して放射される。そして、感覚提示領域１５において検知された操作体に対して常に放射ビーム１４が放射され、基準信号に基づくタイミングで何度も放射ビーム１４を放射する必要がないので、放射部１１の放射エネルギを低減することができる。
（実施の形態１１）
　次に、本発明の実施の形態１１を説明する。実施の形態１１は、上記実施の形態１で説明した感覚提示装置１の変形例である。図２０は、実施の形態１１に係る感覚提示装置１の構成を例示する図である。図２０に示すように、実施の形態１１に係る感覚提示装置１は、図１に示した感覚提示装置１の構成に、２軸搖動ミラー２，３をさらにＨ／Ｖ軸それぞれに±７（－７～＋７）度の範囲内で傾斜を与える可動部１９を追加した構成である。また、実施の形態１１に係る物体情報生成部７は、生成した物体情報に含まれる検知位置１７（ｔｇ＿ｐｏｓｉ）を走査駆動制御部４に対して出力する。
　そして、走査駆動制御部４は、出力された検知位置１７（ｔｇ＿ｐｏｓｉ）に放射ビーム１４が放射されるように、２軸搖動ミラー２，３を制御する。
　図２０に示すように、操作者の指先が感覚提示領域１５の端の方へ移動（図２０においては検知位置１７が１７Ｔへ移動）すると、走査駆動制御部４は、移動後の検知位置１７Ｔに合わせて可動部１９を駆動する。これにより、図２０においては感覚提示領域１５が感覚提示領域１５Ｔへ移動する。２軸搖動ミラー２，３がＨ／Ｖ軸それぞれに±７（－７～＋７）度の範囲内で傾斜する場合、放射ビーム１４の走査範囲は最大±１４（－１４～＋１４）／±１４（－１４～＋１４）であり、感覚提示領域１５の面積が４倍となる。
　このような構成により、放射部１１の放射能力を変更することなく、感覚提示領域１５の面積を拡大することが可能になる。
（実施の形態１２）
　次に、本発明の実施の形態１２を説明する。実施の形態１２は、上記実施の形態１で説明した感覚提示装置１の変形例である。図２１は、実施の形態１１に係る感覚提示装置等を適用した車載端末装置９０の構成を例示する図である。車載端末装置９０は、感覚提示領域１５を手指１６がジェスチャ操作し、ジェスチャ操作に応答する色相および／または光量で指先を発光させる構成である。
　図２１に示されるように、車載端末装置９０は、画像表示や操作入力を受け付ける表示操作部９４を含む。
　また、図２１に示されるように、２軸搖動ミラー２，３は、車室内のダッシュボードなどに配置または内蔵される。また、放射ビーム１４は、２軸搖動ミラー２，３から検知位置１７に向かって放射される。なお、２軸搖動ミラー２，３は、車室内のサンバイザーに配置または内蔵されても良い。また、２軸搖動ミラー２，３は、車室内のバックミラーに配置または内蔵されても良い。
　感覚提示領域１５は、外景色を視認できる領域（例えば、車両のフロントガラス）に形成される。また、感覚提示領域１５に一致する様に虚像を表示しても良い。なお、虚像は、車室内側に表示しても良いし、車室外側に表示しても良い。
　ジェスチャ操作時、例えば車載端末装置９０側の応答として、未応答ならば赤色、操作内容を理解した場合は緑色、実行した場合は白色等と動作する。
　このような構成により、運転者が視線を占有されず、運転に集中と同時に、視野の片隅で色相および／または光量の変化で操作状況を把握でき、安全性の更なる向上が可能となる。
（実施の形態１３）
　次に、本発明の実施の形態１３を説明する。実施の形態１３は、上記実施の形態１で説明した感覚提示装置１の変形例である。図２２は、実施の形態１３に係る感覚提示装置等を適用したスイッチ操作装置の構成を例示する図である。接触或いは非接触によるタッチスイッチ９５を操作する際、操作に応答する色相および／または光量で指先を発光させる。例えばタッチスイッチ９５側の応答として、未応答ならば赤色、操作内容を理解した場合は緑色、実行した場合は白色等と動作する。
　このような構成により、接触或いは非接触によるタッチスイッチ９５を操作する際、操作に応答する色相および／または光量で指先を発光させることで、操作者が操作応答情報を視覚的に得ることが可能になる。
　なお、上記実施の形態１～１３に係る各機器は例示であり、感覚提示装置１、操作処理装置２０、画像表示装置２２を組み込むことにより、目的に応じた操作支援が実現される機器であればどのような機器であってもよい。例えば、感覚提示装置１等が提示される機器は、自転車やオードバイ、一輪車、人間補助ロボット、ロボット、医療機器、医療介護ベッド等、人とインターフェースにより利便性が得られる装置である。
　なお、上記実施の形態１～１３においては、感覚提示領域１５および物体検知センサ６等の感覚提示のための構成は、１つである場合を例として説明している。しかしながら、これは一例であり、複数の感覚提示領域１５および物体検知センサ６等を用いて、感覚提示領域１５を重畳したり並べたりする構成であってもよい。
　複数の感覚提示領域１５を重畳することにより、各感覚提示領域１５に対する可視光線の放射強度は弱い場合であっても、検知位置１７に対して放射される可視光線の強度を強くすることができる。また、複数の感覚提示領域１５を並べることにより、感覚提示が可能な領域を拡大することができる。
　また、上記実施の形態１～１３に係る感覚情報は、感覚提示領域１５における温度分布に所望の温度差をつけるよう設定されてもよい。これにより、操作者が感覚提示領域１５において指先を移動させると色相および／または光量の変化を感じることを利用して、操作者が触れた商品等の画像の凹凸やざらざら感等の触感が実現される。
　また、上記実施の形態１～１３に係る感覚提示装置１は、放射部１１が放射する可視光線のビーム焦点距離を液体レンズ等でダイナミックに調整する調整機構を有してもよい。このような調整機構により、感覚提示領域１５の奥行きに合わせてより精度よく放射ビームを放射することが可能になる。
　また、上記実施の形態１～１３において、感覚提示の対象外となる指や領域に対してデフォーカスしたビームを放射して、色相および／または光量の変化反応を抑えるようにしてもよい。
　また、上記実施の形態１～１３における感覚提示領域１５を、手の平や手の甲全体としてもよい。この場合、２軸搖動ミラー２，３は、手の平や手の甲を走査し、例えば、放射部１１は、絵や文字の一筆書きを表すよう手の平などに可視光線を放射する。これにより、手の平などに対して色相および／または光量の変化による感覚が与えられ、一筆書きされた絵や文字を認識することができる。このような構成により、非接触で秘匿性を保ちながら情報を伝達することが可能になる。
　また、上記実施の形態１～１３においては、操作者の１本の指先が検知された検知位置１７に対して放射ビーム１４が放射される場合を例として説明した。その他、複数の指先が検知されて複数の検知位置１７に対して放射ビーム１４が放射されてもよい。また、上記実施の形態１～１３においては、感覚提示の対象として操作者の指先を例として説明している。しかしながら、これは一例であり、操作者が視認できる所であれば全身のいずれでも良い。
　また、上記実施の形態１～１３においては、２次元の画像を例として説明したが、３次元の画像を感覚提示の対象としてもよい。この場合、物体情報および感覚情報には、奥行きに関する情報も含まれる。
　また、上記実施の形態１～１３において、高温状態である実体（鍋、ポット、ヤカン、蛇口等）の表面周囲の空間上に感覚提示領域１５が設けられてもよい。この場合、感覚提示領域１５において指先が検知されると、指先に対して放射ビーム１４が放射される。このような構成により、高温状態である実体の周囲に指先がある場合、指先に色相および／または光量の変化による感覚が提示されることで、実体が高温状態であることを注意喚起することができる。このような構成は、貴重品、危険物、嫌気性物体の周囲の空間上においても適用することができる。
　また、その他の実施の形態として、ガイド装置の光マーカや光ガイド、トイレの水洗ボタン、自動ドアの開閉ボタン、ＰＯＳ（Ｐｏｉｎｔ　Ｏｆ　Ｓａｌｅ）の商品提示位置、エレベータの階数指示ボタン等の様々な操作を受け付ける機器に対して感覚提示装置１が適用されてもよい。このような機器に感覚提示装置１が適用されることにより、操作が検知されていることを操作者が認識しやすくすることができる。その他、上記実施の形態１～１３に係る感覚提示装置１は、遊戯機器（パチンコ、パチスロ、ゲーム等）にも適用することができる。
１…感覚提示装置、
２，３…２軸揺動ミラー（Ｈ／Ｖ）、
４…走査駆動制御部、
５…タイミング／アドレス生成部、
６…物体検知センサ、
７…物体情報生成部、
８…放射判定部、
９…情報記憶部、
１０…放射制御部、
１１…放射部、
１２…ビーム成型部、
１５…感覚提示領域、
１８…反射ミラー、
１９…可動部、
２０…操作処理装置、
２２…画像表示装置、
３０…再帰光学素子、
３１…ＬＣＤ、
３２…再帰表示領域、
４３…操作処理部、
４４…画像生成部、
４５…感覚情報生成部、
５０…ＡＴＭ、
６０…自動券売機・自動販売機、
７０…携帯端末装置、
８０…ＨＭＤ、
８３…腕時計型端末装置、
９０…車載端末装置、
９５…スイッチ操作装置、
１００…電子ペン装置。
 

Claims (15)

  1. 　空間上の所定の領域において行われる操作に応じて操作者に色相および／または光量により感覚を与える感覚提示装置であって、
    　前記操作者が前記操作を行うための操作体を前記所定の領域において検知する操作体検知部と、
    　前記操作体が検知された位置である検知位置に応じて前記検知位置を含む所定範囲に空間を介して色相および／または光量の変化を加える発光部と、
    　を含む、感覚提示装置。
  2. 　前記所定の領域は、前記操作体による操作を検知する領域である操作検知領域であり、
    　前記発光部は、前記操作検知領域において前記操作体が検知されると、前記所定範囲に空間を介して色相および／または光量の変化を加える、
    　請求項１に記載の感覚提示装置。
  3. 　前記所定の領域は、画像を表示する領域である画像表示領域であり、
    　前記発光部は、前記画像表示領域における前記検知位置の前記画像の情報に応じて前記所定範囲に空間を介して色相および／または光量の変化を加える、
    　請求項１に記載の感覚提示装置。
  4. 　前記発光部は、前記操作者が前記画像を構成する物体の触感を認識できるように前記所定範囲に空間を介して色相および／または光量の変化を加える、請求項３に記載の感覚提示装置。
  5. 　前記発光部は、前記検知位置の前記画像の情報に応じて前記所定範囲に空間を介して異なる色相および／または光量の変化を加える、請求項３に記載の感覚提示装置。
  6. 　前記所定の領域は、表示部に表示された画像に対する操作を検知する領域である操作検知領域であり、
    　前記発光部は、前記操作検知領域で検知された操作に応じて前記所定範囲に空間を介して色相および／または光量の変化を加える、
    　請求項１に記載の感覚提示装置。
  7. 　前記発光部は、前記検知位置を含む所定範囲にビームを放射して前記所定範囲に空間を介して色相および／または光量の変化を加える、請求項１に記載の感覚提示装置。
  8. 　前記発光部は、ミラーを介して前記所定範囲に前記ビームを放射する、請求項７に記載の感覚提示装置。
  9. 　前記ミラーは、１軸又は２軸が共振して搖動し、
    　前記ミラーを駆動して前記ビームをラスタ走査させる走査駆動制御部を含む、
    　請求項８に記載の感覚提示装置。
  10. 　前記ミラーは、予め定められた位置を含む所定範囲にのみ前記ビームを放射するよう固定され、
    　前記所定の領域は、前記予め定められた位置を含む所定範囲である、
    　請求項８に記載の感覚提示装置。
  11. 　前記ミラーは、２軸が非共振で動作し、
    　前記検知位置に基づいて前記ミラーを駆動して前記ビームをラスタ走査させる走査駆動制御部を含む、
    　請求項８に記載の感覚提示装置。
  12. 　ミラーの２軸それぞれを所定範囲内で傾斜させる可動部と、
    　前記検知位置に基づいて前記可動部を駆動し、前記ミラーを駆動して前記ビームをラスタ走査させる走査駆動制御部と、
    　を含む、請求項８に記載の感覚提示装置。
  13. 　空間上の所定の領域において行われる操作を検知して処理する操作処理装置であって、
    　操作者が前記操作を行うための操作体を前記所定の領域において検知する操作体検知部と、
    　前記操作体が検知されると、前記操作体が検知された位置を含む所定範囲に空間を介して色相および／または光量の変化を加える発光部と、
    　を含む、操作処理装置。
  14. 　空間上の所定の領域において画像を表示する画像表示装置であって、
    　操作者が操作を行うための操作体を前記所定の領域において検知する操作体検知部と、
    　前記操作体が検知された位置の前記画像の情報に応じて前記位置を含む所定範囲に空間を介して色相および／または光量の変化を加える発光部と、
    　を含む、画像表示装置。
  15. 　空間上の所定の領域において行われる操作に応じて操作者に色相および／または光量により感覚を与える感覚提示方法であって、
    　操作体検知部が、前記操作者が前記操作を行うための操作体を前記所定の領域において検知する操作体検知ステップと、
    　発光部が、前記操作体が検知された位置である検知位置に応じて前記検知位置を含む所定範囲に空間を介して色相および／または光量の変化を加える発光ステップと、
    　を含む、感覚提示方法。
PCT/JP2015/055516 2015-02-26 2015-02-26 感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法 WO2016135908A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/055516 WO2016135908A1 (ja) 2015-02-26 2015-02-26 感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/055516 WO2016135908A1 (ja) 2015-02-26 2015-02-26 感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法

Publications (1)

Publication Number Publication Date
WO2016135908A1 true WO2016135908A1 (ja) 2016-09-01

Family

ID=56788630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055516 WO2016135908A1 (ja) 2015-02-26 2015-02-26 感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法

Country Status (1)

Country Link
WO (1) WO2016135908A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002244803A (ja) * 2000-12-15 2002-08-30 Nokia Corp 電子機器における機能を遂行するための方法及び装置
JP2010231593A (ja) * 2009-03-27 2010-10-14 Nippon Telegr & Teleph Corp <Ntt> キーボード入力装置
JP2012252386A (ja) * 2011-05-31 2012-12-20 Ntt Docomo Inc 表示装置
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002244803A (ja) * 2000-12-15 2002-08-30 Nokia Corp 電子機器における機能を遂行するための方法及び装置
JP2010231593A (ja) * 2009-03-27 2010-10-14 Nippon Telegr & Teleph Corp <Ntt> キーボード入力装置
JP2012252386A (ja) * 2011-05-31 2012-12-20 Ntt Docomo Inc 表示装置
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム

Similar Documents

Publication Publication Date Title
EP1530119A2 (en) Stereoscopic two-dimensional image display device and method
US7956819B2 (en) Stereoscopic two-dimensional image display device
JP6064316B2 (ja) 透過型表示装置、及び操作入力方法
JP5927867B2 (ja) 表示システム、及び操作入力方法
EP3438790B1 (en) Input device and image display system
AU2016206210B2 (en) Food processor and method for operating a food processor
US20060007124A1 (en) Disposing identifying codes on a user&#39;s hand to provide input to an interactive display application
US20180348960A1 (en) Input device
KR20160128119A (ko) 이동 단말기 및 이의 제어방법
CN101379455A (zh) 输入装置及其方法
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
CN106919262A (zh) 增强现实设备
JP7135444B2 (ja) 情報処理装置及びプログラム
WO2015146037A1 (ja) 車両用表示入力装置
JP2014056462A (ja) 操作装置
JPWO2019225516A1 (ja) 虚像表示装置
WO2022019280A1 (ja) 入力装置および入力装置の制御方法
WO2016067397A1 (ja) 感覚提示装置、操作処理装置及び画像表示装置
JP2013145323A (ja) カメラ付きミラー装置、ミラー付き什器
WO2006038509A1 (ja) 立体的二次元画像表示装置
JP7172207B2 (ja) 入力装置
WO2016135908A1 (ja) 感覚提示装置および操作処理装置および画像表示装置ならびに感覚提示方法
US20220172392A1 (en) Device and method for non-contact optical imaging of a selected surface area of a hand
US20160291715A1 (en) Curved display apparatus providing air touch input function
US11455062B2 (en) Non-contact type touch panel system, method of controlling same, and non-contact type input device mountable on existing touch screen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883202

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15883202

Country of ref document: EP

Kind code of ref document: A1