WO2016067397A1 - 感覚提示装置、操作処理装置及び画像表示装置 - Google Patents

感覚提示装置、操作処理装置及び画像表示装置 Download PDF

Info

Publication number
WO2016067397A1
WO2016067397A1 PCT/JP2014/078802 JP2014078802W WO2016067397A1 WO 2016067397 A1 WO2016067397 A1 WO 2016067397A1 JP 2014078802 W JP2014078802 W JP 2014078802W WO 2016067397 A1 WO2016067397 A1 WO 2016067397A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
sensory
image
radiation
unit
Prior art date
Application number
PCT/JP2014/078802
Other languages
English (en)
French (fr)
Inventor
智生 小堀
別井　圭一
大内　敏
瀬尾　欣穂
藤田　浩司
将史 山本
川村　友人
和幸 田島
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to PCT/JP2014/078802 priority Critical patent/WO2016067397A1/ja
Publication of WO2016067397A1 publication Critical patent/WO2016067397A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a sensory presentation device, an operation processing device, and an image display device.
  • Patent Document 1 As a background art in this technical field, there is International Publication No. 2006/064615 (Patent Document 1).
  • Patent Document 1 “a force sense that presents a force sense to an operator through the receptor by ejecting a gas or liquid from the ejection port of the ejection means according to the position or orientation of the receptor and hitting the receptor.
  • the receptor is provided with an inclined side surface having a shape inclined with respect to the axis of the receptor from the center to the outer side, By ejecting the gas or liquid, a force including a component in a direction perpendicular to the gas or liquid ejection direction is applied to the receptor.
  • an image display device that displays images in space, not only visually perceiving images perceived in space, but also using tactile sensations and force sensations with the same presence as touching the substance It is hoped to give it to the person.
  • an operation processing apparatus that recognizes and processes an operation such as a gesture input in a predetermined area in space, it is desirable to give the operator that the operation is recognized as a predetermined feeling. ing.
  • Patent Document 1 proposed as a method for realizing this has been proposed, but an apparatus realized by the technique disclosed in Patent Document 1 is from the viewpoint of maintainability, usage, and the like. Convenience is bad. Specifically, for example, in the technique disclosed in Patent Document 1, a gas or liquid is ejected onto a finger or the like of the user of the apparatus to present a sense of force, so the type of gas or liquid to be ejected is selected. Or need to be refilled. In addition, the technique disclosed in Patent Document 1 has a problem that the finger becomes dirty when the liquid is ejected onto the finger or the like of the user of the apparatus.
  • the present invention has been made to solve such a problem, and improves the convenience of a sensory presentation device that gives a predetermined sensation to an operator according to an operation performed in a predetermined region in a space. With the goal.
  • the present invention adopts, for example, the configurations described in the claims.
  • the present application includes a plurality of components that solve the above-described problems.
  • an operating body for an operator to operate is detected in a predetermined area in the space, and the operating body is detected.
  • Heat is applied to a predetermined range including the detection position according to the detection position which is a position.
  • Embodiment 1 Hereinafter, Embodiment 1 of the present invention will be described in detail with reference to the drawings.
  • a sensory presentation device that gives an operator a sense of temperature according to an operation such as touching an image displayed in a predetermined area in space or inputting a gesture in a predetermined area in space.
  • an operation such as touching an image displayed in a predetermined area in space or inputting a gesture in a predetermined area in space.
  • FIG. 1 is a diagram illustrating a configuration of the sensory presentation device 1 according to the present embodiment.
  • the sensory presentation device 1 includes two-axis peristaltic mirrors 2 and 3, a scanning drive control unit 4, a timing / address generation unit 5, an object detection sensor 6, an object information generation unit 7, a radiation determination unit 8, An information storage unit 9, a radiation control unit 10, a FIR (Far Infrared Rays) radiation unit 11 and a beam shaping unit 12 are included.
  • the biaxial peristaltic mirrors 2 and 3 are reciprocated by two axes of the H axis and the V axis, and reflect a radiation beam 13 radiated from a beam shaping unit 12 described later.
  • the vibration in the V-axis direction is the vibration in the vertical direction (y-axis direction shown in FIG. 1) shown in FIG. 1 (hereinafter referred to as “V vibration”), and the vibration in the H-axis direction. Is the vibration in the left-right direction (the x-axis direction shown in FIG. 1) shown in FIG. 1 (hereinafter referred to as “H vibration”).
  • the H vibration operates in a resonance mode
  • the V vibration operates in a non-resonance mode from the movement period and the holding period
  • the H vibration operates sufficiently faster than the V vibration.
  • the H vibration operates at 2.8 kHz
  • the V vibration operates at 25 Hz
  • the two-axis peristaltic mirrors 2 and 3 operate the FIR radiation unit 11 described later.
  • the modulation drive is performed at about 1.25 MHz.
  • the H / Vsensor signal of the biaxial peristaltic mirrors 2 and 3 is an amplitude signal corresponding to the tilt angle of each axis.
  • the scanning drive control unit 4 drives the biaxial peristaltic mirrors 2 and 3 by microcomputer control (not shown), specifies the scanning position of the biaxial peristaltic mirrors 2 and 3 by the H / Vsensor signal, and generates a reference signal H / Vsync. To do. That is, the scanning drive control unit 4 controls the driving of the biaxial peristaltic mirrors 2 and 3 to cause the radiation beam 14 to be raster scanned.
  • a region where the radiation beam scans under the control of the scanning drive control unit 4 is a sensation presentation region 15 that presents a sensation due to temperature to the operator in this embodiment.
  • temperature sensation is simply referred to as “sensation”.
  • the mirror diameter of the mirror 2 of the two-axis swinging mirrors 2 and 3 is a circle of ⁇ 2, and the deflection angle is ⁇ 7 degrees / ⁇ 7 degrees (optical angle) for each of the H / V axes.
  • the size of the sensory presentation area 15 is 50 mm ⁇ 50 mm.
  • the deflection angle of the mirror 2 is ⁇ 14 degrees / ⁇ 14 degrees for the H / V axes.
  • the detection position 17 is a position of a fingertip (hereinafter referred to as “operation body”) that performs an operation that is a part of the object 16 (for example, an operator's hand) in the sense presentation area 15.
  • the timing / address generation unit 5 Based on the reference signal H / Vsync generated by the scanning drive control unit 4, the timing / address generation unit 5 has, for example, 200 points in the sensory presentation region 15 scanned by the radiation beam 14 each having 90% time as an effective region. A scan position address fir_add of ⁇ 200 lines is generated. The timing / address generation unit 5 generates timing information at which the radiation beam 14 is emitted with respect to the generated scanning position address. Details of the generation of timing information will be described later.
  • the object detection sensor 6 is an operation body detection unit that detects the position of the operation body in the sense presentation area 15.
  • the object detection sensor 6 is a light detection sensor that detects an object by reflection of light, and emits laser light to the range of the sensation presentation area 15 to detect reflected light from the operating body. Then, the operating body is detected.
  • the object detection sensor 6 that has detected the reflected light calculates the distance from the object detection sensor 6 to the operating body based on the detected reflected light, and in the sensory presentation area 15 based on the calculated distance and the emission direction of the laser light. Recognize which position is touched. That is, the object detection sensor 6 acquires the detection position 17.
  • the object information generation unit 7 acquires the distance to the object 16 recognized by the object detection sensor 6 and the detection position 17 and generates it as object information.
  • the detection position 17 is coordinate information when the coordinate of the lower left corner of the sense presentation area 15 is (0, 0).
  • the object information generation unit 7 outputs the generated object information to the radiation determination unit 8.
  • the radiation determination unit 8 determines whether or not the radiation beam 14 is emitted to the object 16 detected by the object detection sensor 6 based on the object information and sensory information input from the object information generation unit 7.
  • the sensory information is set in advance from an external PC (Personal Computer) or the like, and includes, for example, sensory presentation conditions DATA for each position information wr_add in the sensory presentation area 15.
  • the sensory presentation condition DATA is, for example, whether or not to emit the radiation beam 14 at that position, and if so, the radiation time (radiation time) and the differential temperature to be increased from the current temperature (hereinafter referred to as “increased differential temperature”). Information).
  • the radiation determination unit 8 acquires the sensory presentation condition DATA of a position where the detection position 17 included in the object information matches the position information wr_add included in the sensory information. Then, the radiation determination unit 8 determines that the radiation beam 14 is emitted to the detected detection position 17 when the acquired DATA indicates that the radiation beam 14 is emitted. The radiation determination unit 8 causes the information storage unit 9 to store the position information wr_add and the sensory presentation condition DATA of the position determined to emit the radiation beam 14.
  • the information storage unit 9 is a storage medium that stores various types of information so that the radiation control unit 10 can refer to them. Specifically, for example, the information storage unit 9 stores the scanning position address fir_add generated by the timing / address generation unit 5 and the position information wr_add and DATA input from the radiation determination unit 8. Further, the information storage unit 9 uses the positional information wr_add, DATA, and radiation control information by the radiation control unit 10 input so far from the radiation determination unit 8 as history information (hereinafter referred to as “sensory presentation history information”). Store.
  • the radiation control unit 10 refers to the scanning position address “fir_add”, the position information “wr_add”, and the sensory presentation condition DATA stored in the information storage unit 9 to determine the radiation intensity and the radiation time at which the FIR radiation unit 11 emits far infrared rays. Determine the radiation conditions to be shown. Specifically, for example, the radiation control unit 10 determines a radiation intensity for increasing the temperature difference from the current temperature of the detection position 17 to be radiated by an increase differential temperature included in the sensation presentation condition DATA. The current temperature information is calculated from sensory presentation history information stored in the information storage unit 9, for example.
  • the radiation control unit 10 controls the FIR radiation unit 11 according to the determined radiation condition and the timing information input from the timing / address generation unit 5. Details of the radiation operation of the FIR radiation unit 11 under the control of the radiation control unit 10 will be described later.
  • the FIR radiation unit 11 radiates far infrared rays at a timing, radiation intensity, and radiation time according to the control by the radiation control unit 10.
  • the radiation beam 13 is, for example, far-infrared rays having a peak output of 210 mW and 4 ⁇ m to 15 ⁇ m from the characteristics of absorption into the skin and transmission depth into the skin.
  • the beam shaping unit 12 is composed of a concave mirror, for example, and focuses the far infrared rays emitted from the FIR radiation unit 11 to output a radiation beam 13.
  • FIG. 2 is a diagram illustrating the beam size of far infrared rays emitted from the FIR radiation unit 11.
  • the horizontal axis of FIG. 2A indicates the distance, and shows the beam shaping unit 12, the mirror 2, and the detection position 17 through which the far-infrared beam radiated from the FIR radiation unit 11 passes in order.
  • the horizontal axis may be the elapsed time after the far-infrared radiation from the FIR radiation unit 11.
  • the vertical axis in FIG. 2A indicates the beam size.
  • FIG. 2B is a diagram illustrating a conceptual diagram of a beam shape corresponding to the distance and the beam size in FIG.
  • the far-infrared beam radiated from the FIR radiation section 11 spreads immediately after radiation (the beam diameter becomes larger), is focused by the beam shaping section 12 and radiated as a radiation beam 13, and is reflected by a mirror. Reflects with a beam diameter of ⁇ 2 at position 2.
  • the radiation beam 13 is focused and then diffused again as the radiation beam 14 so that the detection position 17 has a diameter of ⁇ 4.
  • the beam shaping unit 12 performs beam shaping so that the mirror 2 and the subsequent shapes have the same shape.
  • the beam shaping part 12 may perform the process which diffuses coherent property.
  • the far-infrared radiation beam 14 is radiated to the detection position 17 where the operating body (for example, the fingertip of the operator) is detected, thereby heating the fingertip at the detection position 17.
  • the radiation determination unit 8, the radiation control unit 10, the FIR radiation unit 11, and the beam shaping unit 12 function as a heating unit that applies heat to a predetermined range including the detection position 17 according to the detection position 17.
  • the operator can feel the temperature change of the fingertip, and can obtain a pseudo tactile sensation with respect to the operation by this temperature change.
  • the pseudo-tactile sensation expects a cross modal (interaction between sensations), and for example, expects to feel a touch when a temperature change is felt, such as feeling cool when listening to a wind chime tone.
  • the operating body at the detection position 17 is the fingertip, and the skin of the fingertip is about 1 mm of the epidermis (about 0.7 mm) and the dermis (about 0.3 to 2.4 mm), and the stimuli existing in the vicinity thereof.
  • FIG. 3 is a diagram illustrating the sensory presentation area 15.
  • the thickness SK of the sensory presentation unit is about 0.1 mm where far infrared rays having a wavelength of 4 ⁇ m to 15 ⁇ m are almost absorbed.
  • the sensory presentation according to the present embodiment targets a receptor directly under the skin, it is a transient response in which heat generated by vibrating and stimulating the skin with far infrared rays directly reaches and stimulates the receptive field (receptor).
  • receptor receptive field
  • the specific heat of the skin is 0.83 kcal (kg ⁇ ° C.)
  • the sensory presentation unit area TD 25 mm 2
  • the volume TDW 2.5 mm 3
  • FIG. 4 is a diagram illustrating each value related to sensory presentation due to heat change. Each value related to the sensation presentation by heat change is as shown in FIG. 4, for example.
  • FIG. 5 is a diagram illustrating sensory information.
  • the sensory information defines the sensory presentation conditions for each of the sensory presentation units divided in the sensory presentation region 15 shown in FIG.
  • the radiation beam 14 is emitted to the position and heated. That is, that the radiation beam 14 is emitted to the detection position 17 means that the radiation beam 14 is emitted to a sensory presentation unit that is a predetermined range including the detection position 17.
  • the sensation presentation area 15 is traced with the fingertip in the X-axis direction, the fingertip is heated and unheated alternately. By defining this temperature change as “unevenness”, pseudo-tactile presentation of unevenness is realized.
  • FIG. 5B shows sensory information different from that in FIG. 5A.
  • the sensory presentation area 15 is traced in the Y-axis direction with the fingertip, the fingertip is heated. And non-heating is performed alternately.
  • this temperature change is “unevenness”, pseudo-tactile presentation of unevenness can be realized.
  • this temperature change is defined as “difference in material” or “difference in hardness” of a contact object, pseudo tactile sensation presentation such as material or hardness is realized.
  • FIG. 6 is a diagram illustrating the relationship between the control state by the radiation control unit 10 and the temperature change at the detection position 17 when a fingertip is detected at the detection position 17.
  • the control shown in FIG. 6 is performed. .
  • the reference signal Vsync shown in FIG. 6 is an enlarged part of the elapsed time in TMPUP, and shows one cycle (1V). Further, the reference signal Hsync shown in FIG. 6 is obtained by enlarging the ON time (heating time of the detection position 17) in T_MODE, and one cycle (1H) is repeatedly shown.
  • the timing / address generation unit 5 generates timing information so that the FIR radiation unit 11 emits far infrared rays at the timing of scanning the detection position 17 in the cycle of the reference signal Hsync shown in FIG.
  • the FIR radiation unit 11 is turned on, for example, at the timing shown in FIG. 6 under the control of the radiation control unit 10 according to the timing information generated by the timing / address generation unit 5, and far infrared rays are transmitted while T_MODE is ON. Radiate multiple times. Thereby, the detection position 17 is heated, and as shown in FIG. 6, the heating amount becomes larger than the heat radiation amount, and the temperature rises by 0.2 ° C. in one second. That is, in the case shown in FIG. 6, 0.2 ° C. is the rising difference temperature.
  • the temperature at the detection position 17 is maintained until the radiation time presented in the sensory presentation condition (2 seconds in the case shown in FIG. 6) has passed (the state of KEEP of T_MODE shown in FIG. 6). .
  • the FIR radiation unit 11 is turned on by the control by the radiation control unit 10 according to the timing information generated by the timing / address generation unit 5 and radiates far infrared rays a plurality of times while T_MODE is KEEP. Thereby, as shown in FIG. 6, the heating amount and the heat radiation amount coincide with each other, and the temperature of the detection position 17 is maintained.
  • the number of far-infrared rays emitted from the FIR radiation unit 11 while T_MODE is KEEP is smaller than the number of times that T_MODE is on.
  • the amount of heating is controlled by the number of times of radiation, but may be controlled by the energy amplitude of far infrared rays emitted from the FIR radiation unit 11.
  • FIG. 7 is a flowchart illustrating an operation example related to the sensory presentation of the sensory presentation device 1.
  • the operating body here is a fingertip that is a part of the object 16 that is the hand of the operator, and is simply “object” in the flowchart shown in FIG. 7.
  • the object detection sensor 6 when the object detection sensor 6 does not detect the operating body (S701 / NO), the process ends without executing the operation related to the sensory presentation.
  • the object detection sensor 6 detects the operating tool (S701 / YES)
  • the object information generating unit 7 generates object information of the operating tool detected by the object detecting sensor 6 (S702).
  • the radiation determination unit 8 radiates the radiation beam 14 to the position where the operating body is detected based on the generated object information and preset sensory information. It is determined whether or not (S703). For example, when the detected operating body is at the detection position 17 shown in FIGS. 1 and 3 and the sensory information shown in FIG. 5A is used, the radiation determination unit 8 determines the position where the operating body is detected. It is determined that the radiation beam 14 is emitted.
  • the radiation determination unit 8 determines that the radiation beam 14 is not emitted (S703 / NO), the process ends without performing subsequent operations relating to sensory presentation.
  • the radiation control part 10 acquires the present temperature information of the detection position 17 (S704).
  • the radiation control unit 10 that has acquired the temperature information refers to the sensory presentation conditions stored in the information storage unit 9 and performs FIR control according to the timing information with the radiation intensity that increases the temperature difference from the acquired temperature information.
  • the unit 11 is controlled to emit far infrared rays (S705).
  • the radiation control unit 10 controls the FIR control unit 11 to emit far-infrared until the predetermined time included in the sensory presentation condition has elapsed after the FIR control unit 11 radiates far-infrared (S706 / NO). (S705).
  • the radiation control unit 10 stops the emission of far infrared rays by the FIR control unit 11 (S707).
  • the sensation presentation device 1 when the sensation presentation device 1 according to the present embodiment detects an operating body in the sensation presentation area 15, it emits a far-infrared radiation beam 14 at that position according to the position at which the operating body is detected. To do. Thereby, the far-infrared rays that hit the fingertip of the operator, which is an example of the operating body, are absorbed by the skin surface, and the cells are vibrated to stimulate the fingertip to generate heat. The operator recognizes the change in temperature by igniting the nerve receptors on the skin surface by fever and transmitting them to the brain. Here, when the operator replaces this change in temperature with another perception such as tactile sensation, pseudo tactile sensation presentation is realized.
  • the sensation presentation device 1 selects a material for presenting a predetermined sensation like a conventional device that ejects liquid or gas to a finger or the like to present a sense of force. There is no need to refill or replenish materials, and maintenance is good. Further, for example, the sensation presentation device 1 according to the present embodiment does not contaminate the finger with the presentation of the sensation unlike the conventional device that ejects liquid onto the finger and presents a sense of force.
  • the sensory presentation device 1 according to the present embodiment is configured to radiate a far-infrared radiation beam to the sensory presentation region, and vibration during jetting of gas or liquid becomes a noise source as in a conventional device. There is nothing. Further, for example, the sensory presentation device 1 according to the present embodiment is configured to radiate a far-infrared beam to the sensory presentation region, and it is not necessary to increase the sensory presentation configuration according to the size of the sensory presentation region. Miniaturization is possible. In addition, the sensory presentation device 1 according to the present embodiment can transmit or absorb far infrared light even if the operator wears gloves or the fingertips are dirty. Sense presentation is possible. In addition, according to the present embodiment, far-infrared rays are radiated only to the sense presentation position of the operating body, so that power saving can be realized.
  • the far infrared ray is described as an example of the far infrared ray of 4 ⁇ m to 15 ⁇ m.
  • Far-infrared light is a wavelength component that is sufficiently absorbed at a position shallower than the receptor position on the surface of the skin, and radiant energy is necessary to ignite nerve receptors on the skin surface. It is sufficient if it is sufficient.
  • the radiant energy may be of an energy level that allows the sun to feel warm when the palm of the hand is touched.
  • the FIR radiation unit 11 may radiate any wavelength component from the visible light region to the microwave region that can be presented with light or heat through a space.
  • the wavelength component is selected in consideration of the presence or absence of external interference such as various safety standards and communication applications.
  • the far-infrared light may be a semiconductor laser, or an LED (Light Emitting Diode) or a carbon heater as an incoherent radiator.
  • high-speed radiation switching by the FIR radiation unit 11 is controlled by, for example, an electric diffraction element.
  • a 10 ⁇ m wavelength component may be separated from the far-infrared light using a diffractive element, and the radiation direction may be aligned and condensed by a concave mirror.
  • processing is performed using a diffraction element that can electrically control diffraction conditions. If it is visible light, a semiconductor laser and LED are desirable.
  • FIG. 8 is a diagram illustrating sensory presentation conditions corresponding to the radiation state of the radiation beam 14 with respect to the scanning direction of the sensory presentation region 15 and the biaxial peristaltic mirrors 2 and 3.
  • FIG. 8A is a diagram exemplifying sensory presentation conditions when the radiation beam 14 is emitted in the front direction with respect to the scanning direction of the sensory presentation region 15 and the biaxial oscillating mirrors 2 and 3.
  • FIG. 8B is a diagram illustrating sensory presentation conditions when the radiation beam 14 is irradiated obliquely with respect to the scanning direction of the sensory presentation region 15 and the biaxial peristaltic mirrors 2 and 3.
  • the scanning range and the sensation presentation area 15 are trapezoidal, so that the sensation presentation conditions in the area are not uniform. Therefore, when the timing / address generation unit 5 reads the information stored in the information storage unit 9, the radiation control unit 10 controls the reading order of DATA so that the sense presentation conditions can be made uniform, or the FIR radiation The radiation output of the unit 11 may be controlled.
  • the sensation presentation device 1 may include a temperature detection unit that detects the temperature of the fingertip of the operator.
  • the radiation control unit 10 determines the radiation condition based on the temperature information of the fingertip detected by the temperature detection unit in addition to the above-described scanning position address fir_add, position information wr_add, and sensory presentation condition DATA.
  • the temperature detection unit is realized by a visible / infrared camera, a thermopile that detects radiant energy from an irradiated object, or the like.
  • the FIR radiation unit 11 can efficiently radiate far infrared rays based on the current temperature of the fingertip.
  • FIG. 9 is a diagram illustrating a configuration of the operation processing device 20.
  • the operation processing device 20 has a configuration in which an operation processing unit 43 is added to the configuration of the sense presentation device 1 illustrated in FIG. 1.
  • the sense presentation area 15 is an area for detecting an operation such as a gesture input.
  • the operation processing unit 43 acquires the object information of the operating tool detected by the object detection sensor 6, detects the operation in the sensory presentation area 15 from the position information included in the object information, and performs processing for the detected operation. Specifically, for example, the operation processing unit 43 determines the operation pattern in advance by moving or rotating the operator's hand or finger in the up / down / left / right and depth directions so as to cross / block the operation detection area. Detected as an operation The motion pattern is determined in advance by, for example, the direction and number of movements of hands and fingers, a combination thereof, and the like.
  • the input operation may be an operation of operating a slide switch, toggle switch, volume knob, push switch, or the like.
  • FIG. 10 is a diagram illustrating the sensory presentation area 15 in the second embodiment.
  • operation detection areas 8 ⁇ 8 areas
  • Embodiment 1 With the configuration described in, a pseudo tactile sensation due to heat is presented to the operating body. That is, the sensory information in this case includes sensory presentation conditions in which the radiation beam 14 is emitted at the position of the operation detection region.
  • the sensation presentation area 15 can be used as a pointer or marker that is a source of input, and the operator's vision can be released.
  • the device since the operation area can be presented in the space, the device does not require a special structure such as an operation panel, and the freedom of the operation environment can be improved at the same time as the device is downsized. Above all, the operation unit is a space and does not become a cause of failure. Further, when an unspecified number of people come into contact with the operation processing device 20, it is not necessary to touch a place touched by a person. Moreover, according to this embodiment, non-contact and confidential communication transmission can be realized.
  • the 8 ⁇ 8 area from the center is described as the operation detection area.
  • the operation detection area may be fixed or changed according to the situation.
  • the operation processing unit 43 changes the sensory information according to the response operation to the operation, and gives the operator a sense based on the changed sensory information so that the operator can recognize the response to the operation. It may be.
  • the sensory information is changed so that the radiation ON / OFF of the radiation beam is different for each time series.
  • each sensation presentation area may correspond to each key of the keyboard and accept keyboard operations.
  • FIG. 11 is a diagram illustrating a configuration of the image display device 22.
  • the image display device 22 has a configuration in which an image generation unit 44 and an LCD (Liquid Crystal Display) 31 are added to the configuration of the operation processing device 20 shown in FIG. 9.
  • FIG. 12 is a diagram illustrating an example of a floating image. As shown in FIG. 12, the image displayed on the LCD 31 is displayed as a floating image in the recursive display area 32 in space by the recursive optical element 30. This will be specifically described below.
  • the recursive optical element 30 has a plurality of pairs of pinhole reflecting portions formed in a planar shape, each having a pinhole at the zenith and two elliptical hemispherical reflecting portions facing each other on the inner surface.
  • This is a planar optical sheet (pinhole array) configured.
  • the light beam capturing range ⁇ of each pinhole is ⁇ 45 degrees with respect to the sheet vertical direction.
  • a two-dimensional original image 33 is displayed on an LCD 31 which is a liquid crystal display having a screen size of 15 inches as an object or an image display unit that emits scattered light in two or three dimensions.
  • the position of the surface object with respect to the LCD 31 and the recursive optical element 30 is a recursive display area 32 (15 inches in this embodiment).
  • a part of the scattered light emitted from the original image 33 of the LCD 31 is recursed and condensed in the recursive display area 32 to form a floating image 34 which is a virtual image, and then rediffused.
  • the biaxial peristaltic mirrors 2 and 3 and the object detection sensor 6 are arranged so that the sensation presentation area 15 coincides with the entire or partial area of the recursive display area 32. That is, the sensory presentation area in the present embodiment is an image display area that is an area for displaying an image.
  • the 11 generates an image displayed on the LCD 31 and sensory information based on drawing data input from an external PC or the like.
  • the sensory information is generated based on the content of the image displayed on the LCD 31.
  • the sensory presentation condition for the edge position of the image is set to emit the radiation beam 14.
  • the sensory presentation condition may be set such that the rising difference temperature changes in accordance with the density (intensity) of colors such as graphics and characters constituting the image.
  • the sensory presentation condition of the position constituting the character “3” displayed in the original image 33 is set to emit the radiation beam 14.
  • FIG. 12 when the fingertip of the operator who is the operating body is at the detection position 17, a part 34 a of the floating image 34 of the character “3” is displayed at the detection position 17.
  • a pseudo tactile sensation due to heat is presented to the operating body.
  • FIG. 13 is a diagram illustrating the positional relationship between the operator's eyes and the image display device 22.
  • the diffused light 35, 36, 39 of the character 33a representing "3" in the original image 33 is converted into the retrodiffused light 37, 38, 40 by the recursive optical element 30, and the virtual image 34a is formed.
  • the light becomes re-diffused light 38 and 40 and enters the left and right eyes 41 and 42.
  • the virtual image 34a shown in FIG. 13 and the detection position 17 correspond, a sense is shown with respect to an operator.
  • the virtual image 34a is a light emission image
  • the black display is a non-light emission, that is, a transmission region.
  • the floating image 34 shown in FIG. 12 is merely an example, and may be an image showing a visual change or a change linked to an image operation. Specifically, for example, steam or cold, various switches, characters, photographs, pictures, marks, cash, products, etc., can be displayed, and the floating image 34 is a virtual image of an entity. Also good. In addition, when dealing with cash images, it shall be operated based on the laws of each country. Further, for example, the floating image 34 displayed in the sensation presentation area 15 may be a marker, a button, or a joystick, and the gesture input shown in FIG. May be.
  • the floating image 34 is a button image
  • a sensory presentation condition in which the radiation beam 14 is emitted at the position of the button image is set. Therefore, when the button image is pressed with the fingertip of the operator, a sense is presented to the fingertip.
  • the operator visually perceives the floating image 34 and at the same time perceives it with a sense of presence similar to that of the entity by touching with a finger. be able to. Further, according to the image display device 22 according to the third embodiment, when the operator tries to match the adjustment and the convergence to the floating image 34, the sense can be used as a mark, and the viewpoint can be easily aligned.
  • the display content of the LCD 31 may be changed in conjunction with the operation with the fingertip on the floating image 34.
  • the operation processing unit 43 outputs information on drawing data to be displayed on the LCD 31 to the image generation unit 44 based on the operation detected in the sense presentation area 15.
  • the image generation unit 44 changes the sensory information in conjunction with the change of the display content.
  • a predetermined motion such as the floating image 34 expanding and contracting or vibrating may be expressed at the same time as the sense is presented.
  • the floating image 34 is a button switch
  • the button switch image is displayed so as to expand and contract or move in the depth direction, up and down, left and right in conjunction with the gesture input operation shown in FIG. May be.
  • the recursive optical element 30 is used as an example of the method for displaying the floating image 34 .
  • this is merely an example, and any of a light regenerative display and a half mirror method, such as a retroreflective sheet, a reflex display method of a half mirror or an orthogonal mirror array type, a 2-multi-parallax stereoscopic TV, etc.
  • a light regenerative display and a half mirror method such as a retroreflective sheet, a reflex display method of a half mirror or an orthogonal mirror array type, a 2-multi-parallax stereoscopic TV, etc.
  • the floating image 34 may be configured to be disposed in the immediate vicinity of the display surface of the projection image such as a direct view monitor such as the LCD 31, a projection TV, or a projector.
  • the floating image 34 is not only a video image but also a variety of images such as a photographic image and a light source such as an LED, and any image that is a target of sensory presentation related to display contents does not depart from the present invention.
  • the operation processing device 20 includes the configuration of the sensation presentation device 1
  • the image display device 22 includes the configuration of the operation processing device 20.
  • the sensory presentation device 1 the operation processing device 20 including a configuration related to operation processing
  • the image display device 22 including a configuration related to image display may be configured as separate devices.
  • Embodiment 4 Next, a fourth embodiment of the present invention will be described.
  • the configuration of the sensory presentation device 1, the operation processing device 20, the image display device 22, and the like described above is applied to an automated teller machine (ATM) as an example of various devices. Will be described.
  • ATM automated teller machine
  • FIG. 14 is a diagram illustrating the configuration of the ATM 50 to which the sensory presentation device 1 according to this embodiment is applied.
  • the ATM 50 includes a card slot 51 for inserting a cash card, a bankbook slot 52 for inserting a bank book, a cash slot 53 for taking in and out cash, a display unit 54 for displaying an operation screen of the ATM 50, and the like.
  • the floating image 34 is displayed by the configuration described in the third embodiment.
  • the floating image 34 in the ATM 50 is, for example, a substance or an image of money or banknotes displayed at the time of deposit operation or transfer operation.
  • a transfer operation when an operator of the ATM 50 moves a cash image of money or banknotes displayed as the floating image 34 with the finger 16, a sense of heat is presented to the finger 16.
  • a sensory presentation area 15 in space is provided as an area for inputting a personal identification number by a gesture or the like.
  • the sensation presentation area 15 is realized by the configuration described in the second embodiment, and when the operator's finger 16 is detected in the sensation presentation area 15, a pseudo tactile sensation is presented to the finger 16 by heat. .
  • the operator can recognize the sensation presentation area 15 when the sensation is presented, and can input a password using a gesture or the like in the sensation presentation area 15.
  • the operator is alerted by obtaining a sense of handling cash from the sense of realism of the money image when depositing and transferring money by the operator, and operational safety and remittance
  • the deterrent effect can be improved.
  • the operator can input a personal identification number with a gesture or the like in the sensory presentation area 15, so that the confidentiality of the input content can be improved, and the personal identification number can be seen by others. Etc. can be prevented.
  • the sensation presentation is also a mark in the spatial area, so that the operator can easily recognize the sensation presentation area 15. .
  • Embodiment 5 a fifth embodiment of the present invention will be described.
  • the configuration of the sensory presentation device 1, the operation processing device 20, the image display device 22, and the like described above is an automatic ticket-issuing machine / vending machine (hereinafter referred to as “vending machine”) as an example of various devices. The case where it applies to is demonstrated as an example.
  • vending machine an automatic ticket-issuing machine / vending machine
  • FIG. 15 is a diagram illustrating the configuration of a vending machine 60 to which the sensory presentation device 1 according to this embodiment is applied.
  • the vending machine 60 includes a cash slot 61 for inputting cash, a product slot 62 for taking out purchased products, and a display unit 63 for displaying products sold.
  • the floating image 34 is displayed by the configuration described in the third embodiment.
  • the floating image 34 in the vending machine 60 is, for example, an image of a product being sold.
  • a pseudo tactile sensation in which the temperature is changed according to the unevenness of the product is presented to the operator's finger 16.
  • the product is a drink, for example, by changing the temperature to be presented depending on whether it is a hot drink or a cold drink, the operator can experience the warmth of the product in a simulated manner.
  • the operator can experience the features of the product in a pseudo-realistic manner, so that convenience when selecting the product can be improved.
  • an image of the operation unit such as a marker, a button, and a joystick is displayed as the floating image 34, and the operator operates the operation unit by flipping the operation unit in the horizontal and vertical directions. May be.
  • a cash image is displayed as a floating image so that a sense of sensation is presented when paying for a price or receiving a change like the ATM 50 described above. It may be.
  • Embodiment 6 demonstrates as an example the case where the structure of the sensory presentation apparatus 1, the operation processing apparatus 20, the image display apparatus 22, etc. which were mentioned above is applied to portable terminal devices, such as a smart phone, as an example of various apparatuses.
  • FIG. 16 is a diagram illustrating a configuration of a mobile terminal device 70 to which the sensory presentation device 1 according to this embodiment is applied.
  • the mobile terminal device 70 includes a display operation unit 71 that accepts image display and operation input.
  • the floating image 34 is displayed with the configuration described in the third embodiment.
  • the floating image 34 in the mobile terminal device 70 is an operation screen of the mobile terminal device 70, for example.
  • Embodiment 7 demonstrates as an example the case where the structure of the sensory presentation apparatus 1, the operation processing apparatus 20, the image display apparatus 22, etc. which were mentioned above is applied to HMD (Head Mounted Display) as an example of various apparatuses.
  • HMD Head Mounted Display
  • FIG. 17 is a diagram illustrating the configuration of the HMD 80 to which the sensory presentation device 1 according to this embodiment is applied.
  • the HMD 80 is, for example, a glasses type, and includes a display operation unit 81 that receives image display and operation input.
  • the image displayed on the display operation unit 81 is also displayed on the virtual image area 82 in space.
  • the virtual image area 82 and the sensory presentation area 15 are displayed so as to overlap each other with the configuration described in the third embodiment.
  • an operator's finger or the like performs an operation in the sensation presentation area 15, a pseudo tactile sensation due to heat is presented to the operator's finger or the like in accordance with the operation.
  • the sensation presentation device 1 or the like into the HMD 80, when an input operation is detected using an area in the space around the HMD 80, it is simulated that an operator's finger enters the area where the input operation is detected. A tactile feel is presented. Therefore, the operator can obtain the same feeling as when operating by touching the HMD 80, and the convenience of the operator can be improved while improving the degree of freedom in designing the HMD 80.
  • the case where the virtual image area 82 and the sensory presentation area 15 are displayed in an overlapping manner has been described as an example.
  • the virtual image area 82 and the sense presentation area 15 may be displayed at different positions.
  • sensory presentation based on information in which each position in the virtual image area 82 and each position in the sensory presentation area 15 are associated in advance is performed.
  • the position where the sensory presentation area 15 is displayed can be freely determined according to the operability of the HMD 80.
  • the case where the virtual image area 82 and the sensory presentation area 15 are displayed in the space has been described as an example.
  • only the sensation presentation area 15 may be displayed in the space by the configuration of the second embodiment or the like.
  • Embodiment 8 demonstrates as an example the case where the structure of the sensory presentation apparatus 1, the operation processing apparatus 20, the image display apparatus 22, etc. which were mentioned above is applied to a wristwatch-type terminal device as an example of various apparatuses.
  • FIG. 18 is a diagram illustrating a configuration of a wristwatch type terminal device 83 to which the sensory presentation device 1 according to the present invention is applied.
  • the wristwatch type terminal device 83 is a terminal device that is worn on the operator's arm 84 and includes a display operation unit 85 that receives image display and operation input.
  • a sense presentation area 15 in space is provided as an area for detecting an operation such as gesture input.
  • the sensation presentation area 15 is realized by the configuration described in the second embodiment, and when the operator's finger 16 is detected in the sensation presentation area 15, a pseudo tactile sensation is presented to the finger 16 by heat. . Further, when an operator's finger or the like performs an operation in the sensation presentation area 15, a pseudo tactile sensation due to heat is presented to the operator's finger or the like in accordance with the operation.
  • the sensory presentation device 1 and the like By incorporating the sensory presentation device 1 and the like into the wristwatch type terminal device 83 in this manner, when an input operation is detected using a space area around the wristwatch type terminal device 83, the input operation is detected. When the operator's finger enters, a pseudo tactile sensation is presented. Therefore, the operator can obtain the same feeling as when touching and operating the wristwatch type terminal device 83, and the convenience of the operator is improved while improving the freedom of design of the wristwatch type terminal device 83. Can do.
  • the case where only the sensory presentation area 15 is displayed in the space has been described as an example, but this is an example, and the image displayed on the display operation unit 85 of the wristwatch type terminal device 83. However, it may be displayed on the space as a floating image by the configuration of the third embodiment or the like. At that time, the floating image and the sensory presentation area 15 may be displayed so as to overlap each other, or may be displayed at another position.
  • each device according to Embodiments 4 to 8 above is an example, and any device that can provide operation support according to the purpose by incorporating the sensory presentation device 1, the operation processing device 20, and the image display device 22 is used. Any device may be used.
  • the device on which the sensory presentation device 1 or the like is presented is a device that can be conveniently provided by an interface with a person, such as a car operation unit, a bicycle or an audi, a unicycle, a human assist robot, a robot, a medical device, or a medical care bed. is there.
  • FIG. 19 is a diagram illustrating a configuration of the sensation presentation device 1 according to the ninth embodiment.
  • the sensory presentation device 1 according to the ninth embodiment replaces the biaxial peristaltic mirrors 2 and 3 of the sensory presentation device 1 shown in FIG.
  • This is a configuration in which the scanning drive control unit 4, the timing / address generation unit 5, and the information storage unit 9 are excluded from the configuration of the apparatus 1.
  • the case where the radiation control unit 10 holds the sensory information stored in the information storage unit 9 in the first embodiment will be described as an example.
  • the information storage unit 9 is configured as the sensory presentation device 1.
  • the information may be stored in the information storage unit 9 as in the first embodiment.
  • the sensory presentation device 1 according to the ninth embodiment is different from the sensory presentation device 1 according to the first embodiment when the FIR radiation unit 11 emits far infrared rays, a predetermined position (detected position in the case shown in FIG. 19).
  • the radiation beam 14 is emitted limited to a predetermined range including 17). That is, the radiation beam 14 is emitted limited to one of the sensory presentation units shown in FIG.
  • the radiation determination unit 8 determines that the radiation beam 14 is emitted to the detection position 17 when the position included in the object information input from the object information generation unit 7 matches the detection position 17. To do.
  • the sensation presentation device 1 can be further downsized. Also, with such a configuration, the radiation time of the radiation beam 14 per unit time increases, so that the radiation energy of the FIR radiation unit 11 can be reduced.
  • 100 sensation presentation units included in the sensation presentation area 15 illustrated in FIG. 3 are emission targets of the radiation beam 14, whereas in this embodiment, only one sensation presentation unit is present. Since the radiation beam 14 is a radiation target, the emission energy can be reduced to 1/100.
  • the radiation control unit 10 expands the beam diameter shown in FIG. 2 to the size of one sensory presentation unit (for example, the length of one side is 5 mm) so that the radiation beam 14 covers one sensory presentation unit.
  • the radiation intensity of the FIR radiation unit 11 may be controlled.
  • the size of the region where the radiation beam 14 is emitted is the size of the sensory presentation unit shown in FIG. 2, but this is an example, and the size of the detection position 17 depends on the application. May be set.
  • the radiation control unit 10 may adjust the radiation beam diameter and the emission energy in which the size of the detection position 17 is set.
  • FIG. 20 is a diagram illustrating the configuration of the sensory presentation device 1 according to the tenth embodiment.
  • the sensation presentation device 1 according to the tenth embodiment has the same configuration as that of the sensation presentation device 1 shown in FIG. 1, but the object information generation unit 7 according to the tenth embodiment
  • the detection position 17 (tg_posi) included in the generated object information is output to the scanning drive control unit 4.
  • the biaxial swinging mirrors 2 and 3 according to the present embodiment are different from the biaxial swinging mirrors 2 and 3 according to the first embodiment in that both the H axis and the V axis swing in the non-resonant mode.
  • the scanning drive control unit 4 according to this embodiment adjusts the tilts of the biaxial peristaltic mirrors 2 and 3 so that the radiation beam 14 is always emitted to the detection position 17 included in the object information input from the object information generation unit 7. Change in non-resonant mode.
  • the radiation beam 14 is always emitted to the operating body detected in the sensory presentation area 15, and it is not necessary to radiate the radiation beam 14 at the timing based on the reference signal. 11 radiant energy can be reduced.
  • FIG. 21 is a diagram illustrating the configuration of the sensation presentation device 1 according to the eleventh embodiment.
  • the sensation presentation device 1 according to the eleventh embodiment has a configuration of the sensation presentation device 1 shown in FIG. 1 with two-axis peristaltic mirrors 2 and 3 and ⁇ 7 degrees for each H / V axis. It is the structure which added the movable part 19 which gives an inclination within the range.
  • the object information generation unit 7 according to the eleventh embodiment outputs the detection position 17 (tg_posi) included in the generated object information to the scanning drive control unit 4.
  • the scanning drive control unit 4 moves the detection position 17T after the movement.
  • the movable part 19 is driven according to the above.
  • region 15 moves to the sensory presentation area
  • the scanning range of the radiation beam 14 is a maximum of ⁇ 14 / ⁇ 14, and the area of the sensory presentation region 15 is quadrupled. It becomes.
  • Such a configuration makes it possible to expand the area of the sensory presentation area 15 without changing the radiation capability of the FIR radiation unit 11.
  • the case where there is one configuration for sensory presentation such as the sensory presentation region 15 and the object detection sensor 6 is described as an example.
  • the intensity of the far infrared rays radiated to the detection position 17 can be increased even if the radiation intensity of the far infrared rays for each sensory presentation area 15 is weak. .
  • the sensory information according to the first to eleventh embodiments may be set so as to give a desired temperature difference to the temperature distribution in the sensory presentation area 15.
  • the sensory presentation device 1 may include an adjustment mechanism that dynamically adjusts the far-infrared beam focal length emitted by the FIR radiation unit 11 using a liquid lens or the like. With such an adjustment mechanism, it becomes possible to radiate a radiation beam with higher accuracy in accordance with the depth of the sensory presentation area 15.
  • a defocused beam may be emitted to a finger or a region that is not the target of sensory presentation to suppress a thermal reaction.
  • the sensory presentation area 15 in the first to eleventh embodiments may be the palm or the entire back of the hand.
  • the biaxial peristaltic mirrors 2 and 3 scan the palm and the back of the hand.
  • the FIR radiation unit 11 radiates far infrared rays to the palm or the like so as to represent a stroke of a picture or a character.
  • a thermal sensation is given to the palm or the like, and a picture or character written with a single stroke can be recognized. With such a configuration, it is possible to transmit information while maintaining confidentiality without contact.
  • the case where the radiation beam 14 is emitted to the detection position 17 where one fingertip of the operator is detected has been described as an example.
  • a plurality of fingertips may be detected and the radiation beam 14 may be emitted to the plurality of detection positions 17.
  • the fingertip of the operator is described as an example as the target of the sensation presentation.
  • a two-dimensional image has been described as an example, but a three-dimensional image may be a target for sensory presentation.
  • the object information and sensory information include information related to depth.
  • a red light beam is applied to the fingertip so that the red light beam diffuses inside the fingertip and the fingertip shines. Also good.
  • the operator can easily recognize that the fingertip is detected.
  • the fingertip shines, so that the operator can easily recognize that the operation is performed in the sensation presentation area 15 with the fingertip shining as a mark. can do.
  • the operation mark may be printed.
  • the sensation presentation area 15 may be provided on the space around the surface of the entity (pot, pot, kettle, faucet, etc.) in a high temperature state.
  • the radiation beam 14 is emitted to the fingertip.
  • various operations such as a light marker and light guide of a guide device, a flush button of a toilet, an automatic door opening / closing button, a POS (Point Of Sale) product presentation position, an elevator floor indication button, etc.
  • the sensation presentation device 1 may be applied to a device that accepts it. By applying the sensation presentation device 1 to such a device, the operator can easily recognize that the operation is detected.
  • the sensation presentation device 1 according to Embodiments 1 to 11 can be applied to game machines (pachinko, pachislot, games, etc.).
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • each of the above-described configurations, functions, processing units, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files that realize each function can be stored in a storage medium, storage, or the like.
  • the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Abstract

　空間上の所定の領域で行われる操作に応じて操作者に温度により感覚を与える感覚提示装置の利便性を向上すること。空間上の所定の領域において行われる操作に応じて操作者に温度により感覚を与える感覚提示装置であって、操作者が操作を行うための操作体を前記所定の領域において検知する操作体検知部と、操作体が検知された位置である検知位置に応じて検知位置を含む所定範囲に空間を介して熱を加える加熱部とを含むことを特徴とする。

Description

感覚提示装置、操作処理装置及び画像表示装置
　本発明は、感覚提示装置、操作処理装置及び画像表示装置に関する。
　本技術分野の背景技術として、国際公開第２００６／０６４６１５号（特許文献１）がある。特許文献１では、「受容体の位置又は向きに応じて気体又は液体を噴出手段の噴出口から噴出させ該受容体に当てることにより該受容体を介して操作者に力覚を提示する力覚提示方法が開示される。当該力覚提示方法では、前記受容体に中心部から外側に向けて前記受容体の軸線に対して傾斜した形状をなす傾斜側面部を設け、該傾斜側面部に対して前記気体又は液体を噴出することにより、前記受容体に対して、前記気体又は液体の噴出方向に垂直な方向の成分を含んだ力を与える。」と記載されている。
国際公開第２００６／０６４６１５号
　空間上に画像を表示する画像表示装置において、空間上に表示された画像を目で見て知覚するだけでなく、実体を触った場合と同じような臨場感のある触感及び力覚等を利用者に対して与えることが望まれている。また、空間上の所定の領域においてジェスチャ入力等の操作を認識して処理する操作処理装置においても同様に、操作者に対して操作が認識されていることを所定の感覚として与えることが望まれている。
　これを実現する方法として提案されている上記特許文献１に開示された技術が提案されているが、上記特許文献１に開示された技術により実現する装置は、メンテナンス性、使用方法等の観点から利便性が悪い。具体的には、例えば、特許文献１に開示された技術では、気体や液体を装置の利用者の指等に噴出して力覚を提示するので、噴出される気体や液体の種類を選択したり補充をしたりする必要がある。また、特許文献１に開示された技術では、装置の利用者の指等に液体が噴出されると指が汚れてしまうという問題がある。
　本発明は、このような課題を解決するためになされたものであり、空間上の所定の領域で行われる操作に応じて操作者に所定の感覚を与える感覚提示装置の利便性を向上することを目的とする。
　上記課題を解決するために、本発明は例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する構成要素を複数含んでいるが、その一例を挙げるならば、操作者が操作を行うための操作体を空間上の所定の領域において検知し、操作体が検知された位置である検知位置に応じて検知位置を含む所定範囲に熱を加えることを特徴としている。
　本発明によれば、空間上の所定の領域で行われる操作に応じて操作者に所定の感覚を与える感覚提示装置の利便性を向上することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の実施形態１に係る感覚提示装置の構成を例示する図である。 本発明の実施形態に係るＦＩＲ放射部から放射された遠赤外線のビームサイズを例示する図である。 本発明の実施形態に係る感覚提示領域を例示する図である。 本発明の実施形態に係る感触提示に関連する各値を例示する図である。 本発明の実施形態に係る感覚情報を例示する図である。 本発明の実施形態に係る対象位置で指先が検知された場合における放射制御部による制御状態と対象位置の温度変化との関係を例示する図である。 本発明の実施形態に係る感覚提示装置の感覚提示に関する動作例を示すフローチャートである。 本発明の実施形態に係る感覚提示領域及び２軸搖動ミラーの走査方向に対する放射ビームの放射状態に応じた感覚提示条件を例示する図である。 本発明の実施形態２に係る操作処理装置の構成を例示する図である。 本発明の実施形態２に係る感覚提示領域を例示する図である。 本発明の実施形態３に係る画像表示装置の構成を例示する図である。 本発明の実施形態に係る浮遊画像の態様を例示する図である。 本発明の実施形態に係る操作者の目と画像表示装置との位置関係を例示する図である。 本発明の実施形態に係る感覚提示装置等を適用したＡＴＭの構成を例示する図である。 本発明の実施形態に係る感覚提示装置等を適用した自動販売機の構成を例示する図である。 本発明の実施形態に係る感覚提示装置等を適用した携帯端末装置の構成を例示する図である。 本発明の実施形態に係る感覚提示装置等を適用したＨＭＤの構成を例示する図である。 本発明の実施形態に係る感覚提示装置等を適用した腕時計型端末装置の構成を例示する図である。 本発明の実施形態９に係る感覚提示装置の構成を例示する図である。 本発明の実施形態１０に係る感覚提示装置の構成を例示する図である。 本発明の実施形態１１に係る感覚提示装置の構成を例示する図である。
１．実施形態１
　以下、本発明の実施形態１を、図面を用いて詳細に説明する。実施形態１においては、空間上の所定の領域に表示された画像に触れたり、空間上の所定の領域においてジェスチャ入力したりする等の操作に応じて操作者に温度により感覚を与える感覚提示装置を例として説明する。
　図１は、本実施形態に係る感覚提示装置１の構成を例示する図である。図１に示すように、感覚提示装置１は、２軸搖動ミラー２、３、走査駆動制御部４、タイミング／アドレス生成部５、物体検知センサ６、物体情報生成部７、放射判定部８、情報記憶部９、放射制御部１０、ＦＩＲ（Ｆａｒ　Ｉｎｆｒａｒｅｄ　Ｒａｙｓ）放射部１１及びビーム成型部１２を含む。
　２軸搖動ミラー２、３は、Ｈ軸及びＶ軸の２軸で搖動し、後述するビーム成型部１２から放射される放射ビーム１３を反射させる。なお、本実施形態においては、Ｖ軸方向の振動を図１に示した上下方向（図１に示したｙ軸方向）の振動（以降、「Ｖ振動」とする）とし、Ｈ軸方向の振動を図１に示した左右方向（図１に示したｘ軸方向）の振動（以降、「Ｈ振動」とする）とする。
　また、Ｈ振動は共振モード、Ｖ振動は移動期間と保持期間とからなら非共振モードで搖動動作し、Ｈ振動はＶ振動に比べて十分早く動作する。例えば、２００点×２００ライン相当が２５Ｈｚの更新速度で表示される場合、Ｈ振動は２．８ｋＨｚ、Ｖ振動は２５Ｈｚで動作し、２軸搖動ミラー２、３は、後述するＦＩＲ放射部１１を約１．２５ＭＨｚで変調駆動する関係となる。なお、２軸搖動ミラー２、３のＨ／Ｖｓｅｎｓｏｒ信号は、各軸の傾き角度に応じた振幅信号である。
　走査駆動制御部４は、図示しないマイコン制御により２軸搖動ミラー２、３を駆動するとともに、Ｈ／Ｖｓｅｎｓｏｒ信号により２軸搖動ミラー２、３の走査位置を特定し、基準信号Ｈ／Ｖｓｙｎｃを生成する。すなわち、走査駆動制御部４は、２軸搖動ミラー２、３の駆動を制御して放射ビーム１４をラスタ走査させる。走査駆動制御部４の制御によって放射ビームが走査する領域が、本実施形態において操作者に対して温度による感覚を提示する感覚提示領域１５である。なお、以降、「温度による感覚」を単に「感覚」とする。
　例えば、２軸搖動ミラー２、３のうちミラー２のミラー径がφ２の円状であり、振れ角がＨ／Ｖ軸それぞれ±７度／±７度（光学角度）であるとする。この場合、２軸搖動ミラー２、３から検知位置１７までの距離ＫＫが２００ｍｍであるとすると、感覚提示領域１５のサイズは５０ｍｍ×５０ｍｍである。また、例えば、距離ＫＫが１００ｍｍであり、感覚提示領域１５のサイズが５０ｍｍ×５０ｍｍとする場合、ミラー２の振れ角はＨ／Ｖ軸それぞれ±１４度／±１４度とする。検知位置１７は、感覚提示領域１５において物体１６（例えば、操作者の手）の一部分である操作を行う指先（以降、「操作体」とする）の位置である。
　タイミング／アドレス生成部５は、走査駆動制御部４により生成された基準信号Ｈ／Ｖｓｙｎｃに基づいて、例えば、それぞれ９０％時間を有効領域とする放射ビーム１４が走査する感覚提示領域１５における２００点×２００ラインの走査位置アドレスｆｉｒ＿ａｄｄを生成する。また、タイミング／アドレス生成部５は、生成した走査位置アドレスに対して放射ビーム１４が放射されるタイミング情報を生成する。タイミング情報の生成についての詳細は後述する。
　物体検知センサ６は、感覚提示領域１５において操作体の位置等を検知する操作体検知部である。具体的には、例えば、物体検知センサ６は、光の反射により物体を検知する光検知センサであり、感覚提示領域１５の範囲にレーザ光を出射し、操作体からの反射光を検知することで、操作体を検知する。反射光を検知した物体検知センサ６は、検知した反射光に基づいて物体検知センサ６から操作体までの距離を算出し、算出した距離及びレーザ光の出射方向に基づいて、感覚提示領域１５におけるどの位置をタッチしたかを認識する。すなわち、物体検知センサ６は、検知位置１７を取得する。
　物体情報生成部７は、物体検知センサ６により認識された物体１６までの距離及び検知位置１７を取得して、物体情報として生成する。なお、検知位置１７は、例えば感覚提示領域１５の左下の角の座標を（０，０）とした場合における座標情報とする。物体情報生成部７は、生成した物体情報を放射判定部８に対して出力する。
　放射判定部８は、物体情報生成部７から入力された物体情報及び感覚情報に基づいて、物体検知センサ６により検知された物体１６に対して放射ビーム１４を放射するか否かを判定する。感覚情報は、外部のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等から予め設定され、例えば、感覚提示領域１５における位置情報ｗｒ＿ａｄｄごとの感覚提示条件ＤＡＴＡを含む。感覚提示条件ＤＡＴＡは、例えば、その位置において放射ビーム１４を放射するか否か、放射する場合は放射する時間（放射時間）及び現在の温度から上昇させる差分温度（以降、「上昇差分温度」とする）等を示す情報である。
　具体的には、例えば、放射判定部８は、物体情報に含まれる検知位置１７と感覚情報に含まれる位置情報ｗｒ＿ａｄｄとが一致する位置の感覚提示条件ＤＡＴＡを取得する。そして、放射判定部８は、取得したＤＡＴＡが放射ビーム１４を放射することを示す場合、検知された検知位置１７に対して放射ビーム１４を放射すると判定する。放射判定部８は、放射ビーム１４を放射すると判定した位置の位置情報ｗｒ＿ａｄｄ及び感覚提示条件ＤＡＴＡを、情報記憶部９に記憶させる。
　情報記憶部９は、各種情報を放射制御部１０が参照可能に格納する記憶媒体である。具体的は、例えば、情報記憶部９は、タイミング／アドレス生成部５により生成された走査位置アドレスｆｉｒ＿ａｄｄ及び放射判定部８から入力された位置情報ｗｒ＿ａｄｄ及びＤＡＴＡを格納する。また、情報記憶部９は、放射判定部８からこれまでに入力された位置情報ｗｒ＿ａｄｄ、ＤＡＴＡ及び放射制御部１０による放射制御情報等を履歴情報（以降、「感覚提示履歴情報」とする）として格納する。
　放射制御部１０は、情報記憶部９に格納されている走査位置アドレスｆｉｒ＿ａｄｄ、位置情報ｗｒ＿ａｄｄ及び感覚提示条件ＤＡＴＡを参照して、ＦＩＲ放射部１１が遠赤外線を放射する放射強度及び放射時間等を示す放射条件を決定する。具体的には、例えば、放射制御部１０は、放射対象となる検知位置１７の現在の温度から感覚提示条件ＤＡＴＡに含まれる上昇差分温度分上昇させるための放射強度を決定する。現在の温度情報は、例えば、情報記憶部９に記憶されている感覚提示履歴情報から算出される。
　そして、放射制御部１０は、決定した放射条件及びタイミング／アドレス生成部５から入力されたタイミング情報に従って、ＦＩＲ放射部１１を制御する。放射制御部１０の制御によるＦＩＲ放射部１１の放射動作についての詳細は後述する。
　ＦＩＲ放射部１１は、放射制御部１０による制御に応じたタイミング、放射強度及び放射時間で、遠赤外線を放射する。放射ビーム１３は、皮膚への吸収性と皮膚内への伝達深度の特徴から、例えば、ピーク出力２１０ｍＷ、４μｍ～１５μｍの遠赤外線である。ビーム成型部１２は、例えば、凹面鏡で構成されて、ＦＩＲ放射部１１から放射された遠赤外線を集束して放射ビーム１３を出力する。
　図２は、ＦＩＲ放射部１１から放射された遠赤外線のビームサイズを例示する図である。図２（ａ）の横軸は距離を示し、ＦＩＲ放射部１１から放射された遠赤外線のビームが順に通過するビーム成型部１２、ミラー２及び検知位置１７を示す。すなわち、横軸の左端から右へいくほどＦＩＲ放射部１１からの距離が離れているものとする。したがって、横軸はＦＩＲ放射部１１から遠赤外線放射後の経過時間としてもよい。図２（ａ）の縦軸はビームサイズを示す。図２（ｂ）は、図２（ａ）の距離及びビームサイズに対応させたビーム形状の概念図を例示する図である。
　図２に示すように、まず、ＦＩＲ放射部１１から放射された遠赤外線ビームは、放射直後に広がり（ビーム径が大きくなり）、ビーム成型部１２で集束して放射ビーム１３として放射され、ミラー２の位置でφ２のビーム径で反射する。そして放射ビーム１３は焦点を成した後、放射ビーム１４として再度拡散し、検知位置１７でφ４のビーム径となる。
　このような構成により、集束した遠赤外線が検知位置１７にある指先に直接当たり、指先が急激に熱くなることを防止することができる。また、本実施形態に係る構成は、放射ビーム１４のビーム径が放射距離に応じて拡大するので、感覚提示領域１５を超えた位置ではエネルギが拡散して、後段への影響が低減される。なお、ＦＩＲ放射部１１から放射される赤外線が平行であれば、ビーム成型部１２は、ミラー２以降は同様の形状になるようビーム成型する。また、ＦＩＲ放射部１１から遠赤外線レーザが放射される場合、ビーム成型部１２は、コヒーレント性を拡散させる処理を施してもよい。
　以上の構成により、操作体（例えば、操作者の指先）が検知された検知位置１７に遠赤外線の放射ビーム１４が放射されることにより、検知位置１７にある指先を加熱することになる。すなわち、放射判定部８、放射制御部１０、ＦＩＲ放射部１１及びビーム成型部１２は、検知位置１７に応じて検知位置１７を含む所定範囲に熱を加える加熱部として機能する。これにより、操作者は、指先の温度変化を感じ、この温度変化により操作に対する擬似触感を得ることができる。擬似触感は、クロスモーダル（感覚間相互作用）を期待するものであり、例えば、風鈴の音色を聞くと涼しいと感じるように、温度変化を感じると接触感を感じることを期待するものである。
　次に、上述した構成により検知位置１７へ放射ビーム１４が放射されるまでの具体例を説明する。ここでは、検知位置１７にある操作体を指先とし、指先の皮膚として、表皮（約０．７ｍｍ）及び真皮（０．３～２．４ｍｍ程度）の約１ｍｍと、その近辺に存在する刺激の受容野とを対象とする。
　図３は、感覚提示領域１５を例示する図である。例えば、指先での刺激の弁別が２ｍｍ間隔であり、温点が０．４個／ｃｍ２であることから、図３に示すように、感覚提示領域１５は、領域サイズをサイズＨＷＤ×ＶＷＤ＝５０ｍｍ×５０ｍｍとし、一辺の長さＴＨＶ＝５ｍｍで１０×１０個の感覚提示単位に分割される。感覚提示単位の厚さＳＫは、波長４μｍ～１５μｍの遠赤外線がほぼ吸収される約０．１ｍｍとする。
　本実施形態に係る感覚提示は、皮膚直下の受容器を対象とするため、遠赤外線により皮膚を振動刺激して生じる熱が直接受容野（受容器）に到達・刺激する過渡応答である。もちろん実際には、ビーム強度分布や熱伝達係数や血流や周囲への放熱条件が考慮される。
　例えば、皮膚の比熱が０．８３ｋｃａｌ（ｋｇ・℃）とし、感覚提示単位面積ＴＤ＝２５ｍｍ２、容積ＴＤＷ＝２．５ｍｍ３、ＴＤあたりの感覚提示数ＤＤＮ＝２０点×２０ライン＝４００個である。したがって、遠赤外線のピーク出力が２１０ｍＷとすると、ＴＤの１秒辺りの総エネルギＤＤＷＮ＝０．００１７０１Ｗ、カロリー値ＤＤＷＮＣ＝０．０００４０６５３９ｃａｌ／ｓである。
　また、１秒間での温度変化（上昇）ＴＭＰＵＰは、ＤＤＷＮＣ／ＴＤＷ／比熱＝約０．２℃／ｓである。すなわち、約１秒で温度分解能の約０．２℃熱変化を提示する。図４は、熱変化による感覚提示に関連する各値を例示する図である。熱変化による感覚提示に関連する各値は、例えば図４に示す通りである。
　図５は、感覚情報を例示する図である。図５（ａ）に示すように、感覚情報は、図３に示した感覚提示領域１５の分割された感覚提示単位それぞれの感覚提示条件が定められている。例えば、黒色に塗りつぶされた感覚提示単位の位置で指先が検知された場合に、その位置に放射ビーム１４が放射されて加熱される。すなわち、検知位置１７に対して放射ビーム１４が放射されるとは、検知位置１７を含む所定範囲である感覚提示単位に対して放射ビーム１４が放射されることを意味する。図５（ａ）に示す場合、感覚提示領域１５を指先でＸ軸方向になぞっていくと、指先の加熱及び非加熱が交互に行われる。この温度変化を“凹凸”と定義することで、凹凸の擬似的な触感提示が実現される。
　また、図５（ｂ）は、図５（ａ）とは異なる感覚情報であり、図５（ｂ）に示す場合、感覚提示領域１５を指先でＹ軸方向になぞっていくと、指先の加熱及び非加熱が交互に行われる。例えばこの温度変化を“凹凸”と定義することで、凹凸の擬似的な触感提示が実現される。その他、例えばこの温度変化を接触対象の“材質違い”又は“硬さの違い”と定義することで、材質又は硬さ等の擬似的な触感提示が実現される。
　図６は、検知位置１７で指先が検知された場合における放射制御部１０による制御状態と検知位置１７の温度変化との関係を例示する図である。例えば、感覚提示領域１５において図５（ａ）に示した感覚情報が用いられる場合、操作者の指先が図３に示した検知位置１７で検知されると、図６に示した制御が行われる。
　図６に示した基準信号Ｖｓｙｎｃは、ＴＭＰＵＰにおける経過時間の一部を拡大したものであり、１周期（１Ｖ）が示されている。また、図６に示した基準信号Ｈｓｙｎｃは、Ｔ＿ＭＯＤＥにおけるＯＮ時間（検知位置１７の加熱時間）を拡大したものであり、１周期（１Ｈ）が繰り返し示されている。タイミング／アドレス生成部５は、図６に示した基準信号Ｈｓｙｎｃの周期において検知位置１７を走査するタイミングでＦＩＲ放射部１１が遠赤外線を放射するようタイミング情報を生成する。
　ＦＩＲ放射部１１は、タイミング／アドレス生成部５により生成されたタイミング情報に応じた放射制御部１０による制御により、例えば図６に示したタイミングでＯＮにされ、Ｔ＿ＭＯＤＥがＯＮの間、遠赤外線を複数回放射する。これにより、検知位置１７が加熱され、図６に示すように、放熱量よりも加熱量が大きくなり、１秒間で０．２℃上昇する。すなわち、図６に示した場合においては、０．２℃が上昇差分温度である。
　その後、感覚提示条件で提示されている放射時間（図６に示した場合においては２秒）が経過するまで、検知位置１７の温度が維持される（図６に示したＴ＿ＭＯＤＥのＫＥＥＰの状態）。同様に、ＦＩＲ放射部１１は、タイミング／アドレス生成部５により生成されたタイミング情報に応じた放射制御部１０による制御によりＯＮにされて、Ｔ＿ＭＯＤＥがＫＥＥＰの間、遠赤外線を複数回放射する。これにより、図６に示すように、加熱量と放熱量とが一致し、検知位置１７の温度が維持される。
　なお、Ｔ＿ＭＯＤＥがＫＥＥＰの間のＦＩＲ放射部１１からの遠赤外線の放射回数は、Ｔ＿ＭＯＤＥがＯＮの間の放射回数よりも少ない。本実施形態においては、加熱量を放射回数により制御するが、ＦＩＲ放射部１１から放射される遠赤外線のエネルギ振幅により制御してもよい。
　そして、感触提示条件で提示されている放射時間が経過すると、放射制御部１０の制御によりＦＩＲ放射部１１からの遠赤外線の放射が停止する（図６に示したＴ＿ＭＯＤＥのＯＦＦ状態）。これにより、加熱量よりも放熱量が大きくなり、検知位置１７の温度が下降する。なお、図６に示した場合においては、上昇差分温度が０．２℃、放射時間を２秒とする場合を例として説明したが、これは一例であり、これらの値は実施の用途に応じて設計する項目である。
　次に、感覚提示装置１の感覚提示に関する動作例を説明する。図７は、感覚提示装置１の感覚提示に関する動作例を示すフローチャートである。ここでの操作体は、操作者の手である物体１６の一部分である指先とし、図７に示したフローチャートにおいては、単に「物体」とする。
　図７に示すように、物体検知センサ６が操作体を検知していない場合（Ｓ７０１／ＮＯ）、感覚提示に関する動作が実行されることなく処理が終了する。一方、物体検知センサ６が操作体を検知した場合（Ｓ７０１／ＹＥＳ）、物体情報生成部７は、物体検知センサ６により検知された操作体の物体情報を生成する（Ｓ７０２）。
　物体情報生成部７により物体情報が生成されると、放射判定部８は、生成された物体情報及び予め設定された感覚情報に基づいて、操作体が検知された位置に放射ビーム１４を放射するか否かを判定する（Ｓ７０３）。例えば、検知された操作体が図１及び図３に示した検知位置１７にあり、図５（ａ）に示した感覚情報が用いられる場合、放射判定部８は、操作体が検知された位置に放射ビーム１４を放射すると判定する。
　放射判定部８が放射ビーム１４を放射しないと判定した場合（Ｓ７０３／ＮＯ）、感覚提示に関するその後の動作が実行されることなく処理が終了する。一方、放射判定部８が放射ビーム１４を放射すると判定した場合（Ｓ７０３／ＹＥＳ）、放射制御部１０は、検知位置１７の現在の温度情報を取得する（Ｓ７０４）。温度情報を取得した放射制御部１０は、情報記憶部９に格納されている感覚提示条件を参照して、取得した温度情報から上昇差分温度分上昇させる放射強度で、タイミング情報に応じてＦＩＲ制御部１１が遠赤外線を放射するよう制御する（Ｓ７０５）。
　そして、放射制御部１０は、ＦＩＲ制御部１１が遠赤外線を放射してから感覚提示条件に含まれる所定時間経過するまで（Ｓ７０６／ＮＯ）、ＦＩＲ制御部１１が遠赤外線を放射するよう制御する（Ｓ７０５）。一方、放射制御部１０は、ＦＩＲ制御部１１が遠赤外線を放射してから所定時間経過すると（Ｓ７０６／ＹＥＳ）、ＦＩＲ制御部１１による遠赤外線の放射を停止させる（Ｓ７０７）。
　なお、図７に示したフローチャートにおいては、操作体が感覚提示領域１５におけるある位置で検知された場合の処理のみを例として説明した。しかしながら、これは一例であり、感覚提示領域１５を操作体がなぞっている場合、操作体が移動した位置ごとに、図７に示した処理を繰り返し行ってもよい。
　以上説明したように、本実施形態に係る感覚提示装置１は、感覚提示領域１５において操作体を検知すると、操作体が検知された位置に応じて、その位置に遠赤外線の放射ビーム１４を放射する。これにより、操作体の一例である操作者の指先に当たった遠赤外線は、皮膚表面で吸収され、細胞を振動刺激して指先を発熱させる。発熱により皮膚表面の神経の受容体を発火させ、脳に伝達することで操作者は温度の変化を認知する。ここで操作者がこの温度の変化を別の知覚、例えば触感に置き換えることにより、擬似的な触感提示が実現される。
　このように、本実施形態によれば、空間上の所定の領域で行われた操作に応じて操作者に所定の感覚を与える感覚提示装置の利便性を向上することができる。具体的には、例えば、本実施形態に係る感覚提示装置１は、液体や気体を指等に噴出して力覚を提示する従来の装置のように所定の感覚を提示するための材料を選択したり材料を補充したりする必要がなく、メンテナンス性がよい。また、例えば、本実施形態に係る感覚提示装置１は、指に液体を噴出して力覚を提示する従来の装置のように感覚の提示で指が汚れることがない。
　また、例えば、本実施形態に係る感覚提示装置１は、感覚提示領域に遠赤外線の放射ビームを放射する構成であり、従来の装置のように気体や液体の噴射時の振動が騒音源となることもない。また、例えば、本実施形態に係る感覚提示装置１は、感覚提示領域に遠赤外線ビームを放射する構成であり、感覚提示領域の大きさに応じた感覚提示用の構成を大きくする必要がなく、小型化が可能である。また、本実施形態に係る感覚提示装置１は、操作者が手袋をしていたり指先が汚れていたりする場合であっても、手袋や汚れが遠赤外光を透過や吸収拡散するものであれば、感覚提示が可能である。また、本実施形態によれば、操作体の感覚提示位置にのみ遠赤外線が放射されるので、省電力化を実現できる。
　なお、上記実施形態においては、遠赤外線は、４μｍ～１５μｍの遠赤外線である場合を例として説明した。しかしながら、これは一例であり、遠赤外線は、皮膚表層の受容体位置より浅い位置で十分吸収される波長成分であって、放射エネルギは、皮膚表面にある神経の受容体を発火させる為に必要十分なものであればよい。例えば、放射エネルギは、太陽に手のひらを翳して温かいと感じるだけのエネルギ程度であればよい。
　また、本実施形態に係るＦＩＲ放射部１１が放射する光は遠赤外線である場合を例として説明した。しかしながら、これは一例であり、ＦＩＲ放射部１１は、空間を介して光提示や熱提示できる可視光領域からマイクロ波領域までのいずれの波長成分を放射してもよい。なお、波長成分は、各種安全規格や通信用途など外部との干渉有無に留意の上、選択される。また、ＦＲ放射部１１が放射する遠赤外線光は、炭酸ガスレーザ（波長：１０．６μｍ）である場合を例として説明した。しかしながら、これは一例であり、遠赤外線光は、半導体レーザでもよく、インコヒーレント放射体としてＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、カーボンヒータでもよい。また、ＦＩＲ放射部１１による高速な放射切替は、例えば、電気回折素子により制御される。
　遠赤外線光がインコヒーレントな波長を発するカーボンヒータであれば、回折素子を利用し１０μｍの波長成分を遠赤外線光から分離し、放射方向を揃え、凹面鏡で集光させてもよい。また、カーボンヒータの場合、高速変調ができないため、電気的に回折条件が制御可能な回折素子を用いて処理が行われる。可視光であれば、半導体レーザ、ＬＥＤが望ましい。
　また、本実施形態に係る放射制御部１０は、感覚提示領域１５における感覚提示条件が均一になるようＦＩＲ放射部１１の放射出力を制御してもよい。図８は、感覚提示領域１５及び２軸搖動ミラー２、３の走査方向に対する放射ビーム１４の放射状態に応じた感覚提示条件を例示する図である。
　図８（ａ）は、感覚提示領域１５及び２軸揺動ミラー２、３の走査方向に対して放射ビーム１４が正面放射される場合の感覚提示条件を例示する図である。図８（ｂ）は、感覚提示領域１５及び２軸搖動ミラー２、３の走査方向に対して放射ビーム１４が斜めに照射される場合の感覚提示条件を例示する図である。
　図８（ｂ）に示した斜め照射の場合、走査範囲及び感覚提示領域１５が台形状となるため、領域内の感覚提示条件が不均一になる。そのため、放射制御部１０は、タイミング／アドレス生成部５が情報記憶部９に格納されている情報を読み出す際に、感覚提示条件の均一化が図れるようＤＡＴＡの読み出し順を制御したり、ＦＩＲ放射部１１の放射出力を制御したりしてもよい。
　また、本実施形態に係る感覚提示装置１は、操作者の指先の温度を検知する温度検知部を備えてもよい。放射制御部１０は、上述した走査位置アドレスｆｉｒ＿ａｄｄ、位置情報ｗｒ＿ａｄｄ及び感覚提示条件ＤＡＴＡに加えて、温度検知部により検知された指先の温度情報に基づいて、放射条件を決定する。なお、温度検知部は、可視・赤外カメラ、照射した物体からの輻射エネルギを検出するサーモパイル等により実現される。これにより、ＦＩＲ放射部１１は、現在の指先の温度を踏まえて効率よく遠赤外線を放射することが可能になる。
２．実施形態２
　次に、本発明の実施形態２を説明する。実施形態２は、ジェスチャ入力等の操作を検知して処理する操作処理装置２０を例として説明する。図９は、操作処理装置２０の構成を例示する図である。図９に示すように、操作処理装置２０は、図１に示した感覚提示装置１の構成に、操作処理部４３を追加した構成である。本実施形態に係る操作処理部装置２０においては、感覚提示領域１５がジェスチャ入力等の操作を検知する領域である。
　操作処理部４３は、物体検知センサ６により検知された操作体の物体情報を取得して、物体情報に含まれる位置情報から感覚提示領域１５における操作を検知し、検知した操作に対する処理を行う。具体的には、例えば、操作者の手や指が操作検知領域を横断／遮るよう上下左右、奥行方向に動かしたり、回転したりすることで、操作処理部４３は、その動作パターンを予め定められた操作として検知する。動作パターンは、例えば、手や指の動きの方向、回数及びこれらの組み合わせ等により予め定められる。その他、入力操作としては、スライドスイッチ、トグルスイッチ、ボリューム抓み、プッシュスイッチ等を操作する動作であってもよい。
　図１０は、実施形態２における感覚提示領域１５を例示する図である。図１０に示すように、例えば、感覚提示領域１５の黒色で塗りつぶされた中心から８×８個の領域（以降、「操作検知領域」とする）において操作体が検知されると、実施形態１において説明した構成により操作体に対して熱による擬似的な触感が提示される。すなわち、この場合における感覚情報は、操作検知領域の位置で放射ビーム１４が放射される感覚提示条件を含む。
　このような構成により、操作検知領域に操作者の手指が入ると、操作者の手指に熱が与えられるので、視覚によらずに、手指の感覚で操作検知領域の特定及び操作検知領域における操作を実現できる。すなわち、本実施形態に係る感覚提示領域１５は、入力のより所となる指針、マーカとして使用でき、操作者の視覚を開放できる。また、このような構成により、運転中、歩行中、暗闇等、操作者が操作面を凝視できない状況にあっても、ジェスチャ操作と入力の正確さを向上できる。
　また、本実施形態によれば、空間に操作領域を提示できるため、装置に操作盤等の特別な構造が不要となり、装置の小型化と同時に操作環境の自由度を向上できる。何よりも、操作部は空間であり、障害の要因となる事もない。また、操作処理装置２０に不特定多数の人が接触する場合、人が触れた所を触らなくてもよい。また、本実施形態によれば、非接触で秘匿性のある通信伝達を実現することができる。
　なお、上記実施形態においては、中心から８×８個の領域を操作検知領域として説明したが、これは一例であり、操作検知領域は固定であってもよいし、状況に応じて変更されてもよい。例えば、操作処理部４３は、操作に対する応答動作に応じて感覚情報を変更し、変更された感覚情報に基づいて操作者の手指に感覚を与えることで、操作者が操作に対する応答を認識できるようにしてもよい。例えば、時系列ごとに放射ビームの放射ＯＮ／ＯＦＦが異なるよう感覚情報が変更される。
　また、上記実施形態においては、感覚提示領域１５が１つである場合を例として説明した。その他、感覚提示領域１５が複数あってもよく、例えば、各感覚提示領域がキーボードの各キーに対応し、キーボード操作を受け付けるようにしてもよい。
３．実施形態３
　次に、本発明の実施形態３を説明する。実施形態３は、表示画面に表示された画像を空間上にも表示させて、空間上に表示された画像（以降、「浮遊画像」とする）に対する操作を検知して処理する画像表示装置２２を例として説明する。図１１は、画像表示装置２２の構成を例示する図である。図１１に示すように、画像表示装置２２は、図９に示した操作処理装置２０の構成に、画像生成部４４及びＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）３１が追加された構成である。
　図１２は、浮遊画像の態様を例示する図である。図１２に示すように、ＬＣＤ３１に表示されている画像が再帰光学素子３０により空間上の再帰表示領域３２に浮遊画像として表示される。以下、具体的に説明する。
　再帰光学素子３０は、天頂にピンホールを形成し、かつ内側を反射鏡とする楕円半球面の反射部を２個それぞれ内側面で向合せた一対のピンホール反射部が平面状に複数個配置されて構成される平面の光学シート（ピンホールアレイ）である。なお、各ピンホールの光線取り込み範囲θはシート鉛直方向を中心に±４５度である。
　ここでは、物体や２次元或いは３次元で散乱光を発する画像表示部として、画面サイズ１５インチの液晶ディスプレイであるＬＣＤ３１で２次元の元画像３３を表示する場合を説明する。再帰光学素子３０のサイズは、図１２においてはＬＣＤ３１と同サイズで示しているが、距離Ｄ（例えば、Ｄ＝５０ｍｍ）で概ね平行であって、光線取り込み範囲θ＝±４５度及び距離Ｄを考慮（＝Ｄ・ｔａｎθ）した大きさ以上あれば良い。
　ＬＣＤ３１と再帰光学素子３０に対して面対象の位置を再帰表示領域３２（本実施形態においては１５インチ）とする。ＬＣＤ３１の元画像３３より発した散乱光の一部は、再帰表示領域３２に再帰・集光し、虚像である浮遊画像３４を結像した後、再拡散する。２軸搖動ミラー２、３及び物体検知センサ６は、再帰表示領域３２の全面或いは一部領域に、感覚提示領域１５を一致させる様に配置される。すなわち、本実施形態における感覚提示領域は、画像を表示する領域である画像表示領域である。
　図１１に示した画像生成部４４は、外部のＰＣ等から入力される描画データに基づいて、ＬＣＤ３１に表示される画像及び感覚情報を生成する。感覚情報は、ＬＣＤ３１に表示される画像の内容に基づいて生成される。例えば、画像のエッジ位置の感覚提示条件が放射ビーム１４を放射すると設定される。また、例えば、画像を構成する図形や文字等の色の濃さ（強度）に応じて上昇差分温度が変わるよう感覚提示条件が設定されてもよい。
　例えば、図１２に示した元画像３３に基づいて生成された感覚情報では、元画像３３に表示されている“３”の文字を構成する位置の感覚提示条件は、放射ビーム１４を放射すると設定されている。図１２に示すように、操作体である操作者の指先が検知位置１７にある場合、検知位置１７には“３”の文字の浮遊画像３４の一部３４ａが表示されているので、実施形態１において説明した構成により、操作体に対して熱による擬似的な触感が提示される。
　図１３は、操作者の目と画像表示装置２２との位置関係を例示する図である。図１３に示すように、元画像３３の“３”を表す文字３３ａの発散した拡散光３５、３６、３９は、再帰光学素子３０で再帰拡散光３７、３８、４０となり、虚像３４ａを結像した後、再拡散光３８、４０となり、左右の目４１、４２に入る。そして、図１３に示した虚像３４ａと検知位置１７とが一致するので、操作者に対して感覚が提示される。なお、虚像３４ａは発光画像であり、黒表示は非発光、すなわち透過領域である。
　なお、図１２に示した浮遊画像３４は例示であり、その他、視覚的な変化や、画像の操作に連携した変化等を示す画像であってもよい。具体的には、例えば、湯気や冷気、各種スイッチ類、文字、写真や絵やマーク、現金や商品等、表示可能なものであればよく、浮遊画像３４であれば、実体の虚像であってもよい。なお、現金画像を扱う際は、各国の法律に基づいて運用されるものとする。また、例えば、感覚提示領域１５に表示される浮遊画像３４は、マーカ、ボタン、ジョイスティックでもよく、図１０に示したジェスチャ入力により、左右、上下、前後等の方向から弾くような操作が行われてもよい。
　また、例えば、浮遊画像３４がボタン画像である場合、ボタン画像の位置で放射ビーム１４が放射される感覚提示条件が設定されている。そのため、操作者の指先でボタン画像が押された際に、指先に感覚が提示される。
　以上説明したように、上記実施形態３に係る画像表示装置２２によれば、操作者は、浮遊画像３４を視覚で捕えると同時に、手指で触った触感により実体と同じ様な臨場感で知覚することができる。また、上記実施形態３に係る画像表示装置２２によれば、操作者が浮遊画像３４に調整と輻輳との一致を図る際、感覚を目印にでき、視点合わせが容易になる。
　なお、上記実施形態３において、浮遊画像３４に対する指先での操作に連動して、ＬＣＤ３１の表示内容が変更されてもよい。この場合、操作処理部４３は、感覚提示領域１５において検知された操作に基づいて、ＬＣＤ３１に表示させる描画データの情報を画像生成部４４に対して出力する。また、ＬＣＤ３１の表示内容が変更されると、画像生成部４４は、表示内容の変更に連動して感覚情報を変更する。
　また、上記実施形態３において、感覚が提示されると同時に、浮遊画像３４が伸縮したり振動したりする等の所定の動きを表現したりしてもよい。また、例えば、浮遊画像３４がボタンスイッチである場合、図１０に示したジェスチャ入力等の操作に連動して、ボタンスイッチの画像が奥行方向や上下左右に伸縮したり動いたりするように表示されてもよい。
　また、上記実施形態３においては、浮遊画像３４を表示する方法として、再帰光学素子３０を用いる場合を例として説明した。しかしながら、これは一例であり、再帰反射シート及びハーフミラーや直交ミラーアレイ型の再帰表示方法、２・多視差の立体ＴＶ等、光線再生型表示及びハーフミラー方式のいずれの方式でもよく、視点と感覚とを一致可能であれば、いずれも本発明に逸脱しない。
　また、その他、浮遊画像３４は、ＬＣＤ３１等の直視モニタ、プロジェクションＴＶ、プロジェクタ等の投射画像の表示面の直近に配置される構成であってもよい。また、浮遊画像３４は、映像のみならず、写真画像、ＬＥＤ等の光源等、様々であり、表示内容に関連する感覚提示の対象となる画像であれば、いずれも本発明に逸脱しない。
　また、上記実施形態２においては操作処理装置２０に感覚提示装置１の構成が含まれる場合を例として説明し、上記実施形態３においては画像表示装置２２に操作処理装置２０の構成が含まれる場合を例として説明した。しかしながら、これは一例であり、感覚提示装置１、操作処理に関連する構成を含む操作処理装置２０及び画像表示に関連する構成を含む画像表示装置２２それぞれを別個の装置として構成してもよい。
４．実施形態４
　次に、本発明の実施形態４を説明する。実施形態４は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例として現金自動預け払い機（ＡＴＭ：Ａｕｔｏｍａｔｅｄ　Ｔｅｌｌｅｒ　Ｍａｃｈｉｎｅ）に適用した場合を例として説明する。
　図１４は、本実施形態に係る感覚提示装置１等を適用したＡＴＭ５０の構成を例示する図である。図１４に示すように、ＡＴＭ５０は、キャッシュカードを投入するカード口５１、通帳を投入する通帳口５２、現金を出し入れする現金口５３、ＡＴＭ５０の操作画面等を表示する表示部５４等から構成される。
　本実施形態においては、図１４に示すように、上記実施形態３で説明した構成により浮遊画像３４が表示される。ＡＴＭ５０における浮遊画像３４は、例えば、預入操作や振込操作の際に表示される貨幣や紙幣の実体あるいは画像である。例えば、振込操作の場合、ＡＴＭ５０の操作者が浮遊画像３４として表示されている貨幣や紙幣の現金画像を手指１６で移動させると、手指１６に対して熱による感覚が提示される。
　また、例えば、図１４に示すように、ＡＴＭ５０において、ジェスチャ等で暗証番号を入力するための領域として空間上の感覚提示領域１５が提供される。感覚提示領域１５は、上記実施形態２等で説明した構成により実現され、感覚提示領域１５において操作者の手指１６が検知されると、手指１６に対して熱により擬似的な触感が提示される。操作者は、感覚が提示されることで感覚提示領域１５を認識し、感覚提示領域１５において、ジェスチャ等で暗証番号を入力することができる。
　このようにＡＴＭ５０に感覚提示装置１等を組み込むことにより、操作者による預貯金や振込み処理の際、貨幣イメージの臨場感から、現金を扱う感覚を得ることで注意喚起され、運用の安全性や送金の抑止効果を向上できる。また、ＡＴＭ５０に感覚提示装置１等を組み込むことにより、操作者は感覚提示領域１５においてジェスチャ等で暗証番号を入力することができるので、入力内容の秘匿性を向上でき、他人による暗証番号の盗み見等を防止することができる。また、操作者の手指１６が感覚提示領域１５で検知されると感覚が提示されるので、空間上の領域においても感覚提示が目印となるので、操作者が感覚提示領域１５を認識しやすくなる。
　また、不特定多数の人が使用するＡＴＭ５０の表示画面に直接触れる必要がないので、衛生面の観点で操作者に安心感を与えることができる。また、ＡＴＭ５０の表示画面に複数の操作者の手指等が直接触れることがないので、表示画面が汚れにくくなる。
５．実施形態５
　次に、本発明の実施形態５を説明する。実施形態５は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例として自動発券機・自動販売機（以降、「自動販売機」とする）に適用した場合を例として説明する。
　図１５は、本実施形態に係る感覚提示装置１等を適用した自動販売機６０の構成を例示する図である。図１５に示すように、自動販売機６０は、現金を投入する現金口６１、購入した商品を取り出す商品口６２及び販売されている商品等が表示される表示部６３から構成される。
　本実施形態においては、図１５に示すように、上記実施形態３で説明した構成により浮遊画像３４が表示される。自動販売機６０における浮遊画像３４は、例えば、販売されている商品の画像である。操作者が浮遊画像３４として表示されている商品の画像を手指１６でなぞると、操作者の手指１６に対して商品の凹凸に合わせて温度を変化させた擬似的な触感が提示される。また、商品が飲み物の場合、例えば、温かい飲み物か冷たい飲み物かによって提示する温度を変化させることで、操作者は商品の温かさを擬似的に体感することができる。
　このように自動販売機６０に感覚提示装置１等を組み込むことにより、操作者は商品の特徴を臨場感よく擬似的に体感することができるので、商品を選択する際の利便性を向上できる。また、上記実施形態において、商品の画像の他、浮遊画像３４としてマーカ、ボタン、ジョイスティック等の操作部の画像が表示され、操作者が操作部を左右上下前後方向等から弾いて操作するようにしてもよい。また、クレジットカードやキャッシュカード、電子マネー対応の自動販売機６０においても、代金の支払いやお釣りの受け取りに際して、上述したＡＴＭ５０と同様に、現金画像を浮遊画像として表示させて感覚が提示されるようにしてもよい。
６．実施形態６
　次に、本発明の実施形態６を説明する。実施形態６は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例としてスマートフォン等の携帯端末装置に適用した場合を例として説明する。
　図１６は、本実施形態に係る感覚提示装置１等を適用した携帯端末装置７０の構成を例示する図である。図１６に示すように、携帯端末装置７０は、画像表示や操作入力を受け付ける表示操作部７１を含む。本実施形態においては、図１６に示すように、上記実施形態３で説明した構成により浮遊画像３４が表示される。携帯端末装置７０における浮遊画像３４は、例えば、携帯端末装置７０の操作画面である。
　操作者が浮遊画像３４として表示されているボタン、文字、写真、アイコン等に手指１６で触れると、操作者の手指１６に対して熱による擬似的な触感が提示される。このように携帯端末装置７０に感覚提示装置１等を組み込むことにより、操作者は表示画面に触れていないにも関わらず、温度により操作している感覚を得ることができるので、誤入力を防止したり、表示画面から視線を外して手探りで入力したりすることができる。また、表示画面に複数の操作者の手指等が直接触れることがないので、表示画面が汚れにくくなる。
７．実施形態７
　次に、本発明の実施形態７を説明する。実施形態７は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例としてＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）に適用した場合を例として説明する。
　図１７は、本実施形態に係る感覚提示装置１等を適用したＨＭＤ８０の構成を例示する図である。図１７に示すように、ＨＭＤ８０は例えばメガネ型であり、画像表示や操作入力を受け付ける表示操作部８１を含む。また、表示操作部８１に表示されている画像は、空間上の虚像領域８２にも表示される。
　本実施形態においては、図１７に示すように、上記実施形態３等で説明した構成により虚像領域８２と感覚提示領域１５とが重ねて表示される。操作者の手指等が感覚提示領域１５において操作を行うと、操作に応じて操作者の手指等に対して熱による擬似的な触感が提示される。
　このようにＨＭＤ８０に感覚提示装置１等を組み込むことにより、ＨＭＤ８０の周りの空間上の領域を利用して入力操作を検知する場合に、入力操作を検知する領域に操作者の手指が入ると擬似的な触感が提示される。そのため、操作者はＨＭＤ８０に触れて操作する場合と同様の感覚を得ることができ、ＨＭＤ８０のデザインの自由度を向上しつつ、操作者の利便性を向上することができる。
　また、本実施形態においては、虚像領域８２と感覚提示領域１５とが重ねて表示される場合を例として説明した。その他、虚像領域８２と感覚提示領域１５とが異なる位置に表示されるようにしてもよい。この場合、虚像領域８２における各位置と感覚提示領域１５における各位置とが予め対応付けられた情報に基づく感覚提示が行われるものとする。このような構成により、ＨＭＤ８０の操作性に応じて感覚提示領域１５が表示される位置を自由に決めることができる。
　また、本実施形態においては、空間上に虚像領域８２及び感覚提示領域１５が表示される場合を例として説明した。その他、上記実施形態２等の構成により、空間上に感覚提示領域１５のみが表示されるようにしてもよい。
８．実施形態８
　次に、本発明の実施形態８を説明する。実施形態８は、上述した感覚提示装置１、操作処理装置２０、画像表示装置２２等の構成を、様々な機器の一例として腕時計型端末装置に適用した場合を例として説明する。
　図１８は、本発明に係る感覚提示装置１等を適用した腕時計型端末装置８３の構成を例示する図である。図１８に示すように、腕時計型端末装置８３は、操作者の腕８４に装着して使用する端末装置であり、画像表示や操作入力を受け付ける表示操作部８５を含む。
　図１８に示すように、本実施形態に係る腕時計型端末装置８３において、ジェスチャ入力等の操作を検知する領域として空間上の感覚提示領域１５が提供される。感覚提示領域１５は、上記実施形態２等で説明した構成により実現され、感覚提示領域１５において操作者の手指１６が検知されると、手指１６に対して熱により擬似的な触感が提示される。また、操作者の手指等が感覚提示領域１５において操作を行うと、操作に応じて操作者の手指等に対して熱による擬似的な触感が提示される。
　このように腕時計型端末装置８３に感覚提示装置１等を組み込むことにより、腕時計型端末装置８３の周りの空間上の領域を利用して入力操作を検知する場合に、入力操作を検知する領域に操作者の手指が入ると擬似的な触感が提示される。そのため、操作者は腕時計型端末装置８３に触れて操作する場合と同様の感覚を得ることができ、腕時計型端末装置８３のデザインの自由度を向上しつつ、操作者の利便性を向上することができる。
　なお、本実施形態においては、空間上に感覚提示領域１５のみが表示される場合を例として説明したが、これは一例であり、腕時計型端末装置８３の表示操作部８５に表示されている画像が、上記実施形態３等の構成により、浮遊画像として空間上に表示されてもよい。その際、浮遊画像と感覚提示領域１５が重ねて表示されてもよいし、別の位置に表示されてもよい。
　なお、上記実施形態４～８に係る各機器は例示であり、感覚提示装置１、操作処理装置２０、画像表示装置２２を組み込むことにより、目的に応じた操作支援が実現される機器であればどのような機器であってもよい。例えば、感覚提示装置１等が提示される機器は、車の操作部、自転車やオードバイ、一輪車、人間補助ロボット、ロボット、医療機器、医療介護ベッド等、人とインターフェースにより利便性が得られる装置である。
９．実施形態９
　次に、本発明の実施形態９を説明する。実施形態９は、上記実施形態１で説明した感覚提示装置１の変形例である。図１９は、実施形態９に係る感覚提示装置１の構成を例示する図である。図１９に示すように、実施形態９に係る感覚提示装置１は、図１に示した感覚提示装置１の２軸搖動ミラー２、３を反射ミラー１８に置き換えるとともに、図１に示した感覚提示装置１の構成から走査駆動制御部４、タイミング／アドレス生成部５、情報記憶部９を除いた構成である。なお、本実施形態においては、実施形態１において情報記憶部９に格納されていた感覚情報を放射制御部１０が保持する場合を例として説明するが、情報記憶部９は感覚提示装置１の構成から除かず、実施形態１と同様に情報記憶部９に格納されるようにしてもよい。
　実施形態９に係る感覚提示装置１は、実施形態１に係る感覚提示装置１と異なり、ＦＩＲ放射部１１が遠赤外線を放射すると、予め定められた位置（図１９に示した場合においては検知位置１７）を含む所定範囲に限定して放射ビーム１４が放射される。すなわち、図３に示した感覚提示単位のうちの１つの感覚提示単位に限定して放射ビーム１４が放射される。図１９に示した場合、放射判定部８は、物体情報生成部７から入力された物体情報に含まれる位置が検知位置１７に一致する場合、検知位置１７に対して放射ビーム１４を放射すると判定する。
　このような構成により、放射ビーム１４が放射される位置が予め定められているため、感覚提示可能な領域は狭くなるが、実施形態１に係る感覚提示装置１の構成に比べて、構成が簡易になるので、感覚提示装置１をより小型化することが可能になる。また、このような構成により、単位時間当たりの放射ビーム１４の放射時間が増大するので、ＦＩＲ放射部１１の放射エネルギを低減できる。例えば、実施形態１では、図３に示した感覚提示領域１５に含まれる１００個の感覚提示単位が放射ビーム１４の放射対象であるのに対し、本実施形態では、１つの感覚提示単位のみが放射ビーム１４の放射対象であるので、放出エネルギを１００分の１に低減できる。
　なお、放射制御部１０は、放射ビーム１４が１つの感覚提示単位を覆うように、図２に示したビーム径を１つの感覚提示単位のサイズ（例えば、一辺の長さが５ｍｍ）に広げるようＦＩＲ放射部１１の放射強度等を制御するようにしてもよい。また、本実施形態においては、放射ビーム１４が放射される領域のサイズを図２に示した感覚提示単位のサイズとしたが、これは一例であり、実施の用途に応じて検知位置１７のサイズが設定されてもよい。放射制御部１０は、検知位置１７のサイズが設定された放射ビーム径及び放出エネルギを調整してもよい。
１０．実施形態１０
　次に、本発明の実施形態１０を説明する。実施形態１０は、上記実施形態１で説明した感覚提示装置１の変形例である。図２０は、実施形態１０に係る感覚提示装置１の構成を例示する図である。図２０に示すように、実施形態１０に係る感覚提示装置１は、図１に示した感覚提示装置１の構成部と同様の構成であるが、実施形態１０に係る物体情報生成部７は、生成した物体情報に含まれる検知位置１７（ｔｇ＿ｐｏｓｉ）を走査駆動制御部４に対して出力する。
　また、本実施形態に係る２軸搖動ミラー２、３は、Ｈ軸及びＶ軸ともに非共振モードで搖動する点が、実施形態１に係る２軸搖動ミラー２、３と異なる。本実施形態に係る走査駆動制御部４は、物体情報生成部７から入力された物体情報に含まれる検知位置１７に常に放射ビーム１４が放射されるよう、２軸搖動ミラー２、３の傾きを非共振モードで変更する。
　このような構成により、感覚提示領域１５において検知された操作体に対して常に放射ビーム１４が放射され、基準信号に基づくタイミングで何度も放射ビーム１４を放射する必要がないので、ＦＩＲ放射部１１の放射エネルギを低減することができる。
１１．実施形態１１
　次に、本発明の実施形態１１を説明する。実施形態１１は、上記実施形態１で説明した感覚提示装置１の変形例である。図２１は、実施形態１１に係る感覚提示装置１の構成を例示する図である。図２１に示すように、実施形態１１に係る感覚提示装置１は、図１に示した感覚提示装置１の構成に、２軸搖動ミラー２、３をさらにＨ／Ｖ軸それぞれに±７度の範囲内で傾斜を与える可動部１９を追加した構成である。また、実施形態１１に係る物体情報生成部７は、生成した物体情報に含まれる検知位置１７（ｔｇ＿ｐｏｓｉ）を走査駆動制御部４に対して出力する。
　図２１に示すように、操作者の指先が感覚提示領域１５の端の方へ移動（図２１においては検知位置１７が１７Ｔへ移動）すると、走査駆動制御部４は、移動後の検知位置１７Ｔに合わせて可動部１９を駆動する。これにより、図２１においては感覚提示領域１５が感覚提示領域１５Ｔへ移動する。２軸搖動ミラー２、３がＨ／Ｖ軸それぞれに±７度の範囲内で傾斜する場合、放射ビーム１４の走査範囲は最大±１４／±１４であり、感覚提示領域１５の面積が４倍となる。
　このような構成により、ＦＩＲ放射部１１の放射能力を変更することなく、感覚提示領域１５の面積を拡大することが可能になる。
　なお、上記実施形態１～１１においては、感覚提示領域１５及び物体検知センサ６等の感覚提示のための構成は、１つである場合を例として説明している。しかしながら、これは一例であり、複数の感覚提示領域１５及び物体検知センサ６等を用いて、感覚提示領域１５を重畳したり並べたりする構成であってもよい。
　複数の感覚提示領域１５を重畳することにより、各感覚提示領域１５に対する遠赤外線の放射強度は弱い場合であっても、検知位置１７に対して放射される遠赤外線の強度を強くすることができる。また、複数の感覚提示領域１５を並べることにより、感覚提示が可能な領域を拡大することができる。
　また、上記実施形態１～１１に係る感覚情報は、感覚提示領域１５における温度分布に所望の温度差をつけるよう設定されてもよい。これにより、操作者が感覚提示領域１５において指先を移動させると温度変化を感じることを利用して、操作者が触れた商品等の画像の凹凸やざらざら感等の触感が実現される。
　また、上記実施形態１～１１に係る感覚提示装置１は、ＦＩＲ放射部１１が放射する遠赤外線のビーム焦点距離を液体レンズ等でダイナミックに調整する調整機構を有してもよい。このような調整機構により、感覚提示領域１５の奥行きに合わせてより精度よく放射ビームを放射することが可能になる。
　また、上記実施形態１～１１において、感覚提示の対象外となる指や領域に対してデフォーカスしたビームを放射して、熱反応を抑えるようにしてもよい。
　また、上記実施形態１～１１における感覚提示領域１５を、手の平や手の甲全体としてもよい。この場合、２軸搖動ミラー２、３は、手の平や手の甲を走査し、例えば、ＦＩＲ放射部１１は、絵や文字の一筆書きを表すよう手の平などに遠赤外線を放射する。これにより、手の平などに対して熱による感覚が与えられ、一筆書きされた絵や文字を認識することができる。このような構成により、非接触で秘匿性を保ちながら情報を伝達することが可能になる。
　また、上記実施形態１～１１においては、操作者の１本の指先が検知された検知位置１７に対して放射ビーム１４が放射される場合を例として説明した。その他、複数の指先が検知されて複数の検知位置１７に対して放射ビーム１４が放射されてもよい。また、上記実施形態１～１１においては、感覚提示の対象として操作者の指先を例として説明している。しかしながら、これは一例であり、操作者の全身の皮膚のいずれでもよいが、皮膚の受容体密度が高く、感度の良い部位が望ましい。
　また、上記実施形態１～１１においては、２次元の画像を例として説明したが、３次元の画像を感覚提示の対象としてもよい。この場合、物体情報及び感覚情報には、奥行きに関する情報も含まれる。
　また、上記実施形態１～１１において、操作者の指先が空間上の所定領域で検知された場合に、指先に赤色光線を当てて、指先内部で赤色光線が拡散して指先が光るようにしてもよい。これにより、指先が検知されていることを操作者が認識しやすくすることができる。例えば、感覚提示領域１５において操作者の指先が検知された場合に指先が光る構成とすれば、操作者は指先が光ることを目印として、感覚提示領域１５において操作していることを認識しやすくすることができる。また、操作の目印が印刷で示されるようにしてもよい。
　また、上記実施形態１～１１において、高温状態である実体（鍋、ポット、ヤカン、蛇口等）の表面周囲の空間上に感覚提示領域１５が設けられてもよい。この場合、感覚提示領域１５において指先が検知されると、指先に対して放射ビーム１４が放射される。このような構成により、高温状態である実体の周囲に指先がある場合、指先に熱による感覚が提示されることで、実体が高温状態であることを注意喚起することができる。このような構成は、貴重品、危険物、嫌気性物体の周囲の空間上においても適用することができる。
　また、その他の実施形態として、ガイド装置の光マーカや光ガイド、トイレの水洗ボタン、自動ドアの開閉ボタン、ＰＯＳ（Ｐｏｉｎｔ　Ｏｆ　Ｓａｌｅ）の商品提示位置、エレベータの階数指示ボタン等の様々な操作を受け付ける機器に対して感覚提示装置１が適用されてもよい。このような機器に感覚提示装置１が適用されることにより、操作が検知されていることを操作者が認識しやすくすることができる。その他、上記実施形態１～１１に係る感覚提示装置１は、遊戯機器（パチンコ、パチスロ、ゲーム等）にも適用することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部に他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、記憶媒体、ストレージ等に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。
１　感覚提示装置
２、３　２軸揺動ミラー（Ｈ／Ｖ）
４　走査駆動制御部
５　タイミング／アドレス生成部
６　物体検知センサ
７　物体情報生成部
８　放射判定部
９　情報記憶部
１０　放射制御部
１１　ＦＩＲ放射部
１２　ビーム成型部
１５　感覚提示領域
１８　反射ミラー
１９　可動部
２０　操作処理装置
２２　画像表示装置
３０　再帰光学素子
３１　ＬＣＤ
３２　再帰表示領域
４３　操作処理部
４４　画像生成部
４５　感覚情報生成部
５０　ＡＴＭ
６０　自動券売機・自動販売機
７０　携帯端末装置
８０　ＨＭＤ
８３　腕時計型端末装置

Claims (15)

  1. 　空間上の所定の領域において行われる操作に応じて操作者に温度により感覚を与える感覚提示装置であって、
    　前記操作者が前記操作を行うための操作体を前記所定の領域において検知する操作体検知部と、
    　前記操作体が検知された位置である検知位置に応じて前記検知位置を含む所定範囲に空間を介して熱を加える加熱部と
    　を含むことを特徴とする感覚提示装置。
  2. 　前記所定の領域は、前記操作体による操作を検知する領域である操作検知領域であり、
    　前記加熱部は、前記操作検知領域において前記操作体が検知されると、前記所定範囲に空間を介して熱を加える
    　ことを特徴とする請求項１に記載の感覚提示装置。
  3. 　前記所定の領域は、画像を表示する領域である画像表示領域であり、
    　前記加熱部は、前記画像表示領域における前記検知位置の前記画像の情報に応じて前記所定範囲に空間を介して熱を加える
    　ことを特徴とする請求項１に記載の感覚提示装置。
  4. 　前記加熱部は、前記操作者が前記画像を構成する物体の触感を認識できるように前記所定範囲に空間を介して熱を加える
    　ことを特徴とする請求項３に記載の感覚提示装置。
  5. 　前記加熱部は、前記検知位置の前記画像の情報に応じて前記所定範囲に空間を介して異なる温度の熱を加える
    　ことを特徴とする請求項３に記載の感覚提示装置。
  6. 　前記所定の領域は、表示部に表示された画像に対する操作を検知する領域である操作検知領域であり、
    　前記加熱部は、前記操作検知領域で検知された操作に応じて前記所定範囲に空間を介して熱を加える
    　ことを特徴とする請求項１に記載の感覚提示装置。
  7. 　前記加熱部は、前記検知位置を含む所定範囲にビームを放射して前記所定範囲に空間を介して熱を加える
    　ことを特徴とする請求項１に記載の感覚提示装置。
  8. 　前記加熱部は、ミラーを介して前記所定範囲に前記ビームを放射する
    　ことを特徴とする請求項７に記載の感覚提示装置。
  9. 　前記ミラーは、１軸又は２軸が共振して搖動し、
    　前記ミラーを駆動して前記ビームをラスタ走査させる走査駆動制御部
    　を含むことを特徴とする請求項８に記載の感覚提示装置。
  10. 　前記ミラーは、予め定められた位置を含む所定範囲にのみ前記ビームを放射するよう固定され、
    　前記所定の領域は、前記予め定められた位置を含む所定範囲である
    　ことを特徴とする請求項８に記載の感覚提示装置。
  11. 　前記ミラーは、２軸が非共振で動作し、
    　前記検知位置に基づいて前記ミラーを駆動して前記ビームをラスタ走査させる走査駆動制御部
    　を含むことを特徴とする請求項８に記載の感覚提示装置。
  12. 　前記ミラーの２軸それぞれを所定範囲内で傾斜させる可動部と、
    　前記検知位置に基づいて前記可動部を駆動し、前記ミラーを駆動して前記ビームをラスタ走査させる走査駆動制御部と
    　を含むことを特徴とする請求項８に記載の感覚提示装置。
  13. 　前記操作体の温度を検知する温度検知部
    　を含み、
    　前記加熱部は、前記検知位置に応じて前記検知位置を含む所定範囲に、検知された前記温度に基づいて空間を介して熱を加える
    　ことを特徴とする請求項１に記載の感覚提示装置。
  14. 　空間上の所定の領域において行われる操作を検知して処理する操作処理装置であって、
    　操作者が前記操作を行うための操作体を前記所定の領域において検知する操作体検知部と、
    　前記操作体が検知されると、前記操作体が検知された位置を含む所定範囲に空間を介して熱を加える加熱部と
    　を含むことを特徴とする操作処理装置。
  15. 　空間上の所定の領域において画像を表示する画像表示装置であって、
    　操作者が前記操作を行うための操作体を前記所定の領域において検知する操作体検知部と、
    　前記操作体が検知された位置の前記画像の情報に応じて前記位置を含む所定範囲に空間を介して熱を加える加熱部と
    　を含むことを特徴とする画像表示装置。
PCT/JP2014/078802 2014-10-29 2014-10-29 感覚提示装置、操作処理装置及び画像表示装置 WO2016067397A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/078802 WO2016067397A1 (ja) 2014-10-29 2014-10-29 感覚提示装置、操作処理装置及び画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/078802 WO2016067397A1 (ja) 2014-10-29 2014-10-29 感覚提示装置、操作処理装置及び画像表示装置

Publications (1)

Publication Number Publication Date
WO2016067397A1 true WO2016067397A1 (ja) 2016-05-06

Family

ID=55856783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/078802 WO2016067397A1 (ja) 2014-10-29 2014-10-29 感覚提示装置、操作処理装置及び画像表示装置

Country Status (1)

Country Link
WO (1) WO2016067397A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3605223A4 (en) * 2017-03-23 2020-04-08 Sony Corporation PROJECTOR WITH DETECTION FUNCTION
WO2022080173A1 (ja) * 2020-10-12 2022-04-21 凸版印刷株式会社 空中表示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099165A (ja) * 1998-09-18 2000-04-07 Sony Corp 熱情報出力装置及びその制御方法
JP2008129835A (ja) * 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd 立体画像表示システム
JP2011527760A (ja) * 2008-07-10 2011-11-04 リアル ビュー イメージング リミテッド 広視野角ディスプレイおよびユーザインタフェース
US20130172965A1 (en) * 2011-12-23 2013-07-04 Pine Development Corporation Systems and methods for eliciting cutaneous sensations by electromagnetic radiation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099165A (ja) * 1998-09-18 2000-04-07 Sony Corp 熱情報出力装置及びその制御方法
JP2008129835A (ja) * 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd 立体画像表示システム
JP2011527760A (ja) * 2008-07-10 2011-11-04 リアル ビュー イメージング リミテッド 広視野角ディスプレイおよびユーザインタフェース
US20130172965A1 (en) * 2011-12-23 2013-07-04 Pine Development Corporation Systems and methods for eliciting cutaneous sensations by electromagnetic radiation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SATOSHI SAGA: "Netsu Hosha o Riyo shita Rikikaku Display", DAI 18 KAI THE VIRTUAL REALITY SOCIETY OF JAPAN TAIKAI RONBUNSHU, 18 September 2013 (2013-09-18), pages 156 - 157 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3605223A4 (en) * 2017-03-23 2020-04-08 Sony Corporation PROJECTOR WITH DETECTION FUNCTION
US11755152B2 (en) 2017-03-23 2023-09-12 Sony Corporation Projector with detection function for stabilizing intensity distribution of an irradiation beam
WO2022080173A1 (ja) * 2020-10-12 2022-04-21 凸版印刷株式会社 空中表示装置
TWI792601B (zh) * 2020-10-12 2023-02-11 日商凸版印刷股份有限公司 空中顯示裝置

Similar Documents

Publication Publication Date Title
US20190146660A1 (en) Virtual Interactions for Machine Control
US20170308170A1 (en) Systems and methods for eliciting cutaneous sensations by electromagnetic radiation
AU2016206210B2 (en) Food processor and method for operating a food processor
JP6271444B2 (ja) ジェスチャー認識装置及び方法
Wilson et al. Perception of ultrasonic haptic feedback on the hand: localisation and apparent motion
CN101963840B (zh) 用于远程、虚拟屏幕输入的系统和方法
KR101092909B1 (ko) 제스쳐 인터렉티브 홀로그램 출력장치 및 방법
IL266888B1 (en) Virtual user input controls in a mixed reality environment
JP2005141102A (ja) 立体的二次元画像表示装置及び方法
JP5509391B1 (ja) 再生画像の指示位置を非接触で検知する方法及び装置
US8574280B2 (en) Systems and methods for eliciting cutaneous sensations by electromagnetic radiation
WO2014196088A1 (ja) 再生画像の指示位置を非接触で検知する方法及び装置
GB2281838A (en) Input for a virtual reality system
TW201104494A (en) Stereoscopic image interactive system
JP2005078644A (ja) タッチ式操作面を備えたディスプレイ
US20180373325A1 (en) Haptic dimensions in a variable gaze orientation virtual environment
JP2014056462A (ja) 操作装置
JP2016095832A (ja) 電子機器、電子機器の操作制御方法および操作制御プログラム
WO2016067397A1 (ja) 感覚提示装置、操作処理装置及び画像表示装置
JP2019207574A (ja) 情報処理装置、情報処理システム及びプログラム
JP2007026297A (ja) 振動制御装置、温度制御装置及び移動制御装置
WO2022019280A1 (ja) 入力装置および入力装置の制御方法
WO2016008988A1 (en) Apparatus for presenting a virtual object on a three-dimensional display and method for controlling the apparatus
Yoshino et al. Contactless touch interface supporting blind touch interaction by aerial tactile stimulation
US20220172392A1 (en) Device and method for non-contact optical imaging of a selected surface area of a hand

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14904722

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 14904722

Country of ref document: EP

Kind code of ref document: A1