WO2013161498A1 - 表示入力装置 - Google Patents

表示入力装置 Download PDF

Info

Publication number
WO2013161498A1
WO2013161498A1 PCT/JP2013/059168 JP2013059168W WO2013161498A1 WO 2013161498 A1 WO2013161498 A1 WO 2013161498A1 JP 2013059168 W JP2013059168 W JP 2013059168W WO 2013161498 A1 WO2013161498 A1 WO 2013161498A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
input device
optical element
image
housing
Prior art date
Application number
PCT/JP2013/059168
Other languages
English (en)
French (fr)
Inventor
紀行 十二
Original Assignee
日東電工株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日東電工株式会社 filed Critical 日東電工株式会社
Publication of WO2013161498A1 publication Critical patent/WO2013161498A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Definitions

  • the present invention displays a two-dimensional image such as a photograph as an aerial image that emerges in space, and the movement of an input body such as a hand or a finger that enters the periphery of the aerial image as position information such as coordinates or a locus.
  • the present invention relates to a display input device to be acquired.
  • a twin-lens method As a method for displaying (projecting) an image or video in a space, a twin-lens method, a multi-view method, an aerial image method, a volume display method, a hologram method, and the like are known.
  • a display input device capable of intuitively interacting (interacting) a two-dimensional image or a three-dimensional image (aerial image) with a hand or a finger (hereinafter referred to as “finger”).
  • a vertical and horizontal light grid is formed in the detection region (plane) by a large number of LEDs, lamps, etc.
  • shielding shielding
  • Patent Documents 1 and 2 propose a system that detects shielding (shielding) of a grating with a light receiving element or the like and detects the position, coordinates, etc. of the input body.
  • the display input device that detects the shielding of the light grating (invisible) formed on the detection plane and detects the position and coordinates of the input body, the aerial image is the installation of the LED and the light receiving element.
  • the frame Since the frame is displayed in a frame (hollow frame) used in the field, this frame enters the operator's field of view, and there is a problem that it is difficult to obtain a three-dimensional effect or a sense of reality.
  • the frame may be recognized as an obstacle (disturbance) during an input operation. In this case, the input operation (movement of a hand, a finger, etc.) by the operator is restricted or smooth. There is a risk of disappearing.
  • An object of the present invention is to provide a display input device capable of performing an input operation around an image in a natural manner without being conscious of the device.
  • the display input device of the present invention uses an optical element having an imaging function to display an image displayed on a display surface of a flat panel display at a spatial position away from the imaging optical element.
  • a display input device that forms an image in a state of floating on the surface and obtains position information of an input body for input operation located around the formed aerial image by optical means, the display being placed
  • a mounting table having a display mounting surface, a panel-shaped imaging optical element, a light source and an optical detection means, and a housing for housing the display.
  • the imaging optical element includes the housing.
  • the light source is disposed at a predetermined position on the upper surface of the body, and the light source is disposed around the imaging optical element so as to illuminate the input body positioned above the housing.
  • the display is disposed below the imaging optical element. Is placed in a state where it is inclined at a predetermined angle with respect to the imaging optical element, and the optical detection means is arranged in a state in which an input body located around the aerial image can be detected.
  • the configuration is as follows.
  • the present inventor has conducted research to solve the above problems, and as a result, using a panel-shaped imaging optical element, a case where a flat panel display is accommodated, a housing such as a housing, a photograph, etc.
  • a two-dimensional image is formed in a raised (standing) state, and a light source that illuminates an input body such as a finger at an appropriate position around the imaging optical element, and a reflection (reflected light) by the input body ) Is detected, and natural input operations can be performed without being aware of the means (frame, system, etc.) for detecting the position of the input body as in the conventional example. I found.
  • a display input device of the present invention includes a mounting table having a display mounting surface for mounting a flat panel display, a panel-shaped imaging optical element, a light source and optical detection means, and a housing for housing the display.
  • the imaging optical element is disposed at a predetermined position on the upper surface of the casing, and the light source illuminates the input body positioned above the casing around the imaging optical element.
  • a mounting table is disposed below the imaging optical element to hold the display in a state inclined at a predetermined angle with respect to the imaging optical element, and an input body positioned around the aerial image can be detected.
  • the imaging optical element is disposed at a position.
  • the display input device of the present invention allows an operator to perform an input operation around the aerial image using fingers without being aware of means (device or system) for detecting the position, coordinates, etc. of the input body. Can be done in any way.
  • the display input device can be a user-friendly display input device that is easy to interact with.
  • the housing for accommodating the display input device is a box shape that shields ambient light, and a case shape that can accommodate the above-mentioned mounting table or the like therein, or an open side opening. It is possible to select and adopt a housing-like one having a shape and having the display mounting surface formed using the wall surface (one side surface). When the box-shaped case is used, there is an advantage that the image can be projected clearly. In addition, when the above open housing is used, there is an advantage that the display can be easily taken in and out.
  • the inclination angle of the display surface of the mounting table and the flat panel display with respect to the lower surface of the panel-shaped imaging optical element is set to 30 ° or more and less than 90 °.
  • the panel-shaped imaging optical element is a micromirror array including a corner reflector type unit optical element. Can be displayed as a clear image with higher brightness.
  • the flat panel display is a display unit of a mobile phone or a mobile information terminal, and the mobile phone or the mobile information terminal can be attached to and detached from the mounting table or the display mounting surface.
  • the display input device can be used more easily and easily without special preparation.
  • FIG. 1 is a typical enlarged view of the micromirror array used in the first embodiment
  • FIG. 1 is a diagram for explaining an imaging pattern of an aerial image by the micromirror array.
  • FIG. 1 is a figure explaining the usage method of the display input device in 1st Embodiment.
  • FIG. 1 is a partial cross section figure explaining the method of setting a flat panel display to the display input device of 1st Embodiment.
  • (A)-(c) is a figure explaining the method to detect the coordinate (XY direction) of the finger in the display input device of embodiment of this invention.
  • FIG. 1 is a schematic cross-sectional view showing a configuration of a display input device according to the first embodiment of the present invention.
  • FIG. 3 is a view for explaining how to use the display input device in the first embodiment
  • FIG. 4 is a partial cross-sectional view of the display input device as viewed from the direction of arrow F in FIG.
  • a liquid crystal display screen (LCD) of a mobile phone (smart phone or the like) is used for the flat panel display (reference D).
  • Reference numeral 3 in the figure indicates a transparent plate-like member (transparent plate) that covers the upper surface opening of the case 10, as well as an “image” (thick arrow I in FIG. 1 and the like) displayed on the screen and projection.
  • the “space image” is shown with its thickness emphasized.
  • the display input device includes a mounting table 2 for mounting a flat panel display D in a bottomed box-shaped case 10 whose upper surface is open, and a panel-shaped image.
  • An optical element microwave mirror array 1 in this example, hereinafter also referred to as “array 1”
  • a light source LED-reference numerals 4 and 4 ′
  • an optical detection means camera 5
  • the micromirror array 1 is attached and fixed to a predetermined position on the lower surface of the transparent plate 3 that covers the upper surface opening of the case 10 at the upper portion (opening side) of the case 10.
  • Each LED 4 is attached.
  • a mounting table 2 that is inclined at an angle ⁇ with respect to the micromirror array 1 is disposed at a position immediately below (below) facing the lower surface 1 b of the micromirror array 1.
  • the camera 5 is positioned below (bottom side) at a distance from the micromirror array 1 to the side (right side in the figure) except directly below the micromirror array 1 (region of the mounting table 2).
  • the transparent plate 3 disposed on the upper surface opening of the case 10 and covering the case 10 transmits light in the case opening direction (vertical direction) (the spatial image I ′).
  • the spatial image I ′ Provided for image formation, light projection by LEDs 4 and 4 ′, imaging by camera 5, etc.) and mounting (positioning and fixing) of the micromirror array 1 and LEDs 4 and 4 ′, etc. It is formed of a hard plate-like member having a light transmittance of 80% or more such as a resin plate.
  • the panel-shaped imaging optical element (micromirror array 1) attached to the transparent plate binds an image I, video, etc. existing on one surface side as a real image (aerial image I ′) on the other surface side.
  • the display input device includes various lenses including a Fresnel lens, a refraction type imaging element such as an afocal optical system micromirror and a corner reflector, a microlens array, and the like.
  • An erecting equal-magnification imaging element can be used.
  • a micromirror array convex corner reflector array, see FIG.
  • the micromirror array 1 is attached to the lower surface (inner surface) side of the transparent plate 3 (lid member) attached to the upper surface opening of the case 10.
  • the transparent plate 3 may be provided with openings (holes) having the same shape as the array 1 and fitted into the openings to be fixed.
  • the micromirror array 1 (corner reflector array) will be described in more detail.
  • the array 1 has a minute unit optical element 12 (corner reflector) on a substrate (base) 11.
  • Each unit optical element 12 has two light reflecting surfaces (a first side surface 12a and a second side surface 12b) constituting each corner 12c in front of the operator (in FIG.
  • the outer edge (outer side) of the array is 45 with respect to the front of the case 10 (E side before the operator) as shown in FIG. ° Arranged in a rotated state.
  • a light source (three LEDs 4 as a main light source, see FIG. 3) attached around the micromirror array 1 irradiates light above the case 10 and enters an input body (such as a finger H) that enters the light source. It is intended to facilitate imaging (detection of reflected light), avoids interference with light (visible light) that forms the aerial image I ′, and is perceived by the operator to obstruct the operation. In order to prevent light emission, light emitting light having a wavelength other than visible light (infrared light, ultraviolet light, etc.) is used.
  • this light source for example, a light emitter or a lamp that emits infrared light having a wavelength of about 700 to 1000 nm, such as an infrared LED or a semiconductor laser (VCSEL), is preferable.
  • the LED 4 is an infrared LED. Is used.
  • the LEDs 4 may emit light continuously or intermittently. When the LEDs 4 emit light intermittently, the LEDs 4 may emit light at different timings. When the imaging (detection) range by the camera 5 is wide, the same type of light source (two LEDs 4 'in this example) may be separately provided as an auxiliary light source as shown in FIGS. These auxiliary light sources may be arranged outside the case 10.
  • the mounting table 2 for mounting the flat panel display D includes a plate-like member 2a and bases 2b and 2b that support the plate-like member 2a. 1 is disposed at a position facing the lower surface 1b of 1 (vertically below the array 1).
  • the plate-like member 2a is supported by the bases 2b and 2b in a state (see FIG. 1) inclined by a predetermined angle ⁇ with respect to the bottom surface of the case 10 and the element surface P of the array 1 (or the lower surface 1b of the array 1).
  • -It is being fixed and the upper surface is a mounting surface of the flat panel display D.
  • the display surface Da of the said flat panel display D becomes the micromirror array 1 by mounting the smart phone etc.
  • FIG. The element surface P is held in an inclined state by ⁇ °.
  • the inclination angle ⁇ of the mounting table 2 in the case 10 with respect to the element surface P (lower surface 1b) of the micromirror array 1 is adjusted so that the image forming action by the array 1 is optimal, and is usually 30. It is set to be not less than 90 ° and less than 90 °, preferably not less than 40 ° and not more than 80 °.
  • the flat panel display D (hereinafter also simply referred to as “display D”) used for displaying the image I includes a liquid crystal display panel (LCD) having a backlight, a plasma display panel, an organic EL display panel, and the like. It is desirable to use a display panel that can reproduce “white” with as little bias as possible over all visible light wavelengths and “black” when not displayed with good contrast.
  • the display D may be a display unit such as a mobile phone or a portable information terminal.
  • the display D may be a smartphone, a tablet PC, a digital photo frame, a portable game machine, a portable book reader, a PDA, Among the electronic dictionaries and the like, a type that can be placed on the mounting table 2 can be used among the types whose display unit is always exposed (not covered).
  • the camera 5 optical detection means for detecting the finger H (input body) is positioned below (case bottom side) at a distance from the micromirror array 1 to the side (right side in FIG. 1).
  • the finger H is positioned so as not to be hidden by the shadow of the array 1, so that the finger H positioned around the aerial image I ′ imaged above the micromirror array 1.
  • imaging is possible (see the viewing angle of the camera 5 in FIG. 1—the two-dot chain line).
  • a camera provided with an image sensor such as a CMOS or a CCD is used.
  • PSD Position Sensitive Detector
  • This PSD outputs the distance to the input body as a position signal. By acquiring the correlation (reference) between the distance and the position signal (voltage) in advance, the distance to the input body can be accurately determined. It is possible to measure.
  • the two-dimensional PSD may be disposed at the position of the camera 5 instead of the camera 5.
  • two or more one-dimensional PSDs may be distributed and arranged at a plurality of positions where the coordinates of the finger H (input body) can be measured by triangulation. By using these PSDs (or unitized PSD modules), the position detection accuracy of the finger H can be improved.
  • the optical detection means such as the camera 5 or the PSD is sufficiently separated from the transparent plate 3 (for example, 10 cm or more) in order to capture the entire input body (finger H or the like) within the viewing angle. It is desirable to place it below.
  • the camera base 5b that supports the camera body 5a upward may be a liftable base so that the viewing angle of the camera 5 can be changed (adjusted). Further, for example, as in the second embodiment (FIG.
  • the optical detection means (camera 5 or the like) is connected to the imaging optical element ( It can also be arranged at a position spaced from the micromirror array 1) to the side (left side) (in the same way, the position where the finger H is not hidden by the shadow of the imaging optical element at the time of detection).
  • a plurality of the optical detection means may be installed at positions separated from each other below the case 10.
  • the optical detection means is of a type that can detect the finger H and the like through the imaging optical element, a position where the camera 5 or the like faces the element surface P of the micromirror array 1.
  • the micromirror array 1 may be disposed just below the center of the plane (vertically below). However, with this arrangement, there may be a position (dead angle) where the finger H or the like cannot be detected, or an operation for correcting the distortion of the acquired image may be required.
  • the inner surface of the case 10 is, Black (chromaticity 0, saturation 0, lightness 0) or a dark color close to this.
  • the flat panel display D (smartphone in the figure) is inserted into one side of the case 10 into the case 10 (on the mounting table 2).
  • the slit-shaped insertion port 10a is provided.
  • sound generation means such as a speaker may be provided in a part of the case 10.
  • sound generation means it is possible to output music (BGM), sound, etc. in accordance with the image I displayed on the flat panel display D.
  • the display input device when displaying (projecting) the image I, first, a smartphone including the display D is prepared, and predetermined processing (image processing such as background color change and contrast improvement) is performed on the display D.
  • predetermined processing image processing such as background color change and contrast improvement
  • the image I in FIG. 3, “dog picture” as an example
  • this smartphone is placed upside down (top and bottom) of the image I up to the vicinity of the side surface of the case 10 with the insertion slot 10a. Move (see arrow A in FIG. 3).
  • the flat panel display D (smart phone) can be used in the case 10 as well. Any desired image can be sequentially displayed (projected) without operation.
  • the mounting table 2 is configured to have a charging (charging stand or cradle) function of the mobile phone or the portable information terminal, it is possible to charge each device even while the image I is displayed. The time for charging can be used effectively.
  • the smartphone flat panel display D
  • the smartphone has a function as a control unit that controls light emission of the light source (LED4, 4 ′) and detection (imaging) by the optical detection unit (camera 5), and the optical detection.
  • a function as a calculation means for extracting and analyzing the image of the finger H photographed by the means and specifying the coordinates thereof, and the LED 4, 4 'and the camera 5, and wired (not shown) or wireless communication Etc., so that they can communicate with each other.
  • the optical detection means camera 5
  • detection of an input body in this example, “finger H”
  • the periphery in the detection region
  • a method of acquiring the position information (coordinates) of the finger H will be described step by step for each process (step).
  • the symbol Q is a “virtual horizontal plane” (corresponding to the transparent plate 3 on the case 10) substantially parallel to the element surface (P) of the micromirror array 1
  • the symbols Q ′, Q ′′ is a “virtual imaging plane” parallel to the virtual horizontal plane Q.
  • the position (coordinates) of the finger H is specified from each light source (LED4, 4 ') arranged below the finger H (around the array 1) as shown in FIG. Light is projected toward the finger H.
  • This light projection may be intermittent light emission [light projection step].
  • this finger H is photographed by the camera 5 disposed on the bottom of the case 10, and the reflection (reflected light or reflected image) of the light by the finger H is shown in FIG. )
  • a two-dimensional image H ′ image on the virtual imaging plane Q ′ having XY coordinate axes orthogonal to each other [imaging step].
  • the finger H H is extracted from the binarized image H ′′. Then, for example, a finger or the like protruding from the fist is identified, and coordinates corresponding to the tip position (fingertip coordinates T) are extracted by calculation.
  • This fingertip coordinate T is stored in a storage means such as a control means (smartphone in this example), or when the display input device functions as an “input device”, data (signals) of the fingertip coordinate T ) Is output to an external device [coordinate specifying step].
  • the movement (trajectory) of the finger H can be detected by repeating the process of acquiring the coordinate of the finger H at certain time intervals. Further, the movement distance and direction of the fingertip coordinates T are calculated using the difference (change amount) of the fingertip coordinates T before and after the repetition, and based on the result, the image I of the flat panel display D, that is, the space is calculated. It is also possible to interactively change (update) the image I ′ according to the movement of the finger H. Thereby, the display input device can be operated like a pointing device such as a mouse or a tablet.
  • the position signal (distance) is directly and highly calculated by calculation (triangulation) without performing the image processing as described above.
  • the coordinates of the hand H (fingertip coordinates T) can be obtained with accuracy.
  • mobile phones such as a smart phone, display function (display D), the control means which controls the light emission of a light source, and the detection by an optical detection means, and the finger H image
  • display D the control means which controls the light emission of a light source, and the detection by an optical detection means, and the finger H image
  • the position and coordinates of the finger H can be specified with a simple and low-cost configuration.
  • this display input device has no structure around the aerial image I ′ projected onto the space that would interfere with the input operation, operation input using the finger H can be performed without being aware of the device. It can be done in a natural way.
  • FIG. 7 is an exploded perspective view showing the configuration of the display input device according to the third embodiment of the present invention.
  • FIG. 8 is a schematic diagram showing a detailed configuration of the micromirror array (30) used in the display input device of the above embodiment, and FIG. 9 shows a method of attaching the micromirror array (30) to the device. It is sectional drawing demonstrated.
  • a liquid crystal display screen (LCD) of a mobile phone (smart phone or the like) is used for the flat panel display (reference numeral D).
  • symbol is attached
  • the display input device is characterized in that a micromirror array 30 composed of two (set) substrates 13 that is easy to manufacture and can be reduced in cost is used as an imaging optical element.
  • the top plate member 6 that can easily incorporate (set) the mirror array 30 on the upper surface of the case 20 is used.
  • the micromirror array 30 has linear grooves 13g parallel to each other on the upper surfaces 13a of the transparent flat substrates 13 and 13 by dicing using a rotary blade or the like. A plurality of lines are formed at predetermined intervals.
  • the micromirror array 30 uses these two optical elements (substrates 13 and 13) having the same shape so that the continuous directions of the grooves 13g provided on the substrates 13 are orthogonal to each other in plan view.
  • the groove 13g in the upper substrate 13 is formed on the surface 13a in which the groove 13g in the lower substrate 13 is formed in a state where the upper substrate 13 is rotated with respect to the other substrate 13 in the lower side.
  • a back surface 13b (a plate-like portion 13c) that is not in contact is brought into contact with each other, and the substrates 13 are stacked one above the other to form a set.
  • the substrate 13 (substrate before forming the groove 13g) constituting each optical element has the linear shape described above. It is a base for engraving the groove 13g, and is formed of a material having a visible light transmittance of 80% or more, such as glass or acrylic resin.
  • the substrate 13 is usually a hard plate having a certain thickness (thickness of about 0.5 to 10.0 mm), and the upper surface (surface 13a) is subjected to dicing or the like on each of the linear grooves 13g. Is engraved.
  • the groove 13g on the substrate 13 is formed by a rotary blade (dicing blade) or the like of a dicing machine, and has a predetermined interval (pitch) in one direction on the processing target surface (front surface) of the substrate 13. Are formed in parallel to each other.
  • the side surface (wall surface) which comprises these grooves 13g is formed by the dicing process etc. which used the said rotary blade, it is formed in the light reflective vertical surface (mirror surface).
  • each groove 13g depends on the thickness of the blade or the like (total thickness in the end face direction), but usually when a blade having a thickness of about 0.015 mm (15 ⁇ m) to 0.3 mm (300 ⁇ m) is used.
  • Grooves 13g having a width of about 20 to 350 ⁇ m and a depth of about 50 to 500 ⁇ m are formed, and the remaining region (projected portion) where these grooves 13g are not formed has a width of about 50 to 300 ⁇ m, The ribs are parallel with a height of about 50 to 500 ⁇ m (same as the depth of the groove).
  • the two substrates 13 and 13 in which the linear grooves 13g are formed rotate the upper substrate 13 horizontally by 90 ° with respect to the lower substrate 13 as shown in FIG.
  • the back surface 13 b (plate) of the upper substrate 13 is placed on the surface 13 a (upper side surface) of the lower substrate 13.
  • a pair of (one) micromirror array 30 is formed by abutting and overlapping the lower surface of the shape portion 13c.
  • the continuous direction of the grooves 13g of the grooves 13g of the substrate 13 formed in the same shape is a plan view.
  • the arrangement is orthogonal to each other (three-dimensionally “twisted position”).
  • each groove 13g of the upper substrate 13 and each groove 13g of the lower substrate 13 are in a lattice shape orthogonal to each other in plan view.
  • the light reflective vertical surface (mirror surface) of each groove 13g of the upper substrate 13 and the light reflective vertical surface (mirror surface) of each groove 13g of the lower substrate 13 are provided. ) Is formed.
  • the micromirror array 30 (each substrate 13) is set on the upper surface of the display input device, as shown in FIGS. 7 and 9, a fixing step is formed on the inner edge of the top plate member 6.
  • the first substrate 13 is fitted into an opening 6a having a predetermined shape (substantially the same shape as the outer shape of the substrate 13) provided with 6e, and the remaining second substrate 13 is horizontally placed on the opening 6a.
  • a predetermined shape substantially the same shape as the outer shape of the substrate 13
  • Each of the substrates 13 constituting the micromirror array 30 may be fitted with the surface 13a (upper surface) on which the grooves 13g are formed facing downward (opening 6a side) (see below). 11, 12 “back-facing” substrate 13 ′). In this case as well, the same effect can be achieved by inserting and overlapping the second substrate (13 ′) on the first substrate (13 ′) while being horizontally rotated by 90 °. Can do.
  • the opening 6b provided in the top plate member 6 is for the camera 5, and each opening 6c is for the LED (reference numeral 4), and as with the micromirror array 30, positioning and mounting are easy. Yes. Then, after the micromirror array 30, the camera 5, the LED (4), etc. are attached to the top plate member 6, the upper surface of the case 20 is covered on the top plate member 6 for protecting each component. A transparent plate-like member (transparent plate) 3 is covered (see FIG. 9).
  • the display input device of the fourth embodiment shown in FIG. 10 and the display input device of the fifth embodiment shown in FIG. 13 have substantially the same configuration as the display input device of the third embodiment.
  • the difference is the configuration of the micromirror array used in the display input device.
  • the display input device (FIG. 10) according to the fourth embodiment the two-mirror micromirror array 31 (FIG. 11) or the micromirror array is used. 32 (FIG. 12) is used.
  • a single-mirror micromirror array 40 (FIG. 14) is used.
  • the mirror image of the projection object arranged on one surface side is plane-symmetric with respect to the element surface (P) of the array.
  • each of the optical elements (the “front-facing” substrate 13 and the “back-facing” substrate 13 ′) constituting the micromirror arrays 31 and 32 are also transparent flat substrates 13 and 13 as in the third embodiment.
  • a plurality of linear grooves 13g or grooves 13'g that are parallel to each other are formed on the surfaces 13a and 13'a by a dicing process using a rotary blade or the like at a predetermined interval. It should be noted that the substrate 13 and the substrate 13 'are only different in the arrangement direction, and there is no difference in the structure.
  • the micromirror array 31 used in the display input device of the fourth embodiment is different from the micromirror array (30) in that the upper substrate 13 ′ is front and back (top and bottom) as shown in FIG.
  • the surface 13′a on which the groove 13′g is formed is used with the surface 13′g facing downward. That is, the micromirror array 31 uses the two optical elements (substrates 13 and 13 ′) having the same shape to invert the upper substrate 13 ′ and turn the substrate 13 ′ into the other lower substrate.
  • the surface 13′a in which the groove 13′g is formed in the upper substrate 13 ′ is brought into contact with the surface 13a in which the groove 13g is formed in the lower substrate 13 I am letting.
  • the continuous direction of each groove 13g and groove 13′g provided on each substrate 13, 13 ′ is orthogonal to each other in plan view, It is configured as a set of arrays 31.
  • FIG. 12 another configuration of the micromirror array 32 (FIG. 12) used in the display input device according to the fourth embodiment includes optical elements (substrates 13 and 13) that constitute the micromirror array 31 (FIG. 11).
  • optical elements substrates 13 and 13
  • ' Are stacked with the positions changed (reversely), one substrate 13' on the lower side is turned upside down, and this substrate 13 'is rotated by 90 ° with respect to the other substrate 13 on the upper side.
  • the back surface 13b (the lower surface of the plate-like portion 13c) of the upper substrate 13 and the back surface 13'b (the upper surface of the plate-like portion 13'c) of the lower substrate 13 ' are brought into contact with each other and stacked.
  • a set of arrays 32 is configured in which the continuous directions of the grooves 13g and the grooves 13'g provided on the substrates 13 and 13 'are orthogonal to each other in plan view.
  • the basic configuration of the display input device of the fifth embodiment shown in FIG. 13 is the same as that of the display input device of the third and fourth embodiments. Only the structure (see FIG. 14) is different.
  • the micromirror array 40 the micromirror arrays 30 to 32 of the third and fourth embodiments are configured by using two substrates 13 (13 ′) each having a straight groove (13g) formed on one surface.
  • the micromirror array 40 used in the fifth embodiment is composed of a single substrate 14.
  • the micromirror array 40 (imaging optical element) is diced using a rotary blade on the upper surface 14a and the lower back surface 14b of the transparent flat substrate 14, respectively.
  • a plurality of linear grooves 14g and grooves 14g ′ that are parallel to each other are formed at predetermined intervals by processing or the like, and each groove 14g on the front surface 14a side and each groove 14g ′ on the back surface 14b side are The formation direction (continuous direction) is formed to be orthogonal to each other in plan view.
  • the substrate 14 (substrate before formation of the grooves 14g and 14g ′) constituting the micromirror array 40 is a base for engraving and processing a linear groove (14g), similar to the substrate 13, for example, glass or acrylic. It is made of a material having a visible light transmittance of 80% or more such as resin.
  • the substrate 14 is usually a hard plate having a constant thickness (thickness of about 0.5 to 10.0 mm), and the upper surface (surface 14a) thereof is subjected to dicing or the like to each of the linear grooves 14g. , 14g 'are engraved.
  • the grooves 14g and 14g ′ of the substrate 14 are formed on the processing target surfaces (the front surface 14a and the back surface 14b) of the substrate 14 so as to be parallel to each other at a predetermined interval (pitch) in one direction. ing.
  • the substrate 14 is temporarily removed from a dicing machine or the like, and the substrate 14 is attached in a state where the substrate 14 is turned upside down.
  • a plurality of linear grooves 14g ′ parallel to each other on the other surface (back surface 14b) side of the substrate 14 are also formed on the one surface (front surface 14a) side.
  • the phase can be changed by 90 ° (in a direction orthogonal to the groove 14g on the surface 14a side in a plan view).
  • the display input devices of the third to fifth embodiments described above the two-dimensional image such as a photograph displayed on the display D emerges (rises) above the micromirror array (30 to 32, 40). In a state, it is possible to display a rich stereoscopic effect. Further, these display input devices can specify the position and coordinates of the finger H or the like with a simple and low-cost configuration, and the input operation can be performed around the aerial image I ′ projected onto the space. Since there is no structure that can be an obstacle, operation input using the fingers H and the like can be performed in a natural manner without being conscious of the device.
  • box-shaped (sealed) cases 10, 10 ′, and 20 as housings for housing the components of the display input device, open-type housings (15 to 19) without side surfaces are used.
  • open-type housings (15 to 19) without side surfaces are used.
  • An example will be described.
  • the shape of the case and the housing used for the display input device of the present invention is not limited to these embodiments.
  • FIG. 15 to 19 are external perspective views of display input devices in the sixth to tenth embodiments of the present invention, respectively.
  • the aerial image I ′ in this example, a picture of a dog
  • the micromirror array is not shown except for FIG. 15.
  • optical detection means camera symbol 5
  • LED symbol 4 light source
  • micromirror array 30 (which may be 1, 31, 32, 40, etc.) used in each of the following embodiments is similar to the third to fifth embodiments in that the top plate member (top plate portion) of each housing. This is also the same in that a transparent plate-like member (transparent plate 3) for protection is disposed on the upper side of the opening (with an inner edge step portion).
  • the display input device of the sixth embodiment includes a top plate portion 15a, a bottom plate portion 15b, a side plate portion (vertical direction) 15c, and an inclined side portion (inclined plate portion 15d).
  • the housing 15 having no side surface (side portion) in the lateral direction of the display (display insertion direction) is used.
  • the micromirror array 30 is fitted into an opening provided on the upper surface (top plate portion 15a) of the housing 15, and the upper surface (inner side surface) of the inclined plate portion 15d positioned below the flat surface is flat. It is formed on a display mounting surface (equivalent to the upper surface of the mounting table 2 in the first embodiment) on which a panel display (display D) is mounted.
  • the inclined plate portion 15d is at a predetermined angle with respect to the bottom plate portion 15b of the housing 15 and the element surface (or its lower surface) of the micromirror array 30 in the same manner as the display mounting surface (2a) of the mounting table 2 of the embodiment. It is formed so as to be inclined at ⁇ , and a suction tape or the like (not shown) for temporarily fixing the display D is attached to the upper surface (display mounting surface).
  • the display input device of the seventh embodiment shown in FIG. 16 includes a similar top plate portion 16a, side plate portion (vertical direction) 16c, and inclined side portion (inclined plate portion 16d).
  • a housing 16 is used that does not have lateral sides in the display.
  • the micromirror array 30 is also disposed in the opening provided on the upper surface (top plate portion 16a) of the housing 16, and the upper surface (inner surface) of the inclined plate portion 16d located below the micromirror array 30 is It is formed on a mounting table (display mounting surface) on which the display D is mounted.
  • the inclined plate portion 16d is formed so as to be inclined at a predetermined angle ⁇ with respect to the lower surface of the device and the element surface (lower surface) of the micromirror array 30, and on the upper surface (display mounting surface), The same is true in that a suction tape or the like (not shown) for temporarily fixing the display D is attached.
  • the display input device of the eighth embodiment includes a top plate portion 17a, a bottom plate portion 17b, and an inclined side portion (inclined plate portion 17d). And a housing 17 having no lateral side surface of the display.
  • the micromirror array 30 is also disposed in the opening provided on the upper surface (top plate portion 17a) of the housing 17, and the upper surface (inner surface) of the inclined plate portion 17d positioned below the micromirror array 30 is It is formed on a mounting table (display mounting surface) on which the display D is mounted. The same applies to suction tape or the like (not shown) for temporarily fixing the display D.
  • the display input device of the ninth embodiment shown in FIG. 18 uses a housing 18 provided with an inclined plate portion 18d for supporting them between a substantially horizontal top plate portion 18a and a bottom plate portion 18b. ing.
  • a micromirror array 30 (which may be 1, 31, 32, 40, etc.) is also disposed in an opening provided on the upper surface (top plate portion 18a) of the housing 18.
  • the inclined plate portion 18d positioned below the micromirror array 30 is formed to be inclined at a predetermined angle ⁇ with respect to the bottom plate portion 18b and the element surface (lower surface) of the micromirror array 30.
  • an adhesive tape or the like for temporarily fixing the display D is attached.
  • the display input device includes a top plate portion 19a, a bottom plate portion 19b, and a side plate portion (vertical direction) 19c.
  • a housing 19 is used that does not have any.
  • the housing 19 is not provided with a long inclined side surface (18d or the like) constituting a display mounting surface.
  • the bottom plate portion 19b of the housing 19 is provided with a pair of short inclined plates 19d and 19d inclined at a predetermined angle ⁇ , and a groove 19e formed between the inclined plates 19d and 19d
  • One end of the display D can be fitted.
  • the display input device can generate a two-dimensional image in a pseudo manner with a sense of depth by simply inserting the display D into the groove 19e on the bottom plate portion 19b.
  • a stereoscopic image (stereoscopic two-dimensional image) can be displayed (projected) above the micromirror array 30.
  • each display input device has a large opening on the side surface of the housing (15 to 19), the display D (smartphone or the like) can be easily and easily inserted and removed. This is advantageous in terms of cost in that the number of constituent members is small.
  • top plate member top plate portion disposed on the upper surface of the case or housing (reference numerals 15 to 19) and the like, and the transparent plate member for protection (transparent plate 3) are disposed obliquely.
  • the display input device (the eleventh embodiment) is described.
  • FIG. 20 is a principal cross-sectional view for explaining in principle the configuration of the display input device of the eleventh embodiment
  • FIG. 21 is an external perspective view showing the usage state of the display input device.
  • the side surface (display insertion direction) in the lateral direction of the display (display insertion direction) is composed of a top plate portion 21a, a bottom plate portion 21b, a side plate portion (vertical direction) 21c, and an inclined side portion (tilted plate portion 21d).
  • the housing 21 without the side part is used.
  • the micromirror array 30 is fitted in the opening provided on the upper surface (top plate portion 21a) of the housing 21, and the upper surface (inner side surface) of the inclined plate portion 21d located on the lower side thereof is It is formed on a display placement surface on which a flat panel display (display D) is placed.
  • display D a flat panel display
  • the structural features of the display input device of the eleventh embodiment are that the upper surface (the top plate portion 21a and the transparent plate 3) of the housing (housing 21) is on the front side of the device (on the finger H side). It is a point formed on an “upward inclined surface” that is inclined at a predetermined angle ⁇ from the rear side of the apparatus (the left side in the figure) to the rear side of the apparatus.
  • the optical detection means (PSD 5 ′) in this embodiment is arranged so that the aerial image is directed toward the element plane P at a position facing the center of the element plane P of the micromirror array 30 as shown in FIG.
  • the input body (finger H) located around I ′ is arranged in a state where it can be detected.
  • the inclined surfaces of the housing 21 will be described in detail.
  • the inclined plate portion 21d on which the display D is placed is the same as the housings (15 to 19) of the embodiments described above, and the bottom plate portion 21b of the housing 21 and the micro plate 21b. It is formed on an inclined surface that is inclined at a predetermined angle ⁇ with respect to the element surface P (or its lower surface) of the mirror array 30, and an adhesive tape for temporarily fixing the display D on its upper surface (display mounting surface) Etc. (not shown) are pasted.
  • the top plate portion 21a of the housing 21 can be fixed by fitting the array 30 into an opening (with an inner edge stepped portion: see FIG. 20) provided in the approximate center.
  • the same inclination direction as the inclination of the aerial image I ′ that is, the front side (front side) with respect to the horizontal plane (sensory horizontal plane of the viewer) when viewed from the viewer (hand H side).
  • the inclined surface is inclined upward at a predetermined angle ⁇ from the rear side to the rear side (rear side).
  • the inclination angle ⁇ of the upper surface (the top plate portion 21a and the transparent plate 3) of the housing 21 with respect to the horizontal is set to 1 ° to 60 ° (15 ° in this example).
  • the display surface Da has an inclination angle ⁇ (30 ° or more and less than 90 °) with respect to the micromirror array 30 or less.
  • 0 ⁇ ⁇ ⁇ (where 1 ° ⁇ ⁇ ⁇ 60 °, 30 ° ⁇ ⁇ ⁇ 90 °) The relationship is established.
  • this display input device allows anyone to easily find the “apparatus front” (front side) suitable for viewing and inputting the aerial image I ′ according to the inclination direction of the upper surface of the housing. It is like that. Therefore, it is possible to easily find out the direction and position most suitable for viewing and input operations that feel the three-dimensional effect etc. most in the spatial image I ′ without being conscious.
  • the viewing direction and position are positions where the floating feeling and the realistic sensation of the aerial image I ′ can be most strongly felt in the display / input device.
  • the aerial image I ′ is formed between the aerial image I ′ that rises diagonally and the upper surface of the casing (the top plate portion 21a and the transparent plate 3) located on the back surface. Binocular parallax that emphasizes depth, floating feeling, presence, etc. occurs. Therefore, the contrast and clearness of the aerial image I ′ (video, image, etc.) are enhanced, and the aerial image I ′ can be viewed from a greater distance. Needless to say, the configuration in which the upper surface of the casing is inclined upward toward the viewer may be applied to the first to tenth embodiments.
  • the display input device of the present invention is suitable for a user interface device that directly interacts with an aerial image using an operator's fingers because an aerial image can be intuitively operated without being aware of the input system.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

 本発明の表示入力装置は、ケースまたはハウジング等の筐体の上面に、パネル状の結像光学素子(マイクロミラーアレイ)が配設され、この結像光学素子の周りに、LED等の光源が筐体上方の入力体(手指等)を照らすように配置されているとともに、上記結像光学素子に対応する筐体下部の所定位置に、載置台が結像光学素子の下面に対して所定角度α傾斜した状態で配置され、空間像(I')の周囲に位置する入力体(手指等)を検出しうる位置に、カメラ等の光学的検出手段が配設されている。これにより、操作者の手指等の入力体を用いた空間像周りの入力操作を、装置を意識することなく自然な形で行うことができる。

Description

表示入力装置
 本発明は、写真等の二次元映像を空間に浮かび上がった空間像として表示するとともに、この空間像の周囲に進入する手や指等の入力体の動きを、座標や軌跡等の位置情報として取得する表示入力装置に関するものである。
 空間に画像や映像等を表示(投影)する方式としては、二眼方式,多眼方式,空間像方式,体積表示方式,ホログラム方式等が知られており、近年では、上記空間に表示された二次元映像または三次元映像(空間像)を、手や指等(以下「手指」という)を用いて直感的に相互作用的操作(インタラクション)可能な表示入力装置が提案されている。
 このような表示入力装置における手指の認識入力手段(ユーザインタフェース)として、多数のLEDやランプ等により、検知領域(平面)に縦横の光の格子を形成し、入力体(手指等)による光の格子の遮蔽(遮光)を受光素子等で検知して、その入力体の位置や座標等を検出するシステムが提案されている(特許文献1,2を参照)。
特開2005-141102号公報 特開2007-156370号公報
 しかしながら、上記のように、検知平面に形成した光の格子(不可視)の遮蔽を検知して入力体の位置や座標等を検出する表示入力装置は、空間像が、上記LEDや受光素子の設置に利用される枠(中空のフレーム)の中に表示されるため、この枠が操作者の視野内に入ってしまい、立体感や臨場感等が得られにくいという問題がある。また、上記枠が、入力操作の際の障害物(邪魔な物)として意識される場合があり、その場合、操作者による入力操作(手や指等の動き)が制約を受けたり、滑らかでなくなってしまうおそれがある。
 本発明は、このような事情に鑑みなされたもので、空間に投影される空間像の周囲に、操作の障害となるような構造物がなく、操作者の手指等の入力体を用いた空間像周りの入力操作を、装置を意識することなく自然な形で行うことができる表示入力装置の提供をその目的とする。
 上記の目的を達成するため、本発明の表示入力装置は、フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学素子を用いて、この結像光学素子から離れた空間位置に浮かび上がった状態で結像させるとともに、結像した空間像の周囲に位置する入力操作用の入力体の位置情報を、光学的手段により取得する表示入力装置であって、上記ディスプレイを載置するためのディスプレイ載置面を有する載置台と、パネル状の結像光学素子と、光源および光学的検出手段と、上記ディスプレイを収容する筐体とを備え、上記結像光学素子が、上記筐体の上面の所定位置に配設され、この結像光学素子の周りに、上記光源が筐体上方に位置する入力体を照らすように配置され、上記結像光学素子の下側に、上記ディスプレイを結像光学素子に対して所定角度傾斜した状態で保持する載置台が配置され、上記光学的検出手段が、上記空間像の周囲に位置する入力体を検出しうる状態で配設されているという構成をとる。
 すなわち、本発明者は、前記課題を解決するため研究を重ね、その結果、パネル状の結像光学素子を用いて、フラットパネルディスプレイを収容するケース,ハウジング等の筐体の上方に、写真等の二次元画像を浮かび上がった(立ち上がった)状態で結像させるとともに、その結像光学素子の周囲の適切な位置に、手指等の入力体を照らす光源と、この入力体による反射(反射光)を検出する光学的検出手段とを配置することにより、従来例のように、入力体の位置を検出する手段(枠やシステム等)を意識することなく、自然な入力操作を行うことができることを見出した。
 本発明の表示入力装置は、フラットパネルディスプレイを載置するためのディスプレイ載置面を有する載置台と、パネル状の結像光学素子と、光源および光学的検出手段と、上記ディスプレイを収容する筐体とを備え、上記結像光学素子が、上記筐体の上面の所定位置に配設され、この結像光学素子の周りに、上記光源が筐体上方に位置する入力体を照らすように配置され、上記結像光学素子の下側に、上記ディスプレイを結像光学素子に対して所定角度傾斜した状態で保持する載置台が配置され、上記空間像の周囲に位置する入力体を検出可能な位置に、上記結像光学素子が配設されている。そのため、本発明の表示入力装置は、操作者が、入力体の位置や座標等を検出する手段(装置やシステム)を意識することなく、手指を用いた上記空間像周りの入力操作を、自然な形で行うことができるようになる。これにより、上記表示入力装置は、インタラクションが容易で、ユーザフレンドリーな表示入力装置とすることができる。
 なお、上記表示入力装置を収容する筐体としては、周囲の光を遮光する箱状で、かつ、上記載置台等をその内部に収容しうるケース状のものか、あるいは、側面が開口する開放形で、かつ、上記ディスプレイ載置面が、その壁面(一側面)を利用して形成されているハウジング状のもの等を、選択して採用することができる。上記箱状のケースを用いた場合、上記映像を鮮明に投影できるというメリットがある。また、上記開放形のハウジング状のものを用いた場合、上記ディスプレイを簡単に出し入れできるという利点がある。
 また、本発明の表示入力装置のなかでも、上記パネル状の結像光学素子の下面に対する上記載置台およびフラットパネルディスプレイの表示面の傾斜角が、30°以上90°未満に設定されているものは、上記表示される立体的二次元映像を、より浮遊感の強い立体的な画像として表示することができる。
 また、本発明の表示入力装置のなかでも、特に、上記パネル状の結像光学素子が、コーナーリフレクタ型の単位光学素子からなるマイクロミラーアレイであるものは、上記表示される立体的二次元映像を、より輝度の高い鮮明な画像として表示することができる。
 そして、本発明の表示入力装置のなかでも、上記フラットパネルディスプレイが、携帯電話または携帯情報端末の表示部であり、この携帯電話または携帯情報端末が、上記載置台またはディスプレイ載置面に着脱可能に配設されるようになっているものは、特別な準備の必要なく、この表示入力装置をより簡単かつ手軽に利用することができる。
本発明の第1実施形態における表示入力装置の構成を示す断面図である。 (a)は第1実施形態で用いるマイクロミラーアレイの模式的拡大図であり、(b)はマイクロミラーアレイによる空間像の結像様式を説明する図である。 第1実施形態における表示入力装置の使用方法を説明する図である。 第1実施形態の表示入力装置にフラットパネルディスプレイをセットする方法を説明する一部断面図である。 (a)~(c)は、本発明の実施形態の表示入力装置における手指の座標(XY方向)を検出する方法を説明する図である。 本発明の第2実施形態における表示入力装置の構成を示す断面図である。 本発明の第3実施形態における表示入力装置の構成を示す分解斜視図である。 上記実施形態の表示入力装置に用いられるマイクロミラーアレイの構成を示す模式図である。 上記実施形態の表示入力装置に用いられるマイクロミラーアレイの取り付け方法を示す模式図である。 本発明の第4実施形態における表示入力装置の構成を示す分解斜視図である。 上記実施形態の表示入力装置に用いられるマイクロミラーアレイの構成を示す模式図である。 上記実施形態の表示入力装置に用いられるマイクロミラーアレイの他の構成を示す模式図である。 本発明の第5実施形態における表示入力装置の構成を示す分解斜視図である。 上記実施形態の表示入力装置に用いられるマイクロミラーアレイの構成を示す模式図である。 本発明の第6実施形態の表示入力装置の構成を示す斜視図である。 本発明の第7実施形態の表示入力装置の構成を示す斜視図である。 本発明の第8実施形態の表示入力装置の構成を示す斜視図である。 本発明の第9実施形態の表示入力装置の構成を示す斜視図である。 本発明の第10実施形態の表示入力装置の構成を示す斜視図である。 本発明の第11実施形態の表示入力装置の構成を示す断面図である。 本発明の第11実施形態の表示入力装置の構成を示す斜視図である。
 つぎに、本発明の実施の形態を、図面にもとづいて詳しく説明する。ただし、本発明は、この実施の形態に限定されるものではない。
 図1は、本発明の第1実施形態における表示入力装置の構成を示す模式的断面図である。また、図3は、第1実施形態における表示入力装置の使用方法を説明する図であり、図4は、上記表示入力装置を図3の矢印F方向から見た一部断面図である。なお、本例においては、フラットパネルディスプレイ(符号D)には、携帯電話(スマートフォン等)の液晶表示画面(LCD)を利用している。また、図中の符号3は、ケース10の上面開口を蓋する透明な板状部材(透明板)を示すとともに、画面に表示される「画像」(図1中の太線矢印I等)および投影される「空間像」(図1中の太線矢印I’等)は、その厚みを強調して図示している。
 本実施形態の表示入力装置は、図1のように、上面が開口する有底箱状のケース10の中に、フラットパネルディスプレイDを載置するための載置台2と、パネル状の結像光学素子(本例ではマイクロミラーアレイ1、以下「アレイ1」ともいう)と、光源(LED-符号4,4’)および光学的検出手段(カメラ5)とが配設されている。ケース10の上部(開口側)には、このケース10の上面開口を蓋する透明板3の下面の所定位置に、上記マイクロミラーアレイ1が貼り付け固定されており、このマイクロミラーアレイ1の周囲に、各LED4が取り付けられている。また、ケース10の下部(底部側)には、上記マイクロミラーアレイ1の下面1bに対峙する直下(真下)の位置に、このマイクロミラーアレイ1に対して角度αで傾斜する載置台2が配置され、上記マイクロミラーアレイ1の直下(載置台2の領域)を除く、このマイクロミラーアレイ1から側方(図では右方)に距離を空けた下方(底部側)の位置に、上記カメラ5が、上記マイクロミラーアレイ1の上方の空間像I’の周囲に位置する入力体(手指H等)を検出可能な状態で配設されている。これが、本発明の表示入力装置の特徴である。
 上記表示入力装置について、詳しく説明すると、上記ケース10の上面開口部に配設されてこのケース10を蓋する透明板3は、ケース開口方向(上下方向)の光の透過(空間像I’の結像、LED4,4’による投光、カメラ5による撮像等)と、上記マイクロミラーアレイ1およびLED4,4’等の取り付け(位置決め固定)のために設けられているもので、ガラス板やアクリル樹脂板等、可視光領域の光透過率が80%以上の硬質な板状部材から形成されている。
 上記透明板に取り付けられるパネル状の結像光学素子(マイクロミラーアレイ1)は、その一方の面側に存在する画像Iや映像等を、他方の面側に実像(空間像I’)として結像させる結像機能を備えるもので、本発明の表示入力装置には、フレネルレンズ等を含む各種レンズや、アフォーカル光学系のマイクロミラー,コーナーリフレクタ等の屈折型結像素子、マイクロレンズアレイ等の正立等倍型結像素子を用いることができる。なかでも、本実施形態においては、図1のように、素子面Pに対して面対称の位置に像を結ぶ、マイクロミラーアレイ(凸型コーナーリフレクタアレイ、詳細構造は図2を参照)が好適に使用される。このマイクロミラーアレイ1は、上記ケース10の上面開口部に取り付けられた透明板3(蓋部材)の下面(内面)側に、取り付けられている。なお、上記透明板3にアレイ1と同形状の開口(穴)を設け、この開口に嵌め込んで固定するようにしてもよい。
 上記マイクロミラーアレイ1(コーナーリフレクタアレイ)について、より詳しく説明すると、このアレイ1は、図2(a)に示すように、基板(基盤)11上に、微小な単位光学素子12(コーナーリフレクタ)が、操作者の視点(矢印E方向)から見て、斜め碁盤目状に並ぶように配列されている。それぞれの単位光学素子12は、各コーナー12cを構成する2つの光反射面(第1の側面12a,第2の側面12b)が、操作者の正面〔図2(a)中では紙面下側となる奥側〕を向くようになっており、全体として、図2(b)のように、そのアレイの外縁(外辺)を上記ケース10の正面(操作者手前のE側)に対して45°回転させた状態で配設されている。
 上記マイクロミラーアレイ1の周囲に取り付けられる光源(主光源としての3個のLED4、図3参照)は、ケース10の上方に光を照射して、そこに進入する入力体(手指H等)の撮像(反射光の検出)を容易にするためのものであり、空間像I’を結像する光(可視光)との干渉を避けるとともに、操作者に知覚されてその操作の邪魔となることがないように、可視光以外の領域の波長の光(赤外光,紫外光等)を発光するものが使用される。この光源としては、例えば、赤外LEDや半導体レーザ(VCSEL)等、波長700~1000nm程度の赤外光を発する発光体またはランプ等が好ましく、本実施形態においては、上記LED4として、赤外LEDを使用している。
 なお、上記各LED4は、連続であるいは間欠で発光させればよく、間欠で発光させる場合は、各LED4を順次タイミングをずらせて発光させてもよい。また、カメラ5による撮像(検出)範囲が広い場合は、図1,図3のように、補助光源として、同種の光源(本例では2個のLED4’)を別途配設してもよい。これら補助光源は、ケース10の外部に配置しても差し支えない。
 つぎに、フラットパネルディスプレイDを載置するための載置台2は、板状部材2aと、この板状部材2aを支持する基台2b,2bとからなり、ケース10内部の、上記マイクロミラーアレイ1の下面1bに対峙する位置(アレイ1の鉛直下方)に配設されている。上記板状部材2aは、ケース10の底面およびアレイ1の素子面P(またはアレイ1の下面1b)に対して所定角度α傾いた状態(図1参照)で、上記基台2b,2bに支持・固定されており、その上面が、フラットパネルディスプレイDの載置面となっている。そして、上記載置台2の載置面(板状部材2aの上)に、フラットパネルディスプレイDを備えるスマートフォン等を載置することにより、上記フラットパネルディスプレイDの表示面Daが、マイクロミラーアレイ1の素子面Pに対してα°傾いた状態で保持されるようになっている。なお、ケース10内における上記載置台2の、マイクロミラーアレイ1の素子面P(下面1b)に対する傾斜角αは、アレイ1による結像作用が最適となるように調整されるのであり、通常30°以上90°未満、好ましくは40°以上80°以下に設定されている。
 また、上記画像Iの表示に用いられフラットパネルディスプレイD(以下、単に「ディスプレイD」ともいう)としては、バックライトを備える液晶表示パネル(LCD)の他、プラズマディスプレイパネル,有機EL表示パネル等、全可視光波長にわたってなるべく偏りのない「白色」と、非表示時の「黒色」とを、コントラスト良く再現できるディスプレイパネルを使用することが望ましい。なお、ディスプレイDは、携帯電話または携帯情報端末等の表示部であってもよく、具体的には、スマートフォン,タブレット型PC,デジタルフォトフレームや、携帯型ゲーム機,携帯型ブックリーダー,PDA,電子辞書等のうち、その表示部が常時露出する(カバーされていない)タイプのなかで、上記載置台2上に載置できるサイズのものを使用することができる。
 つぎに、手指H(入力体)を検出するカメラ5(光学的検出手段)は、上記マイクロミラーアレイ1から側方(図1では右方)に距離を空けた下方(ケース底部側)の位置(すなわち、撮像時に、上記手指Hがアレイ1の影に隠れない位置)に配置されており、これにより、上記マイクロミラーアレイ1の上方に結像する空間像I’の周囲に位置する手指Hが、撮像(検出)可能になっている(図1のカメラ5の視野角-二点鎖線を参照)。上記カメラ5のカメラ本体5aとしては、CMOSあるいはCCD等のイメージセンサを備えるものが使用される。
 なお、上記表示入力装置に用いる光学的検出手段として、PSD(Position Sensitive Detector)を用いることもできる。このPSDは、入力体までの距離を位置信号として出力するもので、予め、距離と位置信号(電圧)との相関(リファレンス)を取得しておくことにより、入力体までの距離を高精度に計測することが可能である。上記PSDとして、2次元PSDを使用する場合は、上記カメラ5に代えて、この2次元PSDをカメラ5の位置に配置すればよい。また、1次元PSDを使用する場合は、2個以上の1次元PSDを、上記手指H(入力体)の座標を三角測量により計測可能な複数の位置に分散して配置すればよい。これらPSD(またはユニット化されたPSDモジュール)を使用することにより、手指Hの位置検出精度を向上させることができる。
 また、上記カメラ5またはPSD等の光学的検出手段は、入力体(手指H等)の全体を視野角内に撮らえるために、上記透明板3から充分に(例えば、10cm以上)距離を空けた下方に配置することが望ましい。なお、上記カメラ本体5aを上方に向けて支持するカメラ基台5bは、上記カメラ5の視野角を変更(調整)できるように、昇降式の架台としてもよい。さらに、例えば、第2実施形態(図6)のように、スペースに余裕のある他のケース10’を用いた場合は、上記光学的検出手段(カメラ5等)を、上記結像光学素子(マイクロミラーアレイ1)から側方(左方)に距離を空けた位置(ただし、同様に、検出時に上記手指Hが結像光学素子の影に隠れない位置)に配置することもできる。上記光学的検出手段は、ケース10下方のそれぞれ離れた位置に、複数台設置してもよい。
 また、上記光学的検出手段が、結像光学素子を透過して手指H等を検出可能なタイプの場合は、このカメラ5等を、上記マイクロミラーアレイ1の素子面Pに対して正対する位置〔これらの例では、マイクロミラーアレイ1の平面中心の真下(鉛直下方)の位置〕に配置してもよい。ただし、この配置では、手指H等を検出できない位置(死角)が生じたり、取得像の歪みを補正する演算が必要になる場合がある。
 そして、上記各部材を収容するケース10は、図1のように、その上面の開口部に前記透明板3が配置されているとともに、ケース10の内面は、光による乱反射を防止するために、黒色(色度0,彩度0,明度0)もしくはこれに近い暗色とされている。なお、このケース10の一側面には、後記の図3,図4に示すように、上記フラットパネルディスプレイD(図ではスマートフォン)をこのケース10の内部(載置台2の上)に挿入するためのスリット状の挿入口10aが設けられている。
 なお、上記ケース10の一部に、スピーカー等の発音手段を配設してもよい。この発音手段により、上記フラットパネルディスプレイDに表示される画像Iに合わせた音楽(BGM)や音声等を出力することが可能になる。勿論、上記スマートフォン(フラットパネルディスプレイD)に内蔵のスピーカー等を利用してもよい。
 つぎに、上記フラットパネルディスプレイD(スマートフォン)を用いて、上記ケース10の上方に、画像Iの実像(空間像I’)を投影・表示する方法について説明する。
 上記表示入力装置において、上記画像Iを表示(投影)する場合、まず、ディスプレイDを備えるスマートフォンを準備し、このディスプレイDに所定の加工(背景色変更やコントラスト向上等の画像処理)を施した画像I(図3では、例として「犬の写真」)を表示させ、このスマートフォンを、上記画像Iの上下(天地)が逆さまなるようにして、上記挿入口10aのあるケース10の側面近傍まで移動させる(図3の矢印A参照)。
 つぎに、上記画像Iが逆さまの状態のまま、上記スマートフォンを、上記挿入口10aからケース10の内部へ押し込む(図3,図4の矢印B)と、このスマートフォンが載置面上を横にスライドして、載置台2上の所定位置にセットされる〔図3,図4のC位置〕。これにより、上記フラットパネルディスプレイDの画面に表示された平面的な二次元画像I(写真等)が、奥行き感を持った空間像I’(立体的二次元画像)として、パネル状のマイクロミラーアレイ1の上方に表示(投影)される(図3参照)。
 なお、上記スマートフォン(フラットパネルディスプレイD)を、その表示画像が自動的に次々変わる状態(いわゆる「スライドショー」モード)にしておけば、上記ケース10内においても、このフラットパネルディスプレイD(スマートフォン)を操作することなく、任意の好みの画像を順次表示(投影)することができる。また、上記載置台2が、上記携帯電話や携帯情報端末等の充電(充電スタンドまたはクレードル)機能を備えるように構成すれば、上記画像Iの表示中でも各機器の充電を済ますことが可能で、その充電のための時間を有効に活用することができる。
 さらに、上記スマートフォン(フラットパネルディスプレイD)は、上記光源(LED4,4’)の発光と光学的検出手段(カメラ5)による検出(撮像)を制御する制御手段としての機能と、上記光学的検出手段で撮影された手指Hの画像を抽出・解析してその座標を特定する演算手段としての機能とを、兼ね備えており、上記LED4,4’およびカメラ5と、有線(図示省略)または無線通信等により、交信可能に相互接続されている。
 つぎに、上記光学的検出手段(カメラ5)を用いた、表示入力装置の空間像I’の周辺(検知領域内)に差し入れられた入力体(この例では「手指H」)の検出と、この手指Hの位置情報(座標)を取得する方法について、その過程(ステップ)ごとに順を追って説明する。なお、これらを説明する図5において、符号Qは、マイクロミラーアレイ1の素子面(P)に略平行な「仮想水平面」(ケース10上の透明板3に相当)であり、符号Q’,Q”は、上記仮想水平面Qに平行な「仮想撮影平面」である。
 上記手指Hの位置(座標)の特定は、まず、図5(a)に示すように、手指Hの下側(アレイ1の周り)に配置された各光源(LED4,4’)から、この手指Hに向けて光を投射する。なお、この投光は間欠発光でもよい〔投光ステップ〕。
 ついで、光を投射した状態で、上記ケース10の底部に配設されたカメラ5によりこの手指Hを撮影し、その手指Hによる上記光の反射(反射光あるいは反射像)を、図5(b)のように、互いに直交するXY方向の座標軸を有する二次元画像H’(仮想撮影平面Q’上の画像)として取得する〔撮像ステップ〕。
 つぎに、得られた上記二次元画像H’を、しきい値にもとづいて二値化した後、図5(c)に示すように、その二値化画像H”のなかから、上記手指Hの外形形状(図中の網点部分)を認識した後、例えば、拳から突出する指等を識別して、その先端位置に相当する座標(指先座標T)を、演算により抽出する。そして、この指先座標Tを、制御手段(この例ではスマートフォン)等の記憶手段に記憶するか、あるいは、この表示入力装置が「入力デバイス」として機能している場合は、その指先座標Tのデータ(信号)を外部の機器に対して出力する〔座標特定ステップ〕。
 なお、上記手指Hの座標を取得する過程を、ある時間間隔で繰り返すことにより、上記手指Hの動き(軌跡)を検出することもできる。また、上記繰り返しの経過前後の指先座標Tの差(変化量)を用いて、上記指先座標Tの移動距離と方向を算出し、その結果にもとづいて、フラットパネルディスプレイDの画像I、すなわち空間像I’を、上記手指Hの動きに応じてインタラクティブに変化させる(更新する)ことも可能である。これにより、上記表示入力装置を、マウスやタブレット等のポインティングデバイスのように動作させることができる。
 さらに、上記カメラ5に代えて、光学的検出手段にPSDを用いる場合は、上記のような画像処理を経ることなく、その位置信号(距離)から演算(三角測量)により、直接的にかつ高精度で、上記手先Hの座標(指先座標T)を得ることができる。
 また、上記実施形態では、スマートフォン等の携帯電話が、表示機能(ディスプレイD)と、光源の発光および光学的検出手段による検出を制御する制御手段と、光学的検出手段で撮影された手指Hの画像を抽出・解析してその座標を特定する演算手段とを兼用する例を示したが、上記携帯電話等の他に、コンピュータ等からなる制御部(コントローラ)を別途設け、上記表示機能以外の機能(制御手段および演算手段等)をこの制御部で分担するように構成してもよい。
 上記のように、本発明の表示入力装置によれば、シンプルかつ低コストな構成で、手指Hの位置や座標を特定することができる。しかも、この表示入力装置は、空間に投影される空間像I’の周囲に、入力操作の障害となるような構造物がないため、手指Hを用いた操作入力を、装置を意識することなく自然な形で行うことができる。
 つぎに、本発明の表示入力装置をより組み立てやすく構成した、第3~第5実施形態について説明する。
 図7は、本発明の第3実施形態における表示入力装置の構成を示す分解斜視図である。また、図8は、上記実施形態の表示入力装置に用いられるマイクロミラーアレイ(30)の詳細構成を示す模式図であり、図9は、そのマイクロミラーアレイ(30)の装置への取り付け方法を説明する断面図である。なお、以下の各実施形態においても、フラットパネルディスプレイ(符号D)には、携帯電話(スマートフォン等)の液晶表示画面(LCD)を利用している。また、前記第1,第2実施形態と同様の機能を有する構成部材には同じ符号を付して、その詳細な説明を省略する。
 上記第3実施形態の表示入力装置の特徴は、結像光学素子として、製作が容易でコストダウンが可能な、二枚(組)の基板13からなるマイクロミラーアレイ30を採用するとともに、このマイクロミラーアレイ30を、ケース20の上面に簡単に組み込み(セット)することのできる天板部材6を使用している点である。
 このマイクロミラーアレイ30は、図8に示すように、透明な平板状の基板13,13の上側の各表面13aに、回転刃を用いたダイシング加工等により、互いに平行な直線状の溝13gが、所定の間隔で複数本形成されている。そして、上記マイクロミラーアレイ30は、これら同じ形状の2枚の光学素子(基板13,13)を用いて、各基板13上に設けられた各溝13gの連続方向が平面視互いに直交するように、上側の一方の基板13を下側の他方の基板13対して回転させた状態で、下側の基板13における溝13gが形成された表面13aに、上側の基板13における溝13gが形成されていない裏面13b(板状部13c)を当接させ、これら基板13どうしを上下に重ね合わせることにより、一組として構成されている。
 上記マイクロミラーアレイ30の構成(後記のマイクロミラーアレイ31,32,40も同じ原理)について、詳しく説明すると、各光学素子を構成する基板13(溝13g形成前の基板)は、上記直線状の溝13gを彫り込み加工するための基体であり、例えばガラスやアクリル樹脂等、可視光の透過率が80%以上の材料から形成されている。この基板13は、通常、一定の厚みを有する硬質な板状(厚さ0.5~10.0mm程度)で、その上面(表面13a)に、ダイシング加工等により、上記直線状の各溝13gが彫り込み(堀り込み)形成される。なお、上記各溝13gの彫り込みが到達していない平板状部位(板状部13c)が、各溝13gの間に彫り残して形成される凸条部位の支持基台となっている。
 上記基板13上の溝13gは、ダイシング加工機の回転刃(ダイシングブレード)等により形成されるもので、基板13の加工対象面(表面)に、一方向に所定の間隔(ピッチ)で、かつ、互いに平行になるように形成されている。なお、これらの溝13gを構成する側面(壁面)は、上記回転刃を用いたダイシング加工等により形成されるため、光反射性の垂直面(鏡面)に形成されている。また、各溝13gは、上記ブレード等の厚さ(端面方向の全厚)にもよるが、通常、0.015mm(15μm)~0.3mm(300μm)程度の厚さのブレードを使用した場合、約20~350μmの幅で、深さ約50~500μm程度の溝13gが形成され、これらの溝13gが形成されていない残りの領域(凸条部位)は、幅が約50~300μmで、高さ約50~500μm(溝の深さと同一)の平行なリブ状となっている。
 そして、上記直線状の各溝13gが形成された2枚の基板13,13は、図8のように、上側の一方の基板13を下側の他方の基板13に対して水平に90°回転させた状態(すなわち、下側の基板1と上側の基板1’の位相が90°異なる状態)で、下側の基板13の表面13a(上側面)に、上側の基板13の裏面13b(板状部13cの下側面)を当接させて重ね合わせることにより、一組(一体)のマイクロミラーアレイ30とされる。この際、上記のように下側の基板13と上側の基板13の位相が90°異なることから、同じ形状に形成された基板13の各溝13gどうしは、その溝13gの連続方向が平面視互いに直交する配置(立体的には「ねじれの位置」)になっている。
 この状態において、上記マイクロミラーアレイ30を基板表裏方向(上下方向)から見た場合、上側の基板13の各溝13gと下側の基板13の各溝13gとが、平面視互いに直交する格子状になっており、これらの交差箇所それぞれに、上側の基板13の各溝13gの光反射性の垂直面(鏡面)と、下側の基板13の各溝13gの光反射性の垂直面(鏡面)とからなるコーナーリフレクタが形成されるようになっている。
 そして、上記マイクロミラーアレイ30(各基板13)を表示入力装置の上面にセットする際は、図7および図9のように、天板部材6の上面に形成された、内縁に固定用段部6eが設けられた所定形状(基板13の外形とほぼ同一形状)の開口6aに、まず一枚目の基板13を嵌め入れ、その上に、残りの二枚目の基板13を、水平に90°回転させた状態で嵌め入れて重ねることにより、だれでも簡単に、マイクロミラーアレイ30を取り付けることができる。
 なお、上記マイクロミラーアレイ30を構成する各基板13は、二枚とも、各溝13gが形成された表面13a(上面)を下側(開口6a側)に向けて嵌め入れてもよい(後記図11,12の「裏向き」基板13’を参照)。この場合も、一枚目の基板(13’)の上に、二枚目の基板(13’)を、水平に90°回転させた状態で嵌め入れて重ねることにより、同様の効果を奏することができる。
 また、上記天板部材6に設けられている開口6bはカメラ5用、各開口6cはLED(符号4)用であり、マイクロミラーアレイ30と同様に、位置決めや取り付けが容易なようになっている。そして、天板部材6に各マイクロミラーアレイ30,カメラ5,LED(4)等が取り付けられた後、各部品の保護用として、上記天板部材6の上に、ケース20の上面を蓋する透明な板状部材(透明板)3が被せられる(図9参照)。
 つぎに、図10に示す第4実施形態の表示入力装置、および、図13に示す第5実施形態の表示入力装置も、上記第3実施形態の表示入力装置とほぼ同様の構成である。異なっているのは、表示入力装置に用いられるマイクロミラーアレイの構成であり、第4実施形態の表示入力装置(図10)では、二枚組のマイクロミラーアレイ31(図11)またはマイクロミラーアレイ32(図12)が使用されている。また、第5実施形態の表示入力装置(図13)では、一枚構成のマイクロミラーアレイ40(図14)が使用されている。
 図11,図12に示すマイクロミラーアレイ31,32も、一方の面側(裏面側または表面側)に配置された被投影物の鏡映像を、アレイの素子面(P)に対して面対称となる他方の面側(表面側または裏面側)の空間位置に結像させる「結像光学素子」として構成されている。また、これらのマイクロミラーアレイ31,32を構成する各光学素子(「表向き」基板13,「裏向き」基板13’)も、上記第3実施形態と同様、透明な平板状の基板13,13’の表面13a,13’aに、回転刃を用いたダイシング加工等により、互いに平行な直線状の溝13gまたは溝13’gが、所定の間隔で複数本形成されている。なお、基板13と基板13’とは、配置する向きの違いだけであり、その構造に差はない。
 第4実施形態の表示入力装置に用いられているマイクロミラーアレイ31が、前記マイクロミラーアレイ(30)と異なる点は、図11のように、上側の一方の基板13’が、表裏(天地)を反転させ、溝13’gが形成された表面13’aを下に向けて用いられている点である。すなわち、上記マイクロミラーアレイ31は、同じ形状の二枚の光学素子(基板13,13’)を用いて、上側の一方の基板13’を表裏反転させ、この基板13’を下側の他方の基板13に対して90°回転させた状態で、上側の基板13’における溝13’gが形成された表面13’aを、下側の基板13における溝13gが形成された表面13aに当接させている。このように、各基板13,13’上に設けられた各溝13gと溝13’gの連続方向が平面視互いに直交するように、これら基板13,13’どうしを上下に重ね合わせることにより、一組のアレイ31として構成されている。
 また、同様に、第4実施形態の表示入力装置に用いられる他の構成のマイクロミラーアレイ32(図12)は、上記マイクロミラーアレイ31(図11)を構成する各光学素子(基板13,13’)を、位置を入れ換えて(逆に)積み重ねたものであり、下側の一方の基板13’を表裏反転させ、この基板13’を上側の他方の基板13に対して90°回転させた状態で、上側の基板13の裏面13b(板状部13cの下側面)と下側の基板13’の裏面13’b(板状部13’cの上側面)とを当接させて積み重ねたものである。これにより、各基板13,13’上に設けられた各溝13gと溝13’gの連続方向が平面視互いに直交する、一組のアレイ32が構成されている。
 つぎに、図13に示す第5実施形態の表示入力装置も、その基本的な構成は、前記第3,第4実施形態の表示入力装置と同じであり、使用されているマイクロミラーアレイ40の構造(図14参照)のみが、異なっている。そのマイクロミラーアレイ40は、前記第3,第4実施形態のマイクロミラーアレイ30~32が、直線状の溝(13g)が一面に施された二枚の基板13(13’)を用いて構成されていたのに対し、この第5実施形態で用いるマイクロミラーアレイ40は、一枚の基板14で構成されている。
 すなわち、上記マイクロミラーアレイ40(結像光学素子)は、図14に示すように、透明な平板状の基板14の上側の表面14aおよび下側の裏面14bに、それぞれ、回転刃を用いたダイシング加工等により、互いに平行な直線状の溝14gおよび溝14g’が、所定の間隔で複数本形成されており、これら表面14a側の各溝14gと裏面14b側の各溝14g’とは、その形成方向(連続方向)が平面視互いに直交するように形成されている。
 上記マイクロミラーアレイ40を構成する基板14(溝14g,14g’形成前の基板)は、前記基板13と同様、直線状の溝(14g)を彫り込み加工するための基体であり、例えばガラスやアクリル樹脂等、可視光の透過率が80%以上の材料から形成されている。この基板14は、通常、一定の厚みを有する硬質な板状(厚さ0.5~10.0mm程度)で、その上面(表面14a)に、ダイシング加工等により、上記直線状の各溝14g,14g’が、それぞれ彫り込み形成されている。なお、上記各溝14g,14g’の彫り込みが到達していない平板状部位(板状部14c)が、各溝14g,14g’の間に彫り残して形成される凸条部位の支持部位となっている。
 なお、基板14の溝14g,14g’は、基板14の加工対象面(表面14a,裏面14b)に、それぞれ、一方向に所定の間隔(ピッチ)で、かつ、互いに平行になるように形成されている。このような両面加工は、一方の面(例えば表面14a)に溝14gを形成した後、ダイシング加工機等から一旦上記基板14を取り外し、その基板14を表裏(上下)反転させた状態で取り付けることにより、基板14の他方の面(裏面14b)側にも、上記一方の面(表面14a)と同様の互いに平行な複数本の直線状溝14g’を、上記一方の面(表面14a)側と90°位相を変えて(表面14a側の溝14gと平面視直交する方向に)形成することができる。
 以上の第3~第5実施形態の表示入力装置によっても、ディスプレイDに表示された写真等の二次元映像を、マイクロミラーアレイ(30~32,40)の上方に浮かび上がった(立ち上がった)状態で、立体感豊かに表示することができる。また、これらの表示入力装置は、シンプルかつ低コストな構成で、手指H等の位置や座標を特定することが可能で、しかも、空間に投影される空間像I’の周囲に、入力操作の障害となるような構造物がないことから、上記手指H等を用いた操作入力を、装置を意識することなく自然な形で行うことができる。
 つぎに、上記表示入力装置の各部品を収容する筐体として、前記箱状(密閉形)のケース10,10’,20に代えて、側面のない開放形のハウジング(15~19)を用いた例について説明する。ただし、本発明の表示入力装置に用いられるケースやハウジングの形状等は、これらの実施形態に限定されるものではない。
 図15~図19はそれぞれ、本発明の第6~第10実施形態における表示入力装置の外観斜視図である。なお、マイクロミラーアレイの上方に投影される空間像I’(この例では犬の写真)は、図15以外、図示を省略している。また、構成が複雑になるのを避けるため、ディスプレイD以外の光学的検出手段(カメラ 符号5)や光源(LED 符号4)等の図示は省略している。
 さらに、以下の各実施形態で用いられるマイクロミラーアレイ30(1,31,32,40等でもよい)は、前記第3~第5実施形態と同様、各ハウジングの天板部材(天板部)に設けられた開口(内縁段部付き)に嵌め入れて固定されており、その上側に、保護用の透明な板状部材(透明板3)が配設されている点も同様である。
 まず、第6実施形態の表示入力装置には、図15に示すように、天板部15a,底板部15b,側板部(垂直方向)15cと、傾斜状の側部(傾斜板部15d)とからなる、ディスプレイ横方向(ディスプレイ挿入方向)の側面(側部)がないハウジング15が使用されている。このハウジング15の上面(天板部15a)に設けられた開口には、上記マイクロミラーアレイ30が嵌め入れられており、その下側に位置する傾斜板部15dの上面(内側面)が、フラットパネルディスプレイ(ディスプレイD)を載置するディスプレイ載置面(第1実施形態における載置台2の上面と同等)に形成されている。
 上記傾斜板部15dは、前記実施形態の載置台2のディスプレイ載置面(2a)と同様、ハウジング15の底板部15bおよびマイクロミラーアレイ30の素子面(またはその下面)に対して、所定角度αで傾斜するように形成されており、その上面(ディスプレイ載置面)には、ディスプレイDを仮固定するための吸着テープ等(図示省略)が、貼り付けられている。
 また、図16に示す第7実施形態の表示入力装置は、同様の天板部16a,側板部(垂直方向)16cと、傾斜状の側部(傾斜板部16d)とからなり、底板部とディスプレイ横方向の側面がないハウジング16が用いられている。なお、このハウジング16の上面(天板部16a)に設けられた開口にも、マイクロミラーアレイ30が配設されており、その下側に位置する傾斜板部16dの上面(内側面)が、ディスプレイDを載置する載置台(ディスプレイ載置面)に形成されている。なお、上記傾斜板部16dは、装置下面およびマイクロミラーアレイ30の素子面(下面)に対して、所定角度αで傾斜するように形成されており、その上面(ディスプレイ載置面)には、ディスプレイDを仮固定するための吸着テープ等(図示省略)が、貼り付けられている点も同様である。
 つぎに、第8実施形態の表示入力装置は、図17に示すように、天板部17a,底板部17bと、傾斜状の側部(傾斜板部17d)とからなり、垂直な側面(側板部)とディスプレイ横方向の側面がないハウジング17が用いられている。なお、このハウジング17の上面(天板部17a)に設けられた開口にも、マイクロミラーアレイ30が配設されており、その下側に位置する傾斜板部17dの上面(内側面)が、ディスプレイDを載置する載置台(ディスプレイ載置面)に形成されている。また、ディスプレイDを仮固定するための吸着テープ等(図示省略)も同様である。
 また、図18に示す第9実施形態の表示入力装置は、略水平状の天板部18aと底板部18bとの間に、これらを支持する傾斜板部18dが設けられたハウジング18が使用されている。このハウジング18の上面(天板部18a)に設けられた開口にも、マイクロミラーアレイ30(1,31,32,40等でもよい)が配設されている。上記と同様、マイクロミラーアレイ30の下側に位置する傾斜板部18dは、底板部18bおよびマイクロミラーアレイ30の素子面(下面)に対して、所定角度αで傾斜するように形成されており、その上面(ディスプレイ載置面)には、ディスプレイDを仮固定するための吸着テープ等(図示省略)が、貼り付けられている。
 つぎに、第10実施形態の表示入力装置は、図19に示すように、天板部19a,底板部19bと、側板部(垂直方向)19cとからなる、ディスプレイ横方向の側面(側部)がないハウジング19が使用されている。このハウジング19には、ディスプレイ載置面を構成する長い傾斜側面(上記18d等)が設けられていない。代わりに、このハウジング19の底板部19bには、所定角度αで傾斜する、一対の短い傾斜板19d,19dが設けられており、これら傾斜板19d,19dの間に形成される溝19eに、ディスプレイDの一端を嵌め入れることができるようになっている。
 以上の構成によっても、この表示入力装置は、上記ディスプレイDを、底板部19b上の溝19eに嵌め入れるという簡単な操作だけで、平面的な二次元画像を、奥行き感を持った擬似的な立体像(立体的二次元画像)として、マイクロミラーアレイ30の上方に表示(投影)することができる。
 しかも、上記各表示入力装置は、そのハウジング(15~19)の側面が大きく開口しているため、上記ディスプレイD(スマートフォン等)の挿入や取り出し等を、容易かつ簡単に行うことができるうえ、構成部材が少ないという点で、コスト的にも有利である。
 つぎに、上記ケースまたはハウジング(符号15~19)等の上面に配置される天板部材(天板部)と、保護用の透明板状部材(透明板3)とが、斜め状に配設されている表示入力装置(第11実施形態)について説明する。
 図20は、第11実施形態の表示入力装置の構成を原理的に説明する要部断面図であり、図21は、上記表示入力装置の使用状態を示す外観斜視図である。この実施形態においても、天板部21a,底板部21b,側板部(垂直方向)21cと、傾斜状の側部(傾斜板部21d)とからなる、ディスプレイ横方向(ディスプレイ挿入方向)の側面(側部)がないハウジング21を使用している。また、このハウジング21の上面(天板部21a)に設けられた開口には、マイクロミラーアレイ30が嵌め入れられており、その下側に位置する傾斜板部21dの上面(内側面)が、フラットパネルディスプレイ(ディスプレイD)を載置するディスプレイ載置面に形成されている。なお、構成が煩雑になるのを避けるために、ディスプレイDと光学的検出手段(前記二次元PSD 符号5’)以外の光源(LED 符号4)や配線等の図示は省略している。
 上記第11実施形態の表示入力装置の構造的特徴は、上記筐体(ハウジング21)の上面(天板部21aおよび透明板3)が、鑑賞者(手指H側)にとって手前側の装置前側(図示右側)から、奥側の装置後側(図示左側)に向かって所定角度βで傾斜する「上り傾斜面」に形成されている点である。また、この実施形態における光学的検出手段(PSD 符号5’)は、図20のように、マイクロミラーアレイ30の素子面P中心に正対する位置に、この素子面Pに向かって、上記空間像I’の周囲に位置する入力体(手指H)を検出しうる状態で配設されている。
 上記ハウジング21の各傾斜面について、詳しく説明すると、上記ディスプレイDを載置するための傾斜板部21dは、前記各実施形態のハウジング(15~19)と同様、ハウジング21の底板部21bおよびマイクロミラーアレイ30の素子面P(またはその下面)に対して所定角度αで傾斜する傾斜面に形成されており、その上面(ディスプレイ載置面)には、ディスプレイDを仮固定するための吸着テープ等(図示省略)が、貼り付けられている。
 また、ハウジング21の天板部21aは、その略中央に設けられた開口(内縁段部付き:図20参照)にアレイ30を嵌め入れて固定できるようになっており、この天板部21aを覆う透明板3とともに、上記空間像I’の傾斜と同じ傾斜方向、すなわち、鑑賞者(手指H側)から見て、装置の水平面(鑑賞者の感覚的水平面)に対して手前側(前側)から奥側(後側)に向かって、所定角度βで上り傾斜する傾斜面になっている。
 なお、通常、上記ハウジング21の上面(天板部21aおよび透明板3)の水平に対する傾斜角βは、1°以上60°以下(この例では15°)に設定されており、上記ディスプレイDの表示面Daのマイクロミラーアレイ30に対する傾斜角α(30°以上90°未満)の角度以下になっている。また、これら傾斜角βと傾斜角αとの間には、
 0 < β ≦ α  (ただし、1°≦β≦60°,30°≦α<90°)
の関係が成り立つようになっている。
 上記構成により、この表示入力装置は、上記筐体上面の傾き方向によって、空間像I’の鑑賞および入力操作に適した「装置正面」(手前側)を、誰もが簡単に見つけ出すことができるようになっている。したがって、上記空間像I’に最も立体感等を感じる、鑑賞および入力操作に最適な方向・位置を、意識せず簡単に見つけ出すことが可能である。しかも、その鑑賞方向と位置は、上記表示入力装置において、空間像I’の浮遊感や臨場感等を、最も強く感じることができる位置になっている。
 さらに、上記表示入力装置の構成によれば、斜め状に立ち上がる空間像I’と、その背面に位置する筐体上面(天板部21aおよび透明板3)との間に、空間像I’の奥行き,浮遊感や臨場感等をより強調する両眼視差が生じる。そのため、空間像I’(映像や画像等)のコントラストや鮮明さが強くなるとともに、この空間像I’をより遠くから視認することが可能になる。勿論、上記筐体の上面を鑑賞者に向かって上り傾斜面とする構成は、前記第1~第10の実施形態に適用してもよい。
 なお、上記実施形態においては、本発明における具体的な形態について示したが、上記実施形態は単なる例示にすぎず、限定的に解釈されるものではない。当業者に明らかな様々な変形は、本発明の範囲内であることが企図されている。
 本発明の表示入力装置は、入力システムを意識することなく、空間像を直感的に操作することができるため、操作者の手指を用いて空間像と直接インタラクションするユーザインタフェースデバイスに適する。
 1 マイクロミラーアレイ
 2 載置台
 4 LED
 5 カメラ
 10 ケース
 I 画像
 I’ 空間像
 D フラットパネルディスプレイ
 H 手指

Claims (6)

  1.  フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学素子を用いて、この結像光学素子から離れた空間位置に浮かび上がった状態で結像させるとともに、結像した空間像の周囲に位置する入力操作用の入力体の位置情報を、光学的手段により取得する表示入力装置であって、上記ディスプレイを載置するためのディスプレイ載置面を有する載置台と、パネル状の結像光学素子と、光源および光学的検出手段と、上記ディスプレイを収容する筐体とを備え、上記結像光学素子が、上記筐体の上面の所定位置に配設され、この結像光学素子の周りに、上記光源が筐体上方に位置する入力体を照らすように配置され、上記結像光学素子の下側に、上記ディスプレイを結像光学素子に対して所定角度傾斜した状態で保持する載置台が配置され、上記光学的検出手段が、上記空間像の周囲に位置する入力体を検出しうる状態で配設されていることを特徴とする表示入力装置。
  2.  上記筐体が、その内部に、上記載置台と光源および光学的検出手段を収容しうるケース状である請求項1記載の表示入力装置。
  3.  上記筐体が、その側面が開口する開放形のハウジング状であり、上記ディスプレイ載置面が、この筐体の一側面を利用して形成されている請求項1記載の表示入力装置。
  4.  上記結像光学素子の下面に対する上記載置台およびディスプレイの表示面の傾斜角が、30°以上90°未満に設定されている請求項1~3のいずれか一項に記載の表示入力装置。
  5.  上記結像光学素子が、コーナーリフレクタ型の単位光学素子からなるマイクロミラーアレイである請求項1~4のいずれか一項に記載の表示入力装置。
  6.  上記ディスプレイが、携帯電話または携帯情報端末の表示部であり、この携帯電話または携帯情報端末が、上記載置台またはディスプレイ載置面に着脱可能に配設されるようになっている請求項1~5のいずれか一項に記載の表示入力装置。
PCT/JP2013/059168 2012-04-27 2013-03-28 表示入力装置 WO2013161498A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012102748 2012-04-27
JP2012-102748 2012-04-27
JP2013-040292 2013-03-01
JP2013040292A JP2013242850A (ja) 2012-04-27 2013-03-01 表示入力装置

Publications (1)

Publication Number Publication Date
WO2013161498A1 true WO2013161498A1 (ja) 2013-10-31

Family

ID=49482832

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059168 WO2013161498A1 (ja) 2012-04-27 2013-03-28 表示入力装置

Country Status (3)

Country Link
JP (1) JP2013242850A (ja)
TW (1) TW201400872A (ja)
WO (1) WO2013161498A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2957997A1 (en) * 2014-06-20 2015-12-23 Funai Electric Co., Ltd. Image display device
CN111758083A (zh) * 2018-02-28 2020-10-09 小糸电工株式会社 非接触输入装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI481905B (zh) * 2014-03-11 2015-04-21 Wistron Corp 可調整尺寸之立體成像裝置
JP6663736B2 (ja) * 2016-02-08 2020-03-13 株式会社アスカネット 非接触表示入力装置及び方法
JP6945391B2 (ja) * 2017-08-25 2021-10-06 株式会社熊平製作所 生体認証装置
JP2020024545A (ja) * 2018-08-07 2020-02-13 コイト電工株式会社 非接触入力装置
JP2020024281A (ja) * 2018-08-07 2020-02-13 コイト電工株式会社 空間投影装置、及び、それを備えた非接触入力装置
CN112723064B (zh) * 2020-12-31 2023-03-14 广东伟邦科技股份有限公司 一种空中成像设备的操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007013215A1 (ja) * 2005-07-25 2007-02-01 Pioneer Corporation 画像表示装置
WO2008041312A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
JP2008089984A (ja) * 2006-10-02 2008-04-17 Pioneer Electronic Corp 画像表示装置
WO2010007787A1 (ja) * 2008-07-15 2010-01-21 Yoshida Kenji 裸眼立体映像表示システム、裸眼立体映像表示装置、遊技ゲーム機、パララックスバリアシート
WO2010035326A1 (ja) * 2008-09-26 2010-04-01 パイオニア株式会社 画像表示装置及び画像表示システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3544739B2 (ja) * 1994-04-13 2004-07-21 株式会社東芝 情報入力装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
EP1649309A4 (en) * 2003-07-03 2011-03-09 Holo Touch Inc HOLOGRAPHIC HUMAN MACHINE INTERFACES
JP4347112B2 (ja) * 2004-03-31 2009-10-21 アルパイン株式会社 仮想インタフェース制御装置
JP4692159B2 (ja) * 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
JP4608326B2 (ja) * 2005-01-26 2011-01-12 株式会社竹中工務店 指示動作認識装置及び指示動作認識プログラム
JP4734652B2 (ja) * 2006-12-21 2011-07-27 独立行政法人情報通信研究機構 光学システム
CN101641964B (zh) * 2007-03-30 2012-01-18 独立行政法人情报通信研究机构 空中影像互动装置
WO2009131128A1 (ja) * 2008-04-22 2009-10-29 Fujishima Tomohiko 光学結像装置及びそれを用いた光学結像方法
US20120281061A1 (en) * 2010-03-03 2012-11-08 Sharp Kabushiki Kaisha Teleconference system
JP5987395B2 (ja) * 2012-03-27 2016-09-07 セイコーエプソン株式会社 表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007013215A1 (ja) * 2005-07-25 2007-02-01 Pioneer Corporation 画像表示装置
WO2008041312A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
JP2008089984A (ja) * 2006-10-02 2008-04-17 Pioneer Electronic Corp 画像表示装置
WO2010007787A1 (ja) * 2008-07-15 2010-01-21 Yoshida Kenji 裸眼立体映像表示システム、裸眼立体映像表示装置、遊技ゲーム機、パララックスバリアシート
WO2010035326A1 (ja) * 2008-09-26 2010-04-01 パイオニア株式会社 画像表示装置及び画像表示システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2957997A1 (en) * 2014-06-20 2015-12-23 Funai Electric Co., Ltd. Image display device
US9841844B2 (en) 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
CN111758083A (zh) * 2018-02-28 2020-10-09 小糸电工株式会社 非接触输入装置

Also Published As

Publication number Publication date
JP2013242850A (ja) 2013-12-05
TW201400872A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
WO2013161498A1 (ja) 表示入力装置
EP1909255B1 (en) Image display device
JP6143161B2 (ja) 表示装置
EP2475010A1 (en) Organic light emitting diode (OLED) display apparatus having light sensing function
WO2010007787A1 (ja) 裸眼立体映像表示システム、裸眼立体映像表示装置、遊技ゲーム機、パララックスバリアシート
KR102059359B1 (ko) 디스플레이 장치, 디스플레이 장치의 동작 방법 및 제조 방법
JP5992302B2 (ja) 表示装置
WO2013035553A1 (ja) ユーザインタフェース表示装置
US8610068B2 (en) Optical position detection device and equipment with position detection function
US8749524B2 (en) Apparatus with position detection function
TW201346471A (zh) 顯示裝置
US20220086266A1 (en) Control Method of Electronic Device and Electronic Device
TW201636685A (zh) 展示裝置及映像展示方法
US20230205271A1 (en) Housing Structures and Input-Output Devices For Electronic Devices
JP2014032600A (ja) 表示入力装置
CN209044429U (zh) 一种设备
KR101929003B1 (ko) 광 감지 기능을 구비한 o l e d 디스플레이 장치
CN109407758A (zh) 一种设备
JP2014130309A (ja) 表示装置
JP2022097901A (ja) 空間浮遊映像表示装置
KR20210027263A (ko) 입체 디스플레이 장치
US20120327491A1 (en) Holographic display system with motion sensors
US20240184133A1 (en) Air floating video display apparatus
JP2024080390A (ja) 空間浮遊映像表示装置
KR20170015960A (ko) 광 감지 기능을 구비한 oled 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13781265

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13781265

Country of ref document: EP

Kind code of ref document: A1