WO2024154760A1 - 空中表示装置及び表示装置 - Google Patents

空中表示装置及び表示装置 Download PDF

Info

Publication number
WO2024154760A1
WO2024154760A1 PCT/JP2024/001161 JP2024001161W WO2024154760A1 WO 2024154760 A1 WO2024154760 A1 WO 2024154760A1 JP 2024001161 W JP2024001161 W JP 2024001161W WO 2024154760 A1 WO2024154760 A1 WO 2024154760A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
light
display device
aerial
image
Prior art date
Application number
PCT/JP2024/001161
Other languages
English (en)
French (fr)
Inventor
康宏 代工
Original Assignee
Ｔｏｐｐａｎホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｔｏｐｐａｎホールディングス株式会社 filed Critical Ｔｏｐｐａｎホールディングス株式会社
Publication of WO2024154760A1 publication Critical patent/WO2024154760A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Definitions

  • the present invention relates to an aerial display device and a display device.
  • Aerial display devices capable of displaying images and videos as aerial images are being researched, and are expected to become a new human-machine interface.
  • An aerial display device for example, is equipped with a two-sided corner reflector array in which two-sided corner reflectors are arranged in an array, and reflects light emitted from the display surface of a display element to form a real image in the air.
  • the display method using a two-sided corner reflector array is aberration-free, and can display a real image (aerial image) in a plane-symmetrical position.
  • Patent Document 1 discloses an optical element in which a transparent square prism protruding from the surface of a transparent flat plate is used as a two-sided corner reflector, and multiple square prisms are arranged in an array on a flat surface.
  • Patent Document 2 discloses an optical element in which each of the first and second light control panels is formed by arranging multiple planar light reflecting sections vertically inside a transparent flat plate, and the first and second light control panels are arranged so that the planar light reflecting sections are orthogonal to each other.
  • the optical elements of Patent Documents 1 and 2 reflect light emitted from a display element twice from orthogonal reflecting surfaces to generate an aerial image.
  • the observer can touch the aerial image displayed by the aerial display device without touching the device.
  • the sensing element of the aerial display device detects objects present in the area of the aerial image and recognizes that the observer has touched the aerial image.
  • the sensing element is required to detect the observer's touch operation on the aerial image with high accuracy.
  • the present invention provides an aerial display device and a display device that can more accurately detect touch operations on an aerial image by an observer.
  • an aerial display device comprising: a display element for displaying an image; an optical element arranged to receive light from the display element and reflecting the light from the display element to the opposite side of the display element to form an aerial image in the air; a sensing element that forms a first detection area parallel to the display element and a second detection area at a different level from the first detection area above the optical element and detects objects present in the first and second detection areas; and a determination unit that calculates a first detection position in the first detection area and a second detection position in the second detection area and determines whether the aerial image has been touched based on the first and second detection positions.
  • an aerial display device in which the determination unit determines the direction of movement of the object based on the first and second detection positions, and determines that the aerial image has been touched if the image is on an extension of the direction of movement.
  • an aerial display device in which the sensing element is of a capacitive type.
  • an aerial display device in which the sensing element includes a plurality of first electrodes, a plurality of second electrodes arranged opposite the plurality of first electrodes, a drive circuit that supplies drive signals to the plurality of first electrodes, and a detection circuit that detects the voltages of the plurality of second electrodes, and the determination unit compares the detection result by the detection circuit with a threshold value and determines the position of the target object according to the comparison result.
  • an aerial display device in which the sensing elements include a first sensing element that forms the first detection area and a second sensing element that forms the second detection area, and each of the first and second sensing elements includes a light-emitting section that emits light toward the detection area and a light-receiving section that receives the reflected light reflected by the object.
  • an aerial display device in which the optical element includes a planar substrate and a plurality of optical elements disposed below the substrate, each extending in a first direction and aligned in a second direction perpendicular to the first direction, each of the optical elements being inclined with respect to the normal direction of the substrate and having an entrance surface and a reflection surface that are in contact with each other.
  • an aerial display device according to the first aspect, further comprising a light control element disposed between the display element and the optical element, which transmits oblique light components of the light from the display element.
  • an aerial display device in which the light control element includes a plurality of transparent members and a plurality of light blocking members arranged alternately, and the plurality of light blocking members are inclined with respect to the normal to the light control element.
  • an aerial display device in which the display element and the optical element are arranged parallel to each other.
  • a display device comprising: a display element for displaying an image; a sensing element that forms a first detection area parallel to the display element above the display element and a second detection area at a different level from the first detection area, and detects an object present in the first and second detection areas; and a determination unit that calculates a first detection position in the first detection area and a second detection position in the second detection area, and determines whether the image has been touched based on the first and second detection positions.
  • a display device in which the determination unit determines the direction of movement of the object based on the first and second detection positions, and determines that the image has been touched when the image is present on an extension line of the direction of movement.
  • a display device according to the tenth aspect, in which the sensing element is of a capacitive type.
  • the sensing element includes a plurality of first electrodes, a plurality of second electrodes arranged opposite the plurality of first electrodes, a drive circuit that supplies drive signals to the plurality of first electrodes, and a detection circuit that detects the voltages of the plurality of second electrodes, and the determination unit compares the detection result by the detection circuit with a threshold value and determines the position of the object according to the comparison result.
  • the sensing elements include a first sensing element that forms the first detection area and a second sensing element that forms the second detection area, and each of the first and second sensing elements includes a light-emitting section that emits light toward the detection area and a light-receiving section that receives the reflected light reflected by the object.
  • the present invention provides an aerial display device and a display device that can more accurately detect touch operations on an aerial image by an observer.
  • FIG. 1 is a perspective view of an aerial display device according to a first embodiment of the present invention.
  • FIG. 2 is a side view of the aerial display device shown in FIG. 1 in the XZ plane.
  • FIG. 3A is a plan view of the light control element shown in FIG.
  • FIG. 3B is a cross-sectional view of the light control element taken along line AA' in FIG. 3A.
  • FIG. 4 is a perspective view of the optical element shown in FIG.
  • FIG. 5A is a perspective view of the sensing element shown in FIG.
  • FIG. 5B is a plan view of the sensing element shown in FIG. 5A.
  • FIG. 5C is a cross-sectional view of the sensing element taken along line BB' shown in FIG. 5B.
  • FIG. 5A is a perspective view of an aerial display device according to a first embodiment of the present invention.
  • FIG. 2 is a side view of the aerial display device shown in FIG. 1 in the XZ plane.
  • FIG. 6 is a block diagram of an aerial display device.
  • FIG. 7 is a perspective view illustrating the state of light reflection in an optical element.
  • FIG. 8 is a side view of the XZ plane for explaining how light is reflected in the optical element.
  • FIG. 9 is a side view of the YZ plane for explaining how light is reflected in the optical element.
  • FIG. 10 is a diagram for explaining the angular conditions of the incident surface and the reflecting surface in the optical element.
  • FIG. 11 is a schematic diagram illustrating the operation of the sensing element.
  • FIG. 12 is a schematic diagram illustrating a plurality of detection regions of a sensing element.
  • FIG. 13 is a diagram illustrating the relationship between a plurality of detection regions in a sensing element and voltage.
  • FIG. 14 is a schematic diagram illustrating an aerial image displayed by the aerial display device.
  • FIG. 15 is a schematic diagram illustrating how the position of an aerial image changes depending on the position of the observer's viewpoint.
  • FIG. 16 is a schematic diagram illustrating the detection operation of the aerial display device.
  • FIG. 17 is a schematic diagram illustrating the detection operation when an observer views the aerial display device from an oblique direction.
  • FIG. 18 is a schematic diagram for explaining a method for calculating the position of an image in the Z coordinate.
  • FIG. 19 is a schematic diagram for explaining the virtual display surface with the Z coordinate corrected.
  • FIG. 20 is a schematic diagram illustrating an operation for determining a touch operation by a viewer.
  • FIG. 21 is a flowchart explaining the overall operation of the aerial display device.
  • FIG. 21 is a flowchart explaining the overall operation of the aerial display device.
  • FIG. 22 is a perspective view of a display device according to a second embodiment of the present invention.
  • FIG. 23 is a schematic diagram illustrating the detection operation of the display device.
  • FIG. 24 is a schematic diagram illustrating a detection operation when an observer views the display device from an oblique direction.
  • FIG. 25 is a flowchart illustrating the overall operation of the display device.
  • FIG. 26 is a perspective view of a display device according to a third embodiment of the present invention.
  • FIG. 27 is a diagram illustrating the configuration of a sensing element.
  • FIG. 28 is a flowchart explaining the overall operation of the aerial display device according to the fourth embodiment of the present invention.
  • FIG. 29 is a schematic diagram illustrating an operation of determining a touch operation by a viewer.
  • FIG. 1 is a perspective view of the aerial display device 1 according to the first embodiment of the present invention.
  • the X direction is a direction along one side of the aerial display device 1
  • the Y direction is a direction perpendicular to the X direction in a horizontal plane
  • the Z direction is a direction perpendicular to the XY plane (also called the normal direction).
  • Fig. 2 is a side view of the aerial display device 1 shown in Fig. 1 in the XZ plane.
  • the aerial display device 1 is a device that displays images (including videos).
  • the aerial display device 1 displays an aerial image in the air above its own light emission surface. "Displaying an aerial image” has the same meaning as "forming an aerial image.”
  • the light emission surface of the aerial display device 1 refers to the upper surface of the component that is arranged in the uppermost layer among the multiple components that make up the aerial display device 1 and are arranged on the optical path.
  • An aerial image is a real image that is formed in the air.
  • the aerial display device 1 comprises an illumination element (also called a backlight) 10, a display element 20, a light control element 30, an optical element 40, and a sensing element 50.
  • the illumination element 10, the display element 20, the light control element 30, the optical element 40, and the sensing element 50 are arranged in this order along the Z direction and parallel to one another.
  • the illumination element 10, the display element 20, the light control element 30, the optical element 40, and the sensing element 50 are fixed at specific positions by fixing members (not shown) with specific intervals between them.
  • the illumination element 10, the display element 20, the light control element 30, the optical element 40, and the sensing element 50 are housed in a housing (not shown).
  • the lighting element 10 emits illumination light and outputs the illumination light toward the display element 20.
  • the lighting element 10 includes a light source unit 11, a light guide plate 12, and a reflective sheet 13.
  • the lighting element 10 is, for example, a side light type lighting element.
  • the lighting element 10 constitutes a surface light source.
  • the lighting element 10 may be configured so that the light intensity reaches a peak in an oblique direction at an angle ⁇ 1 , which will be described later.
  • the light source unit 11 is disposed to face the side of the light guide plate 12.
  • the light source unit 11 emits light toward the side of the light guide plate 12.
  • the light source unit 11 includes a plurality of light-emitting elements, for example, white LEDs (Light Emitting Diodes).
  • the light guide plate 12 guides the illumination light from the light source unit 11 and emits the illumination light from its upper surface.
  • the reflection sheet 13 reflects the illumination light emitted from the bottom surface of the light guide plate 12 back toward the light guide plate 12.
  • the lighting element 10 may be provided with a member (including a prism sheet and a diffusion sheet) that improves optical characteristics on the upper surface of the light guide plate 12.
  • the display element 20 is a transmissive display element.
  • the display element 20 is composed of, for example, a liquid crystal display element.
  • the drive mode of the display element 20 is not particularly limited, and TN (Twisted Nematic) mode, VA (Vertical Alignment) mode, homogeneous mode, or the like can be used.
  • the display element 20 receives illumination light emitted from the illumination element 10.
  • the display element 20 transmits the illumination light from the illumination element 10 and performs optical modulation. Then, the display element 20 displays a specific image on its own screen.
  • the light control element 30 has a function of reducing unnecessary light.
  • the unnecessary light is a light component that does not contribute to generating an aerial image, and includes a light component that transmits through the optical element 40 in the normal direction.
  • the light control element 30 is configured to transmit light components in a predetermined angular range centered on an oblique direction at an angle ⁇ 1 with respect to the normal direction, and to block light components outside the above-mentioned angular range.
  • the area of the light control element 30 is set to be equal to or larger than the area of the display element 20. A detailed configuration of the light control element 30 will be described later.
  • the optical element 40 reflects light incident from the bottom side to the top side.
  • the optical element 40 also reflects light incident obliquely from the bottom side, for example, in the front direction (normal direction).
  • the area of the optical element 40 is set to be equal to or larger than the area of the display element 20.
  • the detailed configuration of the optical element 40 will be described later.
  • the optical element 40 forms an aerial image 2 in the air.
  • the aerial image 2 is parallel to the element surface of the optical element 40 and is a two-dimensional image.
  • the element surface refers to a virtual plane on which the optical element 40 extends in the in-plane direction.
  • the element surface has the same meaning as in-plane.
  • the element surfaces of the other elements have the same meaning.
  • An observer 3 in front of the optical element 40 can view the aerial image 2 formed by the optical element 40.
  • the sensing element 50 is configured to be able to detect an object without contact.
  • the sensing element 50 forms a detection area in a two-dimensional spatial region that includes part or all of the aerial image 2 generated by the aerial display device 1.
  • the sensing element 50 detects an object (body) present in the detection area and detects the position of the object.
  • a capacitive sensing element is used as an example.
  • the sensing element 50 is illustrated as being separated from the optical element 40, but for example, the sensing element 50 is disposed close to the upper surface of the optical element 40.
  • the rectangular member protruding in the Y direction exemplifies part of the wiring.
  • the area of the sensing element 50 is set to be equal to or larger than the area of the display element 20. The detailed configuration of the sensing element 50 will be described later.
  • FIG. 3A is a plan view of the light control element 30 shown in Fig. 1.
  • Fig. 3B is a cross-sectional view of the light control element 30 taken along the line AA' in Fig. 3A.
  • the substrate 31 is configured to be planar in the XY plane and has a rectangular parallelepiped shape.
  • the substrate 31 transmits light.
  • a plurality of transparent members 33 are provided, each extending in the Y direction and aligned in the X direction.
  • a plurality of light-shielding members 34 are provided, each extending in the Y direction and aligned in the X direction.
  • the plurality of transparent members 33 and the plurality of light-shielding members 34 are arranged alternately such that adjacent ones are in contact with each other.
  • a substrate 32 is provided on the plurality of transparent members 33 and the plurality of light-shielding members 34.
  • the substrate 32 is configured to be planar in the XY plane and has a rectangular parallelepiped shape.
  • the substrate 32 transmits light.
  • the transparent member 33 extends in an oblique direction at an angle ⁇ 1 with respect to the normal direction of the base material 31 in the XZ plane.
  • the transparent member 33 is a parallelogram with side surfaces inclined by the angle ⁇ 1 in the XZ plane.
  • the transparent member 33 transmits light.
  • the light blocking member 34 extends in an oblique direction at an angle ⁇ 1 with respect to the normal direction of the base material 31 in the XZ plane.
  • the light blocking member 34 is a parallelogram with side surfaces inclined by an angle ⁇ 1 in the XZ plane.
  • the light blocking member 34 blocks light.
  • the thickness of the light blocking member 34 is set to be thinner than the thickness of the transparent member 33.
  • Two adjacent light blocking members 34 are positioned so that their ends slightly overlap in the Z direction.
  • Glass or transparent resin (including acrylic resin) is used for the base materials 31 and 32 and the transparent member 33.
  • resin mixed with black dye or pigment is used for the light blocking member 34.
  • the light control element 30 may be constructed by omitting one or both of the base materials 31 and 32.
  • the function of the light control element 30 can be realized if multiple transparent members 33 and multiple light blocking members 34 are arranged alternately.
  • the light control element 30 configured in this manner can transmit the display light so that the light intensity in the oblique direction at an angle ⁇ 1 with respect to the normal direction is at a peak.
  • the angle ⁇ 1 is set, for example, between 10 degrees and 60 degrees.
  • the light control element 30 is configured to block light components other than the range of 30° ⁇ 30° with respect to the normal direction.
  • the light control element 30 is configured to block light components other than the range of 30° ⁇ 20° with respect to the normal direction.
  • the light control element 30 may be disposed between the lighting element 10 and the display element 20. Also, the light control element 30 may be omitted when constructing the aerial display device 1.
  • FIG. 4 is a perspective view of the optical element 40 shown in Fig. 1.
  • Fig. 4 also shows an enlarged view of a portion of the optical element 40.
  • the enlarged view in Fig. 4 is a side view in the XZ plane.
  • the optical element 40 includes a substrate 41 and a plurality of optical elements 42.
  • the substrate 41 is configured to be planar in the XY plane and has a rectangular parallelepiped shape.
  • a plurality of optical elements 42 are provided on the bottom surface of the substrate 41.
  • Each of the plurality of optical elements 42 is composed of a triangular prism.
  • the optical element 42 is arranged so that three side surfaces of the triangular prism are parallel to the XY plane, and one side surface is in contact with the substrate 41.
  • the plurality of optical elements 42 each extend in the Y direction and are arranged side by side in the X direction. In other words, the plurality of optical elements 42 have a sawtooth shape in the XZ plane.
  • Each of the multiple optical elements 42 has an incident surface 43 and a reflective surface 44.
  • the left side surface is the incident surface 43
  • the right side surface is the reflective surface 44.
  • the incident surface 43 is a surface onto which light from the display element 20 is incident.
  • the reflective surface 44 is a surface that reflects light that has been incident on the incident surface 43 from the outside, within the optical element 42.
  • the incident surface 43 and the reflective surface 44 form an angle ⁇ p .
  • the substrate 41 and the optical element 42 are made of a transparent material.
  • the optical element 42 is, for example, formed integrally with the substrate 41 using the same transparent material as the substrate 41.
  • the substrate 41 and the optical element 42 may be formed separately, and the optical element 42 may be adhered to the substrate 41 using a transparent adhesive.
  • the transparent material that constitutes the substrate 41 and the optical element 42 may be glass or a transparent resin (including an acrylic resin).
  • the optical element 40 configured in this way internally reflects incident light and forms a real image in the air.
  • the optical element 40 also forms an aerial image 2 at a position in front of the element surface.
  • FIG. 5A is a perspective view of the sensing element 50 shown in Fig. 1.
  • Fig. 5B is a plan view of the sensing element 50 shown in Fig. 5A.
  • Fig. 5B also shows a circuit configuration of the sensing element 50.
  • Fig. 5C is a cross-sectional view of the sensing element 50 taken along line BB' shown in Fig. 5B.
  • the sensing element 50 comprises two substrates 51 and 52, a plurality of electrodes 53 and 54, and an insulating layer 55.
  • the substrates 51 and 52 are made of transparent and insulating substrates, and are made of glass substrates or plastic substrates.
  • a plurality of electrodes 53 are provided on the substrate 51.
  • the planar shape of each of the plurality of electrodes 53 is, for example, a square.
  • the electrodes 53 are arranged so that one diagonal line is parallel to the X direction.
  • the plurality of electrodes 53 are arranged in a matrix.
  • One row of the electrodes 53 aligned in the Y direction is electrically connected via a plurality of connection electrodes extending in the Y direction.
  • One row of the electrodes 53 aligned in the Y direction is connected to a signal line TL via an extraction electrode extending in the Y direction.
  • the electrodes 53 function as transmission electrodes.
  • a plurality of electrodes 54 are provided on the substrate 52.
  • Each of the plurality of electrodes 54 has a planar shape, for example, a square.
  • the electrodes 54 are arranged so that one diagonal line is parallel to the X direction.
  • the plurality of electrodes 54 are arranged in a matrix.
  • One row of the electrodes 54 aligned in the X direction are electrically connected via a plurality of connection electrodes extending in the X direction.
  • One row of the electrodes 54 aligned in the X direction are connected to a signal line RL via an extraction electrode extending in the X direction.
  • the electrodes 54 function as receiving electrodes.
  • the multiple electrodes 53 and the multiple electrodes 54 are arranged so as not to overlap in a plan view.
  • the substrates 51 and 52 are arranged so that the multiple electrodes 53 and the multiple electrodes 54 face each other.
  • the electrodes 53 and 54 are made of transparent electrodes, for example, made of ITO (indium tin oxide).
  • An insulating layer 55 is provided between the multiple electrodes 53 and the multiple electrodes 54.
  • the insulating layer 55 is made of a transparent insulating material.
  • the insulating layer 55 may be made of multiple layers.
  • the sensing element 50 further includes a drive circuit 56 and a detection circuit 57.
  • the drive circuit 56 is connected to the multiple signal lines TL.
  • the drive circuit 56 supplies a drive signal having a pulse waveform to each of the multiple signal lines TL.
  • the drive circuit 56 also generates the drive signal so that pulses are applied sequentially to the multiple signal lines TL.
  • the detection circuit 57 is connected to multiple signal lines RL.
  • the detection circuit 57 detects the voltage values of the multiple signal lines RL.
  • FIG. 6 Block configuration of the aerial display device 1
  • Figure 6 is a block diagram of the aerial display device 1.
  • the aerial display device 1 includes a control unit 60, a storage unit 61, an input/output interface (input/output IF) 62, a display unit 63, a sensing element 50, and an input unit 64.
  • the control unit 60, the storage unit 61, and the input/output interface 62 are connected to each other via a bus 65.
  • the input/output interface 62 is connected to the display unit 63, the sensing element 50, and the input unit 64.
  • the input/output interface 62 performs interface processing for each of the display unit 63, the sensing element 50, and the input unit 64 in accordance with a predetermined standard.
  • the display unit 63 includes an illumination element 10 and a display element 20.
  • the display unit 63 displays an image.
  • the sensing element 50 forms multiple detection regions above.
  • the sensing element 50 detects objects present in the multiple detection regions based on the change in capacitance between the electrodes 53 and 54.
  • the control unit 60 is composed of one or more processors, such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
  • the control unit 60 realizes various functions by executing programs stored in the memory unit 61.
  • the control unit 60 includes a display processing unit 60A, an image processing unit 60B, and a detection position determination unit 60C.
  • the display processing unit 60A controls the operation of the display unit 63 (specifically, the lighting element 10 and the display element 20).
  • the display processing unit 60A controls the on and off of the lighting element 10.
  • the display processing unit 60A transmits an image signal to the display element 20, causing the display element 20 to display an image.
  • the image processing unit 60B generates the image to be displayed by the aerial display device 1.
  • the image processing unit 60B can use image data stored in the memory unit 61.
  • the image processing unit 60B may also obtain image data from outside using a communication function (not shown).
  • the detection position determination unit 60C controls the operation of the sensing element 50. Based on the detection results of the sensing element 50, the detection position determination unit 60C calculates the detection position where the object is detected for each of the multiple detection areas. Based on the multiple detection positions, the detection position determination unit 60C determines the direction (vector) in which the object moves. The detection position determination unit 60C calculates the position of the intersection between the extension line of the direction in which the object moves and the display surface of the display element 20. The detection position determination unit 60C determines whether the calculated position on the display surface is included in the area of the image of the display element 20.
  • the memory unit 61 includes non-volatile memory devices such as a ROM (Read Only Memory), HDD (Hard Disk Drive), and SSD (Solid State Drive), and volatile memory devices such as a RAM (Random Access Memory) and registers.
  • the memory unit 61 stores programs executed by the control unit 60.
  • the memory unit 61 stores various data necessary for the control of the control unit 60.
  • the memory unit 61 stores data for images displayed by the aerial display device 1.
  • the input unit 64 includes, for example, a touch panel or buttons, and receives information input by the user.
  • the image processing unit 60B is capable of selecting an image to be displayed on the display unit 63 based on the information received by the input unit 64.
  • Fig. 2 The arrows in Fig. 2 indicate optical paths.
  • light emitted from an arbitrary point "o" of the display element 20 is incident on the light control element 30.
  • a light component at an angle ⁇ 1 (including a light component within a predetermined angle range centered on the angle ⁇ 1 ) is transmitted through the light control element 30.
  • the light transmitted through the light control element 30 is incident on the optical element 40.
  • the optical element 40 reflects the incident light to the opposite side to the light control element 30, and forms an aerial image 2 in the air.
  • Figure 7 is a perspective view illustrating how light is reflected in the optical element 40.
  • Figure 8 is a side view of the XZ plane illustrating how light is reflected in the optical element 40.
  • Figure 8 is a view of the optical element 40 when both eyes of the observer 3 (i.e., the line connecting both eyes) are parallel to the X direction.
  • Figure 9 is a side view of the YZ plane illustrating how light is reflected in the optical element 40.
  • Figure 9 is a view of the optical element 40 when both eyes of the observer 3 are parallel to the Y direction.
  • the critical angle is the smallest incident angle above which total reflection occurs.
  • the critical angle is the angle with respect to the perpendicular to the incident surface.
  • the light components that contribute to imaging among the light emitted from point "o" are totally reflected by the reflecting surface 44 of the optical element 42, and the light is imaged in the air to generate an aerial image.
  • the light components emitted from point "o" that do not contribute to imaging are not reflected by the reflecting surface 44 of the optical element 42, and since that light does not form an image in the air, it does not contribute to the generation of an aerial image.
  • the condition for observer 3 to be able to see the aerial image is that both eyes of observer 3 are parallel to the X direction or close to it (for example, ⁇ 10 degrees with respect to the X direction). Also, if observer 3's eyes are parallel to the X direction or close to it and the viewpoint is moved along the Y direction, observer 3 can always recognize the aerial image.
  • FIG. 10 is a diagram explaining the angular conditions of the incident surface 43 and the reflecting surface 44 of the optical element 40.
  • the angle of the incident surface 43 with respect to the Z direction (the direction perpendicular to the element surface) is ⁇ 2
  • the angle of the reflecting surface 44 with respect to the Z direction is ⁇ 3
  • the angle between the incident surface 43 and the reflecting surface 44 is ⁇ p .
  • the refractive index of the material of the optical element 40 is n p , and the refractive index of air is 1.
  • the incident angle at the incident surface 43 is ⁇ 4 , and the refraction angle is ⁇ 5.
  • the incident angle at the upper surface of the optical element 40 is ⁇ 8 , and the refraction angle is ⁇ 9.
  • the refraction angle ⁇ 9 is the exit angle.
  • the exit angle ⁇ 9 is expressed by the following equation (2).
  • ⁇ 9 sin -1 (n p *sin (sin -1 ((1/n p ) * sin (90° - ( ⁇ 1 + ⁇ 2 ))) + ⁇ 2 +2 ⁇ 3 -90°)) ...
  • the critical angle at the reflecting surface 44 is expressed by the following formula (3).
  • Critical angle ⁇ 6 ( ⁇ 7 )
  • Critical angle sin -1 (1/n p )...(3)
  • the angle of incidence ⁇ 6 on the reflecting surface 44 is set to be larger than the critical angle on the reflecting surface 44.
  • the angle ⁇ 3 of the reflecting surface 44 is set so that the angle of incidence of light incident on the reflecting surface 44 is larger than the critical angle.
  • the angle ⁇ 2 of the incident surface 43 is set so that the light incident on the incident surface 43 is not totally reflected by the incident surface 43.
  • the angle ⁇ 2 of the incident surface 43 is set so that the angle of incidence of the light incident on the incident surface 43 is smaller than the critical angle.
  • the angle between the element surface of the optical element 40 and the surface of the aerial image 2, and the distance between the element surface of the optical element 40 and the surface of the aerial image 2 can be adjusted by optimally setting the angle ⁇ 1 of light incident on the optical element 40, the refractive index of the optical element 40, the angle ⁇ 2 of the incident surface 43 of the optical element 40, and the angle ⁇ 3 of the reflecting surface 44 of the optical element 40.
  • FIG. 11 is a schematic diagram illustrating the operation of the sensing element 50.
  • the driving circuit 56 supplies a driving signal to the electrode 53 via the signal line TL.
  • the driving signal consists of a pulse waveform having a predetermined period.
  • the electrodes 53 and 54 are capacitively coupled, and an electric field is generated between them.
  • the detection circuit 57 is configured to be able to detect the voltage value of the electrode 54.
  • the finger 3A of the observer 3 has a ground voltage GND.
  • an object e.g., the finger 3A of the observer 3
  • the object and the electrode 53 are capacitively coupled.
  • the capacitance value between the electrodes 53 and 54 changes. Specifically, when the object and the electrode 53 are capacitively coupled, the capacitance value between the electrodes 53 and 54 decreases.
  • the capacitance value between the electrodes 53 and 54 changes.
  • the detection circuit 57 detects the voltage value of the electrode 54.
  • FIG. 12 is a schematic diagram illustrating the multiple detection regions of the sensing element 50.
  • the sensing element 50 can form multiple detection areas based on the detected voltage value.
  • the detection area here is a two-dimensional area that the sensing element 50 can detect, and is an area parallel to the top surface of the sensing element 50.
  • the multiple detection areas have different heights (levels) from the top surface of the sensing element 50.
  • four detection areas DE1 to DE4 are shown as an example.
  • FIG. 13 is a diagram explaining the relationship between the multiple detection areas and voltage in the sensing element 50.
  • the detection of an object is indicated as "touch on,” and the absence of detection of an object is indicated as “touch off.”
  • the detection circuit 57 detects the voltages of the multiple signal lines RL. The multiple voltages detected by the detection circuit 57 are sent to the detection position determination unit 60C.
  • the detection position determination unit 60C compares the voltage value detected by the detection circuit 57 with thresholds Th1 to Th4. If the voltage value is equal to or greater than the threshold Th1 and less than the threshold Th2, the detection position determination unit 60C determines that an object is present in the detection area DE1. If the voltage value is equal to or greater than the threshold Th2 and less than the threshold Th3, the detection position determination unit 60C determines that an object is present in the detection area DE2. If the voltage value is equal to or greater than the threshold Th3 and less than the threshold Th4, the detection position determination unit 60C determines that an object is present in the detection area DE3. If the voltage value is equal to or greater than the threshold Th4, the detection position determination unit 60C determines that an object is present in the detection area DE4.
  • the sensing element 50 can detect objects at multiple levels in the air above it.
  • FIG. 14 is a schematic diagram illustrating an aerial image 2 displayed by an aerial display device 1.
  • the aerial display device 1 includes a housing 4.
  • the housing 4 houses an illumination element 10, a display element 20, a light control element 30, an optical element 40, and a sensing element 50.
  • the housing 4 has an opening at the top that exposes the sensing element 50.
  • the aerial display device 1 is positioned so that the vertical direction is the Y direction.
  • the aerial display device 1 displays an aerial image 2 in the air.
  • a push button is shown as an example of the aerial image 2.
  • An observer 3 presses the push button with his or her finger 3A.
  • the sensing element 50 forms a detection area in a two-dimensional space that includes the aerial image 2, and detects finger 3A when observer 3 presses the push button with finger 3A.
  • Figure 15 is a schematic diagram that explains how the position of the aerial image 2 changes depending on the position of the viewpoint of the observer 3.
  • the position of the aerial image 2 changes to follow the viewpoint of the observer 3.
  • the aerial image 2 also moves upward, and when the observer 3's viewpoint moves downward on the drawing, the aerial image 2 also moves downward. In other words, the aerial image 2 is always perceived as being located directly in front of the observer 3.
  • FIG. 16 is a schematic diagram explaining the detection operation of the aerial display device 1.
  • FIG. 17 is a schematic diagram explaining the detection operation when an observer 3 views the aerial display device 1 from an oblique direction.
  • the display element 20 displays an image 21 on its screen.
  • the image 21 is, for example, a push button.
  • the aerial display device 1 displays an aerial image 2 in a two-dimensional spatial region parallel to the upper surface of the display element 20.
  • the sensing element 50 forms multiple detection regions in a two-dimensional spatial region parallel to the aerial image 2.
  • the sensing element 50 forms detection region DE1 and detection region DE2 in order from the side furthest from the sensing element 50.
  • the detection region DE2 is set to be in the same two-dimensional spatial region as the aerial image 2, i.e., to overlap with the aerial image 2.
  • the observer 3 touches the aerial image 2 with his/her finger 3A.
  • the finger 3A of the observer 3 passes through the detection area DE1 and the detection area DE2.
  • the sensing element 50 detects an object in each of the detection area DE1 and the detection area DE2.
  • the upper surface of the sensing element 50 is the reference plane of the coordinates.
  • the coordinates define the position of an object in space, and have the same meaning as the position of the object.
  • the coordinates of the image 21 are (x, y, z).
  • the coordinates of the detection position of the object in the detection area DE1 are ( x1 , y1 , z1 ), and the coordinates of the detection position of the object in the detection area DE2 are ( x2 , y2 , z2 ).
  • the detection positions of the object in the detection areas DE1 and DE2 differ depending on the position of the viewpoint of the observer 3.
  • the detection position determination unit 60C determines the position of the object based on the voltage value detected by the sensing element 50.
  • the detection position by the detection position determination unit 60C includes coordinates in the detection areas DE1 and DE2.
  • z1 is the distance from the reference plane to the detection area DE1
  • z2 is the distance from the reference plane to the detection area DE2.
  • z1 and z2 are predetermined design values.
  • FIG. 18 is a schematic diagram illustrating a method for calculating the position of the image 21 in the Z coordinate.
  • the display surface is the display surface of the display element 20
  • the reference surface is the upper surface of the sensing element 50
  • the aerial image surface is the surface on which the aerial image 2 is displayed.
  • the distance between the display element 20 and the optical element 40 is taken as l.
  • the reference surface of the optical element 40 when defining the distance l is, for example, the upper surface of the optical element 40.
  • the distance l is a predetermined design value.
  • FIG. 19 is a schematic diagram explaining a virtual display surface with a corrected Z coordinate.
  • the virtual display surface is a virtual display surface obtained by correcting the position of the display surface of the display element 20, assuming that light from the display element 20 travels in a straight line.
  • the virtual display surface is obtained by correcting the position of the display surface using equation (7).
  • the light of the image displayed on the virtual display surface virtually travels in the Z direction and is observed by the observer 3.
  • the coordinates (x, y) on the virtual display surface can be calculated from equations (5) to (7).
  • the coordinate calculation methods described above do not take into account the optical effects (refractive index, thickness, etc.) of the light control element 30, the optical element 40, and the sensing element 50, but these can be added and corrected as appropriate.
  • FIG. 20 is a schematic diagram illustrating the operation of determining a touch operation by an observer 3.
  • FIG. 20 shows coordinates on a virtual display surface 22 of a display element 20.
  • the display element 20 displays an image 21 on its screen.
  • the upper left corner of the virtual display surface 22 is defined as coordinates (0,0), and the lower right corner of the virtual display surface 22 is defined as coordinates (m,n).
  • the upper left corner of the image 21 is defined as coordinates ( m1 , n1 ), and the lower right corner of the image 21 is defined as coordinates ( m2 , n2 ).
  • the detection position determination unit 60C calculates the positions ( x1 , y1 , z1 ) and ( x2 , y2 , z2 ) of the object in the detection areas DE1 and DE2 based on the detection results of the sensing element 50. Furthermore, the detection position determination unit 60C calculates the position (x, y) on the virtual display surface 22 based on the positions ( x1 , y1 , z1 ) and ( x2 , y2 , z2 ).
  • the detection position determination unit 60C determines the movement direction (vector) in which the object moves based on the positions ( x1 , y1 , z1 ) and ( x2 , y2 , z2 ).
  • the detection position determination unit 60C calculates the position (x, y) which is the intersection of an extension line of the movement direction of the object and the virtual display surface 22.
  • the detection position determination unit 60C calculates the extension line so as to trace in reverse the optical path of light that forms the aerial image 2 visually recognized by the observer 3.
  • the detection position determination unit 60C calculates the extension line so as to trace in reverse the optical path of light that is obliquely emitted from the display element 20 and reflected by the optical element 40.
  • the detected position determination unit 60C determines whether or not the calculated position (x, y) is included in the area of the image 21.
  • the area of the image 21 is a rectangular area defined by coordinates ( m1 , n1 ) and coordinates ( m2 , n2 ).
  • the detected position determination unit 60C determines that the aerial image 2 has been selected, i.e., that the aerial image 2 has been touched by the observer 3.
  • the detected position determination unit 60C determines that the aerial image 2 has not been selected, i.e., that the aerial image 2 has not been touched by the observer 3.
  • FIG. 21 is a flowchart explaining the overall operation of the aerial display device 1.
  • the control unit 60 displays the aerial image 2 (step S100).
  • the display processing unit 60A displays an image on the screen of the display element 20.
  • the optical element 40 reflects light from the display element 20 and forms the aerial image 2 in the air.
  • the sensing element 50 performs a sensing operation (step S101).
  • the driving circuit 56 of the sensing element 50 supplies driving signals to the multiple electrodes 53 via the multiple signal lines TL.
  • the detection circuit 57 of the sensing element 50 detects the voltages of the multiple electrodes 54 via the multiple signal lines RL.
  • the sensing element 50 then forms detection regions DE1 and DE2 by comparing the detected voltage with multiple thresholds.
  • the detection position determination unit 60C determines whether or not an object has been detected based on the signal from the sensing element 50 (step S102).
  • the detection position determination unit 60C calculates the position of the object (step S103) based on the detection result of the sensing element 50. That is, the detection position determination unit 60C calculates the position ( x1 , y1 , z1 ) in the detection area DE1 and the position ( x2 , y2 , z2 ) in the detection area DE2.
  • the detection position determination unit 60C calculates the position of the object on the virtual display surface of the display element 20 (step S104).
  • the detection position determination unit 60C determines whether the calculated object position is included in the area of the image 21 (step S105).
  • the detection position determination unit 60C determines that the aerial image 2 has been touched by the observer 3 (step S106).
  • control unit 60 executes an operation according to the touch operation of the observer 3.
  • the sensing element 50 forms a plurality of detection areas (including detection areas DE1 and DE2) parallel to the display element 20 above the optical element 40, and detects an object present in the plurality of detection areas.
  • the detection position determination unit 60C calculates the movement direction (travel direction) of the object based on the detection result of the sensing element 50.
  • the detection position determination unit 60C calculates the position where an extension of the calculated movement direction intersects with the screen (display surface) of the display element 20. Then, the detection position determination unit 60C determines that the observer 3 has touched the aerial image when the position where the extension intersects with the screen is included in the area of the image of the display element 20.
  • the first embodiment even if the position of the aerial image 2 changes depending on the position from which the observer 3 views the aerial display device 1, it is possible to determine the object present in the area of the aerial image 2. In addition, it is possible to realize an aerial display device 1 that can more accurately detect the touch operation on the aerial image 2 by the observer 3.
  • the aerial display device 1 can display an aerial image 2 in the air by reflecting light emitted from the display element 20 by the optical element 40.
  • the aerial display device 1 can also display the aerial image 2 in the front direction, parallel to the element surface of the optical element 40. It is also possible to realize an aerial display device 1 that can improve display quality.
  • the observer 3 when the observer 3 looks at the optical element 40 with both eyes parallel to or close to the X direction (i.e., the direction in which the multiple optical elements 42 are arranged), the observer 3 can see an aerial image. In addition, when the observer 3 moves the viewpoint along the Y direction with both eyes parallel to or close to the X direction, the observer 3 can always see an aerial image. In addition, a wider viewing angle can be achieved when the observer 3's eyes are parallel to or close to the X direction.
  • the multiple elements that make up the aerial display device 1 can be arranged in parallel. This makes it possible to realize an aerial display device 1 that can be made smaller in size in the Z direction.
  • the second embodiment is an example of a display device 70 including a sensing element 50.
  • the display device 70 is a general display device that displays an image on its own screen.
  • FIG. 22 is a perspective view of a display device 70 according to a second embodiment of the present invention.
  • the display device 70 includes an illumination element 10, a display element 20, and a sensing element 50.
  • the illumination element 10, the display element 20, and the sensing element 50 are arranged parallel to one another.
  • the illumination element 10, the display element 20, and the sensing element 50 are fixed at specific positions by a fixing member (not shown) so as to leave a specific distance between each other.
  • the illumination element 10, the display element 20, and the sensing element 50 are housed in a housing (not shown).
  • the configurations of the illumination element 10, the display element 20, and the sensing element 50 are the same as those of the first embodiment.
  • FIG. 23 is a schematic diagram illustrating the detection operation of the display device 70.
  • FIG. 24 is a schematic diagram illustrating the detection operation when the observer 3 views the display device 70 from an oblique direction.
  • the operation of the sensing element 50 is the same as in the first embodiment.
  • the display element 20 displays an image 21 on its screen.
  • the image 21 is, for example, a push button.
  • the observer 3 visually recognizes the image 21 displayed on the screen of the display element 20.
  • the sensing element 50 forms multiple detection regions in a two-dimensional spatial region above and parallel to the display element 20. In this embodiment, an example will be described in which the sensing element 50 forms two detection regions.
  • the sensing element 50 forms detection region DE1 and detection region DE2 in order from the side furthest from the sensing element 50.
  • the sensing element 50 detects an object in each of the detection region DE1 and the detection region DE2.
  • the observer 3 operates the image 21 with his/her finger 3A.
  • the finger 3A of the observer 3 passes through the detection area DE1 and the detection area DE2.
  • the sensing element 50 detects an object in each of the detection area DE1 and the detection area DE2.
  • the upper surface of the sensing element 50 is the reference plane for the coordinates.
  • the coordinates of the image 21 are (x, y, z).
  • the coordinates of the detection position of the object in the detection area DE1 are ( x1 , y1 , z1 ), and the coordinates of the detection position of the object in the detection area DE2 are ( x2 , y2 , z2 ).
  • the detection positions of the object in the detection areas DE1 and DE2 differ depending on the position of the viewpoint of the observer 3.
  • z is the distance between the reference surface and the display element 20
  • z1 is the distance between the reference surface and the detection area DE1
  • z2 is the distance between the reference surface and the detection area DE2.
  • z, z1 , and z2 are predetermined design values.
  • the detection position determination unit 60C calculates the coordinates (x, y) on the display element 20. In other words, the detection position determination unit 60C determines the movement direction (vector) in which the object moves based on the positions ( x1 , y1 , z1 ) and ( x2 , y2 , z2 ). The detection position determination unit 60C calculates the position (x, y) which is the intersection point between the extension line of the movement direction of the object and the display surface of the display element 20.
  • the coordinate calculation methods described above do not take into account the optical influence (refractive index, thickness, etc.) of the sensing element 50, but may be appropriately added and corrected.
  • FIG. 25 is a flowchart explaining the overall operation of the display device 70.
  • the block diagram of the display device 70 is the same as that of the first embodiment.
  • the display processing unit 60A displays an image on the screen of the display element 20 (step S200). Then, the sensing element 50 performs a sensing operation (step S201). The sensing element 50 forms detection areas DE1 and DE2.
  • the detection position determination unit 60C determines whether or not an object has been detected based on the signal from the sensing element 50 (step S202).
  • the detection position determination unit 60C calculates the position of the object (step S203). That is, the detection position determination unit 60C calculates the position ( x1 , y1 , z1 ) in the detection area DE1 and the position ( x2 , y2 , z2 ) in the detection area DE2.
  • the detection position determination unit 60C calculates the position of the object on the screen (display surface) of the display element 20 (step S204).
  • the detection position determination unit 60C determines whether the calculated object position is included in the area of the image 21 (step S205).
  • the detection position determination unit 60C determines that the image 21 has been touched by the observer 3 (step S206).
  • control unit 60 executes an operation according to the touch operation of the observer 3.
  • the sensing element 50 can be applied to a general display device 70 that displays an image on its own screen.
  • the display device 70 can detect an object in a non-contact manner.
  • the third embodiment is another configuration example of the sensing element 50.
  • FIG. 26 is a perspective view of a display device 70 according to a third embodiment of the present invention.
  • the display device 70 includes a plurality of sensing elements 50.
  • two sensing elements 50-1 and 50-2 are used as an example.
  • the sensing elements 50-1 and 50-2 are configured as TOF (time of flight) sensors.
  • the sensing elements 50-1 and 50-2 are arranged above the display element 20.
  • the sensing elements 50-1 and 50-2 are arranged outside the area occupied by the display element 20 in a plan view.
  • the sensing elements 50-1 and 50-2 are arranged on one side of the display device 70 in the X direction.
  • the sensing element 50-1 is arranged above the sensing element 50-2.
  • the lighting element 10, the display element 20, and the sensing elements 50-1 and 50-2 are fixed to specific positions by fixing members not shown.
  • the lighting element 10, the display element 20, and the sensing elements 50-1 and 50-2 are housed in a housing not shown.
  • the sensing elements 50-1 and 50-2 may be provided separately from the housing in which the lighting element 10 and the display element 20 are housed.
  • the sensing elements 50-1 and 50-2 form a detection area DE1 and a detection area DE2, respectively.
  • the detection area DE1 and the detection area DE2 are set parallel to the display element 20.
  • the detection area DE1 is formed above the detection area DE2.
  • the sensing element 50-1 detects an object present in the detection area DE1.
  • the sensing element 50-1 emits light into the detection area DE1 and detects the reflected light reflected by the object.
  • the light emitted by the sensing element 50-1 is preferably light other than visible light, for example infrared light.
  • the sensing element 50-1 includes a light emitting unit that emits infrared light toward the detection area DE1, and a light receiving unit (sensor) that detects the reflected light reflected by the object.
  • the sensing element 50-1 is composed of, for example, a line sensor in which multiple light emitting elements and multiple light receiving elements are alternately arranged in a row.
  • the line sensor is capable of scanning space in a line using infrared light, and is capable of scanning a two-dimensional space consisting of the direction in which multiple light emitting elements are arranged and the direction in which light travels.
  • sensing element 50-2 detects an object present in detection area DE2.
  • FIG. 27 is a diagram explaining the configuration of sensing element 50-1.
  • FIG. 27(a) is a plan view
  • FIG. 27(b) is a side view.
  • the configuration of sensing element 50-2 is the same as FIG. 27.
  • the sensing element 50-1 comprises a substrate 80, a plurality of light-emitting elements 81, a plurality of light-receiving elements 82, a plurality of lenses 83, and a case 84.
  • the number of light-emitting elements 81, light-receiving elements 82, and lenses 83 shown in FIG. 27 is an example.
  • the plurality of light-emitting elements 81 are collectively referred to as the light-emitting section, and the plurality of light-receiving elements 82 are collectively referred to as the light-receiving section.
  • the multiple light-emitting elements 81 and the multiple light-receiving elements 82 are mounted on a substrate 80.
  • the substrate 80 includes multiple wiring layers (not shown).
  • the multiple light-emitting elements 81 and the multiple light-receiving elements 82 are arranged alternately.
  • Each of the multiple light-emitting elements 81 emits laser light.
  • Laser light is, for example, infrared light that does not stimulate the user's vision and is not affected by visible light.
  • the light-emitting elements 81 are, for example, composed of laser diodes.
  • Each of the multiple light receiving elements 82 detects the laser light (infrared light) reflected by the target object.
  • the light receiving elements 82 are composed of, for example, a photodiode.
  • the multiple lenses 83 are provided corresponding to the multiple light-emitting elements 81 and are arranged above the multiple light-emitting elements 81.
  • the multiple lenses 83 are arranged side by side in one direction.
  • Each of the multiple lenses 83 is composed of, for example, a plano-convex lens.
  • the multiple lenses 83 have the function of focusing the laser light emitted from the multiple light-emitting elements 81 in the forward direction.
  • the multiple lenses 83 also have the function of focusing the laser light reflected by an object.
  • the case 84 houses the substrate 80, a number of light-emitting elements 81, a number of light-receiving elements 82, and a number of lenses 83.
  • the case 84 has an opening at the top that exposes the lenses 83.
  • Figure 27 only the external shape of the case 84 is shown in a simplified form.
  • the detection operation of the display device 70 is the same as in the second embodiment.
  • the same effect as in the second embodiment can be obtained.
  • the sensing element of the third embodiment can be applied to the first embodiment.
  • FIG. 28 is a flowchart explaining the overall operation of the aerial display device 1 according to the fourth embodiment of the present invention.
  • the configuration of the aerial display device 1 is the same as that of the first embodiment.
  • steps S300 to S306 are the same as those in steps S100 to S106 in the first embodiment.
  • the detection position determination unit 60C displays the cursor 23 at the selected position on the virtual display surface 22 (step S307).
  • FIG. 29 is a schematic diagram illustrating the operation of determining a touch operation by an observer 3.
  • FIG. 29 shows coordinates on the virtual display surface 22 of the display element 20.
  • the display element 20 displays an image 21 on its own screen.
  • the detection position determination unit 60C displays a cursor 23 at the position selected by the observer 3 on the virtual display surface 22 of the display element 20.
  • the observer 3 can recognize that he or she is touching an area other than the aerial image 2. This allows the finger 3A of the observer 3 to be guided to the aerial image 2.
  • the fourth embodiment can also be applied to the display device 70 of the second embodiment.
  • the observer 3 may be notified of the non-selected state by using sound.
  • the detection position determination unit 60C outputs a specific sound if the position selected by the observer 3 is not included in the area of the image 21.
  • the aerial display device 1 is equipped with a speaker capable of outputting sound. This allows the observer 3 to recognize that he or she is not touching the aerial image 2.
  • the sensing element 50 is of a capacitive type.
  • the present invention is not limited to this, and other types of sensing elements capable of detecting objects in space can be used.
  • the display element 20 and the optical element 40 are arranged parallel to each other. However, this is not limited to this, and the display element 20 may be arranged diagonally relative to the optical element 40.
  • the angle between the display element 20 and the optical element 40 is set in the range greater than 0 degrees and less than 45 degrees.
  • the light control element 30 can be omitted.
  • the left side of the optical element 42 is defined as the incident surface 43, and the right side is defined as the reflective surface 44.
  • the incident surface 43 and the reflective surface 44 may be configured in reverse. In this case, the function of the aerial display device 1 described in the embodiment will also be reversed.
  • a liquid crystal display element is used as an example of the display element 20, but the present invention is not limited to this.
  • the display element 20 can also be a self-luminous organic EL (electroluminescence) display element or a micro LED (Light Emitting Diode) display element.
  • a micro LED display element is a display element that uses LEDs to emit the R (red), G (green), and B (blue) that make up a pixel. When a self-luminous display element 20 is used, the lighting element 10 is not necessary.
  • the present invention is not limited to the above-described embodiments, and can be modified in various ways during implementation without departing from the gist of the invention.
  • the embodiments may also be implemented in appropriate combination, in which case the combined effects can be obtained.
  • the above-described embodiments include various inventions, and various inventions can be extracted by combinations selected from the multiple constituent elements disclosed. For example, if the problem can be solved and an effect can be obtained even if some constituent elements are deleted from all the constituent elements shown in the embodiments, the configuration from which these constituent elements are deleted can be extracted as an invention.
  • 1...aerial display device 2...aerial image, 3...observer, 4...housing, 10...illumination element, 11...light source unit, 12...light guide plate, 13...reflective sheet, 20...display element, 21...image, 22...virtual display surface, 23...cursor, 30...light control element, 31...substrate, 32...substrate, 33...transparent member, 34...light-shielding member, 40...optical element, 41...substrate, 42...optical element, 43...incident surface, 44...reflective surface, 50...sensing element , 51...substrate, 52...substrate, 53...electrode, 54...electrode, 55...insulating layer, 56...drive circuit, 57...detection circuit, 60...controller, 60A...display processing unit, 60B...image processing unit, 60C...detection position determination unit, 61...storage unit, 62...input/output interface, 63...display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)

Abstract

空中表示装置は、画像を表示する表示素子（２０）と、表示素子（２０）からの光を受けるように配置され、表示素子（２０）からの光を、表示素子（２０）と反対側に反射し、空中に空中像を結像する光学素子（４０）と、光学素子（４０）の上方に、表示素子（２０）と平行な第１検知領域と、第１検知領域と異なるレベルの第２検知領域とを形成し、第１及び第２検知領域に存在する対象物を検知するセンシング素子（５０）と、第１検知領域における第１検知位置と、第２検知領域における第２検知位置とを算出し、第１及び第２検知位置に基づいて、空中像がタッチされたか否かを判定する判定部（６０Ｃ）とを含む。

Description

空中表示装置及び表示装置
　本発明は、空中表示装置及び表示装置に関する。
　画像や動画などを空中像として表示可能な空中表示装置が研究され、新しいヒューマン・マシン・インターフェースとして期待されている。空中表示装置は、例えば、２面コーナーリフレクタがアレイ状に配列された２面コーナーリフレクタアレイを備え、表示素子の表示面から出射される光を反射し、空中に実像を結像する。２面コーナーリフレクタアレイによる表示方法は、収差が無く、面対称位置に実像（空中像）を表示することができる。
　特許文献１は、透明平板の表面から突出した透明な四角柱を２面コーナーリフレクタとして使用し、複数の四角柱を平面上にアレイ状に配置した光学素子を開示している。また、特許文献２は、第１及び第２光制御パネルの各々を、透明平板の内部に垂直に複数の平面光反射部を並べて形成し、第１及び第２光制御パネルを、互いの平面光反射部が直交するように配置した光学素子を開示している。特許文献１、２の光学素子は、表示素子から出射された光を直交する反射面で２回反射させ、空中像を生成している。
　観察者は、機器に接触することなく、空中表示装置が表示した空中像をタッチすることが可能である。空中表示装置が備えるセンシング素子は、空中像の領域に存在する物体を検知し、観察者が空中像をタッチしたことを認識する。センシング素子には、観察者による空中像へのタッチ操作をより正確に検知することが要求される。
日本国特開２０１１－１９１４０４号公報 日本国特開２０１１－１７５２９７号公報
　本発明は、観察者による空中像へのタッチ操作をより正確に検知することが可能な空中表示装置及び表示装置を提供する。
　本発明の第１態様によると、画像を表示する表示素子と、前記表示素子からの光を受けるように配置され、前記表示素子からの光を、前記表示素子と反対側に反射し、空中に空中像を結像する光学素子と、前記光学素子の上方に、前記表示素子と平行な第１検知領域と、前記第１検知領域と異なるレベルの第２検知領域とを形成し、前記第１及び第２検知領域に存在する対象物を検知するセンシング素子と、前記第１検知領域における第１検知位置と、前記第２検知領域における第２検知位置とを算出し、前記第１及び第２検知位置に基づいて、前記空中像がタッチされたか否かを判定する判定部とを具備する空中表示装置が提供される。
　本発明の第２態様によると、前記判定部は、前記第１及び第２検知位置に基づいて、前記対象物が移動する移動方向を判定し、前記移動方向の延長線上に前記画像が存在する場合に、前記空中像がタッチされたと判定する、第１態様に係る空中表示装置が提供される。
　本発明の第３態様によると、前記センシング素子は、静電容量型である、第１態様に係る空中表示装置が提供される。
　本発明の第４態様によると、前記センシング素子は、複数の第１電極と、前記複数の第１電極に対向して配置された複数の第２電極と、前記複数の第１電極に駆動信号を供給する駆動回路と、前記複数の第２電極の電圧を検出する検出回路とを含み、前記判定部は、前記検出回路による検出結果と閾値とを比較し、比較結果に応じて前記対象物の位置を判定する、第３態様に係る空中表示装置が提供される。
　本発明の第５態様によると、前記センシング素子は、前記第１検知領域を形成する第１センシング素子と、前記第２検知領域を形成する第２センシング素子とを含み、前記第１及び第２センシング素子の各々は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む、第１態様に係る空中表示装置が提供される。
　本発明の第６態様によると、前記光学素子は、平面状の基材と、前記基材の下に設けられ、それぞれが第１方向に延び、前記第１方向に直交する第２方向に並んだ複数の光学要素とを含み、前記複数の光学要素の各々は、前記基材の法線方向に対してそれぞれが傾き、互いに接する入射面及び反射面を有する、第１態様に係る空中表示装置が提供される。
　本発明の第７態様によると、前記表示素子と前記光学素子との間に配置され、前記表示素子からの光のうち斜め方向の光成分を透過する光制御素子をさらに具備する、第１態様に係る空中表示装置が提供される。
　本発明の第８態様によると、前記光制御素子は、交互に配置された複数の透明部材及び複数の遮光部材を含み、前記複数の遮光部材は、前記光制御素子の法線に対して傾いている、第７態様に係る空中表示装置が提供される。
　本発明の第９態様によると、前記表示素子及び前記光学素子は、互いに平行に配置される、第１態様に係る空中表示装置が提供される。
　本発明の第１０態様によると、画像を表示する表示素子と、前記表示素子の上方に、前記表示素子と平行な第１検知領域と、前記第１検知領域と異なるレベルの第２検知領域とを形成し、前記第１及び第２検知領域に存在する対象物を検知するセンシング素子と、前記第１検知領域における第１検知位置と、前記第２検知領域における第２検知位置とを算出し、前記第１及び第２検知位置に基づいて、前記画像がタッチされたか否かを判定する判定部とを具備する表示装置が提供される。
　本発明の第１１態様によると、前記判定部は、前記第１及び第２検知位置に基づいて、前記対象物が移動する移動方向を判定し、前記移動方向の延長線上に前記画像が存在する場合に、前記画像がタッチされたと判定する、第１０態様に係る表示装置が提供される。
　本発明の第１２態様によると、前記センシング素子は、静電容量型である、第１０態様に係る表示装置が提供される。
　本発明の第１３態様によると、前記センシング素子は、複数の第１電極と、前記複数の第１電極に対向して配置された複数の第２電極と、前記複数の第１電極に駆動信号を供給する駆動回路と、前記複数の第２電極の電圧を検出する検出回路とを含み、前記判定部は、前記検出回路による検出結果と閾値とを比較し、比較結果に応じて前記対象物の位置を判定する、第１２態様に係る表示装置が提供される。
　本発明の第１４態様によると、前記センシング素子は、前記第１検知領域を形成する第１センシング素子と、前記第２検知領域を形成する第２センシング素子とを含み、前記第１及び第２センシング素子の各々は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む、第１０態様に係る表示装置が提供される。
　本発明によれば、観察者による空中像へのタッチ操作をより正確に検知することが可能な空中表示装置及び表示装置を提供することができる。
図１は、本発明の第１実施形態に係る空中表示装置の斜視図である。 図２は、図１に示した空中表示装置のＸＺ面における側面図である。 図３Ａは、図１に示した光制御素子の平面図である。 図３Ｂは、図３ＡのＡ－Ａ´線に沿った光制御素子の断面図である。 図４は、図１に示した光学素子の斜視図である。 図５Ａは、図１に示したセンシング素子の斜視図である。 図５Ｂは、図５Ａに示したセンシング素子の平面図である。 図５Ｃは、図５Ｂに示したＢ－Ｂ´線に沿ったセンシング素子の断面図である。 図６は、空中表示装置のブロック図である。 図７は、光学素子における光の反射の様子を説明する斜視図である。 図８は、光学素子における光の反射の様子を説明するＸＺ面の側面図である。 図９は、光学素子における光の反射の様子を説明するＹＺ面の側面図である。 図１０は、光学素子における入射面及び反射面の角度条件を説明する図である。 図１１は、センシング素子の動作を説明する模式図である。 図１２は、センシング素子の複数の検知領域を説明する模式図である。 図１３は、センシング素子における複数の検知領域と電圧との関係を説明する図である。 図１４は、空中表示装置が表示する空中像を説明する模式図である。 図１５は、観察者の視点の位置に応じて空中像の位置が変化する様子を説明する模式図である。 図１６は、空中表示装置の検知動作を説明する模式図である。 図１７は、観察者が空中表示装置を斜め方向から見た場合の検知動作を説明する模式図である。 図１８は、Ｚ座標における画像の位置を算出する方法を説明する模式図である。 図１９は、Ｚ座標を補正した仮想表示面を説明する模式図である。 図２０は、観察者のタッチ操作を判定する動作を説明する模式図である。 図２１は、空中表示装置における全体動作を説明するフローチャートである。 図２２は、本発明の第２実施形態に係る表示装置の斜視図である。 図２３は、表示装置の検知動作を説明する模式図である。 図２４は、観察者が表示装置を斜め方向から見た場合の検知動作を説明する模式図である。 図２５は、表示装置における全体動作を説明するフローチャートである。 図２６は、本発明の第３実施形態に係る表示装置の斜視図である。 図２７は、センシング素子の構成を説明する図である。 図２８は、本発明の第４実施形態に係る空中表示装置における全体動作を説明するフローチャートである。 図２９は、観察者のタッチ操作を判定する動作を説明する模式図である。
　以下、実施形態について図面を参照して説明する。ただし、図面は模式的または概念的なものであり、各図面の寸法および比率等は必ずしも現実のものと同一とは限らない。また、図面の相互間で同じ部分を表す場合においても、互いの寸法の関係や比率が異なって表される場合もある。特に、以下に示す幾つかの実施形態は、本発明の技術思想を具体化するための装置および方法を例示したものであって、構成部品の形状、構造、配置等によって、本発明の技術思想が特定されるものではない。なお、以下の説明において、同一の機能及び構成を有する要素については同一符号を付し、重複する説明は省略する。
　［１］　第１実施形態
　［１－１］　空中表示装置１の構成
　図１は、本発明の第１実施形態に係る空中表示装置１の斜視図である。図１において、Ｘ方向は、空中表示装置１のある１辺に沿った方向であり、Ｙ方向は、水平面内においてＸ方向に直交する方向であり、Ｚ方向は、ＸＹ面に直交する方向（法線方向ともいう）である。図２は、図１に示した空中表示装置１のＸＺ面における側面図である。
　空中表示装置１は、画像（動画を含む）を表示する装置である。空中表示装置１は、自身の光出射面の上方の空中に、空中像を表示する。「空中像を表示する」とは、「空中像を結像する」と同じ意味である。空中表示装置１の光出射面とは、空中表示装置１を構成しかつ光路上に配置された複数の部材のうち最上層に配置された部材の上面を意味する。空中像とは、空中に結像する実像である。
　空中表示装置１は、照明素子（バックライトともいう）１０、表示素子２０、光制御素子３０、光学素子４０、及びセンシング素子５０を備える。照明素子１０、表示素子２０、光制御素子３０、光学素子４０、及びセンシング素子５０は、この順にＺ方向に沿って配置され、互いに平行に配置される。照明素子１０、表示素子２０、光制御素子３０、光学素子４０、及びセンシング素子５０は、互いに特定の間隔を空けるようにして、図示せぬ固定部材で特定の位置に固定される。照明素子１０、表示素子２０、光制御素子３０、光学素子４０、及びセンシング素子５０は、図示せぬ筐体に収容される。
　照明素子１０は、照明光を発光し、この照明光を表示素子２０に向けて出射する。照明素子１０は、光源部１１、導光板１２、及び反射シート１３を備える。照明素子１０は、例えばサイドライト型の照明素子である。照明素子１０は、面光源を構成する。照明素子１０は、後述する角度θ１の斜め方向に光強度がピークになるように構成してもよい。
　光源部１１は、導光板１２の側面に向き合うように配置される。光源部１１は、導光板１２の側面に向けて光を発光する。光源部１１は、例えば白色ＬＥＤ（Light Emitting Diode）からなる複数の発光素子を含む。導光板１２は、光源部１１からの照明光を導光し、照明光を自身の上面から出射する。反射シート１３は、導光板１２の底面から出射した照明光を、再び導光板１２に向けて反射する。照明素子１０は、導光板１２の上面に、光学特性を向上させる部材（プリズムシート、及び拡散シートを含む）を備えていてもよい。
　表示素子２０は、透過型の表示素子である。表示素子２０は、例えば液晶表示素子で構成される。表示素子２０の駆動モードについては特に限定されず、ＴＮ（Twisted Nematic）モード、ＶＡ（Vertical Alignment）モード、又はホモジニアスモードなどを用いることができる。表示素子２０は、照明素子１０から出射された照明光を受ける。表示素子２０は、照明素子１０からの照明光を透過して光変調を行う。そして、表示素子２０は、自身の画面に特定の画像を表示する。
　光制御素子３０は、不要光を低減する機能を有する。不要光とは、空中像を生成するのに寄与しない光成分であり、法線方向に光学素子４０を透過する光成分を含む。光制御素子３０は、法線方向に対して角度θ１の斜め方向を中心として所定の角度範囲の光成分を透過するとともに、上記角度範囲以外の光成分を遮光するように構成される。光制御素子３０の面積は、表示素子２０の面積以上に設定される。光制御素子３０の詳細な構成については後述する。
　光学素子４０は、底面側から入射した光を上面側に反射する。また、光学素子４０は、底面側から斜めに入射した入射光を、例えば正面方向（法線方向）に反射する。光学素子４０の面積は、表示素子２０の面積以上に設定される。光学素子４０の詳細な構成については後述する。光学素子４０は、空中に空中像２を結像する。空中像２は、光学素子４０の素子面に平行であり、２次元の画像である。素子面とは、光学素子４０が面内方向に広がる仮想的な平面を言う。素子面は、面内と同じ意味である。その他の素子の素子面についても同様の意味である。光学素子４０の正面にいる観察者３は、光学素子４０によって結像された空中像２を視認することができる。
　センシング素子５０は、非接触で対象物を検知可能なように構成される。センシング素子５０は、空中表示装置１が生成した空中像２の一部又は全部を含む２次元の空間領域に、検知領域を形成する。センシング素子５０は、検知領域に存在する対象物（物体）を検知するとともに、対象物の位置を検知する。本実施形態では、静電容量型のセンシング素子を例に挙げて説明する。図１では、センシング素子５０が光学素子４０から離れて図示されているが、例えば、センシング素子５０は、光学素子４０の上面に近接して配置される。図１のセンシング素子５０において、Ｙ方向に突出した四角形の部材は、配線の一部を例示している。センシング素子５０の面積は、表示素子２０の面積以上に設定される。センシング素子５０の詳細な構成については後述する。
　［１－１－１］　光制御素子３０の構成
　図３Ａは、図１に示した光制御素子３０の平面図である。図３Ｂは、図３ＡのＡ－Ａ´線に沿った光制御素子３０の断面図である。
　基材３１は、ＸＹ面において平面状に構成され、直方体を有する。基材３１は、光を透過する。
　基材３１上には、それぞれがＹ方向に延び、Ｘ方向に並んだ複数の透明部材３３が設けられる。また、基材３１上には、それぞれがＹ方向に延び、Ｘ方向に並んだ複数の遮光部材３４が設けられる。複数の透明部材３３と複数の遮光部材３４とは、隣接するもの同士が接するようにして交互に配置される。
　複数の透明部材３３及び複数の遮光部材３４上には、基材３２が設けられる。基材３２は、ＸＹ面において平面状に構成され、直方体を有する。基材３２は、光を透過する。
　透明部材３３は、ＸＺ面において、基材３１の法線方向に対して角度θ１の斜め方向に延びる。透明部材３３は、ＸＺ面において、側面が角度θ１だけ傾いた平行四辺形である。透明部材３３は、光を透過する。
　遮光部材３４は、ＸＺ面において、基材３１の法線方向に対して角度θ１の斜め方向に延びる。遮光部材３４は、ＸＺ面において、側面が角度θ１だけ傾いた平行四辺形である。遮光部材３４は、光を遮光する。遮光部材３４の厚みは、透明部材３３の厚みより薄く設定される。
　隣接する２個の遮光部材３４は、Ｚ方向において互いの端部が若干重なるように配置される。
　基材３１、３２、及び透明部材３３としては、ガラス、又は透明な樹脂（アクリル樹脂を含む）が用いられる。遮光部材３４としては、例えば、黒色の染料又は顔料が混入された樹脂が用いられる。
　なお、基材３１、３２の一方又は両方を省略して、光制御素子３０を構成してもよい。複数の透明部材３３と複数の遮光部材３４とが交互に配置されていれば、光制御素子３０の機能を実現できる。
　このように構成された光制御素子３０は、法線方向に対して角度θ１の斜め方向の光強度がピークになるように、表示光を透過することができる。角度θ１は、例えば１０度以上６０度以下に設定される。例えば、光制御素子３０は、法線方向に対して３０°±３０°の範囲以外の光成分を遮光するように構成される。望ましくは、光制御素子３０は、法線方向に対して３０°±２０°の範囲以外の光成分を遮光するように構成される。
　なお、変形例として、光制御素子３０は、照明素子１０と表示素子２０との間に配置してもよい。また、光制御素子３０を省略して、空中表示装置１を構成してもよい。
　［１－１－２］　光学素子４０の構成
　図４は、図１に示した光学素子４０の斜視図である。図４には、光学素子４０の一部を拡大した拡大図も図示している。図４の拡大図は、ＸＺ面における側面図である。
　光学素子４０は、基材４１、及び複数の光学要素４２を備える。基材４１は、ＸＹ面において平面状に構成され、直方体を有する。
　基材４１の底面には、複数の光学要素４２が設けられる。複数の光学要素４２の各々は、三角柱で構成される。光学要素４２は、三角柱の３個の側面がＸＹ面と平行になるように配置され、１つの側面が基材４１に接する。複数の光学要素４２は、それぞれがＹ方向に延び、Ｘ方向に並んで配置される。換言すると、複数の光学要素４２は、ＸＺ面において鋸歯状を有する。
　複数の光学要素４２の各々は、入射面４３及び反射面４４を有する。Ｙ方向から見て、左側の側面が入射面４３であり、右側の側面が反射面４４である。入射面４３は、表示素子２０からの光が入射する面である。反射面４４は、入射面４３に外部から入射した光を、光学要素４２の内部で反射する面である。入射面４３と反射面４４とは、角度θｐを有する。
　基材４１及び光学要素４２は、透明材料で構成される。光学要素４２は、例えば、基材４１と同じ透明材料によって基材４１と一体的に形成される。基材４１と光学要素４２とを個別に形成し、透明な接着材を用いて基材４１に光学要素４２を接着してもよい。基材４１及び光学要素４２を構成する透明材料としては、ガラス、又は透明な樹脂（アクリル樹脂を含む）が用いられる。
　このように構成された光学素子４０は、入射光を内部で反射して、空中に実像を結像する。また、光学素子４０は、素子面の正面の位置に、空中像２を結像する。
　［１－１－３］　センシング素子５０の構成
　図５Ａは、図１に示したセンシング素子５０の斜視図である。図５Ｂは、図５Ａに示したセンシング素子５０の平面図である。図５Ｂには、センシング素子５０が備える回路構成も示している。図５Ｃは、図５Ｂに示したＢ－Ｂ´線に沿ったセンシング素子５０の断面図である。
　センシング素子５０は、２個の基板５１、５２、複数の電極５３、複数の電極５４、及び絶縁層５５を備える。基板５１、５２は、透明かつ絶縁性を有する基板で構成され、ガラス基板又はプラスチック基板で構成される。
　基板５１上には、複数の電極５３が設けられる。複数の電極５３の各々の平面形状は、例えば正方形を有する。電極５３は、１本の対角線がＸ方向と平行になるように配置される。複数の電極５３は、マトリクス状に配置される。Ｙ方向に並んだ１列分の電極５３は、Ｙ方向に延びる複数の接続電極を介して電気的に接続される。Ｙ方向に並んだ１列分の電極５３は、Ｙ方向に延びる引き出し電極を介して信号線ＴＬに接続される。電極５３は、送信電極として機能する。
　基板５２上には、複数の電極５４が設けられる。複数の電極５４の各々の平面形状は、例えば正方形を有する。電極５４は、１本の対角線がＸ方向と平行になるように配置される。複数の電極５４は、マトリクス状に配置される。Ｘ方向に並んだ１行分の電極５４は、Ｘ方向に延びる複数の接続電極を介して電気的に接続される。Ｘ方向に並んだ１行分の電極５４は、Ｘ方向に延びる引き出し電極を介して信号線ＲＬに接続される。電極５４は、受信電極として機能する。
　複数の電極５３と複数の電極５４とは、平面視において重ならないように配置される。基板５１と基板５２とは、複数の電極５３と複数の電極５４とが向き合うように配置される。電極５３及び電極５４は、透明電極で構成され、例えばＩＴＯ（インジウム錫酸化物）で構成される。
　複数の電極５３と複数の電極５４との間には、絶縁層５５が設けられる。絶縁層５５は、透明な絶縁材料で構成される。絶縁層５５は、複数の層で構成してもよい。
　センシング素子５０は、駆動回路５６、及び検出回路５７をさらに備える。駆動回路５６は、複数の信号線ＴＬに接続される。駆動回路５６は、複数の信号線ＴＬの各々に、パルス波形からなる駆動信号を供給する。また、駆動回路５６は、複数の信号線ＴＬに順次パルスが印加されるように、駆動信号を生成する。
　検出回路５７は、複数の信号線ＲＬに接続される。検出回路５７は、複数の信号線ＲＬの電圧値を検出する。
　［１－１－４］　空中表示装置１のブロック構成
　図６は、空中表示装置１のブロック図である。空中表示装置１は、制御部６０、記憶部６１、入出力インターフェース（入出力ＩＦ）６２、表示部６３、センシング素子５０、及び入力部６４を備える。制御部６０、記憶部６１、及び入出力インターフェース６２は、バス６５を介して互いに接続される。
　入出力インターフェース６２は、表示部６３、センシング素子５０、及び入力部６４に接続される。入出力インターフェース６２は、表示部６３、センシング素子５０、及び入力部６４のそれぞれに対して、所定の規格に応じたインターフェース処理を行う。
　表示部６３は、照明素子１０、及び表示素子２０を備える。表示部６３は、画像を表示する。
　センシング素子５０は、上方に複数の検知領域を形成する。センシング素子５０は、電極５３と電極５４との間の静電容量の変化に基づいて、複数の検知領域に存在する対象物を検知する。
　制御部６０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の１つ以上のプロセッサにより構成される。制御部６０は、記憶部６１に格納されたプログラムを実行することで各種機能を実現する。制御部６０は、表示処理部６０Ａ、画像処理部６０Ｂ、及び検知位置判定部６０Ｃを備える。
　表示処理部６０Ａは、表示部６３（具体的には、照明素子１０、及び表示素子２０）の動作を制御する。表示処理部６０Ａは、照明素子１０のオン及びオフを制御する。表示処理部６０Ａは、表示素子２０に画像信号を送信し、表示素子２０に画像を表示させる。
　画像処理部６０Ｂは、空中表示装置１が表示する画像を生成する。画像処理部６０Ｂは、記憶部６１に格納された画像データを用いることが可能である。画像処理部６０Ｂは、図示せぬ通信機能を用いて外部から画像データを取得してもよい。
　検知位置判定部６０Ｃは、センシング素子５０の動作を制御する。検知位置判定部６０Ｃは、センシング素子５０の検知結果に基づいて、複数の検知領域ごとに、対象物が検知された検知位置を算出する。検知位置判定部６０Ｃは、複数の検知位置に基づいて、対象物が移動する方向（ベクトル）を判定する。検知位置判定部６０Ｃは、対象物が移動する方向の延長線と、表示素子２０の表示面との交点の位置を算出する。検知位置判定部６０Ｃは、算出した表示面上の位置が、表示素子２０の画像の領域に含まれるか否かを判定する。
　記憶部６１は、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、及びＳＳＤ（Solid State Drive）等の不揮発性記憶装置と、ＲＡＭ（Random Access Memory）、及びレジスタ等の揮発性記憶装置とを含む。記憶部６１は、制御部６０が実行するプログラムを格納する。記憶部６１は、制御部６０の制御に必要な各種データを格納する。記憶部６１は、空中表示装置１が表示する画像のデータを格納する。
　入力部６４は、例えばタッチパネルやボタンなどを含み、ユーザが入力した情報を受け付ける。画像処理部６０Ｂは、入力部６４が受け付けた情報に基づいて、表示部６３に表示する画像を選択することが可能である。
　［１－２］　動作
　次に、上記のように構成された空中表示装置１の動作について説明する。
　［１－２－１］　空中表示装置１の基本動作
　まず、空中表示装置１の基本動作について説明する。
　図２の矢印は、光路を示している。図２に示すように、表示素子２０の任意の点“ｏ”から出射された光は、光制御素子３０に入射する。表示素子２０から出射された光のうち角度θ１の光成分（角度θ１を中心とした所定の角度範囲の光成分を含む）は、光制御素子３０を透過する。光制御素子３０を透過した光は、光学素子４０に入射する。光学素子４０は、入射光を、光制御素子３０と反対側に反射し、空中に空中像２を結像する。
　図７は、光学素子４０における光の反射の様子を説明する斜視図である。図８は、光学素子４０における光の反射の様子を説明するＸＺ面の側面図である。図８は、観察者３の両目（すなわち、両目を結ぶ線）がＸ方向に平行な状態で光学素子４０を見た図である。図９は、光学素子４０における光の反射の様子を説明するＹＺ面の側面図である。図９は、観察者３の両目がＹ方向に平行な状態で光学素子４０を見た図である。
　表示素子２０の任意の点“ｏ”から出射された光は、光学素子４０の入射面４３に入射し、反射面４４に到達する。反射面４４の法線方向に対して臨界角よりも大きい角度で反射面４４に到達した光は、反射面４４で全反射され、光学素子４０の光学要素４２が形成されている側と反対側の平面から出射される。臨界角とは、その入射角を超えると全反射する最少の入射角である。臨界角は、入射面の垂線に対する角度である。
　図８のＸＺ面では、点“ｏ”から出射された光のうち結像に寄与する光成分は、光学要素４２の反射面４４で全反射され、その光は空中で結像されて空中像を生成する。
　図９のＹＺ面では、点“ｏ”から出射された光のうち結像に寄与しない光成分は、光学要素４２の反射面４４で反射されず、その光は空中で結像することがないため空中像の生成に寄与しない。
　すなわち、観察者３が空中像を視認できる条件は、観察者３の両眼がＸ方向に平行、又はそれに近い状態（例えばＸ方向に対して±１０度）である。また、観察者３の両眼がＸ方向に平行、又はそれに近い状態でＹ方向に沿って視点を移動した場合、観察者３は、空中像を常に認識することができる。
　図１０は、光学素子４０における入射面４３及び反射面４４の角度条件を説明する図である。
　Ｚ方向（素子面に垂直な方向）に対する入射面４３の角度をθ２、Ｚ方向に対する反射面４４の角度をθ３、入射面４３と反射面４４とのなす角度をθｐとする。角度をθｐは、以下の式（１）で表される。　
　θｐ＝θ２＋θ３　　　・・・（１）
　光制御素子３０から角度θ１で出射された光は、入射面４３に入射する。光学素子４０の材料の屈折率をｎｐ、空気の屈折率を１とする。入射面４３における入射角をθ４、屈折角をθ５とする。反射面４４における入射角をθ６、反射角をθ７（＝θ６）とする。光学素子４０の上面における入射角をθ８、屈折角をθ９とする。屈折角θ９が出射角である。出射角θ９は、以下の式（２）で表される。
　θ９＝sin－１（ｎｐ＊sin（sin－１（（１／ｎｐ）＊sin(９０°－（θ１＋θ２）））＋θ２＋２θ３－９０°））　　　・・・（２）
　反射面４４における臨界角は、以下の式（３）で表される。
　臨界角＜θ６（＝θ７）
　臨界角＝sin－１（１／ｎｐ）　　　・・・（３）
　すなわち、反射面４４における入射角θ６は、反射面４４における臨界角より大きく設定される。換言すると、反射面４４の角度θ３は、反射面４４に入射する光の入射角が臨界角より大きくなるように設定される。
　また、入射面４３に入射した光は、入射面４３で全反射されないように設定される。すなわち、入射面４３の角度θ２は、入射面４３に入射する光の入射角が臨界角より小さくなるように設定される。
　光学素子４０の素子面と空中像２の面との角度、及び光学素子４０の素子面と空中像２の面との距離は、光学素子４０に入射する光の角度θ１、光学素子４０の屈折率、光学素子４０の入射面４３の角度θ２、光学素子４０の反射面４４の角度θ３を最適に設定することで調整が可能である。
　［１－２－２］　センシング素子５０の動作
　次に、センシング素子５０の動作について説明する。
　図１１は、センシング素子５０の動作を説明する模式図である。
　駆動回路５６は、信号線ＴＬを介して電極５３に駆動信号を供給する。駆動信号は、所定の周期を有するパルス波形からなる。電極５３と電極５４とは容量結合しており、両者の間には電界が発生している。検出回路５７は、電極５４の電圧値を検出可能なように構成される。
　観察者３の指３Ａは、接地電圧ＧＮＤを有する。対象物（例えば、観察者３の指３Ａ）がセンシング素子５０に近づくと、対象物と電極５３とが容量結合する。この場合、電極５３と電極５４との間の容量値が変化する。具体的には、対象物と電極５３とが容量結合すると、電極５３と電極５４との間の容量値が減少する。電極５３と電極５４との間の容量値が変化すると、電極５４の電圧が変化する。検出回路５７は、電極５４の電圧値を検出する。
　図１２は、センシング素子５０の複数の検知領域を説明する模式図である。
　センシング素子５０は、検出した電圧値に基づいて、複数の検知領域を形成することができる。ここでいう検知領域とは、センシング素子５０が検知可能な２次元の領域であり、センシング素子５０の上面と平行な領域である。複数の検知領域は、センシング素子５０の上面からの高さ（レベル）が異なる。図１２では、４個の検知領域ＤＥ１～ＤＥ４を一例として示している。
　図１３は、センシング素子５０における複数の検知領域と電圧との関係を説明する図である。図１３において、対象物を検知した場合を“タッチオン”、対象物を検知していない場合を“タッチオフ”と表記している。
　検出回路５７は、複数の信号線ＲＬの電圧を検出する。検出回路５７により検出された複数の電圧は、検知位置判定部６０Ｃに送られる。検知位置判定部６０Ｃは、検出回路５７により検出された電圧値と閾値Ｔｈ１～Ｔｈ４とを比較する。検知位置判定部６０Ｃは、電圧値が、閾値Ｔｈ１以上かつ閾値Ｔｈ２未満である場合、対象物が検知領域ＤＥ１に存在すると判定する。検知位置判定部６０Ｃは、電圧値が、閾値Ｔｈ２以上かつ閾値Ｔｈ３未満である場合、対象物が検知領域ＤＥ２に存在すると判定する。検知位置判定部６０Ｃは、電圧値が、閾値Ｔｈ３以上かつ閾値Ｔｈ４未満である場合、対象物が検知領域ＤＥ３に存在すると判定する。検知位置判定部６０Ｃは、電圧値が、閾値Ｔｈ４以上である場合、対象物が検知領域ＤＥ４に存在すると判定する。
　このように、センシング素子５０は、自身の上方の空中の複数のレベルで対象物を検知することができる。
　［１－２－３］　空中表示装置１の検知動作
　次に、空中表示装置１の検知動作について説明する。
　図１４は、空中表示装置１が表示する空中像２を説明する模式図である。空中表示装置１は、筐体４を備える。筐体４は、照明素子１０、表示素子２０、光制御素子３０、光学素子４０、及びセンシング素子５０を収容する。筐体４は、上部にセンシング素子５０を露出する開口部を有する。図１４において、鉛直方向がＹ方向になるように、空中表示装置１を配置している。
　空中表示装置１は、空中に空中像２を表示する。図１４では、空中像２として、押しボタンを一例として示している。観察者３は、自身の指３Ａで押しボタンを押す。センシング素子５０は、空中像２を含む２次元の空間に検知領域を形成し、観察者３が指３Ａで押しボタンを押した場合に、指３Ａを検知する。
　図１５は、観察者３の視点の位置に応じて空中像２の位置が変化する様子を説明する模式図である。
　光学素子４０の構造に起因した作用として、観察者３がＹ方向に沿って視点を動かした場合、観察者３の視点を追うように空中像２の位置が変化する。図面の上方向に観察者３の視点が移動すると、空中像２も上方向に移動し、図面の下方向に観察者３の視点が移動すると、空中像２も下方向に移動する。すなわち、空中像２は、常に観察者３の正面に位置するように視認される。
　図１６は、空中表示装置１の検知動作を説明する模式図である。図１７は、観察者３が空中表示装置１を斜め方向から見た場合の検知動作を説明する模式図である。
　表示素子２０は、自身の画面に画像２１を表示する。画像２１は、例えば押しボタンである。空中表示装置１は、表示素子２０の上面に平行な２次元の空間領域に空中像２を表示する。
　センシング素子５０は、空中像２と平行な２次元の空間領域に複数の検知領域を形成する。本実施形態では、センシング素子５０が２個の検知領域を形成する場合を例に挙げて説明する。センシング素子５０は、センシング素子５０から遠い側から順に、検知領域ＤＥ１、及び検知領域ＤＥ２を形成する。検知領域ＤＥ２は、空中像２と同じ２次元の空間領域、すなわち、空中像２と重なるように設定される。
　観察者３は、自身の指３Ａで空中像２をタッチするものとする。観察者３の指３Ａは、検知領域ＤＥ１、及び検知領域ＤＥ２を通過する。センシング素子５０は、検知領域ＤＥ１、及び検知領域ＤＥ２のそれぞれにおいて、対象物を検知する。
　センシング素子５０の上面を座標の基準面とする。本実施形態における座標とは、物体の空間での位置を定めるものであり、物体の位置と同じ意味である。画像２１の座標を（ｘ，ｙ，ｚ）とする。検知領域ＤＥ１における対象物の検知位置の座標を（ｘ１，ｙ１，ｚ１）、検知領域ＤＥ２における対象物の検知位置の座標を（ｘ２，ｙ２，ｚ２）とする。図１６に示すように、観察者３の視点の位置に応じて、検知領域ＤＥ１、ＤＥ２における対象物の検知位置が異なる。
　空間における直線の方程式より、以下の式（４）が成り立つ。
　（ｘ－ｘ１）／（ｘ２－ｘ１）＝（ｙ－ｙ１）／（ｙ２－ｙ１）＝（ｚ－ｚ１）／（ｚ２－ｚ１）　　　・・・（４）
　押しボタンの押下時、Ｘ方向のズレは僅少であると仮定する。すなわち、Ｘ座標において、以下の式（５）が成り立つ。
　ｘ１＝ｘ２（＝ｘ）　　　・・・（５）
　式（４）から、Ｙ座標において、以下の式（６）が成り立つ。
　ｙ＝ｙ１＋（ｚ－ｚ１）＊（ｙ２－ｙ１）／（ｚ２－ｚ１）　　　・・・（６）
　検知位置判定部６０Ｃは、センシング素子５０が検出した電圧値に基づいて、対象物の位置を判定する。検知位置判定部６０Ｃによる検知位置は、検知領域ＤＥ１、ＤＥ２における座標を含む。ｚ１は、基準面から検知領域ＤＥ１までの距離であり、ｚ２は、基準面から検知領域ＤＥ２までの距離である。ｚ１及びｚ２は、予め決められた設計値である。
　図１８は、Ｚ座標における画像２１の位置を算出する方法を説明する模式図である。図１８において、表示面は、表示素子２０の表示面であり、基準面は、センシング素子５０の上面であり、空中像面は、空中像２が表示される面である。
　前述したように、表示素子２０から角度θ１で出射した光が光学素子４０により観察者３の正面に反射される。表示素子２０と光学素子４０との距離をｌとする。距離ｌを規定する際の光学素子４０の基準面は、例えば光学素子４０の上面である。距離ｌは、予め決められた設計値である。
　Ｚ座標において、以下の式（７）が成り立つ。
　ｚ＝ｌ／ｓｉｎθ１　　　・・・（７）
　図１９は、Ｚ座標を補正した仮想表示面を説明する模式図である。仮想表示面とは、表示素子２０からの光が直線的に進むと仮定した場合に、表示素子２０の表示面の位置を補正した仮想的な表示面である。式（７）を用いて表示面の位置を補正すると、仮想表示面が得られる。仮想表示面に表示される画像の光は、仮想的に、Ｚ方向に進んで観察者３に観察される。
　式（５）～（７）から、仮想表示面での座標（ｘ，ｙ）が求められる。これまでの座標算出方法について、光制御素子３０、光学素子４０、及びセンシング素子５０の光学的影響（屈折率、厚みなど）は考慮に入れていないが、適宜追加及び補正を行えばよい。
　図２０は、観察者３のタッチ操作を判定する動作を説明する模式図である。図２０は、表示素子２０の仮想表示面２２における座標を示している。表示素子２０は、自身の画面に画像２１を表示する。
　仮想表示面２２の左上の角を座標（０，０）、仮想表示面２２の右下の角を座標（ｍ，ｎ）とする。画像２１の左上の角を座標（ｍ１，ｎ１）、画像２１の右下の角を座標（ｍ２，ｎ２）とする。
　検知位置判定部６０Ｃは、センシング素子５０の検出結果に基づいて、対象物の検知領域ＤＥ１、ＤＥ２における位置（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）を算出する。さらに、検知位置判定部６０Ｃは、位置（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）に基づいて、仮想表示面２２での位置（ｘ，ｙ）を算出する。
　換言すると、検知位置判定部６０Ｃは、位置（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）に基づいて、対象物が移動する移動方向（ベクトル）を判定する。検知位置判定部６０Ｃは、対象物の移動方向の延長線と仮想表示面２２との交点である位置（ｘ，ｙ）を算出する。検知位置判定部６０Ｃは、観察者３が視認する空中像２を結像する光の光路を逆に辿るように上記延長線を算出する。すなわち、検知位置判定部６０Ｃは、表示素子２０から斜めに出射して光学素子４０で反射される光路を逆に辿るように上記延長線を算出する。
　検知位置判定部６０Ｃは、算出した位置（ｘ，ｙ）が、画像２１の領域に含まれるか否かを判定する。画像２１の領域は、座標（ｍ１，ｎ１）と座標（ｍ２，ｎ２）とで規定される四角形の領域である。検知位置判定部６０Ｃは、算出した位置（ｘ，ｙ）が、画像２１の領域に含まれる場合、選択された、すなわち空中像２が観察者３にタッチされたと判定する。一方、検知位置判定部６０Ｃは、算出した位置（ｘ，ｙ）が、画像２１の領域に含まれない場合、非選択である、すなわち空中像２が観察者３にタッチされていないと判定する。
　［１－２－４］　全体動作の流れ
　次に、空中表示装置１における全体動作の流れについて説明する。図２１は、空中表示装置１における全体動作を説明するフローチャートである。
　制御部６０は、空中像２を表示する（ステップＳ１００）。表示処理部６０Ａは、表示素子２０の画面に画像を表示させる。光学素子４０は、表示素子２０からの光を反射し、空中に空中像２を結像する。
　続いて、センシング素子５０は、センシング動作を実行する（ステップＳ１０１）。センシング素子５０の駆動回路５６は、複数の信号線ＴＬを介して、複数の電極５３に駆動信号を供給する。センシング素子５０の検出回路５７は、複数の信号線ＲＬを介して、複数の電極５４の電圧を検出する。そして、センシング素子５０は、検出した電圧と複数の閾値とを比較することで、検知領域ＤＥ１、ＤＥ２を形成する。
　続いて、検知位置判定部６０Ｃは、センシング素子５０からの信号に基づいて、対象物を検知したか否か判定する（ステップＳ１０２）。
　対象物を検知した場合（Ｓ１０２＝Ｙｅｓ）、検知位置判定部６０Ｃは、センシング素子５０の検知結果に基づいて、対象物の位置を算出する（ステップＳ１０３）。すなわち、検知位置判定部６０Ｃは、検知領域ＤＥ１における位置（ｘ１，ｙ１，ｚ１）、及び検知領域ＤＥ２における位置（ｘ２，ｙ２，ｚ２）を算出する。
　続いて、検知位置判定部６０Ｃは、表示素子２０の仮想表示面における対象物の位置を算出する（ステップＳ１０４）。
　続いて、検知位置判定部６０Ｃは、算出した対象物の位置が画像２１の領域に含まれるか否かを判定する（ステップＳ１０５）。
　対象物の位置が画像２１の領域に含まれる場合（Ｓ１０５＝Ｙｅｓ）、検知位置判定部６０Ｃは、観察者３により空中像２がタッチされたと判定する（ステップＳ１０６）。
　その後、制御部６０は、観察者３のタッチ操作に応じた動作を実行する。
　［１－３］　第１実施形態の効果
　第１実施形態では、センシング素子５０は、光学素子４０の上方に、表示素子２０と平行な複数の検知領域（検知領域ＤＥ１、ＤＥ２を含む）を形成し、複数の検知領域に存在する対象物を検知する。検知位置判定部６０Ｃは、センシング素子５０の検知結果に基づいて、対象物の移動方向（進行方向）を算出する。検知位置判定部６０Ｃは、算出した移動方向の延長線と表示素子２０の画面（表示面）とが交差する位置を算出する。そして、検知位置判定部６０Ｃは、延長線と画面とが交差する位置が、表示素子２０の画像の領域に含まれる場合に、観察者３が空中像をタッチしたと判定する。
　従って第１実施形態によれば、観察者３が空中表示装置１を見る位置に応じて空中像２の位置が変化した場合でも、空中像２の領域に存在する対象物を判定することができる。ひいては、観察者３による空中像２へのタッチ操作をより正確に検知することが可能な空中表示装置１を実現できる。
　また、空中表示装置１は、表示素子２０から出射された光を光学素子４０で反射させることで、空中に空中像２を表示することができる。また、空中表示装置１は、その正面方向において、光学素子４０の素子面に平行に空中像２を表示することができる。また、表示品質を向上させることが可能な空中表示装置１を実現できる。
　また、観察者３の両眼がＸ方向（すなわち、複数の光学要素４２が並ぶ方向）に平行、又はそれに近い状態で光学素子４０を見た場合に、観察者３は、空中像を視認することができる。また、観察者３の両眼がＸ方向に平行、又はそれに近い状態でＹ方向に沿って視点を移動した場合、空中像を常に視認することができる。また、観察者３の両眼がＸ方向に平行、又はそれに近い状態において、より広い視野角を実現できる。
　また、空中表示装置１を構成する複数の素子を平行に配置することができる。これにより、Ｚ方向に小型化が可能な空中表示装置１を実現できる。
　［２］　第２実施形態
　第２実施形態は、センシング素子５０を備えた表示装置７０の実施例である。表示装置７０は、自身の画面に画像を表示する一般的な表示装置である。
　図２２は、本発明の第２実施形態に係る表示装置７０の斜視図である。表示装置７０は、照明素子１０、表示素子２０、及びセンシング素子５０を備える。照明素子１０、表示素子２０、及びセンシング素子５０は、互いに平行に配置される。照明素子１０、表示素子２０、及びセンシング素子５０は、互いに特定の間隔を空けるようにして、図示せぬ固定部材で特定の位置に固定される。照明素子１０、表示素子２０、及びセンシング素子５０は、図示せぬ筐体に収容される。照明素子１０、表示素子２０、及びセンシング素子５０のそれぞれの構成は、第１実施形態と同じである。
　図２３は、表示装置７０の検知動作を説明する模式図である。図２４は、観察者３が表示装置７０を斜め方向から見た場合の検知動作を説明する模式図である。センシング素子５０の動作は、第１実施形態と同じである。
　表示素子２０は、自身の画面に画像２１を表示する。画像２１は、例えば押しボタンである。観察者３は、表示素子２０の画面に表示された画像２１を視認する。
　センシング素子５０は、上方に、表示素子２０と平行な２次元の空間領域に複数の検知領域を形成する。本実施形態では、センシング素子５０は、２個の検知領域を形成する場合を例に説明する。センシング素子５０は、センシング素子５０から遠い側から順に、検知領域ＤＥ１、及び検知領域ＤＥ２を形成する。センシング素子５０は、検知領域ＤＥ１、及び検知領域ＤＥ２のそれぞれにおいて、対象物を検知する。
　観察者３は、自身の指３Ａで画像２１を操作するものとする。観察者３の指３Ａは、検知領域ＤＥ１、及び検知領域ＤＥ２を通過する。センシング素子５０は、検知領域ＤＥ１、及び検知領域ＤＥ２のそれぞれにおいて、対象物を検知する。
　センシング素子５０の上面を座標の基準面とする。画像２１の座標を（ｘ，ｙ，ｚ）とする。検知領域ＤＥ１における対象物の検知位置の座標を（ｘ１，ｙ１，ｚ１）、検知領域ＤＥ２における対象物の検知位置の座標を（ｘ２，ｙ２，ｚ２）とする。図２３に示すように、観察者３の視点の位置に応じて、検知領域ＤＥ１、ＤＥ２における対象物の検知位置が異なる。
　第１実施形態と同様に、空間における直線の方程式より、上記式（４）が成り立つ。Ｘ座標及びＹ座標において、上記式（５）、（６）が成り立つ。
　Ｚ座標において、ｚは、基準面と表示素子２０との距離であり、ｚ１は、基準面と検知領域ＤＥ１との距離であり、ｚ２は、基準面と検知領域ＤＥ２との距離である。ｚ、ｚ１、ｚ２は、予め決められた設計値である。
　式（５）～（６）から、検知位置判定部６０Ｃは、表示素子２０上の座標（ｘ，ｙ）を算出する。換言すると、検知位置判定部６０Ｃは、位置（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）に基づいて、対象物が移動する移動方向（ベクトル）を判定する。検知位置判定部６０Ｃは、対象物の移動方向の延長線と表示素子２０の表示面との交点である位置（ｘ，ｙ）を算出する。これまでの座標算出方法について、センシング素子５０の光学的影響（屈折率、厚みなど）は考慮に入れていないが、適宜追加及び補正を行えばよい。
　次に、表示装置７０における全体動作の流れについて説明する。図２５は、表示装置７０における全体動作を説明するフローチャートである。表示装置７０のブロック図は、第１実施形態と同じである。
　表示処理部６０Ａは、表示素子２０の画面に画像を表示させる（ステップＳ２００）。続いて、センシング素子５０は、センシング動作を実行する（ステップＳ２０１）。センシング素子５０は、検知領域ＤＥ１、ＤＥ２を形成する。
　続いて、検知位置判定部６０Ｃは、センシング素子５０からの信号に基づいて、対象物を検知したか否か判定する（ステップＳ２０２）。
　対象物を検知した場合（Ｓ２０２＝Ｙｅｓ）、検知位置判定部６０Ｃは、対象物の位置を算出する（ステップＳ２０３）。すなわち、検知位置判定部６０Ｃは、検知領域ＤＥ１における位置（ｘ１，ｙ１，ｚ１）、及び検知領域ＤＥ２における位置（ｘ２，ｙ２，ｚ２）を算出する。
　続いて、検知位置判定部６０Ｃは、表示素子２０の画面（表示面）における対象物の位置を算出する（ステップＳ２０４）。
　続いて、検知位置判定部６０Ｃは、算出した対象物の位置が画像２１の領域に含まれるか否かを判定する（ステップＳ２０５）。
　対象物の位置が画像２１の領域に含まれる場合（Ｓ２０５＝Ｙｅｓ）、検知位置判定部６０Ｃは、観察者３により画像２１がタッチされたと判定する（ステップＳ２０６）。
　その後、制御部６０は、観察者３のタッチ操作に応じた動作を実行する。
　第２実施形態によれば、自身の画面に画像を表示する一般的な表示装置７０にセンシング素子５０を適用できる。また、表示装置７０は、非接触で対象物を検知することができる。
　［３］　第３実施形態
　第３実施形態は、センシング素子５０の他の構成例である。
　図２６は、本発明の第３実施形態に係る表示装置７０の斜視図である。表示装置７０は、複数のセンシング素子５０を備える。本実施形態では、２個のセンシング素子５０－１、５０－２を例に挙げて説明する。センシング素子５０－１、５０－２は、ＴＯＦ（time of flight）センサで構成される。
　センシング素子５０－１、５０－２は、表示素子２０の上方に配置される。センシング素子５０－１、５０－２は、平面視において、表示素子２０が占める領域の外側に配置される。例えば、センシング素子５０－１、５０－２は、表示装置７０のＸ方向における一側部に配置される。センシング素子５０－１は、センシング素子５０－２より上方に配置される。照明素子１０、表示素子２０、及びセンシング素子５０－１、５０－２は、図示せぬ固定部材で特定の位置に固定される。照明素子１０、表示素子２０、及びセンシング素子５０－１、５０－２は、図示せぬ筐体に収容される。センシング素子５０－１、５０－２は、照明素子１０及び表示素子２０が収容される筐体とは別個に設けてもよい。
　センシング素子５０－１、５０－２はそれぞれ、検知領域ＤＥ１、及び検知領域ＤＥ２を形成する。検知領域ＤＥ１、及び検知領域ＤＥ２は、表示素子２０と平行に設定される。検知領域ＤＥ１は、検知領域ＤＥ２の上方に形成される。
　センシング素子５０－１は、検知領域ＤＥ１に存在する対象物を検知する。センシング素子５０－１は、検知領域ＤＥ１に光を出射し、対象物で反射された反射光を検知する。センシング素子５０－１が出射する光は、可視光以外の光が望ましく、例えば赤外光が用いられる。センシング素子５０－１は、検知領域ＤＥ１に向けて赤外光を発光する発光部と、対象物で反射された反射光を検知する受光部（センサ）とを含む。センシング素子５０－１は、例えば、複数の発光素子と複数の受光素子とが交互に一列に並んだラインセンサで構成される。ラインセンサは、赤外光を用いてライン状に空間をスキャンすることが可能であり、複数の発光素子が並んだ方向と光が進む方向とからなる２次元の空間をスキャンすることが可能である。
　センシング素子５０－１と同様に、センシング素子５０－２は、検知領域ＤＥ２に存在する対象物を検知する。
　図２７は、センシング素子５０－１の構成を説明する図である。図２７（ａ）が平面図、図２７（ｂ）が側面図である。センシング素子５０－２の構成は、図２７と同じである。
　センシング素子５０－１は、基板８０、複数の発光素子８１、複数の受光素子８２、複数のレンズ８３、及びケース８４を備える。図２７に示した発光素子８１、受光素子８２、及びレンズ８３の数は一例である。複数の発光素子８１を纏めて発光部と呼び、複数の受光素子８２を纏めて受光部と呼ぶ。
　複数の発光素子８１、及び複数の受光素子８２は、基板８０に実装される。基板８０は、複数の配線層（図示せず）を含む。複数の発光素子８１、及び複数の受光素子８２は、交互に配置される。
　複数の発光素子８１の各々は、レーザー光を発光する。レーザー光は、例えば、利用者の視覚を刺激せず、可視光の影響を受けない赤外光である。発光素子８１は、例えばレーザーダイオードで構成される。
　複数の受光素子８２の各々は、対象物で反射されたレーザー光（赤外光）を検知する。受光素子８２は、例えばフォトダイオードで構成される。
　複数のレンズ８３は、複数の発光素子８１に対応して設けられ、複数の発光素子８１の上方に配置される。複数のレンズ８３は、一方向に並んで配置される。複数のレンズ８３の各々は、例えば平凸レンズで構成される。複数のレンズ８３は、複数の発光素子８１から出射されたレーザー光を正面方向に集光する機能を有する。また、複数のレンズ８３は、対象物で反射されたレーザー光を集光する機能を有する。
　ケース８４は、基板８０、複数の発光素子８１、複数の受光素子８２、及び複数のレンズ８３を収容する。ケース８４は、上部にレンズ８３を露出する開口部を有する。図２７では、ケース８４の外形のみを簡略化して示している。
　表示装置７０の検知動作は、第２実施形態と同じである。第３実施形態においても、第２実施形態と同じ効果を得ることができる。第３実施形態のセンシング素子は、第１実施形態に適用することが可能である。
　［４］　第４実施形態
　第４実施形態は、観察者３が空中像２以外の領域をタッチしている場合に、カーソルで選択位置を提示するようにしている。
　図２８は、本発明の第４実施形態に係る空中表示装置１における全体動作を説明するフローチャートである。空中表示装置１の構成は、第１実施形態と同じである。
　ステップＳ３００～Ｓ３０６の動作は、第１実施形態のステップＳ１００～Ｓ１０６と同じである。
　対象物の位置が画像２１の領域に含まれない場合（Ｓ３０５＝Ｎｏ）、検知位置判定部６０Ｃは、仮想表示面２２上の選択された位置にカーソル２３を表示する（ステップＳ３０７）。
　図２９は、観察者３のタッチ操作を判定する動作を説明する模式図である。図２９は、表示素子２０の仮想表示面２２における座標を示している。表示素子２０は、自身の画面に画像２１を表示する。
　検知位置判定部６０Ｃは、観察者３により選択された位置が画像２１の領域に含まれない場合、表示素子２０の仮想表示面２２上の観察者３により選択された位置に、カーソル２３を表示する。観察者３は、カーソル２３を視認することで、空中像２以外の領域をタッチしていることを認識できる。これにより、観察者３の指３Ａを空中像２に導くことができる。
　第４実施形態は、第２実施形態の表示装置７０に適用することも可能である。
　変形例として、音を用いて、非選択状態であることを観察者３に通知してもよい。検知位置判定部６０Ｃは、観察者３により選択された位置が画像２１の領域に含まれない場合、特定の音を出力する。この変形例の場合、空中表示装置１は、音を出力可能なスピーカを備える。これにより、観察者３に空中像２をタッチしていないことを認識させることができる。
　［５］　変形例
　上記実施形態では、センシング素子５０が静電容量型である場合を例に挙げて説明している。しかし、これに限定されず、空間の物体を検知可能な他の種類のセンシング素子を用いることが可能である。
　上記実施形態では、表示素子２０と光学素子４０とを平行に配置している。しかし、これに限定されず、光学素子４０に対して表示素子２０を斜めに配置してもよい。表示素子２０と光学素子４０との角度は、０度より大きく４５度より小さい範囲に設定される。この変形例では、光制御素子３０を省略できる。
　上記実施形態では、光学要素４２の左側の側面が入射面４３、右側の側面が反射面４４として定義している。しかし、これに限定されず、入射面４３と反射面４４とを逆に構成してもよい。この場合、実施形態で説明した空中表示装置１の作用も左右が逆になる。
　上記実施形態では、表示素子２０として液晶表示素子を例に挙げて説明しているが、これに限定されるものではない。表示素子２０は、自発光型である有機ＥＬ（electroluminescence）表示素子、又はマイクロＬＥＤ（Light Emitting Diode）表示素子などを用いることも可能である。マイクロＬＥＤ表示素子は、画素を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）をそれぞれＬＥＤで発光させる表示素子である。自発光型の表示素子２０を用いる場合、照明素子１０は不要である。
　本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　１…空中表示装置、２…空中像、３…観察者、４…筐体、１０…照明素子、１１…光源部、１２…導光板、１３…反射シート、２０…表示素子、２１…画像、２２…仮想表示面、２３…カーソル、３０…光制御素子、３１…基材、３２…基材、３３…透明部材、３４…遮光部材、４０…光学素子、４１…基材、４２…光学要素、４３…入射面、４４…反射面、５０…センシング素子、５１…基板、５２…基板、５３…電極、５４…電極、５５…絶縁層、５６…駆動回路、５７…検出回路、６０…制御部、６０Ａ…表示処理部、６０Ｂ…画像処理部、６０Ｃ…検知位置判定部、６１…記憶部、６２…入出力インターフェース、６３…表示部、６４…入力部、６５…バス、７０…表示装置、８０…基板、８１…発光素子、８２…受光素子、８３…レンズ、８４…ケース。

Claims (14)

  1. 　画像を表示する表示素子と、
    　前記表示素子からの光を受けるように配置され、前記表示素子からの光を、前記表示素子と反対側に反射し、空中に空中像を結像する光学素子と、
    　前記光学素子の上方に、前記表示素子と平行な第１検知領域と、前記第１検知領域と異なるレベルの第２検知領域とを形成し、前記第１及び第２検知領域に存在する対象物を検知するセンシング素子と、
    　前記第１検知領域における第１検知位置と、前記第２検知領域における第２検知位置とを算出し、前記第１及び第２検知位置に基づいて、前記空中像がタッチされたか否かを判定する判定部と
    　を具備する空中表示装置。
  2. 　前記判定部は、前記第１及び第２検知位置に基づいて、前記対象物が移動する移動方向を判定し、前記移動方向の延長線上に前記画像が存在する場合に、前記空中像がタッチされたと判定する
    　請求項１に記載の空中表示装置。
  3. 　前記センシング素子は、静電容量型である
    　請求項１に記載の空中表示装置。
  4. 　前記センシング素子は、複数の第１電極と、前記複数の第１電極に対向して配置された複数の第２電極と、前記複数の第１電極に駆動信号を供給する駆動回路と、前記複数の第２電極の電圧を検出する検出回路とを含み、
    　前記判定部は、前記検出回路による検出結果と閾値とを比較し、比較結果に応じて前記対象物の位置を判定する
    　請求項３に記載の空中表示装置。
  5. 　前記センシング素子は、前記第１検知領域を形成する第１センシング素子と、前記第２検知領域を形成する第２センシング素子とを含み、
    　前記第１及び第２センシング素子の各々は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む
    　請求項１に記載の空中表示装置。
  6. 　前記光学素子は、平面状の基材と、前記基材の下に設けられ、それぞれが第１方向に延び、前記第１方向に直交する第２方向に並んだ複数の光学要素とを含み、
    　前記複数の光学要素の各々は、前記基材の法線方向に対してそれぞれが傾き、互いに接する入射面及び反射面を有する
    　請求項１に記載の空中表示装置。
  7. 　前記表示素子と前記光学素子との間に配置され、前記表示素子からの光のうち斜め方向の光成分を透過する光制御素子をさらに具備する
    　請求項１に記載の空中表示装置。
  8. 　前記光制御素子は、交互に配置された複数の透明部材及び複数の遮光部材を含み、
    　前記複数の遮光部材は、前記光制御素子の法線に対して傾いている
    　請求項７に記載の空中表示装置。
  9. 　前記表示素子及び前記光学素子は、互いに平行に配置される
    　請求項１に記載の空中表示装置。
  10. 　画像を表示する表示素子と、
    　前記表示素子の上方に、前記表示素子と平行な第１検知領域と、前記第１検知領域と異なるレベルの第２検知領域とを形成し、前記第１及び第２検知領域に存在する対象物を検知するセンシング素子と、
    　前記第１検知領域における第１検知位置と、前記第２検知領域における第２検知位置とを算出し、前記第１及び第２検知位置に基づいて、前記画像がタッチされたか否かを判定する判定部と
    　を具備する表示装置。
  11. 　前記判定部は、前記第１及び第２検知位置に基づいて、前記対象物が移動する移動方向を判定し、前記移動方向の延長線上に前記画像が存在する場合に、前記画像がタッチされたと判定する
    　請求項１０に記載の表示装置。
  12. 　前記センシング素子は、静電容量型である
    　請求項１０に記載の表示装置。
  13. 　前記センシング素子は、複数の第１電極と、前記複数の第１電極に対向して配置された複数の第２電極と、前記複数の第１電極に駆動信号を供給する駆動回路と、前記複数の第２電極の電圧を検出する検出回路とを含み、
    　前記判定部は、前記検出回路による検出結果と閾値とを比較し、比較結果に応じて前記対象物の位置を判定する
    　請求項１２に記載の表示装置。
  14. 　前記センシング素子は、前記第１検知領域を形成する第１センシング素子と、前記第２検知領域を形成する第２センシング素子とを含み、
    　前記第１及び第２センシング素子の各々は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む
    　請求項１０に記載の表示装置。
PCT/JP2024/001161 2023-01-17 2024-01-17 空中表示装置及び表示装置 WO2024154760A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023005355A JP2024101393A (ja) 2023-01-17 2023-01-17 空中表示装置及び表示装置
JP2023-005355 2023-01-17

Publications (1)

Publication Number Publication Date
WO2024154760A1 true WO2024154760A1 (ja) 2024-07-25

Family

ID=91956069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/001161 WO2024154760A1 (ja) 2023-01-17 2024-01-17 空中表示装置及び表示装置

Country Status (2)

Country Link
JP (1) JP2024101393A (ja)
WO (1) WO2024154760A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013089190A1 (ja) * 2011-12-16 2013-06-20 オリンパスイメージング株式会社 撮像装置及びその撮像方法、コンピュータにより処理可能な追尾プログラムを記憶する記憶媒体
JP2019101055A (ja) * 2017-11-28 2019-06-24 コニカミノルタ株式会社 空中映像表示装置
JP2020170311A (ja) * 2019-04-02 2020-10-15 船井電機株式会社 入力装置
JP2022150214A (ja) * 2021-03-26 2022-10-07 アルプスアルパイン株式会社 表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013089190A1 (ja) * 2011-12-16 2013-06-20 オリンパスイメージング株式会社 撮像装置及びその撮像方法、コンピュータにより処理可能な追尾プログラムを記憶する記憶媒体
JP2019101055A (ja) * 2017-11-28 2019-06-24 コニカミノルタ株式会社 空中映像表示装置
JP2020170311A (ja) * 2019-04-02 2020-10-15 船井電機株式会社 入力装置
JP2022150214A (ja) * 2021-03-26 2022-10-07 アルプスアルパイン株式会社 表示装置

Also Published As

Publication number Publication date
JP2024101393A (ja) 2024-07-29

Similar Documents

Publication Publication Date Title
JP6553155B2 (ja) 光学式イメージ認識センサー内蔵型平板表示装置
KR102433505B1 (ko) 표시 장치
US8633918B2 (en) Method of detecting touch position, touch position detecting apparatus for performing the method and display apparatus having the touch position detecting apparatus
US20110157097A1 (en) Coordinate sensor, electronic device, display device, light-receiving unit
US8896576B2 (en) Touch panel, liquid crystal panel, liquid crystal display device, and touch panel-integrated liquid crystal display device
JP4513918B2 (ja) 照明装置及び電気光学装置
JP6757779B2 (ja) 非接触入力装置
US20090103853A1 (en) Interactive Surface Optical System
US20140055418A1 (en) Touch display panel and optical touch panel thereof
TWI496058B (zh) 光學式觸控裝置
US8916895B2 (en) Infrared light-emitting diode and touch screen
JP2011257337A (ja) 光学式位置検出装置および位置検出機能付き表示装置
JP5515280B2 (ja) 位置検出装置及び電気光学装置
JP2011257338A (ja) 光学式位置検出装置および位置検出機能付き表示装置
KR20130111910A (ko) 굴절장치를 이용한 3차원 터치입력장치
US20120242623A1 (en) Touch sensitive device and display device employing the same
JP6663736B2 (ja) 非接触表示入力装置及び方法
WO2024154760A1 (ja) 空中表示装置及び表示装置
WO2024117075A1 (ja) 空中表示装置
WO2024101245A1 (ja) 空中表示装置
WO2024096072A1 (ja) 空中表示装置
WO2024053253A1 (ja) 空中表示装置
WO2023136106A1 (ja) 空中表示装置
WO2024018929A1 (ja) 空中表示装置
WO2024090130A1 (ja) 空中表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24744681

Country of ref document: EP

Kind code of ref document: A1